深度学习领域围绕着如何改进 Transformer 架构的讨论从未停歇。此前，许多研究者试图寻找能够完全替代 Transformer ...

在AGI革命如火如荼的今天，ChatGPT成为了科技圈的明星，而鲜为人知的背后却是一个名为Transformer的力量。这一模型的独特魅力在于其诸多先进技术的汇聚，如MLP前馈层、残差网络以及自注意力机制，后者甚至可以视为对卷积网络的一种创新扩展。正是这种设计赋予了Transformer超群的学习能力，使其在自然语言处理、计算机视觉、金融数据分析、游戏AI、基因序列分析，以及音频生成等领域不断发光 ...

36氪获悉，大模型架构创新公司元始智能（RWKV）已于12月完成数千万人民币天使轮融资，投资方为天际资本。本轮融资后，公司估值较此前种子轮翻倍，而本轮融资将主要用于团队扩充、新架构迭代以及产品商业化落地。 OpenAI旗下的ChatGPT于2022年11月发布，并掀起全球生成式AI浪潮后，已经有两年多的时间。而支撑起ChatGPT的Transformer架构以及Scaling Law（缩放定律）， ...