深度学习领域围绕着如何改进 Transformer 架构的讨论从未停歇。此前，许多研究者试图寻找能够完全替代 Transformer ...

芯东西（公众号：aichip001） 作者 | ZeR0 编辑 | 漠影 今年一开年，NVIDIA GeForce RTX 50系列GPU终于猛兽出笼，能玩顶配游戏，能做AI开发。赶上春节期间上市，估计会成为不少消费者的硬核新年礼物。

本次介绍的论文标题为：Tokenformer: Rethinking Transformer Scaling with Tokenized Model Parameters,” 顾名思义，本文提出了Tokenformer架构，其优势在于增量学习能力：在增加模型尺寸时，无需从头开始重新训练模型，大大降低了成本。 Transformer架构已经成为当今大模型的基石 ...

展示了一种在 PyTorch 中仅使用单个 transformer 编码器来实现视觉分类 SOTA 结果的简单方法。 项目当前的 star 量已经达到了 7.5k，创建者为 Phil Wang，ta 在 GitHub 上有 147 个资源库。 首先来看 Vision Transformer-PyTorch 的安装、使用、参数、蒸馏等步骤。 最后是蒸馏 ...