最近，非营利研究机构AI2上新了OLMo2系列模型，他们称之为「迄今为止最好的完全开源模型」。 OLMo 2系列包含7B和13B两个型号，相比如Llama 3.1和Qwen ...

近年来，大型语言模型（LLMs）在诸如安全对齐、指令微调等领域均取得了卓越表现。然而，在对这些模型进行持续训练时，人们经常观察到旧任务性能的骤降。传统观点往往将其归结为灾难性遗忘。但我们的最新研究发现，这种表观遗忘实际上是一种虚假遗忘——在大多数情况 ...

本项目主要支持基于TencentPretrain的LLaMa模型量化推理以及简单的微服务部署。也可以扩展至其他模型，持续更新中。 特性 Int8推理 支持bitsandbytes库的int8推理，相比tencentpretrain中的LM推理脚本，加入了Batch推理。 优化推理逻辑 在Multi-head Attention中加入了key和value的 ...

单论拥抱DeepSeek，海外同行的动作更快，微软、英伟达、亚马逊科技等在1月底就已接入。据称DeepSeek以3%的成本超越了OpenAI，且开源，这意味着以低成本已可训练出足够好的AI模型。不管是为了客户的多样化需求，还是为了构建AI生态，云厂商 ...

如果换成更大规模的4B参数的领域模型，如果用虚假信息替换100亿训练token中的100万个（虚假信息比例为0.001%），即通过注入仅花费5美元生成的2000篇恶意文章，就会导致有害内容增加4.8%。

就能高效训练出一个数学能力超过 GPT-4o、Llama-3.1-70B的 7B 模型 Eurus-2-7B-PRIME。（AIGC开放社区） ...

在性能测试方面，根据外媒的测试，RTX 5090在DeepSeek R上的推理性能显著优于 AMD 的RX 7900 XTX，性能至少翻了一倍。测试结果显示，在多个DeepSeek R1型号中，RTX 5090不仅明显领先于RX 7900 ...

本次混元发布的7B模型：Hunyuan-7B-Pretrain和Hunyuan-7B-Instruct，采用了更优的数据配比与训练，拥有强劲的性能，在计算与性能间取得良好平衡的优势从众多规模的语言模型中脱颖而出，是目前最强的中文7B Dense模型之一。

单论拥抱DeepSeek，海外同行的动作更快， 微软 、 英伟达 、 亚马逊 云科技等在1月底就已接入。据称DeepSeek以3%的成本超越了OpenAI，且开源，这意味着以低成本已可训练出足够好的AI模型。不管是为了客户的多样化需求，还是为了构建AI生态，云厂商快速接入最火的大模型，都是笔划算的买卖。

粗粒度地测试 8 卡 80G 的全参数后训练（不考虑除了 zero3-offload 和 gradient checkpointing 外的任何优化技巧），360-LLaMA-Factory 至少可以训到 SFT 210k (7B ...

秦臻： 从工业界角度来说，这个领域就是OpenAI领跑，大家跟进。所以除非OpenAI本身碰到很大困难，否则应该还能再蓬勃发展一段时间。从我自己预测的角度来说，我还是比较关心线性模型。假设真的能work，它能解锁的场景真的很多。