来自MSN8 个月
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用 ...