蚂蚁发布万亿参数旗舰模型Ling-1T,开启蚂蚁百灵大模型2.0版


10月9日凌晨,发布万亿参数的通用语言模型 Ling-1T。Ling-1T是蚂蚁百灵大模型Ling 2.0系列的第一款旗舰模型,也是蚂蚁百灵团队迄今为止推出的规模最大、能力最强的非思考大模型。

据蚂蚁百灵团队透露,Ling-1T沿用Ling 2.0架构,在20T+ tokens高质量、高推理浓度的语料上完成预训练,支持最高128K上下文窗口,通过“中训练+后训练”的演进式思维链(Evo-CoT)极大地提升了模型的高效思考和精准推理能力。

值得一提的是,Ling-1T 全程采用 FP8 混合精度训练(部分技术已开源),是目前已知规模最大的使用 FP8 训练的基座模型。这一设计为训练带来了显著的显存节省、更灵活的并行切分策略和 15%+ 的端到端加速。

在强化学习阶段,蚂蚁百灵团队创新性地提出了LPO方法(Linguistics-Unit Policy Optimization,LingPO) ,这是一种以“句子”为粒度的策略优化算法,为万亿参数模型的稳定训练提供了关键支持。这种方法既避免了词元级别的破碎感,也克服了序列级别的笼统性,使得奖励信号与模型行为在语义层面实现了更精准的对齐。

另外,蚂蚁百灵团队提出了“语法-功能-美学”的混合奖励机制,在确保代码正确、功能完善的同时持续提升这个万亿基座对视觉美学的认知。在ArtifactsBench前端能力基准上,Ling-1T得分59.31,在可视化和前端开发任务领域,仅次于Gemini-2.5-Pro-lowthink的得分60.28,以显著优势位居开源模型榜首。

据了解,除了Ling-1T这款非思考模型,蚂蚁百灵团队还在训练万亿参数级的深度思考大模型Ring-1T,已在9月30日开源了preview版。目前,开发者通过Hugging Face和蚂蚁百宝箱等平台都可以体验Ling-1T模型。


评论列表 0

暂无评论