星辰代码智能体大模型Xing4.0-29B发布:29B总参仅4B激活,聚焦长程任务Xing4.0-29B Agentic Coding Large Model Released: 29B Total Parameters with Only 4B Active, Focused on Long-Horizon Tasks


AI free token/AI免费积分
星辰代码智能体大模型Xing4.0-29B发布:29B总参仅4B激活,聚焦长程任务

9月17日,中电信人工智能科技有限公司发布新一代星辰大模型 Xing4.0-29B-A4B。该模型总参数29B、激活参数仅4B,聚焦复杂任务理解、任务规划、工具调用和自主执行等能力,支持长上下文处理,可应用于代码开发、数据分析、办公自动化及生活服务等场景。

该模型是国内首个基于 Atlas 900 A3 SuperPoD 液冷超节点与昇思 MindSpore 框架完成训练的百亿参数大模型,面向复杂工程任务深度优化。架构上专为长程 Agent 任务设计:MLA 注意力压缩 KV 缓存、多 Token 预测增强生成连贯性、mHC 流形约束超连接稳定训练,训练序列长度从4K 分阶段扩展至256K。

工程优化方面,通过多层次软硬件协同优化实现训练性能提升96%:细粒度 MoE(64路由/Top4激活)经专家负载均衡、通信计算重叠及图算融合,吞吐提升32%;选择性重计算再提升19%;自研融合算子使计算效率提升30%,整网吞吐再提升25%。

官方表示,模型的中高阶代码生成与智能体执行,是对长程上下文理解、复杂推理规划、工具调用协同的综合考验,双方团队从数据体系、模型架构、训练工程到强化学习进行了系统性攻坚。

本文来源:https://www.toutiao.com/article/7687438616389354019/
若有版权问题,请来信告知:13951431913#139.com 或在右方提交评论。

Xing4.0-29B Agentic Coding Large Model Released: 29B Total Parameters with Only 4B Active, Focused on Long-Horizon Tasks

暂无评论,快来发表第一条评论吧!No comments yet. Be the first!

📮 需求咨询📮 Inquiry