据晚点LatePost消息，字节跳动正在讨论训练一个参数规模超5万亿的模型。该计划目前仍处于早期阶段，距离实际训练和发布还有相当距离。
消息提到，项目由Seed Foundation负责人项亮主导，与大语言模型预训练数据负责人沈科合作推进，二人均出自字节跳动"搜广推"体系。项亮本科毕业于中国科学技术大学，博士就读于中国科学院自动化研究所，2016年加入字节跳动，曾负责机器学习中台AML团队，后调任豆包大模型Foundation团队负责人。沈科2018年清华毕业，同年加入字节，现主要负责LLM预训练数据。
多名字节跳动人士透露，上半年多个Seed团队已开始不断反思，这也是字节讨论训练超5万亿参数模型的原因之一。其中一人直言，把参数规模一次推到同行的数倍来争取领先位置的举措"像一场赌博"。
从行业角度看，国内大模型竞赛持续升温，各家在参数规模、训练数据、推理效率等维度不断加码。字节在大模型领域的投入力度一直不小，豆包系列模型已迭代多个版本，此次讨论的5万亿参数规模在国内大模型领域属于相当大的量级。
不过参数规模并非衡量模型能力的唯一标准，训练效率、数据质量、推理成本等因素同样关键。在计划仍处早期阶段的情况下，最终参数规模是否会有调整，仍有待后续观察。
