智谱创始人唐杰聊Scaling Law:大模型万亿参数曾是行业走的弯路,下一步关键在后训练
智谱创始人唐杰表示,单纯堆砌万亿参数是行业走过的弯路,大模型演进已转向深度推理。他以GLM-5.3作为控制变量实验,证明在保持基座与753B参数不变的前提下,通…
智谱创始人唐杰表示,单纯堆砌万亿参数是行业走过的弯路,大模型演进已转向深度推理。他以GLM-5.3作为控制变量实验,证明在保持基座与753B参数不变的前提下,通过强化后训练即可实现显著能力跃升。参数量仅是Scaling的一个维度,未来突破需综合考量推理成本、MoE激活机制及后训练等多重变量。
原文链接: https://wallstreetcn.com/articles/3779790
insigtX 内容为资讯/教育性质,非投资建议。