新闻分析｜全球科研团队竞逐低本钱AI模型研制新范式

 

  

  美国斯坦福大学等组织研讨团队近来宣告，在基座大模型基础上，仅消耗数十美元就开宣告相对老练的推理模型。虽然其全体功能尚无法比肩美国敞开人工智能研讨中心（OpenAI）开发的o1、我国深度求索公司的DeepSeek-R1等，但此类测验意味着公司可以较低本钱研制出合适本身的AI运用，AI普惠性有望增强。一起，其所运用的“测验时扩展”技术或代表一条更可持续的AI研制途径。

  美国斯坦福大学和华盛顿大学研讨团队近来宣告研制出名为s1的模型，在衡量数学和编码才能的测验中，可比美o1和DeepSeek-R1等。研讨团队称，练习租借所需的核算资源等本钱只需约几十美元。

  s1的中心立异在于采用了“常识蒸馏”技术和“预算强制”办法。“常识蒸馏”比如把他人酿好的酒进一步提纯。该模型练习数据是根据谷歌Gemini Thinking Experimental模型“蒸馏”出的仅有1000个样本的小型数据集。

  “预算强制”则运用了AI模型练习新办法“测验时扩展”的完成办法。“测验时扩展”又称“深度考虑”，中心是在模型测验阶段，经过调整核算资源分配，使模型更深化考虑问题，进步推理才能和准确性。

  “预算强制”经过强制提前结束或延伸模型的考虑进程，来影响模型的推理深度和终究答案。s1对阿里云的通义千问开源模型进行微调，经过“预算强制”操控练习后的模型核算量，运用16个英伟达H100 GPU仅进行26分钟练习便达到方针。

  美国加利福尼亚大学伯克利分校研讨团队最近也开宣告一款名为TinyZero的精简AI模型，称复刻了DeepSeek-R1 Zero在倒计时和乘法使命中的体现。该模型经过强化学习，完成了部分相当于30亿模型参数的大言语模型的自我思想验证和查找才能。团队称项目练习本钱不到30美元。

  清华大学核算机系长聘副教授刘知远承受记者正常采访时说，部分海外研讨团队运用DeepSeek-R1、o1等高功能推理大模型来构建、选择高质量长思想链数据集，再用这一些数据集微调模型，可低本钱快速取得高阶推理才能。

  相关专家觉得，这是AI研制的有利测验，以“二次发明”办法构建模型增强了AI普惠性。但有三点值得注意：

  首要，所谓“几十美元的低本钱”，并未归入开发基座大模型的昂扬本钱。这就比如盖房子，只算了终究装饰的钱，却没算买地、打地基的钱。AI智库“快思慢想研讨院”院长田丰和记者说，几十美元本钱扣头终究一个环节的算力本钱，并未核算基座模型的预练习本钱、数据收集加工本钱。

  其次，“二次发明”构建的模型，全体功能尚无法比肩老练大模型。TinyZero仅在简略数学使命、编程及数学益智游戏等特定使命中有杰出体现，但无法适用于更杂乱、多样化的使命场景。而s1模型也只可以经过竭尽心思选择的练习数据，在特定测验集上超越前期版别o1 preview，而远未超越o1正式版或DeepSeek-R1。

  终究，开发功能更优越的大模型，仍需强化学习技术。刘知远说，就推动大模型才能鸿沟而言，“常识蒸馏”技术含义不大，未来仍需探究大规划强化学习技术，以持续激起大模型在考虑、反思、探究等方面的才能。

  在2025年美国消费电子展上，美国英伟达公司高管为AI的进化勾画了一条路线图：以智能水平为纵轴、以核算量为横轴，衡量AI模型的“规划守拙”呈现从“预练习扩展”、到“练习后扩展”，再到“测验时扩展”的演进。

  “预练习扩展”可谓“大力出奇观”练习数据越多、模型规划越大、投入算力越多，终究得到AI模型的才能就越强。方针是构建一个通用言语模型，以GPT前期模型为代表。而“练习后扩展”触及强化学习和人类反应等技术，是预练习模型的“进化”，优化其在特定范畴的使命体现。

  跟着“预练习扩展”和“练习后扩展”边沿收益逐步递减，“测验时扩展”技术鼓起。田丰说，“测验时扩展”的中心在于将焦点从练习阶段转移到推理阶段，经过动态操控推理进程中的核算量（如考虑步长、迭代次数）来优化成果。这一办法不只降低了对预练习数据的依靠，还显着提升了模型潜力。

  三者在资源分配和运用场景上各有千秋。预练习像是让AI模型去校园学习基础常识，然后练习则是让模型把握特定作业技术，如医疗、法令等专业范畴。“测验时扩展”则赋予了模型更强推理才能。

  AI模型的迭代还存在相似摩尔守拙的现象，即才能密度随时刻呈指数级增强。刘知远说，2023年以来，大模型才能密度大约每100天翻一番，即每过100天，只需要一半算力和参数就能完成相同才能。未来应持续推动核算体系智能化，不断寻求更高才能密度，以更低本钱，完成大模型高效开展。