谷歌更早揭示原理 大模型光有软件不存在护城河
发布不到1周，OpenAI最强模型o1的护城河已经没有了。http://www.weixin998.com/
有人发现，谷歌DeepMind一篇发表在8月的论文，揭示原理和o1的工作方式几乎一致。
o1突发内幕曝光？谷歌更早揭示原理 大模型光有软件不存在护城河
o1突发内幕曝光？谷歌更早揭示原理，大模型光有软件不存在护城河
这项研究表明，增加测试时（test-time）计算比扩展模型参数更有效。
基于论文提出的计算最优（compute-optimal）测试时计算扩展策略，规模较小的基础模型在一些任务上可以超越一个14倍大的模型。
网友表示：
这几乎就是o1的原理啊。
众所周知，奥特曼喜欢领先于谷歌，所以这才是o1抢先发preview版的原因？
o1突发内幕曝光？谷歌更早揭示原理 大模型光有软件不存在护城河
o1突发内幕曝光？谷歌更早揭示原理，大模型光有软件不存在护城河
有人由此感慨：
确实正如谷歌自己所说的，没有人护城河，也永远不会有人有护城河。
o1突发内幕曝光？谷歌更早揭示原理 大模型光有软件不存在护城河
o1突发内幕曝光？谷歌更早揭示原理，大模型光有软件不存在护城河
就在刚刚，OpenAI将o1-mini的速度提高7倍，每天都能使用50条；o1-preview则提到每周50条。
o1突发内幕曝光？谷歌更早揭示原理 大模型光有软件不存在护城河
o1突发内幕曝光？谷歌更早揭示原理，大模型光有软件不存在护城河
计算量节省4倍
谷歌DeepMind这篇论文的题目是：优化LLM测试时计算比扩大模型参数规模更高效。
研究团队从人类的思考模式延伸，既然人面对复杂问题时会用更长时间思考改善决策，那么LLM是不是也能如此？
换言之，面对一个复杂任务时，是否能让LLM更有效利用测试时的额外计算以提高准确性。
此前一些研究已经论证，这个方向确实可行，不过效果比较有限。
因此该研究想要探明，在使用比较少的额外推理计算时，就能能让模型性能提升多少？
他们设计了一组实验，使用PaLM2-S*在MATH数据集上测试。
主要分析了两种方法：
（1）迭代自我修订：让模型多次尝试回答一个问题，在每次尝试后进行修订以得到更好的回答。
（2）搜索：在这种方法中，模型生成多个候选答案。
页:
[1]