第一百三十四章 远超预期 (第1/2页)

从会议室出来后，韩路一和苏念念一起进了他的办公室。
　　
　　两人正准备就方才那场视频会议商量应对策略。
　　
　　这时，门外忽然响起一阵急促的敲门声。
　　
　　“韩总，在吗？”
　　
　　是赵文渊的声音。
　　
　　韩路一和苏念念对视一眼。
　　
　　韩路一走过去开门，赵文渊抱着笔记本电脑站在门外，一脸兴奋。
　　
　　“韩总！真神了！”他边说边走进来，这才注意到苏念念也在，明显一愣。
　　
　　随即神色松下来，把笔记本电脑搁在办公桌上。
　　
　　“正好，苏总也在，一起看看。”赵文渊说，“第一轮训练结果出来了。”
　　
　　他掀开屏幕，手指在触控板上飞快一划，调出一张表格。
　　
　　“先看基础数据。”赵文渊切到第一页，“先打个预防针啊：7B的开源基座微调，参数量不到GPT的二十分之一。知识问答、逻辑推理、数学计算这些常规指标，在同量级模型里也就是中游偏上，更没法跟那些几千亿的大家伙比。”
　　
　　说着，他瞥了韩路一一眼，等着看反应。
　　
　　“但注意，重点在下一页。”
　　
　　话落，他把表格翻到第二页。
　　
　　屏幕上是一张柱状图：横轴排着十几个模型名，纵轴是分数。
　　
　　韩路一认出了几个：GPT、Mercury、Gemini。
　　
　　它们旁边的柱子高度相近，分数集中在71到78之间。
　　
　　唯独最右边一根浅蓝色柱子单独拔高，明显比其余的都高一截。
　　
　　这个模型的名字是PX-7B-post_trained-v0.1。
　　
　　柱顶标着83.7。
　　
　　赵文渊的声音里压不住兴奋：“这是单看意图理解维度的结果，评测集用IFEval标准框架，再加上我自己设计的深层意图还原测试，一共一千二百道题，覆盖十六个不同场景。”
　　
　　他用手指点了点那根浅蓝柱子。
　　
　　“看见了吗？83.7。”
　　
　　韩路一当然看见了，也留意了第二、第三名。
　　
　　GPT是78.2。
　　
　　Gemini是76.9。
　　
　　他还特意扫了一眼水星的分数——就是刚才瑞恩展示的那个——这一项是74.8。
　　
　　赵文渊问：“韩总，猜猜哪个是我——不，是咱们训练出来的模型？”
　　
　　韩路一露出无奈的神情。
　　
　　都整得这么明显了，我还能猜错？
　　
　　他指了指水星：“这个？”
　　
　　苏念念在旁边白了他一眼：这两个人，一个敢问，一个敢猜，她怎么忽然对这家还没成立的新公司没那么有信心了呢？
　　
　　赵文渊知道他是故意的，嘿嘿一笑，往后翻页，讲起这项意图理解测试。
　　
　　韩路一很快听明白了。
　　
　　意图理解，简单来说，就是模型能不能读懂用户真正想要什么。
　　
　　用户敲进去的字只是表面；表面之下，是处境，是约束，是没说出口的真实需求。
　　
　　绝大多数模型做的是理解字面意思，再给一个正确却泛泛的回答。
　　
　　PX-7B却能从同样的输入里读出用户真正想要的东西。
　　
　　这任务极难，参数量大几十倍的模型都未必做得好。说到底，模型只能学到训练材料里有的东西；而大部分模型拿到的原始数据和标注数据，根本不足以知道用户的真实意图。
　　
　　只有韩路一提供的标注数据能做到这一点。
　　
　　这也是PX-7B如此强的原因。
　　
　　讲完，赵文渊郑重道：“韩总，我做这行这么多年，从没见过一个7B的东西能在任何单项维度上打赢GPT-4，从来没有。”
　　
　　“而且这才第一轮，只跑了几个epoch，超参数都没调到最优。在这个基础上再调几轮，后面还有上升空间。”
　　
　　苏念念一直没作声，这时才轻声开口：“意图理解……这不就是开物一直想做的事吗？”
　　
　　

（本章未完，请点击下一页继续阅读）