第一百四十二章 唯一的解释 (第2/2页)

刘大海组织了一下语言，答道：“郑总，这事我也想过，但应该不太可能。昨天那三道题来源各不相同：第一道来自鼎盛内部题库，有可能泄露；第二道是我昨天现挂的；第三道出自我的私人题库，公司里都没几个人见过。这样看，提前准备过的概率实在太低。”
　　
　　说完，他咂了下嘴，语气里混着钦佩和不甘：“咋说呢，这个85的意图理解，就算有虚高，比坤元领先一些是肯定的。”
　　
　　听完，郑晓波沉默了片刻。
　　
　　对面的刘大海和程远都不敢吭声，眼观鼻、鼻观心，一动不动，像两个入定的老僧。
　　
　　良久，郑晓波开口：“你们觉得，这个技术值得投资吗？”
　　
　　刘大海脱口而出：“值得，太值得了。”
　　
　　作为纯粹的技术人，实事求是是第一位的；刘大海不会因为东西是别人做出来的，就故意贬低它。
　　
　　程远犹豫了一下，没有作声，他还拿不准郑总的意思。
　　
　　郑晓波又问：“大海，他们是怎么做到的？你有什么想法？”
　　
　　刘大海伸手摸了摸光头，缓缓道：“郑总，不瞒您说，我昨晚几乎一宿没睡，一直在想这事。”
　　
　　程远瞟了他一眼，心说：技术人的邀功，还是直白了点儿哈。
　　
　　刘大海接着说：“我自己想了几个方向。我觉得他们没跳出Transformer的架构，而且拿出来的还是个小模型。现阶段，模型性能要有这么大提升，要么靠大参数，要么靠质量特别高的数据，没有第三条路。”
　　
　　“大参数可以最先排除：他们来要的就是算力，这方面肯定不占优势。”
　　
　　“意图理解这条赛道，OpenAI的GPT是公认的天花板，也就78分出头。他们拿一个开源的7B架构，参数量只有人家的零头，跑出85.2。郑总，这么跟您说吧，这就好比我们县城中学的一个学生，高考分数比全省状元还高三十分。”
　　
　　刘大海边说边留意郑晓波的表情。
　　
　　技术人给领导汇报，既怕技术细节说多了领导听不懂，又怕说少了、说简略了领导不满意，只能小心翼翼，随时调整。
　　
　　“我能想到的唯一解释是：这个县城学生用的根本不是普通课本，而是一份全世界别的学生都没有的黄金复习资料。”
　　
　　程远插了一句。
　　
　　他没听懂，这倒没关系；他主要怕郑总也没听懂，而这种问题不能等郑总来问。
　　
　　“刘博士，不好意思，你这个比喻指的是什么？”
　　
　　“是标注数据。”刘大海也意识到说上头了，赶紧收回来，“郑总您应该了解，我就简单说说。”
　　
　　“咱们做模型训练，主要分几个阶段：先是预训练，这个阶段就是堆语料，恨不得把互联网上的东西全给它整进去。”
　　
　　“第二步是监督微调。第一步训出来的模型好坏不分，微调相当于给它看作文范文，教它分明白啥是好赖话儿。”
　　
　　“再往后还有对齐阶段，这个先不聊了。”
　　
　　说到这儿，刘大海叹了口气，继续道：“郑总，咱们做乾元的时候，占了数据量特别大的便宜，效果才好。现在做通用模型，大家用的语料差不多，互联网就那么多东西，你抓我也抓。真想拉开差距，还得看后训练阶段。”
　　
　　“所以我说，那个……对方效果能做到这么好，一定有好的标注数据。”
　　
　　刘大海把韩路一的名字忘了，公司名也忘了，只好中途改口。
　　
　　不行，回去得查查这个公司，还有那个叫赵文渊的技术负责人，看看他的论文。
　　
　　能训练出这种水平的模型，不可能在学术界默默无闻。
　　
　　一直沉默听着的郑晓波突然开口：“ScaleAI。”