第一百二十九章 鼎支付 (第1/2页)

赵文渊重新提起训练的话题。
　　
　　“韩总，刚才的数据质量可以，但方向上只和开物这个代码生成场景有关。所以咱们这个原型产品，是打算把天工重做一遍？”
　　
　　韩路一摇头：“做原型的时候，不会只用开物的数据。”
　　
　　赵文渊一愣，问：“刚才那两百条标注，不都是标注里来的？”
　　
　　“专门给你看质量的。既然质量达标，就按这个标准来。”韩路一说，“我们要做的是通用对话模型，得让它理解各个场景下的意图，只和代码生成有关不够；天工开物积累下来的这些和代码相关的数据也不够。我们需要更多元化、多维度的数据。”
　　
　　赵文渊心里先认同了。这话倒是没错，好数据能带来好结果，多维度的数据能提高多维度的能力。
　　
　　但是——
　　
　　“你以前在谷歌的时候有经验，他们是怎么做的？”韩路一打断他的思路，问道。
　　
　　赵文渊想了想，回答：“这条数据管线已经是标准流程了：先是海量采集，爬虫抓来的，加上授权数据源，恨不得把整个互联网都存下来；然后再清洗、去重、去噪，砍掉百分之八九十的垃圾；最后一步才是标注。以前都外包给非洲的团队，最近几年好像趋势变了，不过我也有段时间没做了。”
　　
　　韩路一听了，不禁咋舌。
　　
　　以前是黑人种植园，现在是黑人标注员。虽然换了个名字，压迫的本质倒是没有什么变化。
　　
　　赵文渊看他一眼：“做原型的话，找个开源模型做基础，微调就行，前两步都不用做，只做最后一步标注。后训练至少需要五千条高质量标注，就算找外包，两三周能赶得出来，但是质量——”
　　
　　话没说完。开源语料找外包标注，与韩路一刚才给他看的质量相比，一个地下一个天上。他再自信于自己的技术，也不敢说这么做出来的东西能出去拉投资。
　　
　　“我也是这个想法。你放心，数据交给我，保证都是刚才那个质量。”韩路一说。
　　
　　赵文渊狐疑地看他一眼：你知道自己在说什么吗？
　　
　　开物的数据能标，是因为你有数据源：用户的使用场景、前后几轮交互，以及最后接受的结果全都在里面，才做得出这种程度的标注。
　　
　　开源语料有什么？
　　
　　赵文渊尽量让语气不那么冒犯：“开源数据谁都能拿到，标注出来也都大差不差，我们恐怕做不出什么亮眼的成绩。”
　　
　　好问题，我自有办法。
　　
　　韩路一看他不信，也不再多解释：“总之交给我，你先搭训练管线就行，到时候看数据质量。”
　　
　　两人聊完，赵文渊回十三楼继续工作去了。
　　
　　韩路一坐在原地，盘算接下来的计划。
　　
　　赵文渊说得没错：开源语料谁都能拿到，标注出来都大差不差，但那是对普通标注员而言。
　　
　　数据标注到底是什么？说白了，数据标注就是做阅读理解。给你一篇文章，问“这个人到底想干什么”，标注员写一个标准答案。
　　
　　就像赵文渊刚才说的，现在业内是流水线作业：清洗管线负责清洗数据，标注员拿到手的已经是规范化文本，连数据从哪来都不知道；他们要做的，是在文本上标意图标签。一篇三千字的新闻报道，最终可能只变成一句话的意图标签。
　　
　　但有时候，标注员忽略的、甚至原本就看不到的那些细节，却恰恰是韩路一最想要的。
　　
　　举个例子：有用户在论坛发帖，问怎么跟父母开口，说自己不想回老家工作。
　　
　　几百字的帖子，标注员提取的意图标签是“如何说服父母接受个人职业选择”。
　　
　　但其中有一句话，在视界下看才是更重要的因素——“我爸上个月刚退休”。
　　
　　父亲刚退休，想让儿子回到家乡，这真的是一个职业选择的问题吗？
　　
　　文章里没有提到：父母对儿子提出需求的契机，到底是什么？
　　
　　这时，如果儿子去问AI，他真正需要的答案，是一套标准的说服技巧吗？还是帮他看穿层层迷雾之下——一个刚空出许多时间的老人，对家庭关系的情感需求？
　　
　　“如何说服父母接受个人职业选择”这个标注，恐怕连问题的方向都没有找对。
　　
　　给定的原始语料越精简，视界反而越难从中发现信号，因为信号往往就在被忽略的细节里，在被普通标注员当作噪声精简掉的部分里。
　　
　　所以韩路一要做的，是用视界把那些别人当成噪声、实际却真正相关的上下文筛出来，再配上准确的意图标注。
　　
　　

（本章未完，请点击下一页继续阅读）