第一百五十九章 这样下去你就废了！ (第1/2页)
韩路一刚提过苏念念，其实也给自己安排了视频会议。
和赵文渊。
赵文渊请假后就没再去办公室，最近一直在家搭数据管线——鼎盛那边的程序走完前，先把准备工作做起来。
两人先过了一遍训练策略。会议结尾，韩路一问起时间线。
“文渊，鼎盛那边的账户大概这两天就能配好，你这边什么时候能开跑？”
电话那头，赵文渊停顿片刻，像在组织语言，才开口：“韩总，就算算力到位，开跑前还有一道坎。”
“什么坎？”
“上周五跟你说的，预训练数据的预清洗。”
韩路一坐在办公桌前想了想，是有这么回事。
“咱们现在手里有什么？坎在哪？”他问。
“有CommonCrawl里的数据，还有公共版权的书籍资料。我想在清洗这块优化一下，搞了几天还没头绪。”赵文渊解释。
“嗯……我晚上回去看看。”
挂断视频，韩路一在办公室里思索起来，随即想起赵文渊的属性面板。
【赵文渊】
【技术S（研究SS）｜协作C｜稳定A】
【特技：大模型训练｜大模型后训练】
后训练是他的强项，预训练这边可能就没那么熟。
当然，大模型出来几年，论文发了那么多，大家没吃过猪肉也见过猪跑。技能可以迁移，摸索摸索，预训练没那么难。
想从头做大模型，真正的瓶颈还在数据和算力。
数据分两块：原始数据和标注数据。
标注数据这块，靠视界，韩路一已经拿到世界顶尖的标注。数量还不太够，但肝一肝总会有的。
原始数据还得想办法。
一般厂商的数据来源主要有几个：除了出版物或特定行业资料，还要去互联网上收集。互联网资料也有不同来源——可以自己爬，各显神通，爬到什么算什么；也可以用CommonCrawl。
CommonCrawl是开源语料库，大模型时代的“数字公共图书馆”。它是个非营利组织，目标是“爬取和存档整个互联网”，并把数据免费提供给所有人。这个愿景很伟大，也确实帮到了很多人。
现在市面上做通用场景的大模型，有一个算一个，训练语料里一定包含CommonCrawl，无非有的多些有的少些。
但CommonCrawl的问题在于，它基本没有清洗，里面是互联网上各种各样的原始信息。
就拿中文互联网来说，上面最多的内容是什么？知识干货？生活小常识？人生感悟？感人的文学作品？
错了，是垃圾，各种各样的垃圾。
菠菜广告、瑟瑟广告、为优化搜索结果的重复关键词堆砌。
如果把这些东西当原料直接做模型，可以期待看到这样的场景。
你问它：“什么是大模型预训练？”
它回答：“近来大家都对大模型预训练很感兴趣，那么大模型预训练到底是什么呢？小编带大家看一看，看完真的惊呆了！到底该如何评价这件事情？欢迎在评论区留下你的看法！”
所以原料在用之前，先要经过复杂清洗。这也不是人工进行，一般会用传统基于规则的数据管线筛掉完全无用或有害的信息，再在剩余信息中去掉语意重复的内容。
至于怎么做，韩路一暂时没头绪，但没关系。
晚上问问视哥怎么看。
想到这，他拿出手机看了看时间，已经快六点了。
晚上【404寝室】又约了饭，是张浩然组织的。本来周末就想约，但韩路一为了和苏念念准备今天的董事会会议，拖到了今天。
张彪去机场还没回来，韩路一没坐地铁，奢侈了一把，自己叫了个车。
张浩然订的是一家烤鱼店，比他们的老地方烧烤摊档次高了不少。包厢门口挂了块实木牌子，写着“贵宾席”。
韩路一到时，张浩然已经坐在里面了。
两人正打招呼，马小飞也走了进来，手里举着大疆OsmoPocket4P，一边进门一边说：
“这个必须发，从烧烤摊到贵宾席，这是咱们寝室的成长纪录片。”
“你就不能进来先坐下？”张浩然说。
“艺术家需要随时记录，你不懂。”
“什么时候干自媒体也成艺术了。”张浩然吐槽。
“大概是抽象艺术吧。”韩路一补刀。
“笑吧笑吧，我上个月刚过二十万粉了。”马小飞不服气。
“二十万？”张浩然有点意外，“上次不是才十万出头？”
“那都几个月前了。最近科技赛道流量好，我做了个系列叫“小飞拆机”，专门拆各种国产AI硬件——翻译耳机、AI音箱、智能眼镜，拆完给大家看里面到底有没有料。上周那条拆某个AI音箱的，六十多万播放。”
“现在养活自己没问题了？”韩路一问。
“什么话，最近哥们发了，广告报价五千一条，标准的，一个月能接四五条，还有平台分成。”马小飞顿了顿，难得认真一秒，“当然也不稳定，这个月好不代表下个月好，但至少现在是我最舒服的状态。”
张浩然看了马小飞一眼：“你说你一个交大毕业的，全职做自媒体，你爸妈没意见？”
“有意见啊，但看到我赚钱了就没意见了。”马小飞理直气壮，“天下爸妈都一样。”
三个人落座，点了两条鱼：一条酱香味的清江鱼，一条麻辣加辣的黑鱼。主要是韩路一不爱吃辣，马小飞却说，来吃烤鱼不吃辣就白来了。又加了粉条、青笋、豆制品等配菜，最后点了一大桶可乐。
张浩然倒无所谓，他已经打定主意一会儿请客。
菜上来之前，马小飞先把Pocket4固定在桌面上，找了个能同时看到三个人的机位，还给自己的脸设上人脸追踪。
然后他才转过头问：“张浩然你什么情况啊？这么着急把我们叫过来，有什么你马哥能帮忙的？是不是老韩的存款不太够啊？”
韩路一也好奇地看向张浩然。
这确实是张浩然今天想说的正题。他没理会马小飞的玩笑，表情严肃，声音低沉：“老韩上次不是给了我们一个内测账户吗？你回去用了吗？”
马小飞被他的神情搞得有点不自在：“我打开看了一眼，不是跟ChatGPT、豆包之类的一样吗？”
“不一样。”张浩然说，“老韩这个模型，真的会读心术。”
这下别说马小飞，连韩路一也一头雾水。读心术什么的，是因为汤圆在意图理解方面确实不错，他说着玩的，可看张浩然的样子，怎么好像真信了？
“我给你详细讲讲。我们银行之前不是新换了行长吗？最近总行又在推国产系统迁移，行长助理和直管我的副行长对上了，僵持了两三周。我为这事儿愁死了，不知道多少脑细胞，生怕站错队。结果你猜怎么着？我把这事儿跟汤圆一说，她全给理清了。”
张浩然说到这，声音压得更低，脑袋往前凑了凑，又做了个手势，让另外两人也把头凑过来。
（本章未完，请点击下一页继续阅读）