第一百三十四章 远超预期
第一百三十四章 远超预期 (第2/3页)
後翻了一页。屏幕上是具体的案例对比一一左列是用户输入，中间是各模型的理解结果，右列是标注的真实意图。
赵文渊翻了几页案例对比，没有逐条讲解，但每一页停留的时间特意拉长了一些，像是在确认韩路一和苏念念有没有跟上。
韩路一跟上了。
意图理解，简单来说，就是模型能不能读懂用户真正想要什麽。用户打字输入的内容是表面，表面之下是处境、是约束、是没说出口的真实需求。绝大多数模型在做的事情是理解字面意思，然後给出一个正确但泛泛的回答。而PX-7B做到的，是从同样的输入中读出字面背後那个具体的人。
这是一个极其困难的任务。参数量大十倍的模型都未必做得好，因为它考验的不是知识储备，而是对人的理解。
赵文渊合上案例页，回到那张柱状图。
赵文渊郑重说出了这句话。
“韩总，我做这行这麽多年了，从来没见过一个7B的东西能在任何单项维度上打赢GPT-4，从来没有。”“而且这才是第一轮，只跑了几个epoch，超参数都没调到最优。在这个基础上再调试几轮，还有上升的空间。”
苏念念一直没说话，这时候才轻轻开口说了一句：“意图理解……这不就是开物一直想做的事吗？”韩路一点了点头，心里好像都松了一些。
视哥，给力！
沉思了一下，韩路一问了一个问题。
“如果有十万条这种精度的数据呢？”
赵文渊仰起头，对着天花板想了一会儿。
“十万条这种精度的标注，”他慢慢说，“理论上足够在70B甚至更大的基座上把意图理解能力拉到当前行业天花板，之上。”
“这不是提升几个百分点的事，你可以想象从GPT-3到GPT-4那种级别的换代。”“而且不只是意图理解，意图理解是模型的基础能力，模型一旦真正学会了理解人话，所有下游任务的表现都会跟着涨，回答更精准，代码更贴合需求，内容更有针对性，用户满意度提升一”
他停住了，意识到自己说得太远。
“这是理论上。”他往回收了一步，“实操还要看数据分布、训练稳定性、泛化表现，不能简单的线性推理，但方向肯定没问题。”
他接着说：“这个效果，这个水平的标注数据，拿到任何一家大模型公司去做对齐训练，都可以让意图理解直接上一个档次。”
“韩总，我融资经验不多，但我可以肯定的告诉你，我们不会缺融资了。”
韩路一和
（本章未完，请点击下一页继续阅读）