第394章 知己者，莫若东也
第394章 知己者，莫若东也 (第2/3页)
消化。
教室里，一下子就静了。
李东还沉浸在刚才的思路里没出来，姚先生讲的那个懒惰训练有个地方他一时没搞明白。
於是他下意识地就喃喃自语了一句。
“……可它要是一直这麽懒，那它到底是从什麽时候起，才真正学到东西的呢？”
声音不大。
可教室太静了，这一句话就显得格外的清楚了。
姚先生本来还低头看着教案，听见这一声，他抬起了头。
目光落到後排的李东身上，他笑了笑。
“李东教授，你这个问题，问得很好，”老人慢条斯理地说道，“网络要是真就一直这麽懒、一直围着起点打转，那它顶多算个换了身皮的核方法，谈不上学到什麽新东西。它真正开始学，是从它肯挪窝、肯把那些旋钮往远了拧、在底层自己长出一套有用特征来的那一刻起的。”
“这中间隔着的那道坎叫逃离 NTK机制，进入特征学习。”
“至於这道坎卡在哪儿，又该怎麽迈过去……”
姚先生笑着摇了摇头。
“这恰恰是现在还没有几个人能说清楚的事。”
姚先生话音一落，李东却愣在了那里。
周围几个学生偷偷瞄他，心里都犯起了嘀咕。
好家夥。
这个问题难成这样了？连东神都被说懵逼了？
然而李东并没有被说懵。
他愣住的原因只是因为……刚才他的脑子里毫无征兆地冒出来一些更深的东西。
【当网络宽到极限的时候，不再被看成一堆死板的旋钮，而是化作了一片连续的“概率分布”】
【每一个神经元，都成了这片分布里的一粒尘埃。】
【训练也不再是苦哈哈地一个个拧旋钮，而是这一整片分布，在一个叫 Wasserstein空间的几何世界里，顺着最省力的方向流动。】
这是把训练直接写成了一道描述质量如何流动的偏微分方程啊。
而顺着这道方程往下，那道卡了无数人从懒惰到特征学习的坎，竟隐隐约约露出了一点能绕过去的缝。
这才是李东懵逼的原因，他立刻就反应了过来
（本章未完，请点击下一页继续阅读）