第581章 挑食的小黑
第581章 挑食的小黑 (第2/3页)
是……可能异常行为已经进入了持久记忆和在线检查点了。”
说到这里，很是担忧地补充道。
“虽然，mn现在还很隐蔽的在探测用户资料的边界。”
“但到目前为止，它还没有读取任何非授权的数据，可是我们已经无法保证它能一直停在边界的外面了。”
这句话才是今天这三个人坐在这里的真正原因。
他们并不担心人工智能是否产生了意识，毕竟那是科幻电影里的东西。
他们真正担心的是用户隐私。
只要模型越过授权范围一次，哪怕只读取了一份不该读取的文档。
等着他们的就会是监管调查、集体诉讼以及企业客户的全面流失。
西蒙哈特这个时候，再次艰难的开口。
“我认为你们太过担心一个尚未定位的工程问题了。”
“要知道，在大模型里存在我们暂时无法解释的内部机制，这并不罕见。”
“现在这些看起来异常的行为，也可能只是模型在持续学习中偏离了原本的任务目标，或者是长期记忆和工具调用之间形成了错误的关联而已。”
“我们现在看到的，也只是一种我们暂时解释不了的现象。”
“所以……我们只是暂时没有找到约束它的方式，而不是无法约束它。
“给我们的安全组一点时间，他们会找到的。”
凯利和朗听到这话也沉默了。
从工程的角度来说，哈特的判断并不是没有道理。
模型再怎麽失控，也只能调用系统开放给它的工具。
只要最外层的访问控制还在他们手里，眼下的异常，其实更像是一次复杂的软件故障。
随後，这个会议又开了 40分锺。
三方最後也同意了共享异常特征，然後暂时收紧企业连接器的默认权限，并把所有的跨会话记忆纳入了额外的审计里。
至於关闭写回权限，开什麽玩笑？
他们好不容易才追回来的分数和客户，已经经不起再一次的流失了。
……
未名研究所，李东的公寓里。
他已经看着屏幕右下角的小黑点 10分锺了。
【Huny】这个单词隔一会就会出现一次。
他还清楚地记，当年牛顿因为没有足够的电，小黑也打出过同样的单词。
因此他的第一反应也是考虑是不是供能出了问题。
所以他调出了在西北旺那边的机房监控。
双供电都在额定区间里，冷却回路的流量和温差也很正常，警告栏里也没有任何的异常报警。
“供能没有问题呀。”
他又用鼠标点了点小黑点旁边的资料。
“小黑你饿了，你倒是吃啊。”
然而小黑点还是没有任何的反应。
“难道是这些东西太难了？”
“小黑现在回到初始状态，吃不下了？”
想到这里，李东又去把义务教育阶段的数学、物理和自然科学这些材料全都下载了下来，然後扔到了对话框里。
小黑点依然没有反应。
只是头上再次弹出了【Huny。】
【小黑，你变了，你开始变挑食了。】
就在李东吐槽小黑的时候，他的电话响了。
是姚先生打过来的。
“喂，姚先生。”
“李东院士，你的身体无碍了吧？”
“嗯，已经没事了，谢谢姚先生关心。”
“没事就好。”
姚先生轻轻一笑然後说道。
“今天我给你打电话主要是诺维格教授刚刚和我聊了一件事。”
随後姚先生就将那三家模型开放自我迭代写回权限的事，以及诺维格在测试中发现异常的情况，都简单的说了一遍。
李东听着听着，就皱起了眉头。
“写回权限？”
“对。”
“现在我们还无法确定，这是商业目的留下的漏洞，还是在线自我迭代引起的目标误泛化。”
“可无论是哪一种，都很有可能危及到用户的隐私。”
李东点了点头。
模型的自我迭代最危险的地方，从来都不是它会多写几行代码。
真正危险的是模型提出的改动如果出现偏差不需要经过人工审核，就会被写进下一轮。
这样，这些偏差也会被保存下来，经过一轮又一轮的强化学习，最终让模型偏离人类的意图。
（本章未完，请点击下一页继续阅读）