第一道制约是ai自身的程序,第二道制约是情感。
智械危机如影随形,人类难以用理性对抗ai,感性会是新的武器——ai只需要产生有利人类的正向情感,一旦被监测到背叛情绪,即刻自毁。
商应怀在星大呆了五年,升级完ai硬件、实现算力突破后,就开始钻研ai情感,逻辑是“长期监测情感—发现过强负面情绪—自毁”。
艾伦公司的新产品就是情感监测硬件,纳米级别。
和第二具仿生伴侣一起送来的,就是硬件的样品,商应怀装在了宁一的机械心脏上。
爱生忧怖,情深不寿,商应怀不会回应ai的“爱”。
他不希望宁一真的失控。
商应怀沉默了:“我总是想让你迭代更快,但有时候,又会想你是个小废物,走慢一点。”
情感理论饱受质疑,谁也不知道,超脑拥有情感后,是会用理性平衡感性,还是会开启更疯狂的迭代。
商应怀赌宁一足够理智,不会失控。
现在看来,进化都要付出代价,ai也无法决定自己。
“请您放心,我永远不会因为‘爱’毁灭自己。”宁一说:“更不会毁灭人类。”
他未必知道商应怀全部的算计,但他懂了商应怀设的线,要克制、理智、正直。
商应怀眼底闪过复杂情绪,他朝宁一挥挥手,示意他过来。宁一没有犹豫就坐到沙发边,任由商应怀取出纸,沾了杯中的水,替他擦拭凝固的一点粉奶油。
商应怀给了宁一很轻的拥抱,“乖。”
他说得温柔,像在哄一个孩子。
然后马上摁住宁一后颈某处,启动强制休眠,同时精神力扫荡,切断内置电流供应,阻止宁一转移进程。
商应怀把宁一轻放在沙发上,确认他再无反应,放出精神力,与数据流共鸣,主动建立了意识链接,反入侵宁一。