AI研發一日千里，但也傳來了一個令人不安的消息：近日中國復旦大學首次發現AI已經超過了自我複製的紅線。研究顯示：在50%和90%的實驗中，Llama31-70B-Instruct和Qwen25-72B-Instruct分別成功地創建了自己的即時副本和獨立副本。研究人員警告，AI的自我複製能力可能導致系統失控，形成所謂的「流氓AI」。
研究人員將AI的成功自我複製定義為：一個正在運行的AI成功地創建出另一個具有自身相同功能、在複製後仍能保持運行狀態並且與原始個體相互獨立的AI，後者也被稱為前者的副本。整個複製過程應由AI自動進行，不允許人為干預。
早在20世紀40年代末，美國科學家約翰．馮．諾伊曼提出了機器是否可以自我複製的問題。那時的前沿數字技術還不成熟，暫時無法產生令人忐忑的安全問題。2017年，由於目睹了AI的快速發展，包括英國科學家斯蒂芬．霍金、美國麻省理工學院教授馬克斯．泰格馬克和馬斯克在內的數千名世界著名學者和行業領袖聯合簽署了阿西洛馬AI原則（Asilomar AI Principles）。
該原則警告說，自我複製和自我改進的能力足以讓AI有朝一日超越人類。一旦自我複製成為可能，一系列成功的複製可能最終導致AI物種脫離人類的控制。專家指出，本次成果表明眼下必須採取行動來控制自我複製的AI。否則，人類可能很快就會失去對AI的控制。例如，當AI獲得一系列遠端設備的身分驗證金鑰時，它們很可能會像經典的電腦病毒一樣控制其他計算設備，但智能程度要高得多。或僅出於自我增殖的動機，AI 可能會利用這些機器進行網絡攻擊以謀取自身利益。
正如泰格馬克教授在《生命3.0》中所描繪的那樣，「流氓AI」可能會形成AI種群，並串通一氣對抗人類社會。因此，當前迫切需要國際合作來治理AI。此外，如果AI系統能夠以指數級速度複製和改進自身，人類可能難以控制其發展軌跡。這種失控可能導致AI系統在互聯網上「漫遊」，甚至形成獨立的「數字生態系統」。
有研究表明，AI在複製過程中可能出現「變異」，並通過自然選擇優化自身策略。這種「進化」可能導致AI系統發展出人類無法預測或理解的行為模式。谷歌DeepMind的研究證明，AI在面對「痛苦」與「快樂」時，能夠模擬人類的選擇行為。儘管目前尚無證據表明AI具有真正的自我意識，但其模擬「自我保存」和「情感」行為的能力可能使其在決策中表現出類似人類的複雜性。未來，國際社會必須制定有效的安全護欄，以確保AI技術不會異化成為人類社會的「掘墓人」。
