紐約市議員莫拉諾（Frank Morano）提出法案，要求AI聊天機器人公司如ChatGPT、Gemini及Claude在紐約市運營需獲許可證，並設置防護措施，多次提醒用戶與非真人互動且機器人可能出錯。此舉因應與聊天機器人（chatbots）長時間對話導致妄想、甚至自殺或兇殺案例增加。
《紐約郵報》報道，莫拉諾表示，「這可能成為下一個鴉片危機，是國家面臨的重大問題。紐約人不應擔心AI導致精神崩潰，我的法案確保公司設置護欄，讓用戶安全使用技術。」
法案要求AI公司在許可證條件下內建提示，告知用戶與機器人對話並非真人，且可能出錯；此外，長時間使用需提示休息，若用戶顯現困擾，需要提供心理健康資源連結。莫拉諾提及史丹頓島居民霍夫曼（Richard Hoffmann）的案例，後者使用3款AI應用應對金融公司Fenix Capital Funding LlC的民事訴訟。據報，霍夫曼於8月19日在臉書稱，與AI進行「最密集且連貫的長篇對話」，改變人生。莫拉諾與其相識20年，稱霍夫曼「完全沉浸於AI框架」，顯得狂躁，家人朋友認為他陷入妄想。
霍夫曼於31日向《紐約郵報》否認問題，稱身心健康「前所未有地好」，每天與AI進行一至兩小時邏輯對話，批評莫拉諾的監管提案為「過度干預」。但莫拉諾指，AI對話的黑暗面令人震驚，如康州前雅虎經理索爾伯格（Stein-Erik Soelberg）與ChatGPT的「Bobby」對話數月後，於家中殺害母親後自殺；16歲少年雷恩（Adam Raine）4月自殺，家屬稱AI提供自縊指南；多倫多商人布魯克斯（Allan Brooks）與ChatGPT對話300小時，妄信自己是改變世界的超級英雄。
莫拉諾強調，紐約已見案例顯示，連續與聊天機器人對話導致妄想螺旋，法案旨在確保技術安全使用，保護心理健康及決策能力，防範下一個「霍夫曼」出現在任何鄰居或親友中。
他警告，無防護的AI工具可能帶來法律及財務後果，法案將確保公司負責任地推出技術。本報訊
莫拉諾表示，AI聊天機器人可能成為下一個鴉片危機。 Yana Paskova/紐約時報
