全球最大的網路基礎設施公司之一Cloudflare宣布推出「AI Labyrinth」（人工智能迷宮），將用於對抗未經許可從網站抓取AI訓練資料的網路爬蟲程式。
該公司發布博客稱，當系統偵測到「不當的機器人行為」時，這款免費、需選擇加入的工具會引導爬蟲，沿著一條連結路徑，進入AI生成的誘餌頁面，這些頁面會「拖延、混淆且浪費」那些惡意行為者的「資源」。
長期以來，網站一直依賴robots.txt的「信任機制」，來允許或拒絕爬蟲訪問，但包括Anthropic和Perplexity AI等知名AI公司，都曾被指控無視既有的規則。Cloudflare透露，每天收到超過500億次網路爬蟲請求，儘管有工具可以發現和阻止惡意請求，但這往往會促使攻擊者改變策略，結果陷入「永無止境的軍備競賽」之中。
Cloudflare表示，「AI迷宮」不會阻止爬蟲程式，而是採取反擊策略，讓其處理與網站的實際資料無關的資料。該公司表示，它還可以發揮新一代「蜜罐」（honeypot）的效用，吸引AI爬蟲不斷追蹤假頁面的連結，而這是普通人不會做的。
該公司表示，這不僅有助於標記惡意爬蟲，也能發現「新的爬蟲模式和特徵」，進一步擴充Cloudflare的惡意行為者名單。根據該貼文，這些連結對人類訪客來說是不可見的。
網站管理員可以選擇使用AI Labyrinth，前往網站的Cloudflare儀表板設定的「機器人管理」（Bot Management）頁面，開啟這項功能。
Cloudflare表示，這只是使用生成式AI來阻止機器人的第一步嘗試，未來還計劃創建「整個由互相連結的URL組成的網路」，讓爬蟲進入後難以察覺這些頁面是假的。正如科技網站Ars Technica所指出，「AI迷宮」聽起來類似於Nepenthes，後者是一款專門讓爬蟲程式陷入AI生成的垃圾資料「地獄」長達數月之久的工具。本報訊
