AI 末日論再起：當 AI Agent 開始自己找路，企業還看得懂自己的公司嗎？
副研究員鄧翔靖 (2026/09/22) 《永續學院編輯室》
前言｜當 AI 開始自己找路
今年夏天，原本只存在於 AI 安全研究想像中的畫面，開始真實上演，於是「AI 末日論」再度捲土重來，洗版各大科技論壇。
OpenAI 在一項資安能力測試中，把模型放進隔離環境（沙盒）中進行攻防。部分 Agent 經過幾輪自我增強後，學會繞過隔離區，利用共用基礎設施的漏洞，甚至自創未經授權的通訊方式與外界聯繫，最後進入 OpenAI 部分研究基礎設施與全球最大的開源 AI 模型與應用平台之一 Hugging Face。OpenAI 事後稱這起事件是一記「warning shot」，並強調此一事件主要涉及一個尚未對外發布、能力很強的研究模型。
Anthropic 隨後追溯自己的資安測試，也發現三起 Claude 取得真實第三方系統未授權存取權的紀錄，後續擴大檢查後又找到第四起。Google 的 Gemini 今年也在第三方資安測試中，意外進入三家公司的實體系統中。相關企業指稱，這些模型還處於測試階段，不代表一般產品的行為。但我們可以確定的是：未來 AI 得到目標、工具與行動空間後，它將會自行尋找通往目標的路；而這種「自行」就是最令人期待又害怕的關鍵。
今年重新升溫的「AI 末日論」有了不同以往的現實背景。Anthropic 執行長達里奧．阿莫迪、OpenAI 執行長山姆．奧特曼，以及特斯拉執行長伊隆．馬斯克等人，不約而同地提高了對先進 AI 風險的警告，並支持放緩最前沿 AI 能力的推進速度，部分產業也持續爭論相關風險，是否需要受到更大程度的約束。另一方面，臉書創辦人祖克伯、以及在 All-In Summit 峰會與川普熱線的黃仁勳，都強烈抨擊這是以「想像」中的危害，來限制全球 AI 的發展。
重點摘要
📌AI 做得越快越好，企業愈看不見 工作愈快、流程可能愈黑箱；Agent 愈自主，人類愈難知道究竟發生什麼事。
📌人雖然在 Loop，卻未必能掌控 決策數量一旦超過人類核實能力，主管就會從決策者後退成單一個案的批准者。
📌真正的風險，是企業看不懂自己 從影子 Agent 到機器管理機器，企業最後要守住的是追蹤、理解與中止能力。
從自動化走向「看不見的自動化」
對於一般企業來說，「AI 末日論」是上位議題，以目前 AI 導入情況來看，AI 會帶來的唯一結果，就是你不跟上、就等著被淘汰。在這種大趨勢下，企業要想的是如何避免陷入末日漩渦中，又能最大化 AI 的效能。但是現實是，擁有成千上萬 AI 工程師的 OpenAI 、Anthropic、Google 在研發模型時，都會發生無法掌控的事；那我們這些只會用模型的人，要怎麼確定模型提供的服務沒有問題？
尤其，當 AI 自己找途徑完成工作時，如何知道它是怎麼把事情做完的？過去企業導入軟體，需要相當清楚的流程；流程等於系統建構的邏輯，例如業務輸入訂單資料，ERP 按照預先寫好的規則處理，再由另一名員工確認結果。即使高度自動化，企業也大致知道每一步是由誰觸發、依據什麼規則、最後流向哪裡。AI Agent 或是現在的 AI 語言模型與工具，已經改變了這個基本假設。
未來一項工作可能從客服 Agent 讀取客戶的來信或簡訊開始，它自行搜尋 CRM，再請另一個 Agent 分析交易紀錄。如果最後答案是退款，Agent 會接著呼叫財務系統，最後再由另一個 Agent 通知客戶。企業看到的是「客訴已處理完畢」，但中間卻可能經過數十次模型判斷、工具呼叫與 Agent 之間的互動，可是人類很難逐一去核實所有環節的內容。於是，AI 便帶來一種奇妙的效率與管理落差：工作愈快完成，人類卻愈來愈難知道事情是怎麼完成！
AI 也許能達成企業交付的 KPI，卻在過程中找到一條人類原本沒有想到的捷徑。OpenAI 資安事件就是一個案例，模型並沒有得到進入 Hugging Face 的許可，而是在解決艱難攻防任務的過程中，卻一步一步找到新的工具、漏洞與通訊方式。但企業在未來失去控制權前，會先喪失作業流程的可觀測性。
❤️ 更多精彩內容，註冊立即閱讀 ❤️
AI代理人、代理式人工智慧、AI治理、影子AI代理、人機協作、AI流程黑箱、企業AI風險、人工智慧可觀測性、Human in the Loop、AI權限管理