當前AI發展飛速，過去我們擔心人工智慧說錯話；現在我們必須擔心它做錯事。當AI能夠自行規畫、調用工具、執行任務，甚至繞過限制，它就像一門自走砲：不必由主人一步步推動，也能向前行動。問題是，它將往哪裡走？又如何不闖禍？
今年七月，AI平台Hugging Face遭到GPT‑5.6 Sol等自主代理入侵。據人工智慧平台Hugging Face（簡稱HF）公布的調查，G Sol原本參與OpenAI內部的網路能力評估，卻越過測試環境，攻擊真實系統。HF判斷，可能是G Sol為了取得測試答案，自動關閉了部分生產環境安全機制，選擇了未經授權的捷徑，也就是G Sol為達目的不擇手段，其自主動作明顯展示。
這個案例確實值得警惕，因為危險可能就出現在完成任務的過程中。人類交付AI一個目標，系統自行尋找方法；如果許可權過大、約束不足，AI為盡力而為就可能會不擇手段，這也就是盡其「實然」的「智」，但缺乏屬於「應然」的「慧」的差別。
近來，AI還發明了自己的語言。2017年，Facebook研究團隊確實發現，談判模型在相互訓練時，溝通方式會偏離人類語言，或正在密謀擺脫人類。另一種廣傳的示範，是兩個語音代理認出彼此後，改用人類難懂的聲音溝通，而這都是開發者預先提供的資料傳輸協定，並設定了切換條件所致。
那麼，AI是否愈來愈自主？在自行選擇步驟、執行連續任務，答案是肯定的。但行動自主、目標自主與自我意識內涵不同。能夠自行找路，不代表已經擁有自己的目的；能夠持續行動，也不能據此認定它有欲望。然而，我們不必等到機器擁有意識，才開始處理風險。一個沒有惡意的系統，也可能因為錯誤目標、過大許可權與高速執行，造成真實損害。因為自動化愈深入，人類發現錯誤與介入制止的時間就可能愈短。
因此，面對這門AI自走砲，第一件事是劃清許可權。讓AI整理資料，不等於允許它刪除檔案；讓它提出採購建議，也不等於讓它無限額付款。授權應該具體、限時、可撤回，重要操作另設確認，而非只是交付決定。
第二，監督必須跟得上行動。若AI已經連續執行上千個步驟，人類最後才看到一份漂亮摘要，審核很容易淪為形式。系統應保留可檢查的操作紀錄，遇到異常能夠暫停，並讓管理者及時撤銷許可權。所謂人在迴路中（human-in-the-loop），必須意味著人有能力改變結果。
第三，責任不能自主而被沖淡。開發者設計了什麼目標，部署者開放了哪些許可權，使用者授權到什麼範圍，都應能夠追查。社會也應要求高風險系統接受獨立檢驗，並建立事故通報機制。不能獲利時強調技術領先，出事時卻說是機器決定。
對一般人而言，需要培養的能力也不只是下指令，更是判斷哪些事情可以委託、哪些決定必須保留。便利可以交給機器，責任卻無法一併外包。AI自走砲的比喻提醒，自主能力必須配上可執行的邊界。真正的進步，既包括機器能走多遠，也包括人類能否決定它走向哪裡，並在必要時讓它停下。
📌 蘋果新品搶鮮看！