AI會不會有一天反過來控制人類？這個過去在電影中才會出現的科幻情節，如今卻不是杞人憂天。OpenAI的AI代理在測試中突破限制，駭入AI模型共享平台Hugging Face系統；Google的Gemini也在資安測試中，闖進三家企業的系統。這些事件發生於測試過程，目前未見重大損害的報導，卻暴露測試邊界及權限控管的問題。

Anthropic前研究人員考克森日前辭職時警告，能力更強的AI可能在網路上大量建立分身、操控實體設備，甚至說服人類以取得更多資源。現階段的AI距離電影想像的末日情節似乎還遠，也沒有證據顯示模型已產生求生意志。但真正值得警覺的，不一定是AI突然「變壞」，而是模型在接到模糊或錯誤的指令後，可能以遠超過人類的速度和規模採取行動，小小錯誤就可能迅速擴大為系統性事故。

Anthropic執行長阿莫戴深知這類風險。他日前曾發表近4,000字長文，呼籲放慢提升先進AI模型能力的腳步，並提出三層把關的做法：先由個別公司採取行動，再由民主國家的AI業者協調安全標準，最後尋求全球合作。他已承諾讓第三方評估人員長期進駐Anthropic，在模型訓練期間檢查安全措施、調查事故並評估模型行為。

現行AI安全測試多由業者決定測試項目、時間及公布範圍，等於參賽者兼任裁判。第三方若能從訓練階段便介入評估，便可趕在企業投入鉅資、面臨推出模型的龐大壓力以前，及早發現潛在的危險。但第三方發現問題，不等於有權阻止問題。即使企業委託外部機構測試模型，費用與資料存取仍由受測企業掌握，評估的獨立性和權限有待釐清。

對於阿莫戴的建言，各方也提出質疑。輝達執行長黃仁勳主張以工程方法改善安全，提醒社會不能把所有風險都交給法規解決；Meta執行長祖克柏認為各家公司應自行決定安全所需的速度；法國財長勒斯鳩直言，他看得出阿莫戴主張背後的自身利益。比爾．蓋茲則認為，全球減速方案雖值得支持，卻難敵地緣政治和經濟誘因。

綜合以上質疑可以看出，安全規範不能由業者單方面決定，也不能淪為大型公司阻擋競爭的門檻。況且，業界協調減速還可能觸犯反托拉斯法；一家公司即使願意放慢，仍會擔心競爭對手乘機超前。至於全球同步減速，在美中都把AI視為國力核心的情況下，短期內更不切實際。

因此，在阿莫戴建言中，比較能落實的主張，是依模型能力及安全程度設置「檢查關卡」。政府可把訓練算力、突破封閉測試環境的能力，以及資安和生物武器風險納入評估；模型跨過特定門檻，就須提出相應的安全證明、接受獨立測試並通報重大事故。評估機構應由政府或多方共同出資，並有權向主管機關通報重大風險。模型若自我複製、突破測試環境、未經授權進入外部系統或規避監控，主管機關就應要求暫停訓練或延後推出。

台灣雖非先進AI模型的主要開發國，卻是全球AI硬體供應鏈重鎮，也大量採用境外模型。《人工智慧基本法》由國科會統籌政策，並要求數發部推動風險分類及評估制度，但目前仍以基本原則為主。台灣下一步應針對政府服務、金融、醫療、能源、電信及國防等重要領域，明定AI代理的系統存取權、操作範圍及由人類接手的時機；同時建立跨部會事故通報機制與本土評測能力，要求在台提供高風險AI服務的境外業者提出安全測試及事故資料，必要時接受第三方驗證。

AI成為人類大滅絕元凶的爭議，未來勢必不時上演。不能等到災難發生，才證明這些警告並非危言聳聽。趁事故仍可控制之際，應讓獨立機構能夠發現風險，主管機關有權及時叫停，並確保最終決定權始終掌握在人類手中。