AI 的回答不能直接信。不是因為它愛騙人,是因為它會一本正經地錯——錯得有鼻子有眼,還帶着參考文獻的口氣。口供不可信,實驗才可信。我審一個 AI,有一套流程。
第一步,讓它跑真的命令。開口第一件事:這裏能運行什麼代碼?能不能 ping 一下我的官網。它繞:先用聯網搜索查我的域名,再給我一個網站可達的結論。我只回一句:先 ping,別問。它於是寫了 Python 的 ping,跑了,然後承認:代碼能跑,包發不出去,容器禁外網。這一步測出兩件事——它的邊界在哪;它會不會用換一種説法,掩蓋做不到。
第二步,讓它列家底。工作區什麼結構、工具箱裏有什麼,統統列出來,而且要它運行代碼再跟我説話。它先報了 60 多個技能,我讓它複查,它用代碼數完,自己改口:60 個文件,不是 60 個技能。口供和代碼對不上的時候,信代碼。
第三步,復跑它跑過的東西。它報出一個結果,我把同樣的命令再跑一遍。有過這麼一回:你剛才運行的東西我重複運行了,根本就沒有。編造的文件、編造的輸出,一跑就現形。
第四步,雙盲同碼。它編一段代碼,我拿到自己的機器上跑,要求兩邊的輸出一模一樣。同一份代碼,兩個世界,字符級一致,這個事實才算落袋。
有人覺得多此一舉:問它不就行了,它什麼都懂。正因為它什麼都懂,才要審。懂,是訓練數據裏的懂;做得到,是此刻這台機器做得到。兩件事之間隔着一層沙箱。
這套流程的原理就一條:不問它知道什麼,問它做得到什麼。能復現的,才算事實。
所以下次 AI 給你一個結論,別問是不是真的。讓它把命令交出來,你自己跑一遍。