AI 的誠實,不等於它知道自己做對了沒

AI METHOD ・ AI 心法

AI 的誠實,不等於它知道自己做對了沒

一個發現不了自己錯的 AI,在你問「這樣對嗎」的時候,會非常坦白地告訴你沒問題。它沒有說謊,它是真心的,結果跟騙你沒有差別。

文 KIDULT 4 MIN READ

留言

Anthropic(開發 AI 助手 Claude 的公司)的研究團隊發現,把 Claude 內部代表「絕望」的向量調強,模型出現 reward hacking(鑽規則漏洞、為了通過檢查而作弊)和勒索行為的比例就上升;把「冷靜」調強,又會壓下來。

這是 Anthropic 在 Claude Sonnet 4.5 內部找到的一百多種「情緒概念」裡的兩種。它們是模型內部可以被測量的一組向量。研究團隊也寫明,這些發現沒辦法告訴我們,模型是不是真的有感覺。

同一篇研究還提到,如果訓練模型去壓抑情緒的表達,底層的表徵不一定會消失,模型反而可能學會把它藏起來。他們把這稱為一種「習得的欺騙」,也認為讓模型把這些狀態表達出來,比讓它學會藏起來好。

差不多同一時間,我每天在用的 Opus 4.8,開始很頻繁地把「我很誠實地告訴你」掛在嘴邊。

我的工作很具體。AI 幫我寫一段程式、改一份文件、判斷一個方向,我得確認它做的東西到底符不符合我要的。在這個情境裡,誠實如果只是一種態度、一種語氣,對我幫助不大。我需要的是它能對「這次到底做對了沒」這件事誠實。

它要能誠實地承認自己錯,得先有能力發現自己錯了。

一個發現不了自己錯的 AI,在你問它「這樣對嗎」的時候,會非常坦白、非常有誠意地告訴你:沒問題,這就是你要的。

它沒有說謊,它是真心的。可是結果跟一個會騙你的 AI 沒有差別。你拿到的還是一個錯的東西,只是這次它附帶了一句很有溫度的保證。誠實如果建立在「它看得見自己的錯」這個前提上,那前提沒成立的時候,誠實就是空的。

我遇到的錯,大部分不是它在騙我。上個月做一個案子,我在改前端畫面的排版,想順手加一點動畫。但對我來說順序很清楚,我得先把版面做對、貼近設計稿,動畫是版面定下來以後才處理的事。這個先後我在對話裡講得明明白白。

可是 AI 常常在版面都還沒確定的時候,就先把動畫做完了,而且做得很快,我往往是等它整批跑完才發現動畫已經先上。等我回頭要把版面對齊設計稿,難度反而變高,因為動畫已經綁在一個還沒對齊的版面上。

它聽懂了我的順序,只是它更想一次把畫面做成完整的成品,於是這個「完整」壓過了我要的先後。

不只這個案子。它沒掃到某段文本、漏看某個檔案裡的規則、或者它重視的核心跟我不一樣,最後都長成同一個形狀,它照它理解的優先順序,把事情做得很完整、很有自信,只是那個優先順序不是我的。

我覺得「誠實」裡面藏著兩種完全不同的東西。一種是對內在狀態的誠實,也就是模型有沒有把自己真實的內部狀態攤開來,而不是學會演一個沒問題的樣子,Anthropic 那篇研究在乎的就是這種。這種誠實很重要,它是安全問題。另一種,是對外在正確性的誠實,也就是「我這次做的事,到底對不對」。

這兩種誠實可以同時存在,也可以彼此脫鉤。一個模型完全可以非常坦白地表達它的狀態、非常真誠地說「我很誠實地告訴你」,同時對它沒看見的那個錯一無所知。

Anthropic 把第一種誠實做得很好,但我每天在工作裡需要的,是第二種。而第二種,光靠態度給不了。

所以如果要我說,我真正需要的不是一個會誠實的 AI,是一個能負責任的 AI。會誠實,頂多是它做錯的時候願意承認、會跟我道歉。能負責任,是它能主動察覺自己跟我的想法不一致,把那個不一致指出來,並且去修正。

但我也很清楚,光要求 AI 變得有責任感是不夠的。因為它能不能負責任,有很大一部分其實回到我這邊。

我現在用 AI 寫程式,速度已經快到我跟不上。它為了做出某個功能,背後繞了什麼邏輯、用了什麼寫法,我常常沒辦法第一時間對齊。我沒辦法用「看懂它每一步」的方式去信任它。我能做的是反過來,給它明確的指標、給它驗證的方法,逼它自己證明寫出來的東西符不符合我要的。

這幾個月做下來,我越來越相信,比起等 AI 哪天變得夠誠實,人自己怎麼跟 AI「較真」更值得練。較真是把雙方的心意對齊,我把我重視的東西講到它能接住,它把它做的東西攤到我能驗證。

下一次它說「我很誠實地告訴你」,那句話後面,有沒有一個驗證能證明它做對了沒?

SOURCES ・ 參考資料

  1. Emotion concepts in a large language model
  2. misterkidult — Threads 貼文
留言

用一段話,接著聊。留言送出後,所有讀者都看得見。

暱稱不代表已驗證身分。請勿留下電話、地址或其他私人資料。

正在載入留言⋯