讓 AI 從自己的錯誤中學習——一個保守但可信的記憶系統 你有沒有想過: AI 助理做錯了事、改了又改、最後終於解決問題——這個過程,能不能被「記住」,讓下次遇到類似狀況時直接用上? 這正是我們在設計的系統想解決的問題。 問題從哪裡來? 現在的 AI 助理(例如 Claude、GPT)每次對話都是全新的開始。它不記得上次踩過什麼坑、哪個做法最後有效。每次都得重新試錯,效率很低。 但「讓 AI 記憶所有東西」又太危險——它可能記到錯的東西,甚至把偶然成功的歪路當成正確方法。 所以我們的核心問題是: 怎麼讓 AI 只記住真正有用、可信的經驗? 兩種層次:「看到了什麼」vs「學到了什麼」 我們把記憶分成兩個層次,這是整個設計的核心: 第一層:Observation(觀察) 「發生了什麼事。」 系統掃描 AI 的工作日誌,找出以下訊號: 工具執行失敗 同一個檔案被反覆修改 某個問題一直沒被解決 這些通通記下來,但 不做任何判斷、也不告訴下一次的 AI 。觀察只是原始素材。 第二層:Experience(經驗) 「什麼做法有效。」 Experience 要嚴格得多。它必須滿足: 有一個清楚的「失敗 → 修改 → 成功」的流程 修改的內容和失敗的原因 語意上有關聯 (不只是時間上緊接著) 不是純粹靠重試、也不是環境自己好轉 只有這樣的 Experience,未來才能在適當時機告訴 AI:「上次在類似情況下,這個方法有效。」 為什麼這樣設計?三個關鍵原則 1. 寧缺勿濫 有些「成功」其實是運氣:重試了幾次、伺服器剛好恢復、換了個環境。這種成功如果被記成經驗,下次 AI 就會學到錯誤的教訓。 所以我們設了嚴格門檻: 只有「確認語意相關」的修復,才算真正的學習。 2. 原始資料不動 AI 的工作日誌(JSONL 檔)是唯讀的。系統只讀取、不回寫,確保每次分析的基礎永遠可靠。 3. Shadow Mode 啟動 初期系統在背景靜默運作——只建立觀察和候選經驗, 暫時不影響任何對話 。等系統夠成熟、累積夠多可信證據,才開始把高品質的經驗「注入」給下一次的 AI。 一個比喻:老醫師的病歷系統 想像一位醫師,每次看診都把情況記在病歷上(Observation)。但不是每個記錄都會變成「臨床建議」——只有當他確認: 某個症狀、某個用藥、某個結果 之間有明確因果關係時,才會整理成下次...