讓 AI 從自己的錯誤中學習——一個保守但可信的記憶系統
讓 AI 從自己的錯誤中學習——一個保守但可信的記憶系統
你有沒有想過：AI 助理做錯了事、改了又改、最後終於解決問題——這個過程，能不能被「記住」，讓下次遇到類似狀況時直接用上？
這正是我們在設計的系統想解決的問題。
問題從哪裡來？
現在的 AI 助理（例如 Claude、GPT）每次對話都是全新的開始。它不記得上次踩過什麼坑、哪個做法最後有效。每次都得重新試錯，效率很低。
但「讓 AI 記憶所有東西」又太危險——它可能記到錯的東西，甚至把偶然成功的歪路當成正確方法。
所以我們的核心問題是：怎麼讓 AI 只記住真正有用、可信的經驗？
兩種層次：「看到了什麼」vs「學到了什麼」
我們把記憶分成兩個層次，這是整個設計的核心：
第一層：Observation（觀察）
「發生了什麼事。」
系統掃描 AI 的工作日誌，找出以下訊號：
- 工具執行失敗
- 同一個檔案被反覆修改
- 某個問題一直沒被解決
這些通通記下來，但不做任何判斷、也不告訴下一次的 AI。觀察只是原始素材。
第二層：Experience（經驗）
「什麼做法有效。」
Experience 要嚴格得多。它必須滿足：
- 有一個清楚的「失敗 → 修改 → 成功」的流程
- 修改的內容和失敗的原因語意上有關聯（不只是時間上緊接著）
- 不是純粹靠重試、也不是環境自己好轉
只有這樣的 Experience，未來才能在適當時機告訴 AI：「上次在類似情況下，這個方法有效。」
為什麼這樣設計？三個關鍵原則
1. 寧缺勿濫
有些「成功」其實是運氣：重試了幾次、伺服器剛好恢復、換了個環境。這種成功如果被記成經驗，下次 AI 就會學到錯誤的教訓。
所以我們設了嚴格門檻：只有「確認語意相關」的修復，才算真正的學習。
2. 原始資料不動
AI 的工作日誌（JSONL 檔）是唯讀的。系統只讀取、不回寫，確保每次分析的基礎永遠可靠。
3. Shadow Mode 啟動
初期系統在背景靜默運作——只建立觀察和候選經驗，暫時不影響任何對話。等系統夠成熟、累積夠多可信證據，才開始把高品質的經驗「注入」給下一次的 AI。
一個比喻：老醫師的病歷系統
想像一位醫師，每次看診都把情況記在病歷上（Observation）。但不是每個記錄都會變成「臨床建議」——只有當他確認：某個症狀、某個用藥、某個結果之間有明確因果關係時，才會整理成下次可以參考的治療方案（Experience）。
我們的系統做的就是這件事，只是對象是 AI 的工作記錄，而不是病人。
這有什麼實際意義？
這個系統讓 AI 可以逐漸累積「工作直覺」——不是透過大量重新訓練，而是透過保守、可追溯的學習迴路。
長遠來看，它可以讓 AI 助理：
- 更快發現自己走進了過去試過不通的死路
- 在相似情境下，優先嘗試上次真正有效的做法
- 減少反覆試錯的時間，提升工作效率
但前提是：每一條「經驗」都必須有憑有據，寧可少記，也不亂記。
留言
張貼留言