AI 系統設計原則
這一頁只保存跨案例仍然有用的設計原則。每一條都應能連回具體案例,並隨後續討論修正。
1. 局部回饋負責導航,最終結果負責驗收
Section titled “1. 局部回饋負責導航,最終結果負責驗收”中間獎勵可以降低探索難度,但不能取代真正的任務目標。否則系統可能把容易量化的代理指標做到最好,卻沒有完成使用者真正要的事情。
2. 回饋要盡量對準真正行為
Section titled “2. 回饋要盡量對準真正行為”回饋與目標行為之間夾雜越多其他步驟,信用分配越模糊。必要時應使用明確標記、階段邊界、可驗證狀態或更細緻的過程評估。
3. 不把所有底層動作視為同一層級
Section titled “3. 不把所有底層動作視為同一層級”長任務應組成可重複使用的技能與階段,例如搜尋、比較、驗證、執行與復核。高階規劃不需要每次都重新處理所有底層操作。
4. 每個階段都要有進度訊號,但不能為了有分而製造分數
Section titled “4. 每個階段都要有進度訊號,但不能為了有分而製造分數”好的中間訊號應反映成功機率、資訊增益、風險下降或狀態改善,而不是只獎勵「有做事」或「產生很多步驟」。
5. 最終完成必須獨立驗證
Section titled “5. 最終完成必須獨立驗證”即使過程評分良好,仍要確認最終輸出、真實環境結果、副作用與授權條件。正確的過程不保證真正完成,錯誤的過程也可能偶然得到正確答案。
6. 任務後回放不是只寫解釋
Section titled “6. 任務後回放不是只寫解釋”回放應嘗試定位第一個關鍵分岔、無效步驟與不可逆錯誤,並將結果轉成可重複使用的規則。只有產生一段合理敘述,不足以證明系統理解原因。
7. 因果判斷優先依靠干預與反事實
Section titled “7. 因果判斷優先依靠干預與反事實”要驗證某一步是否真正重要,應盡量改變該步、重跑任務、比較相似軌跡或在模擬環境做消融,而不是只依相關性或事後說明。
8. 類比應保留邊界
Section titled “8. 類比應保留邊界”可以從動物與人類學習抽取共同的計算問題,例如信用分配、探索、泛化與記憶回放;但不能把生物心理機制直接等同於 AI 演算法。
9. 智能是能力配置,不只是單一高低分數
Section titled “9. 智能是能力配置,不只是單一高低分數”狼、狗與人類適應不同環境,各自強化不同能力。AI 系統也應依任務需求配置獨立探索、社會協作、工具使用、規劃、記憶與驗證能力,而不是只追求單一總分。
10. 多時間尺度混合通常優於單一回饋尺度
Section titled “10. 多時間尺度混合通常優於單一回饋尺度”較完整的系統應同時處理:
- 當下動作是否合理
- 階段目標是否完成
- 整體任務是否成功
- 長期結果是否穩定
- 事後是否需要重新歸因與更新策略