English

三:勝任力——給予關懷

橋樑的勝任與否並非取決於藍圖是否優雅;它是因為能承載——並在卡車經過、風起、檢查員檢查螺栓時繼續承載而勝任。

Tronto 堅持:「承擔責任和實際執行關懷工作是兩回事。」勝任力關乎執行:兌現承諾的可運作程式碼,經過稽核、可解釋且安全試錯。而且至關重要的是:「勝任地關懷不僅僅是技術問題,更是道德問題。」一個以良好意圖交付破損關懷的系統,是道德上的失敗,不僅僅是技術上的失敗。

插圖的框架:我們檢核流程——不是「相信我們就對了」,而是以透明度和快速的作業回饋來檢查關懷是如何被交付的。

定義

為何重要

勝任力之所以重要,是因為公開承諾若沒有可見、可測、可逆的執行,就會落空。Pack 2 綁定承諾;Pack 3 問的是系統是否真的兌現了。對仁工智慧而言,安全必須是人們能在系統運作中檢查的東西,而不是從供應商的意圖中推斷出來。一個以良好意圖交付破損關懷的系統,是道德上的失敗,而不僅僅是技術上的失敗。

實作上長什麼樣子

從理念到實踐

  1. 從契約推導規格。 將 Pack 2 參與契約轉化為驗收測試。
  2. 為可觀察性設置儀器。 發出附有來源和收據連結(來自 Pack 1)的決策追蹤。
  3. 運行影子模式。 新政策看到輸入並提議行動但不行動。與人類/先前系統比較。
  4. 安全金絲雀。 發布給小型、有代表性的群組,如果漂移超出界限則自動轉返。
  5. 全面發布前稽核。 評測、日誌和防護措施的獨立稽核;公布經證明的報告。
  6. 全面發布並監控。 為所有啟用;觀察漂移監控器;預留隨時可暫停的機制。
  7. 事件後學習。 無責備審查;修復變成測試。

可立即建置的工具

一個案例:賑災機器人

可能出錯的地方

介接

公開指標

勝任力的公開主指標是經驗證的執行率。公開要回答的問題是:經過稽核的決策或發布中,有多少真的通過了防護措施、附帶可用的決策軌跡,並維持在發布界限之內?

輔助診斷包括決策軌跡完整度、防護措施完整性、金絲雀健康度,以及稽核推翻率。詳見衡量指標

結語意象:掛著檢查標籤的橋

想像一座維護良好的橋樑,上面掛著檢查標籤——日期、載重測試、下次檢查——任何過橋的人都看得到。勝任力不是沒有失敗;而是有人檢查過、而且會再檢查的證明。

上一章 下一章