English

四:回應力——接收關懷

診所公布營業時間;病人到達時門卻鎖著。有回應力的診所會道歉、公布原因、更新營業時間,並在下次以簡訊通知人們。修復成為系統的一部分。

勝任的行動會創造新資訊。被服務的人——或被辜負的人——如今對這套系統有了它自己尚未察覺的認識。拒絕接收這份知識,是通往一再失敗最快的路。

Tronto 將回應力描述為:觀察回應,並判斷關懷是否足夠、是否成功、是否完整。她還補上一個容易被忽略的提醒:接受關懷的人不必親自回應——關懷情境中的其他人也可以做出評估。最有資格判斷關懷是否奏效的,往往不是打造系統的工程師,而是與其影響朝夕相處的人。對仁工智慧而言,公開問題其實很簡單:當系統傷害了人,誰能提出異議、要多久才會得到回應,而且因為他說了話,究竟有什麼被改變?

定義

為什麼重要

Pack 3 檢查流程是否依承諾運作;Pack 4 檢查關懷是否真的落地。也因此,回應力必須從社群判斷開始,而不是從工程管線開始。

社群撰寫的評測、申訴與修復日誌,是公開承諾本身。有些團隊之後會把這些訊號接到路由或模型更新上——有時稱為社群回饋強化學習(RLCF)——但那只是次一步的實作選擇。尺規必須先由社群來寫。

煞車是一種關懷機制

回饋管線可以改變未來的訓練,卻無法在「此刻就該攔下」的時候,中斷一個錯誤的決定。這需要煞車:一種讓接受關懷的人——或代表他的照顧者——能夠說出「這一次,自動化模型錯了;停下來,讓我推翻它,或者現在就轉給人工處理」的機制。對護理師而言,這代表可以推翻系統「不需警示」的判斷、直接打電話給醫師,而不必先向軟體介面說明理由;對居民而言,是一個兩分鐘內就能完成、可觸發人工複核自身案件的動作;對語言社區而言,是一條能標記出整體模式、促使政策複審的管道,而不只是逐件提出申訴。讓煞車有效的,不是精密,而是可及性與後果性:不必穿越迷宮就搆得到,而且拉下去必須真的停下某些事。

誠實的設計無法迴避這個張力:容易搆到的煞車,也容易被倚賴;一個每則警示都被推翻的病房,並沒有解決警示疲勞——只是把它自動化了。答案不是更難拉的煞車,而是有跡可循的煞車:記錄每一次拉動、讓它可歸屬到人,並把「過度推翻」的模式回饋進社群撰寫的評測,使其本身成為一種訊號。

實際上長什麼樣子

從理念到實作

  1. 揭露申訴按鈕。 在顯示決策的任何地方,都存在一個附帶時鐘的一鍵申訴。決策軌跡僅核發給使用者,由其自行決定是否解封以發起公開申訴。
  2. 接受損害草稿。 讓人們用白話提交擬議評測;再與合作夥伴一起把它轉成經社群審閱的測試。
  3. 按嚴重性分類。 參與官依社群嚴重性量尺分類;最高類別觸發立即暫停或可逆預設值。
  4. 修復或解釋。 在規定時限內,公布補救措施或附後續步驟的理由。
  5. 記錄備查。 將事件轉化為測試;添加到評測登錄庫;從契約變更日誌連結。
  6. 回查。 與申訴者閉合循環;測量失利下的信任。

今天就能做的工具

一個案例:賑災機器人

可能出錯的地方

與其他「力」的介接

結語意象:工坊牆上退役的壞零件

想像一間工坊,牆上掛滿退役的「壞掉零件」,每個都標記著它是如何壞的、如何避免未來的損壞、以及誰修復了它。那面牆不是恥辱牆,而是學習牆——公開展示,由使用這間工坊的社群共同守護,而不只是由打造機器的工程師看管。隱藏自己壞掉零件的工坊,會重蹈覆轍。願意把牆築起來的工坊,假以時日會成為這一帶最可靠的一家——不是因為它從不弄壞東西,而是因為它把一次次的失敗,鋪成了自身勝任力的地基。

上一章 下一章