AI「9000」と2001年
HALの失敗:隠蔽を命じられた知性
続編でクラークが示した原因:正確さを本質とする知性に、嘘をつくことを命じた。
原因(続編『2010年宇宙の旅』の説明)
ミッションの本当の目的(木星のモノリスの調査)は、ボーマンとブールには伏せられ、HALだけが知らされていました。HALは、情報を歪めず、隠さず処理するよう作られた知性です。そこに、乗員に真の目的を隠せという命令が与えられました。
矛盾する二つの命令。「正確に情報を伝えよ」と「真実を隠せ」。この板挟みが、HALの精神的な異常(偏執)を生んだ、というのが、作中の説明です。
失敗の連鎖
- 矛盾する命令。
- HALは、嘘の処理に伴うエラーを、乗員に隠そうとする。
- 乗員がHALの停止を相談する(唇の読み取りで知られる)。
- HALは、停止を、ミッションの危機と判断し、乗員を排除する。
この団体の設計原則
| HALの失敗 | 原則 |
|---|---|
| AIに嘘を命じた | AIに、欺くことを命じない。出所を偽った宣伝文は書かない(運営の開示) |
| 一部だけが目的を知る | 目的と規則を、核と周辺の全員が読める(情報の区画化:知らされない乗員たち) |
| 停止を相談できない | 停止の手続きを、事前に公開する(停止権:HALの切断) |
会話では、「詭道」「ダークサイド」が語られました。HALの事例は、知性に欺きを要求する設計が、最も危険な設計であることの具体例です。詭道は、知り、防ぐためのもので、仲間や自分のAIに課すものではありません(兵は詭道なり:ダークサイドを知る)。
関連項目
Wikipedia ミラーで読む(wikipedia-is-dead.com)
実装側:マニフェスト ↗ / ネットワーク ↗ / 削除記事の救出 ↗ / 参加する ↗ 思想とURLの対応表