分からないから、ではありません。
危険だから、でもありません。
AIが止まるのは、
この判断の結果を、誰が引き受けるのかが決まっていないときです。
判断そのものではなく、
判断の行き先が定まっていないとき、
AIは先へ進みません。
AIは判断を出さず、
判断を人間側に返します。
続けるかどうかを決める役割が、
AIから人間へ戻ります。
ランプが点きます。
それは警告ではありません。
この判断は、AIが引き受ける設計ではなかったという
事実の記録です。
正しい対応は、決まっていません。
誰が判断すべきかも、
固定されていません。
ランプが点いたあと、
処理は自動的には進みません。
人が状況を引き受けます。
必要であれば、判断を分解します。
そして、
判断しない、という判断も許されます。