これの問題は人間側が不調に気付きにくいことなんですよね
どういうことかと言えば、AIへ学習させるとき人間は様々な数値的基準や制限などの条件を設けます
フワッとした理解であれば例えば「Aという基準に則りつつ、Bという制限を超えないようにしろ」という命令を学習時にするんです
AIは様々な経路で条件に合致するように学習を進めますが、学習を進めているうちにAIは人間が想定してなかった斜め上の計算結果を引き当てることがあります
「サイコロを振って最大数を出せるようにしろ。ただしサイコロは6面体で各々の面には1・2・3・4・5・6が重複しないように割り当てられている」
このような条件のときに人間が想定していないバグをAIは発見します
AIは様々な試行を繰り返すうちに「"正"六面体でなければ条件に合致しつつ6を出し続けられる」と"気付く"んですよねw
ほかにも人間が想定しないバグは前投稿だと色々気づけると思いますが、その発想はなかった!みたいなことをAIはやらかします
しかも、自動チェックツールとかでも間違っちゃいないから検知できないので開発者は気付かずデプロイしちゃうんですよね
AI開発はこういう斜め上の発想を防ぐための条件付けを日々改良して秘伝のタレを作る仕事になりやすいw