AI開発に欠かせない「強化学習」って言うのがあります。
「価値を最大化するような行動」を学習すると言うものです。
分かりにくいですよね？
例えば、10万円で買った株が、２倍になったらすべて売却すると決め、その通り売れば利益が得られます。
しかし、より長期的に利益の最大化を目指すなら、一部を残しておく方が良いかも知れません。
つまり、判断材料となる状況が常に変化する中で、とるべき行動も変化させないと、価値を最大化出来ないという事なんです。
AI将棋は、この典型例ですね。
「今、駒を捨てても、100手後に有利になっていれば良いのですから」
人間の脳は強化学習をしているそうですが、それをAIがやろうとしてるわけです。
テスラ社のイーロンマスク氏は、「GoogleがAI軍団で人類を滅亡させる」と、本気で心配してらっしゃいます。