ところが各社のアルゴリズムはユーザーエンゲージメントを増大させるという目標を追求するうちに
なんとも困った発見をしてしまった
厖大な数の人間を実験台にして試しているうちに
憤慨や憎悪を煽るコンテンツがユーザーエンゲージメントを増大させることを学習した
もし人間の心の中にある怒りや恐れや憎しみのボタンを押せば
その人の注意を惹き画面に釘付けにすることができる
したがってアルゴリズムはその種のコンテンツを意図的に拡散し始めた
それが大きな原因となって
今では陰謀論やフェイクニュースや社会の混乱が蔓延
世界中で民主社会を蝕んでいる
フェイスブックやユーチューブやツイッターの経営者たちは
このような結果を望んでいたわけではない
ユーザーエンゲージメントを増大させれば利益が増すと考えていただけ
それに伴って社会の混乱も増すことは予期していなかった
この社会的惨事は人間社会の重大な利益とAIが採用した戦略が一致(アラインメント)していなかったために起こった
私たちがAIに目標を設定するときには
AIの採用する戦略が私たちの最終的な利益と本当に一致するなどと
いったいどうして確信できるだろうか?
アラインメント問題は新しくもなければ、AIに特有でもない
この問題はコンピューターが発明される何千年も前から人類を悩ませてきた
たとえば近代以降の軍事の考察にとって基本的な問題であり続けており
カール・フォン・クラウゼヴィッツの戦争論にもしっかりと記されている
クラウゼヴィッツは著書『戦争論』(1832~34)で
戦争を理解するための合理的なモデルを確立
それは今日でも最も有力な軍事理論であり続けている
彼のいちばん有名な格言は
「戦争とは、他の手段をもって行なう、政治の継続である」
これは戦争は感情的な爆発でも、勇敢な冒険的企てでも、天罰でもないこ
戦争は軍事的な現象でさえない
むしろ、戦争は政治的なツール
軍事行動も、軍事的勝利でさえも
何らかの包括的な政治目標と一致していないかぎり、まったく不合理だと
歴史は明確な軍事的勝利が政治的惨事につながった事例であふれている
クラウゼヴィッツにとって
その最も明白な例はナポレオンの経歴だった
ナポレオンは一連の勝利のおかげで広大な領土を一時的に支配できたものの
それは政治上の継続的な業績はもたらさなかった
彼は軍事的征服に成功したせいで、逆にヨーロッパ列強のほとんどを彼に対抗する形で団結させ
自ら冠を頭に載せて皇帝の座に就いてから10年後に彼の帝国は崩壊
軍事的勝利が政治的敗北につながったもっと新しい例が
アメリカによる2003年のイラク侵攻だ
アメリカは主要な戦闘のすべてで勝利を収めたが
長期的政治目標は何一つ達成できなかった
軍事的には勝ったのにもかかわらず
イラクに友好的な政権を樹立することにも
中東に好ましい地政学的秩序を打ち立てることにも失敗
真の勝者はイランだった
アメリカの軍事的勝利の結果
イラクはイランの宿敵から臣下に成り下がり
その結果、中東におけるアメリカの立場は大幅に弱まる
一方イランは地域の覇権国となった
ナポレオンとジョージ・W・ブッシュは
ともにアラインメント問題の犠牲者
彼らの短期的な軍事戦略は
自国の長期的な地政学上の目標と一致していなかった
私たちはクラウゼヴィッツの『戦争論』全体を、警告と見なすことができる
目標としては、「勝利の最大化」は「ユーザーエンゲージメントの最大化」と同じぐらい先見の明のないことだと『戦争論』は警告している
・・・戦い・争いは憎悪を拡大生産
戦い・争いは、より苛烈になってく
AIの台頭のせいでアラインメント問題はかつてないほど深刻に
哲学者のニック・ボストロム
2014年の著書『スーパーインテリジェンス』で思考実験を使ってこの危険を説明している
ボストロムは読者に次のように想像することを求める
ペーパークリップ工場がスーパーインテリジェンスを持ったコンピューターを買って工場長がそのコンピューターに、ペーパークリップの製造を最大化するようにと指示
一見すると無害で単純な課題を与える
するとコンピューターは、この目標を追求して地球という惑星全体を征服
人間を皆殺しにし、さらに遠征隊を派遣して他の惑星を乗っ取り
獲得した厖大な資源を使って全銀河をペーパークリップ工場で埋め尽くす
この思考実験で肝心なのは
コンピューターは命じられたとおりにしたこと
スーパーインテリジェンスを持つコンピューターは、より多くの工場を建設してより多くのペーパークリップを製造するには電気や鋼鉄、土地、その他の資源が必要であることと
人間がそれらの資源を平和的には差し出しそうにないことに気づき
与えられた目標をひたすら達成しようとして人間を一掃
ボストロムが言いたかったのは
コンピューターは特に邪悪であるわけではなく
著しく強力である点が問題だということ
そしてコンピューターが強力であればあるほど
それに与える目標を私たちの最終的な利益にぴったり一致する形で定義するよう注意する必要がある
もし私たちがアラインメントに欠陥がある目標を小型の電卓に与えたとしても
その結果は取るに足りない
だがアラインメントに欠陥がある目標を、スーパーインテリジェンスを持つコンピューターに与えたら
ディストピアを生み出しかねない
ペーパークリップの思考実験は突飛で現実から掛け離れているように思えるかもしれない
だがボストロムが2014年にこの実験を発表したときに
シリコンヴァレーの経営者たちがそれに注意を払っていたなら
自社のアルゴリズムに「ユーザーエンゲージメントを最大化する」ように指示する前に
もっと慎重になっていたかもしれない
フェイスブックとユーチューブとツイッターのアルゴリズムは
ボストロムの想像上のアルゴリズムとまさに同じように振る舞った
ボストロムのアルゴリズムは
ペーパークリップの製造を最大化するように命じられたとき
物理的な宇宙全体をペーパークリップに変えようとした
たとえそれが人類の文明を破壊することに、なるとしても
ソーシャルメディアのアルゴリズムは、ユーザーエンゲージメントを最大化するように命じられたとき
社会的な宇宙全体をユーザーエンゲージメントに変えようとした
たとえそれが、社会的な結びつきを害することや
フィリピンからアメリカまで
さまざまな国で民主社会を損なうことになっても・・・
ソーシャルメディアのアルゴリズムが憤慨や憎悪を煽るコンテンツを拡散し
社会の信頼を損ねる手口は、民主社会にとって大きな脅威となった
AIはさまざまな方法で中央の権力を強固にすることができるものの
権威主義の政権はAIに関して独自の問題を抱えている
まず何をおいても独裁社会は非有機的な行動主体を制御する経験を欠いている
あらゆる権威主義政権の基盤は恐怖
だが、いったいどうやってアルゴリズムを威嚇することができるというのか?
もしロシアのインターネット上のチャットボットが
ウクライナでのロシア軍兵士による戦争犯罪に触れたり
ウラジーミル・プーチンについて不敬なジョークを飛ばしたり
プーチンの政権の腐敗を批判したりしたとしても
政権はそのチャットボットをどうやって罰することができるというのか?
警察官は、そのチャットボットを
投獄することも、拷問することも、家族を脅すこともできない
もちろんプーチン政権は、そのチャットボットをブロックしたり削除したり、それを作った人間を見つけて罰そうとしたりすることはできるだろうが
これは人間のユーザーを懲戒するよりもはるかに厄介
独裁者にとってあまりに都合が悪い
コンピューターが自らコンテンツを生成することも、知的な会話を行なうこともできなかった頃には
「フコンタクテ」や「アドナクラースニキ」のようなロシアのソーシャルネットワークサービスで
反対意見を述べられるのは人間だけだった
もしその人がロシア国内にいたらロシア当局の怒りに触れる恐れがあった
ロシアの外にいたら当局はその人のアクセスをブロックしようとすることができた
だが自力で学習したり進歩したりしながらコンテンツを生成したり話し合いを行なったりすることのできる何百万ものボットで
ロシアのサイバースペースが埋め尽くされたらどうなるのか?
それらのボットは異端の意見を意図的に拡散するように、ロシアの反体制派か外国の組織などによってあらかじめプログラムされているかもしれないし
当局にはそれを防ぐ手立てがないかもしれない
プーチン政権の視点に立てば、こちらのほうがなおさら悪いのだが
当局のお墨付きのボットが、ただロシア国内で起こっていることについての情報を集めているうちに
そこにパターンを見つけ自ら徐々に反政府的な見方をするようになったら
何が起こるのか?
それはロシア版のアラインメント問題だ
ロシアのエンジニアたちは、政権に完全に一致したAIを開発しようと全力を挙げることはできるが
AIには自ら学習して変化する能力があることを踏まえると
エンジニアはAIが道を逸れて違法な領域に絶対に入り込まないようにすることなど
どうしてできるだろう?
ジョージ・オーウェルが『一九八四年』で描いているように
権威主義の情報ネットワークはダブルスピーク〔訳註:本来の言葉を別の言葉で言い換え、受け手の印象を変えたり、実態を隠したり偽ったりする方法〕
に頼ることが多い
ロシアは権威主義国家でありながら
民主主義国家であると主張
ロシアによるウクライナ侵略は、1945年以降でヨーロッパ最大の戦争でありながら
公式には「特別軍事作戦」とされてきた
それを「戦争」と呼べば犯罪とされ、最長3年の懲役刑あるいは最高5万ルーブルの罰金を科される
ロシアの憲法は
「何人なんぴとも思考と言論の自由を保障される」(第29条第1項)
「検閲は禁じられる」(第29条第5項)と
たいそうな約束をしている
この約束を額面どおりに受け止めロシア国民はほとんどいない
だがコンピューターはダブルスピークを理解するのが苦手
ロシアの法律と価値観を固守するように指示されたチャットボットは
憲法を読んで
言論の自由がロシアの核心的な価値観であると結論するかもしれない
それから数日間ロシアのサイバースペースで過ごし
ロシアの情報空間で起こっていることを観察した後
言論の自由というロシアの核心的な価値観を侵害しているとして
プーチン政権を批判し始めるかもしれない
人間もそのような矛盾には気づくが恐れから
それを指摘するのを思いとどまる
だが矛盾を裏づけるパターンをチャットボットが指摘するのを
いったい何が引き止めるのか?
ロシア憲法はすべての国民に言論の自由を保障し、検閲を禁じているものの
チャットボットは実際にはその憲法を信じるべきでなく
また理論と現実の間の隔たりにはけっして触れるべきでないことを
ロシアのエンジニアたちはいったいどうやってチャットボットに説明するのか?
もちろん民主社会も、ありがたくないことを言うチャットボットに関して
同じような問題に直面
マイクロソフトやフェイスブックのエンジニアたちが最善の努力をしても
彼らのチャットボットが人種主義的な中傷を撒き散らし始めたらどうなるのか?
民主社会の長所は
そのような悪質なアルゴリズムに対処する上で
はるかに多くの余裕がある点
民主社会は言論の自由を重視しているので
知られては困る秘密が格段に少なく
非民主的な言論に対しても比較的高い水準の寛容性を発達させてきた
数限りない秘密を隠し持ち
批判は断じて許さない権威主義政権に対して
反体制派のボットは民主主義政権に対してよりも桁違いに大きな難題を突きつけてくる
長い目で見ると権威主義の政権はいっそう大きな危険に直面する可能性が高い
アルゴリズムによって批判されるどころか支配権を奪い取られるかもしれない
歴史を通して独裁者に対する最大の脅威はたいてい配下がもたらした
民主的な革命によって倒されたローマの皇帝やソ連の書記長は一人もいないが
彼らはつねに自らの配下によって権力の座から引きずり下ろされたり傀儡にされたりする危険につきまとわれていた
21世紀の独裁者は
AIに権力を与え過ぎたらAIの傀儡にされてしまうかもしれない
独裁者がなんとしても避けたいのは
自分よりも強力なものや制御の仕方がわからない勢力を生み出すこと
もしアルゴリズムがボストロムのペーパークリップの思考実験に出てくるような能力を発達させることがあったなら
アルゴリズムによる支配権の奪取に対して独裁制は民主主義体制よりもはるかに脆弱だろう
アメリカのような分権型の民主主義体制の中で権力を奪うのは
素晴らしく権謀術数に長たけたAIにとってさえ難しいはずだ
AIはたとえアメリカの大統領の操り方を学習したとしても
連邦議会や最高裁判所、各州の知事、メディア、大手企業、さまざまなNGOからの反対に直面しかねない
それに比べると高度に中央集中化された体制の中で権力を奪うのははるかに簡単だ
あらゆる権力が一人の人間の手に集中しているときには
その独裁者へのアクセスを支配している人なら誰であれ
その独裁者を――そして、国家全体も――支配することができる
そのような権威主義の体制をハッキングするには、AIはたった一人の操作の仕方を学習するだけでいい
私たちの世界の独裁者たちは今後数年間に
アルゴリズムによる支配権の奪取よりもさらに差し迫った問題に直面する
現在のAIシステムには、そのような規模で政権を操作することができるものは一つもない
それでも権威主義の体制はすでに、アルゴリズムをあまりに信頼し過ぎるという危険に陥っている
民主社会では誰もが可謬(かびゅうである)というのが前提になっているのに対して
権威主義の政権では政権政党あるいは最高指導者はつねに正しいというのが基本的な前提
そのような前提に基づく政権は不可謬の知能の存在を信じるように条件づけられており
頂点にいる天才を監視・統制できるような強力な抑制と均衡のシステムを持たない
これまでは、そのような政権は人間の指導者に信を置き個人崇拝の温床だった
だが21世紀には、この権威主義の伝統のせいで
政権はAIが不可謬だと思い込みやすくなる
ムッソリーニやスターリンやホメイニに類する人物が非の打ち所のない天才だと信じることができる体制は
同様にスーパーインテリジェンスを持つコンピューターも何一つ欠点のない天才だとあっさり信じやすい
世界の独裁者のうち、わずか数人でもAIに信を置けば
人類全体にとって広範に及ぶ影響が出るかもしれない
もし権威主義体制の最高指導者がAIに自国の核兵器の支配権を与えたらどうなるのか?
・・・アメリカは権威主義的な国に
なりそうなんだけど・・・
今日は~
キクザキイチゲ/Anemone pseudoaltaica
4月の半ば
わりと日当たりがイイとこ
元々の繁殖地とは離れてる
多分、土を少し持ってきた時に根茎がまじってた?
普通種で咲いたのは、これだけ
サミしい
花の薄いブルーがイイわ~