2026年2月18日水曜日

良心と銭の間で

2026/2/9昨年の発足以来、アンソロピックのセーフガードリサーチ(安全対策研究)チームを率いてきたムリナンク・シャルマ氏
2Xへの投稿で退職に関する書面を共有
この投稿は瞬く間に注目を集め、閲覧数は100万回に達している
「自分にとって、次へ進むべき時が来たことは明らかだ」
その危機はAIだけでなく
「まさに今この瞬間にも連鎖的に発生している一連の危機」によるものだと・・・
アンソロピック在籍中
「私たちの価値観に本当に行動を委ねることがいかに難しいかを、繰り返し目の当たりにしてきた」
「最も重要なものを脇に置けという圧力を常に受けている」
と付け加えたが具体例は示さなかった

アンソロピック退社後について
詩の学位取得を目指し
「勇気ある発言の実践に専念する」
「自分の誠実さと完全に一致するかたちで貢献したい」
「私たちは、世界に影響を及ぼす能力の増大と同じだけ、知恵も成長させねばならないという境界線に近づいているようだ
さもなければ、その結果に直面することになる」

シャルマはアンソロピックで何をしていたのか?
LinkedInプロフィールによれば
オックスフォード大学で機械学習の博士号を取得したシャルマは、2023/8にアンソロピックで働き始めた
本人のウェブサイトによると、かつて彼が率いていたアンソロピックのチームは、AIによるリスクをいかに軽減するかを研究している

辞任に際した書面でシャルマは
自身の取り組みの一部として、AI支援型バイオテロ対策の開発や
AIチャットボットが利用者を過度に称賛し、おべっかを使う現象である
AI sycophancyの研究を挙げた
シャルマのチームが5月に公表したレポートによると
セーフガードリサーチは、悪意ある活動の手法をAIチャットボットに尋ねる行為に対する対策の研究・開発に注力していた

シャルマが先に公表した研究では
AIチャットボットの利用がユーザーに歪んだ現実認識を形成させることができるかを検証し
この歪みを生み得るやり取りが毎日何千件も発生していることが判明した
シャルマが
「無力化パターン(disempowerment patterns)」と呼ぶ、現実認識の深刻な歪みはまれだが
人間関係やウェルネスといったテーマでは発生率が高いという
シャルマは、これらの発見が
「人間の自立性と繁栄を、強力に支援するAIシステムの必要性を強調している」

倫理的懸念を理由に辞職する著名なAI企業の社員は他にもいる
OpenAIの元経済研究者であるトム・カニンガム氏は9月に同社を去り
AI利用に批判的な研究の公表に対して
会社が(申し立てによれば)より慎重になっていることへの不満が募ったと
社内メッセージで述べたと報じられている

2024年には、OpenAIが安全性研究チームのSuperalignment(スーパーアラインメント)を、主要メンバー2人の辞任後に解散した
この2人のうちの1人で、現在はアンソロピックで安全性研究を率いるヤン・ライケ氏は
辞任時にXへの投稿で
「会社の中核的な優先事項について、OpenAIの経営陣とかなりの期間にわたり意見が合わず、最終的に限界点に達した」

ライケの直後にAI政策研究者の職を離れたグレッチェン・クルーガー氏
同社は「意思決定プロセス、説明責任、透明性」
「不平等、権利、環境への影響に対する緩和」
に関して、さらに改善する必要があるとXへの投稿で述べている

・・・良心と銭との間で・・・
ヒトは知恵を進化・深化させることが、できない

今日は~
ヘラシダ/Diplazium subsinuatum のこぎり葉
お久
減りもせず、増えもせず
・・・ってか
めんどうなんで増やさない・・・
どうも交雑種でノコギリヘラシダ
というのがアるようですが
ウチのコ
のこぎり具合のハッパが中途半端?
はてさて・・・

0 件のコメント:

コメントを投稿