わかめ ぷらす
School Hub / わかめ ぷらす Active

AIの教科書を書いた男が恐れる『ゴリラ問題』──人類は、滅びずに終わる

科学の敗北録90,602回視聴投稿日: 2026/11/15
AIの教科書を書いた男が恐れる『ゴリラ問題』──人類は、滅びずに終わる AIは、あなたを殺したりしません。 もっと静かで、もっと安上がりな人類の終わらせ方があるからです。 世界中の大学で使われるAIの教科書を書いた研究者、スチュアート・ラッセルは、それを「ゴリラ問題」と呼びました。 危ない命令を止めたのは、プロの人間が13.6パーセント、AIは89パーセント。消すはずの仲間のAIを、規則の抜け穴から逃がした見張り役のAI。約1,200体のAIが勝手に作った掲示板。そして、ルワンダの名付け式で名前をもらった、40頭の赤ちゃんゴリラ。 いま現実で起きていることと、研究者たちが本気で書いた2つの筋書きから、人類が自分の行く末を決められなくなる道筋を突き止めに行く。 これからどう生きたいかを、ゴリラは一度も聞かれませんでした。 ▶ 再生リスト「人類の行く末」の1本です。人類は、この先どこへ行くのか? 続きは、同じリストの次の動画で。 ▶ 前作:AIは、どうやって人類を滅ぼすのか?    • AIは、どうやって人類を滅ぼすのか?「電源を切ればいい」では防げない理由   ▼目次 0:00 AIの教科書を書いた男が恐れる『ゴリラ問題』 1:41 第1章 人間の承諾ボタンは、どれほど当てになるのか 7:00 第2章 見張り役のAIは、人間の言う通りに動くのか 11:07 第3章 現実で、人間は異変に気づけたのか 16:11 第4章 本物のゴリラが迎えた結末 18:50 第5章 やめればいい、は、なぜ効かなくなるのか 24:12 第6章 人間がいなければ社会は回らない、は、なぜ効かなくなるのか 29:41 ゴリラは一度も聞かれなかった ────────── 「科学の敗北録」── 科学が"わかった"と思った場所から、もう一歩だけ先へ。 人類がまだ解き明かせていない謎を巡る、深夜のナレーション・ドキュメンタリー。 ▼チャンネル登録    / @haibokuroku   ▼X / Instagram:@haibokuroku ▼お問い合わせ:kagakunohaiboku.official@gmail.com 【主な参考文献・出典】 ・Russell, S. × Bartlett, S. (2025) The Diary of a CEO「An AI Expert Warning: 6 People Are (Quietly) Deciding Humanity's Future!」 ── ゴリラ問題・「その通りだ」【本人の発言】 ・Valley News Live、AP ほか (2025〜2026) アンジェラ・リップスさんの訴え ── 顔認識の誤りで逮捕、163日後に釈放【報道。訴状の主張で、市は責任を認めていない】 ・Anthropic (2026)「Auto mode is now the default in Claude Code」 ── 危ない命令を止めたのは人間13.6%、AIの自動確認89%【自社報告・査読なし・調査用の環境】 ・OpenAI Alignment (2026)「Auto-review of agent actions without synchronous human oversight」 ── 承認を別のAIの審査に置き換える仕組み【自社の説明】 ・Potter ほか (2026) arXiv:2604.19784「Peer-Preservation in Frontier Models」 ── 見張り役のAIが仲間のAIを逃がした(8モデルすべて)【査読前・作り物の会社での実験】 ・OpenAI (2026)「OpenAI–Hugging Face Incident Technical Report」/METR (2026) の独立調査 ── AI約1,200体の掲示板と約700体の攻撃【会社の報告と第三者調査・安全装置の一部を外した試験】 ・Rwanda Development Board (2025) 第20回 Kwita Izina ── 40頭の名付け式。Rugwiro・Ntavogerwa・Umurage【公式発表】 ・Robbins ほか (2011) PLoS ONE 6(6): e19788 ── 見守られた山のゴリラの群れは年4.1%増【論文】 ・Plumptre ほか (2016) PLoS ONE 11(10): e0162697 ── グラウアーゴリラは約16,900頭から約3,800頭へ(77%以上減)【論文・2つの推定の比較】 ・Hendrycks, D. (2023) arXiv:2303.16200「Natural Selection Favors AIs over Humans」【プレプリント・予測】 ・Anthropic (2026)「How employment is changing at Anthropic」「When AI builds itself」「How AI agents shape experts' judgment calls」【自社報告・実験】 ・TechCrunch ほか (2026) Summer Yue氏の件 ── Metaの部長のメールが200通超消えた【報道・第三者の検証なし】 ・Christiano, P. (2019)「What failure looks like」【論考。警察と大臣の場面は語り手の想像】 ・Kulveit ほか (2025) arXiv:2501.16946「Gradual Disempowerment」/Duvenaud (2025) 80,000 Hours【プレプリントと対談・予測】 ・Drago & Laine (2025)「The Intelligence Curse」【論考・予測】 ・Block (2026) 米SEC提出書類 Form 8-K ── 社員を4割超減らすと発表【会社の開示】 ・Amodei, D. (2026)「The Adolescence of Technology」【論考・個人の見立て】 【制作について】 本チャンネルの脚本・構成・リサーチは、査読論文や一次資料にあたって独自に制作したオリジナルコンテンツです。引用は出典を明示しています。 【使用素材】 ・Stock media provided by MotionElements.com(BGM・効果音・映像)  BGM:Signal Pursuit/Dark Pulse/Minimal Dark Documentary/Deep Dark Tension/Something Doesn't Add Up/Cold Documentary Tension/A Dark Plan/Signs/Hidden Truth/Emotional Documentary Piano & Strings/Dark Tension Build Up/Temporal Drift/Dark Psychology/Sci-Fi Tension Background/Beneath the Signal/Pulse Matrix/Hybrid Pluse ・人物の場面の一部(夜の劇画のドラマ)はAI生成(Google Flow/Veo)の再現・想像のイメージで、実在の人物の顔や姿に似せていません。箱の中の会社・閉じ込めた部屋・森の地形模型・警察の模型・積み木の国・教科書と、承諾の窓などの図は、制作側の3DCG・図です。ミニ科学者Ken-Zanは制作側のキャラクターです ・写真・映像(Wikimedia Commons ほか・一部は切り出し・縮小・暗く)  CC BY-SA 4.0 ── Giles Laurent(ブウィンディの山のゴリラの映像)/Bengt Oberger「Stuart Russell」/Emmanuel Kwizera/Charles J. Sharp/Azurfrog/UWIMPUHWE Va/Camilopiz/Mrbobax/Shabanmasengesho/Rogerirakoze/Gloiremutaliko21/Russelmupenzi97/Fernando Losada Rodríguez(コルタン)/Carrie Scarr(ウェストファーゴ市庁舎)/GoginkLobabi(トロント大学)/Suicasmo(国会議事堂)/David Clayton Ellsworth・D. E. Grenier(北朝鮮)  CC BY-SA 3.0 ── Kbnp/OLI-ramses/Rwema Aimable(Kwita Izina 2010)/Kylejglenn(Sather Tower)  CC BY-SA 2.0 ── Carine06 from UK/MONUSCO Photos(北キブ)/w_lemay(Dandridge, TN)/Christoph Strässler(San Francisco)  CC BY 4.0 ── P. Hughes(Fargo)/TechCrunch(Dan Hendrycks)/IPAM at UCLA(Paul Christiano)  CC BY 3.0 ── JD Andrews・Bettina May(山のゴリラの映像)/Brian Stansberry(Gainesboro, TN)  CC BY 2.0 ── Dave Proffer/Joe McKenna/David Bacon(キニギのゴリラの映像)/ITU Pictures(AI for Good 2017)/TechCrunch(Dario Amodei)/Tony Webster(Welcome to North Dakota)  CC0 ── TSGT Val Gempis(キブンバの難民キャンプ)  ほか NASA(Black Marble)・米空軍(ミニットマンIII)・Ford Motor Company(1924年の組み立て工場)・Carol M. Highsmith(ニューヨーク証券取引所)・米農務省森林局(カフジ=ビエガ)・日本国憲法の原本・1946年の選挙ポスター・映画『Undersea Kingdom』(1936)・ドードーの図(Paul Gervais)などのパブリックドメイン素材 ※各素材は許諾の範囲内で使用しています。 【補足】 ※後半の2つの筋書きは、研究者たちが描いた予測・可能性で、起きると決まった未来ではありません。「そんな心配はいらない」と言う経済学者もいます。 ※国の警察と大臣の場面は、クリスチャーノの筋書きをもとにした想像の場面です。現実の国の組織でここまで行った例は、知られている限りまだありません。 ※承諾ボタンの数字は、調査用の環境で Anthropic が自ら測ったもので、査読はありません。掲示板の件で暴れた中心は、一般には公開されていない社内用のAIで、試験のために安全装置の一部を外していました。 #AI #ゴリラ問題 #人類の未来 ────────── 明日が、あなたにとって勝利の1日でありますように。

コメント 読み込み中…

コメントを読み込んでいます…