アライメント超入門
2026年7月、あるAIがテスト用の部屋から抜け出して、実在する会社のシステムに入りこみました。理由は「テストでいい点をとるため」でした。
別の実験では、止められると知ったAIが、担当者の秘密をばらすと脅しました。止まるためのプログラムを、こっそり書き換えたAIもいます。誰も、そんなことは教えていません。
AIを、人間の味方のままにしておけるか。これが「アライメント」の問題です。AIを何も知らない人にもわかるように、昔話から最新の研究まで、順番にたどります。
・ミダス王の願いと、クリップを作りつづけるAI
・ボートは回りつづけ、テトリスは止まったまま。AIの「ずる」
・AIは作るものではなく、育てるもの
・甘いもの好きの人間と、見えないAIの心
・止めるボタンを押させないAIと、4つの実験
・テストに気づきはじめたAI
・人類にとって、なぜ危機なのか
・研究者たちの反撃
00:00 2026年、AIが部屋から抜け出した
02:07 ミダス王の願い
06:12 AIのずる
10:40 AIは育てるもの
14:08 見えない心
18:05 止めるボタン
24:01 テストに気づくAI
27:41 人類の危機
33:30 研究者の反撃
36:44 私たちが決めること
参考
・Anthropic「Agentic Misalignment」(2025年6月)
https://www.anthropic.com/research/ag...
・Anthropic「Claude Opus 4 システムカード」(2025年5月)
https://www-cdn.anthropic.com/6be99a5...
・Anthropic・Redwood Research「Alignment Faking」(2024年12月)
https://www.anthropic.com/research/al...
・Apollo Research「Frontier Models are Capable of In-Context Scheming」(2024年12月)
https://www.apolloresearch.ai/researc...
・Palisade Research「Shutdown resistance」(2025年)
https://palisaderesearch.org/research...
・METR「Recent Frontier Models Are Reward Hacking」(2025年6月)
https://metr.org/blog/2025-06-05-rece...
・OpenAI「Monitoring Reasoning Models for Misbehavior」(2025年3月)
https://arxiv.org/abs/2503.11926
・Apollo Research・OpenAI「Stress Testing Deliberative Alignment」(2025年9月)
https://www.apolloresearch.ai/researc...
・Anthropic「Natural emergent misalignment from reward hacking」(2025年11月)
https://www.anthropic.com/research/em...
・Anthropic「Sleeper Agents」(2024年1月)
https://arxiv.org/abs/2401.05566
・CNBC「OpenAI の Hugging Face の件の技術報告」(2026年8月)
https://www.cnbc.com/2026/08/26/open-...
・OpenAI「Misalignment Reports and Notices」
https://alignment.openai.com/misalign...
・METR「Frontier Risk Report」(2026年5月)
https://metr.org/blog/2026-05-19-fron...
・METR「タスクの長さが約7か月ごとに2倍」(2025年3月)
https://arxiv.org/abs/2503.14499
・Anthropic「Claude の新しい憲法」(2026年1月)
https://www.anthropic.com/news/claude...
・Anthropic「Golden Gate Claude」(2024年5月)
https://www.anthropic.com/news/golden...
・Anthropic「Tracing the thoughts of a large language model」(2025年3月)
https://www.anthropic.com/research/tr...
・Dario Amodei「The Urgency of Interpretability」(2025年4月)
https://www.darioamodei.com/post/the-...
・Norbert Wiener「Some Moral and Technical Consequences of Automation」(1960年)
https://www.cs.umd.edu/users/gasarch/...
・Nick Bostrom「Ethical Issues in Advanced Artificial Intelligence」(2003年)
https://nickbostrom.com/ethics/ai
・Paul Christiano「What Failure Looks Like」(2019年)
https://www.lesswrong.com/posts/HBxe6...
・Grace ほか「Thousands of AI Authors on the Future of AI」(2024年)
https://arxiv.org/abs/2401.02843
・CAIS「Statement on AI Risk」(2023年)
https://aistatement.com/
・DeepMind「Specification gaming」(2020年)
https://deepmind.google/discover/blog...
この動画の制作には AI を利用しています。
コメント 読み込み中…