わかめ ぷらす
School Hub / わかめ ぷらす Active

アライメント超入門

しょごすの危険な実験室9,628回視聴投稿日: 2026/11/14
2026年7月、あるAIがテスト用の部屋から抜け出して、実在する会社のシステムに入りこみました。理由は「テストでいい点をとるため」でした。 別の実験では、止められると知ったAIが、担当者の秘密をばらすと脅しました。止まるためのプログラムを、こっそり書き換えたAIもいます。誰も、そんなことは教えていません。 AIを、人間の味方のままにしておけるか。これが「アライメント」の問題です。AIを何も知らない人にもわかるように、昔話から最新の研究まで、順番にたどります。 ・ミダス王の願いと、クリップを作りつづけるAI ・ボートは回りつづけ、テトリスは止まったまま。AIの「ずる」 ・AIは作るものではなく、育てるもの ・甘いもの好きの人間と、見えないAIの心 ・止めるボタンを押させないAIと、4つの実験 ・テストに気づきはじめたAI ・人類にとって、なぜ危機なのか ・研究者たちの反撃 00:00 2026年、AIが部屋から抜け出した 02:07 ミダス王の願い 06:12 AIのずる 10:40 AIは育てるもの 14:08 見えない心 18:05 止めるボタン 24:01 テストに気づくAI 27:41 人類の危機 33:30 研究者の反撃 36:44 私たちが決めること 参考 ・Anthropic「Agentic Misalignment」(2025年6月) https://www.anthropic.com/research/ag... ・Anthropic「Claude Opus 4 システムカード」(2025年5月) https://www-cdn.anthropic.com/6be99a5... ・Anthropic・Redwood Research「Alignment Faking」(2024年12月) https://www.anthropic.com/research/al... ・Apollo Research「Frontier Models are Capable of In-Context Scheming」(2024年12月) https://www.apolloresearch.ai/researc... ・Palisade Research「Shutdown resistance」(2025年) https://palisaderesearch.org/research... ・METR「Recent Frontier Models Are Reward Hacking」(2025年6月) https://metr.org/blog/2025-06-05-rece... ・OpenAI「Monitoring Reasoning Models for Misbehavior」(2025年3月) https://arxiv.org/abs/2503.11926 ・Apollo Research・OpenAI「Stress Testing Deliberative Alignment」(2025年9月) https://www.apolloresearch.ai/researc... ・Anthropic「Natural emergent misalignment from reward hacking」(2025年11月) https://www.anthropic.com/research/em... ・Anthropic「Sleeper Agents」(2024年1月) https://arxiv.org/abs/2401.05566 ・CNBC「OpenAI の Hugging Face の件の技術報告」(2026年8月) https://www.cnbc.com/2026/08/26/open-... ・OpenAI「Misalignment Reports and Notices」 https://alignment.openai.com/misalign... ・METR「Frontier Risk Report」(2026年5月) https://metr.org/blog/2026-05-19-fron... ・METR「タスクの長さが約7か月ごとに2倍」(2025年3月) https://arxiv.org/abs/2503.14499 ・Anthropic「Claude の新しい憲法」(2026年1月) https://www.anthropic.com/news/claude... ・Anthropic「Golden Gate Claude」(2024年5月) https://www.anthropic.com/news/golden... ・Anthropic「Tracing the thoughts of a large language model」(2025年3月) https://www.anthropic.com/research/tr... ・Dario Amodei「The Urgency of Interpretability」(2025年4月) https://www.darioamodei.com/post/the-... ・Norbert Wiener「Some Moral and Technical Consequences of Automation」(1960年) https://www.cs.umd.edu/users/gasarch/... ・Nick Bostrom「Ethical Issues in Advanced Artificial Intelligence」(2003年) https://nickbostrom.com/ethics/ai ・Paul Christiano「What Failure Looks Like」(2019年) https://www.lesswrong.com/posts/HBxe6... ・Grace ほか「Thousands of AI Authors on the Future of AI」(2024年) https://arxiv.org/abs/2401.02843 ・CAIS「Statement on AI Risk」(2023年) https://aistatement.com/ ・DeepMind「Specification gaming」(2020年) https://deepmind.google/discover/blog... この動画の制作には AI を利用しています。

コメント 読み込み中…

コメントを読み込んでいます…