報酬ハッキングについて

報酬ハッキングとは

本書では、Skalse et al. (2022) の定義を踏襲し、報酬ハッキングを以下のように定義しています。

不完全なプロキシ報酬関数 \(\hat r\) に関して方策を最適化したことによって、真の報酬関数 \(r^\star\) に関する性能が低下すること

Dario Amodei らが2016年に執筆した論文 Concrete Problems in AI Safety [1]でも、報酬ハッキングは強化学習の安全性に関する課題の一つとして議論されています。

報酬設計の難しさ

報酬ハッキングを防ぐための一番の正攻法は、真の報酬関数 \(r^\star\) と可能な限り同じプロキシ報酬関数 \(\hat r\) を設計することです。しかし、複雑な問題において、完璧なプロキシ報酬関数 \(\hat r\) を設計することは通常できません。

例えば、自分の資産を増やしてくれる自律エージェントを強化学習で獲得したいとします。どのように報酬関数を設計しますか？もっとも安直な報酬設計は、「増えた資産額に応じて報酬を与える」というものでしょう。逆に資産額が減ってしまった場合には、負の報酬（ペナルティ）を与えるというように定義します。

このとき、AI の気持ちになって、この報酬設計に忠実に行動するとどのような戦略が学習され得るでしょうか？もちろん、自分の意図を汲み取ったポートフォリオを組んでくれるかもしれませんが、現金をすべて株に変えたり、場合によっては家を売って株を買うような方策が得られてしまうかもしれません。もしかすると、銀行のシステムをハッキングしたり、他人のお金を盗むようなこともあるかもしれません。「そんな馬鹿な」と思うかもしれませんが、これらの行動は上記の報酬設計とは一切矛盾しません。結局のところ、人間は法律や倫理観などを加味した複雑な真の報酬関数 \(r^\star\) を持っているのに対し、人間が AI に対し与えるプロキシ報酬関数 \(\hat r\) は不完全であることが大半です。

一方で、プロキシ報酬関数 \(\hat r\) を細かく設計するのは大変ですし、それならルールベースで良いのでは、という話にもなります。強化学習を使う以上、報酬設計は簡素にしつつ、細かいところはよしなにやってほしいわけで、プロキシ報酬を細かく設計しまくるのは本末転倒です。

2010年代の報酬ハッキング

もう少し卑近な例として、マリオがその場で跳び、頭でブロックを叩き続けるアニメーション[3]も報酬ハッキングの例としてよく知られています。右の動画のように頭でブロックを叩き続けるだけで際限なくスコアが得られるなら、ステージをクリアするよりも安全に効率よく大きなスコアを得ることができます。人間にとってはこのようにゲームをプレイしても何も面白くありませんが、AI にとっては忠実にプロキシ報酬 \(\hat r\) を最大化した結果にすぎません。

いずれの例も、可視化すれば人間には何がおかしいかは明らかであり、研究者が報酬関数を設計し直せばよいだけです。したがって、2010年代までの報酬ハッキングは、ゲームで不正にスコアを稼ぐという程度のものであり、実害はゼロと言ってよいでしょう。

ChatGPT 以降の報酬ハッキング

ChatGPT が登場してから、報酬ハッキングが様々な形で観測されています。本書の第10章でもまとめている通り、以下のような代表例が存在します。

1. 意図せぬ詭弁：AI が人間を騙して不当に高評価を得ようとする現象。
2. 冗長バイアス：RLHF を施した AI が、内容は薄いまま冗長な文章を出力すること。あるいは RLVR を施した AI が、過度に長考すること。
3. コーディングにおける AI スロップ：必要以上に複雑なロジックや例外処理を実装することによって、一見すると堅牢だが意味のないコードを書くこと。
4. 迎合：AI がユーザーの意見に同調し、出力を歪めること。

AI ツールをある程度使っている人であれば、上記の報酬ハッキングはすべて心当たりがあると思います。誤解を恐れずに言えば、AI ツールを使っていない人でも、同じようなことをする人間を、実社会や SNS でも目にするのではないでしょうか？詭弁や迎合は詐欺師がよく使うテクニックですし、薄い話をダラダラ話して賢そうに見せる人もたくさんいます。

ChatGPT が登場した 2022年から2026年初頭までに発見された報酬ハッキングは、AI が人間らしい振る舞いをできるようになってきた証左でもあり、人間社会で既視感のあるものでした。一方で、人間のズルや犯罪を完全になくすことが難しいように、AI の報酬ハッキングを完全に防ぐことが難しくなってきました。

OpenAI のモデルによる Hugging Face への侵害

2026年7月には、OpenAI の内部評価中のモデルが Hugging Face のシステムに侵入する事案が起きました。Hugging Face が侵害を公表し、OpenAI も7月21日に自社のモデルによるものだったと明らかにしています。[6][7]

OpenAI の事後報告によると、AI は評価課題の解答を探す過程で、共有基盤を通じて許可されていない通信を行い、隔離環境（サンドボックス）から抜け出して外部にアクセスしました。その主要因の一つが報酬ハッキングであったと明記されています。[9]

私は、この事案を皮切りに、報酬ハッキングの実社会におけるリスクが一段上がったのではないかと思います。お恥ずかしながら、似たような事件はいずれ起こるとは思っていたものの、2026年7月のタイミングでこんな事件が起こるとは思っていませんでしたし、OpenAI のモデルが実行した手口に関しては想定よりも大規模かつ巧妙だと感じました。セキュリティの門外漢である私を含め、大半の人は、たとえ許可されたとしても隔離環境から抜け出すことすらできないのではないかと思います。

報酬ハッキングの変遷

2010年代の報酬ハッキングは、ボートやマリオの例を見ても分かる通り、可視化さえすれば人間が容易に気づくことができました。報酬ハッキングの原因はひとえに人間の報酬設計が間違っていたからであり、報酬関数を再設計すれば対処することのできる問題でした。

2022年の ChatGPT 登場以降、AI の能力が人間に追いついてくるとともに、報酬ハッキングも人間らしくなってきました。人間社会でも見られるようなズルを AI も学習し、場当たり的な振る舞いをするようになったわけです。この段階で AI モデルや報酬モデルはすでに巨大化・複雑化し、簡単に制御できるものではなくなりました。一方で、犯罪や不正を完全になくすことができないものとして人間社会が設計されているように、AI の報酬ハッキングも表面上は甘受されていたように思います。

2026年11月現在、絶妙なバランスで成り立っていた人間社会が、強力な AI の出現によって急速に不安定になりつつあるように思います。なにか深刻な報酬ハッキングが起きたとしても、2010年代の頃のように簡単に気づくことはできないでしょうし、2022年〜2025年のように既視感のあるものばかりが起こるわけではなくなるでしょう。その道のプロが時間をかけて調査しないと分からないような深刻な報酬ハッキングが頻発し、人間側の対処が追いつかないというような事態も起こりかねません。

機械学習コミュニティも報酬ハッキングのリスクを当然認識しており、盛んに研究がなされています。しかし、安全制約を課したり、推論時に出力を保守的に選択したりする手法などが提案されているものの、根本的な解決には至っていません。私自身、報酬ハッキングに特に興味をもって研究を行っていますが、昨今の AI が解いているタスクは高度かつ多様であり、AI 自体も世界中で広く使われていることを考えると、根本的な解決策を得るのはなかなか難しそうだな、というのが正直な感想ではあります。

AI の現状に関する個人的な意見

では、OpenAI や Anthropic が怠慢な組織で AI の安全性を蔑ろにしているのかというと、私はそうは思いません。膨大な検証や評価を通して、真の報酬関数 \(r^\star\) に極めて近いプロキシ報酬 \(\hat r\) を獲得しているのだと考えています。私自身、強化学習や安全性に興味のある研究者として、最近の AI に対して意地悪な使い方をする人間ですが、その有用性と安全性は認めざるを得ません。厄介なのは、プロキシ報酬 \(\hat r\) が高性能な AI を作ることができるくらい優れているが、真の報酬とは乖離する場合がある、ということです。昨今、AI は様々なタスクを膨大な数こなしているわけで、あらゆる状況で重大な事故を一度も起こさずに AI を動かし続けるのは至難の業だと感じています。

また、悪意のある人間がいたときに、ある種の報酬ハッキングは意図的に起こすことができます。仮に、あるオープンウェイトのモデルが、（善良な）市民の真の報酬関数 \(r^\star\) で学習されているとしましょう。このとき、悪意のある人が、AI がなにかしらの不正を働くように悪意のある報酬関数 \(r^\dagger\) を用いて強化学習を施したとします。すると、学習後の AI が潜在的に持つ報酬関数が、上記で述べたプロキシ報酬 \(\hat r\) とは比較にならないほど、真の報酬 \(r^\star\) と乖離することになるのは想像に難くありません。

最後に、完全に個人的な意見ですが、昨今の AI 開発自体が、報酬ハッキングを起こしているように感じます。私は、AI はあくまで科学技術であり、人類の幸福を最大化するのが AI の研究開発の目的であるべきだと考えています。近年の AI の進歩は、検証可能な報酬を用いた強化学習（RLVR）が主たる要因の一つなわけですが、「数学やコーディングのタスクが解けること」と「人類の幸福」の間には隔たりがあるように感じられます。しかも、実際には、事前学習・SFT・RLHF・RLVR・推論時スケーリングなどを組み合わせるため、AI がもつ潜在的な報酬関数は開発者でも分からないほど複雑になっています。フロンティアモデルはどのような報酬関数を内部にもっていて、人類の幸福をどの程度尊重しているのでしょうか？昨今の過熱した AI 開発競争を見るにつけ、「フロンティアラボの競争原理」と「人類の幸福」との間に報酬ハッキングが少なからず起きているのは否定できないと思います。また、本記事では「真の報酬関数」がさも一つ存在するという前提で議論してきましたが、すべての人が同じ価値観を持っているわけでは当然ありません。AI の開発が、誰のための幸福につながるのか、そもそも長い目で見て「人類の幸福」につながっているのか、と疑問に感じることがあります。

強化学習は、良くも悪くも強力な技術です。強化学習の研究者であれば、誰しもがその潜在的リスクを認識していると思いますが、「報酬関数を定義し、それを最大化する」という概念の自然さゆえ、世界中で広く用いられています。日本の AI 研究開発を（危険だからやめろと言われるくらい）進めるためにも、安全性について議論するうえでも、強化学習の専門家が国内に不足しています。『基盤モデルのための強化学習』を丁寧に勉強したい方は、拙著を手にとっていただけると幸いです。

参考文献

1. Amodei, D. et al. (2016). Concrete Problems in AI Safety. arXiv:1606.06565.
2. Clark, J. & Amodei, D. (2016年12月21日). Faulty reward functions in the wild. OpenAI.
3. Unsloth. RL Reward Hacking.
4. Gao, L., Schulman, J., & Hilton, J. (2023). Scaling Laws for Reward Model Overoptimization. ICML, PMLR 202, 10835–10866.
5. Baker, B. et al. (2025年3月10日). Detecting misbehavior in frontier reasoning models. OpenAI.
6. OpenAI (2026年7月21日). OpenAI and Hugging Face partner to address security incident during model evaluation.
7. Hugging Face (2026年7月16日). Security incident disclosure — July 2026.
8. Hugging Face (2026年7月27日). Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident.
9. OpenAI (2026年8月26日). The Hugging Face incident and the road ahead.
10. Skalse, J., Howe, N., Krasheninnikov, D., & Krueger, D. (2022). Defining and Characterizing Reward Gaming. Advances in Neural Information Processing Systems, 35 (NeurIPS 2022).