基盤モデルのための強化学習 サポートページ

『基盤モデルのための強化学習』副読教材 2

AI と研究

和地 瞭良 ·

『基盤モデルのための強化学習』とそんなに関係ないのですが、AI と研究について私なりの所見を書いておこうと思います。IBIS 2026 で大学院生や若手研究者と会話したり、大御所の先生方のパネルディスカッションを拝聴したりして色々と思うところもありましたので、言語化することで誰かの気持ちが多少軽くなったりしないかな、と期待しています。本記事に、「こうすべき」などという結論が書かれているわけではなく、迷える子羊が一匹いる、くらいに思っていただければと思います。最後の方には、なぜ『基盤モデルのための強化学習』を執筆したのか、についても軽く触れようと思います。

あなたはどんな研究者？

多分にポジショントークが入ると思いますので、まず私がどんな人間なのかを簡単にまとめます。

  1. 所属：IBM 東京基礎研究所 → LINEヤフー（研究所）
  2. 専門分野：強化学習 ×｛安全性・基盤モデル｝
  3. 研究歴：10年弱（修士一年の2017年に開始）。基本的には自分で手を動かすことが多いが、ここ数年はインターン生と研究したり、大学との共同研究の代表者をするようなことも増えてきた
  4. 研究のスタイル：理論と実験を両方やる。「世の中で見過ごされてきた新しい問題を作って、納得感のある美しい手法を提案したい」タイプ。ベンチマーク競争には興味なし
  5. 研究のどのフェーズが好きか：AI が今ほど進歩する前は、以下のグラフのようなイメージ
    研究の各フェーズにおける楽しさ 楽しさは、研究テーマを練るとき100、定式化90、手法を考えるとき85、理論解析75。実験は基本20程度で、ときどき一瞬80程度に上がり、最後は90に到達する。論文執筆は80、査読対応はずっと20。採択通知では採択なら100、不採録なら0。 楽しさ 10080 6040 200 採択 不採録 研究テーマを練る 定式化 手法を考える 理論解析実験 論文執筆査読対応 採択通知
  6. 採択実績：ホームページの業績欄 を参照。例えば、直近5年で NeurIPS は主著4件・共著4件。NeurIPS や ICML などの機械学習系の学会、AAAI や IJCAI などの AI 系の学会が主な生息域

本記事は、こういう30代前半の人間が、最近の AI 研究についてどう考えているかを徒然なるままに書く、というものです。IBIS 2026 のパネルディスカッション等で、「みんなも悩んでいるんだな」と感じて私の心も軽くなったので、「私も悩んでいるよ」と書くことに少しは意味があるのではないかと思っている次第です。

また、この記事では、「AI を用いた AI 研究」と「AI 分野のトップ会議における研究」は分けて議論しようと思います。

AI を用いた AI 研究

実は、「AI を用いた AI 研究」に関しては、私は（多少の懸念はもちつつも）基本的には肯定的な意見をもっています。以下では、嬉しいもの 😊、悲しいもの 😢、疑問に感じているもの 🤔 に分類しながら意見を述べたいと思います。

😊 理論解析や実験のボトルネックが減る

これは皆さんもそうだと思いますが、理論解析や実験で悩まされる時間が減ったのは非常に嬉しいです。特に、バグや環境構築に悩まされる時間が減り、研究の本質的なところに時間を割けるようになりました。また、自分のコーディング力を鑑みて諦めていた実験にも、気軽に手を伸ばせるようになりました。

😊 再現性の向上

長らく AI 系の学会では、「再現性の危機（reproducibility crisis）」が囁かれていました。例えば、"Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches" という論文では、トップ会議で発表された18本の推薦システムに関する論文のうち、再現できたのは7本で、そのうち6手法はシンプルなベースラインにも性能で負けていたことが報告されています。私自身、（かなり評価の高い論文であっても）深層強化学習の論文はなかなか再現できないなという実感がかつてはありました。

しかし、ここ最近の論文については、すんなり再現できることが増えてきたように思います。便利なツール（uv など）の登場も貢献しているでしょうが、AI がバグの少ない再現性のあるコードを書いている、という側面もあるでしょう。質の高いコードを書くだけでなく、ログも面倒くさがらずに残しますし、成功・失敗も含め適切に記録を残せばそれだけで立派な研究ノートも整備してくれる、という実感もあります。

人間はどうしても、自分の研究に愛着があるものです。自分の研究に愛着を持つのは当然良いことですが、提案手法だけハイパラチューニングを頑張るなど、不公平な実験につながりうる可能性もあります。私自身、GPT-6 Astra などを研究のパートナーとして使っていますが、第三者的な視点で研究の公平性を高めてくれる存在だとも感じています。近い将来、国際会議の論文投稿に際して、AI とのやり取りも全部提出する、というような仕組みができたりしないのかな？と期待していたりもします。

注：書きながら気づいたのですが、私の選球眼がそれなりに良くて、上位〇%の論文の再現性が向上しているだけの可能性もあります。ランダムサンプリングすると、再現性はどんどん悪化している可能性もあります。

😢 研究上の喜びは減った気がする

以前は、何日もモヤモヤと考え続けていた問題について、散歩中や入浴中にアイデアが突然ひらめいたりすることがありました。そういう「俺は天才かもしれない」というような瞬間が、研究の楽しさの大部分を占めていたように思います。ソースコードのバグが取れて嬉しい、みたいな気持ちも一年以上体験していない気がします。

しかしながら、上のグラフで書いたように、私が一番好きなのは「研究テーマを練ること」です。ここに関しては、まだ AI がそこまで得意ではないと感じていて、私なりの感性がまだ役に立つかなと感じています。1年〜半年くらい前は、研究テーマも AI と壁打ちして練っていたのですが、自分の感性が AI に似てきた気がしたのと、結果的にアイデアが凡庸なものになってきた気がしました。そのため、研究の序盤においては、意識的に AI デトックスをするようにし、他分野の論文や書籍も読むようになりました。

😢 めっちゃ疲れる

AI と研究していると脳が異常に疲れるんですよね。こればっかりは生産性が向上したからだと思いたいところですが、健康第一で良い塩梅を見つけないと、とも考えています。

🤔 似たような論文が増えた？

AI を用いた研究に関する懸念として、似たような論文が増えていないか、というのがあります。多くの人が Claude や GPT を使ってアイデア出しや実験をすることで、似たような研究が乱造されているのでしょうか？こればっかりは私の感覚なので真実は定かではありませんが、AI は新しい研究テーマを生み出すことが今のところは苦手で、似たような研究課題を作っては解く、ということをひたすら繰り返しているだけなのかもしれません。今までの AI の進歩を見るに、数カ月後には魅力的な研究テーマをバンバン思いつくような AI が誕生する可能性も否定できませんが・・・

AI のトップ会議について

AI のトップ会議については、私は悲観的な意見をもっています。

😢 査読とディスカッションがストレスフル

もとからトップ会議の査読はかなりストレスフルです。私が初めて論文を投稿した AAAI 2018 では、「Lipschitz continuity のスペルが間違っているからリジェクト」と言われました（一箇所、Lipschitz を Lipchitz と書き間違えました。後者は彫刻家の名前らしいです）。また、NeurIPS 2023 の論文のときは、査読者からの執拗な追及にかなり消耗し、帯状疱疹になりました。どちらも結果的に採択されたので良かったですが、あまり健全とは言えません。

もとから楽な業界ではないとは思いますが、ここ数年は、しんどさに加えて、なんとも虚しくなったと感じます。査読コメントを読んで、「これは AI 出力をコピペしているな」と感じることが多々あります。ディスカッションフェーズでも、何を議論しているのか分からなくなるような不毛な言い争いが増えました。追加実験の要求についても同様です。AI に「これも試して」とプロンプトを打つかのような軽さで、必要性のよく分からない実験が次々に要求されることが増えました。

査読者側としても、「さすがにこれは・・・」と感じる論文が増えました。各種トップ会議の査読をしているのですが、「Deep でポン」ならぬ「AI でポン」を疑うような論文が多いのも事実です。ある程度経験のある研究者のフィードバックをもらって、それを AI に打ち込んで論文を修正するのでしょうか？査読は無料の添削サービスじゃないんだよな、と言いたくなります。

😢 AI のトップ会議 = 最先端なのか？

以前は、AI のトップ会議に行けば、その時代の最先端の研究に触れることができました。例えば、Transformer を提案した Vaswani+ (2017) は NeurIPS 2017、スケーリング則に関する重要な研究である Hoffmann+ (2022) は NeurIPS 2022 で発表されています。同じく NeurIPS 2022 では、のちの ChatGPT にもつながる OpenAI の RLHF の論文も発表されました。

しかしながら、2023年以降は、フロンティアラボのテックブログやプレプリントが話題になることが増えました。例えば、強化学習による OpenAI o1 のリーズニング能力向上も、私たちはまずブログでの発表を通して知ることになりました。今でもトップ会議で重要な研究はたくさん発表されていますが、以前ほどの強烈な魅力は薄れてきたように思います。

一昔前は、AI のトップ会議に採択されれば、論文を一定数の人に読んでもらえたという面はあったのかもしれませんが、最近はそれもどうなのでしょう？私自身、2022年頃までは少なくともタイトルとアブストラクトを NeurIPS・ICML・ICLR に関しては全部目を通していましたが、最近は採択論文数が多すぎてやめてしまいました。

😊 そうは言っても現地参加は楽しい

ここまで悲観的なことばかり書きましたが、そうは言っても、現地参加すると楽しいのも事実です。

私は Safe RL という強化学習のサブフィールドの論文を長らく書き続けていることもあって、その分野の中に限れば知り合いがそれなりにいます。そういう人たちと学会で会うと、今やっている研究の話や悩みなども共有できて非常に楽しいです。これは、分野をコロコロ変えず、一貫したストーリーの論文を書き続けたメリットの一つかもしれません。

また、ポスターセッション等で、様々な研究分野の発表を（半強制的に）たくさん聞ける機会は依然として貴重です。自分の専門分野でなければそこまで最先端である必要はありませんし、新しい研究のアイデアにつながることも多いと感じます。招待講演やチュートリアルも、錚々たる研究者が含蓄のある発表をしてくださるので、ものすごく勉強になります。また、有名人に会えるのはやはり嬉しいものです。Kevin Murphy にサインを貰ったこと、Yann LeCun の次にスタバでカフェラテを買ったのは良い思い出です。

🤔 論文執筆は教育？

論文執筆は、自分の考えに対してストーリーを与え、論理的に分かりやすく伝えるための非常に良い訓練だと考えています。私自身、修士2年の頃に、この論文（AAAI 2018）を執筆したのですが、最初の頃は文章から論理構成まですべて酷く、原型がなくなるまで共著者に添削していただきました。どこをどう直されたのかの diff を取って、「プロの研究者が書く文章は格好良くて分かりやすいなぁ」と一個ずつ丁寧に分析していったことを今でも覚えています。

しかしながら、論文執筆も査読対応も AI に任せ、自分で論理を組み立てたり、修正の理由を考えたりする過程まで省いてしまうと、教育効果はやはり薄れてしまうと思います。

トップ会議は、教育・業績の評価・〆切の管理・コミュニティ形成などがまとめてできる便利な存在だったと思います。AI によって研究の進め方が変わる中で、これらの役割を今までと同じ仕組みで担い続けられるのか、考え直す時期にきているように感じています。

これからどう生きるべきか

ごめんなさい、分かりません。私もこの問題について悩んでいる人間の一人です。

ただ言えるのは、「AI の研究をすること」のうち「トップ会議に論文が採択されること」はあくまで部分集合でしかないな、と気づいたときにかなり気が軽くなったように思います。最近は、自分が本当に重要だと思う問題をじっくり考えて、納得のいく論文を執筆することを優先するようにしています。 もともと強化学習の中で安全性を取り扱う Safe RL という分野を長らく研究していたので、昨今の AI の安全性とか報酬ハッキングの技術的な部分に関しては非常に興味をもっています。「報酬ハッキングを起こしにくい強化学習とは？」とか「強化学習を使わずに LLM のリーズニング能力を上げることは可能なのか？」など、なかなか答えが簡単には見つからない問題を考えるのは非常に面白いです。

強化学習の有名な格言の一つに Optimism in the Face of Uncertainty というものがあります。雑に言えば「不確定性が大きいときには、楽観的に行動したほうがリグレット（後悔）が少ないよ」というものです。今まで取ったことのない行動を楽観的に探索すると、どこかで想定以上の大きな報酬が得られるかもしれないからですね。こんだけ AI を取り巻く環境が不確定だと Optimism in the Face of Uncertainty という考え方は的を射ているかもしれません。私自身、社内での事業貢献や IBIS 2025 でのチュートリアル講演、AI スタートアップでの副業などをするうちに、想像以上に面白いことが見つかったりしたんですよね。最近は「トップ会議に論文が採択されること」に固執することなく、「AI の研究をすること」をもっと広く捉え、何が自分にとって本質なのかを考えるようになりました。なにより、人類史に残るような激動の時代をアリーナ B 席くらいで体験しているんだから、とことん楽しもうかなという気持ちでいます。

そう考えるうちに、近い将来やりたいと思っていたのが「国内の強化学習研究者・開発者を増やす」というものでした。NeurIPS や ICML に行ったことのある方は分かると思いますが、強化学習に関する発表ってめちゃくちゃ多いんですよね。一方で、IBIS や JSAI などの国内学会だと、強化学習に関する発表は残念ながらさほど多くありません。その理由の一つに、森村さんの『強化学習』（講談社）など、強化学習自体を勉強するための優れた教科書はあるのだが、今一番ホットな「基盤モデルのための強化学習」を体系的に理解するための教科書がない、というのがあるのではないかと思いました。頑張って教科書を理解したら、OpenAI や Anthropic のテックレポートがスラスラ読める、LLM の事後学習で何をしているかが直感的にイメージできる、というものを目指して書いたつもりです。その目標が達成できたのかはすぐには分かりませんが、拙著を読んで「研究テーマを強化学習にしました！」とか「強化学習の面白さに目覚めて P◯N や S◯ Intuitions で LLM の事後学習してます！」というような方の連絡を一通でももらえると、私の書籍執筆は大成功なのではないかと思っております。