Dust Theory

機械学習研究者が興味のありそうな話を取り扱います。タイトルのdust theoryはグレッグ・イーガン「順列都市」に由来

ICML2026：２つの査読ポリシー

（機械翻訳による日本語です）

ICML 2026におけるLLM 査読ポリシーを発表します！査読者および著者は、保守的または寛容なLLM 使用のいずれかを選択し、それに応じてマッチングされます。重要な点：保守的ポリシーを選択した論文の著者は、査読者として保守的ポリシーを遵守しなければなりません。

 

https://icml.cc/Conferences/2026/Intro-LLM-Policy

大規模言語モデル（LLM）を用いた査読は、研究者の間で様々な反応を引き起こしている。査読の改善機会と捉える者もいれば、学術界の未来に対する重大な脅威と見なす者もいる。こうした多様な姿勢に対応するため、ICML 2026では新たな試みとして、LLM 査読のための二つのポリシー枠組みを導入する。.

以下の2つのポリシーを導入します：

Policy A（保守的）：
LLMを用いたレビューは厳禁です.
 
Policy B（許容的）：
許可事項：論文および関連研究の理解促進、ならびに査読文書の推敲を目的とした大規模言語モデル（LLM）の使用。提出物はプライバシー準拠のLLMに入力可能。
禁止事項：LLMに長所・短所を尋ねる、レビューの要点を提案するよう依頼する、レビューのアウトラインを提案する、レビュー全文を作成する。

 

いずれの方針においても、レビュアーは常に自身のレビューの全内容について責任を負います。

査読者は従いたい方針を宣言し、著者は論文を方針 Aで査読することを要求するか、方針 Bでの査読を許可するかを宣言する。方針 Aを要求する論文の著者である査読者は、自身も方針 Aに従う意思がなければならない。投稿論文は互換性のある査読者とマッチングされる。各査読者は、割り当てられた全論文において従うべき方針を通知される。詳細はICML 2026「LLMを用いた査読に関する方針」を参照のこと。

機械学習の「アンカンファレンス」

www.linkedin.com

 

以下はコペンハーゲン大学の機械学習研究者Yevgeny SeldinのLinkedInポストの翻訳です。翻訳はLLMによって行われており、誤りがある可能性があります。

 

💡 出版（Publication）はグローバルで一回限り、プレゼンテーション（Presentation）はローカルで何度でもできる。
🔦 AIカンファレンスの民主化・分散化に向けたビジョン

私たちはAIの学会を「出版」と「発表」を兼ねた場として捉えていますが、この見方こそが現在直面している大きな問題の原因になっています。

1️⃣ 地理的ロケーションの数は、主要AIカンファレンスの数より圧倒的に多い。
主要なAIカンファレンスはNeurIPS/ICML/ICLRの2〜3つで、これ以上増えるとは思えません。
その結果、多くの地域（ヨーロッパ、アフリカ、南米、アジア、オーストラリア）は、何年も主要AIイベントがない状態になっています。
ローテーションで解決すれば良いと思うかもしれませんが、そもそもカンファレンス数が足りないので解決になりません。

2️⃣ いくつかの主要会議は公平に開催地をローテーションしていますが、一方でNeurIPSのように「自分たちだけで独占する」選択をしている会議もあります。
世界中から科学的・査読的な貢献を受けているにもかかわらず、特定地域に固定して開催するのは、公平でも民主的でもありません。

3️⃣ あまりにも少数の組織に権力が集中しており、コミュニティにとって健全ではありません。

🔑 重要な気づきは、「出版」と「発表」は必ずしも結びつける必要がないということです。

両者を切り離すことで、上記の問題を解決できる可能性があります。

🔦 私は、ヨーロッパ規模などの「地域単位」で、発表のみを目的とする大型年次イベント（UnConferenceのような形式）の創設を提案します。
参考：https://eurips.cc/ellis/

  • その年に、主要（あるいは主要でなくても）AI出版会議に論文が採択された著者を招待し、
    地元で発表する機会 を提供する場です。

  • 研究コミュニティと産業界が交流できる場にもなります。

  • 主要AI会議と日程が重複しないようにすれば、著者が地元で再発表する理想的な機会になります。

  • このようなイベントの運営は、既存の大規模会議とは独立して行われるべきです。
    — 権力集中を避けるためです。

  • 必要であれば出版手段を提供してもよいですが、主目的は地域ごとの発表と交流の場であるべきです。

このような取り組みは、テーマごとのニッチ分野ではすでに成果が出ています。
例：European Workshop on Reinforcement Learning
https://lnkd.in/dNda-PdQ
そして私は、この成功をAI全体規模に拡大できると確信しています。

これから開催されるコペンハーゲンでの EurIPS は素晴らしい節目であり、実現に尽力された全てのEurIPS運営の方々に感謝しています。
しかし、今後は「EurIPS方式」ではなく 「UnConference方式」 を選ぶべきだと考えています。

具体的には、

  • NeurIPSのサテライトではなく、

  • 権力集中を避けるために完全に独立したイベントとして運営され、

  • 独自のアジェンダを持つべきです。

このテーマについて議論してくださった Søren Hauberg 氏 と Serge Belongie 氏 に感謝します。

もしこのビジョンに賛同いただけるなら、ぜひ「いいね」と「リポスト」をお願いします。
また、UnConference や EurIPS に参加される方は、現地でぜひ直接お話ししましょう。

ICLR2026の査読の21%は「完全にLLMによって書かれた」と予測される

ICLR の著者の皆さん、自分の レビューが AI 生成の可能性があるか 確認したいですか？
ICLR の査読者の皆さん、自分の 論文が AI 生成の可能性があるか 確認したいですか？

こちらは、
@pangramlabs による、ICLR のすべての論文と査読に対する AI 検出結果です！

およそ 21% のレビューが AI によって生成された可能性がある ようです。

 

以下のページに投稿と査読のAI関与度予測があります。

iclr.pangram.com

 

あくまで予測ですが、結果の検証としてpre-LLM ageであるICLR2022での結果もあります

 

査読プロセスが生成AIにより脅かされている

（Aaditya RamdasによるLinkedinポストの翻訳です。翻訳にはChatGPT 4.5を使用しています）

査読プロセスが生成AIにより脅かされています。

興味深いエピソードを共有します。私たちは最近、著名なジャーナルに論文を投稿しましたが、却下されました。拒絶とともに受け取ったのは、完璧な英語で書かれた非常に長い査読コメントでしたが、その内容はほとんど意味不明でした。この査読コメントの一部または全部がAIによって書かれた疑いがあったため、私たちは試しにChatGPTに批判的な査読を書けるか尋ねてみました。

以下のリンクに、人間の査読とAIによる査読の比較表をまとめました。
https://lnkd.in/eDX8vnbn

私たちが「人間」による査読コメントも（その大部分が）AI生成ではないかと疑った主な理由は次の通りです：

  1. 指摘されている内容のほとんどが明らかに間違っているだけでなく、不自然なほどおかしな誤り方をしています。専門外の人が読むと一見もっともらしく思えるかもしれませんが、専門家である我々からすると意味不明な内容が多くあります（例えば、「著者らは量子重力レンズがブラックホールの質量を減少させられないことを説得力を持って示していない」という文章は、物理学の専門外の人には説得力がありそうですが、物理学者には無意味な文章です）。

  2. 引用されている文献は表面的には関連していますが、査読者が述べようとしている主張を実際に裏付けるものでは全くありません。これは単に初心者と専門家の違いというような間違いではなく、初心者であっても具体的かつ不適切な方法で無関係な参考文献を引用することはまずありません。

  3. 査読者が自己言及を全く行っていません。多くの査読者は「私は理解できませんでした」「私はここで混乱しています」といった表現を使います。これはもちろん個人の書き方のスタイルかもしれませんが、こうした自己言及があれば人間による査読である証拠にもなります。実際、過去の採択・却下された論文への査読コメントを多数調べたところ、一人称で書かれているか、具体的で比較的正確など、人間らしい特徴を持っていることが多くありました。

  4. 見たところ、この査読は完璧な英語で書かれており、誤字・脱字が一つもありません。もちろん、これだけではAI生成である明確な証拠とはなりませんが、内容が極めて雑で意味が不明瞭であるのに、英語の完成度が非常に高いというのは少なくとも不自然です。

私たちは論文を別のジャーナルに再投稿し、この疑いについて編集者に伝えました。幸いなことに、編集者は私たちの懸念を真剣に受け止めてくれました。

機械学習・AI分野の学会では既にこの種の問題を広く認識し、大規模に対応していると思います。しかし、さまざまな分野の一流ジャーナルはまだ対応が遅れているようです。

AIを使って論文を執筆することと査読に使用することには大きな違いがあります。最終的に、公開された論文は著者が明らかになり、AIツールを無批判に使った結果大きな誤りがあれば著者の評判に関わります。私は論文執筆にAIツールを使うことには賛成です。著者が公開内容の正確さについて全面的に責任を負うため、責任を持ってAIを使用する動機付けが働くからです。

一方で、査読者は匿名です。AIがさらに進化し、人間らしくなるでしょうが、査読にAIを使用することには私は懐疑的です。その使用を無責任に行わないようにする強力な動機付けがなく、無責任な使用の代償を支払うのは（著者など）他者だからです。

皆さんの意見や経験もぜひ教えてください。

NeurIPS『ヨーロッパ会場』２

So far, 2,135 people have responded to the poll Serge and I posted a few… | Søren Hauberg | 11 comments

数日前にSergeと私が投稿したアンケートに、これまでに2,135人が回答してくれました。そのうち94.4％の人が「ヨーロッパで正式にNeurIPSの採択論文を発表できることに興味がある」と回答しています。

このデータにはさまざまなバイアスがあることは承知していますが、それでも明確なシグナルが見えてきました。それは、「NeurIPSのヨーロッパ支部」に対する顕著な関心がある、ということです。

アンケートでは自由記述によるコメントも可能にしており、これまでに369件のコメントが寄せられています。その多くは「素晴らしいアイデア」といった類のものですが、いくつか注目すべき意見もありました。

  • ヨーロッパ支部が設立されると、ヨーロッパとアメリカの研究者の間に分裂が生まれるのではないか、という懸念があります。我々は決してそのような意図を持っているわけではありません。しかし、現在の状況では、ヨーロッパの研究者がアメリカに渡航することが困難になっているのも事実です。ヨーロッパ支部は、そうした状況下でもNeurIPSコミュニティのアクセス可能性を維持する手段だと考えています。

  • 「ビザの問題に関しては、ヨーロッパもアメリカと同じくらい厳しい」という批判もあります。確かにその通りです。ヨーロッパ支部が設立されれば、ビザに関する多様性は広がるかもしれませんが、根本的な問題が解決するわけではありません。

  • 「実現までに時間が足りないのではないか」という懸念もあります。もっと時間があれば理想的ではありますが、現在の問題を認識し、それに対応する行動を取る必要があるとも感じています。

さて、次のステップですが――

今回の過程を通じて分かったことの一つは、「NeurIPSでは、採択論文の著者が現地に必ずしも物理的に参加する必要はない」という方針です。これは実現の大きな助けになります。

私たちは今後、NeurIPSの理事会に対して、アンケート結果と「ヨーロッパ支部での実験的開催」の提案を持ち込む予定です。提案の要点は、NeurIPSにヨーロッパ支部を正式に認めてもらうことです。理事会がこれに同意すれば、資金調達とヨーロッパ内の適切な会場の確保に取り組むことができます。どうなるか、見てみましょう。

NeurIPS2025『ヨーロッパ会場（仮）』

NeurIPS participation in Europe | Søren Hauberg | 57 comments

Why are we running this poll? Cross-Atlantic travels are a source of significant pollution and are practically difficult for researchers with kids. The US is hardening its border control. NeurIPS attendants often complain that the conference has gotten too big. With these (and more) factors in mind, the Copenhagen AI community has been discussing if it would be beneficial to be able to present accepted NeurIPS papers in Europe instead of traveling to the US. At this point, we are only looking for data from the wider European community to understand if there is interest in such an opportunity. This has not been discussed with the NeurIPS board – at this point, we are merely curious about the views of the community.

大西洋をまたぐ移動は重大な環境汚染の原因となるだけでなく、子育て中の研究者にとっては実際的に困難です。また、米国は国境管理を強化しており、NeurIPS参加者からは会議が大きくなりすぎたという不満がしばしば上がっています。こうした要因（その他にも考慮すべき点はいくつかあります）を踏まえ、コペンハーゲンのAIコミュニティでは、米国への渡航の代わりにヨーロッパで受理されたNeurIPSの論文を発表できるようになることが有益かどうかを議論しています。現時点では、単に欧州全体のコミュニティからそのような機会に関心があるのかどうかを示すデータを求めています。なお、これはNeurIPS理事会との協議は行っておらず、あくまでコミュニティの意見を知るための調査に過ぎません。

 

LLMはなぜ計算ができるか：Transformerと「ワンの絨毯」

知人に

大規模言語モデルが数式は正しいのに、計算結果をよく間違える理由

を尋ねられました。せっかくなので、少し面白く解説してみます。

 

例えば、簡単な足し算「10+21」をLLMは計算してくれるのか？これはできますね。2の平方根「sqrt(2)」をLLMは計算してくれるのか？これもできます。もう少し複雑な計算、例えば対数の入った多少複雑な陰関数を与えてみましょう。数式は特に重要ではないので読み飛ばしてください。

d(p, q) = p*log(p/q) + (1-p)*log( (1-p)/(1-q) )とします。また、d*(p,q) = d(mu, q)として、mu in (p,q)をd(mu, q) = d(mu, p)となる値とします。このとき、d*(0.1, 0.3)を計算してください

ChatGPTはscipyプログラムを書いて正しく計算してしまうので、そういうギミックがないDeepseekに投げてみましょう。

Deepseekの微妙に間違った回答。正解は~0.034です。

あれ、途中式は合ってるのに計算が正しくない？・・・このように、複雑な数式に対して間違った数値を返すことはよくあります。

 

なぜtransformerは計算を間違えるか？ざっくり言えば「LLMが『計算』をする方法が、私たちのイメージする計算とはかなり違うから」です。Transformerのメイン構造*1は、自己注意層や線形変換層の繰り返しであり、単純な算術演算や複雑な計算を処理する能力が十分にあります。一方、この構造の中で実際に行われている演算や処理の具体的な方法は、学習データから自動的に獲得された「回路」（計算パターンやアルゴリズム）として理解できます。ただし、これらの「回路」が具体的にどのように機能しているのかは、未だに詳しくわかっていないようです*2。

 

ふつうのコンピュータ（CPU）はレジスタという箱に格納された数値を「足しなさい」「掛けなさい」という命令で演算します。より複雑な計算（例えば対数とか指数とかの初等関数）は、基本的な足し算とか掛け算を繰り返して解きます。一方、LLMが受け取るのはCPUのようにデザインされた命令ではなく、「トークン」（単語や数字、画像特徴、音素などなんでもトークンにできます）です。また、繰り返しの数*3も限られており、それより全トークンを並列処理できるところに強みがあります。

 

言い換えると、transformerは新しいアーキテクチャの計算機だと言うこともできます。しかも、この計算機の回路は人間が意図的に設計しておらず、データ（インターネット上にある文章や画像）から自動で生成されます。でも、この回路がどうやって動くかは先ほど説明したようにあまりよくわかっていません。

 

ところで、このブログのタイトル「dust theory」は、SF作家グレッグ・イーガンの小説に由来しています。彼の短編「ワンの絨毯」にはこんな一節があります。以下はこの小説のネタバレを含みます。

「正しい組みあわせのタイルがあったとして、それに正しいパターンをあたえてやれば、そのタイルの並びはチューリングマシンが一ステップの計算を処理したあとのデータテープのようになるだろう。次の段階では二ステップ後のデータテープになり、その先も同様につづいていく。いかなる所与のチューリングマシンに対しても、それを模倣できるひとセットのワンのタイルが存在する」

グレッグ・イーガン『ワンの絨毯』より引用（訳：山岸 真）

ワンの絨毯では、登場人物が未知の生命を求めて旅立ちます。その途中にある惑星で、巨大な藻のような生物（生体高分子）が登場します。この生物に会話しようとしても反応が得られず、実は巨大な高分子計算機であることに気づきます。そして、計算機の中で動いているプログラムを解析しようとします。プログラムの状態トレースをフーリエ変換すると、その中でイカのような人工生命が生活している・・・というストーリーです。自分がLLMに感じている気持ちは、この生体高分子に対して感じている気持ちに近いかもしれません。インターネットの文章から次に来そうな単語を予測する大規模なニューラルネット回路を作ったら、不思議な原理で動く計算機ができていて、この計算機の思考をトレースすると中に人工生命がいるように見えたり見えなかったりします。

*1:この記事では、ニューラルネットワークにおける素子間のつながり方を『構造』と呼びます。構造は基本的に人間が事前に決めるものであり、学習によって変化することはありません。一方で、データから学習した素子間の重みに起因するトークン間の計算規則や処理パターンのことを『回路』と呼びます

*2:たとえば加算ひとつをとってもtransformerが実際にどのように処理しているかは難しく、数学的な処理のために、謎のヒューリスティックスな回路が実装されていたりもします。

*3:ニューラルネットの層数