Relational Transformerの学習を305秒で達成、単一GPUのベンチマーク

👁 115閲覧数

この論文はarXiv（番号2610.28855）に掲載され、2026年10月20日に提出されました。NeurIPS 2026のワークショップCODEC-FMに採択されています。著者はGabriel Wedson Mendonça de Souza Veloso、Luan Borges Teodoro Reis Sena、Denis Oliveira Correa、Francisco Galuppo Azevedoです。論文は全9ページで、図は4点あります。

著者が解決を目指す課題

大規模な基盤モデルの学習には多額の費用がかかるため、実験を主に行えるのは大規模な研究機関です。学習レシピは各機関の内部で作られ、内部プロトコルに沿って記録されるため、誰もが利用できる知見として蓄積されにくいと著者らは指摘します。この分野の進歩は、実験を実施できる資金があるかどうかに左右されるという見方です。リレーショナルデータベースのデータで学習するリレーショナルモデルも、例外ではありません。

提案する解決策：タイムアタック型のランキング

著者らは、ビデオゲームのタイムアタック競技の考え方をAIモデルの学習に取り入れることを提案しています。課題を固定し、ツール一式を公開したうえで、設定した品質基準に到達するまでの実時間によって投稿を順位付けする仕組みです。記録を更新するのに必要なのはGPU 1基だけだと著者らは強調しており、独立した研究者も参加しやすくなるとしています。

導入するツールはmodded-nanoRTです。著者らによると、リレーショナルデータ向けのTransformerモデルであるRelational Transformerを対象とした、この種のランキングとしては初の試みです。

ベンチマーク用データセットの選定

著者らが指摘するのは、ベンチマークの基準となるデータセットの選択が、ベンチマークで本当の改善とランダムなばらつきを見分けられるかどうかを左右するという問題です。この問題に対処するため、6つの候補を対象に調整を行いました。45分間の学習曲線で、実際の改善とランダム初期化による変動（seed noise）をどれほど明確に区別できるかを評価し、その結果に基づいて1つのデータセットを固定の基準として選びました。

記録を支える技術

著者らは、3つの要素を組み合わせた独自の学習レシピをランキングの最初の記録として公開しています。1つ目はtyped trilinear attentionです。データベースの外部キーをたどった先の情報に基づき、attention scoresとvaluesを条件付けるリレーショナル演算子です。2つ目は最適化手法Muon、3つ目はSIGRegです。利用可能な要旨では、MuonとSIGRegの仕組みは詳しく説明されておらず、名称のみが記されています。

このレシピはNVIDIA H200 1基で305.63秒で品質目標に到達しました。参照実装より8.11倍高速です。レシピの開発に使ったデータセット以外でのテストでは、比較した15組のうち13組で勝利しました。

公開状況

著者らは、ベンチマークと固定済みの成果物、記録達成時の実行結果を公開する予定だとしています。コードは論文に記載されたURLですでに公開されています。利用可能な要旨には、リポジトリ名は記載されていません。

この研究から分かること

これは全9ページの短いワークショップ論文で、新しいアーキテクチャや大規模な結果を示すものではありません。実用上の価値は別のところにあります。著者らの説明どおりにランキングが機能すれば、GPU 1基を持つ個人研究者が研究機関と競い、リレーショナルモデルの学習手法の進歩に貢献できる場になる可能性があります。興味深い仕組みですが、現時点で登録されているのは開発者自身による1件だけです。研究コミュニティが実際に利用し始めるか、今後に注目したいところです。

出典：arXiv cs.AI: Speedrunning Relational Foundation Model Pretraining（2026年10月22日付の文書）。本記事は他メディアの報道ではなく、論文全文に基づいています。

// 続きを読むGPT-6.1 Terraをレビュー：日本語ではなくポーランド語でテストベンチマークH3 Max Relight・Turbo Extend・Pixelcutを実動画で検証ベンチマークKrea 3を実機検証：画像生成10件・編集8件の結果ベンチマーク