basal-omni、JevBenchのオープンモデル首位に

👁 130閲覧数

basal-omniは、文章を長く書くチャットモデルではなく、指定した選択肢を評価する意思決定モデルです。モデルカードの数値と、日本語の自社データで使えるかどうかは別に確認します。下記のランキングは2026年10月19日の記録で、現在の順位を示すものではありません。

日本語で導入する前に確かめること

2026年11月9日に確認したultraのモデルカードは、学習用の意思決定データをポーランド語と英語と説明しています。日本語の問い合わせを自動分類するなら、曖昧な文や判断不能な文も含めて別途評価する必要があります。既存のポーランド語テストを日本語の精度として引用しません。

同カードはultraを31B、bf16で約62 GBと記載しています。これは重みの規模の説明で、実行に必要なメモリー全体を保証する数字ではありません。モデルを無償で取得できても、GPU、保守、電力まで無料にはなりません。厳密な日付や数値のしきい値はコードで処理するという開発者の注意も確認しました。

basal omniはチャットボットとして使えますか？

通常の長文回答を目的に選ぶモデルではありません。選択式の判断を担わせ、必要に応じて別の生成モデルや人の確認につなぐ構成を考えます。

関連ガイド: ローカル実行の説明 · ローカルAIの実験 · 生成AIの基本

出典・確認日：2026年11月9日

• https://huggingface.co/Remek/basal-omni-1.0-ultra/raw/main/README.md

以前の記録と実例

Remek Kinas氏が開発した意思決定モデルbasal-omni-1.0-ultraが、文章を生成するのではなく、選択肢から回答を選び、その確信度を示すモデルのランキングJevBenchで、オープンウェイトモデルの首位に立ちました。Capability Scoreは82.5点です。クローズドなAPIサービスも含めると、上回るのはSqwishのkettei-fat（86.3点）だけです。basalは、OpenAIやMicrosoftのクローズドな意思決定モデル、そしてこのジャンルのきっかけとなったTypeSafeのJevを上回っています。JevBenchのランキング、Hugging Faceのモデルカード、ランキングの運営者を確認しました。最小モデルは自分のコンピューターでも動かしました。

Remek Kinas氏が発表した内容

10月17日、Remek Kinas氏（Xでは@KinasRemek）は、basal-omniがJevBenchの「オープンモデルで世界1位」、全モデルで2位になったと投稿しました。投稿は「つまり、できるということ。できるんです。ポーランドのAIです」という言葉で締めくくられています。また、ランキングの独立評価に対して、作者の@airesearch12氏に謝意を示しました。Xのカウンターによると、10月19日時点で投稿は約26万6,000回表示されていました。

basalはKinas氏のプロジェクトです。実行エンジンbasal-serveと、2つのモデル系列があります。ポーランド語モデルBielik v3をベースにしたbasal-2.0と、GoogleのGemma 4をベースにしたbasal-omniです。basal-omniはテキスト、画像、音声を扱います（ultraは音声非対応）が、ほかの意思決定モデルと同じく文章は生成しません。たとえば問い合わせ内容のような状態と、選択式の質問を受け取り、1回の処理で各選択肢の確率を返します。この方式を生み出したのは、Jevを開発したTypeSafeです。9月にTypeSafeのJevについて取り上げ、AI意思決定モデルのガイドでもこのカテゴリーを解説しました。

JevBenchのスコアと順位

JevBenchは各システムに同じ1,500件の意思決定タスクを与え、精度（Intelligence）、キャリブレーション（モデルが示す確信度と実際の精度が一致しているか）、速度、1,000件あたりのコストを測定します。オープンモデルの主要ランキングは、精度とキャリブレーションの平均であるCapability Scoreで順位をつけます。参加できるのは「Jevクラス」のシステムに限られ、コストはJevの2倍以下、応答速度はJevの2倍以下である必要があります。

同じ指標で評価するAPIサービスの別ランキングでは、Sqwishのkettei-fatが86.3点で首位です。続いてLiquid AIのd1-ultra（80.5点）、Jev 1.13.0（77.1点）、Jev 1.14.0（75.0点）、GPT-6 Lunaを使うOpenAI Decisions（73.5点）、Microsoft-Decision-1（72.2点、暫定スコア）などが並びます。basalは82.5点なので、両方のランキングを合わせると2位です。

「1位」が意味すること、意味しないこと

• 1位なのはCapability Scoreです。精度とキャリブレーションを評価する指標での首位です。速度とコストも各25%の重みで加算するJevBench公式の総合スコア（Composite）では、basal-omni-1.0-ultraは184のオープンシステム中3位です。上位2モデルは、より小型の4BモデルであるH2O-Lightning-4B v1.1とTorchcast Decision 4B。運用コストは安い一方、精度は大幅に低く、60.0と60.3です。
• ランキングはバージョンによって変わります。basalが10月17日にランキングへ追加された時点（v1.6.28）では、その時点のタスク抽出において45モデル中4位とリリースノートに記されていました。現在の順位は10月18日のv1.7.46のランキングに基づきます。
• ultraの速度はJevBench自身のモデルカードに記載されています。中央値は0.102秒。コストは1,000件あたり0.045 USDで、Jevより38%高いものの、Jevクラスの範囲内です。
• ランキングに載っているのはultraだけです。小型のbasal-omni miniとmaxには、JevBenchの個別スコアがありません。

JevBenchの運営者

JevBenchはBenchmark Heavenで公開されています。サイトとGitHubリポジトリによると、MITライセンスのオープンソース個人プロジェクトで、Xでは@airesearch12として活動するFlorian Standhartinger氏が運営しています。Kinas氏が謝意を示した相手と同じ人物です。サイトは、TypeSafe AIとは「独立して」モデルを比較すると説明しています。名称と指標はJevに由来し、コストと時間の基準もJevを使っています。Jev 1.13.0はランキング外の比較対象として掲載されています。サイト上では、運営者とTypeSafeまたはKinas氏との関係についての説明は見つかりませんでした。タスクの一部は公開され、多くはモデルが答えを学習できないよう非公開です。評価方法の変更は、各バージョンのリリースノートに記載されています。

ランキングはJevBenchだけではありません。Artificial AnalysisのDecision Indexでは、10月19日時点でLiquid AIのd1-ultraが65.2点でJev 1.13を上回って首位でした。basal-omniは同ランキングでは評価されていません。

3つのサイズと開発者独自のベンチマーク

Verdict v1は、ポーランド語と英語による10カテゴリーの非公開意思決定タスクです。開発者自身が用意した評価セットなので、独立した測定ではなく、開発者による評価結果です。モデルカードによると、デフォルトのエラー率しきい値1%では、ultraは意思決定の56.8%を自動で処理し、残りを人に回します。全バージョンで特に弱いのは、厳密なしきい値や日付を含むルールです。開発者は、こうした処理にはコードを使うことを推奨しています。

10月19日からminiとmaxでは、Ollamaおよびllama.cpp向けのGGUF版、vLLM向けのFP8版、Mac向けのMLX版も公開されています。これらは、エンジンbasal 2.2と、独自データを使った新しいキャリブレーションツールと同時に登場しました。basal 2.2とbasal-calibrate。

Remek Kinas氏について

Remigiusz Kinas氏は、ワルシャワを拠点とするIngenix.aiでPrincipal AI Researcherを務めています。同社は生物学や臨床研究向けのAIモデルを開発しています。Kinas氏はポーランド語モデルBielikの共同開発者の一人で、Kaggle Grandmasterの称号も持っています。basalは同氏の個人プロジェクトです。エンジンのコードは同氏のGitHubリポジトリ（rkinas/basal）に、モデルはRemek名義のHugging Faceアカウントに公開されています。バージョン2.2には、コミュニティの複数のメンバーによる改善も含まれています。

最小モデルを試した結果

10月19日、Ollamaを使い、RTX 4090上でGGUF Q8_0版（7.9 GB）のbasal-omni-1.0-miniを実行しました。10月13日にAAランキングのモデルを試したときに使った、ポーランド語の店舗問い合わせ50件とツール選択の意思決定10件のセットで評価しました。miniは47件中42件で問い合わせの分類に成功し、50件中47件で緊急度を判定、ツール選択では10件中10件に正解しました。同じセットでJev 1.13より問い合わせを1件多く分類し、ローカル実行時の意思決定あたりの中央値は137ミリ秒でした。ここでのテストはポーランド語で行ったもので、日本語での性能を示すものではありません。手順と全結果はbasalをローカルで使う方法：Ollama、llama.cpp、Macで確認できます。

basal-omniが向いている用途

• 大量のポーランド語テキストを分類する企業（問い合わせ、メール、文書など）で、データを外部APIに送信したくない場合。Apache-2.0ライセンスは商用利用を認めています。
• AIエージェントを使うチームで、「ツールを呼び出すか、追加で質問するか、拒否するか」を確信度の数値とともにすばやく決めたい場合。
• 文章の作成には向きません。basalは顧客への回答や要約を生成しません。そうした用途には、引き続き通常の言語モデルが必要です。

// 続きを読むKandinsky 6.0 VideoをRTX 4090で実行：音声付き動画をローカル生成ベンチマークSkyReels V4はなぜ半年で9位に？動画生成AIランキングの変化ベンチマーク意思決定モデルと小型LLMを比較：コスト・速度・精度ベンチマーク