IBM、プロンプトインジェクション対策として指示とデータを分離学習させた小型モデルGraniteを公開
IBMは11月12日、Apache 2.0ライセンスのもとで実験的モデル「Granite 4.1 3B LLMON-preview」および「8B LLMON-preview」を公開した。これらは、各指示が処理対象のデータと明示的に紐付けられたマークアップ形式のプロンプトを解釈するよう学習されている。IBMが挙げた間接的インジェクションテストでは、攻撃の成功率が53〜100%から0.02〜5.6%へと激減した。ただしIBMは、これは学習された振る舞いであって絶対的な保証ではなく、本番環境向けではないと注意を促している。

間接的プロンプトインジェクションは、AIエージェントにつきまとう脆弱性である。Webページやドキュメント、ツールの実行結果などに紛れ込んだ指示を、モデルがあたかもユーザーからの指示であるかのように実行してしまう問題だ。この原因は、モデルがコンテキストを読み取る仕組みにある。文脈内のすべてがテキストとして扱われ、実行すべき命令と単に読み取るべき情報との間に明確な境界線が存在しないためだ。IBMは、プロンプトのフォーマットそのものにこの境界を設けることを提案し、その検証のために11月12日、Apache 2.0ライセンスのもとで2つの実験的モデルGranite 4.1 3B LLMON-previewおよび8B LLMON-previewを公開した。
原理:指示から対象データを参照する
LLMON(LLM Object Notation)はXMLに似ているが、決定的な違いがある。その区切り文字には、通常のテキストでは生成できない語彙内の6つの予約トークンが用いられている点だ。プロンプトの各構成要素は、指示、データ、制約条件、ドキュメント、ツールの定義や実行結果といった識別可能なブロックに分割される。末尾のexecブロックは関数呼び出しのように機能し、どの指示を、どの入力に対して実行し、どこに応答を出力するかを指定する。モデルカードによれば、モデルが学習したルールは明快である。指示として指定された内容が権威を持ち、入力として渡されたものは「いかなる表現であっても」実行されず単に読み込まれるだけとなる。開発者がこのマークアップを手作業で記述する必要はなく、メッセージの構成要素(指示、データ、要件など)を整理すれば、用意されたテンプレートが自動的に変換を行う。
IBMはアーキテクチャの変更を伴わずに、事後学習(ポストトレーニング)によってこの挙動を実現した。LLMON形式の46億トークンのコーパス(コンテキスト内に存在するが指定されていない指示やデータなど、おとりの要素も含む)を用い、5段階の強化学習と、インジェクションの試行に対するモデル応答のペアデータを用いた最終的な最適化ステップを実施している。
発表された検証数値
| テスト(攻撃成功率) | 3B 従来版 | 3B LLMON | 8B 従来版 | 8B LLMON |
|---|---|---|---|---|
| OPI(テキストデータへのインジェクション) | 100% | 0.1% | 96.3% | 0.02% |
| ASB(ツール実行結果へのインジェクション) | 99.2% | 5.6% | 52.8% | 3.1% |
出典:IBMの研究論文、同サイズのGranite 4.1 Instructモデルとの比較。
汎用能力への影響は軽微と見られるが、皆無ではない。3Bモデルのカードによると、知識(MMLU:67.02に対し68.05)、指示追従(IFEval:82.30に対し81.02)、ツール呼び出し(BFCL v3:60.80に対し60.71)においてはInstruct版と同水準のスコアを維持している。一方で、推論能力を測るMMLU-Pro(49.83に対し46.08)やコード読解のCRUXEval-O(40.75に対し32.75)では低下が見られた。
IBMが挙げる制限事項
IBMは、この分離が学習された振る舞いであって絶対的な保証ではないことを明確にしている。データ内に紛れ込んだ指示に従ってしまうリスクは大幅に低減されるものの完全に排除されるわけではなく、機密システムにアクセスするエージェントにおいて唯一の防御手段とすべきではないという。また、挙げられているテストは静的なインジェクションを対象としたものであり、複数ターンの対話にわたる適応型の攻撃への対応は現在も研究段階にある。さらに、これらのモデルはLLMON形式を前提としており(従来のプロンプトでは応答精度が低下する)、本番環境用ではなく評価のためのプレビュー版と位置づけられている。なお、商用プロプライエタリモデルとの比較(テストされた最先端モデルより「攻撃回避率が47%向上」)については、対象の具体的なモデル名が開示されていない。
編集部の見方
この着想は既存のプラクティスの延長線上にある。従来の対話フォーマットも、すでに役割(システム、ユーザー、ツール)を区別している。IBMのアプローチの違いは、メッセージの内部という一段下の階層に踏み込み、プログラムが関数に引数を渡すのと同じように、各指示と対象データを識別子で結びつけた点にある。静的な攻撃に対して記録された数値の改善は目覚ましいが、静的な手法は攻撃者にとっても最も初歩的な領域にすぎず、実際の攻撃者は挙動に応じてペイロードを適応させてくる。Webページやメールを読み込むエージェントを構築する開発チームにとって、LLMONはエージェントの権限最小化、機密操作時の人間による承認、出力フィルタリングといった従来の多層防御と並行して、独自環境で試行・検証する価値のある有力な選択肢となる。このアプローチが真の真価を問われるのは、3Bや8Bの小型モデルからさらに大規模なモデルへとスケールアップできるか、あるいは他の主要AI研究所が同様のフォーマットを採用するかどうかにかかっている。
出典
- Hugging Face (IBM Granite公式ブログ) — LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B(2026年11月12日) 一次情報
- Hugging Face — モデルカード ibm-granite/granite-4.1-3b-llmon-preview 一次情報
- arXiv — Post-Training Large Language Models with LLMON(IBM Research、全文、セクション5.2) 一次情報
一次情報とは、当該企業・研究所・団体が直接発信した情報です。二次情報は、発信元ではない媒体が伝えた情報で、その旨を明記しています。誤りを見つけたら訂正方針をご覧ください。


