$ cd ../

LLM出力の検証 ③実装編 — 多段防御パイプラインの組み立て

---

手法を1つ選んで終わり、にはならない——というのが連載の結論だった。実装の主役は個別アルゴリズムの選定よりも、それらをコスト/精度/レイテンシのトレードオフの中でどう配置・接続するかだ。2024–2025の実務的コンセンサスは、多段防御（cascade）＋オフライン/オンラインの二層化＋HITL＋ゴールデンデータセットによる回帰テスト。順に組んでいく。

1. ランタイム: 安価→高価の多段防御

1リクエストを最も安価なチェックから流し、しきい値を超える低信頼ケースだけを上位の高価な検証へエスカレーションする。これにより大半のリクエストは安い段で片付き、高価なLLMジャッジや人手は本当に怪しいものにだけ使われる。

骨組みをコードにすると、こうなる。フレームワークに依らない素朴な関数で十分だ。

# 多段防御: 安価な段から順に流し、怪しいものだけ上位へ
def verify(output, context, schema):
    # ① 決定論ルール(<1ms) — 形式・安全の門前払い
    if not schema_ok(output, schema):        # JSON Schema / Pydantic
        return reject("schema_violation")
    if moderation_flagged(output):           # Llama Guard / Moderation API
        return reject("unsafe")

    # ② 軽量シグナル(低コスト・全件) — 文脈忠実性スコア
    faith = minicheck_score(output, context)  # 小型グラウンディング判定器
    if faith >= 0.90:
        return accept(output, faith)         # 自信を持って通す

    # ③ しきい値未満だけ高価な検証へエスカレーション
    verdict = llm_judge(output, context)       # LLM-as-judge / 強モデル
    if verdict.ok:
        return accept(output, faith)

    # ④ それでも確証が持てなければ人手へ
    enqueue_human_review(output, context, faith, verdict)
    return defer("needs_human")

2. 形式は「制約」で殺す — 構造化出力

「JSONが壊れる／必須欠落／enum外」は検知ではなく制約で予防するのが一番安い。制約付きデコード（Outlines・OpenAI Structured Outputs）か、生成後スキーマ検証＋自動リトライ（Instructor）。ツール呼び出しの引数検証にも同じ仕組みが効く。

from pydantic import BaseModel, field_validator
import instructor

class Answer(BaseModel):
    summary: str
    citations: list[str]            # 引用元IDは必須
    @field_validator("citations")
    def non_empty(cls, v):
        if not v: raise ValueError("引用が空")  # → instructorが自動リトライ
        return v

client = instructor.from_openai(OpenAI())
ans = client.chat.completions.create(
    model="...", response_model=Answer, max_retries=2, messages=[...])

ただし形式の正しさは内容の真偽を保証しない。「引用IDが入っている」ことと「その引用が主張を裏付けている」ことは別。後者は第2回の引用検証（ALCE/AIS）やNLI照合で別途確かめる。

3. 二層化: オフライン回帰テスト × オンライン監視

ランタイムのガードだけでは「自分が変更を入れた瞬間に静かに劣化した」を捕まえられない。検証を2層に二重化する。

• オフライン評価（リリース前ゲート）: キュレーションしたゴールデンデータセットに対し、モデル・プロンプト・リトリーバ・ツール定義のいずれかを変えるたびに再実行。ベースライン比のスコア低下＝リグレッションをCI/CDで自動検出してデプロイをブロックする。「自分が起こす変化」を捕まえる決定論的ゲート。
• オンライン監視（本番ドリフト）: 本番トラフィックの5〜10%をサンプリングし、自動評価器（LLMジャッジ／ヒューリスティック）でスコアリング。入力分布や品質指標のドリフト・異常スパイクを継続監視する。「自分に降りかかる変化（入力分布の変化・モデル裏側の更新）」を捕まえる。

4. HITL: 人手を「全部」でなく「怪しいものだけ」に

人手は最終的なground truthだが、最も高コスト・低スループット。だから全件レビューは破綻する。自動検証で「低信頼／閾値ギリギリ／新規パターン」とフラグされたトレースを、不確実性サンプリング（uncertainty sampling）で高価値ケースに絞ってレビューキューへ集約する（担当割当・Slack/Webhook通知）。人間の修正は二重に効く——(1)ゴールデンに新規正解例として追加され回帰テストを強化、(2)プロンプト/ガード改善やLLMジャッジ自体の較正の学習信号になる。アクティブラーニングでレビュー量を3〜5割削減しつつ品質維持できるという報告もある。

5. すぐ使えるOSS早見表

6. 実装の落とし穴

1. コスト爆発: SAC3・CoVe・オリジナルの意味的エントロピー・複数審査員は生成回数が掛け算的に増える。安価な決定論ルール（regex/スキーマ）を前段に置き、LLM呼び出し回数そのものを減らすのがコスト最適化の要。多段化はレイテンシ（3層で約350〜400ms）と保守の複雑性も増やす。
2. LLMジャッジのバイアス: 位置バイアス（先/後を不当に優遇）、冗長性バイアス（長い回答を好む）、自己選好バイアス（同系列モデルを高評価）。評価器と本番が同系統モデルだと盲点を共有する。位置入替の平均化・複数審査員・基準明文化・少数の人手ラベルで継続検証する。
3. 「忠実だが不正解」の取りこぼし: RAG忠実性検証は出典自体の誤りを防げない。検索品質（インデックス・チャンキング）が悪いと「根拠付きの誤答」を量産する。事実性・忠実性・検証可能性は別軸として分離評価する。
4. ホワイトボックス手法の制約と非英語: SEP・INSIDE・SAPLMA・Lookback Lensは隠れ状態/attentionが要るので外部APIには使えない。さらに日本語などでは claim分解・NLI判定の精度が落ちやすいのは実務上の盲点。日本語データでの自前検証を必ず挟む。
5. ゴールデンデータセットの陳腐化: 回帰テストの根幹だが、入力分布が変われば形骸化する。オンライン監視とHITLで継続的に拡充する運用が前提。
6. ガードレールは破られる: encoding/evasion型攻撃で回避されうるし、誤検知で正当な入力を弾く over-refusal のUX低下もある。層ごとに fail-open/fail-closed を設計し、継続更新する。

主な参考文献

• Detecting hallucinations in large language models using semantic entropy — Farquhar et al., Nature 2024 (nature.com)
• SelfCheckGPT — Manakul et al., EMNLP 2023 (arXiv:2303.08896)
• MiniCheck: Efficient Fact-Checking on Grounding Documents — EMNLP 2024 (arXiv:2404.10774)
• RAGAS: Automated Evaluation of RAG (arXiv:2309.15217) ／ FActScore (arXiv:2305.14251) ／ SAFE (arXiv:2403.18802)
• Judging LLM-as-a-Judge with MT-Bench — Zheng et al. (arXiv:2306.05685) ／ G-Eval (arXiv:2303.16634) ／ Prometheus 2 (arXiv:2405.01535)
• Chain-of-Verification (arXiv:2309.11495) ／ LLMs Cannot Self-Correct Reasoning Yet — ICLR 2024 (arXiv:2310.01798)
• NeMo Guardrails (arXiv:2310.10501) ／ Llama Guard (arXiv:2312.06674) ／ LlamaFirewall (arXiv:2505.03574)
• Cost-Saving LLM Cascades with Early Abstention (arXiv:2502.09054) ／ Bypassing LLM Guardrails (arXiv:2504.11168)