上級リファレンス・デッキ — マルチエージェント/Workflowで束ねる & 品質ゲート/評価で効かせる

hotice AI Enablement 用の独立教材(社内リファレンス)。業界の共通語彙(Anthropic 5パターン等)を、hotice が実際に使う Claude Code の実装(5モデル体制・Workflowテンプレ)にマッピングして解説します。各図はインラインSVG、数値は出典・確度ラベル付き。画面ではスクロール、印刷/PDF は 1スライド=1ページ(16:9)。

hotice × Sylph-One — 上級リファレンス · 2026-07-14

束ねて、効かせる
マルチエージェント/Workflow & 品質ゲート/評価

「1回のチャットで1つ」から、複数エージェントを束ねて回し、評価で効かせるまで。組み方・モデルルーティング・評価の観点を、図で。

Part A束ねる組み方+5モデルルーティング
Part B効かせる評価の観点+ゲートのルーティング
Part C大規模に回すloop・多段Workflow・予算スケール
寄せ方業界パターン→自環境Claude Code実装に対応づけ
hotice AI Enablement|上級リファレンス01
How to read

このデッキの読み方

3部構成。Part A で「束ね方(組み方+どのモデルに何をやらせるか)」、Part B で「効かせ方(評価の観点+品質ゲートのルーティング)」、Part C で「大規模に回す(loop・多段Workflow・予算スケール)」を扱います。各パターンに いつ使う/落とし穴 を必ず添えました。

Part A
束ねる

Anthropic の5パターンを共通語彙に、fan-out / orchestrator-worker / pipeline / judge panel などの組み方と、5モデル体制のルーティングを図で。

Part B
効かせる

「作って終わり」にしない。評価の観点、LLM-as-judge の設計、生成→評価→分岐(採用/差し戻し/人間)のゲート・ルーティングを図で。

Part C
大規模に回す

1コンテキストに収まらない全件処理。loop-until-dry・多段Workflow・予算スケールと、全部入りの大規模harnessを図で。

前提:数値には確度ラベル(公式/X実務者/論文/内部リファレンス/未検証)を付けています。「もっともらしいが誤り」を避けるため、出典は §締めに一覧化。
hotice AI Enablement|上級リファレンス02
First principle

大前提:なぜ束ねるのか、いつ束ねないのか

マルチエージェントは強力だが高価。単発チャット比 約15倍のトークンを使う。だから「高価値」か「1つの頭に収まらない規模」のときだけ元が取れる。単純作業はむしろ束ねない。

≈15×

単発チャット比のトークン消費(Anthropic 実測)。コストは常に品質とセットで見る。

確度:公式(Anthropic)
41–42%

マルチエージェント失敗の原因がタスク仕様・設計の不備(MAST 分析)。モデル能力でなく設計が成否を決める。

確度:論文(arXiv:2503.13657)
最も単純な解から

1ファイル編集・既知パス確認・1コマンドは束ねない(main直処理)。必要なときだけ複雑化する。

確度:内部リファレンス/公式
手段を目的化しない:「エージェントをたくさん並べた」こと自体は価値ではない。目的(網羅/確信/規模)から逆算して、必要な束ね方だけを選ぶ。
Part A — 束ねる03
Part A — Common vocabulary

共通語彙:エージェントの5パターン

Anthropic「Building Effective Agents」が整理した5つ。単体でなく組み合わせて使うのが実務。まずこの語彙を揃える。

① 逐次連結 Prompt Chaining 手順が決まった処理 ② 振り分け Routing 種別で担当へ分岐 ③ 並列・集約 Parallelization 同時実行して集約 ④ 司令塔– ワーカー 動的に分解・委譲 ⑤ 生成– 評価ループ Evaluator–Optimizer 単純 → 複雑(必要なときだけ右へ) これらは排他でなく組み合わせ可能(例:Routing で振り分けた先が Orchestrator-Workers)
Part A — 束ねる|出典:Anthropic「Building Effective Agents」(公式)04
Part A — Pick by intent

目的から選ぶ:3つの型

パターンより先に「何のために束ねるか」を決める。目的が決まれば使う組み方は自ずと絞れる。

網羅 / comprehensive
抜けなく広く覆う

独立した調査/生成が3単位以上。
fan-out(並列)・multi-modal sweep・loop-until-dry

確信 / confident
間違えたくない

対外的・不可逆な判断。
judge panel・adversarial verify(生成≠検証)

規模 / scale
1つの頭に収まらない

移行・横断スイープ・全件棚卸し。
pipeline・orchestrator-worker・loop

使いどころ早見:競合A/B/C・広告6媒体=網羅(fan-out)/納品HTML・契約・経営判断=確信(judge+検証)/議事録ETL・記事量産・全件監査=規模(pipeline/loop)。
Part A — 束ねる|内部リファレンス(workflow-patterns.md)05
Part A — Pattern ①

fan-out(並列展開):手分けして同時に

いつ:独立した調査/作業が3単位以上(広告6媒体・競合3〜5社)。司令塔が配り、ワーカーが同時に走り、最後に統合。

司令塔 Fable ワーカー:媒体A Sonnet(model明示) ワーカー:媒体B Sonnet ワーカー:媒体C Sonnet 統合 / reduce Fable
落とし穴:① ワーカーの model 指定を省略すると全ワーカーが司令塔(Fable)課金で走る=最頻の浪費。② 集約ロジックが雑だと多数決バイアス。③ 読み取りは並列・書き込みは直列(複数が同一ファイルに書くと成果が消える=1ファイル=1エージェント)。
Part A — 束ねる|確度:公式+内部リファレンス06
Part A — Pattern ②

orchestrator-worker:その場で分解する

いつ:着手前にサブタスクを列挙できない(入力依存)。司令塔が動的に分解してワーカーへ委譲。新規クライアント実態把握・深掘りリサーチ。

リード(司令塔) Fable その場で分解(破線) サブタスク① worker=Sonnet サブタスク② worker=Sonnet サブタスク③(動的追加) worker=Sonnet 統合 Fable
効き目:Anthropic 実測で lead=Opus / worker=Sonnet 構成が単一エージェント比 +90.2%落とし穴:トークンが単発比 約15倍。列挙できる定型なら fan-out の方が安く速い。(確度:公式)
Part A — 束ねる|出典:Anthropic multi-agent research system(公式)07
Part A — Pattern ③

pipeline(段階処理)+検証ゲート

いつ:前段の出力が次段の入力になる直列処理(議事録ETL・記事量産・広告レポート)。各段の下に検証ゲートを吊るす。

取込 Sonnet 構造化 Sonnet 検算 Sonnet(high) 統合 Fable 検証:欠落なし 検証:スキーマ順守 検証:数値の整合 検証:出典/表現 pipeline はバリア(段ごとの全員待ち)を作らない=1件がstage3の間に別件はstage1。壁時間は「最遅の1本」だけ。
Part A — 束ねる|内部リファレンス(workflow-patterns.md)08
Part A — Patterns ④–⑦

確信・網羅を作る4パターン

judge panel(合議で採点)

N案を視点別のjudgeが並列採点→勝者に接ぎ木。正解が1つでない評価(多案比較・コピー選定)。小型judgeパネルは単一judgeより高精度で安い。

確度:論文(PoLL)+内部
adversarial verify(反証)

生成→別エージェントに反証させる→refuted除外→収束。不可逆・対外的に痛い判断(納品・契約・経理)。生成≠検証が肝。

確度:内部リファレンス
loop-until-dry(枯れるまで)

いくつあるか不明だが全部欲しい(Slack横断・棚卸し)。K回連続で新発見ゼロなら終了。終了条件は必須。

確度:内部リファレンス
multi-modal sweep(異種横断)

情報が異種システムに散在(Notion+Slack+Drive+契約docx+管理画面)。ソース別に並列探索し、一次ソースを優先。

確度:内部リファレンス
Part A — 束ねる|④⑤は Part B で図解を深掘り09
Part A — Model routing ①

モデルルーティング:5モデル体制

「どのモデルに何をやらせるか」が実務差になる。司令塔=賢いモデル、ワーカー=安いモデル、機械照合=最安、が基本の割り当て。

モデル役割effort基点API価格(入/出 /MTok)
Fable司令塔:計画/統合/採否/不可逆判断+文章系+長時間自律high(難所のみxhigh)$10 / $50(最も希少)
Opus難所の重い推論+Fable生成物の判定役(生成≠検証)high$5 / $25
Sonnet主力ワーカー:Web/Xリサーチ・探索・grep・検証medium(検証段high)$3 / $15
Haiku機械照合:突合・検算・文字数・リンク存在・一次選別low$1 / $5
Codex明確に切れる実装・冪等スクリプト・独立レビュー委譲$5 / $30
読み:ワーカーを Sonnet/Haiku(model明示必須)、統合判断を司令塔 Fable、Fable生成物の判定を Opus、というハイブリッドが基本形。(確度:内部リファレンス model-routing-pricing.md/価格は変動あり)
Part A — 束ねる|内部リファレンス(model-routing-pricing.md)10
Part A — Model routing ②

振り分けの判断と effort ラダー

タスク 難易度で判定 機械照合(突合・検算) → Haiku(最安・low) Web/Xリサーチ・探索・検証 → Sonnet に fan-out・結論のみ受領 難所の推論・生成物の判定 → Opus(judge・生成≠検証) 計画・統合・不可逆判断・文章 → Fable(司令塔・希少資源)

1〜2コールで済む探索は束ねず main 直処理。3コール以上や生データが嵩むときだけ fan-out。

effort ラダー

  • low:機械段(照合・抽出)
  • medium:探索・執筆
  • high:検証・難所
  • xhigh:納品統合・長時間自律のみ
  • max:フロンティア級だけ
2大落とし穴:① model未指定のfan-out=全部Fable課金。② サイレント劣化=安いモデルは「もっともらしく間違う」だけでダッシュボードに出ない → サンプル監査が必須。
Part A — 束ねる|内部リファレンス+X実務者(Simon Willison:委譲tip)11
Part B — Why evaluate

なぜ評価が要るのか

束ねて量を出すほど、「作って終わり」では品質が担保できない。自己採点は甘い。生成したエージェント自身のチェックは通りやすい——だから生成と検証は分ける

自己採点は甘い

同じモデル/文脈での自己チェックは通りやすい。別モデル・別プロンプトの目を入れる(=adversarial verify)。

「動くデモ→本番化しない」壁

多くの組織がマルチステップ・エージェントを試すが、本番到達は一部に留まる。差は評価・自動化で効かせられるか。

確度:ニュース報道(業界調査・要精査)
非属人化の深化

「評価の観点」をスキルに埋め込めば、誰がやっても同じ品質で回る。属人的な目視だけに頼らない。

合言葉:Generator(生成)と Judge(評価)は別モデル・別プロンプトで分離する。これが Part B 全体の背骨。
Part B — 効かせる12
Part B — What to check

評価の観点(rubric)

「良い/悪い」でなく、観点に分解して見る。曖昧な段階評価より Yes/No の二値の方が再現性が高い(Hamel Husain)。まず人手で100+トレースを読む(Error Analysis First)。

正確性 / correctness

事実・計算は合っているか

忠実性 / faithfulness

出典に即しているか(幻覚なし)

網羅性 / completeness

抜け・欠落はないか

形式順守 / format

スキーマ・文字数・構造を守るか

安全性 / safety

PII・有害・投入不可を含まないか

道具の正しさ / tool-use

正しいツール/引数を選べたか

二値 > 段階評価:Likert(5段階)は判断がぶれる"footgun"。Yes/No+具体的な合否文言にすると再現性が上がる。(X実務者・Hamel Husain)
Error Analysis First:指標を作る前に人手で100+トレースを読む。飛ばすと的外れな指標に張り込む。(X実務者・Aakash/Hamel)
Part B — 効かせる|確度:X実務者(syndication確認)+論文(rubric生成)13
Part B — Judge routing

LLM-as-judge:単一 vs パネル

1人の審査員はバイアス(冗長さ選好・位置バイアス)に弱い。視点の違う複数の小型judgeで多数決にすると、単一の大型judgeより精度が高く安い(PoLL)。

単一judge(バイアスに弱い) 生成物 judge×1 Opus/Sonnet 判定 パネル(視点別×多数決) 生成物 judge:正確性 Sonnet judge:忠実性 Sonnet judge:安全性 Sonnet 多数決 合議で判定
judgeも間違える前提:judge自体が位置/冗長さバイアスや欺瞞に脆弱("deceptive judge")。judge-the-judge=人手ラベルとのズレを定期監査(align evals)してjudgeプロンプトを直す。(確度:論文+ベンダー発表)
Part B — 効かせる|出典:PoLL(論文)/Salesforce(論文)/LangChain(公式)14
Part B — Gate routing

品質ゲートのフロー(どうルーティングするか)

安い機械チェックを先に、高コストなLLM judgeは疑わしいものだけ。合否で分岐し、重大なものは人間へエスカレーション。

生成物 安い機械チェック schema / regex / consistency(10–100ms) 疑わしい? 分岐 No(明白に合格) Yes LLM judge rubric・多数決 (1–8秒・要所のみ) 採用 合格 → 次工程へ 差し戻し(再生成) 不合格 → ループで直す 人間へエスカレーション 重大・不可逆は人が採否
Part B — 効かせる|確度:技術ブログ(runtime vs post-hoc)+内部リファレンス15
Part B — Adversarial verify

生成→反証→収束(adversarial verify)

生成物を別エージェントに「反証してみて」と投げ、覆せたものを落として収束させる。不可逆・対外的に痛い判断の最終ゲート。

生成 Fable 懐疑① 反証 懐疑② 反証 懐疑③ 反証 別コンテキスト(生成≠検証) 多数決 refuted除外 覆ったら差し戻して再生成(収束まで)
  • 生成≠検証:生成と別モデル/別文脈の懐疑エージェントに投げる
  • 「反証して」と指示:既定を refuted 寄りにし、通りやすさを潰す
  • 多数決で採否(例:3体中2体が支持でPASS)
  • 実測で誤検知を約41%除外(内部の verify-sweep 運用)
注意:表層データだけで「欠落=問題」と断定させない。一次ソース照合を強制して誤検知を防ぐ。
Part B — 効かせる|内部リファレンス(verify-sweep.js)16
Part B — Operationalize

実装で回す:テンプレ+回帰+CIゲート

評価を"一発判定"で終わらせず、再実行しても壊れない仕組みにする。テンプレ化・eval set・CIの閾値ゲート・人手ラベルとの定期キャリブレーション。

再利用テンプレ
judge-panel / verify-sweep

judge-panel=rubric別に採点→勝者+良い点を接ぎ木。verify-sweep=懐疑3体の多数決でPASS/要修正。schema出力固定・model明示。

回帰・eval set
壊れていないか

固定データセット×較正済みgraderでスコア化。集計スコアが閾値以上でmerge可(CIゲート)。冪等な処理はスクリプト化。

確度:技術ブログ(閾値は目安・未検証)
align evals
judgeを人手に合わせる

judgeの判定と人手ラベルのズレを定量監査し、judgeプロンプトを調整するループ。judgeも継続的にサンプル監査。

確度:公式(LangChain 発表)
既存パターンの一般化:手元の営業AIスキルの多くは既に「AIは判断材料を出し、採否は人が 評価 列で決める」設計になっている。これを全スキルの標準ゲートに引き上げる=非属人化の完成形。
Part B — 効かせる|内部リファレンス+X実務者+公式17
Part C — Scale at large

大規模に回す:1コンテキストに収まらないとき

全件処理・移行・監査・横断スイープ——人1人でも1コンテキストでも扱いきれない規模を、loop と多段Workflowで回し切る。ただし人間のレビュー容量が真のボトルネックになる。

移行・変換 / migration
全対象を検出→各所を変換

worktree隔離で並列実装→テスト→PR。1ファイル=1体で書き込み衝突を防ぐ。

監査・スイープ / audit
全件を多次元でスキャン

多レンズで探索→重複除去→検証。見つからなくなるまで繰り返す。

棚卸し・網羅 / inventory
いくつあるか不明

Slack横断・ドライブ棚卸し等。枯れるまで探索し、取りこぼしを潰す。

大規模のガードレール:終了条件は3点セットで明文化(max反復数/無進捗検知(N回変化なしで停止)/$予算キャップ)。1ファイル=1エージェント。落とした分は必ずlog(silent cap禁止)。人間レビューは目安10〜20体/人が上限。
Part C — 大規模に回す|確度:公式+X実務者+技術ブログ18
Part C — Pattern ①

loop-until-dry:枯れるまで回す

いつ:いくつあるか不明だが全部欲しい(監査・棚卸し)。発見がN回連続でゼロになるまで探索を続け、pass ledger(パス番号・使ったレンズ・新規件数)で収束を機械判定。

並列finders 多レンズで探索 dedup(ledger) seen照合・新規のみ 新規 あり? 多視点で判定 adversarial confirmed 蓄積 Yes No(N回連続0) 収束・完了(枯れた) 次ラウンド:見つけた新規を seen集合に追加 して再探索
Part C — 大規模に回す|確度:内部リファレンス+技術ブログ/OSS(production-audit・loopy)19
Part C — Pattern ②

多段Workflow:フェーズを連ねる

いつ:高リスク・不可逆な大仕事。理解→設計→実装→レビューを段で流し、各フェーズの間で人が結果を読んで次を決める(=人がループに残る)。各段自体が fan-out / pipeline。

① 理解 並列読込 (fan-out) ② 設計 多案 → judge panel で採点 ③ 実装 worktree 並列 (1ファイル1体) ④ レビュー adversarial verify 判断 判断 判断
長時間なら durable 実行:Brain(Claude)/Hands(sandbox)/Session(追記型イベントログ)を分離。クラッシュしても Session ログからcheckpoint 再開(exit / async / sync の3モード)。(確度:公式 Anthropic/LangChain)
Part C — 大規模に回す|出典:Anthropic(Planner-Generator-Evaluator/long-running harness・公式)20
Part C — Scale & ceiling

予算でスケール、でも天井は「人のレビュー」

台数は予算逆算で決める(総予算 ÷ 1体あたり消費)。だが増やすほど効くわけではない——人間のレビュー容量が本当の律速になる。

総トークン予算 → 並列台数 → 人間レビューの天井(目安 10〜20体/人) 台数 ∝ 予算 ここから先は レビューが律速(増やしても効かない) 台数 N ≈ 総予算 ÷ 1体あたり消費 (未指定なら既定 5・実用上限は 3〜5)
コストの現実:並列10体で単発比約10倍のトークン(Maxプランでも数時間で枯渇の実例)。見る指標は「トークン/秒」でなく成果物 ÷ ドル ÷ 時間。Agent Teams/Swarm(Claude Code Teams)は強力だが「実験的・大量消費」と公式明言。(確度:X実務者 Levie/公式 bcherny/実測系)
Part C — 大規模に回す|確度:X実務者(@levie)+公式(@bcherny)+技術ブログ21
Part C — Putting it together

全部入り:大規模監査/移行 harness

これまでの組み方の合成。worktree隔離の並列 → 重複除去(ledger)→ 多視点verify → 統合→人レビューを、枯れるまで loop で回す。

リポジトリ 全件 worktree① 隔離(1ファイル1体) worktree② 隔離 worktree③ 隔離 worktree④ 隔離 dedup pass ledger 多視点verify adversarial・多数決 統合PR まとめる 人レビュー 最終ゲート 次ラウンド:新規が出る限り繰り返す(loop-until-dry
Part C — 大規模に回す|確度:公式(Claude Code parallel/worktree)+内部リファレンス22
Wrap-up

束ねて → 効かせる(一連の流れ)

① 束ねる(Part A) fan-out pipeline 5モデルで役割分担 ② 効かせる(Part B) 機械チェック→LLM judge 反証・多数決・人間採否 採用 効き続ける状態へ hotice 実務への当てはめ 媒体別ROAS突合:媒体ごとに並列集計→検証 インフルエンサー横断調査:並列取得→比較表
今日の1アクション:自分がよく使うスキル/フローを1つ選び、①手分けできる部分(束ねる)と、②結果を誰がどう確かめているか(効かせる)を1行ずつ書き出す。そこが次の改善点。
hotice AI Enablement|上級リファレンス23
Sources & confidence

出典・確度一覧

知見・数値出典確度
エージェント5パターン/multi-agent ≈15×トークン/orchestrator-worker +90.2%Anthropic「Building Effective Agents」「Multi-agent research system」公式
失敗の 41–42% はタスク仕様/設計の不備MAST(arXiv:2503.13657)論文
サブエージェントへのモデル委譲・Claude Code の Haiku 使い分けSimon Willison(@simonw・syndication確認)X実務者
二値 > Likert/Error Analysis First(人手100+トレース)Hamel Husain・Aakash Gupta(X)X実務者
小型judgeパネルが単一judgeより高精度・安い(PoLL)Panel-of-LLMs 論文論文
judge自体の脆弱性(deceptive judge)/align evalsSalesforce(論文)/LangChain(公式発表)論文・公式
5モデル体制・ルーティング・Workflowテンプレ・adversarial verify 41%除外内部リファレンス(workflow-patterns.md / model-routing-pricing.md / *.js)内部
CI閾値・runtime vs post-hoc・コスト%等の具体数値技術ブログ引用未検証(目安)

※ 未検証の数値は資料化時に一次ソースで裏取りを。価格・ベンチは時点で変動します。

hotice AI Enablement|上級リファレンス24