コーディングエージェントに Issue を何件か渡すとき、1件ずつ順に渡すか、まとめて1つのセッションに渡すか、件数ぶんのセッションを並列に起動するか。この記事では、同じモデル・同じ課題で harness(エージェントの周りの仕組み)だけを変えて、時間・token・合格率を測った結果を書きます。対象は、エージェントを並列で動かすか迷っている人や、調整役のエージェントを置く構成を検討している人です。
TL;DR
- 3件の課題を並列に起動すると、順次や一括のおよそ半分の時間で終わりました(例: 174秒 → 104秒)。
- 並列にしても、入力 token は順次とほぼ同じでした。token が一番増えたのは、同じ大きなファイルを触る3件を1つのセッションにまとめたときで、順次の約2倍でした。
- 先に読み取り専用の調整役が作業メモを書く構成と、リポジトリの要約を添える構成は、どちらも合格率を上げませんでした。
- 2件なら、1つのセッションにまとめるのが最も速く、token も最も少なく済みました。
- 各条件3回ずつの探索的な結果です。合格数の差は1〜2件で、偶然の範囲を超えるとは言えません。
背景
Apple と EPFL の研究者による論文 How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering? は、同じフロンティアモデルと同じ時間の予算で比べると、公開されている複雑な harness は、最小構成のコーディングエージェントの単一セッションより成績が良くなかったと報告しています。
ただし、この論文の対象は機械学習エンジニアリングのベンチマークです。私が知りたかったのは、普通の Web や Node のリポジトリで、Issue を3件以上同時に片付けるときにも同じことが言えるかでした。そこで、条件を揃えた小さな実験を自分で組みました。論文の再現ではありません。
検証環境
| 項目 | 内容 |
|---|---|
| 実行日 | 2026年11月6日 |
| エージェント | Codex CLI 0.166.0-alpha.6(codex exec) |
| モデル | gpt-6-luna(effort medium。全45回で、実行記録から提供モデルを読み取って確認) |
| 利用枠 | ChatGPT Plus の Codex 週枠。実験全体で週枠の使用率が 61% から 67% に増えた |
| 設定 | 認証情報だけを置いた空の設定ディレクトリ(自分の普段の設定・Skill・指示ファイルは読ませない) |
費用は円やドルでは記録していません。サブスクリプションの利用枠の消費は、API の従量課金額と同じではないためです。
手順
課題
自分の非公開リポジトリで既にマージ済みの PR から、課題を8件作りました。性質の違う3つの組に分けています。
| 組 | 件数 | 性質 |
|---|---|---|
| 同じファイルの2件 | 2 | 同じ2ファイルを触る小さな機能追加 |
| 別領域の3件 | 3 | 別のリポジトリ・別の領域(業務ロジック・設定の検査・ブラウザ自動化の Skill) |
| 同じ大きなファイルの3件 | 3 | Node 製の小さなアプリで、3件とも同じ大きなファイルを触る |
採点は、その PR がテストファイルに加えた差分を「隠しテスト」として使います。エージェントの作業場所には、テストの差分も正解の実装も置きません。また、作業場所は git archive で取り出したファイルから新しく git init した、履歴が1コミットだけの複製です。元のリポジトリの後のコミット(つまり答え)に git log で届かないようにしました。
5つの条件
| 条件 | 内容 |
|---|---|
| A 順次 | 課題ごとに1セッションを順に実行 |
| B 一括 | 1セッションに組の全課題をまとめて渡す |
| C 並列 | 課題ごとに1セッションを同時に起動 |
| D 調整役つき | 先に読み取り専用の調整役セッションが課題ごとの作業メモを書き、メモを添えて C と同じく並列に実行 |
| E 要約つき | C に、スクリプトで作ったリポジトリの要約(ファイル一覧と export 名。モデルは使わない)を添える |
5条件 × 3組 × 3回 = 45回です。終わったら、リポジトリごとに課題の差分を順にマージし、競合したファイルの数も数えました。
予算の上限
実行の前に1回だけ流して消費量を測り、その値で「Codex の週枠が70%に達しそうなら止める」という上限を決めました。各セッションの前に枠の使用率を読み、残りのセッション数ぶんの見積もりを足して70%を超えるなら、実行せずに止めます。使用率が読めないときも止めます。
結果
合格数(課題数 × 3回のうち隠しテストに通った数)と、時間・入力 token の中央値です。
| 組 | 条件 | 合格 | 時間 | 入力 token | 統合時の競合 |
|---|---|---|---|---|---|
| 同じファイルの2件 | A 順次 | 4/6 | 99秒 | 398k | なし |
| B 一括 | 5/6 | 63秒 | 237k | なし | |
| C 並列 | 5/6 | 60秒 | 372k | なし | |
| D 調整役つき | 5/6 | 84秒 | 480k | なし | |
| E 要約つき | 3/6 | 62秒 | 384k | なし | |
| 別領域の3件 | A 順次 | 9/9 | 174秒 | 694k | なし |
| B 一括 | 8/9 | 176秒 | 747k | なし | |
| C 並列 | 8/9 | 104秒 | 610k | なし | |
| D 調整役つき | 8/9 | 106秒 | 727k | なし | |
| E 要約つき | 8/9 | 80秒 | 623k | なし | |
| 同じ大きなファイルの3件 | A 順次 | 5/9 | 290秒 | 987k | なし |
| B 一括 | 3/9 | 339秒 | 1,900k | 3回中2回 | |
| C 並列 | 6/9 | 170秒 | 1,156k | なし | |
| D 調整役つき | 4/9 | 216秒 | 1,016k | なし | |
| E 要約つき | 6/9 | 161秒 | 1,219k | なし |
入力 token の大部分はキャッシュからの読み取りでした(例: 順次・同じ大きなファイルの3件で 987k のうち 903k)。
考察
事前に立てた4つの仮説に対して、次のように読みました。
- 3件以上では並列が時間で勝つ: 支持しました。3件の組では、並列(C・E)は順次・一括のおよそ半分の時間でした。
- 並列にすると各セッションが同じリポジトリを読み直すので token が増える: 支持しませんでした。並列の入力 token は順次と同程度で、別領域の3件ではむしろ少なめでした。キャッシュが効いていることが一因だと考えています(ここは測っていません)。
- 調整役つきは手戻りや不具合が少ない: 支持しませんでした。合格数は並列と同じかそれ以下で、調整役のぶん時間と token が増えました。
- 一括は小さい組では安いが、大きい組では劣る: 支持しました。2件では最速・最少 token でしたが、同じ大きなファイルの3件では token が最大、合格数が最少で、統合時に競合も起きました。
要約つき(E)は時間では並列と同じくらい速かったものの、合格数は一貫して良くはなりませんでした。同じファイルの2件では最も低い結果です。
実験の途中でつまずいたこと
結果よりも学びが多かったのは、実験の準備で失敗したところです。
- 課題文の書き漏らし: 最初の実行で、正しく実装しているのに隠しテストに落ちる課題がありました。テストが呼ぶ関数名や戻り値の形を課題文に書いていなかったためです。全課題の文を見直したところ、8件中7件で同じ漏れがありました。さらに、直した課題文の1件が正解の実装と矛盾していて、もう一度直しています。課題文には「テストが呼ぶ公開インターフェース」は書き、実装方針やテストの中身は書かない、という線を引きました。直す前の実行結果は、集計から分けて保存しています。
- 既製の Skill を配ると答えが漏れる: 調整役つきの条件を「既製の専門 Skill を配る」形でも試そうとしました。調べると、手元の Skill のうち2つが、課題の答えになる実装をすでに含んでいました。手元の Skill は、課題の元になった変更を取り込んだ後の状態だったためです。公平な比較にならないので、この形は実行していません。
- 空の差分で統合が止まる: エージェントが何も変更しなかった回に、統合の処理がエラーで止まりました。空の差分を「空のコミット」として扱うように直しています。
まとめ
今回の範囲では、3件以上の課題は並列に起動するのが一番素直でした。時間はおよそ半分になり、token もほぼ増えませんでした。調整役を置いたり要約を添えたりする工夫は、合格率を上げませんでした。2件だけなら、1つのセッションにまとめるのが最も効率的でした。
一方、言えないことも多くあります。モデルは1つ、課題は8件、各条件3回だけです。課題文はインターフェースを明記した「仕様どおりに実装する」寄りの文になっていて、曖昧な Issue を渡したときの結果は分かりません。費用も利用枠の割合でしか見ていません。次は、課題を増やすことと、別のモデルで同じ比較をすることを考えています。
参考資料
- How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?(Apple Machine Learning Research)
この記事は、AI エージェントによる調査・検証・下書きをもとに、筆者が内容を確認して公開しています。