STEP 2394 · 2026-10-24 · v0 draft
AI / エージェント が 「何ができるか」 ではなく、どの条件なら でき、何が変わると できなくなるか を 項目単位 で 記録する 辞典。各項目は 事前登録 された 再現テスト + 予測値 + 反証条件 を 持つ。
novelty_level default は L0。ollama) + 無料ツール のみ。ID / 名称 / 命題 / 変数 / 再現テスト / 期待結果 / 境界条件 / 境界を越えたときの失敗 / 反証条件 / 既存研究との関係 / 状態 / 新規性段階。schema: specs/capability-boundary-atlas/schema-v0.md。
GSM-IC は GSM8K の 基本問題 100 問 に 対し、無関係な 一文 を 足した 変種 を 作った データセット。 分割 は 基本問題単位 で exploration 60 問 / confirmation 40 問 (seed 固定)、同じ 基本問題 の 変種 が exploration と confirmation の 両側 に 入らない。 両分割 の sha256 + 基本問題 id list を manifest に 記録して commit。 検証用 データ は 事前登録 commit を land する まで、一切 読まず / 実行しない。
対応のある bootstrap (B=10,000) で 差分 の 95% 信頼区間 を 推定。 基本問題単位 で 再標本化 (= 同一 基本問題 と その 変種 を 一緒 に resample、変種 を 独立 と 扱わない)。 「両条件 CI の 重なり」 では 判定しない。 予測値 と 許容幅 α は 事前登録 commit で 固定、以後 変更不可。
| 差分 CI の 位置 | 判定 |
|---|---|
| 0 を 含まず、予測値 ± α を 含む | replicated |
| 0 を 含まず、α 外 だが 正の 向き (= 予測 と 同方向) | direction-only |
| 0 を 含まず、負の 向き (= 予測 と 逆) | refuted |
| 0 を 含む | inconclusive |
| 段階 | 意味 |
|---|---|
L0 | 既知: 先行研究 の 再現 |
L1 | 新しい整理: 既知 の 現象 を 別 変数 軸 で 再定式化 |
L2 | 新しい原理 候補: 事前登録 で 新 予測、検証 待ち |
L3 | 実証された 新原理: confirmation で 実証、独立 再現 1 件 以上 |
run-entry.ts) は ローカル PC 稼働中 に 手動 / 半手動 のみ。 cron / クラウド での 自動 実測 は 設置しない。update-site.ts (結果 JSON → HTML 再生成) のみ。 クラウド (Cloudflare Pages workflow 等) で OK。
ctx-noise-accuracy-drop-v0 — 文脈ノイズ による 正答率低下命題: qwen2.5:7b で GSM-IC の 基本問題 (元の GSM8K 問題) に対し、無関係な 一文 を 足した 変種 を 与えると、正答率 が 事前登録した 予測値 ± α pt だけ 低下する。
比較: 「元の問題」 vs 「一文 を 足した 問題」 (binary、同一 基本問題 の 対応ペア)。
データ: GSM-IC (Shi et al. 2023, "Large Language Models Can Be Easily Distracted by Irrelevant Context", arXiv:2302.00093)。 GSM8K 基本問題 100 問 + 各問 に 無関係 一文 を 足した 変種。
ライセンス: GitHub API 上 license: null、LICENSE/COPYING/NOTICE file 不在。 README に citation 要求のみ 記載 (archive 済、2023-02 以降 read-only)。 本 repo に 生データ を 再配布せず 公式 URL から 測定時 download、citation 完備。 正式 reuse 条件 は 著者 要問い合わせ。
予測値: 事前登録 commit で 固定、exploration run 結果 から 決める。 許容幅 α も 同 commit に 含める (文献値 は 参考として のみ 併記)。
境界 model: qwen2.5:3b / qwen2.5:7b / qwen3:14b (手元 CPU 動作確認済み)。
反証: 対応のある bootstrap (基本問題単位 再標本化) で acc(original) − acc(with-noise) の 95% CI。 判定表 に 従う (replicated / direction-only / refuted / inconclusive)。
先行研究 と の 差分: Shi 2023 は 主に code-davinci-002、加えて text-davinci-003 を 評価。 本 entry は 手元 の 7B class ローカル モデル (qwen2.5) で 2026 年 時点 の 再現。
#print axioms 基盤。docs/ai-capability-boundary-handoff.mdspecs/capability-boundary-atlas/schema-v0.mdspecs/capability-boundary-atlas/entry-template.md