# STEP 1856 — Template-heavy domain family Phase 1b: 5 external fetch + word-level axis + v0.2 threshold (6/13 signature match)

**Timestamp**: 2026-09-07T01:22 (JST)
**Tab worktree**: main (rei-aios-97 [de6edb])
**Commit**: <commit 後に追記>
**Refs-STEP**: 1851, 1854

## 一行 summary

STEP 1854 の 「Voynich signature v0.1 char-level は word-level 主張 の 意味論 誤転写」 honest finding に 応答。 word-level axis (B' + D') + 5 external domain fetch (Esperanto Wikipedia + DNA NCBI + Protein UniProt + Chess PGN hardcoded + markdown proxy) + v0.2 signature (Bw ≤ 4 AND Dw > 0.10) 実装。 **13 domain 実測: v0.1 0/13 → v0.2 6/13 match**、 うち **4/6 (chess/esperanto/markdown/log) は 意味的 Voynich-like** (repeated word pattern at short range)、 2/6 (DNA/protein) は tokenizer artifact false positive (FASTA sequence に space なし)。 v0.2 signature は 弁別性 あり (json_schema は Bw=7 で no match)。 test 28 → 38/38 PASS。

## 主要 finding / evidence

### 実装
- `scripts/domain-family/characterize.ts` 拡張: wordTokenize (Unicode-aware `[\p{L}\p{N}]+`) + wordNgramUniquenessDecay + wordTemplateRatio + voynichSignatureV02Match
- `scripts/domain-family/fetch-external.ts` 新規: 6 domain fetch script (rate limit 対応 + hardcoded fallback + graceful degradation)
- `data/domain-family/samples-external/` 5 files (esperanto 315 KB + dna 23 KB + protein 14 KB + chess 28 KB + markdown 69 KB = 449 KB total)
- `data/domain-family/samples-combined/` 13 files (synthetic 8 + external 5)
- `data/domain-family/results/characterization-v0.2.csv` (13 row × 17 col、 char + word 両 axis)
- `data/domain-family/README-v0.2.md` (方法論 + 結果解釈 + 5 finding + honest scope + Phase 2 candidate + v0.3 送り)
- `test/step1854-domain-family-characterize-test.ts` 拡張 (28 → 38 assertion、 word-level 8 追加)

### v0.2 signature 実測 結果 (6/13 match)
- **★ chess_pgn_famous** (Bw=3, Dw=0.330): opening move sequence 反復
- **★ esperanto_wikipedia** (Bw=3, Dw=0.323): agglutinative morphology + 頻出 function word
- **★ markdown_proxy_latex_like** (Bw=3, Dw=0.323): 論文 section 見出 + 専門用語 反復
- **★ structured_log** (Bw=3, Dw=0.717): log field 構造 の 完全 反復
- **(false+) dna_ncbi** (Bw=1, Dw=0.143): FASTA sequence 全体 が 1 word tokenize artifact
- **(false+) protein_uniprot** (Bw=1, Dw=0.143): 同上

### 弁別性 evidence
- json_schema (Bw=7, Dw=0.798) が **no match** = 「値 の variety 高 だが template structure 反復」 pattern を 過度信号化 しない
- v0.1 の 0/13 (全 no match) → v0.2 の 6/13 (弁別 あり) = threshold 意味論 的 に 動作 する 実 evidence

## Honest scope (Phase 1b の 限界)

- **Voynich EVA 直接 anchor 未達**: public URL 3 全 404、 Latin substitute batch fetch は rate limit + title 不整合 で partial fail。 real Voynich text で threshold recalibrate は Phase 1c 送り
- **cmix binary 未統合**: build complexity + Windows binary + license、 axis E は zstd/gzip のみ で 継続
- **false positive 2/6 (DNA/protein)**: tokenizer artifact、 sequence domain 対応 は v0.3 送り (residue-level or fixed-window tokenize)
- **v0.2 threshold は tentative**: Bw ≤ 4 (Voynich note 「4 語で 消える」 の 直接数値化) + Dw > 0.10 (自然言語 目安 相対)、 real anchor 較正 は 未達
- **english_baseline は 未差替**: Phase 1a 過度圧縮 artifact 継続 (5 paragraph × 20 repeat)、 v0.3 で 実 English (enwik8 fragment 等) に 差替 予定

## Failure mode dataset entry (STEP 1854 に 追加)

- **sequence domain tokenizer artifact**: word tokenizer が natural language 前提、 space なし の DNA/protein FASTA では 全体 が 1 word 扱い で uniqueness trivially high。 domain-aware handling が v0.3 課題
- **external fetch rate limit**: la.wikipedia.org batch (20 title) で rate limit 発火、 sleep 1s 挿入 + 少 title でも fail continue。 fetch resilience は 追加 STEP 送り
- **valid domain の signature 抜け穴**: json_schema は 意味的 に template-heavy だが char-level 変動 で v0.2 も no match、 v0.2 signature は 「word 反復性」 に 偏る = domain axis の 直交性 が 未 formal

## v0.3 送り 事項

1. domain-aware tokenizer (sequence domain には residue-level or fixed-window)
2. Voynich EVA 直接 fetch (別 URL 探索 / 藤本さん 手元 データ / Zenodo dataset)
3. cmix binary 統合 (WSL build or Windows pre-built)
4. english_baseline 差替 (実 English)
5. v0.3 threshold refinement (real Voynich anchor + additional axes)
6. tokenizer artifact 明示検知 (sequence domain 自動判定 + CSV warning column)

## Phase 2 candidate (次段)

Phase 1b 完了 → Phase 2 = prototype domain 1 選択。 現 short-list:
- **chess** (真 Voynich-like、 move sequence template compressor 候補)
- **structured_log** (最高 Dw = 0.717、 field dictionary compressor)
- **esperanto** (agglutinative pattern、 suffix compressor)

**藤本さん explicit go 待ち**: Phase 3 (1 domain prototype 実装) の 対象選択。

## 詳細参照

- Phase 1a: STEP 1854 (5 axis + 8 synthetic sample)
- Design: STEP 1851 (v0.1 registry + 4 phase plan)
- 対 arc: STEP 1852 (Paper 180 concept)
- 実装 file: `scripts/domain-family/{characterize,generate-samples,fetch-external}.ts`
- 出力: `data/domain-family/results/characterization-v0.{1,2}.csv` + `README-v0.2.md`
- test: `test/step1854-domain-family-characterize-test.ts` (38 assertion)