"""참조 A/B — **순서를 가린** 사람 비교 화면. ★판을 차릴 뿐 판정하지 않는다. 대상마다 네 장을 **섞은 차례로** 놓는다. 어느 것이 참조를 넣은 것인지 화면에 안 적는다 — 알고 보면 판이 기운다. ★어느 쪽이 나은가는 **사람만** 정한다. VLM 점수·critique·다수결을 근거로 안 쓴다. 정답표는 **따로** 낸다(`--key`). 사람이 고르고 **난 뒤에** 연다. python tools/grounding_audit/ref_ab_review.py python tools/grounding_audit/ref_ab_review.py --key """ from __future__ import annotations import html import json import sys from collections import defaultdict from pathlib import Path from typing import Any, Dict def _e(x: Any) -> str: return html.escape(str(x if x is not None else "")) def render(doc: Dict[str, Any]) -> str: by: Dict[str, list] = defaultdict(list) for r in doc.get("rows") or (): if r.get("path"): by[str(r["subject_id"])].append(r) cards = [] for sid in sorted(by): rows = sorted(by[sid], key=lambda x: x.get("slot") or 0) first = rows[0] cells = "".join(f"""
{_e(r.get('slot'))}
{_e(r.get('slot'))}
""" for r in rows) cards.append(f"""
{_e(first.get('owner_type'))} {_e(first.get('surface_form'))} {_e(sid)}

고른 참조

같은 프롬프트 (모델이 적은 겉모습)

{_e(first.get('prompt'))}

구운 것 {len(rows)}장 — 차례는 섞여 있습니다

{cells}
""") return f""" 참조 A/B — 사람 비교

참조 A/B — 사람 비교

대상마다 같은 프롬프트로 구운 {doc.get('repeats', 2) * 2}장이 있습니다. 절반은 참조를 넣고, 절반은 넣지 않고 구운 것이며 차례는 섞여 있습니다 — 어느 쪽인지 화면에 안 적습니다.
★어느 쪽이 나은지는 사람이 정합니다. VLM 에게 좋고 나쁨을 묻지 않았습니다.
우리가 쓰는 이미지 API 에는 seed 가 없어 같은 그림을 재현할 수 없습니다. 그래서 arm 당 여러 장을 굽습니다.
{''.join(cards)}
""" def main() -> int: if len(sys.argv) < 3: print(__doc__) return 2 doc = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8")) if sys.argv[2] == "--key": print("■ 정답표 — ★사람이 고른 **뒤에** 본다") by: Dict[str, list] = defaultdict(list) for r in doc.get("rows") or (): if r.get("path"): by[str(r["subject_id"])].append(r) for sid in sorted(by): rows = sorted(by[sid], key=lambda x: x.get("slot") or 0) print(f" {sid} {rows[0].get('surface_form')}") for r in rows: print(f" 자리 {r['slot']} = " f"{'참조 넣음' if r['arm'] == 'with_reference' else '참조 없음'}" f" ({r['path'].split('/')[-1]})") return 0 out = Path(sys.argv[2]) out.write_text(render(doc), encoding="utf-8") print(f"■ 적었다: {out}") print(" ★차례를 가렸다. 정답표는 `--key` 로 따로 본다.") return 0 if __name__ == "__main__": raise SystemExit(main())