메타 분석: 왜 이 특정 구조인가
이 문서는 PABCD의 설계 선택을 분석한다. 실패 사례나 게임 개발 경험은 탄생 배경에 있다. 여기서는 그 경험이 왜 이 특정 구조 — hook 과적합도 자체 루프도 아닌 규율 텍스트 + 최소 기계 — 로 귀결되었는지를 다룬다.
A세 가지 하네스 아키타입
AI 코딩 에이전트의 행동을 제어하는 접근법은 세 가지로 나뉜다.
Hook 과적합형. 모든 턴에 규칙을 프롬프트에 주입하고, 모든 도구 호출을 가로채서 출력을 파싱하고, 위반을 실시간으로 차단한다. GitHub Actions의 워크플로 규칙처럼 동작한다. 장점은 결정론적 보장이다. 단점은 모델이 규칙을 이미 이해해도 오버헤드가 줄지 않는다는 것이다. 더 똑똑한 모델을 쓸수록 낭비되는 토큰이 늘어난다.
자체 루프형. 에이전트의 출력을 다른 LLM이 검사하고, 그 검사를 또 다른 LLM이 검사한다. 비용이 레이어마다 곱해진다. 근본적 문제는 검사자도 같은 모델 계열이므로 같은 맹점을 공유한다는 것이다. N+1 쿼리를 놓치는 모델이 만든 코드를, N+1 쿼리를 놓치는 모델이 리뷰하면 독립적 신호가 아니다.
규율 텍스트형 (PABCD). 규칙을 에이전트가 읽고 내면화하는 지식으로 표현하되, 되돌릴 수 없는 소수의 불변식만 기계적으로 강제한다. 강제는 정확히 세 개다: FSM 상태 영속(attestation), 조기 종료 차단(Stop hook), 완료 검증(goalplan gate). 나머지 수백 개의 규칙(C0-C5 분류, anti-slop, 아키텍처 경계)은 에이전트가 스스로 따르는 규율이다.
Agentless(arXiv:2407.01489)는 정교한 자율 에이전트 루프 없이 단순한 단계별 프로세스가 강한 결과를 냈다. 이건 "기계가 더 많으면 더 좋다"는 가정의 반례다. 반면 SWE-agent(arXiv:2405.15793)는 잘 설계된 에이전트-컴퓨터 인터페이스가 성능을 크게 올렸다. 결론은 "hook이 나쁘다"가 아니라 "hook은 최소한으로, 판단은 모델에게"다.
BAGENTS.md에서 스킬로의 진화
AGENTS.md 연구(arXiv:2602.11988)는 레포 수준 컨텍스트 파일이 에이전트 행동에 미치는 영향을 138개 작업으로 측정했다. 결과는 양면적이었다.
텍스트는 행동을 바꿨다. 에이전트는 시킨 대로 더 많이 탐색하고, 더 많이 테스트하고, 언급된 도구를 더 자주 썼다. 하지만 추론 비용이 ~20% 증가했고, 작업 성공률은 유의미하게 올라가지 않았다. 연구자들이 이걸 "순종적 낭비(obedient waste)"라고 이름 붙인 건 아니지만, 현상 자체가 그것이다: 에이전트가 규율을 잘 따르되 그 규율이 현재 작업에 관련 없으면 비용만 늘어난다.
PABCD 스킬 시스템은 이 발견을 구조적으로 반영한다. AGENTS.md가 정적 단일 파일이라면, PABCD 스킬은 trigger 기반 점진 로딩이다. 타이포 수정(C0)에는 dev 스킬의 fast-path만 활성화되고, references는 건너뛴다. 인증 시스템 설계(C4)에서만 dev-security, dev-backend, dev-architecture가 동시에 활성화된다. 규율의 한계 가치가 높아야 순종적 낭비를 피할 수 있고, 그건 관련 없는 규율을 로드하지 않는 것에서 시작한다.
Instruction Adherence 연구(arXiv:2605.10039)는 설정 파일의 구조 변수가 지시 준수에 미치는
영향을 팩토리얼 설계로 측정했다. 결론: 파일 구조가 내용만큼 중요하다. PABCD의
라우터 + references 2계층 구조, C0-C5 깊이 조절, last-verified 날짜
스탬프는 이 발견에 맞춰져 있다.
C프론티어 모델과 함께 성장하는 하네스
SIFo(arXiv:2406.19999)는 더 새롭고 큰 모델이 복잡한 지시 시퀀스를 유의미하게 더 잘 따른다는 것을 보여줬다. 이건 PABCD에 유리한 근거다: 같은 규율 텍스트가 모델 세대가 바뀔 때마다 더 잘 적용된다. 하네스 코드는 바뀌지 않았는데 효과가 올라간다.
하지만 이 주장에는 정직한 한계가 있다. MathIF(arXiv:2505.14810)는 추론 능력과 제약 준수가 반대 방향으로 갈 수 있음을 보여줬다. 더 강한 추론과 더 긴 추론 체인이 오히려 제약 준수를 낮출 수 있다. 미래의 모델이 작업을 더 잘 풀면서 워크플로 규칙을 더 자주 재해석하거나 무시할 가능성이 있다.
그래서 PABCD는 순수한 텍스트 규율이 아니다. 기계적 강제 세 개가 있다. FSM attestation은 "단계를 내레이션만 하고 실제로 전이하지 않는" 실패를 구조적으로 차단한다. Stop hook은 목표가 활성인데 조기 종료하는 것을 막는다. Completion gate는 goalplan이 E8 검증을 통과해야만 완료를 허용한다. 이 세 개는 모델이 아무리 똑똑해져도 필요하다 — 실수와 의도적 위반을 모두 잡는 감사 가능한(auditable) 경계다.
정식화하면 이렇다: 판단은 모델 능력이 복리로 쌓이는 곳에 놓고, 불변식은 확률적 판단이 용납되지 않는 곳에 놓는다. "느슨한 하네스가 단단한 하네스를 이긴다"보다 정직하고, 근거가 실제로 지지하는 범위를 넘지 않는 주장이다.
D참고 문헌
| 논문 | 핵심 발견 | PABCD 연결 |
|---|---|---|
| SIFo (2024) | 큰/새 모델이 복잡 지시를 더 잘 따름 | 규율 텍스트가 모델 세대와 함께 성장 |
| MathIF (2025) | 추론 능력과 제약 준수가 반대로 갈 수 있음 | 기계적 강제 3개가 필요한 이유 |
| AGENTS.md (2026) | 컨텍스트 파일이 행동을 바꾸지만 +20% 비용, 성공률 불변 | AGENTS.md > 스킬 진화의 근거 |
| Instruction Adherence (2026) | 설정 파일 구조가 내용만큼 중요 | 라우터 + references 2계층 구조 |
| Agentless (2024) | 단순 단계 프로세스가 정교한 자율 루프를 이김 | 최소 기계 원칙 |
| SWE-agent (2024) | 잘 설계된 인터페이스가 성능을 올림 | hook은 나쁜 게 아니라 최소한이어야 |
| Greshake et al. (2023) | 자연어 규칙은 보안 경계가 될 수 없음 | 보안은 텍스트 + 기계 이중 경계 |