사공이 많아지면 - 260529 회고

Claude code의 개인적인 harness를 개발하는 중이고, 현재 review gate를 만들고 있는데 방향성을 잘못 잡아 며칠 째 고생하는 중이다. OMC 같은 이미 존재하는 harness를 써도 되겠지만, 개인 프로젝트를 진행하는데에는 harness가 너무 무거워 보였다. 그리고 사용하기 나름이겠지만 LLM에게 많은 것을 위임하는 harness라는 느낌이 들어서 Agent를 관리 감독하기에는 어렵겠다고 생각했다. 그리고 사실 Multi-Agent의 효용성을 시간 대비 빠른 작업 외에는 크게 느끼지 못했다.
그래서 그냥 Vanila Claude Code 위에 나의 뜻에 맞는 개인적인 harness를 구축해보기 시작했다. Vibe Coding 툴로써 사용하기보단, Agentic Engineering 툴로써 견고한 harness를 구축해보고 싶기도 했다.

그래서 며칠 째 harness를 개발하는 중이고, Matt Pocock의 grilling 스킬을 정말 수백번은 호출한 것 같다. 이 스킬을 정말 애용하고 있다.

Matt Pocock도 소개하지만 이 스킬은 Vibe Coding보다는 문제해결을 위한 스킬이다. 안드레 카파시가 언급한 Agentic Engineering을 딱 이 스킬이 설명할 수 있지 않을까라는 생각이 들었다. (굉장히 매력적인 스킬이고 기획 과정에서의 성취감을 맛볼 수 있는 스킬이니 적극적으로 추천한다...!)

매번 Grilling을 할 때의 domain은 다르지만, 다만 내가 잘 알지 못하는 내용에 대한 grilling을 할 때는 쉽지 않은 것 같다. 해당 도메인에 대한 지식이 없으니, 판단하기도 어렵고 판단을 했을 때도 근거 없는 자신감이 되어버린 것 같아서 불안한 경험을 자주 하곤 한다. 그래서 최근에는 Claude code가 아닌, codex-cli, antigravity-cli를 호출하는 쉘 스크립트를 이용해 제 3자의 입장에서 grilling을 도와주는 스킬을 만들었다. 이 스킬을 활용하면 내 판단에 도움을 주지 않을까라는 생각을 갖고 만들고 사용해보았지만, 며칠 사용해본 결과 오히려 세션의 복잡도만 높아지고, 점점 나도 모르게 판단을 codex, agy에게 위임하려고 하게 되었다. 그리고 그렇게 자주 판단을 위임하려고 하니 머리가 새하얗게 되는 느낌이 들었고, 문제 해결은 커녕 또 Vibe-Coding과는 다를 게 없는 상태가 되어버리는 것 같았다. Codex, AGY의 Vibe에 따라 흘러가는 개발이 되어버리는 것이다.

그리고 세션도 너무 지저분해지고, 작업의 엔트로피는 점점 커지는 것 같았다. Codex는 분명히 뛰어나지만, Claude가 제시한 물음을 Codex, AGY에게 그대로 넘겨서 해결하라고 하니 Claude의 편향이 그대로 다른 에이전트들에게도 편향되는 경향이 있었다.

그래서 아예 Claude와의 세션 Context의 원본 Jsonl 파일을 제 3자의 입장에서 보라는 페르소나를 부여한 채로 외부 LLM에게 보여주면 편향 없이 판단할 수 있지 않을까라는 생각을 했지만, 솔직히 큰 효과는 없었다.

제 3자의 LLM에게 Claude와의 Grilling Context를 보여주면 당연히 새로운 관점에서의 답변이 나온다. 근데 그게 쌓이고 쌓이다 보면 굉장히 세션이 지저분해진다. 이걸 제 3자의 의견으로 사용하지 않고 내 생각을 대신하는 역할로 사용했어서 그런 걸까?

확실한 건 나의 판단을 항상 대변하는 역할로 사용하는 것은 지양해야 하는 일 같다. LLM은 지나치게 편향에 약하다. 그렇다는 것은 탁월함을 보여주지는 못한다는 것이다.

사람도 마찬가지로 편향이 존재한다. 사람은 주관적일 수 밖에 없다. 근데 좀 다른 것 같다. LLM보다는 다른 관점에서 볼 수 있는 능력이 뛰어나다. 마음만 먹으면 바로바로 관점을 바꿔나갈 수 있다.

오늘을 계기로 다시 나의 판단력에 의존하고, LLM은 참고, 조언 용도로만 사용하는 게 좋을 것 같다는 생각이 들었다. 이미 Main Agent와의 Grilling에서 나에게 큰 영향력을 미치는데 사공이 많아질수록 배는 산으로 간다는 말은 이런 상황에서도 적용되는 말인 것 같다.