공개 벤치마크 DeepSWE에서 약 74%의 점수를 똑같이 기록했던 Claude Opus 5.5와 Gemini 3.8 Flash가 있습니다. 그런데 테스트 보고서 파일명을 소문자로 바꾸는 식의 단순한 변형을 가하고 참조 패치를 17줄(3.5%) 늘리자, 점수는 Claude Opus 5.5가 76.4%, Gemini 3.8 Flash가 53.4%로 벌어졌습니다. 20%포인트가 넘는 격차입니다. 겉으로 드러난 점수나 프레임워크의 편리한 인터페이스 뒤에는 항상 시스템의 구체적인 동작 방식이 숨어 있습니다. 코딩 에이전트가 벤치마크 테스트 케이스의 사소한 수정에 무너지는 현상과, 16바이트 뷰를 보냈다고 생각했는데 백그라운드에서 1MiB 메모리 버퍼 통째가 참조를 유지하...