벤치마크 점수는 참고만 하고, 실제 프로젝트에서 두 모델을 교차 테스트한 결과를 솔직하게 공유합니다.
테스트 환경
3개 도메인(법률 문서 분석, Python 코드 생성, 한국어 문서 작성)에서 각각 50개 태스크를 실행했습니다. 온도는 0으로 고정해 재현성을 확보했고, 동일한 시스템 프롬프트와 few-shot 예시를 양쪽에 제공했습니다.
법률 문서 분석: Claude 우위
Claude 3.5 Sonnet이 긴 문서 처리와 정확한 조항 인용에서 더 나은 성능을 보였습니다. GPT-4o는 간혹 없는 조항을 만들어내는(hallucination) 경우가 있었고, Claude는 "해당 내용이 문서에 없습니다"라고 명확하게 답하는 경향이 강했습니다. 리스크가 높은 업무일수록 Claude가 더 안전합니다.
코드 생성: GPT-4o 우위
Python 코드 생성에서는 GPT-4o가 전반적으로 더 빠르고 실용적인 코드를 냈습니다. Claude도 코드 품질은 높지만, 설명이 길어지는 경향이 있어 바로 사용할 수 있는 코드 snippet을 원할 때는 GPT-4o가 편했습니다.
한국어 처리: 거의 동등, 뉘앙스 차이
문법적 정확도는 비슷하지만 문체가 다릅니다. Claude는 더 격식체에 가깝고, GPT-4o는 조금 더 자연스럽고 구어적입니다. B2B 문서 작성에는 Claude, SNS나 마케팅 카피에는 GPT-4o가 더 잘 맞는다는 인상을 받았습니다.