Gemini 4 Carbon, 독립 평가 1위… 코딩은 Opus 5.5 다음

출처: Artificial Analysis
원문: https://artificialanalysis.ai/articles/gemini-4-carbon-new-number-1
작성자: 팔복소프트-김팔복

한눈에 보기

• Google의 Gemini 4 Carbon이 Artificial Analysis Intelligence Index v5에서 59점으로 1위에 올랐습니다.
• 9개 평가 중 HLE-Diamond, Terminal-Bench-Science, AA-Omniscience, AutomationBench-AA 4개에서 최고점을 받았습니다.
• 코딩 에이전트 지수는 59점으로, Claude Code + Claude Opus 5.5(62점)에 3점 뒤진 2위입니다.
• 지식 노동 평가 AA-Briefcase는 Argon보다 126 Elo 올랐지만 Kimi K3.1 Pro, Muse Wonder, Grok 4.7보다는 아래입니다.
• 표준 요금은 Argon과 같은 100만 토큰당 입력 $4 / 출력 $20이고, 과제당 비용은 $7.76로 Opus 5.5보다 약 23% 쌉니다.
• 아직 일부 사용자에게만 제공되며, 종료일 없는 50% 출시 할인이 붙어 있습니다.

배경

Artificial Analysis는 특정 벤더에 속하지 않고 여러 LLM을 같은 조건으로 돌려 점수와 비용을 비교하는 평가 기관입니다. 바로 전날 발표한 Index v5는 처음으로 지수의 절반 이상을 비공개 데이터셋으로 구성했습니다. 공개 벤치마크에 맞춘 튜닝 효과가 덜 섞인다는 뜻이라, 제조사가 직접 낸 표보다 비교 자료로 쓰기 좋습니다. Carbon은 앞서 나온 Gemini 4 Argon과 마찬가지로 일부 사용자 대상으로 먼저 풀리고 있습니다.

주요 내용

어디서 1위이고 어디서 아닌가

Carbon의 강점은 복잡한 추론, 지식, 과학 과제입니다. 반대로 코딩과 지식 노동은 크게 좋아졌지만 1위는 아닙니다. 원문 수치를 영역별로 묶으면 이렇습니다(모두 Carbon high 추론 설정 기준).

코딩 쪽은 Google 모델이 그동안 약했던 영역이라, 1위가 아니어도 3점 차 2위라는 점이 이번 결과에서 가장 눈에 띕니다. AA-Briefcase에서는 Presentation 항목이 293 Elo 올라 1598, Analytical Quality가 120 Elo 올라 1671이 됐습니다. 문서·발표 자료를 만드는 품질이 가장 많이 개선된 셈입니다.

비용: 같은 요금, 더 높은 점수

그림 1. Intelligence Index 과제 하나당 비용, 표준 요금 기준 (팔복소프트 작성, 수치는 Artificial Analysis)

Carbon은 과제 하나에 출력 토큰을 평균 123k 쓰는데, Opus 5.5(max)의 173k보다 29% 적습니다. 토큰을 덜 쓰니 과제당 비용도 $7.76로 Opus 5.5($10.04)보다 낮습니다. 다만 GPT-6 Astra(max, $6.25)보다는 약 1.2배 비쌉니다. Argon($7.68)과는 비용이 거의 같으면서 지수는 9점 높습니다. 캐시된 입력 토큰은 95% 할인돼 표준가 기준 100만 토큰당 $0.20입니다.

환각: 정답률은 오르고 환각도 조금 늘었다

그림 2. AA-Omniscience v1.1 환각률, 낮을수록 좋음 (팔복소프트 작성, 수치는 Artificial Analysis)

정답률은 Argon보다 10포인트 오른 58%입니다. 대신 환각률이 4%에서 11%로 올랐습니다. 그래도 Argon 다음으로 낮은 수치이고, Opus 5.5와 GPT-6 Astra(둘 다 max)는 50%입니다.

기본 사양

• 컨텍스트 창: 1M 토큰
• 입력: 텍스트, 이미지, 동영상, 음성 / 출력: 텍스트

팔복소프트 관점

• "1위"보다 "용도별 순위"를 보세요. 종합 1위는 추론·지식·과학 과제가 끌어올린 결과입니다. 우리 팀의 주 용도가 에이전트 코딩이라면 여전히 Claude Code + Opus 5.5가 앞서고, 보고서·발표 자료 자동화라면 Kimi나 Grok 쪽이 더 높습니다.
• 환각률 차이는 실무에서 크게 체감될 수 있습니다. 사내 문서 Q&A나 고객 응대처럼 "모르면 모른다고 해야 하는" 서비스에서는 11%와 50%의 차이가 검수 비용으로 바로 이어집니다. RAG를 붙여도 근거가 없는 질문은 늘 들어오기 때문에, 이 지표는 정답률만큼 중요합니다. 다만 Argon보다 환각이 늘어난 점은 짚고 넘어가야 합니다.
• 비용 계산은 표준가로 하세요. 50% 출시 할인은 종료일이 정해지지 않았습니다. 할인가로 원가를 잡고 서비스를 설계하면 할인이 끝나는 순간 단가가 두 배가 됩니다. 원문 비교도 모두 표준가 기준입니다.
• 아직 쓸 수 없다는 점이 가장 큰 제약입니다. 일부 사용자에게만 열려 있어 국내 팀 대부분은 당장 API로 붙여 볼 수 없습니다. 망분리나 개인정보 국외 이전 문제로 클라우드 LLM 사용 자체가 막힌 조직이라면 더더욱 먼 이야기입니다.
• 한국어 성능은 이 지수로 알 수 없습니다. 평가 항목이 영어권 기준이라, 한국어 문서와 국내 도메인 데이터에서는 직접 짧게 비교해 봐야 합니다.

정리

Gemini 4 Carbon은 Argon과 같은 요금으로 종합 점수를 9점 올렸고, Google의 약점이던 코딩 에이전트에서 선두와의 격차를 3점까지 좁혔습니다. 기억할 것은 세 가지입니다. 종합 1위가 모든 용도의 1위는 아니고, 낮은 환각률은 Gemini 계열의 뚜렷한 장점이며, 할인가가 아니라 표준가로 계산해야 한다는 점입니다. 공개 출시 후 자기 업무 데이터로 Opus 5.5와 나란히 돌려 보는 것이 가장 확실한 판단 방법입니다.

• Gemini 4 Carbon
• Artificial Analysis
• LLM 벤치마크
• 코딩 에이전트
• AI 환각