OpenAI GPT-5.6 Sol, Cerebras 기반 Ultrafast 모드로 최대 초당 750토큰 처리

출처: Cerebras (Joyce Er)
원문: https://www.cerebras.ai/blog/accelerating-gpt-5-6-sol-ultrafast-with-openai

작성자: 팔복소프트-김팔복

한눈에 보기

• OpenAI와 Cerebras가 GPT-5.6 Sol을 위한 새로운 Ultrafast 서비스 티어를 공개했습니다. 우선 OpenAI API에서 제한적으로 제공됩니다.
• Cerebras에 따르면 GPT-5.6 Sol Ultrafast는 **최대 초당 750개의 출력 토큰(output tokens/s)**을 생성합니다.
• Humanity's Last Exam(HLE) 테스트에서 2,500개 문제를 약 11시간 11분 만에 처리했으며, Cerebras는 Claude Fable 5 대비 비슷한 정확도로 약 7배 빠른 결과를 기록했다고 밝혔습니다.
• 빠른 추론의 핵심에는 Cerebras의 Wafer-Scale Engine과 대용량 온칩 SRAM 구조가 있습니다.
• 현재는 일부 고객을 대상으로 한 Limited Preview 단계이며, Cerebras와 OpenAI는 처리 용량에 따라 접근 범위를 확대할 예정입니다.

주요 내용

GPT-5.6 Sol에 Ultrafast 모드가 추가된다

Cerebras와 OpenAI가 GPT-5.6 Sol을 훨씬 빠른 속도로 사용할 수 있는 새로운 서비스 티어인 Ultrafast Mode를 공개했습니다.

Ultrafast는 우선 OpenAI API를 통해 일부 고객에게 제한적으로 제공되며, GPT-5.6 Sol의 추론을 Cerebras 인프라에서 처리하는 방식입니다.

Cerebras가 공개한 수치에 따르면 Ultrafast 환경에서 GPT-5.6 Sol은 최대 750 output tokens/s의 생성 속도를 냅니다.

단순히 작은 모델을 사용해 응답 시간을 단축하는 것이 아니라, 높은 수준의 모델 성능을 유지하면서 추론 속도를 높이는 것이 이번 발표의 핵심입니다.

큰 모델의 문제였던 '속도와 성능의 선택'

일반적으로 AI 모델의 규모와 성능이 높아질수록 계산해야 하는 양과 메모리 사이를 이동하는 데이터가 증가합니다.

결과적으로 개발자는 더 높은 품질을 얻기 위해 긴 응답 시간을 감수하거나, 응답 속도를 높이기 위해 상대적으로 작은 모델을 선택해야 하는 경우가 있었습니다.

Cerebras는 GPT-5.6 Sol Ultrafast가 이런 선택을 줄이는 것을 목표로 한다고 설명합니다.

회사가 인용한 Artificial Analysis의 출력 속도 자료를 기준으로 하면 GPT-5.6 Sol Ultrafast는 Fable 5보다 11배, Opus 4.8 Fast 모드보다 5배 빠른 출력 속도를 기록했습니다.

다만 이런 성능 비교는 모델과 추론 설정, 워크로드 등에 따라 달라질 수 있습니다. Cerebras 역시 실제 속도 차이는 워크로드와 구성 등에 따라 달라질 수 있다고 명시하고 있습니다.

HLE 2,500개 문제를 약 11시간 만에 처리

Cerebras는 성능을 확인하기 위해 Humanity's Last Exam(HLE) 벤치마크도 수행했습니다.

HLE는 화학, 경제학, 문학 등 다양한 분야에서 높은 수준의 전문 지식을 요구하는 2,500개 문제로 구성된 AI 벤치마크입니다.

Cerebras의 자체 테스트에서는 GPT-5.6 Sol Ultrafast가 전체 문제를 11시간 11분 만에 처리했습니다.

비교 대상으로 사용한 Claude Fable 5는 동일한 문제를 처리하는 데 78시간 27분이 걸렸으며, Cerebras는 비슷한 정확도 수준을 기준으로 Ultrafast가 약 7배 빠르게 작업을 완료했다고 설명했습니다.

이 테스트는 Cerebras가 직접 수행한 벤치마크라는 점도 함께 볼 필요가 있습니다. GPT-5.6 Sol Ultrafast는 Codex와 xhigh reasoning 설정으로 테스트됐으며, 비교 모델은 별도의 날짜에 Claude Code와 xhigh reasoning 설정으로 측정됐습니다.

업무 전체가 끝나는 시간도 줄일 수 있을까

토큰 생성 속도가 빨라지는 것과 실제 업무가 끝나는 시간이 짧아지는 것은 별개의 문제입니다.

이를 확인하기 위해 Cerebras는 경제적 가치가 높은 지식 노동 작업을 평가하는 GDP-Val에서도 GPT-5.6 Sol을 비교했습니다.

Cerebras가 Codex의 medium reasoning 설정으로 실시한 테스트에서는 Ultrafast가 일반 GPT-5.6 Sol 대비 end-to-end 기준 5.6배의 속도 향상을 기록했다고 밝혔습니다. 품질 저하는 없었다는 것이 Cerebras의 설명입니다.

즉 이번 발표에서 중요한 부분은 단순한 토큰 생성 속도만이 아닙니다.

AI가 여러 단계의 작업을 수행해야 하는 에이전트 환경에서도 전체 실행 시간을 줄일 수 있다는 점에 초점을 맞추고 있습니다.

AI 에이전트가 '기다려야 하는 작업'에서 벗어날 수 있다

추론 속도가 크게 높아지면 AI를 적용할 수 있는 영역도 달라질 수 있습니다.

Cerebras는 대표적인 활용 사례로 프로덕션 장애 원인 분석, 보안 사고 대응처럼 결과가 나오는 시간이 중요한 업무를 제시했습니다.

개발 환경에서도 의미가 있습니다.

AI 에이전트에게 코딩이나 분석 작업을 요청한 뒤 결과가 나올 때까지 다른 업무로 전환해야 했다면, 처리 시간이 충분히 짧아질 경우 개발자가 현재 작업 흐름을 유지한 상태에서 AI 결과를 바로 받아 다음 단계로 진행할 수 있습니다.

여러 개의 AI 세션을 동시에 띄워놓고 기다리는 방식보다 인간과 AI가 하나의 작업을 더 실시간에 가깝게 주고받는 형태에 가까워지는 것입니다.

속도의 핵심은 Cerebras의 Wafer-Scale Engine

Cerebras는 이런 추론 속도를 가능하게 하는 핵심 기술로 자체 Wafer-Scale Engine(WSE) 아키텍처를 설명합니다.

대규모 모델 추론에서는 연산 성능뿐 아니라 모델의 가중치 데이터를 얼마나 빠르게 이동할 수 있는지가 중요한 문제가 됩니다.

Cerebras의 설명에 따르면 GPU 기반 환경에서는 토큰을 생성하는 과정에서 모델 가중치를 온칩 메모리와 외부 메모리 사이에서 반복적으로 이동해야 하고, 이 과정이 메모리 대역폭의 병목으로 이어질 수 있습니다.

Cerebras는 이를 줄이기 위해 웨이퍼 크기의 칩 하나에 44GB SRAM을 탑재했습니다.

모델 가중치를 칩 내부에 유지하면서 여러 웨이퍼에 걸쳐 구성된 모델 레이어 사이로 토큰을 파이프라인 형태로 처리해 데이터 이동에 따른 병목을 줄이는 구조입니다.

이번 Ultrafast는 단순한 API 옵션 추가라기보다 Cerebras의 하드웨어 구조를 OpenAI의 프론티어 모델 추론에 직접 적용한 사례라는 점에서 주목할 만합니다.

아직 누구나 사용할 수 있는 기능은 아니다

현재 GPT-5.6 Sol Ultrafast는 정식으로 모든 개발자에게 공개된 상태는 아닙니다.

Limited Preview 형태로 일부 고객에게 먼저 제공되고 있으며, Cerebras와 OpenAI는 인프라 처리 용량이 확대되는 것에 맞춰 접근 범위를 늘릴 계획입니다.

따라서 당장 일반적인 OpenAI API 요청을 Ultrafast로 변경해 사용할 수 있다고 보기보다는, 향후 OpenAI API의 고성능 추론 옵션이 어떤 방향으로 발전하는지를 보여주는 초기 단계로 보는 것이 좋습니다.

정리

GPT-5.6 Sol Ultrafast의 핵심은 더 작은 모델로 속도를 확보하는 대신, 고성능 모델 자체의 추론 시간을 크게 단축하려는 시도입니다.

특히 코딩 에이전트나 장애 대응처럼 AI의 결과가 다음 작업을 막고 있는 환경에서는 모델의 지능뿐 아니라 응답 속도가 중요한 경쟁 요소가 될 수 있습니다. 현재는 제한적인 프리뷰 단계인 만큼, 앞으로 일반 API 사용자까지 제공 범위가 얼마나 확대되는지가 다음 관전 포인트입니다.

• GPT-5.6 Sol
• OpenAI
• Cerebras
• AI 추론
• AI 에이전트