Kimi k3 - Hugging Face에 공개되다.

출처: Moonshot AI (Hugging Face 모델 카드)
원문: https://huggingface.co/moonshotai/Kimi-K3

작성자: 팔복소프트-김팔복

한눈에 보기

• Moonshot AI가 총 파라미터 2.8T, 토큰당 활성 파라미터 104B 규모의 MoE 모델 Kimi K3의 가중치를 공개했습니다. 3T급 오픈 모델로는 처음이라고 밝히고 있습니다.
• 새 어텐션 구조인 KDA(Kimi Delta Attention) 와 AttnRes(Attention Residuals), 그리고 Stable LatentMoE 를 도입해 896개 전문가 중 16개만 활성화합니다. K2 대비 스케일링 효율이 약 2.5배 개선됐다는 게 자체 설명입니다.
• 컨텍스트 길이는 약 100만 토큰(1,048,576), 비전 인코더 MoonViT-V2를 내장한 네이티브 멀티모달 구조입니다.
• 학습 단계(SFT 이후)부터 MXFP4 가중치 + MXFP8 활성값 기반 양자화 인식 학습(QAT)을 적용했습니다.
• API 사용 시 주의점이 하나 있습니다. 사고 과정(reasoning_content)을 보존하는 모드로 학습돼서, 멀티턴이나 툴 콜에서 어시스턴트 메시지를 통째로 되돌려줘야 합니다.

주요 내용

무엇이 공개됐나

Kimi K3는 Moonshot AI가 현재까지 내놓은 모델 중 가장 성능이 높다고 소개하는 오픈 웨이트 모델입니다. 코딩, 지식 작업, 추론처럼 오래 이어지는(long-horizon) 작업을 겨냥해 설계됐고, 가중치 전체가 공개되어 있습니다.

포지셔닝의 핵심은 "닫힌 프런티어 모델급 성능을 열어둔다"는 쪽입니다. 실제로 모델 카드에는 Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8, GPT-5.5, GLM-5.2와 나란히 놓은 비교표가 실려 있습니다.

아키텍처

눈여겨볼 부분은 어텐션 레이어를 KDA와 Gated MLA로 섞어 쌓았다는 점, 그리고 전문가를 896개까지 늘리면서 활성 비율은 크게 낮췄다는 점입니다. 전체 규모는 2.8T인데 토큰당 계산에 쓰이는 건 104B라서, 파라미터 총량 대비 추론 비용을 억제하는 방향으로 설계됐습니다.

양자화는 후처리가 아니라 SFT 단계부터 QAT로 붙였습니다. MXFP4/MXFP8 조합을 고른 이유로는 하드웨어 호환 범위를 들고 있습니다.

벤치마크

전 영역에서 1등이라는 주장은 아니고, 항목별로 우열이 갈립니다. 대표적인 수치만 뽑으면 이렇습니다.

• 추론·지식: GPQA Diamond 93.5, AA-LCR 74.7
• 코딩: Terminal-Bench 2.1에서 88.3, FrontierSWE 81.2, SWE-Marathon 42.0, DeepSWE 67.5
• 에이전트: BrowseComp 91.2, MCPMark-Verified 94.5, DeepSearchQA(F1) 95.0
• 비전: OmniDocBench 91.1, Video-MME(자막 포함) 90.0
  FrontierSWE, SWE-Marathon, BrowseComp, MCPMark 쪽에서 비교 대상보다 앞선 수치가 나왔고, HLE-Full이나 OSWorld 2.0, JobBench처럼 뒤처지는 항목도 그대로 표에 실려 있습니다.

다만 해석에는 주의가 필요합니다. 모델마다 사용한 하네스가 다르고(Kimi K3는 상당수 자체 Kimi Code 하네스), 일부 점수는 Artificial Analysis나 Vals AI 같은 외부 리더보드에서 인용한 값입니다. SWE-Marathon은 H20 GPU 기준으로 재보정한 브랜치에서 측정했다고 명시하고 있어서, 공식 v1.1 수치와 직접 비교하기는 어렵습니다.

개발자가 알아둘 사용상 특징

사고 과정이 항상 켜져 있습니다. 응답에 reasoning_content가 함께 돌아오고, 사고량은 최상위 필드 reasoning_effort로 low / high / max 중에 고릅니다. 기본값은 max입니다.

어시스턴트 메시지를 잘라서 되돌려주면 안 됩니다. K3는 이전 사고 내용을 보존하는 방식으로 학습돼서, 멀티턴 대화나 툴 콜에서 API가 반환한 어시스턴트 메시지를 content만 골라 담지 말고 reasoning_content와 tool_calls까지 원형 그대로 messages에 다시 넣어야 합니다. 기존 모델처럼 습관적으로 content만 추려서 히스토리를 쌓는 코드를 쓰면 동작이 달라집니다.

import openai

def chat_with_preserved_thinking(client: openai.OpenAI, model_name: str):
    messages = [
        {
            "role": "user",
            "content": "Tell me three random numbers."
        },
        {
            "role": "assistant",
            "reasoning_content": "I'll start by listing five numbers: 473, 921, 235, 215, 222, and I'll tell you the first three.",
            "content": "473, 921, 235"
        },
        {
            "role": "user",
            "content": "What are the other two numbers you have in mind?"
        }
    ]

    response = client.chat.completions.create(
        model=model_name,
        messages=messages,
        stream=False,
        max_tokens=4096,
        reasoning_effort="max",
    )
    # the assistant should mention 215 and 222 that appear in the prior reasoning content
    print(f"response: {response.choices[0].message.reasoning}")
    return response.choices[0].message.content

배포와 접근 방법

• API: platform.kimi.ai에서 kimi-k3 선택. OpenAI / Anthropic 호환 인터페이스를 제공합니다.
• 추론 엔진: vLLM, SGLang, TokenSpeed를 권장 목록으로 안내합니다.
• 에이전트 프레임워크: Kimi Code CLI와 조합했을 때 가장 잘 동작한다고 안내하고 있습니다. Hugging Face 페이지에는 Transformers, Docker Model Runner 사용 예시도 함께 있습니다.

제약과 확인이 필요한 부분

• 라이선스가 표준 오픈소스 라이선스가 아닙니다. 코드와 가중치 모두 별도의 "Kimi K3 License"로 배포되므로, 상업적 활용을 검토한다면 조항을 직접 확인해야 합니다.
• 자체 호스팅 문턱이 높습니다. 활성 파라미터가 104B라도 2.8T 가중치를 올려야 하니, 개인이나 소규모 팀 환경에서 그대로 돌리기는 현실적으로 어렵습니다. 커뮤니티 양자화 버전이 이미 올라오고는 있습니다.
• 모달리티 표기가 항목마다 다릅니다. 소개 문단에서는 텍스트·이미지·비디오를 같은 모델에서 처리한다고 하는데, 모델 요약 표의 Modality는 텍스트와 이미지로 적혀 있습니다. 비디오 입력을 실제로 쓸 계획이라면 API 문서에서 지원 범위를 따로 확인하는 게 좋겠습니다.

정리

Kimi K3에서 기억할 건 두 가지입니다. 하나는 3T급 프런티어 모델의 가중치가 실제로 공개됐다는 사실이고, 다른 하나는 그 성능이 벤치마크상 상용 최상위 모델들과 항목별로 엎치락뒤치락하는 수준까지 왔다는 점입니다.

바로 자체 호스팅에 뛰어들기엔 규모가 부담스럽지만, API로 붙여보는 건 어렵지 않습니다. 다만 사고 과정을 보존해서 되돌려주는 요구사항은 기존 코드와 충돌하기 쉬우니, 대화 히스토리를 어떻게 쌓고 있는지부터 점검하고 시작하는 걸 권합니다.

• Kimi K3
• Moonshot AI
• 오픈웨이트LLM
• MoE
• AI에이전트