Z.ai의 법률 특화 모델 GLM-Legal, 무엇이 다른가

출처: Z.ai Blog
원문: https://z.ai/blog/glm-legal
작성자: 팔복소프트-김팔복

한눈에 보기

• Z.ai가 경량 모델 GLM-5.3-Flash를 법률 업무용으로 추가 학습한 GLM-Legal을 공개하고 베타 신청을 받기 시작했습니다.
• 로펌 실무 과제를 끝까지 수행하는 Harvey LAB에서 통과율 19.2%로 비교 모델 중 가장 높았습니다.
• LegalBench, PLawBench에서는 최상위 모델과 비슷한 수준이고 앞서지는 않았습니다.
• 학습의 핵심은 모델과 그 실행 틀(하네스)을 함께 고쳐 나간 점입니다.
• 예시에서는 일반론 대신 바로 쓸 수 있는 조항과 체크리스트를 내놓는 차이를 보여줬습니다.
• 한국 법은 평가 대상에 없습니다. 국내 팀이 바로 실무에 쓰기에는 확인할 것이 많습니다.

배경: 왜 하필 법률인가

LLM 경쟁의 축이 "코드 한 조각 잘 짜기"에서 "업무 한 건을 끝까지 처리하기"로 옮겨가고 있습니다. 법률 업무는 사실관계, 조문, 논증, 고객용 문서 중 하나만 끊겨도 결과물 전체가 쓸모없어지는 분야라서, Z.ai는 이를 전문 업무용 모델의 시험대로 골랐습니다. Harvey LAB은 로펌용 AI 회사 Harvey가 만든 벤치마크로, 24개 실무 분야 과제의 모든 요구사항을 충족해야 통과로 칩니다.

벤치마크: 에이전트 과제에서 차이가 컸다

GLM-Legal이 가장 크게 앞선 곳은 Harvey LAB입니다. 기반 모델인 GLM-5.3-Flash가 6.7%였는데 GLM-Legal은 19.2%로, 12.5%p 올랐습니다.

그림 1. Harvey LAB 전 항목 통과율 비교, 원문 벤치마크 차트의 수치를 다시 그림 (팔복소프트 작성)

나머지 두 벤치마크는 분위기가 다릅니다.

LegalBench와 PLawBench에서는 1위가 아니고, 원문 표현도 "대등하다"입니다. Z.ai는 훨씬 작은 파라미터 규모로 이 수준을 냈다고 강조하지만 구체적인 파라미터 수는 밝히지 않았습니다. Harvey LAB과 LegalBench 결과는 외부 기관 Vals가 따로 측정했습니다.

학습 방식: 모델과 실행 틀을 같이 키웠다

그림 2. 기반 모델에서 현업 피드백까지 GLM-Legal의 학습 흐름 (팔복소프트 작성)

• Mid-training: 법률 자료를 늘려 "사실 → 규칙 → 결론"의 연결을 다졌습니다.
• Post-training: 수만 개의 법률 과제 환경에서 강화학습을 돌렸습니다. 하네스(맥락 관리, 도구 연결, 실행 결과 전달을 맡는 실행 틀)의 병목은 학습 중 실패 사례로 찾아 고치고, 고친 하네스가 다시 모델에 더 현실적인 제약을 줍니다.
• 현업 피드백: 쟁점 누락, 인용 정확성, 지시서 준수, 바로 쓸 수 있는지 같은 실무자 기준을 학습 신호로 바꿨습니다. 문제가 생기면 모델, 맥락 구성, 작업 흐름 중 어디 탓인지 나눠 진단합니다.

예시: "검토하세요" 대신 "이렇게 고치세요"

원문은 같은 과제에 대한 기반 모델과 GLM-Legal의 답을 나란히 보여줍니다.

Z.ai의 데스크톱 에이전트 플랫폼 AutoClaw에 곧 들어갈 예정이며(계약 수정안을 Word 변경 내용 추적으로 반영), 지금은 API 베타 신청을 받는 단계입니다.

팔복소프트 관점

눈여겨볼 것은 점수보다 만드는 방식입니다. "작은 기반 모델 + 도메인 추가 학습 + 하네스 공동 개선"으로 업무 에이전트를 만드는 접근은 법률 밖에서도 통합니다. 사내 문서 검토나 보험 심사처럼 절차가 정해진 업무를 자동화하려는 팀이라면 모델 선택보다 하네스 설계와 평가 기준 정의에 더 공을 들여야 합니다. 실패 원인을 "모델, 맥락, 흐름"으로 나눠 진단하는 방식은 RAG나 에이전트를 운영하는 팀이 바로 가져다 쓸 만합니다.

19.2%라는 숫자는 양면으로 읽어야 합니다. 비교 모델 중 1위인 것은 맞지만, 뒤집으면 실무 과제 열 건 중 여덟 건 이상은 어딘가에서 요구사항을 놓친다는 뜻입니다. 지금 단계에서 이 모델은 초안을 빠르게 만들고 쟁점을 짚어주는 보조 도구이지, 사람의 검토를 건너뛸 수 있는 도구가 아닙니다.

한국 팀이 바로 쓰기 어려운 이유도 분명합니다.

• 평가가 로펌 실무 일반(Harvey LAB)과 중국 법(PLawBench) 중심이고, 한국 법령·판례 수치는 없습니다.
• 계약서와 분쟁 자료는 가장 민감한 데이터입니다. 해외 API로 보내기 전에 개인정보 국외 이전 요건과 비밀유지 의무부터 따져야 합니다.
• 의견서 수준의 결론을 외부 고객 서비스로 내보내면 변호사법상 법률 사무 취급 문제와 부딪힐 수 있습니다. 사내 법무팀 보조로 시작하는 쪽이 현실적입니다.

그래도 써볼 만한 팀은 있습니다. 동남아 진출을 준비하는 스타트업의 개인정보 점검처럼 영어 자료가 주된 입력인 업무는 한국어 성능 문제를 피해 갑니다. 해외 계약을 자주 다루는 법무팀이라면 베타를 신청해 자기 계약서 몇 건으로 검증해볼 만합니다.

정리

GLM-Legal은 작은 모델을 특정 업무에 맞춰 깎으면 실무 과제 수행력이 크게 오를 수 있다는 사례입니다. 다만 상승이 두드러진 곳은 에이전트형 과제 하나였고, 그 점수도 아직 열 건 중 두 건이 안 됩니다. 국내 개발자가 가져갈 것은 "모델과 실행 틀을 함께 평가하고 고친다"는 설계 방식입니다. 한국 법 성능이 공개되기 전까지 국내 실무 도입은 지켜보는 쪽이 맞습니다.

• GLM-Legal
• Z.ai
• 리걸테크
• AI 에이전트
• 도메인 특화 LLM