LLM을 잘 쓰는 사람은 결국 그 분야를 잘 아는 사람

출처: Sean Goedecke
원문: https://www.seangoedecke.com/llms-reward-expertise/

작성자: 팔복소프트-김팔복

한눈에 보기

• LLM 덕분에 누구나 어느 정도는 제너럴리스트가 되면서, "프롬프트에 무슨 기술이 필요하냐"는 인식이 생겼다.
• 저자는 이 인식이 틀렸다고 본다. 프롬프팅에서 가장 중요한 능력은 해당 도메인에 대한 이해다.
• Terence Tao가 ChatGPT와 나눈 수학 대화를 예시로 든다. 같은 모델인데 결과물의 수준이 완전히 다르다.
• 코드베이스를 잘 아는 개발자일수록 모델을 더 세게 밀어붙일 수 있고, 그만큼 더 많은 걸 뽑아낸다.
• 모델이 좋아져도 사람의 전문성은 계속 필요하다. 병목은 모델이 아니라 "원하는 걸 정확히 전달하는 사람" 쪽에 있기 때문이다.

주요 내용

모두가 제너럴리스트가 된 시대

2010년대에는 CSS를 못 쓰면 잘하는 동료를 찾거나, 내 문제와 딱 맞는 답이 인터넷 어딘가에 있기를 바라야 했다. 지금은 그냥 LLM에 맡기면 그럭저럭 돌아가는 CSS가 나온다. 기술적 공백을 모델이 메워주는 셈이다.

여기서 "결국 다 같은 모델을 쓰는데 프롬프트 잘하는 사람이 따로 있겠냐"는 생각이 나온다. PhD 수준의 수학이든, 나쁘지 않지만 취향은 없는 코드든, 어색한 LinkedIn 문체의 글이든 그냥 요청하면 나오니까. 저자는 이 지점에서 반대한다.

Terence Tao의 대화가 다른 이유

저자는 Jacobian 추측의 반례를 두고 수학자 Terence Tao가 ChatGPT와 나눈 대화를 사례로 든다. 같은 모델인데 자신이 쓰는 ChatGPT와는 전혀 다른 물건처럼 보였고, 토큰을 무제한으로 써도 그 지점까지 갈 수 없었다는 것이다. 저자가 관찰한 특징은 이렇다.

• 메시지가 짧고 핵심만 짚는다. 모델 답변에 항목별로 일일이 대응하지 않고 요지에만 반응한다.
• 모델의 출력도 훨씬 간결해진다. 질문자가 전문가라는 신호를 주면 모델이 "아마추어에게 설명하는 모드"가 아니라 "수학자와 대화하는 모드"로 넘어간다.
• 답이 이상해 보이면 정면으로 틀렸다고 하기보다 "생각보다 복잡해 보인다" 같은 식으로 방향을 튼다.
• 다음에 뭘 할지는 대부분 본인이 정한다. 모델의 제안을 그대로 따라가는 경우가 거의 없다.
  다만 저자는 이 팁들을 흉내 낸다고 Tao처럼 프롬프팅할 수 있는 건 아니라고 못 박는다. 핵심은 수학 자체를 이해하고 있다는 점이다. 긴 답변에서 쓸모 있는 아이디어만 골라내고, 다른 접근을 제안하고, "뭔가 이상한" 부분을 짚어내는 일은 도메인 지식 없이는 안 된다.

개발 현장에서도 똑같다

저자는 자신의 업무에서도 같은 경험을 했다고 말한다. 코드베이스에 대한 나름의 모델이 머릿속에 있으면 LLM을 훨씬 강하게 밀어붙일 수 있다. 좋은 해법이 대충 어떤 모양일지 감이 있으니 "여기는 더 단순해질 수 있을 것 같은데", "이거 이미 X로 처리하고 있지 않나?", "이 문제를 우리가 쓰던 개념으로 다시 표현할 수 있나?" 같은 말을 던질 수 있다.

이건 저자가 이전에 쓴 주장과도 이어진다. 시스템 설계 문제는 일반 원칙보다 구체적인 맥락에 좌우된다는 것이다. 둘 다 쓸모 있지만, 굳이 고르라면 소프트웨어 시스템에 대한 일반론보다 그 코드베이스에 대한 친숙함을 택하겠다는 입장이다. Tao가 "여기서 X가 되나?", "Y와 Z가 있는데 왜 A인가?" 같은 구체적 질문을 던진 것처럼, 저자는 Jacobian 추측에 대해서는 그런 질문을 못 하지만 자기가 맡은 시스템에 대해서는 할 수 있다.

그래서 뭘 하라는 건가

도메인 지식이 없어도 LLM에 매달려 뭐라도 얻어낼 수 있다. 저자는 그것도 나쁘지 않다고 본다. 다만 지식이 있으면 같은 모델에서 훨씬 많은 가치를 뽑아낸다. 그리고 대부분의 사람은 잘 아는 영역과 모르는 영역이 섞여 있으니, 두 방식을 오가며 쓰게 된다.

저자의 결론은 모델이 강해져도 사람의 전문성은 계속 유효하다는 것이다. 많은 작업에서 병목은 모델이 아니라 사람 쪽이다. 정보는 이미 모델 안에 들어 있고, 어려운 건 "내가 원하는 해법이 정확히 어떤 것인지"를 전달해서 그걸 끌어내는 일이기 때문이다.

반론과 저자의 답변

이 글은 Hacker News에서 반응이 많았고, 저자가 덧붙인 내용도 있다.

• 전문성이 도움이 됐다는 경험담, 반대로 전문성 부족으로 손해 봤다는 경험담이 여럿 올라왔다.
• "그럴듯하지만, 결국 우리가 아직 쓸모 있다고 안심시켜주는 주장 아니냐"는 합리적 의심도 나왔다. 저자도 이 지적에 동의하면서, 다만 제대로 연구할 무렵이면 판이 또 바뀌어 있을 것 같다고 덧붙인다.
• OpenAI의 수학 프롬프트는 전문가 수준이 아니었으니 전문성이 필수는 아니라는 반론도 있었다. 이에 대해 저자는 OpenAI에도 모델이 내놓은 발견을 검증하고 걸러내는 수학자 팀이 있으며, 지금으로서는 그 단계를 건너뛸 수 없다고 답한다.

정리

LLM은 진입 장벽을 낮췄지만 상한선까지 평준화하지는 않았다. 같은 모델을 써도 그 분야를 아는 사람은 답변에서 쓸 만한 부분을 골라내고, 방향을 다시 잡고, 이상한 지점을 짚어낼 수 있다. 이건 프롬프트 문구를 외워서 되는 일이 아니다. 도구를 익히는 것과 별개로, 내가 맡은 코드베이스와 도메인을 제대로 이해해두는 일이 여전히 남는다는 게 이 글의 요지다.

• LLM
• 프롬프트
• AI 활용
• 개발자 역량
• 소프트웨어 엔지니어링