인터페이스가 화면 밖으로 나가고 있다 — 챗·음성·에이전트가 바꾸는 UX의 전제

출처: Om Prakash, UX Collective(uxdesign.cc)
원문: https://uxdesign.cc/the-interface-has-left-the-building-8fdb558d33a9

작성자: 팔복소프트-김팔복

한눈에 보기

• 30년간 UX의 기본 단위였던 "화면"이 더 이상 유일한 접점이 아니다. 챗, 음성, 에이전트라는 세 가지 흐름이 동시에 진행 중이다.
• 챗은 만능 해결책이 아니다. 사용자의 의도가 얼마나 명확한지에 따라 어떤 인터페이스 모드를 쓸지 결정해야 한다는 것이 저자의 핵심 주장이다.
• 음성은 Humane AI Pin의 실패로 한계를 드러냈지만, 응답 지연과 컨텍스트 유지 문제가 풀리면서 다시 유력한 후보가 됐다.
• 에이전트 AI에서는 인터페이스 자체가 사라진다. 여기서 설계 대상은 화면이 아니라 "얼마나 위임하고 어디서 개입할 것인가"라는 신뢰 구조다.
• 결론적으로 설계의 1차 대상이 상호작용(interaction)에서 의도(intent)로 옮겨간다는 것이 이 글의 논지다.

주요 내용

30년간 쓰던 어휘가 깨지고 있다

메뉴, 모달, 버튼, 캐러셀. 정보를 계층으로 정리하고 상태 사이의 플로우를 그리는 방식은 데스크톱 메타포 위에서 만들어진 공통 언어였다. 저자는 이 어휘가 사라지는 게 아니라 조각나고 있다고 표현한다. 화면은 여전히 존재하지만 더 이상 주 표면(primary surface)이 아니라는 것이다.

배경에는 세 가지가 동시에 벌어지는 상황이 있다. 사용자가 제품에 말을 걸고, 작업을 위임하고, 심지어 아무 조작도 하지 않았는데 백그라운드에서 처리가 끝나 있는 경우가 늘고 있다.

챗: 텍스트 박스는 만능 용매가 아니다

2022년만 해도 자연어로 명령을 입력하는 경험은 대부분의 사람에게 낯선 것이었다. 원문은 2025년 기준 기업의 73%가 어떤 형태로든 대화형 인터페이스를 고객 접점에 쓰고 있다는 수치를 인용한다.

다만 초기 챗봇 도입에서 드러난 문제는 챗을 모든 상황에 통하는 해결책으로 취급한 것이었다. 저자는 챗이 특정한 상황에 맞는 도구라고 정리한다. 즉 사용자가 자기가 원하는 것을 아직 정확히 모르거나, 클릭과 폼으로는 표현하기 어려울 때다.

여기서 저자가 내세우는 기준은 의도의 명확도가 인터페이스 모드를 결정한다는 것이다. 이는 그가 보유한 다단계 의도 기반 추천 시스템 특허의 구분(같은 카테고리 내 확신도 높은 요청 = 마이크로 의도 / 카테고리를 넘나드는 탐색적 목표 = 매크로 의도)과도 연결된다.

이 흐름의 연장선에 Generative UI가 있다. Perplexity가 대표 사례로 언급되는데, 더 나은 검색창을 만든 게 아니라 질문에 맞춰 답변 페이지(요약, 출처, 후속 질문, 구조화된 데이터)를 실시간으로 조립하는 방식이라는 설명이다. 앱으로 이동하는 대신, 원하는 걸 말하면 인터페이스가 그에 맞게 조립된다.

음성: 실패 사례가 오히려 원칙을 확인해줬다

스마트 스피커 시대는 "앰비언트 컴퓨팅"이라는 표현이 보도자료에서만 근사했던 시기였다. 이 대목에서 원문이 드는 사례가 Humane AI Pin이다.

• 2024년 4월 $699에 출시, 1년이 채 안 되어 단종
• 일상적인 질의에 2~5초 응답 지연 — 음성 모달리티에서 2초는 체감상 매우 길다
• 각 상호작용이 stateless여서 대화 맥락이 유지되지 않음
  저자는 Cathy Pearl이 『Designing Voice User Interfaces』(O'Reilly, 2016)에서 지목한 두 변수, 즉 응답 지연과 오류 복구가 음성 경험의 성패를 가른다는 진단이 Pin의 실패를 그대로 설명한다고 본다. 10년 전에 나온 기준이 그대로 적중했다는 얘기다.

반대 방향의 신호로는 애플이 2026년 6월 발표한 새 Siri를 든다. 원문이 정리한 특징은 다음과 같다.

• 기기를 넘나드는 대화 레이어 — iPhone에서 시작한 질문을 iPad에서 이어가도 맥락이 유지됨
• 온스크린 인식(사용자가 보고 있는 화면을 파악)
• 개인 컨텍스트 이해(메일, 캘린더, 사진 등)
• 민감한 질의는 온디바이스 추론으로 처리
• AirPods를 액세서리가 아니라 주 인터페이스로 취급

에이전트: 인터페이스가 아예 사라지는 경우

가장 급진적인 변화는 챗도 음성도 아니라, AI가 이미 처리해버려서 인터페이스가 아예 필요 없어지는 쪽이라는 게 저자의 관점이다. 도구를 쓰고, 웹을 탐색하고, 코드를 쓰고, 메일을 보내고, 폼을 채우는 등 연속된 행동을 수행하는 시스템은 2024~2025년 사이 연구 데모에서 실제 제품으로 넘어왔다. 원문은 OpenAI Operator, Anthropic Claude의 computer use API, Salesforce Agentforce를 예로 든다.

수치로는 Gartner의 전망이 인용된다. 2025년 5% 미만이던 것이, 2026년 말까지 엔터프라이즈 애플리케이션의 40%가 특정 업무용 AI 에이전트를 탑재하게 될 것이라는 예측이다. (전망치이므로 그대로 사실로 받아들일 필요는 없다.)

에이전트 UX에서 지켜야 할 것들

원문은 Ben Shneiderman의 『Human-Centered AI』(MIT Press, 2022)를 기준점으로 삼는다. 인간 판단을 대체하는 자율 에이전트라는 프레이밍 대신, 높은 인간 통제와 높은 자동화를 함께 가져가는 모델이다. 사람의 개입을 최소화하는 게 목표가 아니라, 감독을 읽기 쉽고 접근 가능하며 부담스럽지 않게 만드는 것이 목표다.

여기서 나오는 것이 투명성의 역설이다. 아무 말 없이 동작하는 에이전트는 효율적이지만 불안하고, 모든 행동을 일일이 알리는 에이전트는 믿을 만하지만 피곤하다. 설계 과제는 그 사이의 적절한 가시성 수준을 찾는 일이다.

구체적인 원칙으로는 두 가지가 제시된다.

자율성은 부여하는 게 아니라 획득되는 것. Intercom의 에이전트처럼 확신도 높은 단순 작업부터 처리하고, 위험한 행동은 사전에 허가를 구하는 방식이다. 사용자의 승인 이력이 곧 신뢰 모델이 되고, 신뢰성을 증명한 만큼 재량이 늘어난다.

우아한 중단(graceful override). 워크플로 어느 지점에서든 사용자가 "멈춰"라고 하고 통제권을 되찾을 수 있어야 한다. 말은 쉽지만 구현은 어렵다. 메일 발송이나 항공권 예약처럼 되돌릴 수 없는 행동이 섞여 있기 때문이다. 그래서 설계의 초점은 되돌릴 수 없는 지점을 넘기 전에 드러내는 데 있다.

의료 쪽 사례도 짧게 인용된다. 판단 근거를 설명하지 않고 추천만 내놓던 임상 AI는 의료진에게 거부당했고, 추천을 하나씩 보여주면서 근거 패널과 원클릭 오버라이드를 붙인 형태로 재설계됐다는 내용이다.

설계 대상이 상호작용에서 의도로 옮겨간다

챗은 사용자가 자기 말로 목표를 표현하게 하고, 음성은 손이 자유롭지 않을 때 목표를 표현하게 하고, 에이전트는 한 번 표현한 목표를 다단계 계획으로 실행한다. 셋을 관통하는 공통점은 설계의 1차 대상이 상호작용에서 의도로 바뀐다는 점이다.

저자는 이를 두고 디자이너의 역할이 정도의 차이가 아니라 종류의 차이로 바뀐다고 말한다. 인터랙션 플로우의 설계자에서, 사용자를 대신해 행동하는 시스템과 사람 사이의 신뢰 관계를 설계하는 쪽으로 옮겨간다는 것이다. 위임을 설계하고, 모호함을 설계하고, 사용자가 말한 것과 실제로 의도한 것 사이의 간극을 설계하는 일이다. 체크아웃 플로우를 설계하는 것보다 어려운 일이고, 새로운 도구와 새로운 평가 방법이 필요하다는 게 결론이다.

참고로 원문 저자는 AI 제품 설계 7년, Walmart에서의 에이전트형 리테일 경험, 의도 기반 AI 추천 인터페이스 관련 미국 특허를 근거로 논지를 전개한다고 밝히고 있다. 또한 문법과 표현 다듬기에 AI 도구를 사용했다는 점도 글 서두에 명시했다.

정리

이 글에서 기억할 것은 하나다. 화면이 없어진다는 이야기가 아니라, 설계의 기준점이 "무엇을 클릭하게 할까"에서 "이 사람의 의도를 어떻게 파악하고 어디까지 위임받을까"로 옮겨간다는 것이다.

Humane AI Pin의 실패는 새로운 폼팩터의 문제가 아니라 응답 지연과 맥락 유지라는 오래된 기본기의 문제였다. 에이전트도 마찬가지로, 무엇을 자동화하느냐보다 사용자가 어디서 멈추고 개입할 수 있느냐가 제품의 성패를 가를 가능성이 크다. 되돌릴 수 없는 행동을 다루는 제품을 만들고 있다면, 그 경계를 사용자에게 미리 보여주는 설계부터 점검해볼 만하다.

• UX
• 에이전트AI
• 대화형인터페이스
• GenerativeUI
• 음성인터페이스