Google AI Computer Use란? AI가 채팅창 밖으로 나오는 이유

EN · English KO · 한국어

AI Notes

AI가 채팅창 밖으로 나오기 시작했다: 구글 AI가 보여준 새 흐름

구글 AI computer use를 통해, AI가 답변을 쓰는 도구에서 실제 작업 공간을 다루는 도구로 넘어가는 흐름을 본다.

언어 선택

Read the English version

KO ↔ EN

computer use는 쉽게 말하면 무엇인가

Google이 2026년 6월 AI 업데이트에서 Google AI 3.5 Flash에 computer use 기능을 넣었다고 밝혔다. 이름만 보면 조금 어렵다. 하지만 아주 단순하게 말하면, computer use는 AI가 "컴퓨터 화면을 보면서 직접 작업하는 능력"에 가깝다.

지금까지 우리가 익숙하게 쓴 AI는 대부분 채팅형이었다. 내가 질문을 입력하면 AI가 답을 한다. 글을 써달라고 하면 글을 써주고, 표를 만들어달라고 하면 채팅창 안에 표를 만들어준다. 여기까지는 AI가 똑똑한 상담자나 글쓰기 도우미에 가깝다.

그런데 computer use가 붙으면 상황이 조금 달라진다. AI가 답을 쓰는 데서 끝나는 것이 아니라, 실제 화면을 보고 다음 행동을 고를 수 있다. 브라우저를 열고, 검색 결과를 읽고, 버튼을 누르고, 입력칸에 값을 넣고, 문서나 스프레드시트에 내용을 정리하는 식이다. 사람 대신 마우스와 키보드를 완전히 맡긴다는 뜻은 아니지만, AI가 "작업 공간 안으로 들어온다"는 점이 핵심이다.

CHAT AI

채팅창 안에서 답한다

질문을 받으면 설명, 초안, 표를 만들어준다. 하지만 결과를 실제 서비스에 옮기는 일은 사람이 해야 한다.

COMPUTER USE

앱과 브라우저 안에서 움직인다

화면을 보고, 버튼을 누르고, 입력하고, 결과를 다시 확인한다. AI가 작업 공간 안으로 들어오는 방식이다.

예를 들면 이런 장면을 떠올리면 쉽다. 내가 "이 자료를 찾아서 표로 정리해줘"라고 말한다. 채팅형 AI는 보통 표 형식을 제안하거나, 내가 붙여넣은 자료 안에서만 정리한다. 반면 computer use형 AI는 웹페이지를 직접 열고, 필요한 내용을 읽고, 표에 넣고, 마지막에 결과가 제대로 들어갔는지 다시 확인하는 흐름까지 이어갈 수 있다.

물론 이것이 곧바로 완벽한 자동화를 뜻하지는 않는다. 로그인 문제도 있고, 사이트마다 화면 구조가 다르고, 버튼 하나를 잘못 누르면 원치 않는 결과가 생길 수도 있다. 그래도 방향은 분명하다. AI가 채팅창에 머무는 시대에서, 실제 앱과 웹서비스 안에서 움직이는 시대로 넘어가고 있다.

Google 업데이트에서 보이는 큰 방향

이번 Google 업데이트에는 computer use만 있었던 것이 아니다. 빠른 이미지 모델로 소개된 Nano Banana 2 Lite, Google AI Omni Flash public preview, NotebookLM의 고급 reasoning·코드 지원·차트/스프레드시트/슬라이드 기능도 함께 언급됐다.

각각을 따로 보면 그냥 기능 추가처럼 보인다. 이미지 모델은 이미지를 더 빨리 만들고, Google AI Omni Flash는 여러 종류의 입력과 출력을 더 자연스럽게 다루고, NotebookLM은 문서와 자료를 더 깊게 다룬다. 그런데 이 기능들을 한 줄로 이어 보면 메시지가 꽤 뚜렷하다.

AI가 이제 텍스트 답변만 잘해서는 부족하다는 것이다. 앞으로의 AI는 문서를 읽고, 이미지를 만들고, 영상을 다루고, 코드를 실행하고, 브라우저 안에서 작업을 이어가야 한다. 즉, "대답을 잘하는 AI"에서 "작업을 끝까지 도와주는 AI"로 이동하고 있다.

이 변화는 일반 사용자에게도 중요하다. 모델 이름이나 벤치마크 점수는 어렵게 느껴질 수 있지만, 실제 사용자는 결국 이런 질문을 하게 된다. "그래서 내 일을 얼마나 줄여주는데?" "내가 다시 손으로 해야 하는 단계가 얼마나 남는데?" computer use는 바로 그 질문과 연결되어 있다.

Chat AI stays in the conversation. Computer-use AI moves through apps and browser workflows.

채팅형 AI와 작업형 AI의 차이

채팅형 AI는 말 그대로 대화가 중심이다. 내가 묻고, AI가 답한다. 이 방식은 여전히 강력하다. 글의 초안을 만들거나, 개념을 설명하거나, 아이디어를 정리할 때는 충분히 유용하다.

하지만 실제 일은 채팅창 밖에서 벌어진다. 블로그 글을 예로 들면, 글만 써서는 끝이 아니다. 주제를 고르고, 공식 출처를 확인하고, 제목을 정하고, 이미지를 만들고, WordPress에 draft를 만들고, 태그를 달고, 미리보기에서 깨진 부분이 없는지 확인해야 한다. 채팅형 AI는 이 중 일부를 도와준다. 하지만 나머지 단계는 사람이 다시 손으로 옮겨야 한다.

작업형 AI는 이 간격을 줄이려고 한다. AI가 글을 쓰는 것에 그치지 않고, 실제 WordPress draft까지 만들어줄 수 있다면 사용 경험은 완전히 달라진다. 사용자는 "글 초안"을 받는 것이 아니라, "검토만 하면 되는 draft"를 받게 된다.

이 차이는 작아 보이지만, 실제로는 꽤 크다. 초안만 주는 AI는 아이디어 도우미다. draft까지 만들어주는 AI는 편집 보조자에 가깝다. 태그, 이미지, 출처, 미리보기까지 챙겨준다면 운영 보조자에 가까워진다.

채팅형 AI와 작업형 AI의 차이

채팅형 AI

• 초안과 설명을 만들어준다

• 사용자가 결과를 다시 옮겨야 한다

• 아이디어 도우미에 가깝다

작업형 AI

• 도구와 웹서비스 안에서 움직인다

• draft, 이미지, 태그까지 준비할 수 있다

• 운영 보조자에 가까워진다

그래서 앞으로의 AI 경쟁은 단순히 "누가 더 똑똑한 답을 쓰는가"에서 끝나지 않을 것 같다. 오히려 "누가 실제 일을 덜 불안하게 맡길 수 있는가"가 더 중요해질 수 있다.

블로그 글 하나로 생각해보면

지금 이 글을 만드는 과정도 좋은 예시다. 처음에는 AI 뉴스 source를 확인했다. 그다음 Google의 공식 업데이트를 보고, computer use라는 주제를 골랐다. 글 초안을 만들고, 너무 딱딱한 표현을 줄이고, 더 쉽게 풀어썼다. 여기에 featured image를 생성하고, WordPress draft에 넣고, 태그도 달았다.

사람이 혼자 하면 이 과정은 여러 도구를 왔다 갔다 해야 한다. 뉴스 사이트를 보고, 메모를 하고, 글을 쓰고, 이미지 생성 도구를 열고, WordPress에 접속하고, draft를 만들고, 다시 확인해야 한다. 중간에 복사 붙여넣기도 많고, 실수할 지점도 많다.

작업형 AI는 이런 흐름을 하나의 작업 단위로 묶으려고 한다. "AI 뉴스 하나 골라서 블로그 draft로 만들어줘"라고 했을 때, 주제 선정부터 draft 생성까지 이어지는 것이다. 물론 마지막 publish는 사람이 눌러야 한다. 하지만 draft 상태까지 준비되는 것만으로도 작업 부담은 크게 줄어든다.

Safe AI workflow: source check, draft, visual, CMS, readback, and human approval.

블로그 draft까지 가는 작업 흐름

1

Source 공식 출처 확인

2

Draft 글 초안 작성

3

Visual 이미지 생성

4

CMS WordPress draft

5

Readback 실제 결과 확인

6

Approval 사람이 공개 승인

여기서 중요한 점은 AI가 모든 것을 대신한다는 느낌보다, 사람이 확인해야 할 지점을 남겨둔다는 점이다. 초안 작성, 이미지, 태그, draft 생성은 AI가 빠르게 처리한다. 대신 최종 공개, 계정 변경, 결제, 삭제 같은 위험한 행동은 사람이 확인한다. 이 정도가 지금 단계에서 가장 현실적인 사용법이다.

문제는 실행보다 검증이다

computer use형 AI에서 사람들이 가장 먼저 기대하는 것은 "AI가 직접 해준다"는 점이다. 하지만 실제로 써보면 더 중요한 것은 "AI가 한 일을 다시 확인할 수 있느냐"다.

예를 들어 AI가 "글을 WordPress draft로 올렸습니다"라고 말한다고 해보자. 이 말만으로는 부족하다. 실제 draft가 있는지, 제목이 맞는지, 본문이 잘 들어갔는지, 이미지가 깨지지 않았는지, 태그가 저장됐는지, 상태가 publish가 아니라 draft인지 확인해야 한다.

자동화에서 가장 무서운 것은 못 하는 것이 아니다. 못 하면 그냥 다시 하면 된다. 더 위험한 것은 했다고 착각하는 것이다. AI가 작업을 끝냈다고 말했는데 실제로는 일부만 됐거나, 엉뚱한 곳에 들어갔거나, 공개되면 안 되는 것이 공개되는 상황이 더 문제다.

핵심 문장

자동화에서 무서운 것은 못 하는 것보다 했다고 착각하는 것이다.

그래서 computer use형 AI에는 approval, readback, rollback, log가 꼭 필요하다.

그래서 좋은 AI agent 제품에는 몇 가지가 꼭 필요하다. 첫째, 위험한 행동 전에 사용자의 승인을 받아야 한다. 둘째, 작업 후에는 실제 결과를 다시 읽어와야 한다. 셋째, 문제가 생겼을 때 되돌릴 수 있어야 한다. 넷째, 어떤 작업을 했는지 기록이 남아야 한다.

이런 기능들은 부가 기능처럼 보이지만, 실제로는 핵심이다. AI agent의 품질은 답변이 얼마나 멋진지가 아니라, 작업 후 readback이 얼마나 믿을 만한지에서 갈릴 수 있다.

어디까지 맡기고 어디서 멈춰야 할까

나는 이런 흐름이 꽤 유용하다고 본다. 특히 반복 작업에는 잘 맞는다. 자료 정리, 초안 작성, 이미지 생성, 태그 정리, CMS draft 생성처럼 손이 많이 가지만 판단 위험이 크지 않은 작업은 AI에게 맡길 수 있다.

반대로 조심해야 할 작업도 분명하다. 공개 발행, 결제, 계정 설정 변경, 데이터 삭제, 외부 전송처럼 되돌리기 어려운 작업은 사람이 마지막에 확인하는 편이 좋다. AI가 화면을 볼 수 있다는 말은 편리하다는 뜻이지만, 동시에 실수했을 때 영향이 커질 수 있다는 뜻이기도 하다.

그래서 당분간 가장 좋은 형태는 완전 자동화가 아니라 반자동 workflow에 가깝다. AI가 초안과 준비 작업을 최대한 해놓고, 사람은 마지막 판단을 한다. 말하자면 "AI가 일을 밀어놓고, 사람은 결재선을 잡는 구조"다.

이 방식이 현실적인 이유는 간단하다. 사람은 반복 작업에 시간을 덜 쓰고, 중요한 판단에 집중할 수 있다. AI는 빠르게 자료를 모으고 형식을 맞추지만, 최종 책임이 필요한 지점에서는 멈춘다.

앞으로 확인할 부분

• Google AI 3.5 Flash computer use가 실제 브라우저 작업에서 얼마나 안정적인지

• 로그인된 서비스와 권한이 필요한 작업을 어떻게 안전하게 처리하는지

• 실수했을 때 되돌리기와 기록 확인이 얼마나 쉬운지

• Google AI Omni Flash가 영상·음성·이미지 workflow를 얼마나 자연스럽게 묶는지

• NotebookLM이 문서 정리 도구를 넘어 실제 작업 공간으로 확장될 수 있을지

• Google이 approval, readback, rollback을 어떤 UX로 설계할지

메모

AI는 이제 더 똑똑한 답변을 쓰는 방향만으로 가고 있지 않다. 화면을 보고, 파일을 만들고, 웹서비스 안에서 움직이는 쪽으로 가고 있다. 그래서 다음 경쟁력은 단순한 자동화가 아니라 안전한 자동화다.

사람 입장에서는 이 변화가 꽤 크다. AI가 글을 잘 쓰는 것도 좋지만, 실제로 시간을 줄여주는 지점은 글을 쓰고 난 뒤의 잡무에 있다. source 확인, 이미지, 태그, draft 생성, readback 같은 작은 단계들이 모이면 하루 작업량이 달라진다.

그래서 computer use는 단순한 기능 추가라기보다, AI 제품의 역할이 바뀌고 있다는 신호로 보인다. AI는 이제 조언자에서 작업 보조자로 넘어가고 있다. 다만 좋은 작업 보조자는 마음대로 움직이는 도구가 아니라, 멈출 때를 알고 확인할 줄 아는 도구여야 한다.

Summary visual: chat AI becomes a safe task assistant through readback and human approval.

Sources

• Google Blog — The latest AI news we announced in June 2026: https://blog.google/innovation-and-ai/technology/ai/google-ai-updates-june-2026/

다음에 같이 읽기

• Google AI Computer Use explained: AI leaving the chat window

• Google AI Managed Agents explained: background agents and MCP tool connections

• AI 도구 비교