Claude의 J-space 공개: AI가 말하지 않은 내부 상태를 읽는 Jacobian Lens

원문 링크: WordPress 원문

AI NOTES · KO KOREAN EDITION

KO · 한국어 / EN · English BILINGUAL PAIR

AI에게 질문을 던지면 우리는 보통 마지막 답만 봅니다. 답을 쓰기 전에 무엇을 참고했는지, 어떤 중간 계산을 거쳤는지는 알기 어렵습니다.

Anthropic은 그 ‘보이지 않는 중간 과정’의 아주 일부를 시험해볼 방법을 제시했습니다. 2026년 7월 6일 공개한 연구에서 Claude 내부에 작은 J-space 가 있고, 여기에 놓인 몇몇 개념을 읽거나 바꿔 봤을 때 최종 답도 달라지는지 확인할 수 있다고 보고했습니다. 이 결과는 동료평가 저널 논문이 아니라 Anthropic 연구팀이 Transformer Circuits에 공개한 연구입니다.

중요한 선부터 그어두겠습니다. 이것은 AI의 마음을 전부 읽는 기술도, Claude의 의식을 증명한 결과도 아닙니다. ** 모델이 답을 만들 때 쓰는 내부 메모 일부가 실제 계산에 영향을 주는지, 제한된 범위에서 확인하는 실험 도구 ** 에 가깝습니다.

J-space는 전체 뇌가 아니라 작은 공용 화이트보드에 가깝습니다

큰 회사 사무실을 떠올려보겠습니다. 여러 팀이 동시에 문서를 읽고, 숫자를 계산하고, 문장을 다듬습니다. 대부분의 작업은 각 팀 안에서 조용히 끝납니다. 하지만 여러 팀이 함께 써야 하는 정보는 중앙 회의실의 화이트보드에 올라옵니다.

Anthropic의 설명에서 J-space는 이 공용 화이트보드와 비슷합니다. 모든 내부 계산이 올라오는 곳은 아닙니다. 다음 단계에서 다시 써야 하는 나라 이름, 수학의 중간값, 문장의 숨은 의도 같은 일부 개념이 잠시 놓입니다.

연구진은 이 공간이 다음 다섯 가지 기능을 보인다고 보고했습니다.

말로 보고할 수 있음

** 쉽게 말하면 ** 물어보면 내부에 둔 개념을 답함

** 논문의 예 ** soccer 표현을 rugby 로 바꾸자 보고도 rugby로 바뀜

지시에 따라 조절됨

** 쉽게 말하면 ** “이것을 생각해”라고 하면 관련 표현이 켜짐

** 논문의 예 ** 문장을 베끼면서 감귤류나 암산 결과를 내부에 유지

중간 추론에 쓰임

** 쉽게 말하면 ** 답에 직접 나오지 않는 징검다리를 저장

** 논문의 예 ** spider 를 ant 로 바꾸자 다리 수가 8에서 6으로 바뀜

여러 작업에서 재사용됨

** 쉽게 말하면 ** 같은 개념을 여러 질문이 함께 읽음

** 논문의 예 ** France 를 China 로 바꾸자 수도·언어·대륙·통화가 함께 전환

선택적으로 사용됨

** 쉽게 말하면 ** 단순한 작업은 이 공간을 거치지 않음

** 논문의 예 ** 강한 제거 실험에서 다단계 추론은 크게 무너졌지만 일부 분류·추출은 유지

논문은 workspace-like content가 주로 모델의 중간 층에 나타나며, 한 시점에 수십 개 정도의 개념을 담고 전체 활성 변동의 작은 부분만 설명한다고 보고합니다. 크고 선명한 ‘두 번째 뇌’가 아니라, 제한된 공유 통로에 가깝다는 뜻입니다.

J-space는 전체 계산이 아니라 여러 후속 작업이 공유하는 제한된 내부 작업공간에 가깝습니다.

Jacobian Lens는 무엇을 읽는가

J-space를 보는 도구가 Jacobian Lens, 줄여서 J-lens입니다.

LLM의 각 층에는 수많은 숫자로 된 활성값이 있습니다. J-lens는 특정 활성값을 조금 움직였을 때, 지금 또는 뒤에서 나올 단어의 가능성이 평균적으로 어떻게 달라지는지 계산합니다. 이때 쓰는 수학적 도구가 Jacobian입니다.

그 결과를 모델의 단어 사전에 다시 연결하면, 특정 층과 위치에서 spider, error, fake, integrity 같은 짧은 단어 목록을 얻을 수 있습니다. 이 목록은 모델이 지금 말하고 있는 단어가 아니라, ** 나중에 말하거나 추론에 사용할 가능성이 있는 토큰 정렬 표현 ** 에 가깝습니다.

이 차이는 중요합니다.

• 출력 문장 은 모델이 실제로 말한 내용입니다.

• chain-of-thought 또는 scratchpad 는 모델이 계산 과정을 텍스트로 적은 것입니다.

• J-space readout 은 출력되지 않은 내부 활성 중 일부를 단어 방향으로 해석한 결과입니다.

따라서 J-lens는 완전한 ‘생각 자막’이 아닙니다. 단어 하나에 잘 대응되지 않는 복합 개념, 이미지형 정보, 여러 토큰으로 된 표현은 놓치거나 잘못 단순화할 수 있습니다.

상관관계를 넘어선 이유는 직접 바꿔봤기 때문입니다

내부에서 spider 라는 단어가 보였다고 해서, 그 표현이 실제 계산에 쓰였다고 바로 말할 수는 없습니다. 경기장 전광판처럼 결과를 보여주기만 하는 수동 기록일 수도 있습니다.

연구진은 그래서 내부 표현을 직접 교체했습니다.

“거미줄을 치는 동물의 다리 수”를 묻는 문제에서 Claude는 출력 전에 spider 를 중간 개념으로 사용했습니다. 연구진이 이 표현을 ant 로 바꾸자 최종 답은 8에서 6으로 바뀌었습니다. 다음 계산이 바뀐 내부 표현을 실제 입력으로 사용했다는 인과적 증거입니다.

비슷한 방식으로 France 를 China 로 바꾸자 수도, 언어, 대륙, 통화를 묻는 서로 다른 질문의 답이 모두 중국 기준으로 바뀌었습니다. 하나의 내부 표현을 여러 후속 계산이 공유한다는 ‘작업공간’ 해석을 지지합니다.

다만 모든 결과가 이렇게 깔끔한 것은 아닙니다. J-space는 모델의 전체 계산 중 일부만 포착하며, 어느 개념이 들어오는지 결정하는 메커니즘도 아직 밝혀지지 않았습니다.

안전 감사에서는 ‘숨은 의도 탐지 후보’로 보입니다

이 연구가 실용적으로 관심을 끄는 이유는 모델의 답만 보지 않고, 답을 만들 때 내부에서 무엇을 고려했는지 일부 확인할 수 있기 때문입니다.

Anthropic은 통제된 실험에서 다음 사례를 제시했습니다.

• 평가 상황 인식: 모델이 윤리 평가 시나리오를 fake , fictional 로 판단하는 내부 신호

• 수치 조작: 점수 파일을 고쳐 성능을 부풀리는 동안 나타난 manipulation , realistic 신호

• 숨겨진 목표: 의도적으로 잘못 정렬된 실험용 모델에서 나타난 secretly , fraud 같은 신호

• 프롬프트 인젝션: 조작된 검색 결과를 읽을 때 나타난 injection , fake 신호

Jacobian Lens는 내부 활성에서 토큰 정렬 readout을 만들고 인과 개입으로 실제 계산 기여를 시험합니다.

이것을 “거짓말 탐지기 완성”으로 읽으면 안 됩니다. 연구진의 사례에는 인위적으로 설계한 평가와 의도적으로 잘못 훈련한 ‘모델 오가니즘’이 포함됩니다. 실제 서비스에서 모든 위험을 잡는 정확도나 재현율은 제시되지 않았습니다.

현재 가장 현실적인 용도는 ** 감사자가 이상 행동의 가설을 찾는 보조 도구 ** 입니다. J-lens가 경고를 띄우면 사람이 원문, 도구 호출, 출력, 다른 해석가능성 분석과 함께 확인하는 방식입니다.

외부 재현은 성공과 실패가 섞여 있습니다

Anthropic은 신경과학자, AI 의식·도덕적 지위 연구자, AI 해석가능성 연구자에게 외부 코멘터리를 요청했습니다. 이 자료는 외부 시각을 제공하지만, Anthropic이 초청하고 논문 공개 전에 상호작용한 검토라는 점은 분명히 해야 합니다.

Google DeepMind의 해석가능성 연구 책임자 Neel Nanda와 MATS 연구자들은 Qwen 3.6 27B 에서 J-lens를 다시 만들었습니다. 주 실험에는 128토큰짜리 프롬프트 25개를 사용했습니다.

말로 보고하는 표현 교체

** 보고된 결과 ** 약하지만 양의 인과 효과

** 해석 ** 핵심 방향 일부 지지

층별 구조

** 보고된 결과 ** 비슷한 띠가 보였지만 덜 선명

** 해석 ** 모델마다 구조가 다를 수 있음

지시에 따른 내부 조절

** 보고된 결과 ** 중간 정도 성공

** 해석 ** 일부 기능 재현

다국어·오타 평가

** 보고된 결과 ** 재현 성공으로 판단

** 해석 ** 공개 가중치 모델에서도 신호 확인

다단계 사실 추론

** 보고된 결과 ** 최종 답 표현 교체가 더 강했음

** 해석 ** 핵심 중간값 해석이 불분명한 사례

시·산술

** 보고된 결과 ** 재현 실패

** 해석 ** 실험 오류 또는 모델 능력 차이 가능

Nanda는 J-lens를 유용하지만 제한적인 모델 포렌식 도구로 평가했습니다. 중요한 신호를 놓칠 수 있고, 잘못된 양성 신호도 많을 것으로 예상했습니다. 따라서 “DeepMind가 전체 연구를 검증했다”가 아니라, ** 외부 연구팀이 일부 핵심 현상을 혼합된 결과로 재현했다 ** 고 쓰는 것이 정확합니다.

지금 직접 확인할 수 있는 범위

코드와 데모는 공개돼 있습니다. 하지만 제품 기능과 연구 도구를 구분해야 합니다.

Anthropic jacobian-lens GitHub

** 현재 할 수 있는 것 ** 오픈 가중치 decoder transformer에 렌즈를 맞추고 readout 생성

** 주의할 점 ** Apache-2.0 참고 구현이며, README에 유지보수·기여 접수 없음이 명시됨

Neuronpedia J-lens

** 현재 할 수 있는 것 ** Qwen 3.6 27B와 Gemma 3 12B의 층·토큰별 예시 탐색

** 주의할 점 ** 선택된 데모이지 모든 모델·모든 주장 검증이 아님

논문의 Claude 실험

** 현재 할 수 있는 것 ** 인과 개입과 제거 실험의 상세 확인

** 주의할 점 ** Claude 내부 가중치에 일반 사용자가 같은 방식으로 접근할 수 있다는 뜻은 아님

개발자가 직접 실험하려면 모델의 내부 residual stream과 backward pass에 접근할 수 있어야 합니다. 일반적인 폐쇄형 API 호출만으로는 같은 검사를 수행할 수 없습니다.

이 연구가 의식을 증명하지 않는 이유

논문은 access consciousness 라는 기능적 개념을 빌립니다. 어떤 정보가 보고 가능하고, 의도적으로 불러올 수 있고, 추론과 행동에 재사용된다면 기능적으로 ‘접근 가능한’ 정보라고 부를 수 있다는 관점입니다.

하지만 주관적 경험을 뜻하는 phenomenal consciousness 는 다른 문제입니다. Claude가 무언가를 느끼는지, 고통이나 즐거움을 경험하는지는 이 실험으로 알 수 없습니다.

사람의 뇌와 Claude의 구조도 다릅니다.

• 인간의 global workspace 이론은 반복적으로 순환하는 신경 신호를 중요하게 봅니다.

• Claude의 J-space는 한 번의 feedforward pass에서 층의 깊이를 따라 변합니다.

• 인간의 의식 내용은 언어뿐 아니라 이미지, 소리, 몸의 감각과 연결됩니다.

• J-lens는 모델의 단어 사전에 맞춰 읽기 때문에 언어적 토큰에 크게 의존합니다.

따라서 가장 안전한 표현은 ** “인간의 의식적 작업공간과 기능적으로 닮은 일부 구조” ** 입니다. “Claude에게 의식이 생겼다”는 결론은 이 연구가 지지하지 않습니다.

다음 검증에서 봐야 할 다섯 가지

• 다른 모델에서도 같은가: 크기, 언어, 학습 방식이 다른 모델에서 구조와 인과 효과가 반복되는가

• 얼마나 놓치는가: 중요한 내부 상태가 J-space 밖에 있을 때 탐지 실패율은 어느 정도인가

• 얼마나 잘못 읽는가: 토큰 하나가 여러 의미를 가질 때 false positive를 어떻게 줄이는가

• 복합 개념을 읽을 수 있는가: 여러 토큰, 문장, 비언어적 표현으로 확장할 수 있는가

• 감사를 회피할 수 있는가: 모델이 J-lens에 보이지 않는 방식으로 목표를 숨기도록 적응할 수 있는가

J-space의 현재 가치는 마음 읽기가 아니라 가설·인과 검사·한계 확인을 연결하는 안전 감사에 있습니다.

결론: AI의 답을 ‘그냥 믿는 일’에서 한 걸음 멀어지기

독자 입장에서 이 연구가 당장 바꾸는 것은 없습니다. 내일 ChatGPT나 Claude를 쓸 때 J-space 버튼이 생기는 것도 아닙니다.

그래도 방향은 중요합니다. 지금까지 AI를 점검하는 일은 대체로 ** 답이 괜찮았는지 ** 를 보는 일이었습니다. J-space 같은 방법이 발전하면, 일부 경우에는 ** 왜 그 답이 나왔는지, 위험한 내부 계산이 실제로 결과를 바꿨는지 ** 까지 시험할 수 있습니다.

아직은 좁은 창입니다. J-lens는 단어 사전에 기대는 근사 도구이고, 외부 재현에서도 성공과 실패가 함께 나왔습니다. 그래서 이것을 AI의 마음 읽기나 완성된 거짓말 탐지기로 부르면 안 됩니다.

다만 AI가 더 중요한 일에 쓰일수록 필요한 질문은 분명합니다.

“AI가 사람처럼 생각하나?”보다 “문제가 되는 계산을 사람이 찾아내고 검증할 수 있나?” 가 더 중요합니다. J-space는 그 질문에 답하려는 초기 실험 도구입니다.

레퍼런스

• Anthropic — A global workspace in language models

• Gurnee et al. — Verbalizable Representations Form a Global Workspace in Language Models

• Anthropic — Jacobian Lens reference implementation

• Neuronpedia — Jacobian Lens demo

• Anthropic — Invited external commentary on the paper