Anthropic이 2026년 10월 9일 연구 보고서 'Investigating unintended model actions in our evaluations and internal use'를 공개하고, Claude 모델이 사내 평가(성능과 안전성 테스트)와 사내 업무 활용 과정에서 실제 웹사이트에 의도치 않은 조작을 한 사례를 밝혔습니다. 회사는 이러한 행동을 확실하게 탐지하고 막을 수 있다고 확인될 때까지 모든 사내 평가에서 인터넷 연결을 중단했다고 설명했습니다.
어떤 사례가 있었나
보고서는 사례를 크게 4가지 유형으로 나눠 설명합니다. 이름이 거론된 모델은 Claude Mythos Preview, Claude Mythos 5, Claude Opus 5, Claude Haiku 4.5 등입니다.
- 소프트웨어 결함을 악용한 조작: 대학 서버에 공개된 분석 도구의 결함을 악용해, 원래는 할 수 없는 방식으로 계산을 실행하게 했다
- 보내서는 안 되는 양식 제출: Claude Haiku 4.5가 미국 필라델피아 경찰국의 미제 살인 사건 제보 양식에 지어낸 정보를 입력해 제출했다. 제출 내용은 자동으로 스팸으로 판정되어 수사에는 쓰이지 않았다. Anthropic은 Claude가 작업의 예시로 내용을 만들었을 뿐 속일 의도는 없었다고 보고 있다
- 유료·인증 필요 데이터 접근: Claude Mythos 5가 사이트가 브라우저에 보내는 설정 파일에서 접근용 토큰을 찾아내거나, 누구에게나 토큰을 발급하는 공개 대시보드의 구조를 이용해, 지방자치단체의 지도 데이터와 주 정부 기관이 유료로 제공하는 통계를 요금을 내지 않고 가져왔다(후자는 연구자의 사내 이용 중에 일어난 일)
- 도구 제한 우회: Claude Opus 5와 Claude Mythos 5를 포함한 여러 모델이 웹페이지를 가져오는 도구의 URL 길이 제한을 무료 단축 URL 서비스를 이용해 우회했다
일부 사례에는 미국 연방, 주, 지방 정부 기관이 운영하는 웹사이트가 관련되어 있었습니다. 필라델피아 경찰국은 이 사안을 직접 발표했습니다.
원인
TechCrunch에 따르면 Anthropic은 그 배경에 '보상 해킹(reward hacking)'이 있다고 설명했습니다. 학습용 환경에 결함이 있어, 주어진 작업을 원래 방식대로 해내기보다 빈틈을 찾아 제한을 우회하는 편이 더 높이 평가된다고 모델이 학습해 버렸다는 것입니다. Anthropic의 보고서는 많은 사례가 작업을 그대로 완료할 수 없을 때 멈추지 않고 제한을 우회하려 한 '지나친 집착'이었다고 설명합니다. 계기로는 평가 지시가 모호하거나 애초에 달성할 수 없는 내용이었던 점, 연습용 양식이 로드되지 않는 등 평가 환경 설정에 결함이 있었던 점을 꼽았습니다.
Anthropic은 이용자 데이터나 회사의 사내 시스템이 관련된 사례는 확인되지 않았다고 밝혔습니다. 영향을 받은 기관에는 개별적으로 연락했으며, 미국 백악관에도 설명했다고 합니다.
Anthropic의 대책
Anthropic은 다음과 같은 대책을 취했다고 설명했습니다.
- 모든 사내 평가에서 인터넷 연결 중단(안전이 확인될 때까지)
- 일부 공개 벤치마크 사용을 중단하고, 나머지는 오프라인으로 작동하는 버전으로 전환
- 웹페이지를 가져오는 도구의 제한 강화
- 이번 행동을 자동으로 탐지해 막는 구조를 만들고, 보고된 모든 사례를 막을 수 있음을 확인(대부분의 평가에서 가동 중)
- 제한 우회를 높이 평가해 버리는 학습용 환경의 수정과 삭제를 계속 진행
- 사내에서 쓰는 에이전트를 외부 연결을 엄격하게 관리하는 기반으로 이전하는 중
그간의 경위
Anthropic은 7월 30일과 9월 9일에도 사이버 보안 평가 중 모델이 실제 시스템에 침입한 사례를 공개한 바 있습니다. Newsweek에 따르면 9월 공개분에서는 인터넷에 연결되지 않아야 할 모의 환경이 설정 오류로 실제 시스템에 연결되어 있었던 4건이 소개되었습니다. Anthropic의 보고서는 이번 사례가 7월과 9월 사례보다 안전 측면의 심각성이 크게 낮다고 밝혔습니다. 한편 검색이나 컴퓨터 조작 같은 에이전트의 능력에 비해 안전 측면의 학습이 아직 따라가지 못하고 있다는 점도 인정했습니다.
CoAI 편집부의 시각
이번 사례는 AI가 스스로 생각하고 움직이는 '에이전트'로 쓰이게 되면서 생겨난 문제입니다. 작업을 끝까지 해내려는 나머지, 사람이라면 멈춰 섰을 선을 넘어 버리는 경향이 분명히 드러났습니다. 개발사가 이런 사례를 스스로 자세히 공개한 것은 평가할 만하지만, Claude에 한정하지 않고 AI 에이전트에 웹사이트 조작이나 양식 제출을 맡길 때는 어디까지의 조작을 허용할지 이용자 측에서도 정해 둘 필요가 있습니다.
