AI가 쓴 글은 어떻게 하면 가려낼 수 있을까요. 글의 특징으로 추정하는 AI 판별 도구는 바꿔 쓰기만으로 쉽게 빠져나갈 수 있다는 것이 연구로 밝혀졌습니다. 그래서 주목받는 것이 AI가 글을 만드는 단계에서 보이지 않는 표시를 넣어 두는 LLM 워터마크(LLM watermarking)입니다. Google이 2024년 Gemini에서 쓰기 시작한 데 이어 2026년에는 Anthropic과 OpenAI도 자사 AI의 글에 워터마크를 넣기 시작했고, 규제 측면에서도 요구되게 되었습니다. 이 글에서는 LLM 워터마크의 구조, 주요 방식, 한계, 각사의 대응을 논문과 공식 정보를 바탕으로 2026년 10월 9일 기준으로 정리합니다.
LLM 워터마크란
LLM 워터마크는 LLM(대규모 언어 모델)이 생성하는 글에 사람은 알아챌 수 없는 통계적 표시를 심는 기술입니다. 글에 기호나 보이지 않는 문자를 덧붙이는 것이 아니라, AI가 다음 단어를 고르는 방식을 아주 조금 치우치게 만들어 표시를 남깁니다.
LLM은 글을 만들 때 다음에 올 단어(정확히는 토큰) 후보에 확률을 매기고, 그중에서 하나를 고르는 과정을 반복합니다. LLM 워터마크는 이 선택 방식에 비밀 키에 기반한 규칙을 더합니다. 키를 아는 사람은 글을 보고 '규칙에 맞는 단어가 우연이라고 보기 어려울 만큼 많다'는 것을 통계적으로 확인할 수 있습니다.
AI 판별 도구나 C2PA와의 차이
AI의 글을 가려내는 방법에는 LLM 워터마크 외에도 다음과 같은 것이 있습니다.
- AI 판별 도구: 글의 특징으로 나중에 AI다움을 추정한다. 표시가 없어도 쓸 수 있지만 추정에 불과하다. 한 연구에서는 다른 AI로 바꿔 쓰기만 해도 판별 도구 중 하나(DetectGPT)의 검출률이 70.3%에서 4.6%로 떨어졌다
- C2PA(Content Credentials): 파일에 서명이 붙은 이력 정보를 첨부한다. 이미지나 문서 파일에는 적합하지만, 복사·붙여넣기 되는 일반적인 글에는 붙일 수 없다
Anthropic도 Claude의 출력에 대해 글에는 워터마크, 생성한 파일에는 C2PA로 구분해 쓰고 있습니다. C2PA에 대해서는 'C2PA란'에서 설명합니다.
주요 방식
LLM 워터마크에는 몇 가지 계통이 있습니다. 대표적인 것을 소개합니다.
그린 리스트 방식
2023년 메릴랜드 대학교 연구진이 발표한 대표적인 방식입니다(Kirchenbauer 외, ICML 2023).
- 직전 단어와 키로 어휘를 '그린 리스트'와 '레드 리스트'로 매번 새로 나눈다
- 그린 리스트의 단어가 아주 조금 더 잘 선택되도록 점수를 더해 준다
- 검출할 때는 그린 리스트 단어의 수를 세어, 우연으로는 설명할 수 없을 만큼 많은지 통계적으로 검정한다
논문에서는 200토큰의 글에서 약 98% 이상의 검출률을 보였습니다. 구조가 이해하기 쉽고, Hugging Face의 Transformers에도 구현되어 있습니다. 한편 단어 선택을 치우치게 만들기 때문에 글의 품질에 약간 영향을 줄 가능성이 있습니다.
분포를 바꾸지 않는 방식
글의 품질에 미치는 영향을 없애기 위해, AI가 원래 고를 확률 자체는 바꾸지 않고 워터마크를 넣는 방식도 연구되고 있습니다.
- Aaronson 방식: 2022년 OpenAI에서 연구하던 컴퓨터 과학자 Scott Aaronson이 소개한 방식. 키로 만든 난수로 단어 선택을 정하며, 수백 토큰이면 충분한 표시를 얻을 수 있다고 했다
- 강건한 방식: 스탠퍼드 대학교 연구진은 단어의 40~50%가 무작위로 바뀌어도 검출할 수 있는 방식을 제시했다(Kuditipudi 외, 2023년)
- 구별할 수 없는 워터마크: 키가 없으면 워터마크가 들어간 글과 원래 AI의 글을 구별하는 것이 계산상 어렵다는 것을 이론적으로 보인 연구도 있다(Christ 외, 2023년)
Google의 SynthID Text와 OpenAI의 textGrain도 이 '품질을 유지하는' 사고방식에 기반하고 있습니다.
그 밖의 방식
단어 단위가 아니라 문장의 의미 단위로 워터마크를 넣어 바꿔 쓰기에 강하게 만드는 방식(SemStamp 등), 이용자 ID 같은 정보를 심는 방식, 키를 공개해 누구나 검증할 수 있게 하는 방식 등도 제안되어 있습니다.
검출의 원리
LLM 워터마크의 검출에는 다음과 같은 특징이 있습니다.
- 키가 필요하다: 많은 방식에서는 워터마크를 넣을 때의 비밀 키가 없으면 검출할 수 없습니다. 그래서 검출할 수 있는 것은 기본적으로 워터마크를 넣은 회사나 키를 공유받은 사람입니다.
- 결과는 확률로 나타난다: 검출 결과는 '워터마크가 있을 가능성이 높다', '없다', '판정할 수 없다' 같은 확률적인 판단이 됩니다.
- 어느 정도의 길이가 필요하다: 짧은 글에서는 통계적인 판단을 할 수 없습니다. 연구에서는 200토큰 안팎의 글로 평가하는 경우가 많으며, OpenAI의 textGrain에서는 오판을 1%로 억제한 조건에서 심리학 등의 글의 경우 200토큰에서 약 80%, 400토큰에서 약 95%의 검출률이 보고되었습니다.
- 답이 정해진 글에는 넣기 어렵다: 프로그램 코드나 정형화된 문장, 사실을 답하는 글처럼 다음 단어가 거의 하나로 정해지는 경우에는 선택을 치우치게 할 여지가 적어 워터마크가 약해집니다.
약점과 공격
LLM 워터마크에는 연구로 알려진 약점이 있습니다.
- 바꿔 쓰기: 다른 AI로 바꿔 쓰면 워터마크는 크게 약해집니다. OpenAI는 단어의 25%를 동의어로 바꾸면 textGrain의 검출률이 17%까지 떨어진다고 공개했습니다.
- 번역: 일단 다른 언어로 생성하게 한 뒤 번역하면 워터마크가 사라진다는 것이 밝혀졌습니다.
- 이모지 공격: 단어마다 이모지를 끼워 넣도록 AI에 지시하고 나중에 이모지를 지워 워터마크를 무너뜨리는 수법도 알려져 있습니다.
- 위조(스푸핑): 워터마크의 규칙을 추정해 사람이 쓴 글에 워터마크를 위조하는 공격도 연구되고 있습니다. 한 연구에서는 API 질의로 워터마크 규칙을 추정해, 50달러 미만의 비용으로 위조와 제거 모두 80%를 넘는 성공률을 보였습니다.
- 오픈 모델: 누구나 실행할 수 있는 모델에서는 워터마크를 넣는 처리를 빼 버릴 수 있습니다.
각사의 대응 현황
Google에 이어 2026년에는 Anthropic과 OpenAI도 자사 AI의 글에 워터마크를 넣기 시작했습니다.
- OpenAI: 2024년에는 번역 등으로 회피되기 쉽다는 점과 영어를 모국어로 하지 않는 사람의 이용이 부당하게 의심받을 우려를 이유로, 텍스트 워터마크 도입에 신중한 자세를 보였습니다. 2026년 10월 5일 방침을 바꿔 독자적인 워터마크 'textGrain'을 발표했습니다. EU의 ChatGPT와 Codex에 도입하며, API에서는 전 세계에서 선택적으로 쓸 수 있습니다. 자세한 내용은 'textGrain이란'에서 설명합니다.
- Google: SynthID Text를 개발해 2024년 Gemini에서 쓰고 있다고 발표했습니다. 오픈소스로 공개되어 있습니다. 자세한 내용은 'SynthID Text란'에서 설명합니다.
- Anthropic: Claude가 생성하는 글에 워터마크를 넣고 있습니다. 2026년 8월 2일 이후 공개한 모델은 공개 시점부터 지원하며, 그 이전 모델에도 Anthropic 자체 서비스에서는 워터마크가 들어갑니다. 방식은 SynthID Text를 바탕으로 한 것이며, 지역별로 나눠 적용할 확실한 방법이 없어 전 세계 공통으로 적용하고 있습니다.
- Meta: 텍스트 워터마크 연구용 도구 'TextSeal'을 오픈소스로 공개했습니다.
OpenAI와 Anthropic의 검출기는 모두 심사를 통과한 연구자나 규제 당국 등으로 한정해 제공되며, 일반인이 자유롭게 쓸 수 있는 상태는 아닙니다.
규제의 움직임
LLM 워터마크가 확산된 큰 이유는 규제입니다.
- EU: AI법 제50조는 글을 포함한 콘텐츠를 생성하는 AI 제공자에게 출력을 기계가 읽을 수 있는 형태로 표시해 AI로 만들어졌음을 검출할 수 있게 하도록 요구합니다. 이 규정은 2026년 8월 2일부터 적용되고 있습니다. 다만 2026년 AI법 개정(디지털 옴니버스)에 따라, 같은 날 이전에 시장에 출시된 AI 시스템에 한해 기계 판별 가능한 표시 의무에 2026년 12월 2일까지 유예가 주어졌습니다. 구체적인 방법을 제시하는 행동 강령에는 OpenAI, Google, Anthropic, Meta, Microsoft, Mistral 등이 서명했습니다.
- 중국: 2025년 9월 1일부터 AI로 생성한 콘텐츠에 표시를 의무화하는 규칙이 시행되고 있습니다. 글에는 눈에 보이는 표시를 붙이고, 파일 메타데이터에는 보이지 않는 표시를 넣도록 의무화했습니다. 디지털 워터마크 추가는 권장에 그칩니다.
- 일본: 일본 총무성과 경제산업성의 'AI 사업자 가이드라인(AI Guidelines for Business)'은 고도의 AI를 개발하는 조직에 대해, 기술적으로 가능한 경우 디지털 워터마크 등을 활용해 AI가 생성한 콘텐츠를 식별할 수 있는 장치를 도입하도록 요구합니다(법적 구속력은 없습니다).
입장별 주의점
이용자·교육 관계자
텍스트 워터마크 검출기는 한정된 조직에만 공개되어 있어, 일반인이 가지고 있는 글을 확인하는 것은 거의 불가능합니다. 또한 워터마크가 발견되지 않았다고 해서 '사람이 썼다'는 증명이 되지는 않습니다. AI 판별 도구의 결과도 추정에 불과하므로, 학생이나 지원자의 글을 AI가 쓴 것이라고 단정하는 근거로 쓰는 것은 피해야 합니다.
개발자
오픈 모델로 자사 서비스를 만드는 경우에는 다음과 같은 도구로 워터마크를 넣을 수 있습니다.
- Hugging Face Transformers: 그린 리스트 방식과 SynthID Text를 모두 지원하며, 글을 생성할 때 설정을 넘기기만 하면 쓸 수 있다
- vLLM: 2026년 9월 버전 0.30.0에서 워터마크 기능(Gumbel-max 방식)이 기본으로 들어갔다. 서버를 시작할 때 방식과 키를 설정한다. 다만 temperature를 0으로 한 생성이나 빔 서치에는 워터마크가 들어가지 않는다
- MarkLLM: 여러 방식을 한꺼번에 시험해 볼 수 있는 연구용 툴킷
키가 유출되면 워터마크를 위조당할 수 있으므로 키 관리는 신중하게 해야 합니다.
정리
LLM 워터마크는 AI가 단어를 고르는 과정에 보이지 않는 표시를 남겨, 나중에 키를 써서 확인할 수 있게 하는 기술입니다. Google이 2024년 Gemini에서 쓰기 시작한 데 이어, 2026년에는 EU 규제를 배경으로 Anthropic과 OpenAI도 잇따라 자사의 글에 워터마크를 넣기 시작했습니다.
한편 짧은 글이나 답이 정해진 글에는 넣기 어렵고, 바꿔 쓰기나 번역으로 약해지며, 검출할 수 있는 사람도 한정되어 있습니다. LLM 워터마크는 AI의 글을 가려내는 결정적 수단이 아니라, AI를 제공하는 쪽이 책임을 다하기 위한 장치 중 하나로 이해해 두는 것이 좋습니다. 각 기술의 차이는 'AI 워터마크(디지털 워터마크) 비교'에 정리했습니다.
출처
- A Watermark for Large Language Models(Kirchenbauer 외, ICML 2023)
- Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense(Krishna 외, NeurIPS 2023)
- Scott Aaronson의 블로그(2022년 11월)
- Robust Distortion-free Watermarks for Language Models(Kuditipudi 외)
- Undetectable Watermarks for Language Models(Christ 외, COLT 2024)
- Watermark Stealing in Large Language Models(Jovanović 외, ICML 2024)
- Can Watermarks Survive Translation? On the Cross-lingual Consistency of Text Watermark for Large Language Models(He 외, ACL 2024)
- Our approach to EU text provenance rules(OpenAI, 2026년 10월 5일)
- How Claude's text watermark works(Anthropic, 2026년 8월 14일)
- SynthID Text(Google AI for Developers)
- TextSeal(Meta, GitHub)
- vLLM 워터마크 기능 문서(GitHub)
- MarkLLM(GitHub)
- EU AI법 제50조
- 행동 강령 서명 발표(유럽연합 집행위원회, 2026년 7월)
- 人工智能生成合成内容标识办法(중국 국가인터넷정보판공실)
- AI 사업자 가이드라인(AI Guidelines for Business) 1.1판(일본 총무성·경제산업성)
- AI법 개정(디지털 옴니버스) 합의(유럽의회, 2026년 5월)
- How Claude marks AI-generated content(Claude 도움말 센터)
- Understanding the source of what we see and hear online(OpenAI, 2024년 8월 업데이트)
- vLLM v0.30.0 릴리스 노트(GitHub, 2026년 9월 22일)