ChatGPT가 만든 ‘가짜 증언’ 법정 제출…미국 변호사 5,000달러 제재, 왜 중요한가

핵심 요약

미국 뉴멕시코주 대법원이 살인사건 항소 과정에서 ChatGPT가 만들어낸 가짜 경찰 증언과 존재하지 않는 증인을 서면에 포함한 변호사에게 5,000달러의 제재를 부과하고 법정모욕(contempt) 판단을 내렸다. 해당 변호사는 재판 기록을 ChatGPT에 넣어 요약을 만들었고, 그 결과를 충분히 검증하지 않은 채 법원에 제출했다고 인정했다.

이번 사건이 특히 주목되는 이유는 생성형 AI의 오류가 더 이상 ‘가짜 판례 인용’ 수준에 머물지 않았기 때문이다. 이번에는 실제 형사사건의 사실관계와 증언 자체가 변형됐고, 존재하지 않는 증인이 만들어졌다. 법원은 문제의 핵심을 AI 사용 자체가 아니라 전문가가 AI 결과를 검증하지 않은 채 자신의 이름으로 제출한 책임에 두고 있다.

확인된 사실과 해석·전망 구분

확인된 사실: Reuters와 뉴멕시코 법원 자료에 따르면 변호사 Stephen Aarons는 살인죄로 종신형을 선고받은 Oscar Renee Sandoval의 항소를 맡았다. 그는 재판 녹취록과 관련 자료를 ChatGPT에 입력해 사건 요약을 만들었고, 그 내용을 바탕으로 항소 서면을 제출했다. 뉴멕시코 대법원은 이 서면에 존재하지 않는 증인과 허위 증언, 실제 증인의 왜곡된 진술이 포함돼 있었다고 판단했다. 법원은 Aarons에게 5,000달러의 제재금을 부과하고 변호사 징계기관에 회부하기로 했다.

해석·전망: 이번 판단이 ‘법조계에서 ChatGPT 사용이 금지됐다’는 뜻은 아니다. 오히려 미국 법원들의 최근 흐름은 AI를 연구·초안 작성 도구로 사용하는 것 자체보다, 결과를 확인하지 않고 제출하는 행위를 더 큰 문제로 본다. 향후에는 로펌과 기업 법무팀이 AI 사용 여부보다 어떤 검증 절차를 거쳤는지를 입증하도록 요구받는 경우가 늘어날 가능성이 있다.

왜 중요한가

법률 문서는 일반적인 블로그나 이메일과 달리 사실 하나가 틀려도 재판 결과와 당사자의 권리에 직접 영향을 줄 수 있다. 특히 형사사건에서는 잘못된 사실관계가 피고인의 자유와 직결된다. 이번 사건에서 문제가 된 것은 단순히 판례 번호를 잘못 적은 것이 아니라, 실제로 존재하지 않는 사람이 증언한 것처럼 서면에 나타났다는 점이다.

생성형 AI는 문맥상 그럴듯한 문장을 만드는 데 매우 능하지만, 사실성을 자동으로 보장하는 시스템은 아니다. 입력된 자료에 없는 내용을 모델이 자연스럽게 보완하거나, 이름과 진술을 섞어서 새로운 서술을 만드는 이른바 ‘환각(hallucination)’이 발생할 수 있다. 일반 이용자가 이런 오류를 겪으면 불편으로 끝날 수 있지만, 변호사·의사·회계사·연구자처럼 전문적 책임이 수반되는 직업에서는 결과가 훨씬 심각해질 수 있다.

발생 배경

법조계의 AI 오류 논란은 이미 수년 전부터 반복돼 왔다. 초기에는 존재하지 않는 판례를 ChatGPT가 만들어내고, 변호사가 이를 그대로 법원 서면에 넣은 사례가 대표적이었다. 그러나 2026년 들어 미국 연방법원들은 단순 경고를 넘어 실제 벌금과 자격정지 같은 제재를 강화하는 모습이다.

미 제9연방항소법원은 올해 6월 생성형 AI로 인해 존재하지 않는 사건과 허위 인용문이 포함된 서면을 제출한 변호사들에게 각각 2,500달러의 제재를 부과하고 6개월간 해당 법원에서 업무를 제한했다. 이 법원은 중요한 기준도 제시했다. AI를 썼다는 사실 자체가 위반은 아니지만, 변호사가 서명하고 제출한 순간 그 내용에 대한 책임은 변호사에게 있다는 것이다.

미국변호사협회(ABA) 역시 생성형 AI 사용과 관련해 변호사의 전문성, 고객 비밀 보호, 법원에 대한 정직 의무, 감독 책임 등을 기존 윤리규칙과 동일하게 적용해야 한다는 입장을 내놓고 있다. 새로운 기술이라고 해서 기존 직업윤리가 사라지는 것이 아니라는 취지다.

현재 진행 상황

뉴멕시코 대법원은 해당 변호사에게 제재금을 부과했고, 추가 징계 여부를 검토하도록 관련 기관에 사건을 넘기기로 했다. 문제의 항소 사건은 다른 공공변호사에게 재배정됐다. 법원 홈페이지에는 이 사건(State v. Sandoval, S-1-SC-40845)의 심리 기록과 쇼코즈(show-cause) 심리 자료가 공개돼 있다.

Reuters 보도에 따르면 Aarons는 ChatGPT가 사실을 만들어낼 수 있다는 점을 충분히 이해하지 못했다고 해명했다. 그는 AI를 이용해 재판 기록을 ‘빈틈없는 요약’으로 만들 수 있을 것으로 생각했다고 설명했다. 그러나 법원은 변호사가 결과를 직접 확인하지 않은 점을 중대한 문제로 봤다.

주요 관계자 및 쟁점

첫 번째 쟁점은 책임의 주체다. AI가 문장을 만들었더라도 최종적으로 법원에 제출한 사람은 변호사다. 현재 미국 법원의 방향은 AI를 독립된 책임 주체로 보지 않고, 이를 사용한 전문가가 최종 책임을 져야 한다는 쪽에 가깝다.

두 번째는 검증 비용이다. AI를 쓰는 이유 중 하나는 시간을 절약하기 위해서지만, 결과를 문장 단위·인용 단위로 모두 검증해야 한다면 절감되는 시간이 예상보다 작을 수 있다. 특히 수천 페이지의 재판 기록이나 대규모 계약서처럼 원문 확인이 어려운 업무에서는 AI가 요약을 잘못했을 때 오류를 찾기도 쉽지 않다.

세 번째는 일반 AI와 법률 특화 AI의 차이다. 전문 데이터베이스와 연결된 법률 AI는 출처 추적과 인용 검증 기능을 제공하지만, 이 역시 오류 가능성이 0%가 되는 것은 아니다. 따라서 ‘전문 제품을 썼다’는 이유만으로 인간의 검토 절차를 생략하기는 어렵다.

앞으로 예상되는 전개

향후 법조계에서는 AI 사용 자체를 금지하기보다는 사용 절차를 표준화하는 방향이 유력하다. 예를 들어 법원 제출 전 원문 대조, 인용문 자동 검증, 사용 모델과 작업 기록 보관, 민감정보 입력 제한, 최종 책임자 서명 같은 절차가 일반적인 내부통제로 자리잡을 가능성이 있다.

또 일부 법원은 AI 사용 여부를 신고하도록 요구하거나, AI가 생성한 인용과 사실관계를 직접 확인했다는 인증 문구를 요구할 수 있다. 이미 미국 일부 법원에서는 이와 유사한 지침이 등장하고 있다. 다만 지나치게 광범위한 신고 의무는 단순 맞춤법 교정이나 검색 보조까지 규제할 수 있어 범위를 어디까지 정할지가 새로운 쟁점이 될 수 있다.

한국 독자에게 미치는 영향 또는 알아둘 점

한국에서도 법률·의료·회계·공공기관을 중심으로 생성형 AI 활용이 빠르게 늘고 있다. 이번 사례는 미국 법원의 특수한 사건이지만, 시사점은 한국에도 직접적이다. 중요한 업무에서 AI를 사용할 때는 ‘AI가 답했는가’가 아니라 ‘누가 최종 검증했는가’가 더 중요한 기준이 될 가능성이 높다.

일반 이용자도 계약서, 세금, 법률 분쟁, 건강 정보처럼 결과의 정확성이 중요한 분야에서는 AI 답변을 최종 결론으로 사용하지 않는 편이 안전하다. AI는 자료 정리와 초안 작성에는 매우 유용하지만, 원문과 공식 기록을 확인하는 과정까지 대신해주지는 않는다.

이번 사건은 생성형 AI가 무능하다는 증거라기보다, AI가 업무에 깊게 들어갈수록 인간의 검증 책임과 내부통제가 더 중요해진다는 사례에 가깝다. 특히 전문가가 AI의 결과를 자신의 이름으로 제출하는 순간, ‘AI가 만들었다’는 설명은 책임을 줄여주는 면책 사유가 되기 어렵다는 점이 분명해지고 있다.

참고 출처

대표 이미지: Aerps.com / Unsplash. 본 사건의 실제 법정 장면이 아닌 생성형 AI 사용을 설명하기 위한 자료 이미지입니다.