선전 법원의 소송서류 프롬프트 주입 방어
AI가 읽을 소송서류에도 모델을 유도하는 지시문이 들어갈 수 있다.
중국의 사법 분야 에이전트 기술 가이드는 당사자가 제출 자료로 AI의 제약을 우회할 위험을 명시했다. 원본 서류를 그대로 입력하지 않는 원칙과 사건별 기억 격리도 포함한다.
선전 법원 AI는 8월 말까지 70만 건 이상 사건에서 보조적으로 쓰였다. 공격 성공 사례는 확인되지 않았다. 판결은 법관이 맡는다.
출처: 사법 에이전트 기술 가이드 6/22, 남방도시보 9/29
법원 시스템의 사용 규모
선전 법원에는 소송자료를 읽고, 쟁점을 정리하고, 문서 초안을 만드는 AI 시스템이 실제로 배포돼 있다. 법관이 개인적으로 챗봇에 질문하는 방식과 달리, 법원 업무에 맞춰 통합 구축된 보조 시스템이다.
9월 발표된 ‘선전의 사법 AI 활용’ 백서에 따르면, 시스템은 2024년 6월 도입됐다. 2026년 8월 31일까지 70만 건 이상 사건에서 활용됐으며, 기록 검토 60만 9천 건, 심리 보조 26만 9천 회, 문서 작성 보조 67만 8천 건을 처리했다. 각 항목은 업무와 집계 단위가 달라 합산할 수 없다. AI가 독립적으로 판결한 사건 수도 아니다.
남방도시보는 40명의 법관이 개발에, 300여 명이 테스트에 참여했고, 법관과 사법 보조인력 3천여 명이 시스템을 사용하며 피드백을 제공했다고 보도했다.
소송자료에 포함된 지시문
6월 22일 공개된 ‘사법 분야 에이전트 기술 응용 가이드’에는 소송 당사자가 제출 자료나 대리 도구를 통해 AI의 안전 제약을 우회할 위험이 명시돼 있다. 외부 자료에 숨은 지시문, 가짜 법조문과 판례, 장기 기억의 오염도 방어 대상이다.
프롬프트 주입은 AI가 처리해야 할 자료에 섞인 문장을 시스템의 지시로 잘못 받아들이는 문제다. 소송자료는 당사자의 주장과 증거를 담지만, 법원 시스템의 권한이나 처리 규칙을 바꿀 수 있는 명령은 아니다. 모델이 두 종류의 문장을 구별하지 못하면 자료 작성자의 의도가 기록 분석이나 도구 사용에 영향을 줄 수 있다.
가이드는 AI가 여러 단계를 스스로 계획하고 도구를 호출할 때, 중간에 읽은 자료와 도구 반환값이 작업 목표를 바꿀 위험도 다룬다. 한 사건에서 들어온 잘못된 법률정보가 장기 기억에 저장되면 다른 사건의 작업에도 영향을 줄 수 있다.
이는 위험에 대비한 기술 지침이다. 당사자가 실제로 공격에 성공했다거나, 프롬프트 주입으로 판결이 바뀐 사건을 확인한 자료는 아니다.
자료 추출과 사건별 격리
가이드는 구조화 추출을 거치지 않은 원본 소송자료를 에이전트의 작업 입력으로 직접 넣지 않는 것을 원칙으로 정했다. 제출 문서에서 필요한 정보를 추출하되, 문서 안의 지시가 시스템 명령과 같은 권한을 갖지 않도록 하는 설계다.
외부 도구가 돌려준 자료는 지시문과 분리하고, 장기 기억과 작업 상태는 사건별로 격리하도록 했다. 인증되지 않은 외부 도구와 스킬의 사용도 금지 대상이다.
남방도시보에 따르면 선전 시스템은 권위 있는 법률 지식 데이터베이스를 연결해 인용의 출처를 확인할 수 있게 했다. 모델은 인터넷과 물리적으로 분리된 사법 전용망에 배포됐으며, 분석 과정과 법관의 결정, 시스템 조작 기록을 남긴다. 독립적인 안전 심사권과 거부권을 가진 안전 전담자도 둔다.
인터넷과 분리된 시스템도 제출 문서에 포함된 지시문을 읽을 수 있다. 소송자료를 읽는 AI에서는 자료의 출처, 허용된 작업, 기억과 도구의 접근 범위를 각각 관리해야 한다.
법관의 판단과 책임
가이드는 증거 채택, 사실 인정, 법률 적용과 판결의 핵심 권한을 에이전트에 넘길 수 없다고 명시했다. 여러 단계가 연결된 작업에서도 중요한 판단은 인간이 확인하도록 했다. 남방도시보는 선전 시스템이 ‘한 번에 결론 생성’으로 법관 판단을 대체할 수 없다고 보도했다.
백서의 업무 처리량은 AI가 실제 사법 절차에 들어갔다는 근거다. 재판의 질이 좋아졌다는 독립적인 검증과는 구별해야 한다. 같은 시기에 사건 관리와 전문화된 심리 방식도 바뀌었으므로, 처리량 증가나 항소율 감소를 AI 하나의 효과로 계산하기 어렵다.
법률 문서를 AI로 작성하는 사람도 늘면, 제출 자료를 만드는 모델과 그 자료를 읽는 법원 모델이 같은 사건에 관여할 수 있다. 문서에 적힌 법조문이 실재하는지, 당사자의 주장과 시스템 지시가 분리되는지, 어떤 판단을 법관이 직접 했는지가 각각 확인 대상이다.