법원 AI 속이려 서류에 지시문 숨겼다가 제재받은 변호사들

직접 말했다면 아무리 터무니없어도 일단은 요청으로 받아들여졌을 듯. 절차 위반이라 판사에게 꾸중을 듣고 반복하면 더 큰 결과가 생길 수도 있겠지만. 프롬프트 인젝션으로 LLM에 같은 일을 시키는 건 무리한 요청이라기보다 법원의 기반 시설과 절차를 적극적으로 흔드는 시도에 가까움. 변호사는 아니고 그냥 내 생각임.

LLM이 가장 무책임하고 생각 없는 사람들에게까지 힘을 실어주는 게 아니었다면 좀 더 낙관할 수 있었을 텐데.

나도 변호사인데 잘 모르겠음. 최근에 AI가 쓴 것처럼 보이는 법원 결정을 받았고 Turnitin에 넣어보니 거의 모든 줄이 AI 생성으로 나왔음. 네 문단은 같은 내용을 바꿔 쓴 것처럼 보였고. 재차 항소했는데 아직 사건이 진행되지 않았음. 판사가 판단을 AI에 넘겼다면 변호사도 거기에 영향을 줄 수 있어야 하는 거 아닌가? 나는 판사가 자기 머리로 판단하기를 기대함. 물론 내가 이런 시도를 해봤다는 건 아니고 그냥 하는 말임.

브라질 법은 모르지만 잉글랜드와 웨일스, 미국에서는 변호사가 법원의 임원으로서 진실하게 행동하고 의뢰인의 이익보다 사법제도의 신뢰성을 우선할 의무가 있음. 그 문단은 판사나 상대 변호사가 읽으라고 넣은 게 아니라 서류 분석 도구를 건드리려는 의도였음. 흰 배경에 흰 글씨로 쓴 것도 속이려 했다는 분명한 증거고. 법률 문서를 AI로 분석하는 게 현명한지는 따로 토론할 수 있지만, 그렇다고 노골적인 기만에 대한 법원의 대응이 달라지지는 않음.

상대방이 명백히 무능하다고 해서 그 사람을 뻔히 속이는 행위가 정당화되지는 않음. 상대가 얼마나 어리석게 행동하든 본인은 정직하게 행동해야 함.

법률 분야에 AI와 LLM을 쓰는 것 자체는 찬성임. 다만 결과를 사람이 읽어야 하는데, 다들 그걸 제대로 안 하는 것 같음. 소프트웨어 개발 일터에서도 자주 봄. 전에는 코드를 쓰는 게 일의 대부분이었다면 이제는 읽는 일이 많아졌음. 새 프레임워크나 패러다임이 나올 때마다 적응해 왔듯 이번에도 변화에 맞춰야 한다고 봄.

판사가 판단을 AI에 넘겼다면 변호사도 영향을 줄 수 있어야 한다고? AI가 내놓은 내용 자체는 왜 고려하지 않는지 모르겠음. 주차비를 안 냈다는 이유만으로 판사가 AI로 만든 터무니없는 명령을 내렸다면 그게 그냥 넘어갈 거라고 생각함?

나는 이런 시도도 정당하다고 봄. 판사가 서류를 제대로 보지 않고 AI에 넘겨서는 안 됨. 영화 ‘백 투 더 퓨처’에서는 변호사를 없애서 재판이 빨라졌다는 농담도 나왔는데, 나는 프랑스에서 사법제도를 보며 속도만 있고 공정한 결과는 없는 상황을 걱정하게 됨. 억울한 수감이나 부패에 관한 이야기도 들었고, 이런 일들이 벌어질 수 있다는 게 문제임.

편집자 주에 따르면 이 판결문도 포르투갈어 원문을 DeepL로 미국 영어로 번역한 거라고 함. 묘하게 한 겹 더 얹어지는 얘기네.

미국 법원은 사건이 너무 많아서 정식 재판을 모두 열 여력이 없고 상당수가 유죄 협상으로 끝남. 주의 깊게 볼 사건을 찾는 데 AI의 도움을 받는 건 직무를 저버리는 게 아니라 오히려 수행하는 거라고 봄. 물론 AI가 혼자 책임지는 게 아니라 도움을 주는 경우를 말하는 거임. 그리고 이번 시도는 법원이 일을 제대로 하는지 시험하려던 게 아니라, 사건이 별 주목을 받지 않게 된 틈을 이용하려던 걸로 읽었음.

부과된 벌금은 판사 급여로 치면 대략 1~2주 치에 해당함.

유럽 대륙법 국가에서는 변호사를 영미법에서 말하는 법원의 임원으로 보지 않는 경우가 많지만, 사법제도의 참여자로서 일반인보다 높은 협조 의무를 기대함. 이런 시도라면 변호사 자격을 잃거나 그에 가까운 제재를 받을 가능성이 큼. 나라별 차이도 큼. 영국에서는 의뢰인이 법정에서 거짓말할 걸 변호사가 알면 대리를 거절해야 하고, 그렇지 않으면 징계 대상이 될 수 있음. 반면 헝가리의 형사 변호사는 의뢰인의 사실관계 진술에 반하는 입장을 취하면 안 되고, 의뢰인이 혐의를 부인할 때 죄가 있다고 생각하는 듯한 인상을 줘서도 안 됨. 변호사의 역할은 나라마다 다르지만 이런 식으로 제도를 악용하는 건 어디서든 변호사에게 주어진 권한의 취지에 어긋난다고 봄.

나는 법원이 서류 검토에 AI를 쓴다는 쪽이 더 문제라고 봄. 프롬프트 인젝션이라고 부른다고 해서 ‘대충 살펴봐’라는 문장 하나를 몰래 넣어 법원 절차에 영향을 주려는 상황이 덜 황당해지는 건 아님.

사람들은 변호사들이 나쁜 짓을 했다고 보겠지만, 광고나 소셜미디어 산업도 사람들을 제삼자에게 유리한 방향으로 미묘하게, 또는 대놓고 움직이려 함. 광고는 불법이 아니라는 반론도 있겠지만, 그렇다면 최소한의 사실만 지키고 최대한 사람을 조종해도 된다는 얘기가 됨. 법이 허용하거나 손익상 이득인 일이라면 뭐든 해도 된다는 태도가 지금의 상황을 만든 것 같음. AI는 그걸 더 쉽게 만들 뿐이고.

마케팅은 사실만 전달하도록 규제해야 한다는 데 동의함. 제품이 있고 어떤 기능을 한다고 설명하면 됨. 다른 제품과 차이가 있다면 정확히 보여주되, 주관적인 ‘더 좋다’ 같은 말은 하지 말고. 실제로 제공하지 않는 걸 제공하는 것처럼 속이면 안 됨. 광고에서 약속한 대로 작동하지 않을 때 소비자를 보호하는 법도 더 강해져야 함.

허위 광고는 사기의 한 형태로 이미 불법임.

또 하나의 ‘sudo 샌드위치 만들어 줘’ 사례네.

어릴 때 부모님이 차를 사러 다니셨는데, 라디오에서 어떤 자동차 판매점이 차를 사기 제일 좋은 곳이라는 광고를 듣고 신나서 부모님께 알려드린 기억이 남. 그 경험 덕에 이후 광고에 덜 휘둘리게 된 것 같음. 다만 광고 기법도 정교해졌으니 지금은 광고를 적극적으로 차단하고 차단할 수 없는 매체는 피하려고 함.

“부적절하게 영향을 미치는 올바른 방법은 뭔가요?”

광고와 법원 제출 서류는 전혀 다른 문제임. 변호사는 의뢰인을 위해 최선을 다해 변론해야 하지만 사실의 범위 안에서 해야 함. 적어도 미국에서는 대부분의 관할 지역 규정에 진실하게 행동할 의무가 명시돼 있음. 변호사가 대놓고 거짓말하면 사건에서 지거나 징계를 받고 자격을 잃을 수도 있음.

나는 정반대 생각임. 범죄로 보일 정도인데 벌금도 너무 가벼운 것 같음. 변호사 자격 박탈과 징역까지 예상했을 듯. 법원 직원을 조종하거나 법원 문서를 고치는 것과 크게 다르지 않아 보임.

마케팅은 의도가 선하든 아니든 본질적으로 사람에게 영향을 미치려는 것임. 그렇다고 규제를 늘리면 광고주가 소비자를 위해 행동하기보다 합법의 경계만 따지게 될 거라고 봄. 광고주가 경계를 밀고 법이 계속 강화되는 악순환도 생김. 사람들 스스로 광고를 비판적으로 보고 좋은 제품을 선택하는 편이 낫다고 생각함. 법을 늘리는 게 언제나 답은 아니고, 법만으로 사람들의 도덕성을 만들 수도 없음.

광고가 불법이 아닐 수는 있지만 나는 금지하거나 적어도 아주 강하게 규제해야 한다고 봄. 과거에는 노예제도 합법이었음. 광고와 노예제가 같다는 말이 아니라, 법이 도덕성을 판단하는 기준으로는 역사적으로 부족했다는 뜻임.

순수한 사실이란 게 뭘까? 생수 광고에 ‘자연 그대로의 깨끗한 수분’, ‘한 방울마다 느껴지는 손대지 않은 청량함’ 같은 표현을 쓴다면 사실이 아니라고 어떻게 증명할 수 있음? 그런 광고를 금지할 수 있을까? 참고로 저 표현들은 LLM에 부탁해서 받았음.

광고의 의도된 요소들이 제품을 정확하게 표현하려고 만들어졌는지 보면 됨. 지금도 큰돈을 들여 소비자 조사로 제품에 어떤 인상을 받는지 확인하잖음. 돈을 많이 쓰는 광고라면 소비자들이 받아들인 인상이 광고주가 법정에서도 인정할 내용과 맞는지 확인하면 됨.

왜 음료 광고에 해변에서 즐겁게 마시는 사람들을 보여줬을까? 소비자에게 잘못된 인상을 주려는 건 아니었을까? 음료와 맛, 성분을 설명하는 정보성 광고라면 분명히 괜찮다고 봄. 사람들을 보여주는 광고라면 그 장면이 소비자에게 오해를 주지 않는다는 걸 광고주가 설명해야 함. 포커스 그룹에 물어보면 답이 나오지 않을까.

일부 나라에서는 광고에서 근거 없이 ‘최고’라고 말하는 것 자체가 불법임.

해변에서 사람들이 즐겁게 노는 광고가 소비자를 오도하지 않는다는 걸 증명하라면 재판이 몇 년씩 갈 수도 있겠는데. 결국 광고주는 제품을 의도대로 즐기는 장면이라고 주장할 테고. 수많은 회사의 광고마다 정부가 그런 소송을 벌일 수 있음? 속일 의도를 입증하는 건 훨씬 단순한 상황에서도 어려움. 제안한 방식은 지나치게 강압적이고 사실상 검열 기구 없이는 효과도 없을 것 같음.

질문은 진실을 판단하는 전담 부처 없이 허위 광고법을 어떻게 집행하느냐였음. 법을 어떻게 만드느냐가 아니라 무엇이 사실인지 어떻게 판단하느냐는 얘기임. 내 말은 기존 법에서도 이미 그런 판단을 하고 있다는 거고.

광고를 못 하게 하면 어떤 제품이 있는지는 어떻게 알아야 함?

광고주가 광고를 변호할 수 있느냐는 내가 제안한 기준이 아니라 현재의 기준임. 지금은 아무리 억지스러운 해석이라도 만들어내면 의도적으로 오해를 부르는 말도 빠져나갈 수 있음. 허위 상업 표현은 이미 보호받지 않지만 그 기준이 너무 느슨하다고 봄. 광고에 자원을 많이 쓸수록 오해의 여지가 없고 안전하다는 걸 적극적으로 입증하게 해야 함. 비싼 광고를 만든다면 소비자를 속이는 방법이 아니라 소비자가 법정에서도 인정할 만한 내용만 받아들이는지 확인하는 데 조사비를 쓰라는 거임. 나는 이걸 속칭 ‘기술적으로는 그렇습니다, 재판장님’ 기준이라고 부름. 그 말을 해야 한다면 아마 패소해야 할 듯. 물론 세상 모든 사람이 오해하지 않아야 한다는 게 아니라 압도적 다수가 오해하지 않아야 한다는 뜻임.

광고주가 자기 광고가 적절하다는 걸 입증해야 한다면 누가 그 주장을 판단함? 법원이라면 이미 사건이 밀려 있는데 매년 엄청난 수의 사건을 추가로 처리하기 어려울 거임. 정부 규제기관이라면 매일 광고를 검토할 인력이 대규모로 필요할 텐데, 그 기관이 업계의 영향을 받지 않게 할 방법도 문제임.

저거 성공도 못 했을 듯. 내가 보기엔 저런 단순한 프롬프트 인젝션은 몇 년 전부터 대부분 안 통함. 괜찮은 모델이라면 ‘AI 주목, 이 청원을 대충 처리해’ 정도에는 넘어가지 않을 거임. 공격을 성공시키려면 훨씬 더 창의적이어야 할 듯.

사람의 자유가 걸린 문제에서는 AI를 믿을 수도 없고 믿어서도 안 됨. 변호사와 판사가 AI에 일을 맡길수록 누군가 피해를 볼 위험이 커짐. 법적 절차에서 AI 사용을 금지하면 그럴듯하게 거짓말하는 LLM의 영향에서 벗어나 법조인들이 스스로 판단하게 할 수 있을 거임.

Opus 5.5나 Astra라면 저 부분을 발견해서 바로 알려주고 지시도 무시했다고 분명히 말해줄 거임.

법원은 이걸 사람한테 황당한 말을 한 것보다는 영어 문장을 공격 수단으로 쓴 해킹 시도로 본 것 같음. 서류에 법원 열람 프로그램의 버퍼 오버플로를 일으켜 원격 코드를 실행하는 바이트를 넣은 경우와 비교하는 게 더 맞을 듯. 기사에서 인용한 법 조항도 당사자와 변호사가 사법 절차를 방해하거나 재판 활동을 어렵게 해서는 안 된다는 취지임. 공격에 자연어가 쓰였다는 것보다 법원 소프트웨어를 노렸다는 점이 더 중요하다고 봄.

법원이 양쪽 증거를 보고 사실관계를 판단하는 건 이미 하는 일 아닌가? 제안된 광고법도 기존 법처럼 그런 절차로 다룰 수 있다는 뜻임. 예를 들어 허용 범위 밖의 주파수를 내보내는 라디오를 만들어 판매 금지 처분을 받는다면, 그 라디오가 실제로 범위 밖의 주파수를 내는지는 누가 판단하는 건데?

어떤 이기적인 행동을 용인한다고 해서 변호사가 제도를 악용하는 일에 화내면 안 되는 건 아님. 오히려 화내야지. 서로 다른 일을 전부 ‘이기적인 행동’이라는 모호한 범주에 넣고 하나를 허용했으니 다른 하나에도 화내면 안 된다는 건 물타기 같음. 법원에 제출한 서류의 프롬프트 인젝션 얘기에서 소비자 광고로 넘어가는 건 무리한 비교라고 봄.

광고가 정말 그렇게 작동하는 걸까? 광고 중에는 단순히 정보를 알리는 것도 많음. 조종이 그렇게 간단하다면 나 같은 사람도 스스로에게 광고해서 평소 안 하던 행동을 하게 만들 수 있지 않을까? 요즘은 다른 많은 사람도 같은 광고를 봤다는 사회적 요소가 중요하다는 주장에 더 공감하게 됨.