AI 환각이란 무엇일까요?

앞뒤가 맞지 않는 챗GPT의 응답을 경험한 적이 있다면 AI 환각 문제에 직면한 적이 있을 것입니다. AI 시스템, 특히 챗GPT와 같은 대규모 언어 모델(LLM)이 오해의 소지가 있거나 완전히 허구적인 응답을 생성하는 이상하지만 중요한 문제입니다.

AI 환각 현상은 AI 처리 메커니즘의 복잡성을 반영하는 것으로, 전 세계 연구자들이 해결하고자 하는 가장 큰 LLM 과제 중 하나입니다. LLM과의 일상적인 소규모 채팅에서는 크게 문제가 되지 않을 수 있지만, 중요한 사안에서 발생할 경우 심각한 문제를 야기할 수 있습니다. 특히 의료, 법률, 금융 등 정보의 정확성이 가장 중요한 산업에서는 AI의 환각이 발생하지 않도록 하는 것이 중요합니다.

이 글에서는 생성적 AI 환각의 원인과 결과에 대해 자세히 살펴봅니다. 이러한 실수를 유발하는 요인과 실제 미치는 영향에 대해 살펴볼 것입니다. 더 중요한 것은 AI의 정확성과 신뢰성을 향상시키기 위한 방법에 대해 알아보겠습니다.

AI 환각이란 무엇인가요?

AI 환각은 언어 모델이 사실과 다르거나 오해의 소지가 있는 콘텐츠를 생성하는 현상입니다. 이는 학습 데이터의 한계 또는 모델이 신뢰할 수 있는 출처와 신뢰할 수 없는 출처를 구분하지 못하기 때문에 발생합니다. 이러한 환각 증상 자신 있게 응답하지만 잘못된 사실, 말도 안 되는 응답 또는 허구의 이야기로 나타납니다. 이 이슈는 응답의 신뢰성을 높이기 위해 AI가 생성한 콘텐츠를 평가하는 것의 중요성에 대해 경고합니다.

AI 환각이 발생하는 방식

AI 환각이 발생하는 이유를 이해하려면 먼저 언어 모델(LLM)이 일반적으로 어떻게 작동하는지 이해해야 합니다. 이러한 모델은 단어를 인간처럼 이해하는 것이 아니라 문자의 연속으로 인식합니다. 마찬가지로 문장은 단어의 연속으로 간주됩니다. 모델의 ‘지식’은 방대한 텍스트 모음인 학습 데이터에서 비롯됩니다.

이제 모델은 이 데이터의 통계적 패턴을 사용하여 문장에서 논리적으로 다음에 나올 수 있는 단어나 구를 예측합니다. 고도로 발전된 패턴 인식 시스템과 비슷합니다. 하지만 콘텐츠를 실제로 ‘이해’하는 것이 아니라 통계적 가능성에 의존하기 때문에 때때로 실수를 할 수 있습니다.

이러한 실수, 즉 “환각”은 모델이 정확하지 않거나 무의미한 정보를 자신 있게 생성할 때 발생합니다. 이는 학습 데이터에서 본 패턴에서 도출하기 때문에 실제 정확도나 논리와 항상 일치하지 않을 수 있습니다. 학습을 기반으로 그럴듯한 응답을 만들려고 할 때, 모델은 합리적인 응답을 만들 수 있지만 실제로는 사실이나 논리적 일관성과는 거리가 멀어질 수 있습니다.

이 예에서 챗GPT가 독도를 일본 땅이라고 답하고 있습니다.

인공지능이 환각을 일으키는 이유

LLM 환각은 여러 가지 이유로 발생합니다.

학습 데이터 문제

학습 데이터는 AI 환각이 발생하는 원인의 핵심입니다. 이러한 문제를 일으킬 수 있는 학습 데이터의 세 가지 중요한 측면을 살펴보겠습니다.

‍학습 데이터 부족: 데이터가 너무 적은 AI 모델은 언어의 뉘앙스와 문맥을 포괄적으로 파악하지 못합니다. 학습 데이터가 부족한 원인은 한 가지가 아닙니다. 의료 분야의 환자 데이터나 엄격한 프로토콜로 보호되는 은행 고객 데이터와 같이 극도로 사적인 데이터여서 학습에 사용할 수 없는 데이터일 수도 있습니다.

이러한 경우에는 데이터 보안 및 거버넌스에 대한 헌신으로 잘 알려진 아니면 관련 데이터를 구할 수 없고 수집 과정이 노동 집약적일 수도 있습니다. 예, 데이터는 ML 모델 품질에 매우 중요하며 데이터가 충분하지 않으면 질문에 대한 답변이 지나치게 단순하거나 전혀 관련 없는 결과를 초래합니다.

‍품질이 낮은 학습 데이터: 데이터의 품질은 매우 중요합니다. 안타깝게도 학습 자료에 결함이 있는 경우 모델은 오류, 편향성, 관련 없는 정보를 학습하게 됩니다. 이로 인해 AI는 사실과 다르거나 편향된 답변을 생성하거나 의도한 쿼리와 일치하지 않는 답변을 생성할 수 있습니다.

오래된 학습 데이터: 모델의 학습 데이터가 최신 데이터를 따라가지 못하면 AI의 결과물이 구식이 될 수 있습니다. 기술이나 시사 문제처럼 빠르게 변화하는 분야에서는 모델이 최근의 발전 상황을 이해하지 못해 오래된 참조를 사용하거나 새로운 용어와 개념을 놓칠 수 있습니다. 이로 인해 현실과 동떨어지거나 관련성이 부족한 답변이 나올 수 있습니다.

실수 유도하기

누군가에게 혼란스럽거나 상충되는 질문을 하면 답변에 질문의 품질이 반영됩니다. 프롬프트는 언어 모델과의 커뮤니케이션이며, 잘못된 방식으로 만들면 모델의 논리적 실수를 초래하게 됩니다. 프롬프트로 AI를 착각하게 만드는 것은 크게 세 가지 이유에서 발생합니다.

혼란스러운 프롬프트: 언어 모델에 대한 입력이 모호하거나 애매한 경우, AI가 쿼리의 정확한 의도나 맥락을 이해하기 어렵습니다. 이는 의미 있는 답변을 위한 충분한 맥락을 제공하지 않고 질문을 하는 것과 같습니다. 그 결과 모델이 의도를 ‘추측’하여 사용자의 요구에 맞지 않는 응답을 제공할 수 있습니다.

일관되지 않거나 모순되는 프롬프트: 프롬프트가 일관성이 없거나 상충되는 정보를 포함하면 모델이 어려운 상황에 처하게 됩니다. 모델은 이러한 불일치를 조정하려고 시도하여 비논리적인 결과를 도출합니다. 모델을 원하는 유형의 응답으로 안내하기 위해서는 명확하고 일관된 지침을 제공하는 것이 중요합니다.

적대적인 프롬프트: 이는 모델을 혼란스럽게 하거나 속여 부정확하거나 부적절하거나 무의미한 응답을 생성하도록 의도적으로 조작된 입력입니다. 이러한 공격은 모델의 취약점이나 통계 패턴에 대한 의존도를 악용합니다.

모델 오류

특히 GPT-4와 같은 모델에서 AI 환각은 이러한 시스템이 기존 데이터로부터 학습을 최적화할 때 자연스럽게 발생합니다. 이를 방지하려면 사람의 피드백을 통합하는 것이 중요합니다. 혁신과 실용성 사이의 딜레마는 이를 더욱 복잡하게 만듭니다. 참신성에 지나치게 집중하면 독특하지만 잘못된 결과가 나올 수 있고, 반대로 유용성에 우선순위를 두면 뻔하며 예측 가능하고 지루한 답변이 나올 수 있습니다.

그리고 AI 모델 언어 처리의 기술적 문제도 환각을 유발할 수 있습니다. 이러한 문제에는 잘못된 데이터 연결이나 다양한 응답을 목표로 하는 결함이 있는 생성 전략이 포함됩니다. 또한 광범위한 사전 학습은 모델이 저장된 지식에 지나치게 의존하게 만들어 학습된 콘텐츠와 새로 생성된 콘텐츠를 혼합하여 응답을 생성할 때 오류 위험을 증가시킬 수 있습니다. AI 커뮤니케이션 도구에 대한 의존도가 높아짐에 따라 이러한 모델의 한계를 인식하고 해결하는 것은 그 기능에 대한 과도한 신뢰를 방지하는 데 필수적입니다.

AI 환각의 유형과 실제 사례

AI 환각은 여러 가지 방식으로 분류할 수 있습니다. 사람들을 혼란스럽게 할 뿐만 아니라 심각한 문제를 야기하는  가지 유형의 챗봇 환각이 있습니다.

사실 오류

LLM 환각의 일반적인 유형은 잘못된 내용을 생성하는 것입니다. 다시 말하지만, 모델은 가장 말도 안 되는 거짓말을 하면서도 자신감 있게 들리고 그럴듯하게 들리는 답변을 생성할 수 있습니다.

예를 들어 제임스 웹 우주 망원경에 대한 구글 바드의 환각을 들 수 있습니다. 구글 바드에 따르면 제임스 웹 우주 망원경이 태양계 밖 외계 행성의 첫 이미지를 찍었다고 합니다. 그러나 유럽남방천문대가 칠레에서 운영하는 파나라 천문대의 거대망원경이 2004년 처음 촬영하는 데 성공했다고 합니다.(1)

조작된 정보 또한 매우 위험합니다. 2023년 초, 한 항공사를 상대로 소송을 제기한 고객이 맨해튼 연방 판사에게 챗GPT가 작성한 법률 서면을 제출했습니다. 이 챗봇은 정보를 조작하고, 가짜 인용문을 포함했으며, 존재하지 않는 법원 판례를 인용했습니다. 뉴욕 연방 판사는 이 서류를 제출한 변호사에게 제재를 가했습니다. 이는 챗봇의 환각이 실재하며 매우 조심스럽게 피해야 한다는 증거입니다.

유해한 정보

챗GPT와 같은 언어 모델도 사람들의 평판을 쉽게 망칠 수 있습니다. 2023년 4월, 한 대학교수가 알래스카로 수학여행을 떠난 학생에게 성적으로 암시적인 발언을 하고 신체 접촉을 시도했다는 내용의 2018년 3월 워싱턴포스트 기사를 출처로 인용한 챗GPT 사건이 발생했습니다. 문제는 그러한 기사는 존재하지 않았고, 알스카로 수학여행을 간 적도 없으며, 해당 교수는 학생을 성희롱한 혐의로 고발된 적이 없다는 것입니다.

같은 달, GPT는 헵번 샤이어 시의회의 브라이언 후드 시장이 호주 국영 은행의 자회사에서 근무하던 중 뇌물 수수 혐의로 수감된 것으로 착각했습니다. 사실 후드 시장은 내부 고발자였으며 범죄 혐의로 기소된 적이 없습니다.(2)

에어캐나다는 AI 챗봇이 고객에게 잘못된 정보를 제공하여 고객이 나중에 환불을 신청할 수 있다는 생각에 정가 항공권을 구매하도록 유도함으로써 심각한 고객 서비스 문제에 직면했습니다. 이 사고로 인해 고객과 항공사 모두 시간, 비용, 신뢰를 잃었습니다.(3)

AI 환각을 방지하는 방법

훌륭한 프롬프트는 AI의 환각을 줄이는 데 중요한 것으로 밝혀졌습니다. 환각을 예방하기 위한 가장 집중해야 할 만한 프롬프트 팁은 다음과 같습니다.

• 명확한 프롬프트 사용 : 가능한 한 명확하게 하세요. 또한 생성 가능한 결과의 수가 적도록 모델을 제한하세요.
• 관련 정보 제공 : 상황 내 학습 및 소수 샷 학습과 같은 기법은 모델에서 원하는 결과를 얻는 데 큰 도움이 됩니다. 모델이 반환할 것으로 예상되는 결과의 예를 보여주기만 하면 됩니다.
• 모델에 역할 부여하기 : 교사, 친구 또는 전문가와 같은 역할을 부여하면 모델이 선택한 직업에 맞게 응답을 조정하여 보다 맥락에 적합하고 매력적인 상호작용을 제공할 수 있습니다.

AI 환각 문제는 대규모 언어 모델 시대가 시작될 때부터 제기되어 왔습니다. 환각 현상을 찾아내는 것은 복잡한 작업이며 때로는 생성된 콘텐츠를 직접 일일히 체크해야 하는 경우도 있습니다. 복잡하지만 프롬프트, 관련 데이터 사용, 모델 자체의 실험 등 환각의 위험을 최소화할 수 있는 몇 가지 방법을 구현해야 합니다.