INSIGHT

AI트렌드에 개념더하기: 할루시네이션

2024.02.02

 

 

AI기술이 고도화되고, 기술에 대한 접근성은 높아지면서, 인공지능이 가져올 혁신적인 미래 모습에 대한 기대감이 커져가고 있습니다.

2023년이 AI의 성능을 증명하는 해였다면, 2024년은 본격적으로 AI가 일상에 상용화되는 기점이 될 수 있을 것 같은데요. 

국내 AI 산업이 빠르게 진화하는 한 편, AI 도입으로 인한 부작용에 대해서도 간과할 수 없습니다. 

 

 

AI 산업 발전에 불을 붙인 Open AI사의 ChatGPT를 사용해본 적이 있으신가요? 사용자의 질문에 따라 응답의 수준이 달라진다고 하지만, 종종 근거를 확인하기 힘든 답변으로 혼란을 빚기도 하는데요. 오늘은 현재 AI 기술력의 한계점으로 언급되고 있는 “할루시네이션”에 대해 알아보고자 합니다. 

 

 

 

1. 할루시네이션 (Hallucination) 정의

 

인공지능(AI)이 정보를 처리하는 과정에서 발생하는 오류를 말한다. 영어의 원래 뜻은 환각이나 환영, 환청이다.

출처: 연합인포맥스 

 

AI hallunication은 종종 생성 AI 챗봇 또는 컴퓨터 비전 도구인 대형 언어 모델(LLM)이 인간 관찰자에게 존재하지 않거나 감지할 수 없는 패턴이나 물체를 인식하여 비상식적이거나 완전히 부정확한 출력을 생성하는 현상입니다.

출처: IBM

 

 

즉, AI 할루시네이션은 인공지능이 대량의 데이터를 기반으로 학습되었다고 하더라도, 학습하지 못한 내용에 대해서는 근거 없는 결과물을 제공할 수 있음을 보여주며, 실제로 IBM은 다음과 같은 사례들을 AI 할루시네이션의 예시로 소개하고 있습니다.

 

 

(1) 구글의 챗봇 바드(Bard)는 제임스 웹 우주 망원경이 우리 태양계 밖의 행성을 세계 최초로 포착했다고 잘못 주장했습니다 - 출처: IBM

(2) 마이크로소프트의 채팅 AI 시드니(Sydney)는 사용자와 사랑에 빠지고 빙 직원을 염탐한 사실을 인정합니다 - 출처: IBM

(3) 메타는 편견에 기반하거나 부정확한 정보를 제공한 일로 2022년 갤럭티카(Galactica) LLM 데모를 철회했습니다 - 출처: IBM 

 

 

한편, 작년 3월 Open AI Forum에는 이러한 할루시네이션 현상을 컨패뷸레이션(confabulation)으로 불러야 하는 것이 아닌지에 대한 의견이 제기되었는데요.

 

컨패뷸레이션은 한국 의학용어로 “작화증”을 의미하며, “자신이 직접 경험하지 않은 일을 마치 실제로 겪었던 것처럼 기억하고 있고 실제로 있었던 일이라고 믿는” 질환을 말하는데, 그 증상이 AI에서 나타나는 현상과 더 유사해 보이기 때문입니다.

 

 

 

2. 어떻게 예방할 수 있을까?

 

할루시네이션 혹은 컨패뷸레이션은 AI의 산출물에 대한 검토 필요성을 증명합니다. 전적으로 AI를 기반으로 한 서비스를 제공할 때, AI의 판단이 최종 사용자에게 부적절한 영향을 미칠 수 있기 때문입니다. 

 

그렇다면 이를 예방할 수 있는 방법에는 무엇이 있을지, IBM이 제시한 6가지 예방책을 함께 살펴보겠습니다.

 

 

1. AI훈련을 위한 양질의 데이터 활용

AI를 훈련하는 과정에 활용되는 데이터 세트의 품질은 AI의 모든 작업 행동과 결과물의 수준을 결정합니다. 따라서, 할루시네이션을 예방하는데 있어서도, AI 모델이 다양하고 균형 잡힌 데이터를 통해 훈련되었는지 확인하는 일은 중요합니다. 

 

 

2. AI 모델의 사용 목적 정의하기 

AI 모델을 어떤 목적을 위해 사용할 것인지, 그 외에 사용하지 않아야 하는 제한 사항에는 무엇이 있는지 정의하는 것 또한 할루시네이션 현상을 줄이는데 도움이 됩니다. 이는 AI의 업무의 명확성을 높이고, 입력한 내용과 관련 없는 결과를 최소화할 수 있습니다.

 

 

3. 데이터 템플릿 사용 

데이터 템플릿은 팀에 미리 정의된 형식을 제공하여 AI 모델이 규정된 지침에 맞는 출력을 생성할 가능성을 높입니다. 데이터 템플릿을 사용하면 출력 결과물의 일관성이 보장되고 모델이 잘못된 결과를 생성할 가능성을 줄일 수 있습니다.

 

 

4. 반응 제한

AI 모델은 출력 결과를 제한하는 제약 조건이 없기 때문에 종종 환각을 일으킵니다. 이를 방지하고 결과물의 전반적인 일관성과 정확성을 향상시키기 위해 필터링 도구를 사용하여 AI 모델의 출력 결과물의 범위를 정의할 수 있습니다.

 

 

5. 지속적인 테스트 및 개선 활동 

인공지능 모델을 사용하기 전에 엄격하게 테스트하는 것은 환각을 방지하는 데 필수적이며 지속적으로 모델을 평가하는 것도 중요합니다. 이러한 프로세스는 시스템의 전반적인 성능을 향상시키고 데이터가 노후화되고 진화함에 따라 사용자가 모델을 조정할 수 있도록 합니다.

 

 

6. 인간 사용자의 검토

사용자가 AI 산출물을 확인하고 검토하는 것은 할루시네이션 현상을 방지하기 위한 최종 조치라고 할 수 있습니다. 이는 인공지능이 잘못된 결과물을 산출했을 때, 사용자가 직접 이를 모니터링하고 수정함으로써 결과물의 정확성과 관련성을 높일 뿐 아니라, 인공지능이 만들어내는 콘텐츠를 평가해 피드백을 제공할 수 있습니다.

 

 

 

Reference

연합인포맥스, “[시사금융용어] 할루시네이션”

https://news.einfomax.co.kr/news/articleView.html?idxno=4269783

 

IBM, “What are AI hallucinations?”

https://www.ibm.com/topics/ai-hallucinations

 

Open AI Forum, “Hallucination vs Confabulation”

https://community.openai.com/t/hallucination-vs-confabulation/172639

 

서울아산병원, “작화증”

https://www.amc.seoul.kr/asan/healthinfo/easymediterm/easyMediTermDetail.do?dictId=3296

목록보기