[AI 환각 사례] 네이버 AI 검색 Cue

최근 머신러닝 공부를 하다가, 군집에서 최적의 클러스터 k를 찾는 법에 대한 공부를 하다 엘보우 포인트라는 것에 좀 더 명확히 알고 싶어 네이버에서 출시한 Cue: 라는 검색을 활용하면서 겪은 AI 할루시네이션에 관련된 일이다.

출처: 네이버 Cue:

---

AI 환각 (할루시네이션)의 개념

 

인공지능(AI)에서 환각(hallucination,할루시네이션) 또는 인공 환각(artificial hallucination)은 트레이닝 데이터를 통해 판단하지 않는 것처럼 비쳐지는 AI에 의한 확신적 답변이다. 즉, AI 환각 (AI Hallucination)은 OpenAI의 GPT4 또는 Google PaLM과 같은 대규모 언어 모델(LLM)이 실제 데이터나 이벤트에 기반하지 않은 거짓 정보나 사실을 구성하는 것을 말한다.

AI 환각 현상은 OpenAI가 실제로 ChatGPT 내에서 사용자에게 “사람, 장소 또는 사실에 대한 부정확한 정보를 생성할 수 있다.” 라는 경고를 표시할 정도로 흔한 현상이다.

AI 환각은 대규모 언어 모델에서 완전히 조작된 결과물로, 완전히 꾸며낸 사실을 표현하지만, 결과적인 LLM 출력은 자신감 있게 잘못된 결과를 보여주는 경우가 있다.
생성형 AI 기반 챗봇은 이름, 날짜, 역사적 사건부터 인용문, 심지어 코드에 이르기까지 모든 사실 정보를 조작할 수 있다.

---

우선 검색하려고 했던, 엘보우 (또는 엘보우 포인트)에 대한 개념은 아래와 같다.

 

◆ 엘보우 포인트

머신러닝의 비지도 학습인 군집을 수행 시, 성능 평가지표를 이용하여 최적의 군집수를 선택하는 방법 중 하나로 엘보우 포인트(Elbow Point)에서 최적 군집수를 결정하는 방식이다. 엘보우 포인트는 그래프가 원만한 경사를 이루는 지점을 말한다.

예를 들어, 아래와 같은 그래프가 있다고 할 경우, 파란색 선의 감소가 비교적 완만해지는 지점 (k=4)이 엘보우 포인트라고 한다.

 

 

아무튼, 이러한 개념에 대해 좀 더 명확히 하고자 먼저 네이버 Cue: 에 해당 그래프를 출력하는 코드와 이 코드 및 데이터 상에서 '엘보'라는 것이 주는 개념에 대해 설명해달라는 질문을 했고, 아래가 그 답변이다.

 

그리고 답변을 보면, 처음에는 그래프와 코드에 사용된 알고리즘에 대해 잘 설명하다가,

빨간색 네모 안의 부분을 보면 뜬금없이 '테니스 엘보'가 나온다.

물론, 그래프 내에 있는 '엘보'라는 개념에 대해 어느정도는 알고 있기 때문에 이것이 잘못된 설명인 것을 깨달았다.

 

해당 내용은 누구라도 (관련 공부를 하거나, 관련 지식이 없는 사람일지라도) 잘못된 정보라는 것을 알아챌 수 있을 것이다.

이것이 AI 환각의 쉬운 예이다.

 

그러나, 만약 이렇게 쉬운 문제가 아니라, 내가 아예 알지도 못하는 분야에 대해 잘못된 정보를 준다면?

필자는 실제로 AI가 준 내용을 토대로 글을 썼다가, 해당 내용이 잘못된 것을 알고 다 뜯어고친 적이 있다.

 

그렇기 때문에, 생성형 AI가 주는 답을 무조건 맹신하면 안 된다.

 

참고로, 같은 질문에 대해 챗 GPT는 아래와 같은 답변을 했다.

 

필자는 여기서 Cue:가 챗GPT 보다 성능이 떨어진다 라는 말을 하고 싶은 것이 아니다.

어떤 대규모 언어 모델(LLM)에도 잘못된 정보가 존재하고, 그들이 주는 답변을 어떤 검증도 없이 무조건 믿고, 무조건 사용해서는 안 된다는 것을 강조하고 싶다.

 

---

[출처]

techopedia.com

위키백과

핸즈 온 머신러닝