자연어(NL), 자연어 처리(NLP)란?

앨리스 워드 클라우드 작업 (직접 분석)

자연어(NL)란?
출처: 나무위키

 

자연적으로 발생한 언어는 자연어(자연 언어, NL; Natural language)라고 정의한다. 사람들이 쓰는 언어는 대부분 자연어이다. 여기서 자연이란 뜻은 다음과 같다. 사회과학적인 의미의 자연적이란, 특정한 누군가가 뚜렷한 목적을 가지고 만들어낸 것임이 명확하지 않고 불특정 다수가 살아가는 과정에서 만들어지는 것이다. 따라서 인간이 만들었지만 누가 처음부터 끝까지 설계하고 만든 것이 아니라, 인류가 살아가는 과정에서 자연스레 만들어졌기 때문에 자연어로 분류된다.

---

자연어처리(NLP)란?
출처: 구글 클라우드

 

자연어 처리(NLP; Natural language Processing )는 머신러닝을 사용하여 텍스트의 구조와 의미를 파악한다. 자연어 처리 애플리케이션을 사용하면 조직에서 텍스트를 분석하고 사람, 장소, 사건에 대한 정보를 추출하여 소셜 미디어 감정과 고객 대화를 더욱 정확하게 이해할 수 있다.

 

NLP(Natural Language Processing, 자연어 처리)는 인공지능의 한 분야로서 머신러닝을 사용하여 텍스트와 데이터를 처리하고 해석한다. 자연어 인식 및 자연어 생성이 NLP의 유형이다.

---

자연어 처리의 일반적인 예 8가지
출처: 세일즈포스(Tableau)

인간에게는 자연스러운 언어가, 상당한 양의 비정형 데이터와 공식 규칙의 부족, 실제 컨텍스트나 의도의 부재로 컴퓨터에는 극도로 어렵다. 인간이 의사소통과 작업 수행을 위해 점점 더 컴퓨팅 시스템에 의존하는 상황에서 기계 학습과 인공 지능(AI)이 관심과 탄력을 받는 이유가 바로 여기에 있다. AI가 정교해질수록 자연어 처리(NLP)도 정교해진다. AI와 NLP라는 용어에서 미래 로봇의 이미지를 떠올리기 쉽지만, 우리 일상에 NLP가 작동하고 있는 기본적 사례가 이미 있다.

 

다음은 쉽게 볼 수 있는 몇 가지 예다.

[이메일 필터]
이메일 필터는 온라인에 NLP를 제일 처음 적용한 가장 기본적인 사례 중 하나이다. 이메일 필터는 스팸 메시지임을 암시하는 특정 단어나 구절을 찾아내는 스팸 필터로 시작했다. 그러나 NLP의 초기 적용 사례처럼 필터링도 업그레이드되었다.

좀 더 새로운 방식으로 널리 적용된 한 가지 NLP 사례를 Gmail의 이메일 분류에서 찾을 수 있다. Gmail은 해당 콘텐츠에 따라 이메일이 세 가지 분류(기본, 소셜, 프로모션) 중 어느 한 가지에 속하는지 인식하고, 이를 통해 모든 Gmail 사용자의 받은 편지함이 관리 가능한 크기로 유지되고 빨리 확인하고 응답하고자 하는 중요하고 관련성 있는 이메일로 구성된다.

[스마트 어시스턴트]
Apple의 Siri와 Amazon의 Alexa 같은 스마트 어시스턴트는 음성 인식 덕분에 말의 패턴을 인식한 다음 의미를 유추해서 유용한 응답을 제공한다. 이미 잘 알고 있듯이, 우리가 "Siri야"라고 말한 뒤 질문하면 Siri가 우리가 한 말을 알아듣고 상황과 관련된 답으로 응답한다.

또한 온도 조절기, 조명, 자동차 등 다양한 제품에서 Siri나 Alexa와 대화를 나누기 때문에, Siri나 Alexa가 가정과 일상 전반에서 불쑥 나타나는 상황에 점점 익숙해지고 있다.

Alexa와 Siri 같은 어시스턴트가 우리 일상을 향상하고 상품 주문 같은 특정 작업을 더 쉽게 만들며 심지어는 언제 유머 감각 있게 대답할지 자신에 대한 질문에 대답할지도 인식하기 때문에 문맥적 단서를 이해할 것으로 기대한다. 이러한 어시스턴트가 사용자에 관해 더 많은 것을 알게 되면서 더욱 개개인에 맞춘 상호 작용이 이뤄질 것이다.

[검색 결과]
검색 엔진은 NLP를 사용하여 유사 검색 행동이나 사용자 의도를 기반으로 관련 결과를 도출한다. 따라서 보통 사람도 검색어 귀재가 되지 않고 필요한 내용을 찾을 수 있다.

예를 들어 Google은 사용자가 글자를 입력하기 시작하면 인기 있는 어떤 검색이 사용자의 질의에 적용될 수 있는지 예측할 뿐 아니라, 정확한 검색어보다는 사용자의 검색 의도를 인식하고 전체적인 그림을 본다. Google에 항공편 번호를 입력하면 비행 상태를 알 수 있고, 주식 시세 약어를 입력하면 주식 정보를 얻을 수 있으며, 수학 등식을 입력하면 계산기가 표시될 수 있다.

이러한 경우가 검색을 완료할 때 볼 수 있는 몇 가지 예로, NLP가 검색에서 모호한 질의를 관련 있는 개체로 연관 지어 유용한 결과를 제공한다.

[텍스트 자동 완성]
자동 수정, 자동 완성, 예측 문자 같은 기능은 스마트폰에서 흔하게 볼 수 있어 당연하게 여겨진다. 자동 완성과 예측 문자는 사용자의 입력 내용에 따라 사용자의 의도를 예측하여 그 단어를 완성하거나 관련 단어를 제시한다는 점에서 검색 엔진과 비슷하다. 자동 수정은 전체 메시지의 의미가 통하도록 단어를 바꾸기까지 한다.

이러한 기능은 사용자를 따라 배우기도 한다. 예측 문자는 사용하면 할수록 사용자 자신만의 특이한 언어 습관에 맞춰지며, 이는 사람들이 각자 휴대폰에서 문장 전체를 예측 문자로만 구성해서 공유한다.

[언어 번역]
스페인어 숙제를 속임수 써서 했다는 사실을 숨길 수 없는 흔적 중 하나가 문법적으로 엉망이라는 점이다. 대다수 언어가 수평 번역이 불가능하고 서로 다른 문장 구조 순서를 가지고 있다. 이는 번역 서비스에서 간과되었던 점이나, 많은 시간을 거쳐 진화하였다.

NLP를 사용하여 온라인 번역기는 언어를 더 정확하게 번역하고 문법적으로 맞는 결과를 내놓을 수 있다. 이 점은 누군가와 다른 언어로 소통하려 할 때 한없이 유용하다. 그뿐만 아니라 어떤 다른 언어에서 모국어로 번역할 때 이제는 도구에서 입력한 텍스트를 기반으로 어떤 언어인지 인식하여 번역해 준다.

[디지털 전화 통화]
우리는 모두 "이 통화는 교육 목적으로 녹음될 수 있습니다."라는 말을 듣고 있지만, 그 말이 어떤 의미인지 궁금해 본 적은 거의 없을 것이다. 밝혀진 바에 따르면 이러한 녹음은 고객이 화가 난 경우에 직원 교육 목적으로 사용되기도 하지만, 대부분 NLP 시스템의 학습과 향후 개선을 위해 데이터베이스로 전송된다. 자동화된 시스템이 고객 통화를 서비스 담당자 또는 온라인 챗봇으로 보내면, 유용한 정보로 고객 요청에 응대한다. 이는 대형 이동통신사 등 많은 기업에서 사용해 온 NLP 사례이다.

또한 NLP를 사용하여 컴퓨터에서 생성된 언어를 인간의 말소리에 가깝게 만들 수도 있다.

[데이터 분석]
점점 더 많은 BI 공급업체가 데이터 시각화에 자연어 인터페이스를 제공하면서, 자연어 기능이 데이터 분석 워크플로우에 통합되는 추세이다. 한 가지 예가 바로 더 스마트해진 시각화 인코딩으로, 데이터 의미론에 기반하여 필요한 작업에 최고의 비주얼리제이션을 제공한다. 이로써 사람들이 자연어 문장 또는 해석하고 의미를 할당할 수 있는 몇몇 키워드로 구성된 질문의 일부를 사용하여 데이터를 탐색할 수 있는 더 많은 기회가 열렸다.

데이터 조사에 언어를 적용하면 접근성 수준을 높여줄 뿐 아니라, 분석가와 소프트웨어 개발자의 커뮤니티를 넘어 조직 전반에 걸쳐 분석 장벽을 낮춰준다.

[텍스트 분석]
텍스트 분석은 다양한 언어, 통계, 기계 학습 기법을 사용하여 비정형 텍스트 데이터를 분석에 사용할 수 있는 의미 있는 데이터로 변환한다.

정서 분석은 특히 큰 고객층을 가진 기업에는 벅차게 느껴질 수 있다. 그러나 NLP 기반의 도구는 소셜 미디어 댓글이나 리뷰, 브랜드명 언급까지 고객 상호 작용을 샅샅이 살펴 사람들이 하는 말을 알려준다. 이러한 상호 작용 분석을 통해 기업은 마케팅 캠페인의 성과를 확인하거나 최근 자주 발생하는 고객 문제를 모니터링하여 고객 경험 개선을 위해 서비스를 강화하거나 대처하는 방법을 결정할 수 있다.

그 외, 키워드 추출과 비정형 텍스트 데이터에서 구조 또는 패턴 찾기도 NLP가 텍스트 분석에 도움이 되는 경우이다.

디지털 세계에서 NLP가 적용되는 사례는 무궁무진하며, 비즈니스와 업계에서 그 가치를 확인하고 수용함에 따라 더 늘어날 것이다. 좀 더 복잡하게 얽힌 의사소통 문제는 인간의 개입이 중요하지만, NLP는 먼저 작은 업무를, 그다음 복잡한 업무는 기술 혁신을 통해 관리하고 자동화하면서 우리 삶을 개선해 나갈 것이다.

---

자연어 처리 하는 법(기초)

[파이썬] 자연어 처리(NLP) 시작하기 - 1