[NLP 모델] BERT(Bidirectional Encoder Representations from Transformers)란?

BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리(NLP) 분야에서 혁신적인 도구로 자리 잡은 모델이다. BERT는 2018년 구글이 발표한 모델로, NLP 작업에서 인간 수준의 성능을 구현하는 데 큰 기여를 했다. 

출처: 구글

---

BERT란 무엇인가?

BERT는 "Bidirectional Encoder Representations from Transformers"의 약자로, 양방향 인코더 표현을 사용하는 트랜스포머라는 의미이다. 기존의 NLP 모델들이 주로 문장의 앞에서 뒤로, 또는 뒤에서 앞으로 데이터를 처리한 것과 달리, BERT는 양방향으로 문맥을 이해할 수 있다. 즉, 문장 내에서 특정 단어가 앞뒤로 어떤 단어들과 연결되어 있는지를 동시에 고려하여, 보다 깊은 의미를 파악할 수 있다.

BERT 언어모델은 대용량 원시 텍스트로부터 어휘의 양방향 문맥정보와 문장 간의 선후관계를 학습하여
단어를 문맥을 반영한 벡터로 표현하는 모델

 

BERT (Bidirectional Encoder Representations from Transformers) 모델은 기존의 SOTA (State-of-the-Art) 모델이었던 ELMO (Embeddings from Language Model)의 성능을 크게 앞지르는 한편 Fine-tuning 만으로 범용적인 태스크에 모델을 적용할 수 있다는 가능성을 보여준 모델이다. 때문에 오늘날 대부분의 자연어 처리 모델은 BERT를 기반으로 설계되고 있다. 

 

BERT는 자연어 처리 분야에서 혁신을 이끈 모델로, 다양한 NLP 작업에서 뛰어난 성능을 보여주고 있다. 양방향 문맥 이해와 사전 학습/미세 조정이라는 강력한 학습 방식 덕분에, BERT는 인간 수준의 언어 이해 능력을 구현할 수 있게 되었다. 앞으로도 BERT와 그 변형 모델들은 NLP 기술의 발전을 이끌어갈 중요한 도구가 될 것이다.

---

BERT의 핵심: 양방향성과 사전 학습

BERT의 가장 큰 특징은 양방향성(Bidirectionality)이다.

이는 BERT가 문장 내에서 모든 단어가 주변의 모든 다른 단어와 어떻게 관계되어 있는지를 고려하여 학습된다는 의미이다. 예를 들어, "The bank was next to the river"라는 문장에서 "bank"라는 단어가 금융기관을 의미하는지, 강둑을 의미하는지는 앞뒤 문맥을 모두 고려해야만 정확히 알 수 있다. BERT는 이런 문맥을 양방향으로 학습하여, 단어의 정확한 의미를 추론할 수 있다.

또한, BERT는 사전 학습(Pre-training)과 미세 조정(Fine-tuning)이라는 두 단계로 학습된다.

• 사전 학습(Pre-training): BERT는 대규모 텍스트 데이터셋에서 두 가지 작업(마스킹된 언어 모델링, 다음 문장 예측)을 통해 사전 학습된다. 이 단계에서 모델은 문맥을 이해하는 능력을 얻는다.
• 미세 조정(Fine-tuning): 이후, 특정 작업(예: 텍스트 분류, 질의 응답)에 맞게 사전 학습된 모델을 미세 조정한다. 이 과정에서는 소규모의 레이블이 달린 데이터셋을 사용해 모델이 특정 작업에 최적화된다.

---

BERT의 구조

BERT는 기본적으로 트랜스포머 모델의 인코더(Encoder) 부분으로 구성된다.

트랜스포머의 인코더는 셀프 어텐션(Self-Attention) 메커니즘을 사용하여 문맥을 이해하는데, BERT는 이 인코더를 여러 층으로 쌓아 문장을 깊이 있게 분석한다.

★ 트랜스포머 모델이란?

[신경망 모델] 트랜스포머(Transformer) 모델이란?

 

BERT의 구조는 크게 두 가지 버전으로 나뉜다:

• BERT-base: 12개의 인코더 층, 110M 파라미터
• BERT-large: 24개의 인코더 층, 340M 파라미터

이 구조는 모델의 복잡도와 성능을 결정하며, 특정 작업에 따라 적절한 버전을 선택할 수 있다.

---

BERT의 응용 분야

BERT는 다양한 NLP 작업에 성공적으로 적용될 수 있다. 다음은 BERT의 주요 응용 분야이다:

• 텍스트 분류: BERT를 사용하면 텍스트의 감정 분석, 뉴스 분류, 스팸 필터링 등 다양한 텍스트 분류 작업에서 높은 성능을 얻을 수 있다.
• 질의 응답(Question Answering): BERT는 주어진 질문에 대해 문서에서 적절한 답변을 찾아내는 작업에 뛰어나다.
• 문장 유사도: BERT는 두 문장이 얼마나 유사한지를 판단하는 작업에서도 좋은 성능을 보인다.
• 이름 인식 엔터티 인식(Named Entity Recognition, NER): BERT를 사용하면 텍스트에서 사람, 장소, 조직 등 특정 엔터티를 효과적으로 식별할 수 있다.

---

BERT의 한계와 개선

BERT는 강력한 모델이지만, 몇 가지 한계도 있다:

• 자원 소모: BERT는 매우 많은 파라미터를 가지고 있어 학습과 추론에 많은 컴퓨팅 자원을 요구한다.
• 긴 문장 처리: BERT는 일반적으로 512 토큰 길이의 입력만 처리할 수 있습니다. 이보다 긴 문장은 별도로 처리해야 한다.

BERT는 논문에서 제시된 구성에 따라 BERT-Large 모델을 Tesla V100 32G * 8 GPU 서버 한 대로 Pre-training시, 약 2주간 학습이 필요한 무거운 모델이다. 따라서, 모델의 성능을 평가하고 향상시키는 과정을 감안했을 때, 실제 BERT를 기반으로 서비스할 수 있는 모델을 구축하기에는 많은 비용과 시간이 필요하다. 뿐만 아니라, 이렇게 무거운 모델을 바탕으로 서비스를 하는 것은 비용 및 반응 속도 측면에서 실용적이지 못하기 때문에, BERT 모델의 크기를 줄이는 경우가 많고, 불가피하게 모델의 성능을 저하시키게 된다.

 

이러한 한계를 극복하기 위해 DistilBERT, ALBERT 등의 경량화된 모델이나, RoBERTa와 같은 성능을 개선한 변형 모델들이 개발되었다.

---

[출처: 위키백과, 서울 SW-SoC융합R&D센터, NVIDIA]