728x90 셀프 어텐션1 [신경망 모델] 트랜스포머(Transformer) 모델이란? 트랜스포머 모델이란? 트랜스포머 모델(Transformer)은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망이다. 자연어 처리(NLP)와 딥러닝 분야에서 혁신적인 변화를 가져온 모델로, 특히 번역, 텍스트 생성, 요약 등 다양한 언어 관련 작업에서 뛰어난 성능을 보인다. 트랜스포머 모델은 어텐션(attention) 또는 셀프어텐션(self-attention)이라 불리며 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지해낸다.이 모델은 2017년 구글의 연구팀이 발표한 "Attention is All You Need"라는 논문에서 처음 소개된 모델이다. 기존의 순환 신경망(RNN)이나 장단기 메모.. 2024. 8. 19. 이전 1 다음 728x90
