728x90 자연어 처리12 [딥러닝] RNN을 사용한 자연어 처리: 신경망 기계 번역 이전 내용 [딥러닝] RNN을 사용한 자연어 처리: 감성분석이전 내용 [딥러닝] RNN을 사용한 자연어 처리이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 3이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 2이전 내용 [딥러닝] RNN & Cpuppy-foot-it.tistory.com신경망 기계 번역(NMT, neural machine translation) 신경망 기계 번역(NMT, Neural Machine Translation)은 인공 신경망을 사용하여 한 언어에서 다른 언어로 텍스트를 자동으로 번역하는 기술을 말한다. NMT는 번역의 일관성과 품질을 향상시키기 위해 딥러닝 기술을 사용한다.- NMT의 주요 개념 및 구성 요소인코더-디.. 2024. 12. 5. [머신러닝] 텍스트 분석: 한글 텍스트 처리 텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔puppy-foot-it.tistory.com이전 내용 [머신러닝] 텍스트 분석: 문서 유사도텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이puppy-foot-it.tistory.com한글 NLP 처리의 어려움 한글 언어 처리는 '띄어쓰기'와 '다양한 조사'로 인해 라틴어 계열의 언어(영어 .. 2024. 10. 31. [머신러닝] 텍스트 분석 머신러닝 기반 분석 모형 선정 [머신러닝] 머신러닝 기반 분석 모형 선정머신러닝 기반 분석 모형 선정 지도 학습, 비지도 학습, 강화 학습, 준지도 학습, 전이 학습 1) 지도 학습: 정답인 레이블(Label)이 포함되어 있는 학습 데이터를 통해 컴퓨터를 학습시키는 방법(puppy-foot-it.tistory.com이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔진, 이미지 분할, 준지도 학습, 차원 축소puppy-foot-it.tistory.com텍스트 분석 vs NLP [NLP, Natural Language Processing]머.. 2024. 10. 28. [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석(2) 이전 내용 [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모puppy-foot-it.tistory.com수행 목표 이전에 수행했던 '파이썬' 키워드 뉴스 기사 웹 스크래핑 + 워드 클라우드 작업에서 실패했던애플로고에 워드 클라우드 마스킹 작업을 하고, 워드 클라우드 및 마스킹 작업에 대해 좀 더 명확히 이해할 수 있도록 한다.웹 스크래핑, 토큰화, 불용어 처리 및 워드 클라우드 (사전 작업) 해당 작업은 동일하므로, 이전에 작업 시 작성했던 포스팅 (상단)을 확인하도록 한다.다만, 불용어 처리는 몇 .. 2024. 8. 21. [워드클라우드] 코로나 뉴스 기사 (feat.주사기 마스킹) 수행 내용 및 목표 엔데믹이 선언된 후 약 1년 좀 지난 요즘, 코로나 환자가 다시 증가하고 있다.실제로 내 주변에도 최근 코로나 감염자가 증가하고 있다.1) 네이버 뉴스에서 코로나 관련 기사들을 수집하여2) 워드클라우드를 만들어보고,3) 주사기 이미지에 마스킹하는 작업4) 그리고 주요 단어들의 빈도수 분석 및 연관 분석을 실행해보려 한다.★ 주피터 노트북을 통해 분석주피터 노트북 파일 생성 및 세팅 하기 먼저 주피터 노트북을 실행하여 새로운 파이썬 파일을 생성한다. 필요한 모듈을 import 하고, 기본 세팅을 한다.from tqdm import tqdm_notebookimport urllib.requestimport timeimport requests# 웹 스크래핑을 위한 BeautifulSoup와 .. 2024. 8. 19. [NLP 모델] BERT(Bidirectional Encoder Representations from Transformers)란? BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리(NLP) 분야에서 혁신적인 도구로 자리 잡은 모델이다. BERT는 2018년 구글이 발표한 모델로, NLP 작업에서 인간 수준의 성능을 구현하는 데 큰 기여를 했다. BERT란 무엇인가?BERT는 "Bidirectional Encoder Representations from Transformers"의 약자로, 양방향 인코더 표현을 사용하는 트랜스포머라는 의미이다. 기존의 NLP 모델들이 주로 문장의 앞에서 뒤로, 또는 뒤에서 앞으로 데이터를 처리한 것과 달리, BERT는 양방향으로 문맥을 이해할 수 있다. 즉, 문장 내에서 특정 단어가 앞뒤로 어떤 단어들과 연결되어 있는지를 동시에.. 2024. 8. 19. [신경망 모델] 트랜스포머(Transformer) 모델이란? 트랜스포머 모델이란? 트랜스포머 모델(Transformer)은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망이다. 자연어 처리(NLP)와 딥러닝 분야에서 혁신적인 변화를 가져온 모델로, 특히 번역, 텍스트 생성, 요약 등 다양한 언어 관련 작업에서 뛰어난 성능을 보인다. 트랜스포머 모델은 어텐션(attention) 또는 셀프어텐션(self-attention)이라 불리며 진화를 거듭하는 수학적 기법을 응용해 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지해낸다.이 모델은 2017년 구글의 연구팀이 발표한 "Attention is All You Need"라는 논문에서 처음 소개된 모델이다. 기존의 순환 신경망(RNN)이나 장단기 메모.. 2024. 8. 19. [LLM]검색 증강 생성(RAG)이란? AG (Retrieval-Augmented Generation) 소개최근 인공지능 분야에서 가장 주목받고 있는 기술 중 하나는 RAG, 즉 Retrieval-Augmented Generation이다. 이 기술은 전통적인 생성 모델과 검색 모델의 장점을 결합하여 보다 정확하고 풍부한 응답을 생성한다. RAG는 인공지능 분야에서 정보 검색과 생성의 융합을 통해 사용자에게 더 나은 경험을 제공하는 혁신적인 기술이다. 정확도와 효율성을 동시에 추구하는 RAG를 통해 다양한 응용 분야에서의 활용이 기대된다.RAG란?RAG는 크게 두 부분으로 구성된다:Retrieval(검색): 먼저, 시스템은 주어진 질문이나 요청과 관련된 정보를 데이터베이스나 문서 집합에서 검색한다. 이 단계에서 사용되는 모델은 일반적으로 대규.. 2024. 8. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 3(진행불가) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친puppy-foot-it.tistory.comgensim 사용해보기 gensim은 Python에서 자연어 처리를 위한 라이브러리 중 하나로, 토픽 모델링 및 자연어 처리 작업을 위한 도구를 제공한다. 이 라이브러리는 텍스트 문서를 분석하고 이를 벡터 형태로 변환하여 다양한 .. 2024. 5. 15. [파이썬] 자연어 처리(NLP) 시작하기 - 4 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 3시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com워드 클라우드 - 스타워즈 먼저 스타워즈의 A New Hope 텍스트 파일과 png 파일을 다운로드한 후, 파이썬에서 불러온다.text = open('../data/09. a_new_hope.txt').read()# 단어 처리text = text.repla.. 2024. 5. 8. [파이썬] 자연어 처리(NLP) 시작하기 - 1 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.자연어 처리(NLP)란? 자연어처리 (NLP; Natural language Processing) 가 무엇인지 궁금하다면 하단의 글 참고 자연어(NL), 자연어 처리(NLP)란?자연어(NL)란? 출처: 나무위키 자연적으로 발생한 언어는 자연어(자연 언어, NL; Natural language)라고 정의한다. 사람들이 쓰는 언어는 대부분 자연어이다. 여기서 자연이란 뜻은 다음과 같다. 사회puppy-foot-it.tistory.com한글 자연어 처리를 위한 KoNLPy 모듈 설치 ※ KoNLPy 모듈은 Lucy Park 이라는 분이 개발한 한글 자연어 처.. 2024. 5. 6. 자연어(NL), 자연어 처리(NLP)란? 자연어(NL)란? 출처: 나무위키 자연적으로 발생한 언어는 자연어(자연 언어, NL; Natural language)라고 정의한다. 사람들이 쓰는 언어는 대부분 자연어이다. 여기서 자연이란 뜻은 다음과 같다. 사회과학적인 의미의 자연적이란, 특정한 누군가가 뚜렷한 목적을 가지고 만들어낸 것임이 명확하지 않고 불특정 다수가 살아가는 과정에서 만들어지는 것이다. 따라서 인간이 만들었지만 누가 처음부터 끝까지 설계하고 만든 것이 아니라, 인류가 살아가는 과정에서 자연스레 만들어졌기 때문에 자연어로 분류된다.자연어처리(NLP)란?출처: 구글 클라우드 자연어 처리(NLP; Natural language Processing )는 머신러닝을 사용하여 텍스트의 구조와 의미를 파악한다. 자연어 처리 애플리케이션을 사용.. 2024. 5. 6. 이전 1 다음 728x90
