TOP
본문 바로가기
728x90

자연어 처리12

[딥러닝] RNN을 사용한 자연어 처리: 신경망 기계 번역 이전 내용 [딥러닝] RNN을 사용한 자연어 처리: 감성분석이전 내용 [딥러닝] RNN을 사용한 자연어 처리이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 3이전 내용  [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 2이전 내용 [딥러닝] RNN & Cpuppy-foot-it.tistory.com신경망 기계 번역(NMT, neural machine translation) 신경망 기계 번역(NMT, Neural Machine Translation)은 인공 신경망을 사용하여 한 언어에서 다른 언어로 텍스트를 자동으로 번역하는 기술을 말한다. NMT는 번역의 일관성과 품질을 향상시키기 위해 딥러닝 기술을 사용한다.- NMT의 주요 개념 및 구성 요소인코더-디.. 2024. 12. 5.
[머신러닝] 텍스트 분석: 한글 텍스트 처리 텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔puppy-foot-it.tistory.com이전 내용 [머신러닝] 텍스트 분석: 문서 유사도텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이puppy-foot-it.tistory.com한글 NLP 처리의 어려움 한글 언어 처리는 '띄어쓰기'와 '다양한 조사'로 인해 라틴어 계열의 언어(영어 .. 2024. 10. 31.
[머신러닝] 텍스트 분석 머신러닝 기반 분석 모형 선정  [머신러닝] 머신러닝 기반 분석 모형 선정머신러닝 기반 분석 모형 선정   지도 학습, 비지도 학습, 강화 학습, 준지도 학습, 전이 학습 1) 지도 학습: 정답인 레이블(Label)이 포함되어 있는 학습 데이터를 통해 컴퓨터를 학습시키는 방법(puppy-foot-it.tistory.com이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔진, 이미지 분할, 준지도 학습, 차원 축소puppy-foot-it.tistory.com텍스트 분석 vs NLP [NLP, Natural Language Processing]머.. 2024. 10. 28.
[파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석(2) 이전 내용  [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모puppy-foot-it.tistory.com수행 목표 이전에 수행했던 '파이썬' 키워드 뉴스 기사 웹 스크래핑 + 워드 클라우드 작업에서 실패했던애플로고에 워드 클라우드 마스킹 작업을 하고, 워드 클라우드 및 마스킹 작업에 대해 좀 더 명확히 이해할 수 있도록 한다.웹 스크래핑, 토큰화, 불용어 처리 및 워드 클라우드 (사전 작업) 해당 작업은 동일하므로, 이전에 작업 시 작성했던 포스팅 (상단)을 확인하도록 한다.다만, 불용어 처리는 몇 .. 2024. 8. 21.
[워드클라우드] 코로나 뉴스 기사 (feat.주사기 마스킹) 수행 내용 및 목표 엔데믹이 선언된 후 약 1년 좀 지난 요즘, 코로나 환자가 다시 증가하고 있다.실제로 내 주변에도 최근 코로나 감염자가 증가하고 있다.1) 네이버 뉴스에서 코로나 관련 기사들을 수집하여2) 워드클라우드를 만들어보고,3) 주사기 이미지에 마스킹하는 작업4) 그리고 주요 단어들의 빈도수 분석 및 연관 분석을 실행해보려 한다.★ 주피터 노트북을 통해 분석주피터 노트북 파일 생성 및 세팅 하기 먼저 주피터 노트북을 실행하여 새로운 파이썬 파일을 생성한다. 필요한 모듈을 import 하고, 기본 세팅을 한다.from tqdm import tqdm_notebookimport urllib.requestimport timeimport requests# 웹 스크래핑을 위한 BeautifulSoup와 .. 2024. 8. 19.
[NLP 모델] BERT(Bidirectional Encoder Representations from Transformers)란? BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리(NLP) 분야에서 혁신적인 도구로 자리 잡은 모델이다. BERT는 2018년 구글이 발표한 모델로, NLP 작업에서 인간 수준의 성능을 구현하는 데 큰 기여를 했다. BERT란 무엇인가?BERT는 "Bidirectional Encoder Representations from Transformers"의 약자로, 양방향 인코더 표현을 사용하는 트랜스포머라는 의미이다. 기존의 NLP 모델들이 주로 문장의 앞에서 뒤로, 또는 뒤에서 앞으로 데이터를 처리한 것과 달리, BERT는 양방향으로 문맥을 이해할 수 있다. 즉, 문장 내에서 특정 단어가 앞뒤로 어떤 단어들과 연결되어 있는지를 동시에.. 2024. 8. 19.
728x90

티스토리툴바