728x90 nlp14 [딥러닝] RNN을 사용한 자연어 처리: 신경망 기계 번역 이전 내용 [딥러닝] RNN을 사용한 자연어 처리: 감성분석이전 내용 [딥러닝] RNN을 사용한 자연어 처리이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 3이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 2이전 내용 [딥러닝] RNN & Cpuppy-foot-it.tistory.com신경망 기계 번역(NMT, neural machine translation) 신경망 기계 번역(NMT, Neural Machine Translation)은 인공 신경망을 사용하여 한 언어에서 다른 언어로 텍스트를 자동으로 번역하는 기술을 말한다. NMT는 번역의 일관성과 품질을 향상시키기 위해 딥러닝 기술을 사용한다.- NMT의 주요 개념 및 구성 요소인코더-디.. 2024. 12. 5. [딥러닝] RNN을 사용한 자연어 처리: 감성분석 이전 내용 [딥러닝] RNN을 사용한 자연어 처리이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 3이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 2이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 1이전 내용puppy-foot-it.tistory.com감성 분석 이전에 수행했던 IMDb 영화 리뷰 데이터셋을 통해 감성분석을 수행해본다. [머신러닝] 텍스트 분석: 감성 분석텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이puppy-foot-it.tisto.. 2024. 12. 5. [딥러닝] RNN을 사용한 자연어 처리 이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 3이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 2이전 내용 [딥러닝] RNN & CNN(feat. 시카고 교통국 데이터셋) - 1이전 내용 [딥러닝] 객체 탐지, 객체 추적이전 내용 [딥러닝] 케라스의puppy-foot-it.tistory.comChar-RNN ◆ Char-RNN(문자 기반 순환신경망)Char-RNN은 문자 단위(Character-level)로 텍스트 데이터를 생성하거나 예측하는 순환 신경망(RNN) 모델로, 이 모델은 텍스트를 단어 단위가 아닌 문자 단위로 처리하며, 텍스트 생성, 언어 모델링, 문서 분류 등의 다양한 자연어 처리 문제에 사용된다. - 주요 특징 문자 단위 .. 2024. 12. 2. [머신러닝] 텍스트 분석: 한글 텍스트 처리 텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔puppy-foot-it.tistory.com이전 내용 [머신러닝] 텍스트 분석: 문서 유사도텍스트 분석이란? [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이puppy-foot-it.tistory.com한글 NLP 처리의 어려움 한글 언어 처리는 '띄어쓰기'와 '다양한 조사'로 인해 라틴어 계열의 언어(영어 .. 2024. 10. 31. [머신러닝] 텍스트 분석 머신러닝 기반 분석 모형 선정 [머신러닝] 머신러닝 기반 분석 모형 선정머신러닝 기반 분석 모형 선정 지도 학습, 비지도 학습, 강화 학습, 준지도 학습, 전이 학습 1) 지도 학습: 정답인 레이블(Label)이 포함되어 있는 학습 데이터를 통해 컴퓨터를 학습시키는 방법(puppy-foot-it.tistory.com이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔진, 이미지 분할, 준지도 학습, 차원 축소puppy-foot-it.tistory.com텍스트 분석 vs NLP [NLP, Natural Language Processing]머.. 2024. 10. 28. [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석(2) 이전 내용 [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모puppy-foot-it.tistory.com수행 목표 이전에 수행했던 '파이썬' 키워드 뉴스 기사 웹 스크래핑 + 워드 클라우드 작업에서 실패했던애플로고에 워드 클라우드 마스킹 작업을 하고, 워드 클라우드 및 마스킹 작업에 대해 좀 더 명확히 이해할 수 있도록 한다.웹 스크래핑, 토큰화, 불용어 처리 및 워드 클라우드 (사전 작업) 해당 작업은 동일하므로, 이전에 작업 시 작성했던 포스팅 (상단)을 확인하도록 한다.다만, 불용어 처리는 몇 .. 2024. 8. 21. [워드클라우드] 코로나 뉴스 기사 (feat.주사기 마스킹) 수행 내용 및 목표 엔데믹이 선언된 후 약 1년 좀 지난 요즘, 코로나 환자가 다시 증가하고 있다.실제로 내 주변에도 최근 코로나 감염자가 증가하고 있다.1) 네이버 뉴스에서 코로나 관련 기사들을 수집하여2) 워드클라우드를 만들어보고,3) 주사기 이미지에 마스킹하는 작업4) 그리고 주요 단어들의 빈도수 분석 및 연관 분석을 실행해보려 한다.★ 주피터 노트북을 통해 분석주피터 노트북 파일 생성 및 세팅 하기 먼저 주피터 노트북을 실행하여 새로운 파이썬 파일을 생성한다. 필요한 모듈을 import 하고, 기본 세팅을 한다.from tqdm import tqdm_notebookimport urllib.requestimport timeimport requests# 웹 스크래핑을 위한 BeautifulSoup와 .. 2024. 8. 19. [파이썬] 네이버 뉴스 댓글 분석(feat.임영웅) - 1 수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아1. 댓글을 분석하여 워드 클라우드를 생성2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 뉴스 선정 뉴스는 현재 기준 네이버 뉴스 상 댓글이 가장 많은 뉴스(수집하는 데이터 - 댓글 가 많을수록 유용하므로) 중 아무거나 하나를 고른다. (특정 단체, 정치 색 등과 아무 관련이 없음을 말씀 드립니다.)네이버 뉴스 - 랭킹 - 댓글 많은 뉴스 중 정치색이 담겨있지 않고, 최대한 자극적이지 않은 기사를 선정하도록 한다. 그렇게 선정된 기사 임영웅, 차승원·유해진과 '삼시세끼' 짓는다.. 나영석이 꾸린 '깜짝 밥상'가수 임영웅이 올 하반기 방송 예정인 tvN 새 예능프로그램 '삼시세끼' 새 시즌에 출연한다. 지난.. 2024. 6. 28. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 3(진행불가) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친puppy-foot-it.tistory.comgensim 사용해보기 gensim은 Python에서 자연어 처리를 위한 라이브러리 중 하나로, 토픽 모델링 및 자연어 처리 작업을 위한 도구를 제공한다. 이 라이브러리는 텍스트 문서를 분석하고 이를 벡터 형태로 변환하여 다양한 .. 2024. 5. 15. [파이썬] 자연어 처리(NLP) 시작하기 - 5 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 4시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com육아휴직 관련 법안 분석 KoNLPy가 내장하고 있는 법률 문서 중 하나를 가지고 기초적인 분석을 해보려 한다. 먼저 nltk를 import하고 KoNPLy의 내부 문서 중 육아휴직 관련 법안 제 1809890호를 읽어온다.import nltk# konlpy.. 2024. 5. 12. [파이썬] 자연어 처리(NLP) 시작하기 - 4 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 3시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com워드 클라우드 - 스타워즈 먼저 스타워즈의 A New Hope 텍스트 파일과 png 파일을 다운로드한 후, 파이썬에서 불러온다.text = open('../data/09. a_new_hope.txt').read()# 단어 처리text = text.repla.. 2024. 5. 8. [파이썬] 자연어 처리(NLP) 시작하기 - 2 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.자연어 처리(NLP)란? 자연어처리 (NLP; Natural langupuppy-foot-it.tistory.com한글 자연어 처리 기초 - 꼬꼬마 모듈 지난 분석에서 언급했듯, KoNLPy 는 꼬꼬마, 한나눔 등의 엔진을 사용할 수 있게 해준다.# konlpy.tag 모듈에서 Kkma 클래스를 가져오기from konlpy.tag import Kkm.. 2024. 5. 8. [파이썬] 자연어 처리(NLP) 시작하기 - 1 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.자연어 처리(NLP)란? 자연어처리 (NLP; Natural language Processing) 가 무엇인지 궁금하다면 하단의 글 참고 자연어(NL), 자연어 처리(NLP)란?자연어(NL)란? 출처: 나무위키 자연적으로 발생한 언어는 자연어(자연 언어, NL; Natural language)라고 정의한다. 사람들이 쓰는 언어는 대부분 자연어이다. 여기서 자연이란 뜻은 다음과 같다. 사회puppy-foot-it.tistory.com한글 자연어 처리를 위한 KoNLPy 모듈 설치 ※ KoNLPy 모듈은 Lucy Park 이라는 분이 개발한 한글 자연어 처.. 2024. 5. 6. 자연어(NL), 자연어 처리(NLP)란? 자연어(NL)란? 출처: 나무위키 자연적으로 발생한 언어는 자연어(자연 언어, NL; Natural language)라고 정의한다. 사람들이 쓰는 언어는 대부분 자연어이다. 여기서 자연이란 뜻은 다음과 같다. 사회과학적인 의미의 자연적이란, 특정한 누군가가 뚜렷한 목적을 가지고 만들어낸 것임이 명확하지 않고 불특정 다수가 살아가는 과정에서 만들어지는 것이다. 따라서 인간이 만들었지만 누가 처음부터 끝까지 설계하고 만든 것이 아니라, 인류가 살아가는 과정에서 자연스레 만들어졌기 때문에 자연어로 분류된다.자연어처리(NLP)란?출처: 구글 클라우드 자연어 처리(NLP; Natural language Processing )는 머신러닝을 사용하여 텍스트의 구조와 의미를 파악한다. 자연어 처리 애플리케이션을 사용.. 2024. 5. 6. 이전 1 다음 728x90
