728x90 [파이썬 Projects]/<파이썬 데이터 분석>47 [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석(2) 이전 내용 [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모puppy-foot-it.tistory.com수행 목표 이전에 수행했던 '파이썬' 키워드 뉴스 기사 웹 스크래핑 + 워드 클라우드 작업에서 실패했던애플로고에 워드 클라우드 마스킹 작업을 하고, 워드 클라우드 및 마스킹 작업에 대해 좀 더 명확히 이해할 수 있도록 한다.웹 스크래핑, 토큰화, 불용어 처리 및 워드 클라우드 (사전 작업) 해당 작업은 동일하므로, 이전에 작업 시 작성했던 포스팅 (상단)을 확인하도록 한다.다만, 불용어 처리는 몇 .. 2024. 8. 21. [워드클라우드] 코로나 뉴스 기사 (feat.주사기 마스킹) 수행 내용 및 목표 엔데믹이 선언된 후 약 1년 좀 지난 요즘, 코로나 환자가 다시 증가하고 있다.실제로 내 주변에도 최근 코로나 감염자가 증가하고 있다.1) 네이버 뉴스에서 코로나 관련 기사들을 수집하여2) 워드클라우드를 만들어보고,3) 주사기 이미지에 마스킹하는 작업4) 그리고 주요 단어들의 빈도수 분석 및 연관 분석을 실행해보려 한다.★ 주피터 노트북을 통해 분석주피터 노트북 파일 생성 및 세팅 하기 먼저 주피터 노트북을 실행하여 새로운 파이썬 파일을 생성한다. 필요한 모듈을 import 하고, 기본 세팅을 한다.from tqdm import tqdm_notebookimport urllib.requestimport timeimport requests# 웹 스크래핑을 위한 BeautifulSoup와 .. 2024. 8. 19. [파이썬] 네이버 뉴스 댓글 추첨 (feat.임영웅) - 2 수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아1. 댓글을 분석하여 워드 클라우드를 생성2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 이전 내용 [파이썬] 네이버 뉴스 댓글 분석(feat.임영웅) - 1수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아 1. 댓글을 분석하여 워드 클라우드를 생성 2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 뉴puppy-foot-it.tistory.com 가수 임영웅님이 '삼시세끼'에 출연한다는 기사에 달린 댓글을 이용하여 자연어 처리 과정을 거친 후워드 클라우드를 생성하였다. 관련 기사 임영웅, 차승원·유해진과 '삼시세끼' 짓는다.. 나영석이 꾸린 '깜짝 밥상'가.. 2024. 6. 29. [파이썬] 네이버 뉴스 댓글 분석(feat.임영웅) - 1 수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아1. 댓글을 분석하여 워드 클라우드를 생성2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 뉴스 선정 뉴스는 현재 기준 네이버 뉴스 상 댓글이 가장 많은 뉴스(수집하는 데이터 - 댓글 가 많을수록 유용하므로) 중 아무거나 하나를 고른다. (특정 단체, 정치 색 등과 아무 관련이 없음을 말씀 드립니다.)네이버 뉴스 - 랭킹 - 댓글 많은 뉴스 중 정치색이 담겨있지 않고, 최대한 자극적이지 않은 기사를 선정하도록 한다. 그렇게 선정된 기사 임영웅, 차승원·유해진과 '삼시세끼' 짓는다.. 나영석이 꾸린 '깜짝 밥상'가수 임영웅이 올 하반기 방송 예정인 tvN 새 예능프로그램 '삼시세끼' 새 시즌에 출연한다. 지난.. 2024. 6. 28. [파이썬] 지도시각화: 한남동, 이태원 맛집 분석 - 4 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 그 중 'Hashtag' 컬럼 내용을 텍스트 파일로 저장하여 불용어 처리 등의 자연어 처리 작업을 거쳐워드 클라우드를 통해 해당 지역 맛집의 특징을 전달한다.지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.이전 내용 [파이썬] 자연어처리(NLP): 한남동, 이태원 맛집 분석 - 3프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 그 중 'Hashtag' 컬럼 내용을 텍스트 파일로 저장하여 불용어 처리 등의 자연puppy-foot-it.t.. 2024. 6. 26. [파이썬] 자연어처리(NLP): 한남동, 이태원 맛집 분석 - 3 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 그 중 'Hashtag' 컬럼 내용을 텍스트 파일로 저장하여 불용어 처리 등의 자연어 처리 작업을 거쳐워드 클라우드를 통해 해당 지역 맛집의 특징을 전달한다.지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.이전 내용 [파이썬] 데이터분석: 한남동, 이태원 맛집 분석 - 2프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트puppy-foot-it.tistory... 2024. 6. 25. [파이썬] 데이터 전처리: 한남동, 이태원 맛집 분석 - 2 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 데이터 전처리를 수행하여 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.이전 내용 [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석 - 1프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는puppy-foot-it.tistory.comcsv 파일 불러오기 지난 시간에 저장했던 csv 파일을 불러오고, 필요한 모듈들을 importfrom selenium im.. 2024. 6. 25. [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석 - 1 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.'디너의 여왕' 사이트에서 맛집 리스트 얻기 https://dinnerqueen.net/restaurant/area/4. 디너의여왕 - 이태원&한남동 맛집랭킹오늘 뭐 먹을지 고민된다면, 디너의여왕만의 빅데이터 맛집 랭킹을 찾아주세요.dinnerqueen.net리스트로 저장된 맛집 리스트 문자열로 바꾸기 (실패)다른 방식으로의 접근 위의 과정을 거쳐 texts라는 변수에 식당 이름, 주소, 리뷰 등의 정보가 잘 저장되었으나,문제는 해당 값이 리스트 형으로 저장되어.. 2024. 6. 24. [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석(실패) 해당 프로젝트는 실패하여 중간에 중단하였으므로, 어떻게 실패했는지 궁금하고,만약에 이렇게 했으면 성공했을텐데 라는 조언을 주실 분이 읽어주셨으면 합니다. 참고로, 아래는 성공한 글입니다. [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석 - 1프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트puppy-foot-it.tistory.com프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사.. 2024. 6. 24. [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석 분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모델까지 만들어보는 것을 목표로 한다.텍스트 분석에 필요한 기본 세팅(모듈, 라이브러리 설치) 여태까지 하던 노트북이 아닌, 새로운 컴퓨터에서 분석을 시작하므로텍스트 분석 및 기타 파이썬 기능을 활용하기 위한 모듈과 라이브러리 등을 설치하는 작업이 필요하다. 1) cmd (윈도우 키 + R) 실행하여 pip install konlpy 로 KoNPLy 모듈 설치 2) JVD Jdk 다운로드https://jdk.java.net/22/https://blog.naver.com/devscb/223042574277다운로드 한 .. 2024. 5. 16. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 3(진행불가) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친puppy-foot-it.tistory.comgensim 사용해보기 gensim은 Python에서 자연어 처리를 위한 라이브러리 중 하나로, 토픽 모델링 및 자연어 처리 작업을 위한 도구를 제공한다. 이 라이브러리는 텍스트 문서를 분석하고 이를 벡터 형태로 변환하여 다양한 .. 2024. 5. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전 - 성공) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(실패)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬.. 2024. 5. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(실패) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com※ 이번 챕터는 실패 (+ 포기) 한 챕터이므로, 성공 버전은 아래 링크로 넘어가시면 됩니다. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대.. 2024. 5. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 1 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 8시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com여자친구 선물 고르기 네이버의 지식인에서 여자친구 선물 이라는 주제로 검색을 하고 그 검색 결과를 자연어 처리먼저 네이버 지식인에서 '여자 친구 선물' 검색 후, 크롬 개발자 도구(F12)로 질문에 대한 답변이 위치한 곳의 태그 찾음 그리고 그래프를 그리기 .. 2024. 5. 15. [파이썬] 자연어 처리(NLP) 시작하기 - 8 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 7시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다. 보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com문장의 유사도 측정하기 분류는 지도학습이라 미리 정답을 알고 있어야 하는데, 이번 챕터에서는 많은 문장 혹은 문서들 중에서 유사한 문장을 찾아내는 방법에 대해 진행해보려고 한다. 만약 어떤 문장을 벡터로 표현할 수 있다면 벡터 간 거리를 구하는 방법으로 손.. 2024. 5. 14. 이전 1 2 3 4 다음 728x90
