728x90 [파이썬 Projects]188 [파이썬 머신러닝] 주요 패키지 파이썬 머신러닝 생태계를 구성하는 주요 패키지 파이썬 언어를 이용해 머신러닝 애플리케이션을 작성하기 위해서는 먼저 관련된 여러 패키지에 친숙해져야 한다. [파이썬 기반의 머신러닝에 필요한 주요 패키지] ◆ 사이킷런(Scikit-Learn): 머신러닝 패키지 scikit-learn(이전 명칭: scikits.learn, sklearn)은 파이썬 프로그래밍 언어용 자유 소프트웨어 기계 학습 라이브러리이다. 다양한 분류, 회귀, 그리고 서포트 벡터 머신, 랜덤 포레스트, 그라디언트 부스팅, k-평균, DBSCAN을 포함한 클러스터링 알고리즘을 특징으로 하며, 파이썬의 수치 및 과학 라이브러리 NumPy 및 SciPy와 함께 운용되도록 설계되었다. [출처: 위키백과] 많은 데이터 과학자와 분석가들이 꼽는 파이썬.. 2024. 5. 25. [파이썬 머신러닝] 머신러닝과 생태계 이해 머신러닝의 개념 머신러닝은 일반적으로, 애플리케이션을 수정하지 않고도 데이터를 기반으로 패턴을 학습하고 결과를 예측하는 알고리즘 기법을 통칭한다.업무적으로 복잡한 조건/규칙들이 다양한 형태로 결합하고 시시각각 변하면서 도저히 소프트웨어 코드로 로직을 구성하여 이들을 관통하는 일정한 패턴을 찾기 어려운 경우에 머신러닝은 훌륭한 솔루션을 제공한다.ex) 스팸메일 필터링, 금융 사기 거래 적발 등 머신러닝은 데이터를 기반으로 숨겨진 패턴을 인지해 문제를 해결하고, 머신러닝 알고리즘은 데이터를 기반으로 통계적인 신뢰도를 강화하고 예측 오류를 최소화하기 위한 다양한 수학적 기법을 적용해 데이터 내의 패턴을 스스로 인지하고 신뢰도 있는 에측 결과를 도출해 낸다. 데이터마이닝, 영상 인식, 음성 인식, 자연어 처리에.. 2024. 5. 17. [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석 분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모델까지 만들어보는 것을 목표로 한다.텍스트 분석에 필요한 기본 세팅(모듈, 라이브러리 설치) 여태까지 하던 노트북이 아닌, 새로운 컴퓨터에서 분석을 시작하므로텍스트 분석 및 기타 파이썬 기능을 활용하기 위한 모듈과 라이브러리 등을 설치하는 작업이 필요하다. 1) cmd (윈도우 키 + R) 실행하여 pip install konlpy 로 KoNPLy 모듈 설치 2) JVD Jdk 다운로드https://jdk.java.net/22/https://blog.naver.com/devscb/223042574277다운로드 한 .. 2024. 5. 16. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 3(진행불가) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친puppy-foot-it.tistory.comgensim 사용해보기 gensim은 Python에서 자연어 처리를 위한 라이브러리 중 하나로, 토픽 모델링 및 자연어 처리 작업을 위한 도구를 제공한다. 이 라이브러리는 텍스트 문서를 분석하고 이를 벡터 형태로 변환하여 다양한 .. 2024. 5. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전 - 성공) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(실패)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬.. 2024. 5. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(실패) 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com※ 이번 챕터는 실패 (+ 포기) 한 챕터이므로, 성공 버전은 아래 링크로 넘어가시면 됩니다. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 2(재도전)시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대.. 2024. 5. 15. [파이썬] 자연어 처리(NLP) - 여자친구 선물 고르기 : 1 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 8시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com여자친구 선물 고르기 네이버의 지식인에서 여자친구 선물 이라는 주제로 검색을 하고 그 검색 결과를 자연어 처리먼저 네이버 지식인에서 '여자 친구 선물' 검색 후, 크롬 개발자 도구(F12)로 질문에 대한 답변이 위치한 곳의 태그 찾음 그리고 그래프를 그리기 .. 2024. 5. 15. [파이썬] 자연어 처리(NLP) 시작하기 - 8 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 7시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다. 보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com문장의 유사도 측정하기 분류는 지도학습이라 미리 정답을 알고 있어야 하는데, 이번 챕터에서는 많은 문장 혹은 문서들 중에서 유사한 문장을 찾아내는 방법에 대해 진행해보려고 한다. 만약 어떤 문장을 벡터로 표현할 수 있다면 벡터 간 거리를 구하는 방법으로 손.. 2024. 5. 14. [파이썬] 자연어 처리(NLP) 시작하기 - 7 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 6시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.comNaive Bayes Classifier의 이해 - 한글 한글에서는 형태소 분석을 해야 한다.우선, 형태소 분석 이전에 okt(구 twitter) 모듈을 import 하고 기본 세팅을 해준다. ※ Okt 클래스는 한글 형태소 분석기로, 문장을 형태소 단위로 .. 2024. 5. 13. [파이썬] 자연어 처리(NLP) 시작하기 - 6 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 5시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.comNaive Bayes Classifier의 이해 - 영문 ※ 나이브 베이즈 분류분류기를 만들 수 있는 간단한 기술로 단일 알고리즘을 통한 훈련이 아닌 일반적인 원칙에 근거한 여러 알고리즘들을 이용하여 훈련된다.장점으로는 분류에 필요한 파라미터를 추정하기 위한.. 2024. 5. 13. [파이썬] 자연어 처리(NLP) 시작하기 - 5 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 4시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com육아휴직 관련 법안 분석 KoNLPy가 내장하고 있는 법률 문서 중 하나를 가지고 기초적인 분석을 해보려 한다. 먼저 nltk를 import하고 KoNPLy의 내부 문서 중 육아휴직 관련 법안 제 1809890호를 읽어온다.import nltk# konlpy.. 2024. 5. 12. [파이썬] 자연어 처리(NLP) 시작하기 - 4 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 3시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기puppy-foot-it.tistory.com워드 클라우드 - 스타워즈 먼저 스타워즈의 A New Hope 텍스트 파일과 png 파일을 다운로드한 후, 파이썬에서 불러온다.text = open('../data/09. a_new_hope.txt').read()# 단어 처리text = text.repla.. 2024. 5. 8. [파이썬] 자연어 처리(NLP) 시작하기 - 3 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 2시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하puppy-foot-it.tistory.com워드 클라우드 (word cloud) 개념 워드 클라우드(word cloud)란, 자주 나타나는 단어를 크게 보여줌으로써 직관적으로 텍스트를 알리는 데 도움을 준다.파이썬에서 사용할 수 있는 워드 클라우드가 몇 가지 있는데, 그 중 하나를 소개한다. 워드 클.. 2024. 5. 8. [파이썬] 자연어 처리(NLP) 시작하기 - 2 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.지난 챕터 [파이썬] 자연어 처리(NLP) 시작하기 - 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.자연어 처리(NLP)란? 자연어처리 (NLP; Natural langupuppy-foot-it.tistory.com한글 자연어 처리 기초 - 꼬꼬마 모듈 지난 분석에서 언급했듯, KoNLPy 는 꼬꼬마, 한나눔 등의 엔진을 사용할 수 있게 해준다.# konlpy.tag 모듈에서 Kkma 클래스를 가져오기from konlpy.tag import Kkm.. 2024. 5. 8. [파이썬] 자연어 처리(NLP) 시작하기 - 1 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.자연어 처리(NLP)란? 자연어처리 (NLP; Natural language Processing) 가 무엇인지 궁금하다면 하단의 글 참고 자연어(NL), 자연어 처리(NLP)란?자연어(NL)란? 출처: 나무위키 자연적으로 발생한 언어는 자연어(자연 언어, NL; Natural language)라고 정의한다. 사람들이 쓰는 언어는 대부분 자연어이다. 여기서 자연이란 뜻은 다음과 같다. 사회puppy-foot-it.tistory.com한글 자연어 처리를 위한 KoNLPy 모듈 설치 ※ KoNLPy 모듈은 Lucy Park 이라는 분이 개발한 한글 자연어 처.. 2024. 5. 6. 이전 1 ··· 7 8 9 10 11 12 13 다음 728x90
