728x90 Python38 [머신러닝] 데이터 전처리 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 네이버 도서책으로 만나는 새로운 세상search.shopping.naver.com 데이터 전처리(Data Preprocessing) ML 알고리즘은 데이터에 기반하고 있어 어떤 데이터를 입력으로 가지느냐에 따라 결과도 크게 달라질 수 있기 때문에 데이터 전처리가 매우 중요하다. [데이터 전처리 기본 사항]결손값(Null, NaN)은 허용되지 않는다. : 결손값은 고정된 다른 값으로 변환되어야 한다.사이킷런의 머신러닝 알고리즘은 문자열 값을 입력값으로 허용하지 않는다.: 모든 문자열은 인코딩돼서 숫자 형으로 변환해야 한다.데이터 인코딩 레이블 인코.. 2024. 6. 9. [머신러닝] 사이킷런에 내장된 예제 데이터 세트 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 네이버 도서책으로 만나는 새로운 세상search.shopping.naver.com 이전 내용 [파이썬] 사이킷런 주요 모듈시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 네이버 도서책으로 만나는puppy-foot-it.tistory.com내장된 예제 데이터 세트 사이킷런에는 별도의 예제로 활용할 수 있는 간단하면서도 좋은 데이터 세트가 내장되어 있다.이 데이터는 datasets 모듈에 있는 여러 API를 호출해 만들 수 있다.사이킷런에.. 2024. 5. 30. [머신러닝] 주요 패키지 파이썬 머신러닝 생태계를 구성하는 주요 패키지 파이썬 언어를 이용해 머신러닝 애플리케이션을 작성하기 위해서는 먼저 관련된 여러 패키지에 친숙해져야 한다. [파이썬 기반의 머신러닝에 필요한 주요 패키지] ◆ 사이킷런(Scikit-Learn): 머신러닝 패키지 scikit-learn(이전 명칭: scikits.learn, sklearn)은 파이썬 프로그래밍 언어용 자유 소프트웨어 기계 학습 라이브러리이다. 다양한 분류, 회귀, 그리고 서포트 벡터 머신, 랜덤 포레스트, 그라디언트 부스팅, k-평균, DBSCAN을 포함한 클러스터링 알고리즘을 특징으로 하며, 파이썬의 수치 및 과학 라이브러리 NumPy 및 SciPy와 함께 운용되도록 설계되었다. [출처: 위키백과] 많은 데이터 과학자와 분석가들이 꼽는 파이썬.. 2024. 5. 25. [머신러닝] 머신러닝과 생태계 이해 머신러닝의 개념 머신러닝은 일반적으로, 애플리케이션을 수정하지 않고도 데이터를 기반으로 패턴을 학습하고 결과를 예측하는 알고리즘 기법을 통칭한다. 톰 미첼(Tom Mitchell)은 머신러닝에 대해"어떤 작업 T에 대한 컴퓨터 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 컴퓨터 프로그램은 작업 T와 성능 측정 P에 대해 경험 E로 학습한 것이다"라고 했다.훈련 세트: 시스템이 학습하는 데 사용하는 샘플훈련 사례(샘플): 각각의 훈련 데이터모델: 머신러닝 시스템에서 학습하고 예측을 만드는 부분 (예. 신경망, 랜덤 포레스트 등)업무적으로 복잡한 조건/규칙들이 다양한 형태로 결합하고 시시각각 변하면서 도저히 소프트웨어 코드로 로직을 구성하여 이들을 관통하는 일정한 패턴을 찾기 .. 2024. 5. 17. [파이썬] 19대 대선 결과 분석 -3 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.이전 분석 내용 [파이썬] 19대 대선 결과 분석 -2시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.이전 분석 내용 [파이썬] 19대 대선 결과 분석 -puppy-foot-it.tistory.com'draw_korea' csv 파일 불러오기 이전에 작업했던 'draw_korea.csv' 파일을 읽어온다.draw_korea = pd.read_csv('../data/05. draw_korea.csv', encoding='utf-8', index_col=0).. 2024. 5. 4. [24년 6th] 파이썬 머신러닝 완벽 가이드 김철민저, 위키북스 는 이론 위주의 머신러닝 책이 아닌 다양한 실전 예제를 직접 구현해 보면서 머신러닝을 체득할 수 있도록 하였다. 실전에서 자주 사용되는 알고리즘과 반드시 알아야 할 핵심 개념 설명에 집중했으며, 코드 작성과 예제를 통해 핵심 개념을 이해할 수 있도록 하였다. 이 책은 머신러닝 입문자보다는 머신러닝에 조금이라도 경험이 있는 사람들을 대상으로 집필된 책이라 입문자에게는 난이도가 있는 편이다. 목차를 보면 빅데이터 분석기사 필기 준비 때 공부했던 다양한 이론을 실제 어떻게 분석하고 구현하는지 잘 나와있어 실무를 배우는데 큰 도움이 될 것으로 보인다. 700 페이지가 넘어가는 방대한 양에 다양한 내용을 담았으므로, 머신러닝을 배우고 싶은 이들에게 큰 도움이 될 듯하다. 현재 진행 중인 프로젝.. 2024. 5. 4. [파이썬] 19대 대선 결과 분석 -2 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.이전 분석 내용 [파이썬] 19대 대선 결과 분석 -1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.데이터 획득 준비하기 (Selenium, Beautiful Soup) 본puppy-foot-it.tistory.comBeaufiful Soup 으로 필요한 수치 획득하기 먼저 BeautifulSoup Import를 하고from bs4 import BeautifulSouphtml = driver.page_sourcesoup = BeautifulSoup(ht.. 2024. 5. 1. [파이썬] 우리나라 인구 소멸 위기 지역 분석 - 4 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.이전 시간 분석 [파이썬] 우리나라 인구 소멸 위기 지역 분석 - 3시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다. 보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.이전 시간 분석 [파이썬] 우리나라 인구 소멸puppy-foot-it.tistory.com인구소멸위기지역 확인 전 시간에 그렸던 인구수합계에서 bool 형이었던 것을 1과 0으로 바꾼다.pop['소멸위기지역'] = [1 if con else 0 for con in pop['소멸위기지역']]drawKorea('소멸위기지역', pop, 'Re.. 2024. 5. 1. [파이썬] 우리나라 인구 소멸 위기 지역 분석 - 2 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.이전 시간 분석 [파이썬] 우리나라 인구 소멸 위기 지역 분석 - 1시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.puppy-foot-it.tistory.com지도 시각화를 위해 지역별 고유 ID 만들기 먼저 하단의 json 파일 다운로드 고유 ID 확보를 위해 pop['시도']에 대해 unique 조사pop['시도'].unique() 고유 아이디를 '광역시도'의 값과 '시도'의 값으로 합침 (ex. 서울 강남)구 이름이 두 글자인 경우에는 구 이름 표시 (ex. 서울 중구)일반 자치시의 경우 '도+시'.. 2024. 4. 30. [파이썬] 우리나라 인구 소멸 위기 지역 분석 - 1 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.인구 소멸 지역 조사 목표 우리나라의 인구 소멸 지역 위기 지역을 조사하고 시각화하여 위기감을 일으키는 것이 목적.대한민국 지도를 그리고 그 위에 인구 소멸 위기 지역에 대해 매핑하여 시각화하는 것을 최종 목적으로 함. 인구 소멸 지역의 정의: 65세 이상 노인 인구와 20~39세 여성 인구를 비교해서 젊은 여성 인구가 노인 인구의 절반에 미달할 경우 인고 소멸 지역으로 분류 [진행 과정]먼저, 각 지역별 20~30대 여성 인구, 65세 이상 노인 인구 파악인구 소멸 위기 지역인지 파악한국 지도에 시각화 하기 위해 한국 지도를 그리는 법 확보 (Foliu.. 2024. 4. 29. [파이썬] 주유소 가격 비교하기 - 4 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.기존 작업 내용 [파이썬] 주유소 가격 비교하기 - 3시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.puppy-foot-it.tistory.com서울시 주유 가격 상하위 10개 주유소 각각 저장 하기 주유 가격 상위 10개 주유소를 oil_price_top10 이름으로 저장하기oil_price_top10 = station.sort_values(by='가격', ascending=False).head(10)oil_price_top10 주유 가격 하위 10개 주유소를 oil_price_bottom10 이름으로 저.. 2024. 4. 29. [파이썬] 주유소 가격 비교하기 - 2 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.기존 작업 내용 [파이썬] 주유소 가격 비교하기 - 1시작에 앞서 해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다. 보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다. 서울시 구별 주유소 가격 정보 얻기 먼저 selepuppy-foot-it.tistory.com구별 주유소 가격에 대한 데이터 정리 (feat. glob 모듈) 기존 작업에서 다운 받은 25개의 엑셀 파일을 작업 폴더에 옮기고 불러와야 하는데,이때 25개의 파일을 read하는 명령으로 읽으면 25줄을 입력해야 하지만 이를 효율적으로 작업해줄 좋은 모듈.. 2024. 4. 29. [파이썬] 크롬 개발자 도구를 이용해서 원하는 태그 찾기 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.크롬 개발자 도구를 이용하기 먼저 네이버 증권에 접속 (하단링크) https://finance.naver.com/marketindex/환전 고시 환율 2024.04.16 19:48 하나은행 기준 고시회차 523회finance.naver.com 개발자도구 (단축키: ctrl + shitf +i ) 또는 (우측 상단 기능 메뉴 - 도구 더보기 - 개발자 도구) 클릭 ctrl + shift + c 누르고 미국 usd 환율을 누르면내가 얻어야할 태그에 음영이 생김 urllib 먼저 url 로 접근하는 경우 urllib 에서 urlopen 이라는 함수 import.. 2024. 4. 16. [파이썬] 지도 시각화 도구 - Folium 시작에 앞서해당 내용은 -민형기 저, BJPUBLIC 출판사 의 내용을 토대로 작성되었습니다.보다 자세한 내용은 해당 교재를 확인하여 주시기 바랍니다.파이썬 시각화 도구 기초 관련 글 모음 [파이썬] 지도 시각화 도구 - Folium[파이썬] 파이썬 시각화 도구 - Seaborn[파이썬] 파이썬 시각화 도구 - MatplotlibFolium 을 통해 지도에 데이터 시각화 하기 먼저 pip install folium 으로 Folium 라이브러리를 설치하고import folium 으로 해당 라이브러리를 import※ 'you may need to restart the kernel to use updated packages.' 라는 명령이 뜨면1) 먼저 커널을 restart 한다 2) !pip install.. 2024. 4. 16. [파이썬] 파이썬 시각화 도구 - Seaborn 파이썬 시각화 도구 기초 관련 글 모음 [파이썬] 지도 시각화 도구 - Folium[파이썬] 파이썬 시각화 도구 - Seaborn[파이썬] 파이썬 시각화 도구 - MatplotlibSeaborn 을 통해 데이터 시각화 하기 시본(Seaborn)은 맷플롯립보다 쉬운 구현, 수려한 시각화, 그리고 편리한 판다스(Pandas) 와의 연동을 특징으로 하고 있다. 시본은 맷플롯립을 기반으로 하고 있지만, 맷플롯립보다 상대적으로 적은 양의 코딩으로도 보다 수려한 시각화 플롯을 제공한다. 또한 판다스의 칼럼명을 기반으로 축 이름을 설정하는 등 편리한 연동 기능을 가지고 있다.하지만 시본은 맷플롯립을 기반으로 하고, 특정 요소들의 경우 맷플롯립 함수들을 그대로 사용하고 있기에 시본을 잘 활용하려면 반드시 맷플롯립을 어.. 2024. 4. 15. 이전 1 2 3 다음 728x90
