728x90 머신러닝73 [머신러닝] 모델 훈련 - 1 머신러닝 모델 훈련 머신러닝 모델이 어떻게 작동하는지 잘 이해하고 있으면 적절한 모델, 올바른 훈련 알고리즘, 작업에 맞는 좋은 하이퍼 파라미터를 빠르게 찾을 수 있다. 또한 디버깅이나 에러를 효율적으로 분석하는 데 도움이 된다. 모델을 훈련시킨다는 것은 모델이 훈련 세트에 가장 잘 맞도록 모델 파라미터를 설정하는 것이며, 이를 위해 먼저 모델이 훈련 데이터에 얼마나 잘 맞는지 측정해야 한다. 이 글에서 언급하는 대부분의 주제는 신경망을 이해하고 구축하고 훈련시키는 데 필수이다. [알아볼 개념]선형 회귀다항 회귀 - 학습 곡선규제가 있는 선형 모델(릿지, 라쏘, 엘라스틱넷, 조기 종료)로지스틱 회귀, 소프트맥스 회귀선형 회귀는 닫힌 형태의 방정식을 사용하여 비용 함수를 최소화하는 파라미터를 계산하거나, .. 2024. 11. 9. [머신러닝] 분류: MNIST 데이터셋 실습 - 2 분류란? [머신러닝] 분류와 분류 관련 머신러닝 알고리즘시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 분류(Classification) 지도학습puppy-foot-it.tistory.com이전 내용 [머신러닝] 분류: MNIST 데이터셋 실습 - 1분류란? [머신러닝] 분류와 분류 관련 머신러닝 알고리즘시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적puppy-foot-it.tistory.com다중 분류 이진 분류기는 두 개의 클래스를 구별하는 반면 다중 분류기는 둘 이상의 클래스를 구별할 수 있다.Logis.. 2024. 11. 9. [머신러닝] 분류: MNIST 데이터셋 실습 - 1 분류란? [머신러닝] 분류와 분류 관련 머신러닝 알고리즘시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 분류(Classification) 지도학습puppy-foot-it.tistory.comMINIST ◆ MINIST 데이터셋이란? (출처: 위키백과)MNIST 데이터베이스 (Modified National Institute of Standards and Technology database)는 손으로 쓴 숫자들로 이루어진 대형 데이터베이스이며, 다양한 화상 처리 시스템을 트레이닝하기 위해 일반적으로 사용된다. 이 데이터베이스는 또한 기계 학습 분야의 트레이닝 및 테스트에 널리 사용된다. NIST.. 2024. 11. 9. [머신러닝] 캘리포니아 주택 가격 프로젝트-3 ◆ 프로젝트: 캘리포니아 주택 가격 데이터셋을 이용한 머신러닝 프로젝트이 데이터셋은 1990년 캘리포니아 인구 조사 데이터를 기반으로 하며, 진행할 주요 단계는 아래와 같다.데이터 준비데이터로부터 인사이트를 얻기 위해 탐색하고 시각화모델 선택하고 훈련모델 미세 튜닝솔루션 제시시스템 론칭, 모니터링, 유지보수이전 내용 [머신러닝] 캘리포니아 주택 가격 프로젝트-2◆ 프로젝트: 캘리포니아 주택 가격 데이터셋을 이용한 머신러닝 프로젝트이 데이터셋은 1990년 캘리포니아 인구 조사 데이터를 기반으로 하며, 진행할 주요 단계는 아래와 같다.데이터 준비데puppy-foot-it.tistory.com모델 선택과 훈련 [훈련 세트에서 훈련하고 평가하기]간단한 선형 회귀 모델 훈련하기from sklearn.linear_.. 2024. 11. 8. [머신러닝] 캘리포니아 주택 가격 프로젝트-2 ◆ 프로젝트: 캘리포니아 주택 가격 데이터셋을 이용한 머신러닝 프로젝트이 데이터셋은 1990년 캘리포니아 인구 조사 데이터를 기반으로 하며, 진행할 주요 단계는 아래와 같다.데이터 준비데이터로부터 인사이트를 얻기 위해 탐색하고 시각화모델 선택하고 훈련모델 미세 튜닝솔루션 제시시스템 론칭, 모니터링, 유지보수이전 내용 [머신러닝] 캘리포니아 주택 가격 프로젝트◆ 프로젝트: 캘리포니아 주택 가격 데이터셋을 이용한 머신러닝 프로젝트이 데이터셋은 1990년 캘리포니아 인구 조사 데이터를 기반으로 하며, 진행할 주요 단계는 아래와 같다.데이터 준비데puppy-foot-it.tistory.com특성 스케일과 변환 데이터에 적용할 변환 한 가지는 특성 스케일링으로, 머신러닝 알고리즘은 입력된 숫자 특성들의 스케일이 .. 2024. 11. 8. [머신러닝] 캘리포니아 주택 가격 프로젝트-1 ◆ 프로젝트: 캘리포니아 주택 가격 데이터셋을 이용한 머신러닝 프로젝트이 데이터셋은 1990년 캘리포니아 인구 조사 데이터를 기반으로 하며, 진행할 주요 단계는 아래와 같다.데이터 준비데이터로부터 인사이트를 얻기 위해 탐색하고 시각화모델 선택하고 훈련모델 미세 튜닝솔루션 제시시스템 론칭, 모니터링, 유지보수데이터 준비 및 탐색하기 모든 데이터가 들어 있는 CSV 파일인 housing.csv를 압축한 housing.tgz 파일을 내려받는데, 데이터를 수동으로 내려받아 압축을 푸는 대신 이를 위한 함수를 작성하는 것이 일반적으로 낫다. 특히 데이터가 정기적으로 바뀌는 경우에 유용하며, 최근 데이터를 내려받기 위해 이 함수를 사욯아는 짧은 스크립트를 작성할 수 있다.데이터를 내려받는 일을 자동화하면 여러 기기.. 2024. 11. 7. [머신러닝] 머신러닝의 주요 도전 과제 머신러닝이란? [머신러닝] 머신러닝과 생태계 이해머신러닝의 개념 머신러닝은 일반적으로, 애플리케이션을 수정하지 않고도 데이터를 기반으로 패턴을 학습하고 결과를 예측하는 알고리즘 기법을 통칭한다. 톰 미첼(Tom Mitchell)은 머신러닝에puppy-foot-it.tistory.com머신러닝의 주요 도전 과제 [나쁜 데이터의 사례]- 충분하지 않은 양의 훈련 데이터대부분의 머신러닝 알고리즘이 잘 작동하려면 데이터가 많아야 한다. 아주 간단한 문제에서도 수천 개의 데이터가 필요하고 이미지나 음성 인식 같은 복잡한 문제라면 수백만 개가 필요할지도 모른다. - 대표성 없는 훈련 데이터일반화가 잘 되려면 훈련 데이터가 일반화하고 싶은 새로운 사례를 잘 대표하는 것이 중요하며, 이는 사례 기반 학습이나 모델 기반.. 2024. 11. 7. [파이썬] 시각화 - 타이타닉 데이터셋 활용 seaborn 실습 파이썬 시각화 도구 기초 관련 글 모음 [파이썬] 지도 시각화 도구 - Folium[파이썬] 파이썬 시각화 도구 - Seaborn[파이썬] 파이썬 시각화 도구 - Matplotlib [데이터 시각화 차트 관련 글]https://modulabs.co.kr/blog/data-visualization/ 데이터 시각화 차트 디자인에 필요한 사례와 종류 알아보기다양한 데이터 시각화 유형 중 가장 적합한 형태를 어떻게 선택하면 좋을지 사례를 통해 알아봅니다.modulabs.co.kr머신러닝을 데이터 분석 시 유용한 시각화 플롯 차트 유형설명히스토그램연속형 값에 대한 도수 분포를 나타낸다.X축 값은 도수 분포를 원하는 연속형 값의 구간.Y축 값은 해당 구간의 도수 분포(건수)를 나타낸다.바 플롯특정 칼럼의 이산 값에.. 2024. 11. 6. [머신러닝] 추천 시스템: Surprise를 이용한 영화 시스템 구축 추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석,puppy-foot-it.tistory.com이전 내용 [머신러닝] 추천 시스템: 파이썬 패키지 Surprise추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의puppy-foot-it.tistory.comSurprise를 이용한 개인화 영화 추천 시스템 구축 Surprise를 이용해 잠재 요인 협업.. 2024. 11. 6. [머신러닝] 추천 시스템: 파이썬 패키지 Surprise 추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석,puppy-foot-it.tistory.com이전 내용 [머신러닝] 추천 시스템: 잠재 요인 협업 필터링 실습추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의puppy-foot-it.tistory.comSurprise 패키지 ◆ Surprise 패키지파이썬 기반의 추천 시스템 구축을 위한 전용 패키.. 2024. 11. 4. [머신러닝] 추천 시스템: 잠재 요인 협업 필터링 실습 추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석,puppy-foot-it.tistory.com이전 내용 [머신러닝] 추천 시스템: 아이템 기반 최근접 이웃 협업 필터링 실습추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의puppy-foot-it.tistory.com행렬 분해를 이용한 잠재 요인 협업 필터링 실습 일반적으로 행렬 분해에는 SVD가.. 2024. 11. 3. [머신러닝] 추천 시스템: 아이템 기반 최근접 이웃 협업 필터링 실습 추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석,puppy-foot-it.tistory.com이전 내용 [머신러닝] 추천 시스템: 협업 필터링추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의puppy-foot-it.tistory.com아이템 기반 최근접 이웃 협업 필터링 실습 Grouplens 사이트에서 만든 MovieLens 데이터 세트르 이.. 2024. 11. 3. [머신러닝] 추천 시스템: 협업 필터링 추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석,puppy-foot-it.tistory.com이전 내용 [머신러닝] 추천 시스템: 콘텐츠 기반 필터링추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의puppy-foot-it.tistory.com협업 필터링 ◆ 협업 필터링:사용자가 아이템에 매긴 평점 정보나 상품 구매 이력과 같은 사용자 행동 양식(.. 2024. 11. 3. [머신러닝] 추천 시스템: 콘텐츠 기반 필터링 추천 시스템이란? [머신러닝] 추천시스템이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석,puppy-foot-it.tistory.com콘텐츠 기반 필터링 추천 시스템 ◆ 콘텐츠 기반 필터링:사용자가 특정한 아이템을 매우 선호하는 경우, 그 아이템과 비슷한 콘텐츠를 가진 다른 아이템을 추천하는 방식이다.콘텐츠 기반 필터링 추천 시스템은 사용자가 높게 평가한 콘텐츠를 감안해 이와 적절하게 매칭되는 콘텐츠를 추천해 준다. 콘텐츠 기반 필터링 실습 - TMDB 5000 영화 데이터 세트 TMDB 5000 영화 데이터 세트는 유명한 영화 데이터 정보 사.. 2024. 11. 1. [머신러닝] 추천시스템 머신러닝 기반 분석 모형 선정 [머신러닝] 머신러닝 기반 분석 모형 선정머신러닝 기반 분석 모형 선정 지도 학습, 비지도 학습, 강화 학습, 준지도 학습, 전이 학습 1) 지도 학습: 정답인 레이블(Label)이 포함되어 있는 학습 데이터를 통해 컴퓨터를 학습시키는 방법(puppy-foot-it.tistory.com이전 내용 [머신러닝] 텍스트 분석이전 내용 [머신러닝] 군집화 (Clustering)군집화(Clustering) [군집]군집은 비슷한 샘플을 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업으로, 데이터 분석, 고객 분류, 추천 시스템, 검색 엔puppy-foot-it.tistory.com추천 시스템 추천 시스템은 기업 애플리케이션에서 매우 중요한 위치를 차지하고 있으며, 특히 온라인.. 2024. 11. 1. 이전 1 2 3 4 5 다음 728x90
