728x90 [파이썬 Projects]/<파이썬 머신러닝>92 [머신러닝] Pytorch 설치하기 (Nvidia GPU 버전) 머신러닝에 적합한 도구: PyTorchPyTorch: 딥러닝 최적화 프레임워크PyTorch는 2016년에 출시된 딥러닝 프레임워크로, 신경망 모델 구축과 훈련에 특화되어 있다. 파이썬 기반으로 쉽게 배울 수 있고, 특히 즉시 실행 기능을 통해 디버깅이 용이하다. GPU 병렬 연산을 지원하여 대규모 데이터 처리에 강점이 있다. PyTorch는 심층 신경망 작업에서 매우 유용하며, GPU 가속을 통해 처리 성능을 높여준다. CUDA와 cuDNN 같은 API를 활용해 속도를 극대화할 수 있다.◆ 장점쉽고 직관적: 텐서플로우보다 접근이 쉬우며, 즉시 실행으로 디버깅을 쉽게 할 수 있다.빠른 속도: GPU 가속 덕분에 복잡한 계산을 빠르게 처리.Dynamic Graph: 모델 구조를 변경할 때 유연성을 제공.★ .. 2024. 9. 9. [머신러닝] Intel GPU로 Pytorch 구동하기(는 안할게..) to. 바쁘신 분들 결론적으로는, 이것저것 설치를 하면 새로운 에러들이 부수적으로 떠서 회사 컴퓨터에 인텔 oneAPI 툴킷을 설치하는 것은 보류하였습니다. 회사 컴퓨터가 개발자용이 아닌데다가, 업무 시간에 딥러닝 머신러닝 모델 구현하는 것도 눈치보일 거 같아서.. 최종 에러 메시지는 아래와 같습니다.intel oneapi data analytics library error: sequence execution failed 혹시 시간되시고, 착하시고, 프로그래밍 척척 박사이신 분들께서는 댓글을 남겨주시면저같은 초보 개발자, 입문자, 그외에 엔비디아 GPU 가 아닌 컴퓨터로 파이토치를 해보고자 하는 많은 이들에게 구원이 될 것이라 믿습니다.아무튼, 해당 포스팅은 실패 사례 입니다. 만약, 머신러닝 용 노.. 2024. 9. 9. [머신러닝] 머신러닝에 적합한 도구, Pytorch 설치하기(CPU버전) 머신러닝에 적합한 도구: PyTorchPyTorch: 딥러닝 최적화 프레임워크PyTorch는 2016년에 출시된 딥러닝 프레임워크로, 신경망 모델 구축과 훈련에 특화되어 있다. 파이썬 기반으로 쉽게 배울 수 있고, 특히 즉시 실행 기능을 통해 디버깅이 용이하다. GPU 병렬 연산을 지원하여 대규모 데이터 처리에 강점이 있다. PyTorch는 심층 신경망 작업에서 매우 유용하며, GPU 가속을 통해 처리 성능을 높여준다. CUDA와 cuDNN 같은 API를 활용해 속도를 극대화할 수 있다.◆ 장점쉽고 직관적: 텐서플로우보다 접근이 쉬우며, 즉시 실행으로 디버깅을 쉽게 할 수 있다.빠른 속도: GPU 가속 덕분에 복잡한 계산을 빠르게 처리.Dynamic Graph: 모델 구조를 변경할 때 유연성을 제공. ★.. 2024. 9. 8. [머신러닝] 차원의 저주(Curse of Dimensionality)란? 고차원의 데이터 분석에서 발생하는 문제를 설명하는 용어로 "차원의 저주(Curse of Dimensionality)"가 있습니다. 이 문제는 특히 빅데이터 분석과 머신러닝에서 많이 다뤄지며, 데이터셋의 피처(차원) 수가 매우 많을 때 발생하는 여러 가지 어려움을 의미합니다. "차원의 저주"는 고차원 공간에서 데이터를 분석할 때 발생하는 여러 문제를 설명하는 용어로, 데이터 희소성, 계산 요구 사항의 증가, 과적합, 거리 지표의 비효율성을 포함합니다. 이러한 문제를 해결하기 위해 차원 축소, 특징 선택, 정규화, 고차원에 적합한 알고리즘 사용 등의 기법이 필요합니다. 차원의 저주를 이해하고 해결하는 것은 큰 데이터셋을 다룰 때, 데이터 분석 및 머신러닝 모델의 성능과 정확도에 직접적인 영향을 미치기 때문에.. 2024. 9. 3. [머신러닝] 분류 - 캐글 신용카드 사기 검출 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.캐글 신용카드 사기 검출 Kaggle의 신용카드 데이터 세트를 이용한 신용카드 사기 검출 분류 실습데이터 다운로드 하단의 사이트(캐글)에 들어가서 로그인 후 'creditcard.csv' 파일 다운로드(캐글 경연 규칙 준수 화면으로 이동하면 해당 규칙 준수에 동의하면 다운로드 실행)https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud Credit Card Fraud DetectionAnonymized credit card transactions labeled as fraudulent or genuine.. 2024. 7. 8. [머신러닝] 분류 - 캐글 산탄데르 고객 만족 예측 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.캐글 산탄데르 고객 만족 예측 캐글의 산탄데르 고객 만족 데이터 세트에 대해서 고객 만족 여부를 XGBoost와 LightGBM을 활용해 예측.산탄데르 고객 만족 예측 분석은 370개의 피처로 주어진 데이터 세트 기반에서 고객 만족 여부를 처리.(클래스 레이블 명은 TARGET 이며, 이 값이 1이면 불만을 가진 고객, 0이면 만족한 고객이다.) 모델의 성능 평가는 ROC-AUC 로 평가(대부분이 만족이고 불만족인 데이터는 일부일 것이기 때문)데이터 다운로드 https://www.kaggle.com/c/santander-customer-satisf.. 2024. 7. 7. [머신러닝] 분류 - 베이지안 최적화 (2) 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.이전 내용 베이지안 최적화 (1)" data-og-description="시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.베이지안 최적화 XGBoost나 Ligh" data-og-host="puppy-foot-it.tistory.com" data-og-source-url="https://puppy-foot-it.tistory.com/292" data-og-url="https://puppy-foot-it.tistory.com/292" dat.. 2024. 7. 7. [머신러닝] 분류 - 베이지안 최적화 (1) 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.베이지안 최적화 XGBoost나 LightGBM은 성능이 매우 뛰어난 알고리즘이며 Grid Search 방식을 적용한 알고리즘이다.그러나, Grid Search 방식은 한 가지 주요한 단점이 있는데, 튜닝해야 할 하이퍼 파라미터 개수가 많을 경우 최적화 수행 시간이 오래 걸린다는 것이다. 거기에 개별 하이퍼 파라미터 값의 범위가 넓거나 학습 데이터가 대용량 일 경우에는 최적화 시간이 더욱 늘어나게 된다. 이때 기하급수적으로 늘어나는 하이퍼 파라미터 최적화 시간 때문에 어쩔 수 없이 하이퍼 파라미터 범위를 줄이거나 개수를 줄여야 하는데, 이러한 경우.. 2024. 7. 7. [머신러닝] 앙상블 : LightGBM 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com 앙상블 - 3 : GBM" data-og-description="시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 .. 2024. 7. 4. [머신러닝] 앙상블 : XG Boost (3) 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com 앙상블 - 3 : GBM" data-og-description="시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 .. 2024. 7. 4. [머신러닝] 앙상블: XG Boost (2) 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com 앙상블 - 3 : GBM" data-og-description="시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 .. 2024. 7. 1. [머신러닝] 앙상블 : XG Boost (1) 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com 앙상블 - 3 : GBM" data-og-description="시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 .. 2024. 7. 1. [머신러닝] 앙상블 : GBM 앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com부스팅 알고리즘 부스팅 알고리즘: 여러 개의 약한 학습기를 순차적으로 학습-예측 하면서 잘못 예측한 데이터에 가중치 부여를 통해 오류를 개선해 나가면서 학습하는 방식. [부스팅의 대표적인 구현]- AdaBoost: 오류 데이터에 가중치를 부여하면서 부스팅을 수행하는 대표적인 알고리즘- GBM: AdaBoost와 유사하나, 가중치 업데이트를 경사.. 2024. 6. 30. [머신러닝] 앙상블 : 랜덤 포레스트 앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com랜덤 포레스트 랜덤 포레스트는 배깅의 대표적인 알고리즘이며, 일반적으로 배깅 방법(또는 페이스팅)을 적용한 결정 트리의 앙상블이다.※ 배깅: 같은 알고리즘으로 여러 개의 분류기를 만들어서 보팅으로 최종 결정하는 알고리즘. [배깅과 페이스팅 관련] [머신러닝] 앙상블: 투표 기반 분류기, 배깅과 페이스팅앙상블 학습 [머신러닝] 분류 - 앙상블 학.. 2024. 6. 27. [머신러닝] 앙상블 학습(Ensemble Learning) 앙상블 학습(Ensemble Learning) 많은 사람에게 복잡한 질문을 하고 대답을 모은다고 가정할 경우, 많은 경우 이렇게 모은 답이 전문가의 답보다 낫다 (대중의 지혜). 이와 비슷하게 일련의 예측기(분류나 회귀 모델)로부터 예측을 수집하면 가장 좋은 모델 하나보다 더 좋은 예측을 얻을 수 있을 것이다.여기서 일련의 예측기를 앙상블이라고 부르며, 위와 같은 예측을 수집하는 작업을 앙상블 학습이라고 하며, 앙상블 학습 알고리즘을 앙상블 방법이라고 한다. 앙상블 학습을 통한 분류는,여러 개의 분류기를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법을 말한다. 앙상블 학습의 목표는,다양한 분류기의 예측 결과를 결합함으로써 단일 분류기보다 신뢰성이 높은 예측값을 얻는 것이다. [앙.. 2024. 6. 27. 이전 1 2 3 4 5 6 7 다음 728x90
