728x90 전체 글605 [파이썬] 네이버 뉴스 댓글 추첨 (feat.임영웅) - 2 수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아1. 댓글을 분석하여 워드 클라우드를 생성2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 이전 내용 [파이썬] 네이버 뉴스 댓글 분석(feat.임영웅) - 1수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아 1. 댓글을 분석하여 워드 클라우드를 생성 2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 뉴puppy-foot-it.tistory.com 가수 임영웅님이 '삼시세끼'에 출연한다는 기사에 달린 댓글을 이용하여 자연어 처리 과정을 거친 후워드 클라우드를 생성하였다. 관련 기사 임영웅, 차승원·유해진과 '삼시세끼' 짓는다.. 나영석이 꾸린 '깜짝 밥상'가.. 2024. 6. 29. [파이썬] 네이버 뉴스 댓글 분석(feat.임영웅) - 1 수행 내용 및 목표 파이썬을 이용하여 네이버 뉴스의 댓글 작성자 데이터를 모아1. 댓글을 분석하여 워드 클라우드를 생성2. 작성자 중 한 명 (또는 그 이상)을 추첨하는 프로그램을 만든다. 뉴스 선정 뉴스는 현재 기준 네이버 뉴스 상 댓글이 가장 많은 뉴스(수집하는 데이터 - 댓글 가 많을수록 유용하므로) 중 아무거나 하나를 고른다. (특정 단체, 정치 색 등과 아무 관련이 없음을 말씀 드립니다.)네이버 뉴스 - 랭킹 - 댓글 많은 뉴스 중 정치색이 담겨있지 않고, 최대한 자극적이지 않은 기사를 선정하도록 한다. 그렇게 선정된 기사 임영웅, 차승원·유해진과 '삼시세끼' 짓는다.. 나영석이 꾸린 '깜짝 밥상'가수 임영웅이 올 하반기 방송 예정인 tvN 새 예능프로그램 '삼시세끼' 새 시즌에 출연한다. 지난.. 2024. 6. 28. [스마트 팩토리] 솔루션 용어 스마트 팩토리란? 스마트 팩토리란, 제품 생산에 사물인터넷, 빅데이터 등 다양한 정보통신기술을 결합해 고객 맞춤형 제품을 생산하는 지능형 공장을 의미합니다.공장자동화와 비슷한 듯 하나, 공장자동화는 제조과정에서 사람의 개입을 최소화하여 무인화 공장을 지향하는 데 반해 스마트팩토리는 전체 과정을 정보통신기술로 통합해 사람과 기계를 유기적으로 연결합니다.즉, 스마트팩토리는 전체 과정을 정보통신기술로 통합해 사람과 기계를 유기적으로 연결하여 공장의 경쟁력인 원가절감과 품질향상을 위해 사람, 시스템, 설비가 유기적으로 통합돼 최적의 상태를 찾아가는 지능형 공장입니다. 스마트 팩토리 서비스출처: KOSMO (스마트공장 사업관리시스템) 스마트 팩토리 솔루션 기업은 고객현장과 산업특성에 맞춰 공장라인의 최적.. 2024. 6. 28. [머신러닝] 앙상블 : 랜덤 포레스트 앙상블 학습(Ensemble Learning) [파이썬] 분류: 앙상블 학습(Ensemble Learning) - 1시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.앙상블 학습(Ensemble Learning) puppy-foot-it.tistory.com랜덤 포레스트 랜덤 포레스트는 배깅의 대표적인 알고리즘이며, 일반적으로 배깅 방법(또는 페이스팅)을 적용한 결정 트리의 앙상블이다.※ 배깅: 같은 알고리즘으로 여러 개의 분류기를 만들어서 보팅으로 최종 결정하는 알고리즘. [배깅과 페이스팅 관련] [머신러닝] 앙상블: 투표 기반 분류기, 배깅과 페이스팅앙상블 학습 [머신러닝] 분류 - 앙상블 학.. 2024. 6. 27. [머신러닝] 앙상블 학습(Ensemble Learning) 앙상블 학습(Ensemble Learning) 많은 사람에게 복잡한 질문을 하고 대답을 모은다고 가정할 경우, 많은 경우 이렇게 모은 답이 전문가의 답보다 낫다 (대중의 지혜). 이와 비슷하게 일련의 예측기(분류나 회귀 모델)로부터 예측을 수집하면 가장 좋은 모델 하나보다 더 좋은 예측을 얻을 수 있을 것이다.여기서 일련의 예측기를 앙상블이라고 부르며, 위와 같은 예측을 수집하는 작업을 앙상블 학습이라고 하며, 앙상블 학습 알고리즘을 앙상블 방법이라고 한다. 앙상블 학습을 통한 분류는,여러 개의 분류기를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법을 말한다. 앙상블 학습의 목표는,다양한 분류기의 예측 결과를 결합함으로써 단일 분류기보다 신뢰성이 높은 예측값을 얻는 것이다. [앙.. 2024. 6. 27. [파이썬] 지도시각화: 한남동, 이태원 맛집 분석 - 4 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 그 중 'Hashtag' 컬럼 내용을 텍스트 파일로 저장하여 불용어 처리 등의 자연어 처리 작업을 거쳐워드 클라우드를 통해 해당 지역 맛집의 특징을 전달한다.지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.이전 내용 [파이썬] 자연어처리(NLP): 한남동, 이태원 맛집 분석 - 3프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 그 중 'Hashtag' 컬럼 내용을 텍스트 파일로 저장하여 불용어 처리 등의 자연puppy-foot-it.t.. 2024. 6. 26. [파이썬] 자연어처리(NLP): 한남동, 이태원 맛집 분석 - 3 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 그 중 'Hashtag' 컬럼 내용을 텍스트 파일로 저장하여 불용어 처리 등의 자연어 처리 작업을 거쳐워드 클라우드를 통해 해당 지역 맛집의 특징을 전달한다.지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.이전 내용 [파이썬] 데이터분석: 한남동, 이태원 맛집 분석 - 2프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트puppy-foot-it.tistory... 2024. 6. 25. [파이썬] 데이터 전처리: 한남동, 이태원 맛집 분석 - 2 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 데이터 전처리를 수행하여 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.이전 내용 [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석 - 1프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고, 지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는puppy-foot-it.tistory.comcsv 파일 불러오기 지난 시간에 저장했던 csv 파일을 불러오고, 필요한 모듈들을 importfrom selenium im.. 2024. 6. 25. [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석 - 1 프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사이트에서 가져오도록 한다.'디너의 여왕' 사이트에서 맛집 리스트 얻기 https://dinnerqueen.net/restaurant/area/4. 디너의여왕 - 이태원&한남동 맛집랭킹오늘 뭐 먹을지 고민된다면, 디너의여왕만의 빅데이터 맛집 랭킹을 찾아주세요.dinnerqueen.net리스트로 저장된 맛집 리스트 문자열로 바꾸기 (실패)다른 방식으로의 접근 위의 과정을 거쳐 texts라는 변수에 식당 이름, 주소, 리뷰 등의 정보가 잘 저장되었으나,문제는 해당 값이 리스트 형으로 저장되어.. 2024. 6. 24. [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석(실패) 해당 프로젝트는 실패하여 중간에 중단하였으므로, 어떻게 실패했는지 궁금하고,만약에 이렇게 했으면 성공했을텐데 라는 조언을 주실 분이 읽어주셨으면 합니다. 참고로, 아래는 성공한 글입니다. [파이썬] 웹 스크래핑: 한남동, 이태원 맛집 분석 - 1프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트puppy-foot-it.tistory.com프로젝트 수행 내용 및 목표 웹스크래핑으로 이태원과 한남동에 위치한 맛집 리스트를 받아와 DataFrame 으로 만들고,지도 정보를 받아 folium을 통해 시각화 하는 것을 목표로 한다. 맛집 리스트는 '디너의 여왕' 사.. 2024. 6. 24. [머신러닝] 결정트리 - 사용자 행동 인식 데이터 세트 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.사용자 행동 인식 데이터 세트 [실습 내용]결정 트리를 이용해 UCI 머신러닝 리포지토리(Machine Learning Repository)에서 제공하는 사용자 행동 인식(Human Activity Recognition) 데이터 세트에 대한 예측 분류 수행 해당 데이터는 30명에게 스마트폰 센서를 장착한 뒤 사람의 동작과 관련된 여러 가지 피처를 수집한 데이터이며,수집된 피처 세트를 기반으로 결정 트리를 이용해 어떠한 동작인지 예측해 보는 것이 수행 목표이다. 우선, 하단의 링크로 접속하여 데이터 세트를 다운 받는다.https://archive.i.. 2024. 6. 23. [머신러닝] 결정 트리 - 3 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 이전 내용 [파이썬] 머신러닝 알고리즘: 결정 트리 - 2시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 이전 내용 [파이썬] 머신러puppy-foot-it.tistory.comfeature_importances_ 결정 트리는 균일도에 기반해 어떠한 속성을 규칙 조건으로 선택하느냐가 중요한 요건이다.중요한 몇 개의 피처가 명확한 규칙 트리를 만드는 데 크게 기여하며, 모델을 좀 더 간결하고 이상치(Outlier)에 강한 모델을 만들 수.. 2024. 6. 23. [머신러닝] 결정 트리 - 2 시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 이전 내용 [파이썬] 머신러닝 알고리즘: 결정 트리 (+시각화)시작에 앞서해당 내용은 ' 권철민 지음. 위키북스' 를 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다. 결정 트리(Decision Tree) ◆ 결puppy-foot-it.tistory.com시각회된 결정 트리 분석 앞서 시각화했던 결정 트리에 대해 상세히 설명하면, [노드 내에 기술된 지표의 의미]- petal length(cm) (이 조건이 없으면 자식 노드이다.)- gini는 다음의 value=[]로 주어진 데이터 분포에서.. 2024. 6. 23. [머신러닝] 결정 트리 (+시각화) 결정 트리(Decision Tree) ◆ 결정 트리 알고리즘: 데이터 있는 규칙을 학습을 통해 자동으로 찾아내 트리(Tree) 기반의 분류 규칙을 만드는 것.일반적으로 룰 기반의 프로그램에 적용되는 if, else 를 자동으로 찾아내 예측을 위한 규칙을 만드는 알고리즘이다.▶ 데이터의 어떤 기준을 바탕으로 규칙을 만들어야 가장 효율적인 분류가 될 것인가가 알고리즘의 성능을 크게 좌우 [결정 트리의 구조]- 규칙 노드(Decision Node): 규칙 조건- 리프 노드(Leaf Node): 결정된 클래스 값- 서브 트리(Sub Tree): 새로운 규칙 조건 마다 생성 데이터 세트에 피처가 있고 이러한 피처가 결합해 규칙 조건을 만들 때마다 규칙 노드가 생성되나,트리의 깊이가 깊어질수록 과적합 발생 우려가 .. 2024. 6. 23. [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 4 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.이전 내용 [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 3시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.이전 내용 [파이썬]puppy-foot-it.tistory.com정규 표현식 - 전방 탐색 (Lookahead Assertions) 전방탐색이란 일치 항목을 찾을 때 특정 패턴 앞에 오는 다른 패턴을 확인하기 위해 사용되는 고급 정규 표현식 기법이다.전방탐색 확장구문을 사용하면 암호문처럼 .. 2024. 6. 22. [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 3 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.이전 내용 [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 2시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.이전 내용 [파이썬]puppy-foot-it.tistory.com정규 표현식 심화 - 메타 문자 ◆ | : or(또는)A|B = A or B (A 또는 B)# | : or(또는)p = re.compile('Crow|Eagle')m = p.match('CrowHello')print(m) ◆.. 2024. 6. 22. [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 2 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.이전 내용 [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 1시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.정규 표현식(Regular Expuppy-foot-it.tistory.com정규 표현식을 지원하는 re 모듈 파이썬은 정규 표현식을 지원하기 위해 re(regular expressions의 약어) 모듈을 기본 라이브러리(파이썬을 설치할 때 자동으로 설치) 제공한다.# 정규 표현식 re 모듈.. 2024. 6. 22. [파이썬] 파이썬기초: 정규 표현식(Regular Expressions) - 1 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.정규 표현식(Regular Expressions) 정규 표현식은 복잡한 문자열을 처리할 때 사용하는 기법(* 파이썬 뿐 아니라 문자열을 처리하는 모든 곳에서 사용) SQLD 2과목 SQL 활용 - 정규 표현식서브쿼리집합연산자그룹 함수윈도우 함수TOP N 쿼리계층형 질의와 셀프 조인PIVOT 절과 UNPIVOT 절정규 표현식※ 자료출처: 데이터 산업 진흥원(K-DATA) 시작에 앞서..해당 범위는 2024년에 새롭게 추puppy-foot-it.tistory.com [SQLD] 정규표현식 (보강)아시다시피 정규표현식이 2024년에 새로 추가된.. 2024. 6. 21. [파이썬] 파이썬기초: 내장 함수(Built-in Functions) 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.내장 함수(Built-in Functions) 내장 함수는 외부 모듈과 달리 import가 필요하지 않기 때문에 아무런 설정 없이 바로 사용할 수 있다. 1. abs: 절댓값2. all: 반복 가능한 자료형 x를 입력 인수로 받으며 이 x가 모두 참이면 True, 거짓이 하나라도 있으면 False 반환※ 반복 가능한 자료형이란 for문으로 그 값을 출력할 수 있는 것을 의미. (리스트, 튜플, 문자열, 딕셔너리, 집합 등)3. any: x중 하나라도 참이 있으면 True, 모두가 거짓일 때만 False 반환 ↔ all4. chr; 아스키 코.. 2024. 6. 20. [파이썬] 파이썬기초: 예외 처리(Exception Handling) 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.예외 처리(Exception Handling) 파이썬에서는 try, except 를 사용하여 예외적으로 오류를 처리할 수 있게 해준다. ◆ 오류가 발생하는 상황- 구문 오류(오타 입력 등, SyntaxError)- 디렉터리 안에 없는 파일을 열려고 시도할 때 발생하는 오류 (FileNotFoundError)- 0으로 다른 숫자를 나누는 경우 발생하는 오류(ZeroDivisionError)- 리스트에 없는 값을 입력할 때 발생하는 오류(IndexError)오류 예외 처리 기법 - try, except 문 try 블록 수행 중 오류가 발생하면 .. 2024. 6. 20. [파이썬] 파이썬기초: 입력과 출력, 파일 읽고 쓰기 시작에 앞서해당 내용은 ' 박응용 지음. 이지스 퍼블리싱' 을 토대로 작성되었습니다. 보다 자세한 내용은 해당 서적에 상세히 나와있으니 서적을 참고해 주시기 바랍니다.사용자 입력 사용자가 입력한 값을 어떤 변수에 대입하고 싶을 때는 input을 사용하면 된다.a 라는 변수를 input() 으로 지정해놓고 실행하면 a 라는 변수에 값을 입력하라는 창이 뜨고, 해당 창에 'Life is too short, you need python' 이라는 값을 입력하면입력한 문장이 a에 대입된다. ◆ 프롬프트 값을 띄워서 사용자 입력받기안내 문구 또는 질문이 나오도록 하고 싶을 때에는 input() 의 괄호 안에 질문을 입력하면 된다.input("질문 내용") Q. 두 개의 숫자를 입력받아 더하여 돌려주는 프로그램 만.. 2024. 6. 19. 이전 1 ··· 14 15 16 17 18 19 20 ··· 29 다음 728x90
