728x90 [파이썬 Projects]188 [이미지 전처리] OpenCV를 통한 이미지 Resize 작업 수집된 이미지들을 머신 러닝 모델 학습에 사용하거나 YOLO와 같은 객체 감지 모델에서 실행하기 전에 크기를 통합하거나 기타 작업을 수행하여 이미지를 전처리 하는 것이 중요하다. 이미지 크기 통일이 중요한 이유 1. 모델 입력의 일관성: YOLO를 포함한 많은 모델은 입력 이미지가 특정 크기(예: YOLO의 경우 416x416 또는 640x640)를 가질 것으로 예상. 크기가 다른 이미지를 공급하면 오류가 발생하거나 성능이 저하될 수 있다.2. 효율적인 학습: 균일한 크기의 이미지가 있으면 모델이 다양한 이미지 크기를 처리할 필요가 없으므로 학습 프로세스가 단순화되고 수렴이 향상된다.3. 왜곡 방지: 신중하게 크기를 조정하면 이미지 내의 객체가 모델 성능에 영향을 줄 수 있는 왜곡되지 않도록 할 수 있다.. 2024. 9. 6. [파이썬] 파일명 변경하기 ver.2 특정 폴더 내의 파일에 확장자 외에도 전부 '.jpg' 라는 접미사가 붙어 있어, 확장자는 유지한 채 해당 접미사를 없애는 방식으로 파일명을 변경하는 코드를 작성import os# 이미지 파일이 저장된 폴더 경로folder_path = r'C:\Users\pc02\Documents\Python Prac\Tire Scanner\raw images'# 폴더 내의 파일들을 순회for filename in os.listdir(folder_path): # 파일 이름과 확장자를 분리 file_name, file_extension = os.path.splitext(filename) # 파일 이름에 '.jpg'라는 접미사가 포함된 경우 if file_name.endswith('.jpg'):.. 2024. 9. 6. [이미지 라벨링] LabelImg 설치 및 실행 하기 학습할 이미지를 수집했으므로, 다음으로 해야할 작업은 이미지를 라벨링하는 작업이다. [이미지 웹스크래핑] 픽사베이 API Key 발급을 통한 이미지 수집앞서 네이버를 통해 이미지 웹스크래핑으로 이미지를 수집했으나, 그 수가 현저히 모자라기도 하고 원하는 이미지 (Tire Tread) 외에 다른 이미지까지 포함되어 있어 좀 더 정확한 이미지 + 대규모puppy-foot-it.tistory.com 구글링을 통해 이미지 라벨링 툴(Image Labeling Tool)을 검색하니, 다양한 라벨링 툴이 나온다.하지만, 어떤 게 좋은지 감이 없기 때문에 파이썬에 해당 라이브러리가 있는지 챗gpt를 통해 파악해본다.Python과 잘 작동하는 인기 있는 이미지 라벨링 도구는 LabelImg입니다. 이 도구는 오픈 소스.. 2024. 9. 6. [이미지 웹스크래핑] 픽사베이 API Key 발급을 통한 이미지 수집 앞서 네이버를 통해 이미지 웹스크래핑으로 이미지를 수집했으나, 그 수가 현저히 모자라기도 하고 원하는 이미지 (Tire Tread) 외에 다른 이미지까지 포함되어 있어 좀 더 정확한 이미지 + 대규모 이미지 의 수집이 필요했다. 웹 스크래핑을 허용하거나, API Key 발급이 용이하고 무료인 이미지 저장 사이트를 검색하다가 챗 GPT에서 하단의 사이트를 안내해줬다.기타 공개 도메인 이미지 웹사이트:Pixabay - 단순화된 Pixabay 라이센스에 따라 무료 이미지를 제공합니다. 또한 이미지에 액세스하기 위한 API도 제공합니다.Pexels - 무료 스톡 이미지의 대규모 컬렉션이며 API도 제공합니다.Wikimedia Commons - 공개 도메인 및 무료 라이센스 미디어 파일로 구성된 대규모 데이터베이.. 2024. 9. 5. [파이썬] 폴더 내의 여러 파일의 파일명 한 번에 바꾸기 수행 내용 및 목표 이전에 네이버에서 웹 스크래핑으로 이미지를 대량으로 다운 받아놓았는데, [이미지 웹스크래핑] 웹스크래핑으로 네이버에서 이미지 다운 받기수행 목적 및 내용 개인적으로 진행 중인 프로젝트가 있는데, 다양한 대량의 이미지를 수집하여 CNN을 통한 이미지 분석을 진행하려고 한다.CNN 딥러닝을 통한 이미지 분석 모델 구현 이전에, 학puppy-foot-it.tistory.com실수로, 폴더명만 다르게 해놓고, 폴더 내의 파일명은 모두 동일하게 다운로드 받아놓았다. 이미지 분류 모델 생성을 위해 모든 이미지 파일을 한 폴더 내로 넣으려다가, 이렇게 되면 모든 파일명이 똑같아서 대참사가 벌어지겠구나를 직감하고, 파일명을 무조건 바꿔야 하는 상황에 놓였다. 원래 파이썬을 몰랐다면, 수작업으로 일.. 2024. 9. 5. [이미지 웹스크래핑] 웹스크래핑으로 네이버에서 이미지 다운 받기 수행 목적 및 내용 개인적으로 진행 중인 프로젝트가 있는데, 다양한 대량의 이미지를 수집하여 CNN을 통한 이미지 분석을 진행하려고 한다.CNN 딥러닝을 통한 이미지 분석 모델 구현 이전에, 학습할 수 있는 대량의 이미지가 필요하다. 따라서, 다량의 이미지를 수집해야 해서 네이버에서 웹 스크래핑으로 이미지를 다운받으려고 한다.(처음에는 구글에서 시도하려 하였으나, 구글은 웹 스크래핑 차단으로 실행이 안 된다.)구글 웹 스크래핑 코드 기존에 네이버 뉴스 댓글 수집 시 사용했던 코드 + 챗 gpt를 활용하여 이미지를 크롤링하고 내 컴퓨터에 다운 받을 수 있는 코드를 생성하였다. (코드는 구글 기준)# 필요한 라이브러리 가져오기from tqdm.notebook import tqdm import urllib.r.. 2024. 9. 5. [머신러닝] 차원의 저주(Curse of Dimensionality)란? 고차원의 데이터 분석에서 발생하는 문제를 설명하는 용어로 "차원의 저주(Curse of Dimensionality)"가 있습니다. 이 문제는 특히 빅데이터 분석과 머신러닝에서 많이 다뤄지며, 데이터셋의 피처(차원) 수가 매우 많을 때 발생하는 여러 가지 어려움을 의미합니다. "차원의 저주"는 고차원 공간에서 데이터를 분석할 때 발생하는 여러 문제를 설명하는 용어로, 데이터 희소성, 계산 요구 사항의 증가, 과적합, 거리 지표의 비효율성을 포함합니다. 이러한 문제를 해결하기 위해 차원 축소, 특징 선택, 정규화, 고차원에 적합한 알고리즘 사용 등의 기법이 필요합니다. 차원의 저주를 이해하고 해결하는 것은 큰 데이터셋을 다룰 때, 데이터 분석 및 머신러닝 모델의 성능과 정확도에 직접적인 영향을 미치기 때문.. 2024. 9. 3. [파이썬] FastAPI - FastAPI와 Jinja2 고급 문법 시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 템플릿시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 예외 처리(exception handling)puppy-foot-it.tistory.comFastAPI와 Jinja2의 고급 문법 ◆ 필터: {{ name | lower }}변수에 함수를 적용한다. [주로 사용되는 필터]capitalize: 문자열의 첫 글자를 대문자로 만든다lower: 문자열을 소문자로 만든다upp.. 2024. 8. 22. [파이썬] FastAPI - 템플릿 시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 예외 처리(exception handling)시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 요청시작에 앞서해당 내puppy-foot-it.tistory.com템플릿 (Jinja2 패키지) FastAPI는 Jinja2라는 강력한 템플릿 엔진을 사용하여 HTML 내에서 파이썬 코드를 사용할 수 있게 해준다. Jinja2 는 FastAPI의 템플릿을 취급할 때 요구되는 중.. 2024. 8. 21. [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석(2) 이전 내용 [파이썬] 자연어 처리 (NLP) - 네이버 뉴스 텍스트 분석분석 내용(목표) 를 통해 익혔던 텍스트 분석 방법을 활용하여네이버 뉴스에서 '파이썬' 이라는 키워드로 기사를 검색해서 빈도수를 분석하고,워드 클라우드를 생성, gensim 으로 유사도 파악 모puppy-foot-it.tistory.com수행 목표 이전에 수행했던 '파이썬' 키워드 뉴스 기사 웹 스크래핑 + 워드 클라우드 작업에서 실패했던애플로고에 워드 클라우드 마스킹 작업을 하고, 워드 클라우드 및 마스킹 작업에 대해 좀 더 명확히 이해할 수 있도록 한다.웹 스크래핑, 토큰화, 불용어 처리 및 워드 클라우드 (사전 작업) 해당 작업은 동일하므로, 이전에 작업 시 작성했던 포스팅 (상단)을 확인하도록 한다.다만, 불용어 처리는 몇 .. 2024. 8. 21. [파이썬] FastAPI - 예외 처리(exception handling) 시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 요청시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 응답 클래스시작에 앞서puppy-foot-it.tistory.com예외 처리(exception handling) 예외 처리: 프로그래밍에서 발생할 수 있는 예상치 못한 에러 또는 예외 상황에 대처하는 프로세스. ◆ 기본 예외 처리 (try/except 문법)try 블록 안에서 실행되는 코드에서 예외가 발생하면 exce.. 2024. 8. 20. [파이썬] FastAPI - 요청 시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 응답 클래스시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 응답 모델시작에 앞서해puppy-foot-it.tistory.comFastAPI 요청 웹 애플리케이션에서의 요청(request)은 클라이언트가 서버로부터 정보를 얻거나 서버에 정보를 전달하기 위해 보내는 HTTP 메시지이다. FastAPI 를 사용하면 이러한 요청 데이터를 쉽게 처리하고 관리할 수 있다.Fast.. 2024. 8. 20. [파이썬] FastAPI - 응답 클래스 시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - 응답 모델시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - Pydantic (2)시작에 앞서해당puppy-foot-it.tistory.comFastAPI 응답 클래스 FastAPI에서 응답 클래스는 서버가 클라이언트에게 반환되는 HTTP 응답의 종류를 정의한다. 이를 통해 개발자는 반환되는 데이터의 형식을 제어하고, 특정 HTTP 응답의 동작을 세밀하게 조정할 수 있다... 2024. 8. 19. [워드클라우드] 코로나 뉴스 기사 (feat.주사기 마스킹) 수행 내용 및 목표 엔데믹이 선언된 후 약 1년 좀 지난 요즘, 코로나 환자가 다시 증가하고 있다.실제로 내 주변에도 최근 코로나 감염자가 증가하고 있다.1) 네이버 뉴스에서 코로나 관련 기사들을 수집하여2) 워드클라우드를 만들어보고,3) 주사기 이미지에 마스킹하는 작업4) 그리고 주요 단어들의 빈도수 분석 및 연관 분석을 실행해보려 한다.★ 주피터 노트북을 통해 분석주피터 노트북 파일 생성 및 세팅 하기 먼저 주피터 노트북을 실행하여 새로운 파이썬 파일을 생성한다. 필요한 모듈을 import 하고, 기본 세팅을 한다.from tqdm import tqdm_notebookimport urllib.requestimport timeimport requests# 웹 스크래핑을 위한 BeautifulSoup와 .. 2024. 8. 19. [파이썬] FastAPI - 응답 모델 시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - Pydantic (2)시작에 앞서해당 내용은 , Dave Lee 지음. BJ Public 출판.내용을 토대로 작성되었습니다. 보다 자세한 사항은 해당 교재를 참고하시기 바랍니다.이전 내용 [파이썬] FastAPI - HTTP 메서드, Pydantic시작에puppy-foot-it.tistory.comFastAPI 응답 모델 FastAPI 응답 모델은 클라이언트에 반환되는 데이터의 구조를 정의하는 데 사용되는 강력한 기능이다.응답 모델을 정의함으로써 API는 반환되는 데이터의 유효성을 보장하고, OpenAPI 스키마.. 2024. 8. 18. 이전 1 2 3 4 5 ··· 13 다음 728x90
