728x90 웹스크래핑2 [이미지 웹스크래핑] 픽사베이 API Key 발급을 통한 이미지 수집 앞서 네이버를 통해 이미지 웹스크래핑으로 이미지를 수집했으나, 그 수가 현저히 모자라기도 하고 원하는 이미지 (Tire Tread) 외에 다른 이미지까지 포함되어 있어 좀 더 정확한 이미지 + 대규모 이미지 의 수집이 필요했다. 웹 스크래핑을 허용하거나, API Key 발급이 용이하고 무료인 이미지 저장 사이트를 검색하다가 챗 GPT에서 하단의 사이트를 안내해줬다.기타 공개 도메인 이미지 웹사이트:Pixabay - 단순화된 Pixabay 라이센스에 따라 무료 이미지를 제공합니다. 또한 이미지에 액세스하기 위한 API도 제공합니다.Pexels - 무료 스톡 이미지의 대규모 컬렉션이며 API도 제공합니다.Wikimedia Commons - 공개 도메인 및 무료 라이센스 미디어 파일로 구성된 대규모 데이터베이.. 2024. 9. 5. [이미지 웹스크래핑] 웹스크래핑으로 네이버에서 이미지 다운 받기 수행 목적 및 내용 개인적으로 진행 중인 프로젝트가 있는데, 다양한 대량의 이미지를 수집하여 CNN을 통한 이미지 분석을 진행하려고 한다.CNN 딥러닝을 통한 이미지 분석 모델 구현 이전에, 학습할 수 있는 대량의 이미지가 필요하다. 따라서, 다량의 이미지를 수집해야 해서 네이버에서 웹 스크래핑으로 이미지를 다운받으려고 한다.(처음에는 구글에서 시도하려 하였으나, 구글은 웹 스크래핑 차단으로 실행이 안 된다.)구글 웹 스크래핑 코드 기존에 네이버 뉴스 댓글 수집 시 사용했던 코드 + 챗 gpt를 활용하여 이미지를 크롤링하고 내 컴퓨터에 다운 받을 수 있는 코드를 생성하였다. (코드는 구글 기준)# 필요한 라이브러리 가져오기from tqdm.notebook import tqdm import urllib.r.. 2024. 9. 5. 이전 1 다음 728x90
