728x90 전체 글623 [구글시트 의뢰] 5개의 엑셀 문서 하나로 통합하기 의뢰내용 회사의 영업관리 (겸 경리) 직원분이 한숨을 푹푹 쉬다가, 나한테 SOS를 청했다.가서 들어보니, 나한테 영수증을 주면서 '국내영업부 경비내역' 엑셀 파일에 입력해 달라고 요청을 했다. 도움을 주기 이전에, 업무적인 애로사항을 먼저 물어봤다. 담당직원은 1) 영업직원이 출장을 다녀오면 영수증이랑 출장정산서를 주는데, 다른 일들도 많은데 매번 그것들을 처리하는 데 시간이 오래 걸린다.2) 같은 내용을 각각 다른 엑셀 파일에 적어놓는 데, 그게 3번이라 매우 번거롭다3) 영업직원이 지출한 비용은 영업직원이 작성했으면 좋겠고, 영업직원이 본인이 쓰는 지출 내역에 대해 파악이 되어 지출을 관리했으면 좋겠다. 라는 말을 했다.그리하여, 관리직원에게 현재 사용하고 있는 엑셀 파일을 전부 보내달라고 하여 .. 2024. 9. 12. [머신러닝 프레임워크] Keras vs Tensorflow vs Pytorch 머신러닝 프레임워크 Keras vs Tensorflow vs Pytorch 비교하기 문서 작업을 할 때 MS Word, 한컴 등 다양한 프로그램이나 툴처럼 AI 개발, 학습, 배포 후 운영 작업을 하는 과정에서 다양한 프레임워크를 활용할 수 있는데, 대표적으로는 Keras(케라스), Tensorflow(텐서플로우), Pytorch (파이토치)가 있다.그전에, 머신러닝이라는 개념에 대해 알고 싶다면 [파이썬 머신러닝] 머신러닝과 생태계 이해머신러닝의 개념 머신러닝은 일반적으로, 애플리케이션을 수정하지 않고도 데이터를 기반으로 패턴을 학습하고 결과를 예측하는 알고리즘 기법을 통칭한다.업무적으로 복잡한 조건/규칙들이puppy-foot-it.tistory.com 프레임워크란,개발 과정의 설계와 구현을 좀 더 편.. 2024. 9. 9. [머신러닝] Pytorch 설치하기 (Nvidia GPU 버전) 머신러닝에 적합한 도구: PyTorchPyTorch: 딥러닝 최적화 프레임워크PyTorch는 2016년에 출시된 딥러닝 프레임워크로, 신경망 모델 구축과 훈련에 특화되어 있다. 파이썬 기반으로 쉽게 배울 수 있고, 특히 즉시 실행 기능을 통해 디버깅이 용이하다. GPU 병렬 연산을 지원하여 대규모 데이터 처리에 강점이 있다. PyTorch는 심층 신경망 작업에서 매우 유용하며, GPU 가속을 통해 처리 성능을 높여준다. CUDA와 cuDNN 같은 API를 활용해 속도를 극대화할 수 있다.◆ 장점쉽고 직관적: 텐서플로우보다 접근이 쉬우며, 즉시 실행으로 디버깅을 쉽게 할 수 있다.빠른 속도: GPU 가속 덕분에 복잡한 계산을 빠르게 처리.Dynamic Graph: 모델 구조를 변경할 때 유연성을 제공.★ .. 2024. 9. 9. [머신러닝] Intel GPU로 Pytorch 구동하기(는 안할게..) to. 바쁘신 분들 결론적으로는, 이것저것 설치를 하면 새로운 에러들이 부수적으로 떠서 회사 컴퓨터에 인텔 oneAPI 툴킷을 설치하는 것은 보류하였습니다. 회사 컴퓨터가 개발자용이 아닌데다가, 업무 시간에 딥러닝 머신러닝 모델 구현하는 것도 눈치보일 거 같아서.. 최종 에러 메시지는 아래와 같습니다.intel oneapi data analytics library error: sequence execution failed 혹시 시간되시고, 착하시고, 프로그래밍 척척 박사이신 분들께서는 댓글을 남겨주시면저같은 초보 개발자, 입문자, 그외에 엔비디아 GPU 가 아닌 컴퓨터로 파이토치를 해보고자 하는 많은 이들에게 구원이 될 것이라 믿습니다.아무튼, 해당 포스팅은 실패 사례 입니다. 만약, 머신러닝 용 노.. 2024. 9. 9. [머신러닝] 머신러닝에 적합한 도구, Pytorch 설치하기(CPU버전) 머신러닝에 적합한 도구: PyTorchPyTorch: 딥러닝 최적화 프레임워크PyTorch는 2016년에 출시된 딥러닝 프레임워크로, 신경망 모델 구축과 훈련에 특화되어 있다. 파이썬 기반으로 쉽게 배울 수 있고, 특히 즉시 실행 기능을 통해 디버깅이 용이하다. GPU 병렬 연산을 지원하여 대규모 데이터 처리에 강점이 있다. PyTorch는 심층 신경망 작업에서 매우 유용하며, GPU 가속을 통해 처리 성능을 높여준다. CUDA와 cuDNN 같은 API를 활용해 속도를 극대화할 수 있다.◆ 장점쉽고 직관적: 텐서플로우보다 접근이 쉬우며, 즉시 실행으로 디버깅을 쉽게 할 수 있다.빠른 속도: GPU 가속 덕분에 복잡한 계산을 빠르게 처리.Dynamic Graph: 모델 구조를 변경할 때 유연성을 제공. ★.. 2024. 9. 8. [파이썬] 대량의 폴더 생성하기 수행 내용 및 목표 '타이어 제조사_브랜드 리스트'의 형태로 하나의 폴더의 대량의 하위 폴더를 생성하는 코드를 작성하여 실행한다.실행 현재 생성해야 할 폴더는 39개로 일일이 하기에는 너무 번거로운 작업이다. [코드]import os# 생성할 폴더명 리스트folders = [ "Bridgestone_Bridgestone", "Bridgestone_Firestone", "Bridgestone_Daytona", "Michelin_Michelin", "Michelin_BFGoodrich", "Michelin_Kléber", "Michelin_Uniroyal", "Michelin_Riken", "Goodyear_Goodyear", "Goodyear_Dunlop", "Goodyear_Kelly.. 2024. 9. 7. [파이썬] 폴더 내의 파일 분류시키기 전이 학습을 위해 이미지를 폴더로 분류해야 하는데, 학습을 할 이미지가 있는 폴더에는 각 클래스의 이름을 딴 하위 폴더(예: 'tire' 및 'non_tire')가 포함되어야 하며 이러한 하위 폴더에는 이미지 파일이 포함되어야 한다. 따라서, 하단의 이미지 처럼 되어 있는 폴더를 파일명에 있는 클래스 ('tire' / 'non_tire') 에 따라 새로운 폴더를 만들어 이동을 시켜줘야 한다. [해당 코드]import osimport shutil# Define the source directory and destination folderssource_directory = r'C:\Users\niceq\Desktop\Startup-related\Tire Scanner\Tire images\Classifie.. 2024. 9. 7. [파이썬] 파일명 변경하기 ver.3 이번엔 접미사가 아닌'tire_image_42.jpg_non_tire''tire_image_45.jpg_tire'처럼 중간에 '.jpg' 가 붙어 있는 파일들의 파일명을 변경하려고 한다. import os# 바꿔야할 폴더 경로directory = r'C:\Users\niceq\Desktop\Startup-related\Tire Scanner\Tire images\Classified Images'# List all files in the directoryfor filename in os.listdir(directory): # Construct old file path old_file_path = os.path.join(directory, filename) # Check if file.. 2024. 9. 7. [텐서플로우 설치] X고생한 텐서플로우 import 성공기 지금 이 글은 나와 비슷한 상황을 겪고 있는 분들을 위해서,그리고 회사 컴퓨터(월급루팡...)와 집 노트북 (또 미래의 새 노트북 구입) 2가지로 파이썬을 하고 있는 필자를 위해 남겨두는 기록이다.이미지 분류 CNN 딥러닝 모델을 구현하기 위해 텐서플로우 설치 및 import 가 필수적이었다. [머신러닝] 텐서플로우(TensorFlow)란?텐서플로우(TensorFlow)란? 텐서플로우(TensorFlow)는 구글에서 개발한 오픈소스 머신러닝 프레임워크이다. 주로 딥러닝 모델을 만들고 학습시키는 데 사용되며, 다양한 플랫폼에서 실행이 가능하다.puppy-foot-it.tistory.com 텐서플로우 설치는 쉬우나, 이를 import 하는데 각종 에러가 난무하였다.에러1을 해결하면, 에러2라는 새로운 에러가.. 2024. 9. 7. [딥러닝] CNN 구조와 이미지넷 대회에서 우승한 모델들 CNN 구조 전형적인 CNN 구조는 합성곱 층을 몇 개 쌓고(각각 ReLU 층을 그 뒤에 놓고), 그 다음에 풀링 층을 쌓고, 그 다음에 또 합성곱 층을 몇 개 더 쌓고, 그 다음에 다시 풀링 층을 쌓는 식이다.네트워크를 통과하여 진행할수록 이미지는 점점 작아지지만 합성곱 층 때문에 일반적으로 점점 더 깊어지며, 더 많은 특성 맵을 가진다. 지난 몇 년간 기본 구조에서 여러 변형이 개발되었고 인공 지능 분야의 놀라운 발전을 이끌었다.얼마나 진전되는지 확인하는 방법은 ILSVRC 이미지넷 대회(http://image-net.org) 같은 경연 대회의 오류율을 보는 것이다.대회에서 우승한 모델들의 발전 과정을 살펴보면 CNN의 작동 방식과 어떻게 딥러닝 연구가 발전되었는지 이해하는 데 많은 도움이 될 것이다.. 2024. 9. 6. [이미지 전처리] OpenCV를 통한 이미지 Resize 작업 수집된 이미지들을 머신 러닝 모델 학습에 사용하거나 YOLO와 같은 객체 감지 모델에서 실행하기 전에 크기를 통합하거나 기타 작업을 수행하여 이미지를 전처리 하는 것이 중요하다. 이미지 크기 통일이 중요한 이유 1. 모델 입력의 일관성: YOLO를 포함한 많은 모델은 입력 이미지가 특정 크기(예: YOLO의 경우 416x416 또는 640x640)를 가질 것으로 예상. 크기가 다른 이미지를 공급하면 오류가 발생하거나 성능이 저하될 수 있다.2. 효율적인 학습: 균일한 크기의 이미지가 있으면 모델이 다양한 이미지 크기를 처리할 필요가 없으므로 학습 프로세스가 단순화되고 수렴이 향상된다.3. 왜곡 방지: 신중하게 크기를 조정하면 이미지 내의 객체가 모델 성능에 영향을 줄 수 있는 왜곡되지 않도록 할 수 있다.. 2024. 9. 6. [파이썬] 파일명 변경하기 ver.2 특정 폴더 내의 파일에 확장자 외에도 전부 '.jpg' 라는 접미사가 붙어 있어, 확장자는 유지한 채 해당 접미사를 없애는 방식으로 파일명을 변경하는 코드를 작성import os# 이미지 파일이 저장된 폴더 경로folder_path = r'C:\Users\pc02\Documents\Python Prac\Tire Scanner\raw images'# 폴더 내의 파일들을 순회for filename in os.listdir(folder_path): # 파일 이름과 확장자를 분리 file_name, file_extension = os.path.splitext(filename) # 파일 이름에 '.jpg'라는 접미사가 포함된 경우 if file_name.endswith('.jpg'):.. 2024. 9. 6. [이미지 라벨링] LabelImg 설치 및 실행 하기 학습할 이미지를 수집했으므로, 다음으로 해야할 작업은 이미지를 라벨링하는 작업이다. [이미지 웹스크래핑] 픽사베이 API Key 발급을 통한 이미지 수집앞서 네이버를 통해 이미지 웹스크래핑으로 이미지를 수집했으나, 그 수가 현저히 모자라기도 하고 원하는 이미지 (Tire Tread) 외에 다른 이미지까지 포함되어 있어 좀 더 정확한 이미지 + 대규모puppy-foot-it.tistory.com 구글링을 통해 이미지 라벨링 툴(Image Labeling Tool)을 검색하니, 다양한 라벨링 툴이 나온다.하지만, 어떤 게 좋은지 감이 없기 때문에 파이썬에 해당 라이브러리가 있는지 챗gpt를 통해 파악해본다.Python과 잘 작동하는 인기 있는 이미지 라벨링 도구는 LabelImg입니다. 이 도구는 오픈 소스.. 2024. 9. 6. [이미지 웹스크래핑] 픽사베이 API Key 발급을 통한 이미지 수집 앞서 네이버를 통해 이미지 웹스크래핑으로 이미지를 수집했으나, 그 수가 현저히 모자라기도 하고 원하는 이미지 (Tire Tread) 외에 다른 이미지까지 포함되어 있어 좀 더 정확한 이미지 + 대규모 이미지 의 수집이 필요했다. 웹 스크래핑을 허용하거나, API Key 발급이 용이하고 무료인 이미지 저장 사이트를 검색하다가 챗 GPT에서 하단의 사이트를 안내해줬다.기타 공개 도메인 이미지 웹사이트:Pixabay - 단순화된 Pixabay 라이센스에 따라 무료 이미지를 제공합니다. 또한 이미지에 액세스하기 위한 API도 제공합니다.Pexels - 무료 스톡 이미지의 대규모 컬렉션이며 API도 제공합니다.Wikimedia Commons - 공개 도메인 및 무료 라이센스 미디어 파일로 구성된 대규모 데이터베이.. 2024. 9. 5. [파이썬] 폴더 내의 여러 파일의 파일명 한 번에 바꾸기 수행 내용 및 목표 이전에 네이버에서 웹 스크래핑으로 이미지를 대량으로 다운 받아놓았는데, [이미지 웹스크래핑] 웹스크래핑으로 네이버에서 이미지 다운 받기수행 목적 및 내용 개인적으로 진행 중인 프로젝트가 있는데, 다양한 대량의 이미지를 수집하여 CNN을 통한 이미지 분석을 진행하려고 한다.CNN 딥러닝을 통한 이미지 분석 모델 구현 이전에, 학puppy-foot-it.tistory.com실수로, 폴더명만 다르게 해놓고, 폴더 내의 파일명은 모두 동일하게 다운로드 받아놓았다. 이미지 분류 모델 생성을 위해 모든 이미지 파일을 한 폴더 내로 넣으려다가, 이렇게 되면 모든 파일명이 똑같아서 대참사가 벌어지겠구나를 직감하고, 파일명을 무조건 바꿔야 하는 상황에 놓였다. 원래 파이썬을 몰랐다면, 수작업으로 일.. 2024. 9. 5. [이미지 웹스크래핑] 웹스크래핑으로 네이버에서 이미지 다운 받기 수행 목적 및 내용 개인적으로 진행 중인 프로젝트가 있는데, 다양한 대량의 이미지를 수집하여 CNN을 통한 이미지 분석을 진행하려고 한다.CNN 딥러닝을 통한 이미지 분석 모델 구현 이전에, 학습할 수 있는 대량의 이미지가 필요하다. 따라서, 다량의 이미지를 수집해야 해서 네이버에서 웹 스크래핑으로 이미지를 다운받으려고 한다.(처음에는 구글에서 시도하려 하였으나, 구글은 웹 스크래핑 차단으로 실행이 안 된다.)구글 웹 스크래핑 코드 기존에 네이버 뉴스 댓글 수집 시 사용했던 코드 + 챗 gpt를 활용하여 이미지를 크롤링하고 내 컴퓨터에 다운 받을 수 있는 코드를 생성하였다. (코드는 구글 기준)# 필요한 라이브러리 가져오기from tqdm.notebook import tqdm import urllib.r.. 2024. 9. 5. [머신러닝] 차원의 저주(Curse of Dimensionality)란? 고차원의 데이터 분석에서 발생하는 문제를 설명하는 용어로 "차원의 저주(Curse of Dimensionality)"가 있습니다. 이 문제는 특히 빅데이터 분석과 머신러닝에서 많이 다뤄지며, 데이터셋의 피처(차원) 수가 매우 많을 때 발생하는 여러 가지 어려움을 의미합니다. "차원의 저주"는 고차원 공간에서 데이터를 분석할 때 발생하는 여러 문제를 설명하는 용어로, 데이터 희소성, 계산 요구 사항의 증가, 과적합, 거리 지표의 비효율성을 포함합니다. 이러한 문제를 해결하기 위해 차원 축소, 특징 선택, 정규화, 고차원에 적합한 알고리즘 사용 등의 기법이 필요합니다. 차원의 저주를 이해하고 해결하는 것은 큰 데이터셋을 다룰 때, 데이터 분석 및 머신러닝 모델의 성능과 정확도에 직접적인 영향을 미치기 때문에.. 2024. 9. 3. [전세보증금 반환 청구]임대보증보험 연장 이전 내용 [전세보증금 반환 청구] 주택도시보증공사 이행 청구 (재)접수이전 내용 [전세보증금 반환 청구] 주택도시보증공사 이행 청구 접수24년 7월 23일 화요일 전날 준비한 서류 중에 모자란 서류를 발급하기 위해 아침 일찍부터 주민센터와 은행을 방문해야 한다puppy-foot-it.tistory.com24년 8월 20일. 주택도시보증공사에 들러 이행 청구 접수를 완료하였다.그러나, 이전에 가입해둔 보증보험의 보험 기간이 전세 기간보다 짧아 보증 이행을 위해서 보증 보험 기간을 전세 기간에 맞춰 연장을 해야 해서 기간 연장 신청도 했다. [중요한 것은 다시 한 번!]★ 우선 이행 청구 접수는 가능하나, 보증 보험 기간이 만료되면 아마 보증 이행이 불가할 확률이 높으니,최대한 빨리 연장 신청을 하는 게.. 2024. 9. 3. [POWER BI] DAX 함수로 데이터 모델링 완벽 마스터하기 ◆ 데이터 모델링의 핵심은 데이터를 의미 있고 유용한 정보로 변환하는 데 있습니다.DAX(Data Analysis Expressions)는 이 과정에서 중요한 역할을 합니다. DAX는 Power BI, Excel Power Pivot, SSAS Tabular 모델 등에서 사용되는 함수 언어로, 데이터 모델링 및 분석을 위한 강력한 도구를 제공합니다. 이번 포스트에서는 DAX의 주요 함수들을 살펴보겠습니다. 각 함수의 정의, 사용법, 그리고 실무에서의 활용법을 자세히 알아보겠습니다. SUM ◆ 정의: SUM 함수는 지정된 열의 모든 숫자 값을 더하여 합계를 반환합니다. ◆ 사용법SUM(): 합계를 구할 열을 지정합니다. ◆ 활용법: 매출 데이터를 분석할 때, 특정 기간 동안의 총 매출을 구할 수 있습니다.. 2024. 9. 2. [경영정보시각화능력 실기] 모의문제 A형 풀이 관련 링크 모음 (Power BI) 경영정보시각화 능력 실기 모의문제 파일 풀이 관련 링크 문제 1-1-①. 데이터 파일을 가져온 후 파워쿼리 편집기를 통해 테이블의 데이터를 편집하시오[Power BI] 엑셀 파일 열어서 가져오기 (+Power Query) 문제 1-1-②. 파워쿼리 편집기를 통해 테이블에 ‘쿼리 병합’를 사용하여 테이블의 [자치구] 필드를 추가하시오[POWER BI] POWER QUERY 를 통한 데이터 편집 문제 1-2. 다음 지시사항에 따라 데이터를 편집하고 모델링하며, 측정값을 추가하시오.[POWER BI] 테이블 및 측정값 추가하기 문제2-1. ‘문제2’, ‘문제3’, ‘문제3-5’ 보고서의 전체 서식을 아래 지시사항에 따라 설정하시오~2-2. 다음 지시사항에 따라 슬라이서와 카드를 구현하시오.[POWE.. 2024. 9. 1. [Power BI] DAX(Data Analysis Expressions)란? 데이터 분석에 관심이 있거나 Power BI를 사용해 본 경험이 있는 사람이라면, DAX(Data Analysis Expressions)에 대해 들어본 적이 있을 것이다. DAX는 데이터를 보다 깊이 있게 분석하고, 복잡한 계산을 수행할 수 있도록 도와주는 강력한 수식 언어이다. 이 포스팅을 통해 DAX(Data Analysis Expressions)를 사용하여 다양한 기본 계산 및 데이터 분석 문제를 해결하는 방법에 대한 빠르고 쉬운 소개로 사용할 수 있다.DAX란? DAX란 수식 또는 식에서 하나 이상의 값을 계산하고 반환하는 데 사용할 수 있는 함수, 연산자 및 상수 컬렉션이다. DAX를 사용하면 이미 모델에 있는 데이터로 새로운 정보를 만들 수 있다. DAX는 Microsoft의 Power BI,.. 2024. 9. 1. 이전 1 ··· 9 10 11 12 13 14 15 ··· 30 다음 728x90
