728x90 [파이썬 Projects]350 [LLM] GPU 효율적인 학습 이전 내용 [LLM] 텍스트 분류 모델 학습시키기이전 내용 [LLM] 허깅페이스 라이브러리 사용법 익히기허깅페이스 [AI 플랫폼] 허깅페이스: AI와 머신러닝의 새로운 지평허깅페이스란? 허깅페이스(Hugging Face)는 자연어 처리(NLP)와 머신러닝(ML)puppy-foot-it.tistory.comGPU 효율적인 학습 (feat. 구글 코랩) GPU(Graphic Processing Unit)은 딥러닝 모델처럼 연산을 빠르게 처리하는데 특화된 장치로, 최근 LLM의 등장과 함께 주목받고 있다. GPU는 한정된 메모리를 갖고 있어 LLM처럼 모델의 크기가 크면 더 많은 GPU가 필요해진다. 그러나 GPU는 가격이 비싸 풍부하게 사용이 어려워 최근에는 더 많은 사람이 발전된 AI 기술을 사용할 수 있.. 2024. 12. 30. [LLM] 텍스트 분류 모델 학습시키기 이전 내용 [LLM] 허깅페이스 라이브러리 사용법 익히기허깅페이스 [AI 플랫폼] 허깅페이스: AI와 머신러닝의 새로운 지평허깅페이스란? 허깅페이스(Hugging Face)는 자연어 처리(NLP)와 머신러닝(ML) 커뮤니티에서 가장 혁신적이고 중요한 플랫폼 중 하나puppy-foot-it.tistory.com모델 학습시키기 한국어 기사 제목을 바탕으로 기사의 카테고리를 분류하는 텍스트 분류 모델을 학습하는 실습을 진행해 본다. 먼저 실습에 사용할 데이터셋을 준비하고 모델과 토크나이저를 불러와 모델을 학습시킨다.허깅페이스 트랜스포머에서는 간편하게 모델 학습을 수행할 수 있도록 학습 과정을 추상화한 트레이너(Trainer) API를 제공하는데, 이를 사용하면 학습을 간편하게 할 수 있다는 장점이 있지만 내부.. 2024. 12. 27. [LLM] 허깅페이스 라이브러리 사용법 익히기 허깅페이스 [AI 플랫폼] 허깅페이스: AI와 머신러닝의 새로운 지평허깅페이스란? 허깅페이스(Hugging Face)는 자연어 처리(NLP)와 머신러닝(ML) 커뮤니티에서 가장 혁신적이고 중요한 플랫폼 중 하나로 자리 잡고 있다. 허깅페이스는 주로 Transformer 모델을 중심으로puppy-foot-it.tistory.com허깅페이스 모델 활용하기 허깅페이스 트랜스포머 라이브러리를 사용하면 허깅페이스 모델 허브의 모델을 쉽게 불러와 사용할 수 있다. 허깅페이스에서는 모델을 바디와 헤드로 구분하는데, 모델의 바디만 불러올 수도 있고, 헤드와 함께 불러올 수도 있다.바디 : 헤드를 제외한 모델의 부분 헤드 : 모델의 마지막 층으로 Task에 특화되어 작업에 맞는 층으로 된 부분여기서는 klue/rober.. 2024. 12. 27. [Gen AI] 스테이블 디퓨전 API (이 아닌 stability.ai API 사용법) 이전 내용 [Gen AI] 그라디오로 두 번째 챗봇 제작하기-3이전 내용 [Gen AI] 그라디오로 두 번째 챗봇 제작하기-1이전 내용 [Gen AI] 문서 요약 프롬프트 제작이전 내용 [Gen AI] 음성 변환 기술 구현해보기(STT, TTS)이전 내용 [Gen AI] 그라디오 챗봇 업그레이puppy-foot-it.tistory.com이미지 생성 AI 이미지 생성 AI란, 인공지능을 사용하여 새로운 이미지를 만들어 내는 기술을 뜻하며, 인공지능이 사용자가 입력한 텍스ㅌ트 설명을 분석하고 이해하여 그 내용에 맞는 이미지를 생성한다. 이 기술은 머신러닝과 적대적 생성 신경망(GANs), 트랜스포머 같은 딥러닝 알고리즘을 사용하여 작동한다. [적대적 생성 신경망 - GAN] [딥러닝] 비지도 학습: 생성적 .. 2024. 12. 22. [Gen AI] 그라디오로 두 번째 챗봇 제작하기-3 이전 내용 [Gen AI] 그라디오로 두 번째 챗봇 제작하기-1이전 내용 [Gen AI] 문서 요약 프롬프트 제작이전 내용 [Gen AI] 음성 변환 기술 구현해보기(STT, TTS)이전 내용 [Gen AI] 그라디오 챗봇 업그레이드그라디오로 제작한 챗봇 시리즈 [Gen AI] 그라디오로puppy-foot-it.tistory.com [Gen AI] 그라디오로 두 번째 챗봇 제작하기-2이전 내용 [Gen AI] 그라디오로 두 번째 챗봇 제작하기-1이전 내용 [Gen AI] 문서 요약 프롬프트 제작이전 내용 [Gen AI] 음성 변환 기술 구현해보기(STT, TTS)이전 내용 [Gen AI] 그라디오 챗봇 업그레이puppy-foot-it.tistory.com음성 인식봇, 문서 요약봇에 이어 일정 관리봇을 제.. 2024. 12. 21. [Gen AI] 그라디오로 두 번째 챗봇 제작하기-2 이전 내용 [Gen AI] 그라디오로 두 번째 챗봇 제작하기-1이전 내용 [Gen AI] 문서 요약 프롬프트 제작이전 내용 [Gen AI] 음성 변환 기술 구현해보기(STT, TTS)이전 내용 [Gen AI] 그라디오 챗봇 업그레이드그라디오로 제작한 챗봇 시리즈 [Gen AI] 그라디오로puppy-foot-it.tistory.com 그라디오와 랭체인을 활용해 음성 인식봇, 문서 요약봇, 일정 관리봇을 제작해 본다.문서 요약봇 제작하기 ◆ 문서 요약봇 레이아웃 구성하기탭을 제외한 문서 요약봇의 레이아웃은 아래와 같이 세로로 4블록이 쌓여 있고 각각 하나의 row로 구성되어 있다. 나중을 위해 각각의 row로 컴포넌트를 설정한다. with.gr.Tab("음성 인식봇"): .... with gr.Tab(.. 2024. 12. 21. [Gen AI] 그라디오로 두 번째 챗봇 제작하기-1 이전 내용 [Gen AI] 문서 요약 프롬프트 제작이전 내용 [Gen AI] 음성 변환 기술 구현해보기(STT, TTS)이전 내용 [Gen AI] 그라디오 챗봇 업그레이드그라디오로 제작한 챗봇 시리즈 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI]puppy-foot-it.tistory.com그라디오로 두 번째 챗봇 제작하기 위스퍼(Whisper) 음성 인식봇과 문서 요약봇, 일정 관리봇을 만들어 본다.진행 순서는 레이아웃 구성 ▶ 기능 구성 ▶ 최종 컴포넌트 연결 순으로 진행된다.레이아웃 구성 제일 상단에 공통적으로 등장하는 음성 인식봇, PDF 문서 요약, 일정 관리봇은 탭, 각 탭을 클릭하면 해당 탭과 일치하는 기능을 가진 메인 화면으로 레이아웃이 변경될 수 있도록.. 2024. 12. 20. [Gen AI] 문서 요약 프롬프트 제작 이전 내용 [Gen AI] 음성 변환 기술 구현해보기(STT, TTS)이전 내용 [Gen AI] 그라디오 챗봇 업그레이드그라디오로 제작한 챗봇 시리즈 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보puppy-foot-it.tistory.com챗GPT 문서 요약 프롬프트 제작 챗GPT를 이용해서 불러온 내용을 요약하는 프롬프트를 제작해 본다.프롬프트를 제작하기 전에 앞서, 랭체인(Langchain)과 pypdf 라이브러리 설치가 필요하다. [랭체인 설치] [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 1이전 내용 [Gen AI] 그라디오로 제작한 챗봇 허깅 페이스에 업로드하기이전 내용 [G.. 2024. 12. 20. [Gen AI] 음성 변환 기술 구현해보기(STT, TTS) 이전 내용 [Gen AI] 그라디오 챗봇 업그레이드그라디오로 제작한 챗봇 시리즈 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬, 주피터노트북)이전 내용 [Gen AI] OpenApuppy-foot-it.tistory.com위스퍼(Whisper) 설치 Whisper AI는 OpenAI가 개발한 강력한 음성 인식 모델이다. 다양한 오디오로 구성된 대규모 데이터셋을 학습하고 다국어 음성 인식은 물론 음성 번역과 언어 식별까지 수행할 수 있는 멀티태스크 모델이다. 이 모델을 사용하려면 whisper 라이브러리를 설치해야 한다. 필자의 경우, anaconda prompt(+가상환경)를 통해 .. 2024. 12. 19. [Gen AI] 그라디오 챗봇 업그레이드 그라디오로 제작한 챗봇 시리즈 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬, 주피터노트북)이전 내용 [Gen AI] OpenAI API 키 발급하기Open AI API란? OpenAI에서 개발한 인공지능 모델을 프로그래밍 인puppy-foot-it.tistory.com [Gen AI] 그라디오로 챗봇 제작하기 - 2 (번역봇)이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬, 주피터노트북)이전 내용 [Gen AI] OpenAI API 키 발급하기Open.. 2024. 12. 19. [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 3 이전 내용 [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 2이전 내용 [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 1이전 내용 [Gen AI] 그라디오로 제작한 챗봇 허깅 페이스에 업로드하기이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 3 (소설봇)이전 내용 [puppy-foot-it.tistory.com모델 I/O 5. 체인(Chain)체인은 랭체인의 핵심 기능 중 하나이다.LLM을 사용하여 서비스를 개발할 때 LLM의 자체 기능만을 사용해 개발할 수도 있지만, 다른 기능을 제공하는 모듈 등을 LLM에 연결해 서비스하는 경우가 많다. 랭체인은 이러한 모듈을 체인으로 연결할 수 있는 인터페이스를 제공하여 모듈을 호출할 수 있도록 해준다. [LLM 체인 구조]User Input Tex.. 2024. 12. 13. [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 2 이전 내용 [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 1이전 내용 [Gen AI] 그라디오로 제작한 챗봇 허깅 페이스에 업로드하기이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 3 (소설봇)이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용puppy-foot-it.tistory.com모델 I/O 3. 리트리블(Retrieval)LLM 모델 사용 시 창의적인 답변이 아닌, 도메인 지식이나 전문성이 필요한 질문에 대해서는 정확도가 떨어지는 답변을 해주는 경우가 있는데, 이러한 경우에 사용하는 것이 바로 RAG(Retrieval Augmented Generation)이다.RAG는 외부 소스에서 검색하거나 가져온 정보를 LLM 모델의 인풋으로 적용하여 정확하고 맥락에 .. 2024. 12. 13. [Gen AI] 랭체인을 활용한 챗봇 업그레이드 - 1 이전 내용 [Gen AI] 그라디오로 제작한 챗봇 허깅 페이스에 업로드하기이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 3 (소설봇)이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬,puppy-foot-it.tistory.com랭체인(LangChain) 이란?출처: 위키백과 랭체인(LangChain)은 LLM(대형 언어 모델)을 사용하여 애플리케이션 생성을 단순화하도록 설계된 프레임워크이다. 언어 모델 통합 프레임워크로서 랭체인의 사용 사례는 문서 분석 및 요약, 챗봇, 코드 분석을 포함하여 일반적인 언어 모델의 사용 사례와 크게 겹친다. LangChainLangCh.. 2024. 12. 13. [Gen AI] 그라디오로 제작한 챗봇 허깅 페이스에 업로드하기 이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 3 (소설봇)이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬, 주피터노트북)이전 내용 [Gen AI] OpenAI API 키 발급하기Open AIpuppy-foot-it.tistory.com허깅 페이스란? 허깅 페이스는 자연어 처리(NLP)를 중심으로 한 인공지능 커뮤니티와 머신러닝 모델을 공유하는 플랫폼이다. [AI 플랫폼] 허깅페이스: AI와 머신러닝의 새로운 지평허깅페이스란? 허깅페이스(Hugging Face)는 자연어 처리(NLP)와 머신러닝(ML) 커뮤니티에서 가장 혁신적이고 중요한 플랫폼 중 하나로 자리 잡고.. 2024. 12. 13. [Gen AI] 그라디오로 챗봇 제작하기 - 3 (소설봇) 이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬, 주피터노트북)이전 내용 [Gen AI] OpenAI API 키 발급하기Open AI API란? OpenAI에서 개발한 인공지능 모델을 프로그래밍 인puppy-foot-it.tistory.com [Gen AI] 그라디오로 챗봇 제작하기 - 2 (번역봇)이전 내용 [Gen AI] 그라디오로 챗봇 제작하기 - 1 (상담봇)이전 내용 [Gen AI] 그라디오(Gradio)이전 내용 [Gen AI] OpenAI API 사용해보기 (로컬, 주피터노트북)이전 내용 [Gen AI] OpenAI API 키 발급하기Open AIpuppy-fo.. 2024. 12. 12. 이전 1 2 3 4 ··· 24 다음 728x90
