이전 내용
[Gen AI] 영어 학습봇 만들기
행 내용 그라디오를 이용하여, 영어 한 문장씩 출력해주는 영어 학습봇을 만들어본다.레이아웃 및 기능 설명 대략적인 레이아웃은 아래와 같다. (이는 작업하며 변경될 수 있다.) [각 레이아웃에
puppy-foot-it.tistory.com
OpenAI API (gpt-turbo-3.5) 문제점
여태까지 OpenAI API 만을 (주로 gpt-turbo-3.5) 활용해서 생성형 AI 모델을 만들고 있었는데, 현재 진행 중인 프로젝트에서 긴 텍스트를 생성할 때 여러 한계점이 있어 모델을 바꿔보기로 결정했다.
[주요 문제점]
- 최대 생성 글자수 (Max Tokens)가 비교적 적음. ▶ Max tokens 이 4096으로, 일반적으로 영어는 1 토큰 당 3-4 글자, 한글은 1글자에 2~3개의 토큰을 소비한다고 한다. 필자의 경우 한글 텍스트를 생성하는 모델을 만들고 있기 때문에 당연히 내용이 적을 수 밖에 없다. 그렇다고 gpt-4를 사용하기에는 비용이 만만치가 않다.
- 창의성이 떨어짐 ▶ 필자가 기획하는 모델의 경우, 창의성을 필요로 하나 해당 모델이 생성해 주는 내용은 창의성이 비교적 떨어진다. 그렇다고 temperature를 올리면 (현재는 0.5) 내용이 창의적으로 변하는 것이 아니라, 이상한 외계 문자를 생성해 낸다.
따라서, 테스트용으로 구글 Gemini 모델로 교체해서 성능을 테스트 한 후에 모델 교체 여부를 선택해야 할 거 같다.
구글 Gemini API Key 발급받기
◆ Gemini란?
출처: 나무위키
Gemini(Generalized Multimodal Intelligence Network, 이하 제미나이)는 구글과 딥마인드가 개발한 멀티모달(LMM) 생성형 인공지능 모델이다. 텍스트 뿐만 아니라 오디오, 이미지, 비디오와 같은 다양한 입출력을 지원한다. 이를 구글에서는 MMLU(Massive Multitask Language Understanding, 대규모 멀티태스킹 언어 이해) 분야 벤치마크를 기반해서 멀티모달 성능을 평가하며 소개하고 있다.
◆ Gemini API Key 발급받기
https://aistudio.google.com/app/apikey?hl=ko
Google AI Studio로 접속(구글 로그인 필수)하여 [Get API key] 또는 [+ API 키 만들기] 클릭
기존에 Google Cloud 프로젝트에서 만든 프로젝트가 있다면 검색하고 (목록이 뜬다), 없다면 [새 프로젝트에서 API 키 만들기] 선택
이렇게 하면 바로 API 키가 생성된다. (참 쉽죠?)
◆ OpenAI 및 Gemini API 비용 + 최대 출력 토큰 수 비교 표 (2024년 기준, USD)
그렇다면, OpenAI의 주요 모델과 Gemini API의 사용료는 어떻게 될까?
- OpenAI: https://platform.openai.com/docs/models
- Gemini: https://ai.google.dev/gemini-api/docs/pricing?hl=ko
모델명 | 입력 토큰당 비용 (USD) |
출력 토큰당 비용 (USD) |
최대 컨텍스트 길이 (토큰) | 최대 출력 토큰 수 (대략) | 특징 및 비고 |
GPT-3.5 Turbo | $0.001 | $0.002 | 16,385 | 4,096 | 저비용, 빠름, 실용적 |
GPT-4 Turbo | $0.01 | $0.03 | 128,000 | 4,096 | 고성능, 저렴한 GPT-4 |
GPT-4o | $0.005 | $0.015 | 128,000 | 16,384 | GPT-4 Turbo보다 더 빠름, 멀티모달 |
GPT-4o Mini | $0.0005 | $0.0015 | 128,000 | 16,384 | 초저가 버전, 실시간 처리에 적합 |
Gemini 2.5 Flash | 무료 | 무료 | 100만 개 | 65,535 | 무료 등급 (컨텍스트 캐싱 불가) |
Gemini 2.0 Flash | 무료 | 무료 | 100만 개 | 8,192 | 무료 등급 (이미지 생성 무료) |
[참고]
나무위키
OpenAI
Gemini
https://news.mt.co.kr/mtview.php?no=2023031715032169457
다음 내용
'[파이썬 Projects] > <파이썬 Gen AI, LLM>' 카테고리의 다른 글
[Gen AI] 영어 학습봇 만들기 (0) | 2025.02.13 |
---|---|
[LLM] 모델 가볍게 만들기 (0) | 2025.01.02 |
[LLM] sLLM 학습하기 (0) | 2024.12.30 |
[LLM] GPU 효율적인 학습 (1) | 2024.12.30 |
[LLM] 텍스트 분류 모델 학습시키기 (2) | 2024.12.27 |