[개발 직무] DevOps, MLOps

출처: 핀터레스트

1. DevOps (데브옵스)

DevOps는 소프트웨어 개발(Development)과 운영(Operations)의 합성어로, 소프트웨어 개발자와 IT 운영 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화.

주요 목표 및 특징:

• 자동화: 소프트웨어 개발, 테스트, 배포, 인프라 관리 등 반복적인 작업을 자동화하여 효율성을 높입니다.
• 지속적인 통합/배포 (CI/CD):
  • CI (Continuous Integration): 개발자들이 작성한 코드를 지속적으로 통합하고, 자동으로 빌드 및 테스트하여 코드 충돌이나 오류를 조기에 발견합니다.
  • CD (Continuous Delivery/Deployment): 테스트를 통과한 코드를 자동으로 배포 가능한 상태로 만들거나, 실제 운영 환경에 자동으로 배포하여 소프트웨어 출시 주기를 단축합니다.
• 협업 및 문화: 개발팀과 운영팀 간의 사일로(장벽)를 허물고, 서로의 역할과 책임을 이해하며 긴밀하게 협력하는 문화를 조성합니다.
• 모니터링 및 로깅: 배포된 애플리케이션 및 인프라의 성능, 오류 등을 지속적으로 모니터링하고 로그를 수집하여 문제 발생 시 신속하게 대응합니다.
• 인프라 자동화 (Infrastructure as Code, IaC): 코드형 인프라를 통해 인프라를 정의하고 관리하여 일관성과 재현성을 확보합니다.

왜 중요한가?
DevOps는 소프트웨어 출시 속도와 품질을 높이고, 시장 변화에 민첩하게 대응하며, 조직의 전반적인 생산성을 향상시키는 데 기여

---

2. MLOps (엠엘옵스)

MLOps는 머신러닝(Machine Learning)과 운영(Operations)의 합성어로, 프로덕션 환경에서 머신러닝 모델을 안정적이고 효율적으로 배포, 모니터링 및 유지 관리하는 것을 목표로 하는 패러다임. 쉽게 말해, 머신러닝 모델의 전체 수명 주기(Life Cycle)를 관리하는 데 DevOps 원칙을 적용한 것

주요 목표 및 특징:

• 머신러닝 모델 수명 주기 관리:
  • 데이터 준비: 데이터 수집, 정제, 전처리, 특징 공학(Feature Engineering) 등의 과정을 관리합니다.
  • 모델 개발 및 훈련: 모델 설계, 학습, 검증, 튜닝 등의 과정을 관리합니다.
  • 모델 배포: 학습된 모델을 실제 서비스 환경에 배포하여 예측을 수행하도록 합니다.
  • 모델 모니터링: 배포된 모델의 성능(정확도, 지연 시간 등), 데이터 드리프트(Data Drift), 모델 드리프트(Model Drift) 등을 지속적으로 모니터링합니다.
  • 재학습 및 업데이트: 모델 성능 저하나 새로운 데이터 유입 시 모델을 재학습하고 업데이트하는 프로세스를 자동화합니다.
• 재현성 (Reproducibility): 동일한 결과가 다시 생성될 수 있도록 데이터, 코드, 모델 버전 등을 관리합니다.
• 확장성 (Scalability): 더 많은 데이터나 더 복잡한 모델을 처리할 수 있도록 시스템을 확장 가능한 형태로 구축합니다.
• 협업: 데이터 과학자, 머신러닝 엔지니어, 운영팀 간의 효과적인 협업을 지원합니다.

왜 중요한가?
머신러닝 모델은 일반적인 소프트웨어와 달리 데이터와 모델 자체의 특성 때문에 예측 불가능한 문제가 발생할 수 있다.
MLOps는 이러한 복잡성을 관리하고, 모델의 신뢰성, 확장성, 유지보수성을 확보하여 비즈니스 가치를 지속적으로 창출하도록 돕는다.

---

3. 파이썬과 DevOps/MLOps의 연관성

파이썬은 DevOps와 MLOps 모두에서 매우 중요한 역할 수행.

3-1. 파이썬과 DevOps의 연관성

파이썬은 DevOps의 핵심인 자동화에 매우 강력한 언어이다.

• 스크립팅 및 자동화: 파이썬은 가독성이 높고 배우기 쉬워 다양한 자동화 스크립트를 작성하는 데 널리 사용된다. 서버 프로비저닝, 애플리케이션 배포, 네트워크 설정 등 반복적인 작업을 자동화할 수 있다.
• CI/CD 파이프라인: CI/CD 파이프라인의 다양한 단계를 스크립팅하고 오케스트레이션하는 데 파이썬이 활용됩니다. 빌드, 테스트, 배포 등의 작업을 자동화하는 데 유용하다.
• 인프라 자동화 (IaC): Terraform, CloudFormation과 같은 IaC 도구와 연동하여 인프라를 코드로 정의하고 관리하는 데 파이썬 스크립트가 사용될 수 있다. Ansible과 같은 구성 관리 도구도 파이썬으로 작성되었으며, 파이썬을 통해 Ansible 플레이북을 제어할 수 있다.
• 클라우드 API 상호작용: AWS Boto3, Azure SDK, Google Cloud Client Library 등 클라우드 서비스의 공식 SDK가 파이썬으로 제공되어 클라우드 리소스를 프로그래밍 방식으로 제어하고 자동화할 수 있다.
• 모니터링 및 로깅: Prometheus, Elasticsearch 등 모니터링 및 로깅 도구와 연동하여 데이터를 수집하고 분석하는 스크립트를 작성하는 데 파이썬이 사용된다.
• 다양한 라이브러리 및 커뮤니티 지원: 파이썬은 풍부한 라이브러리 생태계와 활발한 커뮤니티를 가지고 있어 DevOps 관련 작업을 수행하는 데 필요한 다양한 도구와 예시를 쉽게 찾을 수 있다.

---

3-2. 파이썬과 MLOps의 연관성

파이썬은 머신러닝 모델 개발에 가장 널리 사용되는 언어이며, 이로 인해 MLOps에서도 핵심적인 위치 차지.

• 머신러닝 모델 개발: TensorFlow, PyTorch, Scikit-learn 등 대부분의 주요 머신러닝 프레임워크와 라이브러리가 파이썬 기반이다. 이는 데이터 과학자들이 모델을 개발하고 실험하는 데 파이썬을 필수적으로 사용하게 만든다.
• 데이터 처리 및 특징 공학: Pandas, NumPy 등 데이터 처리 및 분석 라이브러리가 파이썬으로 제공되어, MLOps의 첫 단계인 데이터 준비 및 특징 공학 과정에서 핵심적으로 사용된다.
• 모델 서빙 및 배포: Flask, FastAPI와 같은 파이썬 웹 프레임워크를 사용하여 학습된 머신러닝 모델을 API 형태로 제공하는 모델 서빙 애플리케이션을 구축할 수 있다. BentoML, MLflow와 같은 MLOps 도구들도 파이썬을 기반으로 모델 배포를 지원한다.
• MLOps 프레임워크 및 라이브러리: MLflow, Kubeflow, Airflow, Prefect 등 많은 MLOps 도구들이 파이썬 API를 제공하거나 파이썬 기반으로 작동한다. 이를 통해 모델 학습 파이프라인 오케스트레이션, 실험 추적, 모델 레지스트리 관리 등을 파이썬 코드로 제어할 수 있다.
• 모니터링 및 분석: 배포된 모델의 성능을 모니터링하고 데이터 드리프트를 감지하며, 결과를 시각화하고 분석하는 데 파이썬 라이브러리(예: Matplotlib, Seaborn)와 스크립트가 활용된다.

요약하자면, 파이썬은 DevOps에서 자동화 및 인프라 관리의 핵심 언어이며, MLOps에서는 머신러닝 모델 개발부터 배포 및 운영까지 전 과정에서 필수적인 언어로 활용된다.
 

---

4. DevOps 및 MLOps 개념을 잘 설명하는 추천 도서

DevOps와 MLOps는 개념적으로 방대하고 기술적인 깊이가 있는 분야인 만큼, 좋은 책을 통해 체계적으로 학습하는 것이 중요하며, 아래는 추천하는 책 목록이다.

4-1. DevOps 추천 도서

DevOps는 비교적 오래된 개념이므로 고전적인 책들과 최신 트렌드를 반영하는 책들을 함께 보는 것이 좋다.

• The Phoenix Project (피닉스 프로젝트)
  • 저자: Gene Kim, Kevin Behr, George Spafford
  • 특징: DevOps의 개념과 원칙을 스토리텔링 형식으로 매우 재미있게 설명합니다. IT 운영팀의 문제를 해결해 나가는 과정을 통해 DevOps가 왜 필요한지, 어떤 가치를 제공하는지 직관적으로 이해할 수 있습니다. 기술적인 내용은 적지만, DevOps 문화와 사고방식을 이해하는 데 최고의 책입니다.
  • 추천 대상: DevOps 개념을 처음 접하거나, IT 조직의 비효율성에 공감하는 모든 사람.
• The DevOps Handbook (데브옵스 핸드북)
  • 저자: Gene Kim, Jez Humble, Patrick Debois, John Willis
  • 특징: '피닉스 프로젝트'의 이론적 기반이 되는 책으로, DevOps의 핵심 원칙(Three Ways: 흐름, 피드백, 지속적인 학습과 실험)을 상세하게 설명하고, 각 원칙을 실제 현장에 적용하기 위한 구체적인 방법론과 도구들을 소개합니다. 다소 두껍지만, DevOps를 실질적으로 구현하려는 사람들에게 매우 유용합니다.
  • 추천 대상: DevOps를 도입하려는 조직의 리더, 엔지니어, 실무자.
• Accelerate (액셀러레이트)
  • 저자: Nicole Forsgren, Jez Humble, Gene Kim
  • 특징: DevOps의 효과를 과학적으로 증명한 책입니다. 고성과 조직과 저성과 조직의 차이를 데이터 기반으로 분석하여, DevOps 실천이 어떻게 소프트웨어 제공 성능과 조직의 비즈니스 성과를 향상시키는지 보여줍니다. 통계와 연구 방법론에 기반하여 신뢰성 있는 내용을 제공합니다.
  • 추천 대상: DevOps 도입의 비즈니스 가치를 설득해야 하는 리더, 데이터 기반의 의사결정을 선호하는 사람.

4-2. MLOps 추천 도서

MLOps는 비교적 최신 개념이며, 아직 DevOps만큼 고전적인 "바이블"이라 불릴 만한 책은 많지 않다. 하지만 최근 좋은 책들이 많이 출간되고 있다.

• Machine Learning Engineering in Action
  • 저자: Benjamin Wilson, Hannes Hapke, Catherine Nelson
  • 특징: MLOps의 전반적인 개념을 다루면서 실제 프로덕션 환경에서 머신러닝 시스템을 구축하고 운영하는 데 필요한 다양한 측면을 자세히 설명합니다. 데이터 파이프라인, 모델 서빙, 모니터링 등 핵심 MLOps 개념들을 구체적인 예시와 함께 다룹니다.
  • 추천 대상: MLOps의 개념과 실무적인 적용 방법을 모두 알고 싶은 머신러닝 엔지니어, 데이터 과학자.
• Building Machine Learning Powered Applications: Going from Idea to Product
  • 저자: Emmanuel Ameisen
  • 특징: 이 책은 MLOps라는 용어를 직접적으로 내세우기보다는, 머신러닝 기반의 애플리케이션을 아이디어 단계부터 제품화하는 전체 과정을 다룹니다. 데이터 수집부터 모델 배포, 모니터링, 재학습에 이르는 모든 단계를 실용적인 관점에서 설명하여 MLOps의 필요성과 중요성을 자연스럽게 체득하게 합니다.
  • 추천 대상: 머신러닝 프로젝트를 처음부터 끝까지 직접 구축해보려는 데이터 과학자, 머신러닝 시스템 설계에 관심 있는 개발자.
• Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications
  • 저자: Chip Huyen
  • 특징: 머신러닝 시스템 설계에 초점을 맞춘 책입니다. 데이터 수집부터 모델 서빙, 인프라 구축, 모니터링, 에러 처리 등 프로덕션 레벨의 머신러닝 시스템을 만들기 위한 다양한 고려사항과 디자인 패턴을 심도 있게 다룹니다. MLOps의 상위 개념인 "ML 시스템 디자인"에 대한 이해를 높이는 데 매우 유용합니다. 다소 심화된 내용입니다.
  • 추천 대상: 실제 서비스에 적용될 머신러닝 시스템을 설계하고 아키텍처를 고민하는 ML 엔지니어, 아키텍트.

4-3. 책 선택 시 고려사항:

• 자신의 수준: DevOps/MLOps에 대한 사전 지식이 얼마나 있는지에 따라 입문서부터 시작할지, 심화된 내용을 다루는 책을 볼지 결정.
• 목표: 개념적인 이해를 높이고 싶은지, 아니면 특정 도구나 기술을 사용하여 실제로 구축하는 방법을 알고 싶은지에 따라 책의 방향이 달라질 수 있다.
• 언어: 영어 원서가 익숙하지 않다면 번역서가 있는지 확인해 보세요. 하지만 최신 기술 트렌드를 다루는 MLOps의 경우, 번역서가 아직 충분하지 않을 수 있다.