파이프 라인? 개념

정말 개발이라곤 1도 모르고 인공지능에 던져진 나.

이 게시물을 기점으로 점점 성장하는 나에 대해서 기록하는 블로그를 만들어 갈 예정이다.

 

우선 개발을 하거나 이쪽 논문들을 읽다보면 파이프라인이라는 단어를 듣는다.

지금부터 내가 취해야하는 행동은 모르는 단어가 나오면 그 단어의 뜻이 무엇인지 바로 검색하고 습득해야한다.

 

기억해뒀다가 아! 나중에 찾아봐야지~뭔가 자주 나오네~ 라고 할 시간이 없다.

인지가 되면 바로 공부한다! 라는 메타로 가야한다.

---

자 그럼 미루고 미뤘던. 단어

아주 자주들었지만 정확한 개념을 모르는 파이프라인.

 

1차 공부에 참고한 사이트: https://www.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS8716308407

인공지능 프로젝트의 자동화⋯머신러닝 파이프라인이 뭔데?

---

* 인공지능을 만드는 데도 자동화 프로세스를 적용할 수 있습니다. 머신러닝 파이프라인이 그 역할을 수행합니다. 

---

1. 자동차 & 파이프 라인 : 포드에서 생산 공정을 ‘잘 정의한 단계(파이프라인, pipeline)’로 정립, 12시간 > 3시간

---

2. 소프트웨어 파이프라인은 정적 생산 라인보다는 동적 루프에 가깝습니다.

---

3. 머신러닝 파이프 라인?

• 머신러닝 파이프라인은 머신러닝 모델을 가속, 재사용, 관리 및 배포하는 프로세스를 구현하고 표준화
• 지속적인 통합(CI, Continuous Integration), 지속적인 배포(CD, Continuous Deployment)를 통해서 몇개의 도구와 개념 덕분에 크게 간소화 됨.
  • 이전에는 웹 앱을 배포할 때 데브옵스(DevOps) 엔지니어와 소프트웨어 개발자 간의 협업이 필요했음
  • 이제는 간소화됨

• 파이프라인이 제대로 구축 안된다면?
  •  '시간이 지나면서 머신러닝 프로젝트의 성능이 저하'
  • '기본 데이터가 변경되었을 때 데이터 과학자가 오류를 수정하는 데 많은 시간을 할애'
  •  '모델이 널리 사용되지 않는 일회성 작업으로 변한다'
• 파이프라인을 제대로 구축하면?
  • 데이터를 효율적으로 버전화하고 새로운 모델 학습 실행을 시작
  • 모델 학습 및 검증을 위해 데이터를 효율적으로 전처리
  • 모델 학습을 추적
  • 검증된 모델을 배포
  • 피드백 루프를 사용해 새로운 학습 데이터를 수집하고 성과 지표를 모델링 
  • 배포된 모델을 스케일링 
  • 학습시키고 튜닝된 모델을 분석하고 검증 
  • 머신러닝 모델을 효과적으로 학습 
  • 새로운 데이터의 유효성을 확인하고 데이터 드리프트를 확인 

---

4. 머신러닝 파이프라인 단계

 

 

---

5. 파이프라인 실습: https://gils-lab.tistory.com/70 참고

머신러닝 파이프라인 (Machine Learning Pipeline)

• 사이킷런: Pipeline 클래스

---

실습은 아래

---

* 모르는 용어

• 데브옵스(DevOps): https://keum24.tistory.com/12

DevOps (데브옵스)

• 지속적인 통합(CI, Continuous Integration)
• 지속적인 배포(CD, Continuous Deployment)