파이프라인? 간단 실습

전에 포스터에 이은 파이프라인! 습득!

전 포스터에 모두 넣기엔 양이 많아져서 개념, 간단 실습으로 나눴다.

---

1. 아나콘다로 가상환경을 만든다.

• 이름으로 가상환경 구축 VS 경로로 가상환경 구축
• 공부, 연습하는 간단 코드를 관리하기 위해서 내 프로젝트 파일/연습 파일에 venv 폴더를 생성.
• 가상환경을 venv 폴더에 구축

conda create --prefix C:\keum_project\Practice python=3.8

 

 

---

2. 가상환경에 주피터 노트북을 설치

conda install jupyter

---

3. 프로젝트 생성

• 프로젝트 폴더도 제대로 관리하기 위해서는 경로를 설정 잘해준다.
• Practice 폴더에 파이프라인 실습용 파일을 만든다

cd C:\keum_project\Practice\Pipeline

• 해당 폴더로 이동한다

• 주피터 노트북을 치면 자동으로 창이 열리지만 안열리면 copy and paste one of these URLs:에 있는 URL로 직접 들어간다. 그럼 아래와 같이 뜬다.

 

+ 추가: 커널 연결

• 가상환경 식별자가 이름인 가상환경의 커널 생성 명령어

python -m ipykernel install --user --name 가상환경 이름 --display-name "커널에 보일 이름"

• 커널을 추가하려고 했는데 이미 가상환경이 로컬로 되어 있고, 커널 리스트를 확인해보면

• 다음과 같이 파이썬으로 이미 커널이 잡혀있다
• name 말고 경로로 커널 생성하는 것을 이리저리 도전해봤는데,

• 이렇게 뜬다. 이미 파이썬 3 커널이 있다는건데 주피터를 들어가면 그냥 기본 커널만 있다... 우선 커널 추가하는 건 넘어간다.
• 그냥 추측하기로는 경로로 생성하면 로컬에 가상환경이 따로 있어서 ,,, 뭐 안되는건가... 뭐지...
• 그냥 실습으로 바로 넘어가자

 

• 주피터를 실행해서 NEW로 들어왔더니

• 엥 여기서 커널이 생성되었네? ㅋㅋㅋㅋㅋㅋ확인함... 뭐가 되었든 커널 생성하기 성공?

---

 

4. 실습

• 깃헙. 코드 올리고 링크 연결하기.(나중에... 우선 파일로..)

pipeline practice.ipynb

0.01MB

---

5. 추가적으로 공부 할 것

 

• kubeflow: 파이프라인 관리하는 툴
• dokerhub: 배포할 때 쓰는 것 같은데 이미지로 관리함.
• 참고: https://lsjsj92.tistory.com/581

kubeflow pipeline 사용해보기 - kubeflow pipeline example with iris data

 

---

* 용어 정리

• 데이터 프레임

데이터 프레임 (DF)데이터프레임(DataFrame)은 pandas 라이브러리에서 제공하는 2차원 데이터 구조로, 엑셀 스프레드시트와 유사합니다. 데이터프레임은 행과 열로 구성되어 있으며, 각 열은 서로 다른 데이터 타입을 가질 수 있습니다. 데이터프레임은 다양한 데이터 조작, 분석 및 시각화 작업을 수행하는 데 매우 유용합니다.

1. 2차원 데이터 구조: 행과 열로 구성되며, 각 셀에는 데이터를 저장할 수 있습니다.
2. 레이블이 있는 축: 각 행과 열에 레이블(이름)이 있어 데이터를 직관적으로 다룰 수 있습니다.
3. 다양한 데이터 타입 지원: 각 열은 문자열, 정수, 부동 소수점 숫자 등 다양한 데이터 타입을 가질 수 있습니다.
4. 풍부한 데이터 조작 기능: 필터링, 정렬, 집계, 병합 등 다양한 데이터 조작 기능을 제공합니다.

• 방사형 기저 함수 (SVM에서 사용)