분류 전체보기 35

(작성 중) MLOps 3_Kubeflow 구현 사례

사이트: https://www.samsungsds.com/kr/techreport/kubernetes-mlops.html 오픈소스를 활용한 쿠버네티스 기반 MLOps 플랫폼 도입 | 클라우드 기술 백서 | 삼성SDS최근 글로벌 리서치사의 조사에 따르면 많은 글로벌 기업들이 AI를 기업의 핵심 활동에 활용하고 있다고 합니다. 특히, 제품 개발, 서비스 운영 및 마케팅 영역에서의 사용이 활발하다고 하며,www.samsungsds.com

공부/CS 2024.09.26

MLOps 2_Kubeflow

그림 설명더보기1. ML Tools (상단)TensorFlow, PyTorch, scikit-learn, MPI, MXNet, XGBoost 등의 다양한 머신러닝 툴이 지원됩니다. 이는 모델 개발과 훈련에 사용되는 주요 프레임워크들을 나타내며, 개발자는 필요에 따라 이를 선택해 사용합니다.2. Kubeflow Applications 및 Scaffolding (가운데 부분)Kubeflow는 쿠버네티스 기반의 오픈소스 머신러닝 플랫폼으로, ML 파이프라인과 워크플로우를 관리할 수 있도록 지원합니다. 이 영역에서 데이터 수집, 전처리 및 파이프라인 연계가 이뤄집니다.각 워크플로우 단계는 아래와 같이 나뉘어 있습니다:Notebook Server:개발 환경을 제공하는 단계입니다. Jupyter, VS Code, ..

공부/CS 2024.09.26

MLOps 1_왜 필요한가?

MLOps에 대해 기재한 사이트에 대해서 자세히 읽어보고 리뷰를 하려고 한다.사이트: https://www.samsungsds.com/kr/techreport/kubernetes-mlops.html[오픈소스를 활용한 쿠버네티스 기반 MLOps 플랫폼 도입 | 클라우드 기술 백서 | 삼성SDS 오픈소스를 활용한 쿠버네티스 기반 MLOps 플랫폼 도입 | 클라우드 기술 백서 | 삼성SDS최근 글로벌 리서치사의 조사에 따르면 많은 글로벌 기업들이 AI를 기업의 핵심 활동에 활용하고 있다고 합니다. 특히, 제품 개발, 서비스 운영 및 마케팅 영역에서의 사용이 활발하다고 하며,www.samsungsds.com AI서비스 개발 및 운영 문제점서로의 업무를 모름모델 개발: 데이터 사이언티스트ML Engineer: A..

공부/CS 2024.09.26

입사 전 알아야하는 기본 지식

software defined warfare팔란티어workflowdistributed learningfederated learningautomlMLOps모델 훈련 및 최적화Katib: Object, Nas/Docker RegistryTraining Operator모델 배포 및 운영KFsevingRAG모델 타입: CNN, RNN, LSTM, GAN....강화학습한국 전장 시스템공학 기초 지식: 공학 수학/선형대수 (데이터 사이언스에서 필요한 지식들)벡터란?선형결합 / 생성 / 기저 벡터Span / Basis / Rank / Linear Projection공분산(covariance) / 공분산 행렬(covariance matrix) / 상관계수(Correlation coefficient)고유값(eigenva..

국방 2024.09.26

Git source tree

1. https://www.sourcetreeapp.com/ Sourcetree | Free Git GUI for Mac and WindowsA Git GUI that offers a visual representation of your repositories. Sourcetree is a free Git client for Windows and Mac.www.sourcetreeapp.com A. 사이트 접속 및 다운로드 B. bit buket 건너뛰기C.  깃이 이미 설치 되어있다면 고급 부분만 선택D. 사용자 이름 및 이메일 입력 1. Github토큰 준비더보기https://s-o-h-a.tistory.com/40 [SourceTree/Github] 소스트리 원격 저장소 연결하기 (with. repo..

공부 2024.08.27

[개발 환경 구축] Git 워크 플로우

Feature데이터 전처리 (test data 셋 처리)룰베이스 기반 처리 ( 각 상황에 맞게 어떤 모델 사용할 지, 터널_시내_도로 등)예측모델학습 데이터 전처리 학습기존데이터타 데이터모델 저장저장된 모델 호출, 예측 진행, 제출 형식에 맞게 txt 파일로 예측 결과 저장  Git 워크 플로우 개념Main 브랜치:항상 안정적인 배포 가능한 상태의 코드만 포함합니다.Hotfix와 Release 브랜치에서 병합됩니다.Develop 브랜치:기능이 통합되는 브랜치입니다. Feature 브랜치에서 개발된 기능이 이곳으로 병합됩니다.충분히 테스트된 후 Release 브랜치로 병합됩니다.Feature 브랜치:특정 기능을 개발하는 브랜치입니다.각 개발자가 담당한 기능(예: 데이터 처리, 모델 학습, 룰 기반 처리 등..

깃허브 오픈소스를 Fork 해오기

1. 오픈소스 찾기 우선 내가 하려고 하는 프로젝트와 관련된 오픈소스를 찾는다.전처리부터 학습, 테스트 모두 가능한 오픈소스를 찾는다. 링크: https://github.com/DimensionSTP/hrv-emotion GitHub - DimensionSTP/hrv-emotion: dimensional emotion classifier based bio-signal(ECG)dimensional emotion classifier based bio-signal(ECG) - DimensionSTP/hrv-emotiongithub.com 2. Fork 그 전에 실습할 때는 그냥 내 로컬 컴퓨터에 clone하여 실습을 진행하였다면 지금은 fork 해와서 git으로 프로젝트를 관리하는게 목표다.당장 월요일까지 구..

Temp/HRV to emotion 2024.08.03