📍쿠버네티스(Kubernetes) 사용을 위한 준비(가상환경, 도커,YAML,minikube)
쿠버네티스에 대한 공부를 위한 간단한 작업이 목적으로 요금을 내야하는 Kubernetes가 아닌 minikube를 선택 자세한 설명 : https://subicura.com/k8s/prepare/yaml.html https://kubernetes.io/ko/docs/reference/kubectl/overview/
- minikube https://minikube.sigs.k8s.io/docs/start/ - kubectl https://kubernetes.io/ko/docs/tasks/tools/install-kubectl-linux/ 자세한 설명 : https://minwook-shin.github.io/how-to-install-minikube-on-mac/
#설치
curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
sudo install minikube-linux-amd64 /usr/local/bin/minikube
minikube version # 버전 확인
🖥 Kubectl 설치
kubernetes cluster (server)에 요청을 간편하게 보내기위해 사용하는 client 툴
# v1.22.1 버전으로 다운
curl -LO https://dl.k8s.io/release/v1.22.1/bin/linux/amd64/kubectl
# 최신버전 다운 가능
curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl"
필요한 docker image를 다운받고 다운로드가 완료되면 구동을 한다. 자세한 설명 : https://minikube.sigs.k8s.io/docs/start/
#기본 시작
minikube start
#minikube를 docker driver 기반으로 시작
minikube start --driver=docker
#상태 확인
minikube status
## 주로 밑에처럼 떴다.
minikube
type: Control Plane
host: Running
kubelet: Running
apiserver: Running
kubeconfig: Configured
# minikube 내부의 default pod 확인
kubectl get pod -n kube-system
# 정보 확인
kubectl cluster-info
# 일시정지
minikube pause
# 재가동
minikube unpause
# 정지
minikube stop
#삭제
minikube delete
🖥 Pod 이란?
- 쿠버네티스에서 생성하고 관리할 수 있는 배포 가능한 가장 작은 단위 - pod 단위로 스케줄링, 로드밸런싱, 스케일링등의 관리 작업을 수행
# 기본설정으로 빠르게 생성하기
kubectl run echo --image ghcr.io/subicura/echo:v1
# Pod 목록 조회(Desired state가 아닌 Current State를 출력)
kubectl get pod
# kube-system namespace의 pod 조회
kubectl get pod -n kube-system
# 모든 namespace의 pod 조회
kubectl get pod -A
# 단일 Pod<pod-name> 조회
kubectl get pod <pod-name>
# 단일 Pod<pod-name> 상세 확인
kubectl describe pod <pod-name>
# 단일 Pod 제거
kubectl delete pod/echo
#pod 목록 자세히
kubectl get pod -o wide
# <pod-name>를 yaml 형식으로 출력
kubectl get pod <pod-name> -o yaml
# kubectl get pod 모니터링 - 결과를 계속 보여주어 변화가 있을 때만 업데이트
kubectl get pod -w
# 권장하는 pod 생성 방법
# yaml 파일이 없다면 생성
vi pod.yaml
#밑에 형식 변경하여 설정
apiVersion: v1
kind: Pod
metadata:
name: echo
labels:
app: echo
spec:
containers:
- name: app
image: ghcr.io/subicura/echo:v1
#kubectl apply -f <yaml-file-path>를 수행하면 <yaml-file-path>에 해당하는 kubernetes resource를 생성/변경가능
kubectl apply -f pod.yaml
🍀 필수요소
version
오브젝트 버전
v1, app/v1, networking.k8s.io/v1, ...
kind
종류
Pod, ReplicaSet, Deployment, Service, ...
metadata
메타데이터
name과 label, annotation(주석)으로 구성
spec
상세명세
리소스 종류마다 다름
🍀pod의 상태 확인
kubectl get pod
📍쿠버네티스(Kubernetes)의Service
파드 집합에서 실행중인 애플리케이션을 네트워크 서비스로 노출하는 추상화 방법 자세한 설명 : https://kubernetes.io/ko/docs/concepts/services-networking/service/
kubectl get storageclass
#or
#yaml 파일 생성하여 적용
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: myclaim
spec:
accessModes:
- ReadWriteMany
volumeMode: Filesystem
resources:
requests:
storage: 10Mi
storageClassName: standard
kubectl apply -f pvc.yaml
⌨️ Pod에서 PVC 사용
yaml 파일에서 volumeMounts, volumes부분 수정하여 적용
apiVersion: v1
kind: Pod
metadata:
name: mypod
spec:
containers:
- name: myfrontend
image: nginx
volumeMounts:
- mountPath: "/var/www/html" #mount할 pod의 경로
name: test
volumes:
- name: test
persistentVolumeClaim:
claimName: myclaim
📌DVC(Data Version Control) 이란?
머신러닝 프로젝트를 위한 open-source version control 시스템 MLOps의 Data Management으로 많은 데이터관리하기에 적합하지 않은 git(5기가 이하권장)을 대신하여 나타났음 - git과 dvc의 명령어는 상당히 유사 자세한 설명 : https://devocean.sk.com/blog/techBoardDetail.do?ID=163379 https://dvc.org/
An open source platform for the machine learning lifecycle 개인 미니 프로젝트 MLOps의 Model Management로 선택한 End to End로 머신러닝 라이프 사이클을 관리할 수 있는 오픈소스 자세한 설명 : https://zzsza.github.io/mlops/2019/01/16/mlflow-basic/ https://lsjsj92.tistory.com/623 https://github.com/mlflow/mlflow
주요 기능
1) MLflow Tracking
파라미터와 결과를 비교하기 위해 실험 결과를 저장
2) MLflow Projects
머신러닝 코드를 재사용 가능하고 재현 가능한 형태로 포장
포장된 형태를 다른 데이터 사이언티스트가 사용하거나 프러덕션에 반영
3) MLflow Models
다양한 ML 라이브러리에서 모델을 관리하고 배포, Serving, 추론
🖥 MLflow 설치
pip install mlflow==1.20.2
mlflow --version # mlflow, version 1.20.2
⌨️ MLflow 사용
# MLflow tracking server
mlflow ui
#http://127.0.0.1:5000로 접속하라는 메세지가 나오면 사파리,크롬등 브라우저에서 확인
🍀 본인의 프로젝트를 바로 시도하기전에 간단한 튜토리얼을 시도하길 추천합니다(전 이미 망했어요)
