공부하는삶/MLOps

예전에 다른 회사 면접을 봤을 때, 면접 질문 중 하나가 'WanDB 사용 해 봤어요?' 라는 것이었다. 말만 들어봤지 딱히 사용은 안 해봐서... 프로젝트에 들어가면 반드시 WanDB로 학습하고 있는 것 모니터링을 해보자 결심을 하였다. WanDB는 모델을 학습하면서 데이터셋과 파라미터들을 관리하는 대표적인 MLOps 솔루션이다. 하나의 모델을 파인튜닝을 하다보면 어떤 모델이 최고인지 잊어버리기도 하고 결국 엑셀파일이나 로그파일을 뒤져가면서 정리할 때가 있는데 WanDB는 간단한 명령어를 통해서, 모델의 최적 파라미터들을 관리할 수 있다. WanDB를 로컬에서 사용할 것이라면, 간단하게 회원가입을 진행한 후 해당 터미널에서 아래와 같이 명령어를 입력하고 나서, 로그인후 보이는 API Key를 붙여놓으면..
- 이 포스트는 macOS(apple silicon)기준으로 작성을 하였다 kubectl 설치 쿠버네티스 커맨드 라인 도구인 kubectl을 사용하면 쿠버네티스 클러스터에 대해 명령을 실행할 수 있다. kubectl 을 사용하여 애플리케이션을 배포하고, 클러스터 리소스를 검사 및 관리하고, 로그를 볼 수 있다. kubectl 전체 명령어를 포함한 추가 정보는 kubectl 레퍼런스 문서에서 확인할 수 있다. 1. 최신 릴리스를 다운로드한다. ## 특정 버전을 설치할 경우 $(curl -L -s https://dl.k8s.io/release/stable.txt) 대신 다른 버전을 입력 ex. v1.22.4 curl -LO "https://dl.k8s.io/release/$(curl -L -s https:/..
라우트는 HTTP 요청 메서드의 요청을 수락하고 선택적으로 인수를 받을 수 있도록 정의되는데, 특정 라우트로 요청이 전달되면 애플리케이션은 route handler가 요청을 처리하기 전에 해당 라우트가 정의 되어 있는지 확인하다. 핸들러는 서버로 전송된 요청을 처리하는 함수다. 1. FastAPI() 클래스를 사용한 라우팅 처리 from fastapi import FastAPI app = FastAPI() @app.get("/") async def root(): return {"message": "Hello World"} 이렇게 FastAPI() 클래스를 라우팅 작업에 사용할 수는 있지만, 이 방식은 라우팅 중에 단일 경로만 고려하는 애플리케이션으로 일반적으로 사용된다. 고유한 함수를 처리하는 각각의 라..
6. Digression : The perceptron learning algorithm 이전 강의에서 결론을 Logistic Regression의 hypotheses $ h_{\theta}(x) $ 다음과 같습니다 여기서, logistic function 또는 sigmoid function이라고 부르는 g(z)는 다음과 같이 정의할 수 있습니다 Perceptron의 g(z)는 다음과 같은 임계 함수(threshold function)으로 정의할 수 있는데, 이는 sigmoid function의 hard version이라고 생각할 수 있습니다. 이는 역시 가설 함수로 이어지는데, 이를 update rule을 사용하게 되면, perceptron learning algorithm이 됩니다. 노란색 데이터와 ..
설치 순서(elastic 8.0) wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.0.0-linux-x86_64.tar.gz wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.0.0-linux-x86_64.tar.gz.sha512 shasum -a 512 -c elasticsearch-8.0.0-linux-x86_64.tar.gz.sha512 tar -xzf elasticsearch-8.0.0-linux-x86_64.tar.gz cd elasticsearch-8.0.0/ 실행 ./bin/elasticsearch ✅ Elasticsearch ..
Feature space Feature Space Feature Space란, 정의한 feature의 N 차원으로 정의됨. 만약에 2개의 feature를 정의하였으면 2차원으로 정의됩니다. 다만, target label은 포함되지 않습니다. Feature Space coverage feature space coverage는 매우 중요합니다. train과 evalutation을 위한 데이터의 예시는, 대표성을 띄어야 하니다. 즉, 모델에 전달될 requests와 이 requests가 feature space에 있는 경우 해당 feature space의 영역도 model을 train하거나 evaluation할 때 다뤄야 합니다. 동일한 classes에 대한 동일한 차원 image data에 대한 비슷한 특성..
Hanna 한나
'공부하는삶/MLOps' 카테고리의 글 목록