전체 글23 [Kubernetes, Container] MLOps를 위한 기본 - Container란? [1] Introduction MLOps를 하기 위해서는 DevOps의 필수품이었던 Docker와 Kuberentes, Prometheus, Grafana 등이 거의 기본 소양이 되어가는 것 같습니다. 저는 아직은 AI 모델러의 역할에 익숙해서 하나하나 기초적인 책을 보면서 배워가고 있지만 이전에 포스팅 했던 Jenkins 를 통한 CI/CD 자동화도 하나씩 해보면서 배워가니 MLOps 쪽이 훨씬 더 재미있네요 ㅎㅎ 앞으로 Jenkins, Argo를 통한 CI/CD와 Docker의 기초부터 시작해서 Kubernetes 그리고 MLOps (MLflow, AWS model serving ..) 까지 쭉 공부했던 내용과 지속적으로 몰랐던 것들을 채우면서 공부하는 지식들을 정리를 해보려고 합니다. 1일 ~ 2일에 한번.. 2021. 10. 23. [Github, MLOps] ML 모델 CI/CD 를 위한 Jenkins 테스트 자동화 [3] 이번 포스팅에서는 앞서 다뤘던 Jenkins 의 Unit Test 방법을 Blue Ocean이라는 plug in을 사용해서 Pipeline을 구축하는 방법에 대해서 설명해보려고 합니다. 사실 앞에 있던 포스팅들은 Jenkins의 기본을 이해하는데 중점적으로 생각하시면 좋을 것 같습니다. BlueOcean이라는 Plug-in이 훨씬 효율적으로 좋은 Unit Test를 만들 수 있어서 사용해보시면 좋을 것 같아서 포스팅을 쓰게 되었습니다. Blue Ocean 먼저 Blue Ocean에 대해서 간단히 알아보겠습니다. Jenkins의 파이프라인을 구성하는 방법은 다양하게 존재합니다. 그 중 가장 흔하게 사용되는 방법은 groovy언어를 통해 Jenkinsfile 구성하는 방법과 Snippet Generator .. 2021. 10. 22. [Github, MLOps] ML 모델 CI/CD 를 위한 Jenkins 테스트 자동화 [2] Introduction 지난 포스팅에서는 Jenkins와 Github을 연동하고 Create Job까지 해보는 기본적인 내용을 다루었습니다. 하지만, 해당 내용대로만 하고나서 ML 모델을 학습하고 실험결과까지 테스트를 해보는 python 프로그램은 작동을 시킬 수 없다는 것을 따라해보신 분들은 확인하셨을 것 같습니다. 특히나 docker pull로 다운받은 Jenkins의 이미지에는 python 도 설치되어 있지 않고 이것 저것 설정이 안되어 있기 때문에 회사에서 사용하는 AI 시스템들에서 요구하는 CUDA, Pytorch, Tensorflow 등을 실행할 수 있는 환경이 구성되어 있지 않습니다. 다시말해 ML 을 학습하고 추론하게 하는 dependency가 갖추어져 있지 않습니다. 그래서, 저희에게 필.. 2021. 10. 15. [Github, MLOps] ML 모델 CI/CD 를 위한 Jenkins 테스트 자동화 [1] MLops 에서의 CI/CD 회사에서 AI Engine의 개발을 담당하고 관리하는 ML Engineer로써 항상 걱정되는 부분은 이번에 수정한 코드가 기존에 동작하던 application 단의 결과들을 변화시키는지 혹은 작동되어야 할 기능들이 잘 작동이 여전히 되는지입니다. 물론 매번 수동으로 project들을 하나하나 학습시켜보고 기능들을 테스트해볼 수 있지만 생각보다 쉽지 않은 일입니다. 그래서 이번 포스팅에서는 MLOps 의 핵심인 CI/CD 를 구축하기 위한 기본적인 방법인 Jenkins를 통한 테스트 과정 자동화를 하는 방법에 대해서 적어보려고 합니다. 이러한 방법의 장점은 사람이 하나하나 하다보면 생길 수 있는 테스트라는 요소를 자동화 시켜서 시스템에게 책임을 전가한다는 점입니다. ML eng.. 2021. 10. 14. Pytorch Distributions Shape 의 이해(Understanding Shapes in Pytorch Distribution) Pytorch에서는 다양한 distribution에 대해서 지원을 하고 있습니다 (https://pytorch.org/docs/stable/distributions.html). 최근 일을 하면서 distribution을 정말 많이 사용하고 있는데 정리가 잘 되어 있으면 좋겠다는 생각에 공부도 할 겸 포스팅으로 남기려고 합니다. 최근 저는 transformer 를 활용을 하면서 decoder를 거치지 않고 encoder의 latent vector를 사용해서 distribution을 통해 추론하고자 하는 값을 sampling 하는 방식을 사용하는 경우가 많이 있습니다. 이때, multivariate 인 경우와 univariate 인 경우에 따라서 Pytorch의 distribution을 다양하게 선택하고 활.. 2021. 10. 11. 이전 1 2 3 다음
