이번 포스팅은 ONNX(Open Neural Network Exchange) 를 다뤄보려 합니다. ONNX란 다양한 framework로 만들어진 ML, DL 모델을 공통 포맷으로 맞춰주는 것입니다.

GitHub Actions는 GitHub에서 제공하는 지속적인 통합(Continuous Integration, CI) 및 지속적인 배포(Continuous Deployment, CD) 서비스입니다.

Multiprocessing, Distributed applications…등을 좀 찾다가 RAY라는 것을 보았습니다. 이거슨..무엇일까… 찾아보니 Python 에서 이를 쉽게 할 수있도록 해주는 패키지 입니다.

안녕하세요! Jerry 입니다! 지난번에 Vector Search를 해보기 위해서…. MongoDB Atlas 세팅을 해보았습니다!

안녕하세요! Jerry 입니다! 딥러닝, 특히나 자연어 처리에서 LLM의 등장 이후 Vector Search라는 기술에 대한 중요성이 커졌습니다!

Triton (Triton Inference Server) ? Triton이라고 많이 부르는 Triton Inference Server는 다양한 딥 러닝 프레임워크(PyTorch, TensorFlow, ONNX 등)로 개발된 딥러닝 모델을 배포하고 추론(Inference)을 위한 고성능의 오픈 소스 추론 서버 솔루션으로 많은 곳에서 사용되고 있습니다.