TAG
#LLM 서빙
10 POSTS
- mlops
추측 디코딩과 vLLM 적응형 검증
2026.11.14 - mlops
같은 문제를 회사마다 다른 층에서 푼다
2026.09.08 - mlops
캐시를 보고 인스턴스를 고른다
2026.09.08 - mlops
첫 토큰이 나간 뒤에는 재시도할 수 없다
2026.09.08 - mlops
LiteLLM 로 라우팅 정책을 설정하는 방법
2026.09.08 - mlops
모델을 골라주는 계층이 대신 가져오는 제약
2026.09.08 - mlops
어느 모델로 보낼지 무엇으로 정하는가
2026.09.08 - mlops
Model Router 란 무엇인가
2026.09.07 - mlops
배칭과 GPU 활용률 — batch 1이 GPU를 놀리는 이유부터 continuous batching까지
2026.07.10 - mlops
GPU로 LLM을 서빙한다는 것 — 백엔드 개발자를 위한 추론 서빙의 원리
2026.07.10