매일 쌓는
개발 학습 노트(.mdx)

직관과 반대다. 동시 사용자가 많아지면 풀을 키워야 할 것 같지만, 실제로는 작게 유지하는 쪽이 더 빠르다. 커넥션은 결국 DB 측 자원(워커 프로세스/스레드, 디스크 I/O)을 점유하는데, 그 자원의 수가 한정되어 있기 때문이다. 다른 변경 없이 커넥션 풀 크기만 줄였더니 애플리케이션 응답 시간이 약 100ms에서 약 2ms로, 50배 이상 단축됐다. H...

벡터 DB를 OpenSearch에서 Milvus로 옮기는 걸 검토하면서 계속 걸린 게 하나 있었다. 의미 기반 dense 벡터는 임베딩 모델이 만드니 DB를 바꿔도 같다. 그런데 하이브리드 검색의 나머지 절반, 어휘 기반 sparse 검색은 형태소 분석기가 만든다. OpenSearch는 nori, Milvus는 lindera를 쓴다 — 이 둘이 한국어를 같...

Lyft가 만들고 CNCF가 관리하는 고성능 L7 프록시. 마이크로서비스 환경에서 서비스 간 통신을 중개하도록 설계됐다. 사실 처음엔 "그냥 nginx 쓰면 안 되나?"라고 생각했다. nginx도 충분히 강력하고 익숙하니까. 근데 유지보수 맡은 OCR 프로젝트를 뜯어보니 Envoy를 쓸 수밖에 없는 이유가 명확했다. 요약하면, nginx는 정적 파일 서빙이...

시니어 백엔드 면접에서 "장애 경험"을 물었을 때 가장 자주 등장하는 시나리오 중 하나가 DB Connection Pool Saturation으로 시작되는 전체 서비스 다운이다. 평소엔 평균 응답 50ms로 잘 돌던 주문 API가 어느 순간 P99 30s로 늘어지고, 헬스체크는 통과하는데 사용자 트래픽은 503으로 죽어나가는 상황. 표면 증상만 보면 "DB...

서버를 그냥 끄면 안 되는 이유는 단순하다. 처리 중인 요청이 있다. DB 트랜잭션이 열려 있다. 커넥션 풀이 열려 있다. 이것들을 제대로 정리하지 않고 죽으면 클라이언트는 에러를 받고, 데이터는 일관성을 잃을 수 있다. Graceful shutdown은 "받은 요청은 다 처리하고 나서 죽겠다"는 약속이다. 프로세스 종료는 OS가 시그널을 보내는 것으로 시...

요약 : HTTP는 TCP/TLS 연결 비용이 크기 때문에, 매 요청마다 새 연결을 생성하면 latency와 CPU 부하가 커진다 그래서 Node.js에서는 keep-alive 기반의 connection pool을 사용해 연결을 재사용하는 것이 필수 보통 1개의 외부 API 서버에 대해 인스턴스당 10100개의 커넥션 풀을 유지하는 것이 가장 안정적이며,...