배치 시스템 성능 분석: 이벤트 기반 큐 설계와 Dead Letter Queue 에러 처리 (3)
스케줄러를 제거하고 이벤트 기반 큐 시스템으로 전환했습니다. Redis 버퍼에 ID만 저장하는 방식으로 메모리를 최적화하고, BullMQ를 활용한 배치 처리, 슬라이딩 윈도우 rate limiter, Dead Letter Queue를 통한 에러 처리까지 포함한 전체 설계를 소개합니다.
Tag
Tag
스케줄러를 제거하고 이벤트 기반 큐 시스템으로 전환했습니다. Redis 버퍼에 ID만 저장하는 방식으로 메모리를 최적화하고, BullMQ를 활용한 배치 처리, 슬라이딩 윈도우 rate limiter, Dead Letter Queue를 통한 에러 처리까지 포함한 전체 설계를 소개합니다.