“Google Sheets” 태그의 포스트

Google Sheet API의 rate limit으로 인한 데이터 유실 문제를 해결하기 위해 Redis 버퍼링, 배치 처리, 슬라이딩 윈도우 rate limiter를 활용한 안정적인 연동 시스템을 구축한 과정을 소개합니다.

비동기 큐를 활용한 배치 작업이 메모리 누수의 주요 원인임을 확인했습니다. 배치 방식과 즉시 적재 방식을 시뮬레이션하여 각각의 장단점을 분석하고, 스케줄러 제거와 Redis 버퍼 최적화를 통한 하이브리드 접근 방식을 제안합니다.