같은 조직의 요청이 Redis Lock 앞에 몰렸다

AI Agent는 한 작업 안에서 검색, 분석, 외부 API 호출을 여러 Tool Call로 나눠 병렬로 실행합니다. 여기서 Tool Call은 Agent가 도구 하나를 실행한 단위입니다. 여러 Tool Call이 비슷한 시점에 끝나면 사용량 확인과 크레딧 차감 요청도 짧은 시간에 집중됩니다.

기존 차감 경로는 요청마다 조직을 구분하는 식별자(organizationId)를 기준으로 Redis Lock을 얻고 DB 트랜잭션을 열었습니다. 같은 조직 식별자를 가진 요청은 하나의 조직 잔액을 함께 사용하므로 같은 Lock을 기다립니다. Redis Lock은 이 잔액이 동시에 변경되지 않도록 처리 순서를 보장합니다.

요청이 드물 때는 문제가 없었습니다. 그러나 같은 조직에서 30개 요청이 거의 동시에 들어오면 뒤의 요청은 앞선 요청의 네트워크 왕복과 DB 작업이 끝날 때까지 차례로 기다려야 했습니다. 일부 요청은 2초로 설정한 Lock 획득 대기 한도를 넘겨 실패했습니다.

3열 표
구분기존 경로변경 후
Redis LockTool Call마다 획득조직별 처리 묶음마다 획득
DB 트랜잭션Tool Call마다 시작처리 묶음마다 시작
사용 금액과 정산 이력요청별 저장요청별 저장 유지
응답 방식차감 완료 후 반환같은 동기 응답 유지

대기 한도를 늘리는 방법은 선택하지 않았습니다. 대기 시간을 늘려도 Lock 획득을 시도하는 요청 수는 그대로이고, 실패한 요청이 곧바로 재시도되면 같은 대기열에 다시 들어가 부하를 더 키울 수 있기 때문입니다. 실패 시점을 늦추기보다 Lock 앞에 서는 실행 단위 자체를 줄이는 쪽으로 문제를 다시 정의했습니다.

Lock 안전성과 경합을 분리했다

원본 보기

기존 SET NX와 DEL 조합에는 Lock 소유권과 관련된 별도 위험이 있었습니다. 먼저 시작한 요청의 TTL이 끝난 뒤 다른 요청이 같은 키로 Lock을 얻었는데, 이전 요청이 늦게 DEL을 실행하면 새 요청의 Lock까지 지울 수 있었습니다. 이 문제는 Redisson으로 전환해 Lock 소유자를 확인하도록 바꾸면서 해결했습니다.

그러나 Redisson 전환만으로 Tool Call마다 Lock을 얻는 구조가 달라지지는 않았습니다. 최종 경로에서는 다음 세 문제를 따로 다뤘습니다.

  • Lock 안전성은 Redisson으로 소유권 확인과 안전한 해제를 보완했습니다.
  • Lock 보유 시간은 사전 검증과 반복 조회 일부를 Lock 밖으로 옮겨 줄였습니다.
  • Lock 경합은 local micro-batch로 Lock 획득 시도 횟수를 줄였습니다.

문제가 드러난 단위는 AI Agent 실행이었지만 실제로 경쟁하는 값은 조직의 잔액이었습니다. 서로 다른 Agent 실행에서 나온 요청이라도 조직 식별자(organizationId)가 같으면 같은 잔액과 Redis Lock을 사용합니다. 그래서 요청을 묶는 기준도 실행 ID가 아니라 조직 식별자로 정했습니다.

3열 표
묶는 기준얻는 점감수하는 점
조직 식별자같은 잔액을 쓰는 요청을 넓게 묶어 Lock 횟수를 줄이기 유리합니다.서로 다른 Agent 실행의 요청이 같은 묶음에 들어갈 수 있습니다.
조직 식별자와 실행 ID한 요청의 실패가 다른 Agent 실행에 미치는 범위를 줄이기 쉽습니다.같은 조직의 요청이 여러 묶음으로 나뉘어 Lock 횟수가 다시 늘어납니다.

이번에는 실행별 실패 격리보다 실제 경합 자원인 조직 잔액을 기준으로 Lock 횟수를 줄이는 쪽을 우선했습니다.

local micro-batch로 Lock과 트랜잭션 진입을 묶었다

local micro-batch는 같은 Pod에 들어온 동일 조직의 요청을 메모리에서 잠시 모아 Redis Lock과 DB 트랜잭션을 함께 사용하는 방식입니다. local은 요청을 받은 Pod 안에서만 모은다는 뜻이고, micro-batch는 최대 100ms 또는 20건처럼 짧고 작은 범위로 요청을 묶는다는 뜻입니다. 여러 Pod가 함께 쓰는 메시지 큐와는 다릅니다.

원본 보기

요청이 처리되는 순서

  1. 요청을 조직 식별자별 요청 버퍼(OrgBatchBuffer)에 넣습니다.
  2. 첫 요청 이후 100ms가 지나거나 대기 요청이 20건에 도달하면 현재 묶음의 처리(flush)를 시작합니다.
  3. 같은 조직에서는 한 번에 하나의 묶음만 처리합니다. 시간 조건과 건수 조건이 동시에 충족돼도 같은 요청을 두 번 가져가지 않습니다.
  4. Redisson Lock을 한 번 얻고 DB 트랜잭션을 한 번 시작합니다.
  5. 묶음 안의 요청을 들어온 순서대로 확인하고, 요청별 중복 방지 키(idempotencyKey)로 이미 처리된 요청인지 검사합니다.
  6. 요청별 금액을 계산해 잔액과 정산 이력(ledger)에 반영합니다.
  7. DB 커밋이 끝나면 Lock을 해제하고 각 호출자에게 개별 결과를 반환합니다.

시간 조건과 건수 조건이 거의 동시에 충족돼도 같은 묶음을 두 번 처리하지 않도록 처리 시작 권한은 한 번만 얻습니다. 현재 묶음에 포함할 요청을 한 번에 분리한 뒤 이후 도착한 요청은 다음 묶음으로 보냅니다. 앞선 처리가 끝났을 때 대기 요청이 남아 있으면 다음 처리를 예약합니다. 비어 있는 버퍼와 사용이 끝난 타이머도 제거해 조직별 버퍼가 메모리에 계속 남지 않도록 했습니다.

2열 표
묶음 단위로 공유한 것요청별로 유지한 것
Redis Lock 획득사용 금액
DB 트랜잭션 진입중복 방지 키(idempotencyKey)
묶음 안의 처리 순서비용 계산 원본 정보(payload)
같은 조직의 짧은 처리 구간정산 이력(ledger)과 개별 결과

이 변경은 JDBC batch와도 다릅니다. local micro-batch는 요청이 Redis Lock과 DB 트랜잭션에 진입하는 횟수를 줄입니다. JDBC batch는 반복되는 INSERT와 UPDATE의 DB 왕복을 줄이는 별도 최적화입니다. 요청별 정산 이력 N건을 저장하는 것은 정산 근거를 남기기 위한 의도된 쓰기이며, 같은 조직 정보나 연관 데이터를 요청마다 다시 읽어 SELECT가 반복되는 문제와도 구분해야 합니다.

100ms와 20건을 k6 부하 테스트로 조정했다

local micro-batch를 도입하면 기존에 없던 수집 대기가 생깁니다. 더 오래 기다릴수록 많은 요청을 묶을 수 있지만 첫 요청의 응답은 늦어집니다. 묶음이 커질수록 Lock 획득 횟수는 줄지만 한 번의 DB 트랜잭션과 함께 롤백되는 범위는 커집니다.

원본 보기
3열 표
설정초기값선택 기준
최대 수집 대기100ms기존 2초 Lock 대기 한도의 5%입니다. 실제 묶음 크기가 계속 1이면 기다리기만 하는 상태이므로 줄입니다.
최대 묶음 크기20건Lock 횟수는 줄지만 한 번의 트랜잭션과 롤백 범위가 커집니다. Lock 보유 시간이나 DB p99가 오르면 낮춥니다.
조직별 대기열100건20건짜리 묶음 다섯 개까지만 잠시 흡수합니다. 상한 도달이 반복되면 재시도보다 처리량과 DB 병목을 먼저 확인합니다.
조직별 동시 처리1개같은 조직에서 두 트랜잭션이 동시에 잔액을 변경하거나 같은 요청을 중복 처리하지 않도록 고정합니다.

p95는 전체 요청의 95%가 해당 시간 안에 완료됐다는 뜻이고, p99는 99% 요청을 기준으로 한 값입니다. k6로 50ms, 100ms, 200ms를 비교했을 때 50ms는 전체 응답 p95가 가장 짧았지만 30개 요청당 Redis Lock 횟수가 가장 많았습니다. 200ms는 Lock 횟수를 더 줄였지만 응답 시간이 크게 늘었습니다. 100ms는 최저 지연을 만드는 값이 아니라 Tool Call 완료 시점이 조금씩 어긋나는 순간 부하를 흡수하면서 추가 대기를 제한하기 위한 초기값입니다.

k6 대기 시간 비교 결과
6열 표
최대 대기 시간평균 Lock 대기대기열 p95전체 응답 p95평균 묶음 크기30개 요청당 Lock 횟수
50ms26.6ms50.0ms118.7ms4.51건6.65회
100ms25.8ms100.0ms195.4ms6.61건4.54회
200ms35.4ms200.0ms304.3ms10.00건3.00회

100ms는 50ms보다 전체 응답 p95가 76.7ms 늘지만 Lock과 트랜잭션 진입은 6.65회에서 4.54회로 줄었습니다. 반대로 200ms는 Lock 횟수를 더 낮추는 대신 사용자가 기다리는 시간이 지나치게 커졌습니다.

요청 단위의 정합성을 유지했다

성능이 좋아져도 차감 결과와 정산 근거가 기존 단건 처리와 달라지면 적용할 수 없습니다. 그래서 요청을 버퍼에 넣기 전, Redis Lock을 얻은 뒤, 데이터베이스에 저장할 때 각각 맡을 검증을 나눴습니다.

3열 표
검증 위치확인한 내용이 위치에서 확인한 이유
버퍼에 넣기 전요청 형식, 금액 계산에 필요한 입력, 거래 유형잘못된 요청 하나가 정상 요청이 포함된 전체 묶음을 반복해서 롤백시키는 일을 줄입니다.
Redis Lock 안최신 잔액, 이미 처리된 요청인지 여부, 잔액 부족과 초과 사용 정책동시에 들어온 요청을 반영한 최신 상태가 필요합니다.
데이터베이스중복 방지 키의 고유 제약, 잔액과 정산 이력의 함께 커밋 여부서버 재시작이나 다른 Pod의 재시도까지 포함한 최종 방어선입니다.

같은 요청은 한 번만 반영했다

메모리에서 먼저 중복을 걸러도 서버 재시작이나 다른 Pod에서 들어오는 재시도까지 막을 수는 없습니다. 따라서 중복 여부의 최종 기준은 로컬 버퍼가 아니라 데이터베이스의 고유 제약입니다.

같은 중복 방지 키로 동일한 요청이 다시 들어오면 기존 처리 결과를 확인하고 추가 차감하지 않습니다. 반대로 같은 키를 사용하면서 금액이나 거래 유형이 달라지면 이전 결과를 재사용하지 않고 요청 충돌로 처리합니다. 같은 키가 같다는 이유만으로 서로 다른 요청을 같은 요청으로 오인하지 않기 위한 기준입니다.

정산 이력은 Tool Call별로 남겼다

금액만 합쳐 한 줄로 저장하면 어느 Tool Call에서 비용이 발생했는지 확인하기 어렵습니다. 그래서 Redis Lock과 DB 트랜잭션은 공유하되 다음 정보는 요청별로 남겼습니다.

  • Tool Call별 사용 금액
  • 비용 계산에 사용한 입력과 정책 정보
  • 중복 요청을 구분하는 키
  • 정산과 사후 분석에 필요한 ledger

잔액 부족과 초과 사용 정책은 바꾸지 않았다

묶음 안에서 잔액이 부족해져도 기존 서비스의 초과 사용 정책과 요청 순서를 그대로 적용했습니다. local micro-batch가 새로운 금액 정책을 만들지 않으며, 기존 단건 경로와 결과가 달라지지 않도록 같은 계산 로직을 재사용했습니다.

묶음 전체를 하나의 DB 트랜잭션으로 처리했기 때문에 중간 요청 하나에서 예상하지 못한 오류가 발생하면 앞에서 처리한 요청도 함께 롤백됩니다. 일부만 성공시키는 방식은 결과 조합과 재시도 규칙을 복잡하게 만들고, 요청 순서에 따라 잔액 부족 결과가 달라질 수 있어 초기에는 사용하지 않았습니다.

다만 특정 요청 하나 때문에 정상 요청까지 반복해서 실패한다면 현재 트랜잭션 경계가 맞지 않는 신호입니다. 이 경우 최대 묶음 크기를 줄이거나 요청별 결과와 요청별 트랜잭션으로 전환해야 합니다.

종료와 과부하에서도 응답 의미를 지켰다

local micro-batch의 대기열은 Pod 메모리에 있으므로 영속 큐가 아닙니다. 이 한계를 숨기지 않고, 호출자가 성공으로 받은 요청과 실제로 커밋된 요청이 어긋나지 않도록 다음 기준을 뒀습니다.

2열 표
상황처리 기준
정상 종료새 요청 접수를 막고 이미 시작한 묶음은 정해진 종료 시간 안에서 마무리합니다.
아직 처리를 시작하지 않은 요청성공으로 응답하지 않고 실패 결과를 반환해 상위 경로가 재시도 여부를 판단하게 합니다.
조직별 대기열 100건 초과메모리와 응답 시간을 예측할 수 없게 늘리지 않고 즉시 실패를 반환합니다.
DB 커밋 후 응답 전달 실패같은 중복 방지 키로 다시 요청하면 기존 처리 결과를 확인하고 추가 차감하지 않습니다.
호출자가 먼저 시간 초과이미 시작한 차감은 임의로 취소하지 않습니다. 재요청은 같은 중복 방지 키로 결과를 확인합니다.
버퍼 정리처리가 시작되면 예약된 타이머를 취소하고 비어 있는 조직 버퍼를 제거합니다.

대기열이 가득 찼다는 응답 뒤에 즉시 재시도를 무제한으로 반복하면 같은 순간 부하가 더 커질 수 있습니다. 따라서 재시도 횟수와 간격을 제한하고, 재요청에서도 같은 중복 방지 키를 유지해야 합니다.

더 큰 구조보다 현재 문제에 맞는 변경을 택했다

3열 표
대안얻는 점이 경로에서 먼저 선택하지 않은 이유
PostgreSQL 행 잠금하나의 잔액 행을 DB 트랜잭션 안에서 보호하기 명확합니다.대기와 사용 이력 저장까지 DB 트랜잭션 안으로 가져오면 연결을 오래 점유하고 Tool Call의 순간 부하가 DB 대기로 이동할 수 있습니다.
Redis Lua로 직접 제어네트워크 왕복을 줄이고 원자적인 제어가 가능합니다.소유권 확인, TTL 갱신, 대기 통지와 장애 복구를 직접 유지해야 하며 이미 사용 중인 Redisson과 책임이 겹칩니다.
Kafka 또는 Redis Streams여러 Pod의 요청을 한곳에서 모으고 프로세스 종료 뒤에도 재처리할 수 있습니다.기존 동기 응답을 비동기로 바꾸고 소비자 장애, 중복 전달, 처리 순서, 실패 메시지와 완료 통지를 새로 운영해야 합니다.
Agent 실행별 전체 합산Agent 실행당 Lock 한 번으로 단순하게 처리할 수 있습니다.Tool Call이 많으면 트랜잭션과 Lock 보유 시간이 커지고, 서로 인접한 다른 Agent 실행의 순간 부하는 함께 묶지 못합니다.
local micro-batch기존 동기 응답을 유지하면서 같은 Pod에서 반복되는 Lock 진입을 줄일 수 있습니다.여러 Pod의 요청을 하나의 묶음으로 만들 수 없고 최대 100ms의 의도적인 대기가 추가됩니다.

local micro-batch를 선택한 이유는 기능이 가장 많아서가 아닙니다. 병목이 발생한 Redis Lock 바로 앞에서 실행 단위를 줄이면서 기존 API 계약과 정산 근거를 바꾸지 않는 가장 작은 변경이었기 때문입니다. 공유 큐를 배제한 것이 아니라 로컬 집계 효과가 실제로 부족해지는 시점까지 도입을 미룬 선택입니다.

여러 Pod에서는 정합성보다 묶음 효율이 먼저 떨어진다

원본 보기

Pod마다 로컬 대기열은 따로 존재합니다. 같은 조직의 요청이 여러 Pod로 흩어질수록 Pod별 묶음은 작아지고 공통 Redis Lock 획득 횟수는 다시 늘어납니다.

하지만 모든 Pod가 같은 조직 식별자(organizationId) 기준 Redis Lock을 사용하고 데이터베이스가 같은 중복 방지 키(idempotencyKey)를 한 번만 인정하므로, 요청이 분산된다고 곧바로 중복 차감이나 동시 잔액 변경이 발생하는 것은 아닙니다. 여러 Pod 환경에서 먼저 약해지는 것은 정합성보다 요청을 묶는 효율입니다.

다만 로컬 대기열이 보장하는 순서는 각 Pod 안의 도착 순서뿐입니다. 여러 Pod를 합친 전체 도착 순서는 보장하지 않습니다. 금액 정책이 반드시 전체 선착순을 요구한다면 local micro-batch만으로는 부족하며, 공유 순서를 정하는 키나 데이터베이스 직렬화 지점이 추가로 필요합니다.

여러 Pod에서는 다음 값을 함께 봅니다.

  • Pod별 평균 묶음 크기
  • 동일 조직 요청이 도달한 Pod 수
  • 차감 요청 수 대비 Redis Lock 획득 횟수
  • Redis Lock 획득 대기와 보유 시간
  • 동일 Agent 실행의 Pod 분산도

같은 Agent 실행의 요청을 같은 Pod로 보내면 묶음 효율은 높아질 수 있습니다. 그러나 요청이 집중된 Agent나 조직이 특정 Pod를 과도하게 점유할 수 있고, Pod 재배치와 장애 때 라우팅 정책도 함께 관리해야 합니다. 따라서 이 방식은 local micro-batch의 전제 조건이 아니라 실제 분산도를 확인한 뒤 적용할 수 있는 별도 최적화로 남겼습니다.

k6 다중 Pod 비교 결과
6열 표
라우팅Pod 수평균 묶음 크기30개 요청당 Lock 횟수Lock 대기 p95전체 응답 p95
Pod에 순서대로 분배115.0건2회1.2ms141.4ms
Pod에 순서대로 분배310.0건3회84.0ms220.9ms
Pod에 순서대로 분배65.0건6회119.9ms239.9ms
같은 Agent 실행을 같은 Pod로 전달315.0건2회1.2ms141.4ms
같은 Agent 실행을 같은 Pod로 전달615.0건2회1.2ms141.5ms

k6로 부하 특성과 한계를 확인했다

평균 Lock 대기 하나만으로는 local micro-batch가 전체 경로를 개선했는지 판단하기 어렵습니다. k6 테스트는 다음 질문에 답하도록 시나리오를 나눴습니다.

2열 표
시나리오확인한 내용
10개 동시 요청묶을 요청이 적을 때 100ms의 대기가 불필요한 지연만 추가하지 않는지 확인했습니다.
30개 동시 요청같은 조직의 Redis Lock 경합을 재현하고 적용 전후 평균 대기를 비교했습니다.
60개 동시 요청Lock 대기는 줄었지만 대기열이나 DB가 새로운 병목으로 바뀌지 않는지 확인했습니다.
50ms, 100ms, 200ms응답 지연과 Lock 횟수 사이의 차이를 비교했습니다.
1개, 3개, 6개 Pod요청 분산으로 묶음 효율이 얼마나 줄어드는지 확인했습니다.
60초 지속 부하대기열이 계속 증가하는지, 처리량 한계와 Lock 대기 초과가 나타나는지 확인했습니다.
여러 조직의 혼합 부하한 조직의 집중 요청이 다른 조직의 응답을 밀어내지 않는지 확인했습니다.
중복 요청과 장애 상황중복 차감, DB 오류, Redis 지연, 커밋 뒤 응답 실패를 확인했습니다.

운영에서 확인한 결과

3열 표
지표적용 전적용 후
같은 조직의 30개 동시 요청 평균 Redis Lock 대기180ms42ms
해당 차감 경로의 월간 실패약 13건1건 이하

첫 번째 값은 k6로 동일 조직의 동시 요청을 재현해 비교한 결과입니다. 두 번째 값은 운영 로그에서 같은 차감 경로의 실패 건수를 집계한 결과입니다. 월간 실패 건수는 전체 요청 대비 실패율이 아니라 절대 건수이므로 트래픽 변화의 영향을 받을 수 있습니다.

이 결과를 local micro-batch 하나의 독립 효과로 분리해서 설명하지 않았습니다. 실패 감소에는 Redisson의 소유권 확인, Lock 안의 작업 축소, local micro-batch가 함께 기여했습니다. 따라서 180ms에서 42ms는 최종 동시성 경로 전체의 전후 결과로 보는 편이 정확합니다.

k6 구현 단계와 지속 부하 결과

구현 단계 비교

6열 표
단계평균 Lock 대기Lock 대기 p95전체 응답 p95Lock 보유 p9530개 요청당 Lock 횟수
V0 SET NX와 DEL, 요청별 처리179.9ms346.1ms358.2ms13.6ms30회
V1 Redisson, 요청별 처리163.9ms315.1ms326.3ms12.5ms30회
V2 Lock 안의 작업 축소, 요청별 처리116.2ms222.9ms230.8ms8.9ms30회
V3 Agent 실행 전체 합산0.8ms1.2ms127.1ms109.6ms1회
V4 local micro-batch41.3ms84.0ms221.2ms43.3ms3회

V3는 Lock 횟수는 가장 적지만 30건을 한 트랜잭션에서 처리해 한 번의 Lock 보유 시간이 길어졌습니다. V4는 최대 20건으로 처리 범위를 제한해 Lock 횟수와 보유 시간 사이의 균형을 맞췄습니다.

60초 지속 부하 비교

7열 표
초당 Agent 실행초당 Tool Call방식Lock 대기 p95전체 응답 p95Lock 대기 초과실제 처리량
1030실행별 합산1.2ms33.6ms0%30.0/s
1030local micro-batch20.8ms131.6ms0%30.0/s
50150실행별 합산33.9ms58.2ms0%150.0/s
50150local micro-batch32.7ms145.1ms0%149.8/s
60180실행별 합산5,094.8ms5,116.9ms62.779%165.2/s
60180local micro-batch42.1ms154.0ms0%179.7/s
70210실행별 합산15,364.0ms15,386.6ms87.516%165.4/s
70210local micro-batch52.1ms163.6ms0%209.6/s

local micro-batch는 낮은 부하에서 최대 100ms를 의도적으로 기다리므로 실행별 합산보다 느릴 수 있습니다. 대신 지속 부하가 처리 한계에 가까워질 때 여러 Agent 실행의 인접 요청도 같은 묶음에 포함해 Lock과 트랜잭션 진입 증가를 억제했습니다.

여러 조직이 함께 들어오는 상황

한 조직에서 초당 120개 Tool Call이 들어오고 나머지 50개 조직에서는 각각 초당 1.2개가 들어오는 혼합 부하도 재현했습니다.

2열 표
지표결과
전체 응답 p95135.7ms
요청이 집중된 조직의 응답 p95137.9ms
일반 조직의 응답 p95135.6ms
두 조직군의 p95 비율1.02
DB 연결 풀 대기 p950ms
Lock 대기 초과0%

조직별 버퍼와 조직당 하나의 동시 처리, 제한된 처리 작업자를 함께 적용했을 때 요청이 집중된 조직이 일반 조직의 응답을 크게 밀어내지 않았습니다. 운영에서는 전체 평균만 보지 않고 조직별 p95와 가장 오래 기다린 요청의 경과 시간을 함께 확인해야 합니다.

운영에서는 Lock 감소와 새 병목을 함께 본다

아래 이름은 운영에서 수집한 메트릭 이름입니다. 특정 코드나 클래스 이름을 알지 못해도 오른쪽 설명으로 무엇을 확인하려는지 알 수 있도록 정리했습니다.

2열 표
메트릭 이름확인하려는 문제
credit_batch_size묶음 크기가 계속 1이면 100ms 대기만 추가되는지 확인합니다.
credit_batch_queue_wait_ms요청을 모으는 시간이 설정한 상한을 넘는지 확인합니다.
credit_lock_acquire_msRedis Lock 경합과 대기 한도 초과의 전조를 확인합니다.
credit_lock_hold_ms묶음이 커지면서 한 번의 Lock 보유 시간이 다시 길어지는지 확인합니다.
credit_batch_transaction_msDB 트랜잭션 시간과 묶음 크기의 관계를 확인합니다.
credit_consume_e2e_ms대기열 진입부터 응답까지 호출자가 실제로 기다린 시간을 확인합니다.
credit_batch_queue_full_total조직별 과부하와 대기열 상한 초과가 반복되는지 확인합니다.
credit_batch_oldest_item_age_ms처리되지 못한 요청이 대기열에 오래 남는지 확인합니다.
credit_consume_failure_totalLock 대기 초과, DB 오류, 중복 요청, 대기열 초과를 원인별로 구분합니다.

조직 ID와 요청 ID를 메트릭 태그로 넣으면 값의 종류가 계속 늘어나 저장과 조회 비용이 커집니다. 서비스, Pod, 처리 결과, 실패 사유처럼 값의 범위가 제한된 항목만 태그로 사용하고 특정 조직과 요청은 분산 추적과 구조화 로그에서 찾도록 나눴습니다.

언제 설정을 줄이고 언제 구조를 바꿀 것인가

  • 낮은 트래픽에서 묶음 크기가 계속 1이면 최대 대기 시간을 줄입니다.
  • 묶음이 커질수록 Lock 보유 시간이나 DB p99가 상승하면 최대 묶음 크기를 낮춥니다.
  • 조직별 대기열 100건을 자주 넘으면 재시도 횟수보다 처리 작업자, DB 연결 풀과 트랜잭션 시간을 먼저 확인합니다.
  • 여러 Pod에서 차감 요청 수 대비 Redis Lock 획득 횟수가 다시 높아지면 같은 조직의 요청을 같은 Pod로 보내는 방식이나 공유 큐를 검토합니다.
  • 한 요청의 오류가 정상 요청까지 반복해서 롤백시키면 더 작은 묶음이나 요청별 트랜잭션으로 전환합니다.
  • 프로세스 종료 뒤 처리하지 못한 요청을 반드시 이어받아야 하는 요구가 생기면 Redis Streams나 Kafka 같은 영속 큐를 검토합니다.
배포 전에 확인할 엣지 케이스

성능

  • 10개, 30개, 60개 동시 요청에서 평균뿐 아니라 p50, p95, p99를 측정합니다.
  • 묶음 크기와 Tool Call 완료 시점의 분산을 바꿔 100ms 설정의 효과를 비교합니다.
  • 1개, 3개, 6개 Pod에서 동일 조직 요청의 분산과 Lock 횟수를 비교합니다.
  • 낮은 부하에서 묶음 크기 1이 반복될 때 추가되는 지연을 확인합니다.
  • 60초 이상 지속 부하에서 대기열이 계속 증가하지 않는지 확인합니다.

정합성

  • 같은 중복 방지 키가 같은 묶음, 다른 묶음, 다른 Pod에서 재시도돼도 한 번만 차감되는지 확인합니다.
  • 묶음 중간에 실패하면 잔액과 정산 이력이 함께 롤백되는지 확인합니다.
  • 잔액 부족과 초과 사용 정책이 기존 단건 경로와 같은 결과를 내는지 확인합니다.
  • 전체 금액과 요청별 정산 이력의 합계가 일치하는지 확인합니다.
  • Tool Call 순서가 결과에 영향을 주는 정책이라면 입력 순서가 보존되는지 확인합니다.

장애

  • Redis 지연과 연결 단절 중 대기열이 무한히 증가하지 않는지 확인합니다.
  • DB 연결 풀이 고갈될 때 처리 작업자가 전체 요청 스레드를 점유하지 않는지 확인합니다.
  • 트랜잭션 커밋 직후 응답 전달이 실패한 요청을 같은 키로 재시도했을 때 중복 차감되지 않는지 확인합니다.
  • 종료 시 진행 중인 묶음과 아직 처리를 시작하지 않은 요청이 성공으로 오인되지 않는지 확인합니다.
  • 대기열 100건 초과 시 실패 사유와 재시도 가능 여부가 명확한지 확인합니다.

마무리

local micro-batch의 핵심은 요청을 많이 묶는 데 있지 않습니다. 같은 조직의 잔액 변경 순서와 요청별 정산 근거는 그대로 유지하면서 짧은 순간 부하가 만드는 반복적인 Redis Lock 획득과 DB 트랜잭션 진입만 줄였습니다.

이 방식은 낮은 부하에서는 최대 100ms의 수집 비용을 추가합니다. 반면 병렬 Tool Call이 계속 몰릴 때는 인접한 요청을 작은 묶음으로 처리해 Lock 경합을 낮춥니다. 따라서 100ms, 20건, 100건은 고정된 정답이 아니라 실제 묶음 크기, Lock 보유 시간, DB p99와 대기열 포화를 함께 보며 조정해야 하는 운영값입니다.

k6 부하 테스트에서는 같은 조직의 30개 동시 요청에서 평균 Redis Lock 대기가 180ms에서 42ms로 줄었습니다. 운영 로그에서는 해당 차감 경로의 월간 실패가 약 13건에서 1건 이하로 감소했습니다. 이 결과는 Redisson 전환, Lock 안의 작업 축소, local micro-batch를 함께 적용한 최종 동시성 경로의 전후 결과입니다.

참고 자료