주문 서비스를 두 가용 영역(AZ)에 분산하면 단일 AZ 장애의 영향을 줄일 수 있다. 리전 전체가 중단되면 다른 리전에서 서비스를 복구해야 한다. 핵심은 복구 리전의 쓰기 가능 여부, 허용 데이터 손실, 기능 복구 시간이다. 실수로 삭제한 데이터까지 되돌리려면 별도 보호 수단도 필요하다.
AZ 장애와 리전 장애는 복구 범위가 다르다
ALB, 애플리케이션, 데이터베이스를 여러 AZ에 분산하면 단일 AZ 장애에 대응할 수 있다. 리전 단위의 제어면이나 서비스 장애까지 해결되지는 않는다.
그림에서 DB primary와 DB standby는 리전 내부 동기 복제, DR data는 다른 리전으로의 비동기 복제를 예시로 나타낸다. 실제 방식은 DB 서비스와 배포 모드에 따라 다르다. 복구 리전에 서버가 준비돼 있어도 DB 승격과 애플리케이션 연결 전환 전에는 쓰기가 불가능할 수 있다.
| 장애 범위 | 대표 상황 | 필요한 대응 |
|---|---|---|
| 인스턴스 | EC2 종료, 프로세스 실패 | ASG 교체, 헬스 체크 |
| AZ | AZ 네트워크 또는 전원 장애 | 다중 AZ 용량, 서비스별 Failover |
| 리전 | 리전 단위 서비스 중단 | 다른 리전의 복구 환경, 전환 절차 |
| 논리적 손상 | 데이터 삭제, 잘못된 배포 | 시점 복구, 불변 백업, 롤백 |
다중 AZ에서는 장애 후 남을 용량도 계산한다. AZ마다 처리 용량 50을 배치해 총 100을 처리한다면 한 AZ를 잃었을 때 즉시 남는 용량은 50이다. 기존 처리량을 유지하려면 사전 여유 용량이나 빠른 확장이 필요하다.
복구 시간 30분과 데이터 손실 5분은 다른 약속이다
복구 목표는 시간과 데이터 손실 범위로 나뉜다.
- RTO(Recovery Time Objective): 장애 발생부터 서비스 기능 복귀까지 허용하는 최대 시간
- RPO(Recovery Point Objective): 복구 데이터가 장애 시점보다 뒤처져도 되는 최대 시간
백업을 1시간마다 생성하면서 RPO 5분을 약속할 수는 없다. 변경분 복제나 연속 백업이 필요하다. 반대로 복제 지연이 수초에 불과해도 서버 구축에 몇 시간이 걸리면 짧은 RTO를 지키기 어렵다.
그림의 시간축에서 마지막 복구 가능 시점부터 장애 시점까지는 데이터 손실 구간, 장애 시점부터 사용자 기능 복귀까지는 복구 시간 구간이다.
예를 들어 복구 가능한 데이터 시점이 장애 3분 전이고 서비스가 40분 뒤에 정상화되었다면 실제 데이터 손실 범위는 3분, 서비스 복구 시간은 40분이다. RPO 목표가 5분이라면 충족했지만 RTO 목표가 30분이었다면 실패한 셈이다.
복구 리전에 무엇을 유지할지에 따른 네 가지 전략
| 전략 | 복구 리전의 평상시 상태 | 일반적인 특성 |
|---|---|---|
| Backup and Restore | 백업 보관, 주요 인프라는 복구 시 생성 | 평상시 비용 낮음, 복원 시간이 김 |
| Pilot Light | 데이터와 일부 핵심 기반만 유지 | 필요한 서버와 네트워크를 복구 시 확장 |
| Warm Standby | 축소된 규모의 전체 서비스가 작동 | 더 빠른 전환, 상시 비용 발생 |
| Multi-Site Active-Active | 복수 리전이 동시에 실제 트래픽 처리 | 복잡한 데이터 동기화와 운영 요구 |
복구 리전에 평상시 가동하는 리소스가 많을수록 전환 단계는 줄어들지만 비용은 늘어난다. RPO는 리소스 규모보다 복제 방식과 지연의 영향을 받는다.
Backup and Restore에서는 백업 복원뿐 아니라 네트워크와 컴퓨팅 환경의 재구축 시간, KMS 접근 권한도 확인해야 한다. Pilot Light는 데이터와 최소 기반만 유지하고, Warm Standby는 축소된 전체 서비스 경로를 가동한다. 핵심 차이는 복구 리전에서 평상시 요청을 처리할 준비가 돼 있는지다.
Active-Active에서는 여러 리전의 동시 쓰기로 발생할 충돌과 일관성 문제를 별도로 해결해야 한다.
DNS를 바꾸기 전에 DB가 쓰기를 받을 수 있나
Route 53 Failover Routing은 헬스 체크와 레코드 상태에 따라 보조 대상 주소를 DNS 응답으로 반환할 수 있다. 다만 요청을 보낼 리전을 바꾸기 전에 DB 승격과 애플리케이션 준비가 끝나야 한다.
DNS 장애 조치는 반환할 주소만 바꾼다. Route 53이 HTTP 요청을 중계하지 않으며, 클라이언트의 DNS 캐시와 TTL에 따라 전환 시점도 달라진다.
트래픽 전환 전 점검 사항:
- 데이터: 복제 지연 확인, Writer 승격과 기존 Writer 쓰기 차단
- 애플리케이션: 복구 리전의 버전, Secret, 인증서, IAM 역할과 데이터베이스 연결 확인
- 라우팅: 헬스 체크, TTL, 기존 연결이 남아 있을 때의 영향 확인
예를 들어 Aurora Global Database에서는 보조 리전 승격을 통해 쓰기 경로를 옮길 수 있다. 리전 간 복제는 일반적으로 비동기적이므로 장애 직전에 기록한 데이터가 도착했는지 확인해야 한다. 계획된 Switchover와 비계획 Failover의 조건도 다르다.
Route 53 ARC로 준비 상태를 점검하거나 라우팅을 제어할 수 있다. 그래도 DB 승격, 네트워크 연결, 애플리케이션 재접속의 실행 순서는 복구 훈련에서 검증해야 한다.
두 리전에서 동시에 쓰면 충돌은 누가 해결하나
DNS 전환만으로 데이터의 쓰기 권한과 충돌 규칙이 결정되지는 않는다. 두 리전이 동시에 쓰기를 받거나 장애 리전이 복귀하는 상황에서는 데이터 모델이 특히 중요하다. 그림은 Aurora Global Database와 DynamoDB Global Tables의 MREC 및 MRSC를 비교한다.
| 판단 | Aurora Global Database | DynamoDB MREC | DynamoDB MRSC |
|---|---|---|---|
| 일반적인 쓰기 지점 | 기본 리전의 Writer | 각 복제 리전에서 읽기 및 쓰기 | 각 복제 리전에서 읽기 및 쓰기 |
| 리전 간 변경 전달 | 비동기 스토리지 기반 복제 | 비동기 데이터 복제 | 쓰기 성공 전 다른 리전으로 동기 복제 |
| 보조 리전의 평상시 역할 | 읽기 처리, 장애 시 승격 후보 | 쓰기를 포함한 활성 서비스 | 강한 일관성 읽기와 쓰기 지원 |
| 재해 복구의 핵심 | 보조 클러스터 승격, 앱 연결 전환 | 복제 지연, 동시 쓰기 충돌, 앱 라우팅 | 3개 리전 구성, Witness와 가용성, 쓰기 지연 |
| 오해하기 쉬운 부분 | Reader가 자동으로 Writer가 되는 것은 아님 | 다중 Writer가 전역 직렬화와 동일하지 않음 | Witness는 읽기 및 쓰기 API를 제공하지 않음 |
Aurora에서 보조 리전으로 전환할 때는 기존 Writer로 유입되는 쓰기를 차단해야 한다. 계획된 전환과 비계획 장애 전환은 데이터 동기화 가능성이 다르다.
DynamoDB Global Tables의 MREC에서는 두 리전에서 같은 항목을 비슷한 시점에 변경할 수 있다. 복제가 완료되기 전에는 리전마다 조회값이 다를 수 있으며, 충돌 해결은 서비스의 복제 모델과 애플리케이션의 업데이트 방식에 영향을 받는다. 주문의 상태를 PAID → CANCELLED로 바꾸는 업무에서 단순한 최종 쓰기 승리만 믿으면 정책상 불가능한 상태 전이가 생길 수 있다.
데이터별 쓰기 정책:
- 사용자 프로필과 캐시: 리전별 일시적인 값 차이 허용 여부
- 주문과 결제 상태: 중복 처리, 상태 전이 충돌, 강한 일관성이 필요한 범위
- 계정별 소유 데이터: 계정의 쓰기를 특정 리전으로 제한할지 여부
멱등 키와 조건부 갱신은 중복 변경을 방지하는 수단이지만, 여러 리전의 쓰기 순서를 저절로 직렬화해 주지는 않는다.
Global Tables에는 MREC와 다른 MRSC(Multi-Region Strong Consistency) 모델도 있다. MRSC는 리전 간 동기 복제와 강한 일관성 읽기를 지원한다. 두 리전의 복제본과 제3 리전의 Witness 또는 세 리전의 복제본 구성이 가능하며, 생성 시 테이블 상태와 지원 리전 조합 등 제약을 확인해야 한다. MREC에서 옵션만 바꿔 전환하는 방식도 아니다. 네트워크 지연, 쓰기 가용성, 읽기 일관성, 비용을 함께 검증한다. DynamoDB Global Tables 공식 문서
실수로 지운 데이터를 복구할 수 있는가
잘못된 삭제 명령도 정상 변경으로 복제될 수 있다. 리전 간 복제만으로 오삭제를 복구할 수 없으므로 시점 복구나 불변 보존 정책이 필요하다.
| 수단 | 보호 목적 | 놓치기 쉬운 조건 |
|---|---|---|
| RDS Snapshot | 특정 시점의 데이터 복구 | 복원 소요 시간, 보관 기간 |
| RDS PITR | 보존 기간 안의 시점 복구 | 자동 백업 및 복구 가능 범위 |
| S3 Versioning | 이전 객체 버전 유지 | 삭제 마커, 버전별 수명주기 |
| S3 Replication | 버킷 간 객체 복제 | 복제 범위, 지연, 삭제 처리 정책 |
| AWS Backup Vault Lock | 백업 보존 정책 보호 | Lock 모드, 보존 설정, 복구 권한 |
RDS PITR로 과거 시점의 데이터를 복원하더라도 새 DB 인스턴스로 연결을 바꾸는 작업이 필요할 수 있다. S3 Versioning은 이전 객체를 복구할 수 있게 하지만 버전별 저장 비용이 늘어난다.
Vault Lock의 보존 기간은 신중하게 설정해야 한다. 복구본이 남아 있어도 KMS 키와 권한이 없으면 사용할 수 없으므로 복원 환경까지 검증한다.
백업을 다른 계정과 리전에 보관하는 이유
운영 계정이 침해되면 같은 계정의 백업도 위험해질 수 있다. 복구본을 별도 계정과 리전에 보관하면 권한 탈취와 리전 장애의 영향을 분리할 수 있다.
| 보호 계층 | 확인할 사항 | 놓치기 쉬운 부분 |
|---|---|---|
| 계정 격리 | 전용 백업 계정, 교차 계정 복사 권한 | 운영 계정에서 복구본 삭제 가능 여부 |
| 리전 분리 | 대상 리전의 복구 지점, 복사 일정 | 원본과 복사본의 시간 차이 |
| 보존 정책 | AWS Backup Vault Lock 설정 | Governance와 Compliance의 변경 가능성 차이 |
| 암호화 | KMS 키 정책, 대상 계정 권한 | 복구 시 암호 해독 권한 부족 |
| 복원 실험 | 격리된 환경에서 실제 DB 또는 객체 복원 | 백업은 있지만 애플리케이션 접속 불가 |
AWS Backup의 교차 계정 복사는 리소스별 지원 여부와 Organizations 권한 조건을 확인해야 한다. 암호화된 복구 지점은 대상 KMS 키의 정책도 맞아야 한다. Vault Lock의 Governance와 Compliance 모드는 관리자에게 허용하는 보존 정책 변경 범위가 다르다.
장애 전환은 복구 실험으로 검증한다
복구 훈련은 단일 인스턴스 장애에서 시작해 리전 전환과 원래 리전으로의 복귀까지 범위를 넓힌다.
- 단일 EC2 종료와 대상 그룹의 대체 처리
- AZ 단위 애플리케이션 용량 부족 상황
- DB Failover 중 연결 재시도와 트랜잭션 결과 확인
- 보조 리전의 컴퓨트 확장 및 데이터 승격
- Route 53 전환 후 주요 사용자 기능 검증
- 기존 리전 복구 시 재동기화와 Failback 절차
장애 발생 시점과 복구 단계별 소요 시간은 CloudWatch 지표, CloudTrail API 기록, AWS Config 변경 이력과 애플리케이션 로그를 함께 대조한다.
DB 승격, 컴퓨트 확장, DNS 전환의 순서
리전 장애 시에는 데이터베이스 승격과 애플리케이션 준비를 확인한 뒤 사용자 트래픽을 전환한다. 훈련에서도 같은 순서와 병행 가능한 작업을 확인한다.
- 헬스 체크, 애플리케이션 지표, 데이터 복제 상태를 종합해 장애 전환 결정
- 데이터베이스 승격과 복구 리전의 컴퓨트 확장을 가능한 범위에서 병행
- Secret, 연결 문자열, 네트워크와 인증 설정을 확인하고 핵심 API 검증
- Route 53 또는 별도 라우팅 제어 수단으로 트래픽 전환
- 복제 지연과 오류율을 관측하고 Failback 조건을 준비
RTO는 각 단계의 시간을 단순히 모두 더해 구하지 않는다. 컴퓨트 시작 8분과 DB 승격 5분을 병렬로 진행한 뒤 앱 검증에 4분, 라우팅에 3분이 걸린다면 이 경로의 작업 시간은 최소 8 + 4 + 3 = 15분이다. 여기에 장애 감지와 전환 결정, DNS 캐시, 인스턴스 확보 지연 등을 더해야 한다.
시간 계산에 빠뜨리기 쉬운 의존성:
- 접근 권한: 인증서, WAF, IAM 역할, KMS 키와 복구 계정 권한
- 배포 독립성: 장애 리전에 의존하지 않는 컨테이너 이미지와 설정 저장소
- 용량: EC2, ECS, Lambda, DB 및 네트워크 서비스 할당량
- 연결 정리: 이전 Writer 쓰기 차단, 새 Writer 재접속, DNS 캐시와 장기 연결 종료
Route 53 헬스 체크는 정상이어도 복구 리전의 KMS 권한이 부족하면 DB 복원이 실패할 수 있다. 복구 훈련에는 이러한 권한 오류도 포함한다.
Failback에는 별도의 절차가 필요하다. 기존 리전으로 돌아가기 전에 최신 데이터를 가진 원본을 정하고 재동기화해야 하며, 두 리전이 같은 데이터를 동시에 변경하지 않도록 쓰기 권한을 통제한다.
복구를 지시하는 경로와 사용자 요청 경로
복구 자동화의 제어 경로와 사용자의 HTTP 요청 경로는 다르다. 자동화는 AWS 리소스와 라우팅 설정을 변경하지만 HTTP 트래픽을 직접 중계하지 않는다.
그림 위쪽은 자동화 구성의 예시다. CloudWatch Alarm의 상태 변화를 EventBridge 규칙이 받아 Step Functions를 실행하고, 상태 머신은 허용된 AWS API를 호출한다. 이벤트 규칙, 재시도 정책, 실행 역할, 실패 알림을 따로 구성해야 이 경로가 동작한다.
그림 아래쪽에서 Route 53은 DNS 질의에 엔드포인트 주소를 응답한다. HTTP 요청은 Route 53을 거치지 않고 선택된 ALB에 연결된다. 실선은 기본 경로, 점선은 장애 조치 시의 대체 경로이며 두 ALB에 동시에 요청한다는 뜻은 아니다.
자동화 완료 시점과 사용자 기능 복구 시점은 다를 수 있다. RTO는 후자를 기준으로 측정한다.
복구 완료를 언제 선언할 수 있나
| 측정 대상 | 통과 조건 |
|---|---|
| 서비스 복귀 | 로그인과 핵심 읽기 및 쓰기 API 정상 처리 |
| RTO | 장애 감지부터 정상 사용자 기능 복귀까지의 시간이 목표 이내 |
| RPO | 최종 복원 데이터의 시점과 장애 발생 시점의 차이가 목표 이내 |
| 데이터 정합성 | 중복 처리와 누락, 미완료 트랜잭션 점검 |
| 운영 상태 | 로그와 경보 정상 수집, 복구 리전의 충분한 처리 용량 |
| 복귀 준비 | 원래 리전으로 돌아갈 조건과 재동기화 절차 확인 |
| 쓰기 소유권 | 이전 리전으로 유입되는 쓰기 차단, 새 리전의 쓰기 책임 확정 |
| 보안 종속성 | Secret, KMS, 인증서, 서비스 역할을 복구 리전에서 독립적으로 사용 가능 |
인프라가 available 상태여도 복구가 끝난 것은 아니다. 로그인과 주문 쓰기, 데이터 정합성 검증을 통과한 시점을 복구 완료로 기록한다.