이벤트 기반 아키텍처 입문: Kafka 없이 시작하는 메시지 큐 실전 패턴
주문 서비스가 결제를 처리하고, 완료되면 알림·재고·포인트 서비스에 각각 HTTP 요청을 보낸다.
요청을 순차적으로 기다리는 구현에서는 알림 서비스의 지연이 주문 응답 시간에 포함된다.
이벤트 기반 아키텍처는 이 문제를 잘라낸다. 주문 서비스는 “주문 완료” 이벤트를 발행하고 끝낸다.
핵심 개념 정리
이벤트 vs 커맨드: 커맨드는 “이것을 해라”, 이벤트는 “이런 일이 일어났다”. 발행자는 구독자를 모른다.
Pub/Sub: 하나의 메시지를 여러 구독자가 수신. Queue: 워커들이 작업을 분담한다. 재전달이나 처리 시간 초과로 같은 메시지를 여러 번 처리할 수 있다.
At-least-once vs Exactly-once: 현실적 선택은 At-least-once + 멱등 처리(이벤트 ID 기반 중복 스킵).
BullMQ: Node.js에서 가장 빠른 출발점
Redis 위에서 동작. 기존 Redis가 있다면 별도 인프라 없이 바로 시작 가능.
import { Queue, Worker } from 'bullmq';
const emailQueue = new Queue('email', { connection });
await emailQueue.add('send-welcome', { to: 'user@example.com' }, {
attempts: 3, backoff: { type: 'exponential', delay: 1000 }, delay: 5000
});
const worker = new Worker('email', async (job) => {
await sendEmail(job.data);
}, { connection, concurrency: 5 });설치: npm install bullmq ioredis
한계: Redis의 영속성·메모리·장애 복구 설정이 필요하다. Redis Cluster도 사용할 수 있지만 큐의 관련 키를 같은 hash slot에 배치해야 한다. 작업 재시도와 보존된 이벤트 로그의 재생은 다른 요구사항이다.
Redis Streams: 이미 Redis가 있다면
await redis.xadd('orders', '*', 'event', 'order.completed', 'orderId', 'ord-456');
await redis.xgroup('CREATE', 'orders', 'notification-service', '0', 'MKSTREAM');0은 기존 항목부터 읽기 위한 시작 ID다. $를 쓰면 그룹 생성 전에 추가한 항목은 새 메시지 조회 대상에서 제외된다. 그룹 생성은 초기화 단계에서 한 번 수행하고, 기존 그룹의 BUSYGROUP은 별도로 처리한다. Consumer Group으로 작업을 분담하며, 미확인 메시지는 XPENDING으로 조회하고 XAUTOCLAIM 등으로 회수해야 한다.
장점: 별도 인프라 없음. 한계: 추상화 없어 보일러플레이트 많음. 대규모 트래픽에서 메모리 한계.
NATS JetStream
JetStream은 NATS에 메시지 저장과 소비 위치 관리를 제공한다. 발행 전에 subject를 저장하는 stream을 구성하고, 소비자의 ack 정책과 재전달 제한을 설정해야 한다. 처리 성공 후 ack하며, 처리 후 ack 전에 중단되면 같은 메시지가 다시 전달될 수 있다.
메시지 크기, 복제 수, 디스크, ack 방식에 따라 처리량과 지연이 달라진다. Core NATS의 성능 수치를 영속 저장을 사용하는 JetStream의 수치로 적용할 수 없다.
Kafka를 검토할 조건
메시지 수만으로 제품을 결정하지 않는다. 보존 기간, 재생 범위, 소비자별 위치 관리, 파티션 키와 순서, 커넥터 생태계, 운영 역량을 비교한다. Kafka 4.0부터는 ZooKeeper 모드가 제거되었고 KRaft를 사용한다. Redis Streams와 JetStream도 설정에 따라 보존된 이벤트를 다시 읽을 수 있다.
Outbox Pattern: DB와 이벤트 발행의 원자성
DB 커밋 후 이벤트 발행 사이에 장애가 나면 이벤트가 사라진다.
await db.transaction(async (trx) => {
const [order] = await trx('orders').insert(orderData).returning('*');
await trx('outbox').insert({ event_type: 'order.completed', payload: JSON.stringify(order), published: false });
});
async function publishOutboxEvents() {
const events = await db('outbox').where({ published: false }).limit(100);
for (const e of events) {
await queue.add(e.event_type, { eventId: String(e.id), payload: JSON.parse(e.payload) });
await db('outbox').where({ id: e.id }).update({ published: true });
}
}
// 단일 발행 프로세스의 예제: 이전 순회가 끝난 뒤 다음 순회를 시작한다.
for (;;) {
try { await publishOutboxEvents(); }
catch (err) { console.error(err); }
await new Promise(resolve => setTimeout(resolve, 1000));
}이 예제는 PostgreSQL과 Knex 형태의 API를 가정한다. 발행 성공 후 published 갱신이 실패하면 재발행되므로 소비자는 eventId로 멱등 처리해야 한다. 여러 발행 프로세스를 운영하려면 작업 선점과 만료된 선점 회수도 필요하다. DB 트랜잭션은 주문과 Outbox 저장을 묶으며, 외부 큐 발행까지 원자적으로 묶지는 않는다. 큐의 영속성 설정과 재시도·대사 절차가 별도로 필요하다.