| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
- Elasticsearch
- Java
- 데이터베이스
- 애자일프로그래밍
- Baekjoon
- 자바
- 개발자
- 코딩
- 클린코드
- 읽기쉬운코드
- cleancode
- 애자일기법
- Spring
- database
- 알고리즘
- 백준
- 그리디알고리즘
- kotlin
- 코드
- 개발
- 엘라스틱서치
- 코딩테스트
- 프레임워크
- spring boot
- API
- 그리디
- framework
- JPA
- 스프링
- ES
- Today
- Total
목록source connector (2)
튼튼발자 개발 성장기🏋️
Kafka CDC: MySQL to MongoDB 동기화 #2
이전에는 CDC 기반 Kafka를 통한 데이터 동기화의 동작 원리를 알아보았다.이번에는 Kafka와 Kafka connect를 Dockerizing해보겠다. 들어가기에 앞서 source connector에 사용될 사용자는 아래와 같은 권한이 필요하다.grant select, reload, replication client, replication slave on *.* to '{username}'@'%'; 아래 docker-compose.yaml 파일 내용을 살펴보자services: kafdrop: image: obsidiandynamics/kafdrop:latest container_name: kafdrop restart: "always" ports: - "9000:900..
Kafka CDC: MySQL to MongoDB 동기화 #1
1. Debezium MySQL Source Connector란?Debezium은 데이터베이스의 변경 이벤트를 감지하고 이를 Kafka에 발행해주는 CDC 플랫폼인데, MySQL Source Connector는 binlog를 기반으로 작동하여 INSERT, UPDATE, DELETE 이벤트를 실시간으로 처리한다.2. binlog란?MySQL의 binlog(binary log)는 데이터 변경 사항을 이진 포맷으로 기록한 로그파일이다. binlog은 주로 MySQL replication에서 사용된다. 쉽게 말하면 binlog는 데이터가 변경되는 모든 이벤트를 가지고 있기때문에 replication 혹은 데이터 복구 등에 사용될 수 있다.3. Debezium의 동작 원리MySQL에 replication cli..