카프카 커넥트 - 유연하고 확장 가능한 실시간 데이터 파이프라인 구축

아파치 카프카 스트리밍 플랫폼의 핵심 도구, 카프카 커넥트를 활용해 강력한 데이터 파이프라인을 구축한다. 데이터 엔지니어, 개발자, SRE를 위한 실용적인 가이드로, 다양한 데이터 소스와 싱크 연결, 기존 데이터의 손쉬운 활용, 클러스터 간 데이터 미러링 구현, 이벤트 스트리밍 최적화 등을 통해 카프카의 강력한 기능을 빠르게 도입해보자.



유연하고 확장 가능하며 신뢰할 수 있는 실시간 데이터 파이프라인 구축,

현대적인 데이터 인프라를 위한 필수요소, 카프카 커넥트(Kafka Connect)!



아파치 카프카 스트리밍 플랫폼의 핵심 도구, 카프카 커넥트를 활용해 강력한 데이터 파이프라인을 구축한다!

데이터 엔지니어, 개발자, SRE를 위한 실용적인 가이드로, 다양한 데이터 소스와 싱크 연결, 기존 데이터의 손쉬운 활용, 클러스터 간 데이터 미러링 구현, 이벤트 스트리밍 최적화 등을 통해 카프카의 강력한 기능을 빠르게 도입해보자!



| 이 책에서 다루는 내용 |

o 핵심 카프카 커넥트 구성요소를 결합해 회복 탄력성이 있고 효율적인 데이터 파이프라인 설계

o 기존 커넥터를 활용한 데이터베이스 변경사항 캡처, 데이터 레이크 구축, 카프카 클러스터 미러링

o 상용 환경에서의 카프카 커넥트 클러스터 배포, 구성, 운영

o 로그와 지표를 사용한 카프카 커넥트 클러스터의 지속적인 모니터링

o 쿠버네티스에서의 카프카 커넥트 클러스터 실행

o 자체 커넥터와 플러그인 작성



| 이 책의 독자 대상 |

카프카 커넥트 환경과 상호작용하는 데이터 엔지니어, 사이트 신뢰성 엔지니어, 개발자



| 이 책의 구성 |

1부는 카프카와 카프카 커넥트 전반에 대한 소개 내용을 다루며, 주로 카프카 커넥트를 처음 접하거나 막 시작하는 엔지니어를 대상으로 한다.

2부는 카프카 커넥트를 사용해 데이터 파이프라인을 구축하는 방법을 설명하며, 특히 데이터 엔지니어와 관련이 있다. 3장과 4장에서는 핵심 카프카 커넥트 구성요소를 논의하고, 이들을 결합해 견고하고 효율적인 데이터 파이프라인을 설계하는 방법을 설명한다. 2부의 나머지 장에서는 가장 인기 있는 커넥터들을 자세히 살펴본다. 5장에서는 커뮤니티에서 제공하는 세 가지 커넥터인 컨플루언트 S3(Confluent S3) 싱크, 컨플루언트 JDBC(Confluent JDBC) 소스, 데비지움(Debezium) MySQL 소스를 다룬다. 6장에서는 카프카의 미러링 도구인 미러메이커(MirrorMaker)가 어떻게 작동하는지 자세히 설명한다. 여기에는 소스, 체크포인트, 하트비트 커넥터의 기능과 구성에 대한 내용이 포함된다.

3부는 카프카 커넥트 운영 측면에 초점을 맞추며, 사이트 신뢰성 엔지니어를 대상으로 한다. 7장에서는 상용 환경에서 카프카 커넥트 클러스터를 배포하고 운영하는 방법을 보여준다. 8장에서는 카프카 커넥트가 제공하는 모든 구성 설정을 다루고, 이를 조정하는 방법과 시점을 결정하는 데 도움이 되는 배경과 맥락을 제공한다. 9장은 로그와 지표를 사용해 카프카 커넥트 클러스터를 지속적으로 모니터링하는 방법을 설명한다. 마지막으로 10장에서는 쿠버네티스(Kubernetes)에서 카프카 커넥트 클러스터를 실행하기 위해 필요한 핵심 고려사항을 논의한다. 여기에는 쿠버네티스에 대한 전반적인 소개와 이러한 유형의 인프라에 카프카 커넥트를 배포하는 데 사용할 수 있는 옵션에 대한 설명이 포함된다.

4부는 카프카 커넥트를 위한 커스텀 커넥터와 플러그인을 구현하는 방법을 설명하며, API에 대해 자세히 다루므로, 자신의 사용 사례에 맞게 카프카 커넥트를 커스터마이즈하려는 개발자를 대상으로 한다.