고객 데이터를 건드리지 않는 Kafka Connect 제어 플레인을 만든 이유
한 팀이 Kafka Connect를 관리하는 제어 플레인을 설계할 때, 실제 고객 데이터가 제어 플레인을 통과하지 않도록 구조를 나눴습니다. 데이터 흐름과 관리 명령 흐름을 완전히 분리해 보안과 규정 준수 문제를 해결한 사례입니다.
Kafka Connect는 데이터베이스·서비스 간에 데이터를 자동으로 옮겨주는 도구입니다. 보통 이 도구를 원격으로 관리하려면 제어 플레인(중앙 관리 서버)이 필요한데, 이때 제어 플레인이 실제 고객 데이터에도 접근할 수 있게 되는 문제가 생깁니다. 이 팀은 제어 플레인은 '어떤 커넥터를 어떻게 설정할지'만 지시하고, 실제 데이터는 고객 인프라 안에서만 흐르도록 구조를 분리했습니다. 이렇게 하면 SaaS 제공업체가 고객 데이터를 볼 수 없으므로 GDPR 같은 개인정보 규정을 지키기 쉽고, 보안 감사도 단순해집니다.
핵심 포인트
용어 한 줄 설명
- Kafka Connect
- Apache Kafka 기반으로 데이터베이스·앱 등 여러 시스템 사이에서 데이터를 자동으로 이동시켜주는 연동 도구
- 제어 플레인
- 시스템을 원격으로 설정하고 관리하는 중앙 서버로, 실제 데이터가 아닌 관리 명령만 처리하도록 설계할 수 있다
- 데이터베이스
- 많은 정보를 체계적으로 모아두어 찾아보기 쉽게 만든 정보의 집합체입니다.
- 서버
- 웹사이트나 앱이 돌아가게 해 주는 컴퓨터 시스템입니다.
- 인프라
- 소프트웨어가 돌아가는 서버·네트워크 등 기반 시설을 통틀어 부르는 말.
- SaaS
- 인터넷으로 쓰는 유료 소프트웨어 서비스입니다.
- GDPR
- 유럽연합의 개인정보 보호 규정으로, 기업이 고객 데이터를 어떻게 다뤄야 하는지를 법으로 정해놓은 것
- PR
- Pull Request의 줄임말로, 코드 변경 사항을 프로젝트에 반영해달라는 요청입니다.