Mini Kafka

• Netty를 이용하여 mini kafka를 설계하고 구현해본다. Producer, Consumer, Broker에 대한 충분한 이해와 공부를 통해 각 컴포넌트 스펙을 정의하고 이를 구현 및 테스트를 확인한다

Teck Stack

• Framework - Netty (Implementing native Netty without spring framework)
• Project Management tool : maven
• Language - Java 11
• Protocol - RPC

Structure

Producer

• 정의

  • 브로커에 존재하는 topic에 message를 publish한다

• 특징

  • Topic을 지정하여 message publish한다

    • 비동기적으로 메세지를 전송한다
    • 배치 전송은 하지 않는다
    • 다수의 토픽에 메세지를 전송할 수 있다

  • Multiple producer

  • 메세지 publish 순서 보장

    • key를 지정하여 원하는 파티션으로 전송이 가능하다
    • 별도로 키를 지정하지 않을 시, UTC time과 round-robin을 사용하여 임의대로 partition에 message를 전송한다

Consumer

• 정의

  • 브로커에게서 message를 얻어오고 처리한다.

• 특징

  • 지정한 topic의 message를 consume한다

    • broker로부터 받은 message를 처리하면 offset을 커밋하도록 한다
    • consumer는 옵션 값으로 지정한 만큼 message를 polling하도록 한다
    • 배치 기능을 따로 구현하지 않는다

  • Multiple Consumer

  • Consumer Group

    • 여러 컨슈머 그룹을 갖을 수 있다
    • Properties로부터 그룹을 지정할 수 있다

  • Partition Ownership

    • partition을 점유한 컨슈머만 해당 partition의 message를 처리할 수 있다
    • 파티션과 컨슈머는 1대1 관계의 ownership을 갖는다

  • Consumer의 상태체크를 위한 heartbeat을 전송한다

Broker

• 정의

  • Producer로부터 생성된 message를 topic의 partition에 저장하고 이를 Consumer에게 제공한다

• 특징

  • topic의 생성 여부는 옵션 값으로 결정할 수 있다

  • Broker ID를 필수로 입력받는다

  • record를 파일로 저장하고 관리한다

  • consumerGroup의 offset을 파일로 저장하고 관리한다

  • topic을 파일로 저장하고 관리한다

  • consumer의 heartbeat에 따라서 rebalancing을 진행한다

• Metadata

  • Record, Record offset
  • Consumer_offset
  • Consumer Ownership
  • Topic list

배운점

• Netty를 통해 client, server 구조를 쉽게 만들 수 있었으며, 비동기 소켓 프로그래밍을 통한 데이터를 주고 받는 처리를 경험할 수 있었다.

• file system을 이용하여 MetaData 저장하고 관리하는 방법을 공부할 수 있었다.

• 멀티 스레딩 환경에서 발생하는 data 일관성 문제를 겪게 되었고 이를 해결하기 위한 방법으로 ConcurrentHashMap을 사용하는 등 멀티 스레딩 환경 이슈를 해결해 볼 수 있었다.

• 개발을 위해 Component diagram, Class diagram, Sequential diagram 등 다이어그램을 먼저 작성하여 설계하는 것이 개발 시간을 더 단축시킬 수 있는 것을 깨닫게 되었다.

• git flow를 통해 feature 별로 branch를 생성하고 PR 작성 및 merge를 사용하여 프로젝트를 효율적으로 관리하는 방법에 대해서 배우게 되었다.