Kafka란 LinkdIn에서 처음 개발된 분산 메시징 시스템으로써 현재는 Confluent에서 개발되고 있다. Kafka는 데이터 파이프라인을 구축할 때 가장 많이 사용 되는 시스템이고 RabiitMQ와 비교가 많이 되지만 성능의 효율이 더 좋다. Kafka는 다음과 같은 특성을 갖는다. 1) Publish, Subscribe (발행/구독) Pub-Sub은 메세지를 직접 생산하고 소비자를 결정하는 관계가 아니다. Publisher는 Topic 을 통해서 메세지를 생산하는 일만 담당하며, Consumer는 Topic을 통해 메세지를 소비만 한다. 즉 Publisher, Consumer는 서로 직접적으로 연결되어 있지 않다. 2) File 시스템 저장 메세지를 메모리 큐에 저장하는 방법 대신 File 시스..
