kafka streams
kafka streams : 토픽의 데이터를 stateful, stateless로 실시간 변환하여 다른 토픽에 적재하는 라이브러리 - java 기반 streams 애플리케이션은 kafka 클러스터와 완벽하게 호환되며 (kafka에서 공식 제공하기 때문) 스트림 처리에 필요한 기능 (신규 토픽 생성, 상태 저장, 데이터 조인 등) 을 제공- kafka 클러스터 운영 시, 실시간 스트림 처리를 해야 하는 경우, streams 애플리케이션으로 개발하는 것이 1순위 streams 애플리케이션은 내부적으로 스레드를 1개 이상 생성하며, 스레드는 1개 이상의 태스크를 가짐 태스크(task) : streams 애플리케이션 실행 시 생기는 데이터 처리 최소 단위- streams는 병렬 처리를 위해 파티션과 strea..
메모/kafka
2025. 1. 7. 00:25