kafka-topics.sh 은 토픽 관리와 관련된 파일이다. (토픽 생성, 토픽 설정 변경 등) 토픽 : 카프카에서 데이터를 구분하는 가장 기본 개념 (RDBMS의 테이블과 유사한 기능) 토픽 생성 방법- 컨슈머, 프로듀서가 브로커에게 생성되지 않은 토픽에 대해 데이터를 요청할 때- 명시적으로 토픽을 생성(유지보수를 효과적으로 하기 위해 명시적으로 토픽을 생성하는 것을 추천) kafka-topics.sh과 kafka-configs.sh을 이용해 토픽 생성, 토픽 정보 조회, 토픽 설정 변경을 진행한다. 현재 간단히 테스트를 위해 모든 환경은 localhost를 대상으로만 동작하고, 브로커는 1개로 지정하였다. ./config/server.properties- broker.id=0- listeners..
일단 설치를 통해 돌아가는 지 간단히 테스트를 한 뒤, 개념적인 정리를 할 예정이다. 현재 보고 있는 책에서는 실습을 aws로 진행하지만, 나는 그냥 로컬에다 설치해서 테스트를 할 것이다. (이유 : 인스턴스 새로 만들기 귀찮 + 새로 이사한 집에 아직 인터넷 설치가 안 되서 핫스팟으로 계속 사용 중이라 ip 계속 변경)(security group에 any로 넣고 테스트해도 되지만, 핫스팟 자체가 끊길 때가 많아 그냥 로컬에 설치하기로 함) kafka install : https://kafka.apache.org/downloads Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.orgwget으로 아래와 같이 특정 버전을 다운..
회사에서 kafka를 이용해 개발 중인 서비스의 메시지 큐잉을 관리할 거 같다. (현재는 엔드 투 엔드 방식) kafka를 접해본 적이 없어 공부한 내용을 정리하고자 한다. 참고 문헌 : https://product.kyobobook.co.kr/detail/S000001842177 아파치 카프카 애플리케이션 프로그래밍 with 자바 | 최원영 - 교보문고아파치 카프카 애플리케이션 프로그래밍 with 자바 | 아파치 카프카 애플리케이션 개발을 위한 「실전 가이드」 아파치 카프카란 무엇일까? 카프카 애플리케이션은 어떻게 만들까? 데이터 파이product.kyobobook.co.kr 현재 kafka는 3.9 버전까지 릴리즈되어 있지만, 책 내용은 2.5 버전으로 설명이 되어 있었다. 버전 3과 버전 2의 ..
36진법 덧셈, 절대값 뺄셈, 곱셈
사내 시험에서 나왔다고 알려진 36진법 사칙연산을 구현해보았다. (나눗셈은 얘기가 없었다.) 덧셈 원리 : 맨 끝에서부터 더하면서 carry 있으면 carry 처리해준다. 뺄셈 원리 : 맨 끝에서부터 빼면서 마이너스 되는 경우, 앞 자리에서 base만큼 1개 빌려온다. (borrow)(진법 계산 시 음수 개념이 없어 절대값을 기준으로 뺄셈을 구현하였다.) 곱셈 원리 : 기본 곱셈은 덧셈과 비슷하게 맨 끝에서부터 곱하면서 carry 처리를 해주면된다. 하지만 이를 이용함과 동시에 카라츠바 빠른 곱셈을 적용하였다. 카라츠바 알고리즘 : 정석적인 곱셈은 O(n^2) 이지만, 카라츠바 알고리즘을 이용하면 O(n^1.5) 정도이다. 하지만 분할 정복 과정을 과도하게 사용하면 오히려 느려질 수 있으므로, 특정 ..
mojo는 python의 느린 성능 개선을 위해 진행중인 AI 용 프로그래밍 언어 프로젝트입니다. (Modular 사에서 개발 중)범용 언어이기 때문에 꼭 AI에만 써야할 거 같진 않고, python3와 호환되므로 현재 python을 이용하는 AI 이외의 웹개발 등에도 충분히 적용 가능해 보입니다. 다만 아직 공개된지 2년 정도된 프로젝트다 보니 당장 현업에서 쓰기에는 부담이 있어 보입니다. (아직 오픈소스 공개는 아니며, MAX라는 AI 모델 실행 패키지는 개인 개발용에서만 무료입니다.) mojo는 python3와 호환되지만, rust의 영향을 많이 받았다고 알려진만큼, rust 스타일의 코드 작성, python 스타일의 코드 작성을 지원합니다. 대표적으로 fn, def 함수 키워드가 있습니다. 그리고..