주요 구성 요소클러스터 (cluster) : 쿠버네티스의 가장 큰 단위. 서버들의 집합체 (마스터, 워커 노드의 집합)노드 (node) : 서버 자체를 의미.파드 (pod) : 하나 이상의 컨테이너로 이루어진 배포 가능한 애플리케이션 단위컨테이너 (container) : 쿠버네티스의 가장 작은 단위. 애플리케이션 그 자체 혹은 애플리케이션 동작에 필요한 기능을 구성 kubectl get pods --all-namespaces- default namespace 외의 모든 namespace를 보여줌 - namespace : 클러스터 내의 자원들을 그룹화하기 위한 논리적인 분리 단위 관리자 파드 배포 관련 마스터 노드 : 클러스터 중앙 컨트롤러 역할. 애플리케이션을 배포하고, 노드를 관리, 파드가 올바르게 실..
현재 개인 공부로 kubernetes 세팅부터 진행 중이다. EKS, GKE 같은 걸로 하면 쉽게 쿠버네티스 환경이 구축되지만, 생각보다 비용이 나와 해보고 싶은 걸 다 하긴 부담스럽다. 그래서 대학생 때 봤던 "컨테이너 인프라 환경 구축을 위한 쿠버네티스/도커" 책을 참고하여 복습 겸 이것저것 시도해보려 한다. https://m.yes24.com/Goods/Detail/102099414 컨테이너 인프라 환경 구축을 위한 쿠버네티스/도커 - 예스24실무에 바로 적용할 수 있는 컨테이너 인프라 환경 기술!IT 자원을 효율적으로 빠르게 사용할 수 있는 방법으로 컨테이너 환경이 거론되었으나 그동안 관리가 어렵고 복잡해서 상용되기 어려웠m.yes24.com 해당 책에는 CentOS 7을 이용해 vagrant로 ..
k8s한지 너무 오래되서 복습 겸 전에 봤던 책을 다시 보고 있다. 환경 구성부터 다시하고 있는데 vagrant로 centos vm 인스턴스 설치하는 도중 아래 에러가 발생해서 정리해본다. Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock error wascurl#6 - "Could not resolve host: mirrorlist.centos.org; Unknown error" 현재 사용 중인 vm이 centos7 버전으로 만든 건데, centos7이 EOS되어 발생하는 에러이다. 따라서 yum repo의 url을 아래와 같이 변경하면 된다. vagrant 기준으로, ..
Spring Kafka : 카프카를 스프링 프레임워크에서 효과적으로 사용할 수 있도록 만든 라이브러리 (ex. 컨슈머 멀티 스레드 환경 운영 시, concurrency 옵션 추가 등) spring kafka와 kafka client 버전은 아래와 같이 호환됨 spring kafka 2.A.x kafka client 2.A.y 최신 버전은 아래 페이지 참고 (kafka 3.x)https://spring.io/projects/spring-kafka Spring for Apache KafkaThe Spring for Apache Kafka (spring-kafka) project applies core Spring concepts to the development of Kafka-based messaging..
polars vs pandas 비교 테스트
사내에서 데이터 처리를 위해 pandas로 데이터 계산 및 csv 저장 등을 처리하고 있다. pandas가 이미 많이 발전된 라이브러리이지만, 기존 레거시 솔루션을 신규 프로젝트로 컨버팅하는 과정에서 병렬 처리, 비동기 요청에 대해 미지원 등의 이슈가 있어, 핵심적인 계산은 기존과 동일한 상태였다. (물론 컨버팅 과정에서 불필요한 로직 삭제, 불필요한 데이터 제거 등으로 최적화를 꽤 많이 시켰지만 아쉬움이 있는 상태였다.) 최근 kafka를 공부하다가 우연히 polars라는 pandas 대체 라이브러리를 알게 되어 간단히 테스트 결과를 정리하고자 한다. (polars 외에도 dask, modin 등의 pandas 대체 라이브러리 프로젝트가 많은 것도 알게 되었다. 하지만 기존 솔루션의 상황에 가장 적합..