반응형 개발 지식/Kafka 반응형 5 [Kafka] 카프카는 어떻게 구성 되어 있는가 (feat. 디자인) 최근 국내외 많은 서비스들이 MSA(Micro Service Architecture)를 설계하면서 Kafka를 도입하고 있습니다. MSA에서의 동기성 데이터 처리는 API를, 대용량의 비동기 데이터 처리 시에는 Kafka를 활용하고 있습니다. 또한 Kafka는 Producer와 Consumer 단순히 데이터 파이프 라인 흐름 뿐만 아니라 ksql, Kafka Streams 그리고 하둡등 3rd Party 빅데이터 플랫폼 연동을 통해 그 확장성이 커지고 있습니다. 1) Kafka의 도입 배경 Kafka는 2011년 LinkedIn에서 처음 출발... (생략) ... Kafka가 도입 배경은 크게 두가지 이유가 있습니다. 실시간 트랜잭션 처리와 비동기 처리가 동시에 이루어지지만 통합된 전송 영역이 없었다. .. 2022. 5. 24. [Kafka] 카프카 스트림즈(Kafka Streams) API 카프카는 대규모 메시지를 저장하고 빠르게 처리하기 위해서 개발되었지만 일련의 연속된 메시지인 스트림을 처리 하는데도 점차 사용 되었다. 이번 글에서는 카프카에서 제공하고 있는 스트림 API를 통해 스트림을 처리하는 방법에 대해 정리해보고자 한다. 1. Stream Processing and Batch Processing Stream Processing은 데이터 흐름에 따라 처리 즉 데이터가 분석 시스템이나 프로그램에 도달하자 마자 처리하기 때문에 실시간 분석이라고 하며 Batch Processing은 이미 저장된 된 데이터를 기반으로 분석이나 질의를 수행하고 특정 시간에 처리하는 특징이 있다. Stream Processing의 장점은 다음과 같이 이야기 할 수 있다. - 이벤트에 즉각적으로 반응한다. 이.. 2021. 11. 24. [Kafka] kafka 토픽 생성, 메시지 Producer 및 Consumer - 02 (Mac) 2장 첫번째 블로그에서 Docker 컨테이너에 Kafka와 zookeeper에 대한 환경설정을 진행하고 Run까지 진행하였다. 이번 장에서는 카프카 토픽을 주고 받을 수 있는 가장 기본적인 설정을 진행 했으니 TOPIC을 생성하고 메시지를 보내보는 것까지 실습하고자 한다. 우선 Docker 컨테이너에 정상적으로 Kafka와 zookeeper가 돌아가고 있는 지 확인해보자. % docker ps -a er-kafka와 er-zookeeper라는 이름으로 현재 컨테이너가 실행되는 것을 확인 할 수 있다. 이제 설치는 완료 되었고 컨테이너가 정상적으로 돌아가는 것 또한 확인했다. 카프카 및 주키퍼 서버를 Start하고 Topic을 생성 그리고 메시지를 주고 받기 위해서 컨테이너로 접속을 해보자. % docke.. 2021. 11. 4. [Kafka] kafka 설치 및 실습 - 01 (Mac) 이번 2장은 실제 Kafka를 설치해보는 것을 정리해보려한다. 내가 참고하는 책에서는 Linux Ubuntu 기반의 설치 및 실습을 진행하는데 나에게는 Macbook이라는 훌륭한 개발 머신이 있기 때문에 Macbook에서 설치 및 실습을 하고자 한다. 추가로 Docker를 활용하여 컨테이너에 kafka를 설치하고 실습을 진행해보고자 한다. 후에 Docker는 정리하고자 한다. Docker를 활용한다고 했으므로 Docker부터 설치해보자. https://www.docker.com/products/docker-desktop Docker Desktop for Mac and Windows | Docker Learn why Docker Desktop is the preferred choice for million.. 2021. 10. 27. [Kafka] 카프카란 무엇인가 실무 프로젝트에서 MSA 아키텍처를 활용하여 진행되고 있다. 비동기방식으로 Apache Kafka를 채택하여 개발을 하고 있는데 Kafka를 단순히 메시지를 주고 받고 DTO에 매핑하여 DB에 저장이 아닌 Kafka에 대해 좀 자세히 알고 싶어 카프카 책을 구입했고 이를 정리하고자 한다. https://digital.kyobobook.co.kr/digital/ebook/ebookDetail.ink?selectedLargeCategory=001&barcode=4801196203727&orderClick=LEH&Kc= 카프카, 데이터 플랫폼의 최강자 데이터 플랫폼의 핵심 컴포넌트로 각광받고 있는, 이벤트 기반 비동기 아키텍처를 위한 고가용성 실시간 분산 스트리밍 솔루션 카프카(Kafka)의 모든 것! 국내 .. 2021. 10. 21. 이전 1 다음
