개발 공부 기록

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 섹션 6을 수강하고 이를 참고해 작성했습니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com 멀티스레드 컨슈머 애플리케이션카프카는 처리량을 늘리기 위해 파티션과 컨슈머 개수를 늘려서 운영할 수 있다. 보통 컨슈머와 스레드를 일대일 대응시킨다.컨슈머 그룹 A: 특정 프로세스에 장애가 발생해도 프로세스가 모두 분리되어 있으므로 서로 영향을 주지 않아 격리 처리가 가능( 더 자주 쓰인..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 섹션 6을 수강하고 이를 참고해 작성했습니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com 카프카 컨슈머 개요 프로듀서가 전송한 데이터는 카프카 브로커에 적재된다. 컨슈머는 적재된 데이터를 사용하기 위해 브로커로부터 데이터를 가져와서 필요한 처리를 한다.  컨슈머 내부 구조- Fetcher 리더 파티션으로부터 레코드들을 배치로 미리 가져와서 대기한다. - Poll()Fetche..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 5를 수강하고 이를 참고해 작성했습니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com 프로듀서 애플리케이션 개발0. 사용 환경- IntelliJ IDEA - JAVA 11- Gradle 1. build.gradle 파일 설정plugins { id 'java'}group = 'org.example'version = '1.0-SNAPSHOT'repositories { ..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 5를 수강하고 이를 참고해 작성했습니다. [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com카프카 프로듀서 개요프로듀서는 카프카에서 데이터의 시작점이다. 프로듀서 애플리케이션은 카프카에 필요한 데이터를 선언하고 특정 토픽의 파티션에 전송한다. 프로듀서는 데이터를 전송할 때 리더 파이션을 가지고 있는 카프카 브로커와 직접 통신한다. - 리더 파티션: 프로듀서, 컨슈머와 직접 통신하..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 4를 수강하고 이를 참고해 작성했습니다.  [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com * 이전 포스팅: 로컬 카프카 실행 방법 - 섹션 4-1 포스팅 [Apache Kafka] 로컬 카프카 설치 및 실행 방법 | 주키퍼 실행 | 정상 실행 확인 방법 | 섹션 4-1 | 스터*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 4를 수강하고 이를 참고해..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 3을 수강하고 이를 참고해 작성했습니다.  [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com  1. 운영 방법에 따른 서비스 형태들- 온프레미스(on-premise): 사용자가 자체적으로 보유한 전산실 서버에 직접 설치해 운영한다. 기업 상황에 맞게 HW 커스터마이징이 가능하고, 초기 도입 비용 및 유지 보수 비용이 발생한다.- IaaS(Infrastructure-as-a-Se..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 프로그래밍 강의 세션 4를 수강하고 이를 참고해 작성했습니다.  [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com 1. 실습 준비 - 예제 코드 다운로드  GitHub - bjpublic/apache-kafka-with-java: 아파치 카프카 애플리케이션 프로그래밍 with 자바아파치 카프카 애플리케이션 프로그래밍 with 자바. Contribute to bjpublic/apache-kafka-w..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 애플리케이션 프로그래밍 강의 섹션 1,2를 수강하고 이를 참고해 작성했습니다.  [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.com 섹션 1 : 아파치 카프카의 역사와 미래#1 아파치 카프카의 탄생링크드인(LinkedIn)에서 데이터 파이프라인의 파편화를 개선하기 위해 개발한 시스템이다. 카프카는 각각의 애플리케이션끼리 연결하여 데이터를 처리하는 것이 아닌 한 곳에 모아 처리할 수 있도록 중앙집중화했..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 for beginners 강의 세션 1,2를 수강하고 이를 참고해 작성했습니다.  [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! |데브원영 DVWY | 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고www.inflearn.comKafka Producer Application- 카프카 프로듀서는 토픽에 데이터를 퍼블리시 생성하는 역할을 한다. - 카프카 브로커로 데이터 전송 시 전송 성공 여부를 알 수 있고, 실패 시 재시도도 가능하다.   Kafka Producer Application 코드 ..

*본 포스팅은 인프런 [데브원영]님의 아파치 카프카 for beginners 강의 세션 0을 수강하고 이를 참고해 작성했습니다. Apache Kafka LinkedIn에서 최초로 만들고 opensource화 한 확장성이 뛰어난 분산 메시지 큐(FIFO : First In First Out) → 분산 아키텍처 구성, Fault-tolerance 한 architecture(with zookeeper), 데이터 유실 방지를 위한 구성이 잘되어 있음 → AMQP, JMS API를 사용하지 않은 TCP기반 프로토콜 사용 → Pub / Sub 메시징 모델을 채용 → 읽기 / 쓰기 성능을 중시 → Producer가 Batch형태로 broker로 메시지 전송이 가능하여 속도 개선 → 파일 시스템에 메시지를 저장하므로,..