잡동사니 IT 블로그

  • 홈
  • 태그
  • 방명록

Kafka 2

Apache Flume Custom Sink 구현

참고 페이지 : www.programmersought.com/article/4050422971/ Flume Custom Sink—implements splitting files by day or hour and compressing them - Programmer Sought Writing is not easy, please indicate: http://shihlei.iteye.com/blog/2306151 Project needs: Flume collects logs, expects to drop the file system, split by hour, and compress and save. Flume's own File Roll Sink can only split files by time, not..

개발/Apache Flume 2021.01.22

Flume Spooldir Source -> Avro Sink -> Avro Source -> Kafka Sink 설정

- 개요 A, B 서버가 있고, A서버는 특정 디렉토리를 Polling하여 B서버에 전송하고, B서버는 A서버가 보낸 데이터를 Kafka로 전송 1. Spooldir Source -> Avro Sink # Components Agent.sources = spool_source Agent.channels = memory_channel Agent.sinks = avro_sink # Spool Source Agent.sources.spool_source.type = spooldir Agent.sources.spool_source.deserializer = org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder Agent.sources.spool_sourc..

개발/Apache Flume 2020.10.28
이전
1
다음
더보기
프로필사진

잡동사니 IT 블로그

  • 분류 전체보기
    • 개발
      • Apache Flume
      • Docker
      • Apache Zeppelin
    • 기타

Tag

spooldir, Apache Zeppelin, 플룸, 비동기, jobmanager, webflux, Flume, STS, docker, 빅데이터, zeppelin, 커스텀 싱크, Custom Sink, Apache Flume, 도커, Kafka, 아파치 제플린, 제플린, 플럼, apache kafka,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바