잡동사니 IT 블로그

흔히 개발을 건축에 비유하는 경우가 많은데 개발자가 되고 나서 3년간 벽돌 나르는 법은 배웠지만 벽돌을 어떻게 쌓을 지가 개발자로서의 다음 관문인것같은 느낌이 듭니다. 숙련도의 차이는 있지만 벽돌을 나르는것은 누구나 할 수 있기에, 이 벽돌을 가지고 어떤 건물을 만들지를 공부하기 위해 다른 회사로 이직을 준비중입니다.

- 비동기/동기? 동기 : 이전 작업이 끝나기 전엔 다음 작업 실행 불가 비동기 : 이전 작업이 끝나기 전에 다음 작업 실행 가능 - 서버가 동기/비동기? 동기 : 하나의 요청을 하나의 쓰레드에 할당 비동기 : 여러 개의 요청을 여러 개의 쓰레드에서 작업 - 예시 1. 동기 서버의 경우 - 쓰레드풀에 8개의 쓰레드를 할당하였다고 가정하고, 하나의 요청에 대한 응답 시간이 1분이 걸린다고 하였을 때 1분 내에 8개의 요청이 오게 되면, 쓰레드풀이 꽉 차서 더 이상 요청을 받을 수 없는 상태(Thread pool hell?이라고 부르는듯)가 됨 2. 비동기 서버의 경우 - 쓰레드풀의 개수에 상관없이, 하나의 쓰레드가 여러 개의 요청을 처리하기 때문에 각 요청에 걸리는 시간은 늘어날 수 있지만, 동기 서버와 ..

참고 페이지 : www.programmersought.com/article/4050422971/ Flume Custom Sink—implements splitting files by day or hour and compressing them - Programmer Sought Writing is not easy, please indicate: http://shihlei.iteye.com/blog/2306151 Project needs: Flume collects logs, expects to drop the file system, split by hour, and compress and save. Flume's own File Roll Sink can only split files by time, not..

/제플린 설치 폴더/conf/zeppelin-site.xml 열기 ('zeppelin-site.xml.templete' 만 있으면 'cp zeppelin-site.xml.templete zeppelin-site.xml' 명령어로 복사 후 수정) 1. zeppelin.notebook.cron.enable 찾아서 true로 변경 2. 바로 아래 zeppelin.notebook.cron.folders /로 변경 3. zeppelin.jobmanager.enable 찾아서 true로 변경 ※중요※ 해당 cron 설정은 로 주석처리 되어있으므로 주석을 해제해주어야 함 설정 변경 후 제플린 재시작

현상 : STS/Eclipse가 jre를 통해서 실행되어 특정 jar(tools.jar)가 없다고 경고창이 출력됨 원인 : jre의 PATH가 C:\Windows\system32에 저장되어 이후에 jdk의 JAVA_HOME을 추가하여도 지속적으로 jre를 사용하여 STS/Eclipse가 열리게 됨 qastack.kr/superuser/262757/changing-current-version-of-java-within-windows Windows에서 Java의 현재 버전 변경 qastack.kr 해결 : 시작 > 시스템 환경 변수 편집 검색 > 환경 변수 > 시스템 변수 > Path 찾아서 더블클릭 (JAVA_HOME이 설정되어 있어야 함)

현상 : javascript에서 paho mqtt 라이브러리 사용 시 해당 오류가 발생하여 연결이 되지 않는 현상 해결 : 정상적인 웹소켓 포트로 연결하여야 함.. 1883, 80포트 두 개를 사용중이었는데, 80번 포트에서 웹소켓 연결을 받을 수 있었지만 1883으로 연결을 시도하면 프로토콜이 잘못되어 오류가 나는 현상이 있었음

- 현상 : docker run --volume='root_dir:docker_dir' docker_image 이후 docker shell에 접근하여 ls 수행 시 'ls: cannot open directory '.': Permission denied' 출력 - 원인 : docker 내부에서 root directory에 접근할 권한이 없음 - 해결 : 상당수는 --privileged=true 옵션을 사용하면 해결되었다고는 하지만, 보안 문제가 있을 수 있다고 하여 다른 방법을 찾아봄 stackoverflow.com/questions/24288616/permission-denied-on-accessing-host-directory-in-docker Permission denied on accessing ..

- 개요 A, B 서버가 있고, A서버는 특정 디렉토리를 Polling하여 B서버에 전송하고, B서버는 A서버가 보낸 데이터를 Kafka로 전송 1. Spooldir Source -> Avro Sink # Components Agent.sources = spool_source Agent.channels = memory_channel Agent.sinks = avro_sink # Spool Source Agent.sources.spool_source.type = spooldir Agent.sources.spool_source.deserializer = org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder Agent.sources.spool_sourc..

- 현상 : Flume 프로세스 자체는 동작중이라고 표시되지만 spooling 중인 폴더에서 파일이 delete 혹은 complete 처리 되지 않는 현상 - 로그 : $FLUME_HOME/logs/flume.log를 확인해보면 java.lang.IllegalStateException: File has changed size since being read 가 출력되고, spooling 하는 thread 로그가 더이상 출력되지 않음 - 원인 : 파일을 쓰는 프로그램과 Flume이 동시에 동작하면서, Flume이 파일을 spool 하는 도중에 파일 크기가 변경되어 spool thread가 중지됨 - 해결 (flume.apache.org/FlumeUserGuide.html#spooling-directory-s..