빅데이터 시대가 오면서, 사람들은 대용량의 데이터를 저장 및 처리할 수 있는 새로운 시스템의 필요를 느꼈습니다. 웹 로그 같은 비정형 데이터가 수없이 쌓이고 있는데, 이를 기존 RDBMS에 저장하기엔 상용 RDBMS (ex: Oracle)도  RDBMS를 설치할 스토리지도 매우 비쌌기 때문입니다. 이것을 해결하고자 나온 것이 바로 Hadoop입니다.

다음과 같은 명령어를 하나의 service로 작성하려 한다. java `cat conf-quickstart/druid/historical/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/*" io.druid.cli.Main server historical

Druid high-performance, column-oriented, distributed data store Quick Start 1. Prerequisites     * Java 8 or higher     * Linux, Mac OS X, or other Unix-like OS (Windows is

본 포스팅은 Cloudera Manager를 통한 HDFS, Spark, YARN, Hive 설치를 완료한 후 진행된 상황을 설명합니다. 주어진 물리 서버 환경에서 Spark, YARN, Hive의 configuration 내 주요 설정값들에 대한 설명을 하고, 이를 최적화하여 Spark job 효율을 최대화시키고자 합니다. 앞으로의 설명은 Cloudera