CONA BLOG

Druid와 Superset 연결

• From the UI, enter the information about your clusters in the Sources -> Druid Clusters menu by hitting the + sign.
• Once the Druid cluster connection information is entered, hit the Sources -> Refresh Druid Metadata menu item to populate
• Navigate to your datasources

• pydruid 설치

# superset에서 druid 사용하려면 설치 필수!
$ pip install pydruid

• sources -> database -> +new 버튼 클릭

• SQLAlchemy URI에  druid://XX.XX:8082/druid/v2/sql/

druid://<ip address>:8888/druid/v2/sql/

• Allow Csv Upload, Allow CREATE TABLE AS, Allow DML 체크박스

• Extra 옵션에서 아래와 같이 AUTOCOMMIT을 설정 => DB 작업 바로 반영 (에러발생)

"engine_params": {"isolation_level":"AUTOCOMMIT"},

• Backend에  druid 확인 -> 연결 완료

Superset에서 Druid database SQL문 실행해보기

SQL Lab 클릭 -> SQL Editor 클릭 -> 원하는 쿼리문 작성

참고

https://docs.ncloud.com/ko/das/das-1-2.html

Superset 설치

pip3를 사용하여 superset을 설치해야 하므로 이전 포스팅의 pip3 업데이트를 진행 후 시작~!

2020/08/10 - [linux] - Linux python path설정 & pip3 업데이트

# Install superset
$ sudo pip install apache-superset

# Initialize the database
superset db upgrade

Admin user 생성

# Create an admin user (you will be prompted to set a username, first and last name before setting a password)
$ export FLASK_APP=superset

# admin user 생성
$ superset fab create-admin

load 데이터

# Load some data to play with
$ superset load_examples

# Create default roles and permissions
$ superset init

웹으로 확인하기

# To start a development web server on port 8088, use -p to bind to another port
$ superset run -p 8088 --with-threads --reload --debugger

만약, 서버에 붙어서 개발 중이라면 모든 ip 허용시키고 접근 (보안문제로 내부에서 테스트 할 때만 사용 권장)

$ superset run -h 0.0.0.0 -p 8088 --reload --debugger --with-threads

create admin에서 설정한 username과 password 사용

load 데이터로 시각화

참고

https://superset.apache.org/installation.html#superset-installation-and-initialization

# python3 업데이트
$ sudo yum list python3
$ sudo yum install python3 -y

# 파이썬 패키지 설치
$ sudo pip3 install cchardet==1.0.0
$ sudo pip3 install --upgrade setuptools

# PATH 설정
$ sudo su
$ vi ~/.bashrc

# alias python=python3
# alias pip=pip3

# 변경된 환경변수 적용
$ sudo source ~/.bashrc

# 파이썬, pip 버전확인
$ sudo python -V
$ sudo pip -V

참고

https://medium.com/@sungmok.sohn/aws%EC%97%90%EC%84%9C-apache-superset%EC%9C%BC%EB%A1%9C-bi-%EA%B5%AC%EC%B6%95%ED%95%98%EA%B8%B0-1-ca12ad74b31b

$ npm install -g ganache-cli

> scrypt@6.0.3 preinstall /usr/local/lib/node_modules/ganache-cli/node_modules/scrypt
> node node-scrypt-preinstall.js

npm ERR! code EEXIST
npm ERR! syscall symlink
npm ERR! path ../lib/node_modules/ganache-cli/cli.js
npm ERR! dest /usr/local/bin/ganache-cli
npm ERR! errno -17
npm ERR! EEXIST: file already exists, symlink '../lib/node_modules/ganache-cli/cli.js' -> '/usr/local/bin/ganache-cli'
npm ERR! File exists: /usr/local/bin/ganache-cli
npm ERR! Remove the existing file and try again, or run npm
npm ERR! with --force to overwrite files recklessly.

npm ERR! A complete log of this run can be found in:
npm ERR!     /Users/cona/.npm/_logs/2020-08-06T08_10_10_302Z-debug.log

node 버전이 높으면 호환이 안되는 것 확인 (컴파일 에러까지 이어짐)

해결방법

노드 버전 문제라고 판단해 버전 다운그레이드 진행

# node version manager 다운로드
$ brew install nvm

다운로드 진행 이후에 뜨는 내용 따라 진행 (Dapp 진행은 12 버전 추천)

$ nvm ls

# node 12.14.1 설치
$ nvm install 12.14.1

# 12.14.1로 바뀌었나 확인
$ node -v

# 다른 버전을 사용하고 싶다면 use 사용
$ nvm use 노드버전

참고

https://gist.github.com/falsy/8aa42ae311a9adb50e2ca7d8702c9af1

druid.host 변경

$ vim conf/druid/single-server/nano-quickstart/_common/common.runtime.properties

<ip address>:8888 접속 에러페이지가 안뜨는 오류 해결

원인 - CentOS 8의 방화벽 running으로 인해 외부 접속을 차단하여 페이지 접속 불가능

$ firewall-cmd --state 

# running 이면 방화벽 중단 
$ systemctl stop firewalld

http://<ip address>:8888

참고

드루이드 라우터 설정 - https://druid.apache.org/docs/latest/design/router.html

druid configuration _common -  http://druidio.cn/docs/0.9.0/configuration/index.html

CentOS 8에 Vim 설치

$ sudo dnf search vim
$ sudo dnf info vim-minimal
$ sudo dnf info vim-enhanced
$ yum install vim-enhanced

사용방법

$ vim filename
$ vim /path/to/file
$ vim [options] my-code.sh

참고

https://www.cyberciti.biz/faq/how-to-install-vim-on-centos-8-using-dnf-yum/