CONA BLOG

Druid quickstart - Updating existing data

코 나 — Fri, 28 Aug 2020 16:22:03 +0900

체크 record 선정

SELECT * FROM "sejong_bike"
WHERE bike_id LIKE 'SJ-0001' 
     AND user_id='junecy'
ORDER BY __time
LIMIT 1

#1 .csv 파일을 직접 vi로 수정하여 druid에 반영이 되었는지 확인

$ vi data_fn.csv

# 1번 record station_rental_id = 0101로 변경

반영 안되는 것 확인

#2. druid에 record ingestion 후 druid에 반영이 되었는지 확인

Updating existing data

This spec creates a datasource called updates-tutorial from the quickstart/tutorial/updates-data.json input file.

{
  "type" : "index_parallel",
  "spec" : {
    "dataSchema" : {
      "dataSource" : "updates-tutorial",
      "timestampSpec": {
        "column": "timestamp",
        "format": "iso"
      },
      "dimensionsSpec" : {
        "dimensions" : [
          "animal"
        ]
      },
      "metricsSpec" : [
        { "type" : "count", "name" : "count" },
        { "type" : "longSum", "name" : "number", "fieldName" : "number" }
      ],
      "granularitySpec" : {
        "type" : "uniform",
        "segmentGranularity" : "week",
        "queryGranularity" : "minute",
        "intervals" : ["2018-01-01/2018-01-03"],
        "rollup" : true
      }
    },
    "ioConfig" : {
      "type" : "index_parallel",
      "inputSource" : {
        "type" : "local",
        "baseDir" : "quickstart/tutorial",
        "filter" : "updates-data2.json"
      },
      "inputFormat" : {
        "type" : "json"
      },
      "appendToExisting" : false
    },
    "tuningConfig" : {
      "type" : "index_parallel",
      "maxRowsPerSegment" : 5000000,
      "maxRowsInMemory" : 25000
    }
  }
}

bin/post-index-task --file quickstart/tutorial/updates-init-index.json --url http://localhost:8081

druid console에서 확인

CentOS 8의 가상 하드디스크 용량 증가

코 나 — Tue, 25 Aug 2020 10:20:06 +0900

error

에러 발생 스크린샷

Superset의 대시보드에 접근할 수 없는 이슈

sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) unable to open database file

Superset 데이터베이스에 열(Column)을 생성하다가 에러 발생

해결방법

1. superset 재설치

$ pip uninstall superset

재설치 시도 중 root 용량 부족으로 error 발생

2. CentOS 8의 가상 하드디스크 용량 증가시키기

# 먼저, 디스크가 LVM 형태로 구성되어 있는지 확인
$ df -h

# 파일 시스템 경로 복사 & 마운트 포인트와 포맷 형식 확인
$ mount | grep /dev/mapper/cl-root

# 마운트한 디스크 형태 확인
$ fdisk -l

# fdisk에서 디스크의 파티션을 설정한 뒤 디스크 타입을 Linux LVM으로 변경 후 저장
$ fdisk /dev/sda

# n -> p -> 1 -> enter -> enter -> t -> 8e -> w 순으로 입력

# 위에서 파티셔닝된 디스크 물리 볼륨으로 선언
$ pvcreate /dev/sdb

# 정상적으로 선언되었는지 확인
$ pvscan

# 볼륨 그룹 구성 확인 (이미 추가가 된 상태라 용량이 크게 나옴)
$ vgdisplay

# root 디스크가 위치한 볼륨 그룹에 root 디스크를 증설하기 위해 디스크 추가
$ vgextend centos /dev/sdb

# 잘 추가되었는지 확인
$ vgdisplay

# 논리 볼륨에 해당 디스크의 남은 공간 추가 (여기서 추가해도 실제 용량에 정상 작용 X)
$ lvextend /dev/cl/root -l +25599

# xfs_growfs를 통해 resize 실행
$ xfs_growfs /dev/cl/root

# resize 확인
$ df -h

3. 결과

참고

https://blog.naver.com/PostView.nhn?blogId=ncloud24&logNo=221872224147&parentCategoryNo=&categoryNo=79&viewDate=&isShowPopularPosts=false&from=postView

[CentOS] LVM으로 구성된 ROOT 디스크 확장

테스트 환경CentOS 7.6 64bit사용 방안- 만약 ROOT 디스크 용량이 부족한 경우 다른 디스크를 추...

blog.naver.com

Druid Quickstart

코 나 — Fri, 21 Aug 2020 18:02:38 +0900

1. local disk와 연결

Base directory : quickstart/tutorial/
file filter : wikiticker-2015-09-12-sampled.json.gz

입력 후 데이터 확인하고 [Next: Parse data] 클릭

2. parse data 확인

input format은 json

[Next: Parse time] 클릭

3. parse time 확인

확인 후 configure schema까지 skip

4. configure schema에서 rollup 세팅

5. segment granularity 'day' 로 설정

[Next: Tune] -> [Next: Publish] 클릭

6. spec 확인

[Submit] 클릭

data ingestion이 Running -> Success로 변하면 상단 메뉴바의 [datasources] -> 오른쪽 랜치모양 아이콘 클릭

7. [query with SQL] -> 쿼리문 작성 -> [run]

아래에서 쿼리에 대한 결과를 확인할 수 있다

How to install Druid 0.19.0 on Cent OS 8

코 나 — Fri, 21 Aug 2020 17:40:11 +0900

# 파일 다운로드
$ wget [http://mirror.navercorp.com/apache/druid/0.19.0/apache-druid-0.19.0-bin.tar.gz](http://mirror.navercorp.com/apache/druid/0.19.0/apache-druid-0.19.0-bin.tar.gz)

# 압축 해제
$ tar -xzf apache-druid-0.19.0-bin.tar.gz
$ cd apache-druid-0.19.0

# druid 실행 (druid 폴더에서 명령어 실행)
$ ./bin/start-micro-quickstart

참고

https://druid.apache.org/docs/latest/operations/single-server.html#nano-quickstart-1-cpu-4gb-ram

Single server deployment · Apache Druid

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb5 in position 0: invalid start byte

코 나 — Tue, 11 Aug 2020 09:39:15 +0900

encoding 추가해서 해결

data=pd.read_csv('./bikedata_test.csv', encoding="unicode_escape")
data

[MacOS] pip3 -V이 python2.7대로 뜨는 에러

코 나 — Mon, 10 Aug 2020 17:19:47 +0900

pip이 자꾸 python2.7 버전을 경로로 잡는 문제

$ python3 -m pip install -U --force-reinstall pip

터미널에 명령어 입력

pip python 경로 변경 성공

내 컴퓨터에서 원격서버로 파일 옮기기 filezilla

코 나 — Mon, 10 Aug 2020 15:55:35 +0900

filezilla download

https://filezilla.softonic.kr/mac

FileZilla

안전하고 빠른 FTP 전송

filezilla.softonic.kr

파일 옮기기

호스트 : <ip address>
사용자명 : <user>
비밀번호 : <pwd>
포트 : <port>

입력한 후에 빠른 연결 클릭 -> 로컬사이트에서 리모트사이트로 원하는 파일을 업로드

전송성공

Superset에서 Druid database 사용하기

코 나 — Mon, 10 Aug 2020 15:20:05 +0900

Druid와 Superset 연결

From the UI, enter the information about your clusters in the Sources -> Druid Clusters menu by hitting the + sign.
Once the Druid cluster connection information is entered, hit the Sources -> Refresh Druid Metadata menu item to populate
Navigate to your datasources

pydruid 설치

# superset에서 druid 사용하려면 설치 필수!
$ pip install pydruid

sources -> database -> +new 버튼 클릭

SQLAlchemy URI에 druid://XX.XX:8082/druid/v2/sql/

druid://<ip address>:8888/druid/v2/sql/

Allow Csv Upload, Allow CREATE TABLE AS, Allow DML 체크박스

Extra 옵션에서 아래와 같이 AUTOCOMMIT을 설정 => DB 작업 바로 반영 (에러발생)

"engine_params": {"isolation_level":"AUTOCOMMIT"},

Backend에 druid 확인 -> 연결 완료

Superset에서 Druid database SQL문 실행해보기

SQL Lab 클릭 -> SQL Editor 클릭 -> 원하는 쿼리문 작성

참고

https://docs.ncloud.com/ko/das/das-1-2.html

설명서

Superset 시작하기 패키지를 만든 후 최초 1회는 Superset 서버에 접속해서 제공된 스크립트를 실행하여 Superset 관리자 계정과 필요한 테이블과 대시보드 등을 생성하고 필요한 초기 설정 작업을 수��

docs.ncloud.com

How to install Superset on CentOS 8 (linux)

코 나 — Mon, 10 Aug 2020 10:38:41 +0900

Superset 설치

pip3를 사용하여 superset을 설치해야 하므로 이전 포스팅의 pip3 업데이트를 진행 후 시작~!

2020/08/10 - [linux] - Linux python path설정 & pip3 업데이트

# Install superset
$ sudo pip install apache-superset

# Initialize the database
superset db upgrade

Admin user 생성

# Create an admin user (you will be prompted to set a username, first and last name before setting a password)
$ export FLASK_APP=superset

# admin user 생성
$ superset fab create-admin

load 데이터

# Load some data to play with
$ superset load_examples

# Create default roles and permissions
$ superset init

웹으로 확인하기

# To start a development web server on port 8088, use -p to bind to another port
$ superset run -p 8088 --with-threads --reload --debugger

만약, 서버에 붙어서 개발 중이라면 모든 ip 허용시키고 접근 (보안문제로 내부에서 테스트 할 때만 사용 권장)

$ superset run -h 0.0.0.0 -p 8088 --reload --debugger --with-threads

web화면

create admin에서 설정한 username과 password 사용

load 데이터로 시각화

참고

https://superset.apache.org/installation.html#superset-installation-and-initialization

Installation & Configuration — Apache Superset documentation

Getting Started Superset has deprecated support for Python 2.* and supports only ~=3.6 to take advantage of the newer Python features and reduce the burden of supporting previous versions. We run our test suite against 3.6, but 3.7 is fully supported as we

superset.apache.org

Linux python path설정 & pip3 업데이트

코 나 — Mon, 10 Aug 2020 10:14:29 +0900

# python3 업데이트
$ sudo yum list python3
$ sudo yum install python3 -y

# 파이썬 패키지 설치
$ sudo pip3 install cchardet==1.0.0
$ sudo pip3 install --upgrade setuptools

# PATH 설정
$ sudo su
$ vi ~/.bashrc

# alias python=python3
# alias pip=pip3

# 변경된 환경변수 적용
$ sudo source ~/.bashrc

# 파이썬, pip 버전확인
$ sudo python -V
$ sudo pip -V

bashrc 파일 수정

참고

https://medium.com/@sungmok.sohn/aws%EC%97%90%EC%84%9C-apache-superset%EC%9C%BC%EB%A1%9C-bi-%EA%B5%AC%EC%B6%95%ED%95%98%EA%B8%B0-1-ca12ad74b31b

AWS에서 Apache Superset으로 BI 구축하기(1)

비즈니스 인텔리전스 (Business Intelligence, BI) 개발이 필요하다면 Superset 을 추천합니다. Superset은 Python 기반으로 개발된 web 어플리케이션입니다. GUI로 차트 및 대시보드를 간편하게 관리할 수 있는�

medium.com