CONA BLOG

error

Superset의 대시보드에 접근할 수 없는 이슈

sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) unable to open database file

Superset 데이터베이스에 열(Column)을 생성하다가 에러 발생

해결방법

1. superset 재설치

$ pip uninstall superset

재설치 시도 중 root 용량 부족으로 error 발생

2. CentOS 8의 가상 하드디스크 용량 증가시키기

# 먼저, 디스크가 LVM 형태로 구성되어 있는지 확인
$ df -h

# 파일 시스템 경로 복사 & 마운트 포인트와 포맷 형식 확인
$ mount | grep /dev/mapper/cl-root

# 마운트한 디스크 형태 확인
$ fdisk -l

# fdisk에서 디스크의 파티션을 설정한 뒤 디스크 타입을 Linux LVM으로 변경 후 저장
$ fdisk /dev/sda

# n -> p -> 1 -> enter -> enter -> t -> 8e -> w 순으로 입력

# 위에서 파티셔닝된 디스크 물리 볼륨으로 선언
$ pvcreate /dev/sdb

# 정상적으로 선언되었는지 확인
$ pvscan

# 볼륨 그룹 구성 확인 (이미 추가가 된 상태라 용량이 크게 나옴)
$ vgdisplay

# root 디스크가 위치한 볼륨 그룹에 root 디스크를 증설하기 위해 디스크 추가
$ vgextend centos /dev/sdb

# 잘 추가되었는지 확인
$ vgdisplay

# 논리 볼륨에 해당 디스크의 남은 공간 추가 (여기서 추가해도 실제 용량에 정상 작용 X)
$ lvextend /dev/cl/root -l +25599

# xfs_growfs를 통해 resize 실행
$ xfs_growfs /dev/cl/root

# resize 확인
$ df -h

3. 결과

참고

https://blog.naver.com/PostView.nhn?blogId=ncloud24&logNo=221872224147&parentCategoryNo=&categoryNo=79&viewDate=&isShowPopularPosts=false&from=postView

# 파일 다운로드
$ wget [http://mirror.navercorp.com/apache/druid/0.19.0/apache-druid-0.19.0-bin.tar.gz](http://mirror.navercorp.com/apache/druid/0.19.0/apache-druid-0.19.0-bin.tar.gz)

# 압축 해제
$ tar -xzf apache-druid-0.19.0-bin.tar.gz
$ cd apache-druid-0.19.0

# druid 실행 (druid 폴더에서 명령어 실행)
$ ./bin/start-micro-quickstart

참고

https://druid.apache.org/docs/latest/operations/single-server.html#nano-quickstart-1-cpu-4gb-ram

# python3 업데이트
$ sudo yum list python3
$ sudo yum install python3 -y

# 파이썬 패키지 설치
$ sudo pip3 install cchardet==1.0.0
$ sudo pip3 install --upgrade setuptools

# PATH 설정
$ sudo su
$ vi ~/.bashrc

# alias python=python3
# alias pip=pip3

# 변경된 환경변수 적용
$ sudo source ~/.bashrc

# 파이썬, pip 버전확인
$ sudo python -V
$ sudo pip -V

참고

https://medium.com/@sungmok.sohn/aws%EC%97%90%EC%84%9C-apache-superset%EC%9C%BC%EB%A1%9C-bi-%EA%B5%AC%EC%B6%95%ED%95%98%EA%B8%B0-1-ca12ad74b31b

# gcc가 설치되어있나 확인
$ gcc --version

# 없으면 패키지 매니저 yum을 통해 install
$ yum install -y gcc

# wget으로 perl 다운로드 후 압축 해제
$ wget http://www.cpan.org/src/5.0/perl-5.24.1.tar.gz
$ tar xvf perl-5.24.1.tar.gz
$ cd perl-5.24.1

$ ./Configure -des -Dprefix=$HOME/localperl

$ yum install make

$ make test
$ make install

Java 8 설치

# centOS pakage manager 업데이트
$ yum -y update

# java 8 install
$ yum install java-1.8.0-openjdk

# 설치가 잘 되었는지 확인
$ java -version

 Java path 설정

# java 위치 확인
$ which javac
$ readlink -f /usr/bin/javac

# 출력된 결과에서 /bin/javac 떼고 나머지 경로 복사

$ update-alternatives --config java

# profile에 export JAVA_HOME에 아까 복사한 경로 추가
$ vi .bash_profile
// export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64

# 수정된 bash_profile 적용
$ source .bash_profile
$ echo $JAVA_HOME

구축환경

Ubuntu 18.04

python 3.7

# python3.x 버전이면 pip3 사용 / 2.x 버전이면 pip
$ pip3 install virtualenv


# 가상환경 이름 = pyvenv3.7,	버전 = 3.7
$ virtualenv pyvenv3.7 --python=python3.7


# 가상환경 실행
$ . pyvenv3.7/bin/activate


# 가상환경은 수동으로 종료할 때까지 돌아가기 때문에 필수로 종료해야 함
(pyvenv3.7)$ deactivate

참고

https://subinium.github.io/virtualenv/

Java 설치

$ sudo dnf install java-11-openjdk wget vim

Kafka 다운로드

$ wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz
$ tar xzf kafka_2.13-2.4.0.tgz
$ mv kafka_2.13-2.4.0 /usr/local/kafka

//root 아닐 경우에는 sudo mv kafka_2.13-2.4.0 /usr/local/kafka

Unit file Setting

Zookeeper

$ vim /etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Kafka

$ vim /etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

$ systemctl daemon-reload	//마무리

Kafka 실행

$ sudo systemctl start zookeeper	//zookeeper 시작
$ sudo systemctl start kafka		//kafka 시작
$ sudo systemctl status kafka		//kafka active 확인

오류발생

zookeeper 실행 안되는 현상으로 kafka까지 active fail

아래 명령어로 프로세스 조회

$ journalctl -xe