블루오션 [BLUE OCEAN]
Posts
44 posts
데이터스튜디오(시각화 도구)
구글에서 제공하는 시각화 도구이다.다양한 데이터 연동을 제공한다. [ 특징 ]- MySQL(MariaDB), PostgreSQL 등 JDBC를 지원하는 DBMS나 클라우드를 지원함- 아직 베타 버전임- 구글계정으로 로그인 후 사용할 수 있음- 구글독을 이용하여 구글드라이브에 등록된 문서를 호출하여 사용할 수 있음- 예제파일을 만들고 다른 사용자와 공유하여 사용할 수 있음- 분석 결과 항목 여러 개를 결합하여 보고서를 만들 수 있음- 사용법을 유튜브로 제공 함- 불러온 데이터 편집이 쉬움 사용하기 : https://datastudio.google.com/
데이터 정제 도구(SW) - OpenRefine
빅데이터를 분석하기 전에 대상 데이터를 정제하는 작업이 거의 필수로 들어간다.이런 작업을 지원하는 도구를 소개한다. [ 특징 ]- CVS, 엑셀, JSON, XML등 다양한 데이터 포맷 지원- 로컬, 원격(URL), Clipboard, 구글독 등 다양한 방식의 데이터 연동 지원- Python, ruby, node.js API지원 함- 처음에 구글에서 만들어졌음- 윈도우, 맥, 리눅스 엔진 지원 함- 로그인 기능 없음(모든 등록 데이터 공유)- 다양한 컬럼 편집 기능 사용 다운로드 및 설명 : http://openrefine.org/
PostgreSQL Python 모듈 설치 및 사용하기
[ pgsql라이브러리 설치 ]# rpm -Uvh install pgdg-centos95-9.5-2.noarch.rpm [ Python 모듈 설치 ]다운로드(python2.x 버전)http://initd.org/psycopg/tarballs/PSYCOPG-2-6/psycopg2-2.6.2.tar.gz압축 풀고 디렉토리로 들어가서...# python setup.py build# python setup.py install [ DB접속하기 ]https://wiki.postgresql.org/wiki/Psycopg2_Tutorial
Zeppelin에 Mariadb 연결하기
1. 우선 connector를 다운받자 https://mariadb.com/kb/en/mariadb/about-mariadb-connector-j/ 2. 다운받은 connector를 Zeppelin interpreter 디렉토리에 올린다. 나의 경우 Mariadb Interpreter group으로 jdbc를 선택했다. /usr/hdp/current/zeppelin-server/interpreter/jdbc/mariadb-java-client-1.5.5.jar 3. haddoop common파일 등록 위 동일한 interpreter/jdbc 디렉토리에 등록 한다. (이거 무시하면 아래 에러가 발생한다.) /usr/hdp/current/zeppelin-server/interpreter
R Studio에서 MariaDB 연결하기
MariaDB든 MySQL이든 항상 필요한것은 클라이언트 라이브러리다.아래 패키지를 설치 한다. # yum install MySQL-python# yum install mariadb-devel 이제 R Studio화면에서 R script를 만들어 다음 코드를 입력하면 끝. install.packages("DBI")install.packages("RMySQL", type = "source") library(RMySQL)con <- dbConnect(MySQL(), host = "127.0.0.1", dbname = "DATABASE_NAME", user = "DB_USER", password = "DB_PASSWD", port = 3306)dbListTables(con
