Posts
2 postsHive를 통한 HDFS접속(R->Hive->HDFS)
library(rJava)library(RJDBC)library(DBI) Sys.setenv("HADOOP_CMD"="/usr/hdp/2.3.2.0-2950/hadoop/bin/hadoop")Sys.setenv("HADOOP_HOME"="/usr/hdp/2.3.2.0-2950/hadoop")Sys.setenv("HADOOP_PREFIX"="/usr/hdp/2.3.2.0-2950/hadoop")Sys.setenv("HADOOP_CONF_DIR"="/usr/hdp/2.3.2.0-2950/hadoop/conf")Sys.setenv("HIVE_HOME"="/usr/hdp/current/hive-client/lib") options( java.parameters = "-Xmx8g" ) # 데이터 용량에 따라 변경
HDFS NFS gateway 사용하기
hadoop을 사용하다보면 상당히 많고 큰 용량의 파일이 등록된다. 파일을 hadoop명령을 통하여 등록할 수 있지만 상당히 느리고 명령을 실행하는게 귀찮은 일이다. 이때 NFS Gateway를 이용하면 cp명령으로 쉽게 파일을 등록할 수 있다.FUSE(Filesystem in Userspace)를 통한 마운트 방식도있는데 좀 복잡하다. 아래는 환경 구축 절차이다. 1. 기존 서비스 중지# service nfs stop (yum -y install nfs-utils)# service rpcbind stop (yum -y install rpcbind)portmap도 없으면 설치(yum -y install portmap) 2. portmap 서비스 실행# hdfs start portmap 3. nfsd
