HDFS NFS gateway 사용하기
Post
원문 보기 →
HDFS NFS gateway 사용하기
hadoop을 사용하다보면 상당히 많고 큰 용량의 파일이 등록된다. 파일을 hadoop명령을 통하여 등록할 수 있지만 상당히 느리고 명령을 실행하는게 귀찮은 일이다. 이때 NFS Gateway를 이용하면 cp명령으로 쉽게 파일을 등록할 수 있다.FUSE(Filesystem in Userspace)를 통한 마운트 방식도있는데 좀 복잡하다. 아래는 환경 구축 절차이다. 1. 기존 서비스 중지# service nfs stop (yum -y install nfs-utils)# service rpcbind stop (yum -y install rpcbind)portmap도 없으면 설치(yum -y install portmap) 2. portmap 서비스 실행# hdfs start portmap 3. nfsd
Related Posts
3 posts데이터사이언스란? 빅데이터분석과 차이부터 국내 취업 현실까지
데이터사이언스와 빅데이터분석, 뭐가 다른지 물어보면 명확하게 설명할 수 있는 사람이 생각보다 많지 않습니다. 그냥 비슷한 말 아닌가? 하시는 분들도 많은데요. 근데 막상 직무를 알아면 이게 꽤 다른 이야기라는 걸 알게 됩니다. 채용 공고에 쓰인 직함도 다르고, 요구하는 기술 스택도 다르고, 실무에서 하는 일도 달라요. 데이터사이언스를 배우고 싶은 분들 중에 실제로 자신이 원하는 게 데이터사이언스인지, 빅데이터분석인지, 아니면 데이터분석인지 구분을 못 하는 경우가 꽤 있습니다. 방향을 잘못 잡으면 6개월 공부하고 나서 엉뚱한 포지션에 지원하게 될수도 있어요. 이번 포스팅에서는 데이터사이언스와 빅데이터분석의 뜻과 차.......
하둡 (Hadoop)이란? 대체 어디에 쓰이길래 빅데이터 하면 꼭 나올까?
하둡이 뭐냐고? 한마디로 말하면 "엄청 많은 데이터를 여러 대의 컴퓨터에 나눠 저장하고 동시에 처리하는 시스템"이다. 빅데이터라는 단어를 들어본 적 있다면 Hadoop은 거의 세트로 따라다닌다. 개발자만 알면 되는 기술이라고 생각하기 쉬운데 요즘은 마케터든 기획자든 데이터 흐름을 이해해야 할 일이 많아져서 기본 개념 정도는 알아두면 확실히 도움이 된다. 너무 깊이 들어가지 않고 핵심만 정리해 봤다. 1. 노란 코끼리의 탄생 2003년 구글이 자사 데이터 처리 방식을 논문으로 공개했다. 이걸 본 개발자 더그 커팅이 "우리도 이런 걸 오픈소스로 만들자"라고 달려든 게 시작이다. 그렇게 2006년 아파치 재단에서 공.......
Apache Tajo Project #1
하둡 기반 하에서의 데이터 핸들링은 HDFS에 대한 보편적인 기능적 특징을 이해하고 나면 뭔가 이질감이 들게 마련이다하지만, 개발자들은 보다 손쉬운 혹은 보다 익숙한 환경으로 끌어들이고자 하는 노력을 하곤 한다그 결과로 탄생한 프로젝트 중 하나가 바로 "아파치;타조" 프로젝트이다 현재 필드에서는 하둡 에코 환경 구성에 빠지지 않고 포함되는 것이 저장된 데이터에 대한 핸들링을 수월하게 하는 HIVE, 임팔라와 같은 솔루션을 적용하곤 한다하지만, 이런 솔루션이 지닌 한계는 아쉽게도 명확하다.일반적인 DBMS 혹은 DW용 어플라이언스 제품들이 가지는 고성능은 차치하더라도 말이다. " The main goal of Apache Tajo project is to build an advanced open sourc
