Apache Tajo Project #1
Post
원문 보기 →Apache Tajo Project #1
하둡 기반 하에서의 데이터 핸들링은 HDFS에 대한 보편적인 기능적 특징을 이해하고 나면 뭔가 이질감이 들게 마련이다하지만, 개발자들은 보다 손쉬운 혹은 보다 익숙한 환경으로 끌어들이고자 하는 노력을 하곤 한다그 결과로 탄생한 프로젝트 중 하나가 바로 "아파치;타조" 프로젝트이다 현재 필드에서는 하둡 에코 환경 구성에 빠지지 않고 포함되는 것이 저장된 데이터에 대한 핸들링을 수월하게 하는 HIVE, 임팔라와 같은 솔루션을 적용하곤 한다하지만, 이런 솔루션이 지닌 한계는 아쉽게도 명확하다.일반적인 DBMS 혹은 DW용 어플라이언스 제품들이 가지는 고성능은 차치하더라도 말이다. " The main goal of Apache Tajo project is to build an advanced open sourc
Related Posts
3 posts데이터사이언스란? 빅데이터분석과 차이부터 국내 취업 현실까지
데이터사이언스와 빅데이터분석, 뭐가 다른지 물어보면 명확하게 설명할 수 있는 사람이 생각보다 많지 않습니다. 그냥 비슷한 말 아닌가? 하시는 분들도 많은데요. 근데 막상 직무를 알아면 이게 꽤 다른 이야기라는 걸 알게 됩니다. 채용 공고에 쓰인 직함도 다르고, 요구하는 기술 스택도 다르고, 실무에서 하는 일도 달라요. 데이터사이언스를 배우고 싶은 분들 중에 실제로 자신이 원하는 게 데이터사이언스인지, 빅데이터분석인지, 아니면 데이터분석인지 구분을 못 하는 경우가 꽤 있습니다. 방향을 잘못 잡으면 6개월 공부하고 나서 엉뚱한 포지션에 지원하게 될수도 있어요. 이번 포스팅에서는 데이터사이언스와 빅데이터분석의 뜻과 차.......
하둡 (Hadoop)이란? 대체 어디에 쓰이길래 빅데이터 하면 꼭 나올까?
하둡이 뭐냐고? 한마디로 말하면 "엄청 많은 데이터를 여러 대의 컴퓨터에 나눠 저장하고 동시에 처리하는 시스템"이다. 빅데이터라는 단어를 들어본 적 있다면 Hadoop은 거의 세트로 따라다닌다. 개발자만 알면 되는 기술이라고 생각하기 쉬운데 요즘은 마케터든 기획자든 데이터 흐름을 이해해야 할 일이 많아져서 기본 개념 정도는 알아두면 확실히 도움이 된다. 너무 깊이 들어가지 않고 핵심만 정리해 봤다. 1. 노란 코끼리의 탄생 2003년 구글이 자사 데이터 처리 방식을 논문으로 공개했다. 이걸 본 개발자 더그 커팅이 "우리도 이런 걸 오픈소스로 만들자"라고 달려든 게 시작이다. 그렇게 2006년 아파치 재단에서 공.......
하둡 빅데이터 처리의 핵심 기술
하둡 빅데이터 처리의 핵심 기술 요즘같이 빅데이터 시대에는 방대한 양의 데이터를 효과적으로 저장하고 처리하는 것이 중요합니다. 이러한 요구를 충족시키기 위해 탄생한 기술 중 하나가 바로 하둡(Hadoop)입니다. 하둡은 빅데이터 처리의 핵심 기술로, 대용량 데이터를 분산 처리하고 효율적으로 관리할 수 있도록 설계된 오픈소스 프레임워크입니다. 이번 포스팅에서는 하둡의 정의, 구성 요소, 주요 특징, 그리고 장단점에 대해 자세히 알아보겠습니다. ▶ 하둡 빅데이터 처리의 핵심 기술 목차 1. 하둡의 정의 2. 하둡의 핵심 기술 3. 하둡의 주요 특징 4. 하둡의 장단점 5. 하둡의 활용 사례 1. 하둡의 정의 하둡은 아파치 소프트웨어(Ap.......
