HADOOP
Posts
5 posts데이터사이언스란? 빅데이터분석과 차이부터 국내 취업 현실까지
데이터사이언스와 빅데이터분석, 뭐가 다른지 물어보면 명확하게 설명할 수 있는 사람이 생각보다 많지 않습니다. 그냥 비슷한 말 아닌가? 하시는 분들도 많은데요. 근데 막상 직무를 알아면 이게 꽤 다른 이야기라는 걸 알게 됩니다. 채용 공고에 쓰인 직함도 다르고, 요구하는 기술 스택도 다르고, 실무에서 하는 일도 달라요. 데이터사이언스를 배우고 싶은 분들 중에 실제로 자신이 원하는 게 데이터사이언스인지, 빅데이터분석인지, 아니면 데이터분석인지 구분을 못 하는 경우가 꽤 있습니다. 방향을 잘못 잡으면 6개월 공부하고 나서 엉뚱한 포지션에 지원하게 될수도 있어요. 이번 포스팅에서는 데이터사이언스와 빅데이터분석의 뜻과 차.......
하둡 (Hadoop)이란? 대체 어디에 쓰이길래 빅데이터 하면 꼭 나올까?
하둡이 뭐냐고? 한마디로 말하면 "엄청 많은 데이터를 여러 대의 컴퓨터에 나눠 저장하고 동시에 처리하는 시스템"이다. 빅데이터라는 단어를 들어본 적 있다면 Hadoop은 거의 세트로 따라다닌다. 개발자만 알면 되는 기술이라고 생각하기 쉬운데 요즘은 마케터든 기획자든 데이터 흐름을 이해해야 할 일이 많아져서 기본 개념 정도는 알아두면 확실히 도움이 된다. 너무 깊이 들어가지 않고 핵심만 정리해 봤다. 1. 노란 코끼리의 탄생 2003년 구글이 자사 데이터 처리 방식을 논문으로 공개했다. 이걸 본 개발자 더그 커팅이 "우리도 이런 걸 오픈소스로 만들자"라고 달려든 게 시작이다. 그렇게 2006년 아파치 재단에서 공.......
Apache Tajo Project #1
하둡 기반 하에서의 데이터 핸들링은 HDFS에 대한 보편적인 기능적 특징을 이해하고 나면 뭔가 이질감이 들게 마련이다하지만, 개발자들은 보다 손쉬운 혹은 보다 익숙한 환경으로 끌어들이고자 하는 노력을 하곤 한다그 결과로 탄생한 프로젝트 중 하나가 바로 "아파치;타조" 프로젝트이다 현재 필드에서는 하둡 에코 환경 구성에 빠지지 않고 포함되는 것이 저장된 데이터에 대한 핸들링을 수월하게 하는 HIVE, 임팔라와 같은 솔루션을 적용하곤 한다하지만, 이런 솔루션이 지닌 한계는 아쉽게도 명확하다.일반적인 DBMS 혹은 DW용 어플라이언스 제품들이 가지는 고성능은 차치하더라도 말이다. " The main goal of Apache Tajo project is to build an advanced open sourc
도커(Docker) 에서 마크베이스(Machbase) 사용기 (공손체)
도커(Docker) 에서 마크베이스(Machbase) 사용기개요개인로 생각하기에 다운로드에 들어가는 시간을 제외하면, 도커는 다른 어느 플렛폼보다 가장 간편하게 프로그램을 설치, 테스트 해 볼 수 있는 환경인것 같다.도커에 대한 자세한 사용법이나 설치법을 알기 위해서는 다음 링크를 사용하고, 여기에서 도커에 대한 설명은 하지 않기로 한다.초보자를 위한 도커 시작 페이지https://subicura.com/2017/01/19/docker-guide-for-beginners-1.html다른 도커 한글 문서들http://blog.nacyot.com/articles/2014-01-27-easy-deploy-with-docker/ 이문서에서 사용한 도커 버젼은 다음과 같다.(17.06.0-ce)machbase
![[굿즈] 웹툰 『악역의 엔딩은 죽음뿐』 트럼프 카드 : 아는 장면이라도 플레잉 카드로 수집하는 이 맛](https://img.zoomtrend.com/2026/06/05/1780650880-SE-1c22cf84-12af-4fb2-95c5-c6354bd47dfd.jpg)
