데이터브릭스 (Databricks), 아파치 스파크, 하둡 알아보기
Post
원문 보기 →
데이터브릭스 (Databricks), 아파치 스파크, 하둡 알아보기
2024년 현재 IT 산업에서 최대 이슈는 인공지능입니다. 가깝게는 생성형 AI부터, 로봇, 모빌리티, 유비쿼터스 등 IT 관련 업종 뿐만 아니라 전혀 접점이 없을 것 같은 산업 분야까지 아우르며 가파른 성장을 보이고 있습니다. 이러한 인공지능은 빅데이터를 기반으로 머신러닝 알고리즘을 통해 학습을 하고, 이렇게 학습한 결과를 바탕으로 유의미한 결과를 만들어 내는 구조입니다. 즉 'Big Data'와 'AI'는 뗄레야 뗄 수 없는 상호보완적인 관계라 할 수 있습니다. Hadoop & Apache Spark 빅데이터 대해 관심이 있거나 관련해서 일을 해본 경험이 있는 경우 이를 대표하는 오픈 소스 프레임워크인 하둡(Hadoop)과 아파.......
Related Posts
3 posts
하둡 (Hadoop)이란? 대체 어디에 쓰이길래 빅데이터 하면 꼭 나올까?
하둡이 뭐냐고? 한마디로 말하면 "엄청 많은 데이터를 여러 대의 컴퓨터에 나눠 저장하고 동시에 처리하는 시스템"이다. 빅데이터라는 단어를 들어본 적 있다면 Hadoop은 거의 세트로 따라다닌다. 개발자만 알면 되는 기술이라고 생각하기 쉬운데 요즘은 마케터든 기획자든 데이터 흐름을 이해해야 할 일이 많아져서 기본 개념 정도는 알아두면 확실히 도움이 된다. 너무 깊이 들어가지 않고 핵심만 정리해 봤다. 1. 노란 코끼리의 탄생 2003년 구글이 자사 데이터 처리 방식을 논문으로 공개했다. 이걸 본 개발자 더그 커팅이 "우리도 이런 걸 오픈소스로 만들자"라고 달려든 게 시작이다. 그렇게 2006년 아파치 재단에서 공.......
PS5 게임 드래곤 퀘스트 X 다섯 종족의 각성 오프라인 오픈 및 소감
안녕하세요. 소라윙즈입니다. 오늘 소개할 PS5 게임은 '드래곤 퀘스트 X 다섯 종족의 각성 오프라인' 입니다. 사무실 이전과 타이틀 배송이 겹쳐 까맣게 잊고 있다가 이제서야 꺼내 플레이를 시작하게 되었습니다. 제목에서 알 수 있듯이 PS5 게임 드래곤 퀘스트 X 다섯 종족의 각성 오프라인은 동명의 온라인 MMORPG를 오프라인에서 혼자 즐길 수 있게 내놓은 타이틀입니다. 일본 한정으로 서비스 된 MMORPG라 VPN이라도 쓰지 않는 이상 일본 외 국가에선 플레이가 불가능했던 작품이죠. 원작이 나온지 꽤 오래되었다 보니 단순히 혼자 즐길 수 있게 만든 게 아니라 그래픽과 게임 밸런스를 새롭게 조정하고, 일본어 '보이스.......
하둡 빅데이터 처리의 핵심 기술
하둡 빅데이터 처리의 핵심 기술 요즘같이 빅데이터 시대에는 방대한 양의 데이터를 효과적으로 저장하고 처리하는 것이 중요합니다. 이러한 요구를 충족시키기 위해 탄생한 기술 중 하나가 바로 하둡(Hadoop)입니다. 하둡은 빅데이터 처리의 핵심 기술로, 대용량 데이터를 분산 처리하고 효율적으로 관리할 수 있도록 설계된 오픈소스 프레임워크입니다. 이번 포스팅에서는 하둡의 정의, 구성 요소, 주요 특징, 그리고 장단점에 대해 자세히 알아보겠습니다. ▶ 하둡 빅데이터 처리의 핵심 기술 목차 1. 하둡의 정의 2. 하둡의 핵심 기술 3. 하둡의 주요 특징 4. 하둡의 장단점 5. 하둡의 활용 사례 1. 하둡의 정의 하둡은 아파치 소프트웨어(Ap.......
