Posts
2 posts
빅데이터 오픈소스 기술 하둡, 아파치 스파크 그리고 데이터브릭스 (Databricks)
인공지능을 이야기할 때 빼놓을 없는 것이 빅데이터입니다. 빅데이터 분석에는 인공지능이 필요하고, 인공지능의 정확도를 빅데이터가 뒷받침하는 상호 보완적 관계이기 때문이죠. 인공지능이 핫한 만큼 빅데이터 생태계도 많은 주목을 받고 있는데요. 오픈소스 프레임을 대표하는 하둡과 아파치 스파크, 그리고 아파치 스파크 시대를 열며 급성장한 Databricks에 대해 살펴보겠습니다. Databricks는 글로벌 빅데이터 프로세싱 기업입니다. 이전 포스팅에서 MLOps(기계 학습 운영) 관련 내용과 Databricks Data intelligence Day를 살펴봤었는데요. 이번에서 아파치 스파크와 관련된 탄생 배경과 히스토리 쪽을 좀 살펴보겠습니다. Databricks 플.......
데이터브릭스 (Databricks), 아파치 스파크, 하둡 알아보기
2024년 현재 IT 산업에서 최대 이슈는 인공지능입니다. 가깝게는 생성형 AI부터, 로봇, 모빌리티, 유비쿼터스 등 IT 관련 업종 뿐만 아니라 전혀 접점이 없을 것 같은 산업 분야까지 아우르며 가파른 성장을 보이고 있습니다. 이러한 인공지능은 빅데이터를 기반으로 머신러닝 알고리즘을 통해 학습을 하고, 이렇게 학습한 결과를 바탕으로 유의미한 결과를 만들어 내는 구조입니다. 즉 'Big Data'와 'AI'는 뗄레야 뗄 수 없는 상호보완적인 관계라 할 수 있습니다. Hadoop & Apache Spark 빅데이터 대해 관심이 있거나 관련해서 일을 해본 경험이 있는 경우 이를 대표하는 오픈 소스 프레임워크인 하둡(Hadoop)과 아파.......
![[굿즈] 웹툰 『악역의 엔딩은 죽음뿐』 트럼프 카드 : 아는 장면이라도 플레잉 카드로 수집하는 이 맛](https://img.zoomtrend.com/2026/06/05/1780650880-SE-1c22cf84-12af-4fb2-95c5-c6354bd47dfd.jpg)
