Posts
9 posts
데이터브릭스(Databricks) 검색 증강 생성(RAG)란?
안녕하세요. 소라윙즈입니다. 얼마전 하둡과 아파치 스파크와 함께 미국의 데이터 인텔리전스 플랫폼 서비스를 제공하고 있는 Databricks에 대해 간단히 소개드렸던 적이 있습니다. 오늘은 이 Databricks의 대표 기술인 검색 증강 생성(Retrieval Augmented Generation, RAG) 기술과 무료 체험 방법을 소개해드릴까 합니다. Retrieval Augmented Generation 그럼 Databricks의 검색 증강 생성(Retrieval Augmented Generation)에 대해서 먼저 알아볼까요? RAG는 맞춤형 데이터를 활용하여 대규모 언어 모델(LLM) 애플리케이션의 효율성을 개선할 수 있는 아키텍처 접근 방식입니다. 질문 혹은 작업과 관련된 자료를 검색하고 이를 LLM 컨텍스트로.......
생성형 AI 최적화 기술 RAG (검색 증강 생성)와 데이터브릭스 (Databricks)
대규모 언어 모델(LLM)은 방대한 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 인공지능 모델입니다. 요즘 많이 쓰이는 AI 챗봇을 구현하는 데 필수적인 기술인데요. 장점이 많지만 단점과 한계도 있습니다. 바로 그 단점을 보완하는 기술이 검색 증강 생성(RAG)인데요. RAG가 어떤 기술인지 알아보고, 이를 활용하는 Databricks 의 RAG 사례를 살펴보겠습니다. 데이터 및 인공지능 기업 Databricks는 모자이크 AI를 인수하고 오픈소스 LLM인 DBRX를 내놓은 바 있습니다. DBRX는 Databricks의 데이터 인텔리전스 플랫폼에도 적용이 되어 있습니다. 어떻게 구동이 되는지 궁금한 분들은 14일 무료 체험판을 사용해보세요. 체험판을 통해 고.......
빅데이터 오픈소스 기술 하둡, 아파치 스파크 그리고 데이터브릭스 (Databricks)
인공지능을 이야기할 때 빼놓을 없는 것이 빅데이터입니다. 빅데이터 분석에는 인공지능이 필요하고, 인공지능의 정확도를 빅데이터가 뒷받침하는 상호 보완적 관계이기 때문이죠. 인공지능이 핫한 만큼 빅데이터 생태계도 많은 주목을 받고 있는데요. 오픈소스 프레임을 대표하는 하둡과 아파치 스파크, 그리고 아파치 스파크 시대를 열며 급성장한 Databricks에 대해 살펴보겠습니다. Databricks는 글로벌 빅데이터 프로세싱 기업입니다. 이전 포스팅에서 MLOps(기계 학습 운영) 관련 내용과 Databricks Data intelligence Day를 살펴봤었는데요. 이번에서 아파치 스파크와 관련된 탄생 배경과 히스토리 쪽을 좀 살펴보겠습니다. Databricks 플.......
데이터브릭스 (Databricks), 아파치 스파크, 하둡 알아보기
2024년 현재 IT 산업에서 최대 이슈는 인공지능입니다. 가깝게는 생성형 AI부터, 로봇, 모빌리티, 유비쿼터스 등 IT 관련 업종 뿐만 아니라 전혀 접점이 없을 것 같은 산업 분야까지 아우르며 가파른 성장을 보이고 있습니다. 이러한 인공지능은 빅데이터를 기반으로 머신러닝 알고리즘을 통해 학습을 하고, 이렇게 학습한 결과를 바탕으로 유의미한 결과를 만들어 내는 구조입니다. 즉 'Big Data'와 'AI'는 뗄레야 뗄 수 없는 상호보완적인 관계라 할 수 있습니다. Hadoop & Apache Spark 빅데이터 대해 관심이 있거나 관련해서 일을 해본 경험이 있는 경우 이를 대표하는 오픈 소스 프레임워크인 하둡(Hadoop)과 아파.......
