728x90 반응형 SMALL 검색 엔진 알고리즘2 4. Retrieval-Augmented Generation (RAG): 대규모 언어 모델(LLM)과 정보 검색의 결합 1. RAG 개념 및 필요성1.1. 기존 LLM의 한계기존 대규모 언어 모델(LLM, Large Language Model)은 훈련된 데이터 내에서만 답변을 생성하는 폐쇄형(Closed-book) 모델입니다. 이는 최신 정보 반영이 어렵고, 훈련 데이터 외부의 새로운 사실을 포함하지 못하는 한계를 가집니다.1.2. RAG의 역할Retrieval-Augmented Generation(RAG)은 이러한 한계를 극복하기 위해 외부 정보 검색(Retrieval)과 생성(Generation) 단계를 결합한 프레임워크입니다. 이를 통해 LLM은 대규모 문서 데이터베이스나 인터넷과 같은 정보 원천에서 정확하고 최신의 데이터를 검색한 후, 이를 기반으로 응답을 생성할 수 있습니다.✅ 핵심 개념:Retrieval(정보 .. 2025. 4. 2. (궁금) BM25 (Best Matching 25) 이란 무엇일까? 1. BM25 개요BM25(Best Matching 25)는 정보 검색(Information Retrieval, IR) 및 자연어 처리(NLP, Natural Language Processing) 분야에서 문서와 쿼리(Query) 간의 관련성을 평가하는 대표적인 랭킹 함수입니다.📌 핵심 개념BM25는 TF-IDF의 개선된 형태로, 문서 길이 보정(Length Normalization)과 비선형적인 빈도 반영을 수행검색 엔진, 챗봇, QA 시스템 등에서 문서의 랭킹을 결정하는 핵심 알고리즘2. BM25 공식 및 수학적 해석BM25는 쿼리 q와 문서 d가 주어졌을 때, 해당 문서가 쿼리에 얼마나 관련이 있는지를 측정하는 점수를 반환합니다.2.1. 수식 요소 설명q: 사용자 입력 쿼리 (Query)d: 검색.. 2025. 4. 1. 이전 1 다음 728x90 반응형 LIST
