728x90 반응형 SMALL tf-idf2 4. Retrieval-Augmented Generation (RAG): 대규모 언어 모델(LLM)과 정보 검색의 결합 1. RAG 개념 및 필요성1.1. 기존 LLM의 한계기존 대규모 언어 모델(LLM, Large Language Model)은 훈련된 데이터 내에서만 답변을 생성하는 폐쇄형(Closed-book) 모델입니다. 이는 최신 정보 반영이 어렵고, 훈련 데이터 외부의 새로운 사실을 포함하지 못하는 한계를 가집니다.1.2. RAG의 역할Retrieval-Augmented Generation(RAG)은 이러한 한계를 극복하기 위해 외부 정보 검색(Retrieval)과 생성(Generation) 단계를 결합한 프레임워크입니다. 이를 통해 LLM은 대규모 문서 데이터베이스나 인터넷과 같은 정보 원천에서 정확하고 최신의 데이터를 검색한 후, 이를 기반으로 응답을 생성할 수 있습니다.✅ 핵심 개념:Retrieval(정보 .. 2025. 4. 2. (궁금) TF-IDF (Term Frequency-Inverse Document Frequency)가 뭘까 1. TF-IDF 개요TF-IDF(Term Frequency-Inverse Document Frequency)는 텍스트 마이닝(text mining) 및 자연어 처리(NLP, Natural Language Processing)에서 문서 내 특정 단어의 중요도를 평가하는 대표적인 방법입니다.이를 통해 자연어 문서에서 중요한 단어를 추출하고, 키워드를 선별하며, 문서 간 유사도를 측정하는 등의 다양한 응용이 가능합니다.📌 핵심 개념TF(Term Frequency, 단어 빈도): 문서 내 특정 단어가 얼마나 자주 등장하는지 측정IDF(Inverse Document Frequency, 역문서 빈도): 특정 단어가 전체 문서에서 얼마나 희귀한지를 평가2. TF-IDF 공식2.1. 기본 수식TF-IDF는 아래와 .. 2025. 4. 1. 이전 1 다음 728x90 반응형 LIST
