728x90 반응형 SMALL 초보개발자13 4. Retrieval-Augmented Generation (RAG): 대규모 언어 모델(LLM)과 정보 검색의 결합 1. RAG 개념 및 필요성1.1. 기존 LLM의 한계기존 대규모 언어 모델(LLM, Large Language Model)은 훈련된 데이터 내에서만 답변을 생성하는 폐쇄형(Closed-book) 모델입니다. 이는 최신 정보 반영이 어렵고, 훈련 데이터 외부의 새로운 사실을 포함하지 못하는 한계를 가집니다.1.2. RAG의 역할Retrieval-Augmented Generation(RAG)은 이러한 한계를 극복하기 위해 외부 정보 검색(Retrieval)과 생성(Generation) 단계를 결합한 프레임워크입니다. 이를 통해 LLM은 대규모 문서 데이터베이스나 인터넷과 같은 정보 원천에서 정확하고 최신의 데이터를 검색한 후, 이를 기반으로 응답을 생성할 수 있습니다.✅ 핵심 개념:Retrieval(정보 .. 2025. 4. 2. (궁금) 시맨틱 검색(Semantic Search)와 코사인 유사도(Cosine Similarity)이란 뭘까? 시맨틱 검색은 문장의 의미적 유사성(Semantic Similarity)을 기반으로 검색을 수행하는 기법이다. 이는 전통적인 키워드 검색과 달리 단순한 단어 일치(matching) 방식이 아닌 문맥과 의미를 고려하는 방식이다. 이 과정에서 문장 임베딩(Sentence Embedding)을 생성하고, 이를 기반으로 벡터 검색(Vector Search)을 수행한다.이러한 시맨틱 검색의 핵심 요소 중 하나가 코사인 유사도(Cosine Similarity)이다. 코사인 유사도는 두 개의 벡터가 이루는 각도를 기반으로 유사성을 측정하는 방식으로, 텍스트 검색, 추천 시스템, 클러스터링, 정보 검색 등에 널리 활용된다.1. 코사인 유사도(Cosine Similarity)의 정의코사인 유사도는 두 벡터 사이의 각도를.. 2025. 4. 2. 2. 딥러닝을 위한 패키지 - 판다스 예전부터 머신러닝에 대해서 깔짝 공부를 하다 보니 익숙해진 패키지중 하나가 판다스입니다. 복습차원으로 간단하게 기록형으로 작성하고 나중에 제가 다시 딥러닝을 공부하게 되면 슬쩍보고 바로 이해가 빡! 될수 있도록 작성했습니다. 0. 판다스란? 파이썬 프로그래밍 언어를 기반으로한 데이터 조작 및 분석을 위한 라이브러리입니다. 주로 데이터프레임(DataFrame)이라는 자료구조를 사용하여 데이터를 다루며, 데이터를 읽고 쓰는데 편리한 기능들을 제공합니다. 이를 통해 데이터 전처리, 분석, 시각화 등의 작업을 보다 쉽게 할 수 있습니다. 1. 설치 pip install pandas 2. 판다스 사용 1) 시리즈 import pandas as pd sr = pd.Series([17000 ,18000 ,1000 ,.. 2024. 3. 22. 1. 딥 러닝 공부를 시작하면서.. 이제는 너무 늦었단 생각이 들었지만.. 채찍피티와 LLM이 넘쳐나고 또 이제는 이미지에서 동영상 심지어 채찍피티-4를 탑재한 로봇이 나와서 사람에게 사과를 쥐어주는 세상이 왔다. 하지만 그렇다고 열중 쉬어자세료 가만히 있을 순 없으니 천천히 딥러닝을 퇴근하고 공부를 하고 그날 학습한 내용에 대해서 정리하고자 글을 작성해 보겠습니다. 이번 포스팅은 나중에 제가 설치하거나 기본적인 개념을 위해 설치과정과 기본만 넣었습니다. 1. 자연어 처리 준비 자연어란 우리가 일상생활에서 사용하는 언어를 말한다. 자연어 처리란? 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일 => 음성인식, 내용요약번역, 사용자의 감성 분석, 텍스트 분류 작업, 질의응답 시스템, 챗봇과 같은 곳에서 사용되는 분야이다... 2024. 3. 21. 4. 머신러닝을 위한 판다스(Pandas) - 2 - 데이터 다루기, 엑셀 다루기 판다스(Pandas) 데이터 다루기 데이터 삽입 / 삭제 구분 예시소스 삽입 데이터프레임.append( 행데이터, ignore_index=True) 데이터프레임.loc[행이름]=[행 데이터] 데이터프레임.iloc[index]=[행 데이터] 삭제 원본 보존하여 데이터 삭제 행삭제 변수 = 데이터프레임.drop(index,axis=0 ) #해당 인덱스를 갖는 행삭제. axis의 기본값은 0 열삭제 변수 = 데이터프레임.drop([‘열이름’],axis=1 ) #해당 인덱스를 갖는 열삭제. axis의 기본값은 0 원본 바꿀 경우 데이터프레임.drop(index,axis=0,inplace=True) 파일을 통한 데이터 입출력 동작 코드예시 설명 비고 파일읽기 pandas.read_csv(‘파일명’) 파일이 e.. 2023. 9. 13. 3. 머신러닝을 위한 판다스(Pandas) 판다스 개요 목적 데이터 처리를 위한 라이브러리 설치 pip install pandas cmd에서 설치 라이브러리 호출 import pandas 판다스의 데이터 타입 선언방법 특징 시리즈(Series) pandas.Series([Values], index= ... ) 1차원 배열의 값(Values)의 형태 각 값에 대응되는 인덱스가 자동으로 부여 인덱스 : 0부터 시작 각 값에 대응되는 인덱스 사용자 설정 가능 데이터 프레임 (DataFrame) pandas.DataFrame([values], index = ... , columns = ... ) 2차원의 행과 열을 테이블 형태 매개변수 : 2차원의 리스트 리스트, 딕셔너리, 시리즈, 넘파이 등 다양한 형태를 통하여 데이터 프레임 생성 가능 각 값에 대응.. 2023. 9. 5. [설치]R 설치하는 방법 R 설치를 해보겠습니다. 다운로드 1.사이트접속 https://www.r-project.org/ R: The R Project for Statistical Computing www.r-project.org 2. 메뉴중 다운로드의 하위메뉴인 CRAN을 누른다. 3. 쭉내리다보면 Korea가 나온다. 이중 저는 맨위를 누르겠습니다. 4. 그럼 이 사이트로 이동하게 됩니다. 여기서 본인 OS에 맞게 선택해주세요 https://cran.yu.ac.kr/ The Comprehensive R Archive Network cran.yu.ac.kr 5. 저의 경우는 기초부터 공부하기에 BASE단계를 설치하겠습니다. 6. 다운로드 완료된 모습 설치 1. 언어 선택 2. 3. 설치 폴더 선택 4. 옵션 선택 5. 스타트업.. 2023. 2. 28. [기초-3] 일렉트론 타이틀바 수정/변경 일렉트론의 기본 타이틀바는 많이 딱딱합니다. 기본 프로그램같습니다. 이것을 쉽게 수정하는 방법에 대해서 포스팅하겠습니다. 사용할 아이콘 선정 아이콘은 간단하게 부트스트랩에 있는 아이콘을 이용하겠습니다. 위 링크를 이용해서 사용하실 수 있으시고, pc에 놓고 두고두고 사용하고 싶으시면 아래의 npm i bootstrap-icons 명령어로 설치해줍니다. 그래서 필요한 것들을 골라서 사용할 수 있게합니다. 우선 타이틀바에서 가장 중요한건 창 최소화, 창 최대화, 닫기 이렇게 3총사가 제일 중요합니다. 3총사를 모두 선택한다음 css와 html에 추가를 해줍니다. 타이틀바 디자인하기 이 아이콘들을 버튼으로 만들어서 진행하겠습니다. 그리고 이것들을 담을 수 있는 그릇역할을 하는 div 태그를 만들겠습니다. 나의.. 2023. 2. 26. [프로그래밍] 셸 스크립트 변수 / 셸 프로그래밍 변수/ 리눅스 셸 스크립트 프로그래밍 변수의 입력과 출력 변수 셸변수는 필요한 값을 계속 변경해 저장한다는 개념이다. 셸 스크립트의 구조는 변경할 필요가 없는데, 설정해야하는 값이 상황에 따라 다르다면, 변수에 필요한 값을 계속 바꿔가는 방법으로 프로그래밍 해서 다양한 상황에서 대처 할 수 있다. 변수의 기본 셸 스크립트에서는 변수를 사용하기 전에 미리 선언하지 않으며, 처음 변수에 값이 할당 되면 자동으로 변수가 생성된다 변수에 넣는 모든 값은 문자열로 취급한다. 즉 숫자를 넣어도 문자로 취급한다. 변수 이름은 대소문자를 구분한다. 즉 $aa라는 변수 이름과 $AA라는 변수 이름은 다르다. 변수를 대입할 때 ' = ' 좌우에는 공백이 없어야 한다. testVal = Hello->오류!!(' = ' 앞뒤에 공백이 있다.) testVal=Hello-> OK te.. 2022. 12. 20. [실제구동] 포그라운드 프로레스와 백그라운드 프로세스 무한 루프를 도는 프로세스를 중지 하는 방법 터미널에서 yes > /dev/null 명령으로 무한 루프를 도는 단순한 프로세스를 생성 명령프롬프트 창을 하나더 열어서 ps -ef | grep yes 명령으로 프로세스 번호를 확인한다. 사진을 보면 제일 앞에 나오는 root는 소유주, 그 다음 3404는 프로세스 번호, 3393은 부모 프로세스 번호이다. 프로세스 번호를 확인했다면 kill -9 프로세스 번호 명령으로 프로세스를 종료한다. kill 명령어로 프로세스를 종료하면 기존의 다른 터미널에서 실행되던 것이 자동으로 종료되는 것을 확인 할 수 있다. 현재 작동중인 포그라운드 프로세스를 그냥 종료하려면 프로세스가 실행되고 있는 터미널에서 컨트롤+C 를 눌러도 된다. 포그라운드 프로세스 -> 백그라.. 2022. 12. 18. [통신] js fetch로 파일 전송 / fetch로 파일 / fetch() file / fetch로 파일외 다른 정보 보내기 / js 서버로 파일 전송 / 자바스크립트 서버로 파일전송 / 자바스크립트 파일 업로드 / js 파일 업로드 / js로.. 간단하게 파일 업로드 하는 방법소개 포스팅 fetch() 기본 문법을 이용한 POST방식 파일 업로드 방식 fetch() 문법을 이용하여 파일을 서버에 전송하는 방법 파일업로드 소스 간단하게 적용 파일외 에도 다른 정보를 함께 전달하는 방법 서버단에서 다른 어노테이션을 이용해서 전달 받기 서버단에서 처리완료된 응답을 가져오기 :: 사용 예제 :: JS소스 window.addEventListener('load', addEventFile); /*업로드 버튼에 이벤트 걸어주는 함수*/ function addEventFile() { document.getElementById('post').addEventListener('click', _post); } /* 포스트 방식으로 업로드하는 함수 */ function .. 2022. 12. 12. [KDE환경 설치] Kubuntu 설치하기 / 리눅스 KDE 환경 설치하기 안녕하세요~! ㅎㅎㅎ 지난 포스팅에서는 리눅스 우분투 모드와, 리눅스 텍스트 모드를 설치하고 기본적인 설정까지 해보았습니다! ㅎㅎ 1. https://uno-kim.tistory.com/235 우분투 GNOME( 우분투 그놈모드) 설치 [우분투 설치-1 : GNOME설치] 우분투 GNOME설치 안녕하세요 지난 포스팅에서는 우분투 설치파일들을 다운로드 받을 수 있는 링크를 공유하면서 포스팅을 해보았습니다. https://uno-kim.tistory.com/234 [우분투 설치-0 : 우분투 설치파일 다운로드] 우 uno-kim.tistory.com 2. https://uno-kim.tistory.com/239 리눅스 텍스트 모드 설치 [텍스트모드 설치-1] 리눅스 텍스트모드 설치 지난 포스팅은 우분투 리눅.. 2022. 12. 1. 이전 1 2 다음 728x90 반응형 LIST
