2. LLM 생성 과정 (데이터 수집, 모델설계, 모델학습, 평가 및 검증, 배포 및 유지보수)
LLM(Large Language Model)의 생성 과정은 단순한 모델 훈련이 아니라, 데이터 수집 → 모델 설계 → 학습 → 평가 및 검증 → 배포 및 유지보수라는 복잡한 절차를 거칩니다.각 과정에서 고려해야 할 핵심 요소와 이를 설명하겠습니다.데이터 수집① 데이터 출처LLM의 성능은 학습 데이터의 품질에 따라 좌우됩니다.일반적으로 다음과 같은 데이터 출처를 활용합니다.웹 문서: Wikipedia, 뉴스 기사, 블로그, 논문 등책 및 논문: 학술 문헌, eBook소셜 미디어: Twitter, Reddit, Quora 등코드 리포지토리: GitHub, Stack Overflow 등이 데이터를 수집한 후 데이터 정제(Data Cleaning) 과정을 거칩니다.② 데이터 정제원본 데이터는 중복, 오탈자, ..
2025. 4. 1.
