지난 포스팅에서는 제가 직접 각 모델들을 이제 윈도우 환경에서 구동하고 분석시에 세밀한 조정을 할 수 있도록 GUI로 만들었습니다.
이제 도구는 완성되었습니다. 그렇다면 우리는 이 도구를 어떻게 '가장 잘' 쓸 수 있을까요?
2026.05.10-[개발문서-1] #9. Edge Agent AI 음성처리 : 대규모 배치 자동화 및 태스크 기반 데이터 관리 아키텍처 구현 - 테스트자동화 Tool 구현
[개발문서-1] #9. Edge Agent AI 음성처리 : 대규모 배치 자동화 및 태스크 기반 데이터 관리 아키텍처
1. 개요본 포스팅에서는 지난 포스팅에서 구축한 Vosk + Whisper.cpp 하이브리드 파이프라인을 실무 환경에 적용하기 위한 운영 고도화 과정을 다룹니다.[비교/검증-6] #8. Edge Agent AI 음성처리 : Vosk + Wh
uno-kim.tistory.com
소스코드 : uno-km/AMEVA-STT-Agent uno-km/AMEVA-STT-Agent
GitHub - uno-km/AMEVA-STT-Agent
Contribute to uno-km/AMEVA-STT-Agent development by creating an account on GitHub.
github.com
이제 포스팅으로는 이제 진짜 STT와 화자분리를 합친것을 스몰모델뿐만아니라 미디움, 터보, 라지모델을 각각 어떤 성능이 나오는지 비교 분석 검증해보는 포스팅을 작성해보겠습니다!!!
먼저 진행할 PC 성능입니다. 아주 기본적인 로컬 PC로 사용되는 갤럭시북2이구요
| 항목 | 상세 사양 | 비고 |
| 모델명 | ATS-B0001HE |
Windows 11 Home
|
| CPU | Intel(R) Core(TM) 7 150U |
10코어 / 12스레드
|
| 기본/최대 속도 | 1.80 GHz / (최대 3.02 GHz 이상) | L3 캐시 12MB |
| 메모리 (RAM) | 16.0 GB (4267 MT/s) |
고속 LPDDR5/x 추정
|
| 그래픽 (GPU) | Intel(R) Graphics (128MB) |
내장 그래픽
|
| 저장장치 (SSD) | 238 GB (NVMe) |
185 GB 사용 중
|
| 시스템 종류 |
64비트 운영 체제, x64 기반
|
8-Way 크로스 벤치마크 (Comparison Groups)
이번 검증은 모델의 체급과 파라미터 최적화(Optimization)라는 두 가지 축을 중심으로 총 8가지 케이스를 비교합니다.
[대조군 A] Standard Baseline: 순정 상태의 성능
사용자가 별도의 설정 없이 앱을 처음 실행했을 때의 기본 성능을 측정합니다.
| 구분 | 설정값 |
| 대상 모델 | Small, Medium, Large-v3, Large-v3-Turbo |
| Threads | 4 (기본값) |
| Max Offset | 2.0s (기본값) |
| VAD 엔진 | 비활성화 |
목적: 각 모델이 가진 본연의 전사 정확도와 처리 속도의 상관관계 파악
[실험군 B] Performance Optimized: 최적화 튜닝
에이전트가 제안하는 최적화 값을 적용하여 하드웨어와 알고리즘의 한계를 끌어올린 상태입니다.
| 구분 | 설정값 |
| 대상 모델 |
Small, Medium, Large-v3, Large-v3-Turbo
|
| Threads |
8 (CPU 코어 최적화 분배)
|
| Max Offset |
1.2s (화자 매핑 정밀도 강화)
|
| Max Sentence Len |
20 (문장 분할 가독성 최적화)
|
| VAD 엔진 |
활성화 (배경 소음 및 무음 구간 필터링)
|
목적: 튜닝을 통해 하위 체급 모델이 상위 체급의 성능을 얼마나 따라잡을 수 있는지 검증
비교/검증
1. 기본) Small
소요시간 : 74초 걸렸으며,,, 총점은 B~C+..? 아래 자세히있습니닷
군집화
화자분리 결과
[0.00 - 2.00] Speaker 1: -뭔 아니라고 생각해요. -그러면요?
[2.00 - 3.00] Speaker 1: 그냥 취미 생활인 거지.
[3.00 - 8.00] Speaker 1: 오늘 드디어 이게 얼마 만이야.
[8.00 - 11.00] Speaker 2: 우리 구광고주님.
[11.00 - 13.00] Speaker 0: -오늘 민간이신 분으로 오셨죠. -맞습니다.
[13.00 - 16.00] Speaker 2: 그러면 일단은 신비주의의 힙사인 한 분은
[16.00 - 18.50] Speaker 2: 우선은 나중에 소개해드리기로 하고
[18.50 - 20.50] Speaker 2: 오늘 롱쇼증권 특집.
[20.50 - 22.50] Speaker 2: 두 분 소개부터 한번 부탁드리겠습니다.
[22.50 - 23.50] Speaker 0: 안녕하세요 여러분.
[23.50 - 25.50] Speaker 0: 에래스증권 팀 이름이 박혔습니다.
[25.50 - 27.50] Speaker 0: 멀티 에셋 솔루션팀의
[28.00 - 30.00] Speaker 0: 정상민 선임 매니저입니다. 반갑습니다.
[30.00 - 35.00] Speaker 0: -잠깐. 뭐라고요? -멀티 에셋 솔루션.
[35.00 - 37.00] Speaker 0: -멀, 에, 솔 팀. -멀, 에, 솔 팀.
[37.00 - 39.00] Speaker 1: -멀, 에, 솔 팀. -이름 괜찮은데 줄이니까?
[39.00 - 43.00] Speaker 0: -멀, 에, 솔 팀은 어떤 걸 하시죠? -많이 하겠다는 양황을 좀 담아가지고
[43.00 - 45.00] Speaker 0: -저희가 점점 늘어나거든요. -네.
[45.00 - 47.00] Speaker 0: -처음에 해외 선물이었다가, 파장 상품이었다가 -맞아.
[47.00 - 49.00] Speaker 0: -글로벌 상품이었다가, -네.
[49.00 - 51.00] Speaker 0: -뭘 할까 하다가 -멀, 에, 솔.
[51.00 - 53.00] Speaker 0: -멀, 에, 솔로 정착하기로 했습니다. -축하드립니다.
[53.00 - 58.00] Speaker 2: 멀, 에, 솔의 매니저님, 정상민 매니저님, 우리 모근우라는 별명이 있었는데
[58.00 - 60.00] Speaker 1: -네. -그 별명을 사용할 수 없게 됐어요.
[60.00 - 61.00] Unknown: -그러니까.
[61.00 - 64.00] Speaker 2: -목보검으로 다시 한 번. -목보검으로 해주십시오.
[64.00 - 70.00] Speaker 1: -우리 티커저님 어서 오세요. -안녕하세요. 글로벌 마켓 영어팀 김기현.라벨 불일치 (Spatial Inconsistency)
가장 심각한 결함은 라벨 1번에서 발견됩니다. 데이터 포인트들을 보면 좌측 상단인 [-1.5, 8.3] 부근에 집중되어 있다가, 갑자기 우측 중간인 [4.2, -0.5] 지점이라는 전혀 엉뚱한 곳에 데이터가 찍혀 있습니다. 이는 엔진이 서로 다른 두 화자의 목소리를 구분하지 못하고 하나의 라벨로 억지로 끼워 맞춘 결과물입니다.
화자 혼입의 증거 (Embedding Noise)
보라색 라벨 0번과 노란색 라벨 2번의 데이터들이 서로의 경계선을 침범하거나 매우 가깝게 중첩되어 있습니다. 대화 초반부터 한 문장에 두 명의 목소리가 뒤섞여 STT 결과가 생성되었고, 이로 인해 지문 벡터값이 화자들 사이의 모호한 중간 지점에 위치하게 되면서 화자 분리 엔진이 식별 불능 상태에 빠진 것입니다.
데이터의 산포도 (Dispersion)
제대로 된 군집화라면 같은 색상의 점들이 하나의 섬처럼 조밀하게 뭉쳐 있어야 합니다. 하지만 현재 데이터는 그래프 사방으로 파편이 튀어 있는 모양새를 보입니다. 이는 스몰 모델 특유의 낮은 샘플 품질과 해상도로 인해 화자의 고유한 특징을 추출하지 못하고 의미 없는 노이즈 데이터만 양산했기 때문입니다.
총평: D학점 수준, 실무 사용 불가능
현재 상태는 대화의 주인이 누구인지조차 제대로 가려내지 못할 정도로 노이즈가 극심합니다. 텍스트는 간신히 읽을 수 있으나 화자 분리 데이터는 신뢰도가 전혀 없어 정밀 분석 자료로 활용하기에 매우 부적합한 상태입니다.
2. 기본) medium
147초, 종합점수 B-
군집화
화자분리 결과
[0.00 - 1.72] Speaker 2: - 이제는 뭐 아니라고 생각해요. - 그러면요?
[1.72 - 2.90] Speaker 2: 그냥 취미 생활인 거지.
[2.90 - 6.40] Speaker 0: 오늘 드디어.
[6.40 - 7.88] Speaker 0: 이게 얼마 만이야.
[7.88 - 10.98] Speaker 1: 우리 구 광고주님.
[10.98 - 12.78] Speaker 0: - 오늘 민간이신 분으로 오셨죠? - 맞습니다.
[12.78 - 13.28] Unknown: 맞습니다.
[13.28 - 16.18] Speaker 0: 그러면 일단은 신비주의에 휩싸인 한 분은
[16.18 - 18.46] Speaker 0: 우선은 나중에 소개해드리기로 하고
[18.46 - 20.38] Speaker 0: 오늘 롱쇼증권 특집.
[20.38 - 22.60] Speaker 0: 두 분 소개부터 한 번 부탁드리겠습니다.
[22.60 - 23.50] Speaker 2: 안녕하세요 여러분.
[23.50 - 25.20] Speaker 2: L.S.증권 팀 이름이 밝혔습니다.
[25.20 - 27.36] Speaker 2: 멀티 에셋 솔루션 팀의
[28.18 - 30.42] Speaker 2: 정상민 선임 매니저입니다. 반갑습니다.
[30.42 - 32.62] Speaker 1: 잠깐 뭐라고요?
[32.62 - 35.08] Speaker 2: 멀티 에셋 솔루션.
[35.08 - 36.12] Speaker 2: - 멀에솔. - 멀에솔.
[36.12 - 37.60] Speaker 2: - 멀에솔 팀. - 멀에솔 팀.
[37.60 - 38.68] Speaker 2: 이름 괜찮은데 줄이니까?
[38.68 - 39.18] Unknown: 그렇죠.
[39.18 - 40.94] Speaker 0: 멀에솔 팀은 어떤 걸 하시죠?
[40.94 - 43.20] Speaker 2: 많이 하겠다는 야망을 좀 담아가지고
[43.20 - 44.84] Speaker 2: 저희가 점점 늘어나거든요?
[44.84 - 46.00] Speaker 2: 처음에 해외 선물이었다가
[46.00 - 47.54] Speaker 2: 해외 화장 상품이었다가
[47.54 - 48.92] Speaker 2: 글로벌 상품이었다가
[48.92 - 49.86] Speaker 2: 뭐 할까 하다가
[49.86 - 50.54] Speaker 2: 멀에솔.
[50.54 - 52.46] Speaker 2: 멀에솔로 정착하기로 했습니다.
[52.46 - 55.96] Speaker 0: 축하드립니다. 멀에솔의 매니저님, 정상민 매니저님.
[55.96 - 58.34] Speaker 0: 우리 모근우라는 별명이 있었는데
[58.34 - 59.94] Speaker 1: 그 별명을 사용을 할 수 없게 됐어요.
[59.94 - 60.44] Unknown: 그러니까.
[60.44 - 63.16] Speaker 1: 목보검으로 다시 한 번.
[63.16 - 64.20] Speaker 1: 목보검으로 해주십시오.
[64.20 - 66.82] Speaker 0: 우리 티커저님 어서 오세요.
[66.82 - 69.98] Speaker 2: 안녕하세요 글로벌 마켓 영업팀 김기현.📉 군집화 데이터 정밀 진단 결과
텍스트 병합에 따른 지문 데이터 오염
제이슨 파일의 0번 세그먼트를 보면 이제는 뭐 아니라고 생각해요라는 말과 그러면요라는 질문이 하나로 합쳐져 있습니다. 이 문장은 화자 2번으로 할당되었으나, 실제로는 두 명의 목소리가 섞여 있습니다. 이로 인해 화자 2번의 지문 벡터가 순수성을 잃고 그래프상에서 노란색 군집이 상하로 길게 늘어지는 왜곡 현상을 초래했습니다.
화자 식별 엔진의 치명적 오류
라벨 1번으로 분류된 청록색 데이터들을 분석한 결과, 엔진이 서로 다른 세 명의 인물을 동일인으로 오판한 것이 확인되었습니다. 4번 세그먼트의 광고주님이라는 발언과 14번 세그먼트의 잠깐 뭐라고요라는 발언은 대화 맥락상 전혀 다른 화자의 목소리입니다. 지문 추출 단계에서 이들의 음성 특징을 제대로 분별하지 못했기에, 그래프상에서 청록색 점들이 좌측과 우측으로 파편화되어 흩어지는 결과가 나타났습니다.
미식별 구간의 발생 원인
출력 파일의 12번과 38번 세그먼트에서 맞습니다와 그렇죠라는 짧은 대답들이 미식별 상태로 남았습니다. 이는 미디움 모델의 전사 능력은 우수하나, 1초 미만의 짧은 오디오 구간에서 화자의 고유 특징을 추출하기에는 엔진의 해상도가 여전히 부족함을 보여줍니다. 이러한 짧은 세그먼트들이 군집화에 참여하지 못하고 누락되면서 전체적인 화자 지도 완성이 실패로 돌아갔습니다.
총평: 화자 분할 실패에 따른 신뢰도 붕괴 종합 점수: C-
텍스트 전사 정확도는 훌륭하지만 화자 분리 데이터가 심각하게 오염되어 분석 자료로서의 가치가 매우 낮습니다. 서로 다른 화자를 하나로 묶어버리는 세그먼트 오류와 갈 곳 없는 데이터를 무작위로 할당한 군집화 실패가 감점의 핵심 요인입니다. 텍스트만 읽기에는 나쁘지 않으나 화자별 통계나 정밀 분석이 필요한 실무 환경에서는 사용이 불가능한 수준입니다.
3. 기본) Turbo
172초, A급~B+급
군집화
화자분리
[0.00 - 1.66] Speaker 2: -뭄은 아니라고 생각해요 이제는. -그러면요.
[1.66 - 3.58] Speaker 2: -그냥 취미생활인 거지.
[3.58 - 8.94] Speaker 1: 오늘 드디어 이게 얼마 만이야.
[8.94 - 10.94] Speaker 1: 우리 구광고주님.
[10.94 - 12.34] Speaker 1: 오늘 민간이신 분으로 오셨죠?
[12.34 - 13.58] Speaker 0: -맞습니다. -맞습니다.
[13.58 - 16.12] Speaker 1: 그러면 일단은 신비주의에 휩싸인 한 분은
[16.12 - 18.42] Speaker 1: 우선은 나중에 소개해드리기로 하고
[18.42 - 20.42] Speaker 1: 오늘 롱쇼 증권 특집.
[20.42 - 22.62] Speaker 1: 두 분 소개부터 한번 부탁드리겠습니다.
[22.62 - 23.46] Speaker 0: 안녕하세요 여러분.
[23.46 - 25.36] Speaker 0: LS증권 팀 이름이 바뀌었습니다.
[25.36 - 28.16] Speaker 0: 멀티 에셋 솔루션 팀의
[28.16 - 30.50] Speaker 0: 정상민 선임 매니저입니다. 반갑습니다.
[30.50 - 32.56] Speaker 2: 잠깐. 뭐라고요?
[32.56 - 35.06] Speaker 0: 멀티 에셋 솔루션.
[35.06 - 35.74] Speaker 2: 멀에쏠.
[35.74 - 36.20] Unknown: 멀에쏠.
[36.20 - 36.80] Speaker 2: 멀에쏠 팀.
[36.80 - 37.64] Speaker 0: 멀에쏠 팀은.
[37.64 - 38.68] Speaker 2: 이름 괜찮은데? 줄이니까.
[38.68 - 40.90] Speaker 1: 멀에쏠 팀은 어떤 걸 하시죠?
[40.90 - 43.20] Speaker 0: 많이 하겠다는 양황을 좀 담아가지고
[43.20 - 44.82] Speaker 0: 저희가 점점 늘어나거든요.
[44.82 - 45.98] Speaker 0: 처음에 해외 선물이었다가
[45.98 - 47.58] Speaker 0: 해외 파장 상품이었다가
[47.58 - 48.92] Speaker 0: 글로벌 상품이었다가
[48.92 - 49.88] Speaker 0: 뭐 할까 하다가
[49.88 - 50.54] Speaker 2: 멀에쏠.
[50.54 - 52.48] Speaker 0: 멀에쏠로 정착하기로 했습니다.
[52.48 - 53.26] Speaker 1: 축하드립니다.
[53.26 - 55.96] Speaker 1: 멀에쏠의 매니저님, 정상민 매니저님.
[55.96 - 58.36] Speaker 1: 우리 모근우라는 별명이 있었는데
[58.36 - 59.90] Speaker 2: 그 별명을 사용을 할 수 없게 되었어요.
[59.90 - 60.86] Speaker 0: 그러니까.
[60.86 - 63.10] Speaker 1: 목보검으로 다시 한번.
[63.10 - 64.90] Speaker 0: 목보검으로 해주십시오.
[64.90 - 66.80] Speaker 1: 우리 티코전님 어서 오세요.
[66.80 - 67.54] Speaker 0: 안녕하세요.
[67.54 - 69.98] Speaker 2: 글로벌 마켓 영업팀 김기현입니다.📉 군집화 데이터 정밀 진단 결과
세그먼트 세분화와 화자 중첩의 공존
제이슨 파일을 스캔하면 문장을 39개로 잘게 나누어 이전 모델들보다 해상도는 높아졌으나, 여전히 0번 세그먼트와 5번 세그먼트에서 두 명의 목소리를 하나로 합쳐버리는 오류가 발견됩니다. 이 오염된 데이터들이 그래프 중앙 영역으로 몰리면서 노란색 라벨 1번과 청록색 라벨 0번 군집이 [2, 2] 지점에서 서로 뒤엉키는 결과를 초래했습니다. 이는 화자 분리의 경계가 무너졌음을 뜻합니다.
지문 데이터의 심각한 이탈 현상
보라색 라벨 2번 군집을 보면 대부분의 데이터가 [-4, -2] 부근에 모여 있으나, 단 하나의 데이터가 [-1, 4]라는 엉뚱한 위치로 튕겨 나가 있습니다. 이는 엔진이 해당 구간의 음성 특징을 추출하는 과정에서 심각한 노이즈가 유입되어 완전히 다른 사람의 목소리로 해석했음을 보여주는 증거입니다. 이러한 이탈점들은 클러스터링 알고리즘의 평균값을 왜곡시켜 전체적인 화자 지도의 정밀도를 떨어뜨립니다.
미식별 화자의 고질적 문제
제이슨 데이터의 36번 세그먼트 등에서 여전히 화자를 식별하지 못하는 현상이 지속되고 있습니다. 터보 모델의 빠른 속도와 세분화 능력에도 불구하고, 순정 상태의 무분별한 지문 추출 방식으로는 짧은 맞장구나 추임새를 명확한 화자 군집으로 연결하지 못하는 한계가 명확히 드러납니다. 겉보기에는 군집이 나뉘어 있는 듯 보이나, 실제로는 서로의 영역을 수시로 침범하는 불안정한 구조입니다.
총평: B-학점 수준, 가능성과 한계의 공존
텍스트의 전사 속도와 세분화 능력은 이전 모델들을 압도하지만, 화자 분리의 안정성 면에서는 여전히 실무에 적용하기 불안한 수준입니다. 군집 간의 간격이 좁고 데이터 이탈 현상이 빈번하여, 조금만 대화가 복잡해지면 화자가 뒤섞일 위험이 매우 높습니다. 터보 엔진의 민감도를 제어할 수 있는 추가적인 정제 과정이 반드시 필요합니다.
최종 성능 점수
종합 점수: B-
속도와 전사 품질은 우수하나 화자 분리의 신뢰도가 낮습니다. 특히 군집 간 중첩 현상과 이탈 데이터의 존재는 정밀한 대화 분석을 수행하는 데 있어 치명적인 약점으로 작용합니다.
4. 기본) Large
209초 , 종합 점수: A
군집화
화자분리
[0.00 - 1.22] Speaker 1: ...은 아니라고 생각해요 이제는.
[1.22 - 1.72] Unknown: 그럼요.
[1.72 - 2.90] Speaker 2: 그냥 취미생활인 거지.
[2.90 - 7.90] Speaker 2: 오늘 드디어 이게 얼마 만이야.
[7.90 - 11.00] Speaker 1: 우리 구광고주님.
[11.00 - 12.40] Speaker 2: 오늘 민간이신 분으로 오셨죠?
[12.40 - 13.60] Speaker 1: 맞습니다.
[13.60 - 18.48] Speaker 2: 그러면 일단은 신비주의에 휩싸인 한 분은 우선은 나중에 소개해드리기로 하고
[18.48 - 22.66] Speaker 2: 오늘 롱쇼증권 특집 두 분 소개부터 한번 부탁드리겠습니다.
[22.66 - 23.52] Speaker 0: 안녕하세요 여러분.
[23.52 - 25.40] Speaker 0: LS증권 팀 이름이 바뀌었습니다.
[25.40 - 29.56] Speaker 0: 멀티 에셋 솔루션 팀의 정상민 선임 매니저입니다.
[29.56 - 30.56] Speaker 0: 반갑습니다.
[30.56 - 31.56] Unknown: 잠깐.
[31.56 - 32.56] Speaker 0: 뭐라고요?
[32.56 - 35.06] Speaker 0: 멀티 에셋 솔루션.
[35.06 - 36.06] Speaker 0: 멀에쏠.
[36.06 - 37.06] Speaker 0: 멀에쏠 팀.
[37.06 - 39.06] Speaker 2: 이름 괜찮은데 줄이니까?
[39.06 - 41.06] Speaker 2: 멀에쏠 팀은 어떤 걸 하시죠?
[41.06 - 45.06] Speaker 0: 많이 하겠다는 야망을 좀 담아가지고 저희가 점점 늘어나거든요.
[45.06 - 49.06] Speaker 0: 처음에 해외 선물이었다가 해외 파장 상품이었다가 글로벌 상품이었다가
[49.06 - 50.06] Speaker 0: 뭐 할까 하다가
[50.06 - 51.06] Speaker 0: 멀에쏠.
[51.06 - 52.56] Speaker 0: 멀에쏠로 정착하기로 했습니다.
[52.56 - 53.56] Speaker 0: 축하드립니다.
[53.56 - 56.06] Speaker 2: 멀에쏠의 매니저님 정상민 매니저님.
[56.06 - 58.06] Speaker 2: 우리 모근우라는 별명이 있었는데
[58.06 - 59.12] Speaker 0: 그 별명을 사용을 할 수 없어서
[59.12 - 60.12] Speaker 1: 그러니까.
[60.12 - 62.12] Speaker 2: 목보검으로 다시 한 번.
[62.12 - 64.12] Speaker 2: 목보검으로 해주십시오.
[64.12 - 66.12] Speaker 2: 우리 티커저님 어서 오세요.
[66.12 - 69.98] Speaker 0: 안녕하세요. 글로벌 마켓 영업팀 김기현입니다.📉 군집화 데이터 정밀 진단 결과
지문 데이터의 극단적인 이중성 발생
제이슨 파일을 분석하면 청록색 라벨 1번이 우측 하단인 [3.7, -7.4]와 좌측 상단인 [-3.7, 0.4]라는 전혀 상반된 위치에 동시에 존재하고 있습니다. 이는 엔진이 문맥 파악 능력은 높을지 모르나, 화자의 음성 특징을 일관성 있게 지문으로 변환하는 데에는 처참하게 실패했음을 뜻합니다. 한 명의 화자 지문이 그래프의 양극단으로 찢어져 있는 것은 분석 자료로서의 가치가 없음을 보여주는 증거입니다.
화자 군집의 광범위한 파편화
노란색 라벨 2번 역시 청록색과 마찬가지로 좌측 구역과 중앙 하단 구역으로 멀리 떨어져 파편화되어 있습니다. 제대로 된 군집화라면 각 색상이 하나의 섬처럼 모여야 하지만, 현재 그래프는 여러 색상의 점들이 사방으로 튀어 있어 누가 누구인지 분간할 수 없는 개판 상태입니다. 모델의 체급이 올라갔음에도 불구하고 순정 상태의 무분별한 지문 추출 방식은 오히려 데이터의 혼란만 가중시켰습니다.
전사 품질과 분리 성능의 심각한 괴리
텍스트 데이터상으로는 엘에스증권이나 멀에쏠 같은 단어들을 완벽하게 받아적으며 에스급 전사 품질을 보여줍니다. 하지만 그 기저에 깔린 화자 분리 데이터는 지문들끼리 서로를 밀어내거나 엉뚱한 곳에 찍히는 등 기술적인 파산 상태에 가깝습니다. 글자는 잘 읽히지만 그 글을 누가 썼는지에 대한 정보는 노이즈에 덮여 완전히 오염되었습니다.
총평: B+학점 수준의 전사, D학점 수준의 화자 분리
진짜 라지 모델이라는 이름이 무색할 정도로 화자 분리 결과는 처참합니다. 텍스트의 정확도에 속아 이 모델을 그대로 실무에 투입한다면, 화자 통계가 완전히 어긋난 잘못된 분석 결과를 얻게 될 것입니다. 현재 시스템에서 모델의 체급보다 더 중요한 것은 무질서한 지문 데이터를 통제할 수 있는 정교한 튜닝임을 다시 한번 확인했습니다.
최종 성능 점수
종합 점수: B
텍스트 전사 품질은 현재까지 테스트한 모델 중 가장 뛰어나지만, 화자 분리의 실패가 전체적인 신뢰도를 크게 깎아먹고 있습니다. 속도도 느리고 화자 분리도 엉망인 상태이기에, 튜닝 없이는 사용이 불가능한 반쪽짜리 결과물입니다
이제 VAD 키고, 문장길이 줄이고 30->20 매핑허용오차 2->1.2초로 줄였습니다.
1. 튜닝) small
85초, B..?
군집화
화자분리
[0.00 - 2.00] Speaker 1: -뭔 아니라고 생각해요. -그러면요?
[2.00 - 3.00] Speaker 2: 그냥 취미 생활인 거지.
[3.00 - 8.00] Speaker 1: 오늘 드디어 이게 얼마 만이야.
[8.00 - 11.00] Speaker 0: 우리 구광고주님.
[11.00 - 13.00] Speaker 0: -오늘 민간이신 분으로 오셨죠. -맞습니다.
[13.00 - 16.00] Speaker 0: 그러면 일단은 신비주의의 힙사인 한 분은
[16.00 - 18.50] Speaker 0: 우선은 나중에 소개해드리기로 하고
[18.50 - 20.50] Speaker 0: 오늘 롱쇼증권 특집.
[20.50 - 22.50] Speaker 0: 두 분 소개부터 한번 부탁드리겠습니다.
[22.50 - 23.50] Speaker 2: 안녕하세요 여러분.
[23.50 - 25.50] Speaker 2: 에래스증권 팀 이름이 박혔습니다.
[25.50 - 27.50] Speaker 2: 멀티 에셋 솔루션팀의
[28.00 - 30.00] Speaker 2: 정상민 선임 매니저입니다. 반갑습니다.
[30.00 - 35.00] Speaker 2: -잠깐. 뭐라고요? -멀티 에셋 솔루션.
[35.00 - 37.00] Speaker 2: -멀, 에, 솔 팀. -멀, 에, 솔 팀.
[37.00 - 39.00] Speaker 2: -멀, 에, 솔 팀. -이름 괜찮은데 줄이니까?
[39.00 - 43.00] Speaker 2: -멀, 에, 솔 팀은 어떤 걸 하시죠? -많이 하겠다는 양황을 좀 담아가지고
[43.00 - 45.00] Speaker 2: -저희가 점점 늘어나거든요. -네.
[45.00 - 47.00] Speaker 2: -처음에 해외 선물이었다가, 파장 상품이었다가 -맞아.
[47.00 - 49.00] Speaker 2: -글로벌 상품이었다가, -네.
[49.00 - 51.00] Speaker 2: -뭘 할까 하다가 -멀, 에, 솔.
[51.00 - 53.00] Speaker 2: -멀, 에, 솔로 정착하기로 했습니다. -축하드립니다.
[53.00 - 58.00] Speaker 0: 멀, 에, 솔의 매니저님, 정상민 매니저님, 우리 모근우라는 별명이 있었는데
[58.00 - 60.00] Speaker 1: -네. -그 별명을 사용할 수 없게 됐어요.
[60.00 - 61.00] Unknown: -그러니까.
[61.00 - 64.00] Speaker 0: -목보검으로 다시 한 번. -목보검으로 해주십시오.
[64.00 - 70.00] Speaker 0: -우리 티커저님 어서 오세요. -안녕하세요. 글로벌 마켓 영어팀 김기현.📉 군집화 데이터 정밀 진단 결과
튜닝으로도 극복하지 못한 모델의 해상도 한계
최적화 설정을 적용했음에도 불구하고 청록색 라벨 1번 데이터는 여전히 그래프 전역에 파편화되어 흩어져 있습니다. 0번 세그먼트는 좌측 상단인 [-1.5, 8.3]에, 2번 세그먼트는 우측 하단인 [4.2, -0.4]에 위치하는 등 동일 화자라고 볼 수 없는 극단적인 데이터 이탈을 보입니다. 이는 스몰 모델이 추출하는 음성 특징 데이터 자체가 너무 부실하여, 정밀한 튜닝조차 이를 보완하지 못하고 있음을 증명합니다.
브이이디 활성화에 따른 군집 밀도의 미세한 향상
순정 상태와 비교했을 때 보라색 라벨 0번과 노란색 라벨 2번의 군집이 조금 더 촘촘하게 모이는 경향을 보입니다. 브이이디 엔진이 배경 소음을 사전에 차단하면서 지문 벡터의 오염도가 소폭 감소했기 때문입니다. 하지만 여전히 각 군집의 외곽에는 정체를 알 수 없는 데이터들이 사방으로 흩어져 있어, 화자 분리의 안정성을 확보하기에는 역부족인 상태입니다.
고질적인 세그먼트 병합 오류의 지속
8스레드와 오프셋 1.2초 설정을 통해 처리 속도는 빨라졌으나, 0번 세그먼트처럼 여전히 두 명의 목소리를 하나로 합쳐버리는 오류가 발생하고 있습니다. 이렇게 섞인 오디오에서 추출된 지문은 태생적으로 오염될 수밖에 없으며, 이것이 청록색 라벨의 군집화 실패로 이어지는 핵심적인 원인이 되고 있습니다. 텍스트 추출 단계에서의 한계가 군집화 실패의 도미노 현상을 일으키고 있습니다.
총평: B-학점 수준, 속도 최적화에만 그친 절반의 튜닝
처리 속도 면에서는 괄목할 만한 성과를 거두었으나, 화자 분리의 정밀도 관점에서는 순정 상태와 큰 차별점을 찾기 어렵습니다. 스몰 모델의 가벼운 체급은 대량의 연산에는 유리하지만, 정밀한 화자 지형도를 그리는 데에는 분명한 물리적 한계가 있음을 확인했습니다. 실무용보다는 단순 속도 테스트용으로만 가치가 있는 결과물입니다.
최종 성능 점수
종합 점수: B-
속도는 비약적으로 향상되었으나 화자 분리의 신뢰도는 여전히 낮습니다. 데이터 이탈 현상이 해결되지 않아 화자별 통계 산출 시 오류가 발생할 가능성이 매우 높습니다. 모델의 체급 한계를 다시 한번 절감하게 만드는 결과입니다.
2. medium
115.33초 , B+ 깐깐하게 주자면..?
군집화
화자분리
[0.00 - 1.72] Speaker 1: - 이제는 뭐 아니라고 생각해요. - 그러면요?
[1.72 - 2.90] Speaker 1: 그냥 취미 생활인 거지.
[2.90 - 6.40] Speaker 2: 오늘 드디어.
[6.40 - 7.88] Speaker 2: 이게 얼마 만이야.
[7.88 - 10.98] Speaker 2: 우리 구 광고주님.
[10.98 - 12.78] Speaker 0: - 오늘 민간이신 분으로 오셨죠? - 맞습니다.
[12.78 - 13.28] Unknown: 맞습니다.
[13.28 - 16.18] Speaker 2: 그러면 일단은 신비주의에 휩싸인 한 분은
[16.18 - 18.46] Speaker 2: 우선은 나중에 소개해드리기로 하고
[18.46 - 20.38] Speaker 2: 오늘 롱쇼증권 특집.
[20.38 - 22.60] Speaker 2: 두 분 소개부터 한 번 부탁드리겠습니다.
[22.60 - 23.50] Speaker 1: 안녕하세요 여러분.
[23.50 - 25.20] Speaker 1: L.S.증권 팀 이름이 밝혔습니다.
[25.20 - 27.36] Speaker 1: 멀티 에셋 솔루션 팀의
[28.18 - 30.42] Speaker 1: 정상민 선임 매니저입니다. 반갑습니다.
[30.42 - 32.62] Speaker 0: 잠깐 뭐라고요?
[32.62 - 35.08] Speaker 1: 멀티 에셋 솔루션.
[35.08 - 36.12] Speaker 1: - 멀에솔. - 멀에솔.
[36.12 - 37.60] Speaker 1: - 멀에솔 팀. - 멀에솔 팀.
[37.60 - 38.68] Speaker 1: 이름 괜찮은데 줄이니까?
[38.68 - 39.18] Unknown: 그렇죠.
[39.18 - 40.94] Speaker 2: 멀에솔 팀은 어떤 걸 하시죠?
[40.94 - 43.20] Speaker 1: 많이 하겠다는 야망을 좀 담아가지고
[43.20 - 44.84] Speaker 1: 저희가 점점 늘어나거든요?
[44.84 - 46.00] Speaker 1: 처음에 해외 선물이었다가
[46.00 - 47.54] Speaker 1: 해외 화장 상품이었다가
[47.54 - 48.92] Speaker 1: 글로벌 상품이었다가
[48.92 - 49.86] Speaker 1: 뭐 할까 하다가
[49.86 - 50.54] Speaker 0: 멀에솔.
[50.54 - 52.46] Speaker 1: 멀에솔로 정착하기로 했습니다.
[52.46 - 55.96] Speaker 2: 축하드립니다. 멀에솔의 매니저님, 정상민 매니저님.
[55.96 - 58.34] Speaker 2: 우리 모근우라는 별명이 있었는데
[58.34 - 59.94] Speaker 0: 그 별명을 사용을 할 수 없게 됐어요.
[59.94 - 60.44] Unknown: 그러니까.
[60.44 - 63.16] Speaker 2: 목보검으로 다시 한 번.
[63.16 - 64.20] Speaker 1: 목보검으로 해주십시오.
[64.20 - 66.82] Speaker 2: 우리 티커저님 어서 오세요.
[66.82 - 69.98] Speaker 0: 안녕하세요 글로벌 마켓 영업팀 김기현.📉 군집화 데이터 정밀 진단 결과
지문 데이터의 안정화와 특정 라벨의 잔존 오류
제이슨 파일과 그래프를 교차 스캔한 결과, 노란색 라벨 2번과 보라색 라벨 0번 군집은 순정 상태보다 훨씬 뚜렷한 영역을 확보했습니다. 하지만 문제는 청록색 라벨 1번에서 발생합니다. 데이터가 [-1.5, 5.0]이라는 좌측 상단 구역과 [2.1, 4.0]이라는 우측 구역으로 나뉘어 찍혀 있습니다. 이는 엔진이 두 명의 서로 다른 화자를 하나의 청록색 라벨로 묶어버리는 오류를 여전히 해결하지 못했음을 보여줍니다.
브이이디 엔진의 효과적인 노이즈 정제
8스레드 가동과 브이이디 필터링을 통해 그래프 전반의 노이즈 데이터가 크게 줄어들었습니다. 지문 벡터들이 이전보다 더 중심부로 밀집하는 경향을 보이며, 이는 배경 잡음으로 인한 데이터의 상하 분산을 효과적으로 억제했음을 뜻합니다. 비록 완벽한 분리에는 실패했으나, 개별 화자의 지문 순도는 튜닝 전과 비교하여 비약적으로 향상된 모습을 보입니다.
오프셋 조정을 통한 매핑 정밀도 개선
제이슨 데이터상에서 화자가 전환되는 0.5초 미만의 짧은 구간들이 미식별로 처리되지 않고 대부분 적절한 라벨을 부여받았습니다. 맥스 오프셋 1.2초 설정이 화자의 목소리 특징을 자석처럼 정확하게 끌어당긴 결과입니다. 비록 청록색 라벨처럼 데이터가 갈라지는 현상은 남아있으나, 대화의 전체적인 맥락을 파악하는 데 있어서는 실무적으로 충분히 유의미한 데이터가 생성되었습니다.
총평: A-학점 수준, 실무 적용이 가능한 임계점 도달
미디움 모델에 최적화 튜닝을 더한 이 결과물은 전사 정확도와 화자 분리의 안정성이 비로소 균형을 이루기 시작한 지점입니다. 청록색 라벨의 공간적 불일치라는 옥에 티가 존재하지만, 이를 제외한 나머지 군집의 정합성은 매우 우수합니다. 일반적인 회의나 대화를 분석하는 용도로는 가성비와 성능 면에서 가장 합리적인 선택지가 될 것입니다.
종합 점수: A-
전사 정확도와 화자 분리의 안정성이 대폭 개선되었습니다. 비록 특정 라벨에서의 데이터 이중성 문제는 완벽히 해결되지 않았으나, 전반적인 데이터의 순도와 밀도는 실무에서 활용하기에 충분히 높은 수준입니다.
3. turbo
142.59초 종합 점수: A
군집화
화자분리
[0.00 - 1.66] Speaker 1: -뭄은 아니라고 생각해요 이제는. -그러면요.
[1.66 - 3.58] Speaker 2: -그냥 취미생활인 거지.
[3.58 - 8.94] Speaker 1: 오늘 드디어 이게 얼마 만이야.
[8.94 - 10.94] Speaker 1: 우리 구광고주님.
[10.94 - 12.34] Speaker 1: 오늘 민간이신 분으로 오셨죠?
[12.34 - 13.58] Speaker 2: -맞습니다. -맞습니다.
[13.58 - 16.12] Speaker 1: 그러면 일단은 신비주의에 휩싸인 한 분은
[16.12 - 18.42] Speaker 1: 우선은 나중에 소개해드리기로 하고
[18.42 - 20.42] Speaker 1: 오늘 롱쇼 증권 특집.
[20.42 - 22.62] Speaker 1: 두 분 소개부터 한번 부탁드리겠습니다.
[22.62 - 23.46] Speaker 2: 안녕하세요 여러분.
[23.46 - 25.36] Speaker 2: LS증권 팀 이름이 바뀌었습니다.
[25.36 - 28.16] Speaker 2: 멀티 에셋 솔루션 팀의
[28.16 - 30.50] Speaker 2: 정상민 선임 매니저입니다. 반갑습니다.
[30.50 - 32.56] Speaker 1: 잠깐. 뭐라고요?
[32.56 - 35.06] Speaker 2: 멀티 에셋 솔루션.
[35.06 - 35.74] Speaker 0: 멀에쏠.
[35.74 - 36.20] Unknown: 멀에쏠.
[36.20 - 36.80] Speaker 0: 멀에쏠 팀.
[36.80 - 37.64] Speaker 1: 멀에쏠 팀은.
[37.64 - 38.68] Speaker 2: 이름 괜찮은데? 줄이니까.
[38.68 - 40.90] Speaker 1: 멀에쏠 팀은 어떤 걸 하시죠?
[40.90 - 43.20] Speaker 2: 많이 하겠다는 양황을 좀 담아가지고
[43.20 - 44.82] Speaker 1: 저희가 점점 늘어나거든요.
[44.82 - 45.98] Speaker 2: 처음에 해외 선물이었다가
[45.98 - 47.58] Speaker 2: 해외 파장 상품이었다가
[47.58 - 48.92] Speaker 2: 글로벌 상품이었다가
[48.92 - 49.88] Speaker 2: 뭐 할까 하다가
[49.88 - 50.54] Speaker 2: 멀에쏠.
[50.54 - 52.48] Speaker 2: 멀에쏠로 정착하기로 했습니다.
[52.48 - 53.26] Speaker 1: 축하드립니다.
[53.26 - 55.96] Speaker 1: 멀에쏠의 매니저님, 정상민 매니저님.
[55.96 - 58.36] Speaker 1: 우리 모근우라는 별명이 있었는데
[58.36 - 59.90] Speaker 0: 그 별명을 사용을 할 수 없게 되었어요.
[59.90 - 60.86] Speaker 0: 그러니까.
[60.86 - 63.10] Speaker 1: 목보검으로 다시 한번.
[63.10 - 64.90] Speaker 2: 목보검으로 해주십시오.
[64.90 - 66.80] Speaker 0: 우리 티코전님 어서 오세요.
[66.80 - 67.54] Speaker 2: 안녕하세요.
[67.54 - 69.98] Speaker 2: 글로벌 마켓 영업팀 김기현입니다.📉 군집화 데이터 정밀 진단 결과
모델의 높은 민감도로 인한 지문 파편화 현상
제이슨 파일을 분석하면 모든 화자 라벨이 그래프 전역으로 흩어지는 파편화 현상이 정점에 달해 있습니다. 보라색 라벨 0번은 [2.1, 4.0]과 [4.9, -0.8]로 나뉘어 있고, 노란색 라벨 1번은 좌측 상단과 우측 하단 양쪽에 모두 점이 찍혀 있습니다. 이는 터보 모델이 40개의 문장을 아주 정교하게 나누어 전사하는 데에는 성공했으나, 각 문장의 짧은 오디오에서 추출된 지문 데이터가 일관성을 유지하지 못하고 사방으로 튕겨 나갔음을 의미합니다.
고속 연산 엔진의 데이터 처리 불안정성
터보 엔진은 속도 최적화를 위해 지문 데이터의 차원을 압축하는 과정에서 고유한 특징값들을 일부 손실하는 경향이 있습니다. 이로 인해 동일한 화자의 목소리임에도 불구하고 그래프상에서는 전혀 다른 위치에 점이 찍히는 공간적 불일치가 발생합니다. 겉으로 보이는 시각적 무질서는 터보 모델이 가진 빠른 속도와 높은 해상도에 대한 기술적 대가라고 볼 수 있습니다.
텍스트 정확도와 군집화 품질의 역전 현상
출력된 제이슨 파일을 보면 받아쓰기 내용은 거의 완벽하며 화자 번호의 배정도 대화 흐름을 잘 따르고 있습니다. 하지만 그 기반이 되는 벡터 좌표값들은 역대 테스트 중 가장 무질서한 상태입니다. 이는 화자 분리 알고리즘이 불안정한 지문 데이터들 사이에서 억지로 규칙성을 찾아내어 라벨을 부여하고 있음을 뜻하며, 데이터의 실제 물리적 위치보다는 통계적 근사치에 의존하여 결과를 도출하고 있는 위험한 상태입니다.
총평: A학점 수준의 전사, C-학점 수준의 군집 정합성
터보 모델은 텍스트의 양과 질 면에서는 압도적이지만, 군집화 데이터의 시각적 안정성 면에서는 최악의 점수를 기록했습니다. 전사된 텍스트와 할당된 화자 번호만 믿고 사용하기에는 좋으나, 그 뒤에 숨겨진 지문 벡터 데이터는 매우 불안정하고 파편화되어 있습니다. 속도와 전사 품질을 위해 데이터의 물리적 정합성을 일부 희생한 모델이라고 평가할 수 있습니다.
최종 성능 점수
종합 점수: B+
텍스트 추출 능력은 최상위권이나 군집화 데이터의 공간적 불안정성이 매우 심각합니다. 결과물 자체는 훌륭하지만 내부 데이터의 신뢰도가 낮아, 고도의 정밀 분석이 필요한 연구용 데이터로 활용하기에는 데이터의 변동성이 너무 큽니다.
4. large
처리 시간: 170.54초 종합 점수: A+
군집화
화자분리
[0.00 - 1.22] Speaker 2: ...은 아니라고 생각해요 이제는.
[1.22 - 1.72] Unknown: 그럼요.
[1.72 - 2.90] Speaker 1: 그냥 취미생활인 거지.
[2.90 - 7.90] Speaker 0: 오늘 드디어 이게 얼마 만이야.
[7.90 - 11.00] Speaker 0: 우리 구광고주님.
[11.00 - 12.40] Speaker 1: 오늘 민간이신 분으로 오셨죠?
[12.40 - 13.60] Speaker 1: 맞습니다.
[13.60 - 18.48] Speaker 0: 그러면 일단은 신비주의에 휩싸인 한 분은 우선은 나중에 소개해드리기로 하고
[18.48 - 22.66] Speaker 0: 오늘 롱쇼증권 특집 두 분 소개부터 한번 부탁드리겠습니다.
[22.66 - 23.52] Speaker 0: 안녕하세요 여러분.
[23.52 - 25.40] Speaker 2: LS증권 팀 이름이 바뀌었습니다.
[25.40 - 29.56] Speaker 2: 멀티 에셋 솔루션 팀의 정상민 선임 매니저입니다.
[29.56 - 30.56] Speaker 2: 반갑습니다.
[30.56 - 31.56] Unknown: 잠깐.
[31.56 - 32.56] Speaker 1: 뭐라고요?
[32.56 - 35.06] Speaker 2: 멀티 에셋 솔루션.
[35.06 - 36.06] Speaker 2: 멀에쏠.
[36.06 - 37.06] Speaker 2: 멀에쏠 팀.
[37.06 - 39.06] Speaker 2: 이름 괜찮은데 줄이니까?
[39.06 - 41.06] Speaker 2: 멀에쏠 팀은 어떤 걸 하시죠?
[41.06 - 45.06] Speaker 2: 많이 하겠다는 야망을 좀 담아가지고 저희가 점점 늘어나거든요.
[45.06 - 49.06] Speaker 2: 처음에 해외 선물이었다가 해외 파장 상품이었다가 글로벌 상품이었다가
[49.06 - 50.06] Speaker 2: 뭐 할까 하다가
[50.06 - 51.06] Speaker 2: 멀에쏠.
[51.06 - 52.56] Speaker 2: 멀에쏠로 정착하기로 했습니다.
[52.56 - 53.56] Speaker 0: 축하드립니다.
[53.56 - 56.06] Speaker 0: 멀에쏠의 매니저님 정상민 매니저님.
[56.06 - 58.06] Speaker 0: 우리 모근우라는 별명이 있었는데
[58.06 - 59.12] Speaker 0: 그 별명을 사용을 할 수 없어서
[59.12 - 60.12] Speaker 2: 그러니까.
[60.12 - 62.12] Speaker 1: 목보검으로 다시 한 번.
[62.12 - 64.12] Speaker 1: 목보검으로 해주십시오.
[64.12 - 66.12] Speaker 0: 우리 티커저님 어서 오세요.
[66.12 - 69.98] Speaker 2: 안녕하세요. 글로벌 마켓 영업팀 김기현입니다.📉 군집화 데이터 정밀 진단 결과
특정 라벨의 전방위적 데이터 산포 현상
제이슨 파일을 정밀 스캔한 결과, 청록색 라벨 1번이 그래프의 동서남북 전 구역을 장악하고 있는 처참한 상태가 확인되었습니다. 1번 세그먼트는 우측 하단인 [2.1, -7.6]에, 4번 세그먼트는 좌측 하단인 [-4.6, -1.6]에, 5번 세그먼트는 우측 중앙인 [4.2, 0]에 위치하는 등 물리적으로 전혀 연관성 없는 데이터들이 청록색이라는 이름으로 강제 통합되어 있습니다. 이는 라지 모델의 연산 능력으로도 오디오 노이즈와 화자 특징을 완벽하게 분리하지 못했음을 뜻합니다.
고해상도 지문 추출의 한계 노출
라지 모델의 깊은 연산 층에서 추출된 지문 벡터들이 특정 영역에 응집되지 못하고 파편화되어 흩어지는 현상이 여전히 관찰됩니다. 보라색 라벨 2번과 노란색 라벨 0번이 그나마 군집의 형태를 띠고 있으나, 청록색 라벨의 데이터들이 그 사이사이를 침범하며 전체적인 화자 지도를 오염시키고 있습니다. 텍스트의 정확도에 가려져 보이지 않았던 기술적 파산 상태가 지문 벡터 좌표값을 통해 명명백백하게 드러난 셈입니다.
실무 데이터로서의 신뢰성 결여
출력된 제이슨 파일의 텍스트와 화자 번호 할당은 대화 흐름상 매우 자연스러워 보입니다. 하지만 그 근간이 되는 공간적 좌표 데이터가 이처럼 무질서하다는 것은, 화자 번호 할당이 정교한 음성 분석이 아닌 통계적인 우연이나 근사치에 의해 이루어졌을 가능성이 높음을 시사합니다. 전사 품질은 역대 최고 수준이나, 그 이면의 군집 데이터는 화자 분석 자료로 활용하기에 치명적인 결함들을 안고 있습니다.
총평: A++학점 수준의 전사, F학점 수준의 군집 정합성
글자는 가장 잘 받아적었으나 화자 군집의 안정성은 모든 테스트 중 가장 실망스러운 수준입니다. 특히 청록색 라벨이 보여주는 전방위적 데이터 이탈은 현재의 에스티티 에이전트 시스템이 가진 기술적 한계를 여실히 보여줍니다. 텍스트의 완벽함에 매몰되어 내부 데이터의 부실함을 간과해서는 안 된다는 것을 이번 최종 분석이 강력하게 경고하고 있습니다.
최종 성능 점수
종합 점수: B+
텍스트 전사 정확도는 타의 추종을 불허할 만큼 우수하여 결과물만 보면 완벽해 보입니다. 하지만 화자 분리의 근간이 되는 지문 벡터 데이터가 완전히 붕괴된 상태이므로, 화자별 통계 분석이나 정밀한 화자 추적이 필요한 실용적 환경에서는 여전히 신뢰할 수 없는 데이터입니다.
총평!
이제 모든 벤치마크 테스트가 끝났습니다. 스몰부터 라지 터보까지, 그리고 순정에서 최적화까지 이어온 이 방대한 데이터들은 소중한 자산이 거나 누군가의 밑거름이 되겠습니다.
| 모델 체급 | 설정 모드 | 처리 시간 | 배율 (RTF) | 문장 수 | 군집 정합성 | 전사 정확도 | 최종 점수 |
| 스몰 | 순정 | 74.4초 | 0.52 | 26개 | 최하 (F) | 보통 | D+ |
| 미디움 | 순정 | 146.7초 | 1.03 | 35개 | 최하 (F) | 우수 | C- |
| 터보 | 순정 | 172.2초 | 1.21 | 39개 | 보통 (C) | 우수 | B- |
| 라지 | 순정 | 209.5초 | 1.47 | 32개 | 최하 (F) | 최우수 | B |
| 스몰 | 최적화 | 85.1초 | 0.6 | 26개 | 미흡 (D) | 보통 | B- |
| 미디움 | 최적화 | 115.3초 | 0.81 | 35개 | 양호 (B) | 우수 | A- |
| 터보 | 최적화 | 142.5초 | 1 | 40개 | 보통 (C) | 우수 | B+ |
| 라지 | 최적화 | 170.5초 | 1.2 | 32개 | 최하 (F) | 최상 | B+ |
데이터 기반 핵심 진단 결과 요약
최적화 튜닝의 실질적 효과 확인
모든 모델 체급에서 안티그래비티 최적화 설정을 적용했을 때 전반적인 성능 향상이 관찰되었습니다. 특히 미디움 모델은 최적화 적용 후 처리 시간이 31초 단축되었으며, 군집 정합성 면에서도 가장 안정적인 지표를 기록하며 가성비와 성능의 최적점을 입증했습니다. 브이이디 활성화와 병렬 처리 설정이 실질적인 데이터 정제에 기여했음을 수치로 확인할 수 있습니다.
모델 체급과 군집 안정성의 비례 관계 실종
일반적인 예상과 달리 모델의 체급이 높을수록 군집 정합성이 반드시 향상되지는 않았습니다. 라지 모델의 경우 텍스트 전사 정확도는 타의 추종을 불허할 만큼 뛰어났으나, 화자 지문을 공간적으로 분리해내는 능력은 오히려 터보나 미디움 모델보다 불안정한 모습을 보였습니다. 이는 고해상도 모델일수록 미세한 오디오 노이즈까지 지문에 포함시켜 데이터의 변동성을 키우는 부작용이 있음을 시사합니다.
텍스트 품질과 화자 분리 품질의 독립성
표에서 확인할 수 있듯이 전사 정확도 점수와 군집 정합성 점수는 서로 독립적으로 움직이는 경향이 강합니다. 특히 라지 최적화 모드는 텍스트 면에서 최상위 품질을 보여주었으나 군집 정합성에서는 최하점을 기록했습니다. 이는 실무에서 시스템을 운용할 때 글자가 정확하다고 해서 화자 통계까지 정확할 것이라고 맹신해서는 안 된다는 강력한 기술적 근거가 됩니다.
프로젝트 최종 권장 설정 확정
전반적인 지표를 고려할 때 미디움 최적화 설정이 가장 균형 잡힌 퍼포먼스를 보여줍니다. 비록 라지 모델이 텍스트 면에서 압도적이지만, 현실적인 처리 속도와 화자 분리의 안정성을 모두 고려한다면 미디움 체급에 안티그래비티 튜닝을 입힌 조합이 실제 비즈니스 환경에서 가장 신뢰할 수 있는 결과물을 생성합니다.
이로써 8단계에 걸친 방대한 벤치마크 분석을 모두 마칩니다. 이 표와 진단 결과는 우리 STT 시스템의 현재 위치를 파악하고 향후 개선 방향을 설정하는 데 있어 가장 중요한 자산이 될 것입니다.
여기서 생각에 빠졌습니다.
아, 무조건 최적화할 필요가 있을까?
파라미터에 정답이 없을 수 도 있겠다. 상황에 따라서 그리고 wav파일에 따라서 내가 조절하면 되잖아..?!
지금과 같은 하이텐션과 오디오가 물리는 팟캐스트에서는 문장단위를 조절하고, 탐지감도도 예민하게하는 등의 전략을 세워야할 것같다.
너무잘개쪼개거나, 너무크게 두면 화자들이 천차만별로 바뀌기도하고 모델 체급선택도 중요하다고 느낍니다.
무조건 좋아서 라지나 터보처럼 어미 하나하나 쪼개면서 들어가는 모델들에겐 이런 오디오물림에선 너무 잘쪼개서 오히려 다른 성능들을 해칠 수 있다고 생각이 들어 터모-미디움 이쪽을 기용하는 것을 생각해 봐야겠다.
댓글