한국어와 도메인에 집중
한국어 음성 데이터 기반의 STT 파인튜닝을 중심으로, 서비스 용어와 발화 특성에 맞춰 인식 품질을 고도화합니다. 16,000시간은 회사가 제공한 개발 데이터 규모이며, 정확도 수치와는 구분합니다.
대화형 AI 기술
1. 소음 너머의 말까지.
대화의 첫 단계는 정확하게 듣는 일입니다. 짧은 발화, 낯선 고유명사, 통화 품질까지 고려해 음성을 다음 단계가 사용할 수 있는 텍스트로 연결합니다.
입력
마이크·전화 음성
결과
문장·시간 정보·화자 단서
자체 보유 한국어 데이터와 파인튜닝으로 소음·고령층·전화 환경에 대응합니다.
한 문장을 기다리지 않는 흐름
음성을 작은 구간으로 처리하고 중간 인식과 확정 문장을 구분합니다. 발화 시작·끝을 판단하는 VAD와 문장 종료 시점을 조정해, 빠른 응답과 끊기지 않는 대화 사이의 균형을 설계합니다.
교체 가능한 모델 연결
자체 고도화 모델과 고객이 선택한 외부 STT를 공통 인터페이스에 연결하는 구성을 제안합니다. 언어·설치 위치·지연 예산에 따라 엔진을 선택하고, 같은 평가 음원으로 도입 전 확인합니다.
적용 예시
- “이번 주 금요일, 예약을 변경하고 싶어요.”
- 날짜와 의도를 보존한 인식 문장
서비스 연결
구축 환경 논의하기현장 음성부터 확인
전화 8 kHz와 마이크 16 kHz 이상을 구분하고, 잡음·잔향·말 빠르기·고령 화자 등 실제 조건별 테스트셋을 만듭니다.
인식 결과를 업무로 연결
웹·키오스크·콜센터의 오디오 스트림을 연결하고, 인식 문장·시간 정보·오류 이벤트를 대화 오케스트레이터로 전달합니다. 고객 환경별 연동 범위는 사전 협의합니다.
평가 기준
같은 데이터, 같은 조건, 같은 측정 구간. 결과를 읽기 전에 기준부터 확인합니다.
정확도는 언어별로
한국어 CER와 WER를 함께 보고, 띄어쓰기·문장부호·숫자 정규화 규칙을 고정합니다. 고유명사와 핵심 업무 정보는 별도로 평가합니다.
속도는 구간별로
첫 중간 결과, 발화 종료부터 확정까지의 시간, 전체 처리율을 p50·p95로 공개하는 평가를 지향합니다. 네트워크 포함 여부와 동시 요청 수를 함께 적습니다.
스트리밍 단어 오류율 · WER ↓
미검증 개발 목표
측정 기준
동일 음성·정답·정규화로 기준 모델을 재측정. 참고치는 한국어 전용 결과가 아닙니다.
한국어 문자 오류율 · CER ↓
미검증 개발 목표
측정 기준
1,000개 이상 미학습 발화. 소음·고령층·8kHz 전화 조건별 결과와 95% 신뢰구간 공개.
최초 전사 지연 ↓
미검증 개발 목표
측정 기준
클라이언트 음성 전송 시작부터 첫 비어 있지 않은 중간 전사 수신까지. 연결 준비 시간 별도 기록.
참고 자료
1. Deepgram Nova-3 · vendor benchmark2. OpenAI Whisper large-v3 · evaluation notesGoogle Cloud · evaluation guidance
스트리밍 단어 오류율 · WER ↓ · Deepgram Nova-3 6.84%¹
한국어 문자 오류율 · CER ↓ · Whisper large-v3도 한국어 CER 평가²
최초 전사 지연 ↓ · 공통 측정 조건으로 재평가 예정
2. 좋은 답변은, 좋은 근거에서.
검색, 언어 모델, 업무 시스템을 한 흐름으로 연결합니다. 중요한 것은 말을 많이 하는 AI가 아니라, 고객이 승인한 정보 안에서 필요한 답을 찾는 AI입니다.
입력
인식 문장·대화 맥락·승인 지식
결과
근거가 있는 답변·승인된 업무 실행
승인 문서와 상품 정보를 검색하고 답변의 근거로 연결합니다.
문서를 검색 가능한 지식으로
문서 구조를 보존한 청킹, 메타데이터와 접근 권한, 버전·갱신 주기를 함께 설계합니다. 키워드와 벡터 검색, 재순위화는 자료의 형태와 질문 패턴에 맞춰 선택합니다.
모델은 목적에 맞게 연결
언어 모델 자체의 개발과 대화 플랫폼의 개발은 구분합니다. 외부 LLM을 업무 목적·속도·비용 기준으로 연결하고, 검색 결과와 대화 이력을 모델에 전달하는 흐름을 자체 설계합니다.
모르는 질문에도 기준을
근거가 부족하면 추측 대신 재질문·답변 보류·담당자 연결을 선택하도록 설계합니다. 업무 도구 호출은 허용된 범위 안에서 검증하고, 중요한 실행은 확인 절차와 기록을 남깁니다.
적용 예시
- 학사 규정 검색
- 출처 확인
- 학생의 상황에 맞는 안내
- 필요한 담당 부서 연결
서비스 연결
구축 환경 논의하기고객 데이터와 권한 연결
FAQ, 상품 정보, 학사 규정, 업무 매뉴얼을 승인된 소스로 연결합니다. 문서 권한·삭제·최신화 정책을 먼저 정의해 검색과 답변에 반영합니다.
운영 환경에 맞춘 구성
SaaS, 전용 클라우드, 온프레미스의 요구를 기준으로 저장 위치와 모델 호출 경로를 정합니다. 상담 이력·성공률·비용·지연을 추적하는 운영 지표도 함께 설계합니다.
평가 기준
같은 데이터, 같은 조건, 같은 측정 구간. 결과를 읽기 전에 기준부터 확인합니다.
검색과 답변은 따로 평가
필요한 근거를 찾았는지 Recall@k와 순위 품질로 보고, 생성한 문장이 그 근거를 따르는지 충실도와 인용 정확도로 확인합니다.
답하지 않아야 할 때도 평가
정답이 문서에 없는 질문, 최신 규정으로 바뀐 질문, 접근 권한이 없는 질문을 포함합니다. 자동 평가와 사람이 확인한 결과를 함께 봅니다.
검색 재현율 · Recall@5 ↑
미검증 개발 목표
측정 기준
사람이 근거를 표시한 300개 이상 질문. 관련 문서 중 상위 5개 검색 결과가 찾은 비율.
답변 근거 일치율 ↑
미검증 개발 목표
측정 기준
답변의 검증 가능한 주장 중 근거로 뒷받침되는 비율. 자동 평가와 사람 검수 병행. 공급사 1–5점을 %로 변환하지 않습니다.
인용 정확도 ↑
미검증 개발 목표
측정 기준
각 인용 문서가 연결된 주장을 실제로 뒷받침하는지 평가합니다.
검색 지연 ↓
미검증 개발 목표
측정 기준
10만 청크 고정 코퍼스·top-5·동시 요청 10건 기준 목표. 답변 생성 시간은 별도 측정.
참고 자료
1. Microsoft · RAG evaluators2. Amazon Bedrock · evaluation metricsRAGAS · EACL 2024
검색 재현율 · Recall@5 ↑ · Azure: NDCG 등 검색 평가¹
답변 근거 일치율 ↑ · AWS: Faithfulness / Azure: Groundedness
인용 정확도 ↑ · AWS: Citation precision²
검색 지연 ↓ · 공통 측정 조건으로 재평가 예정
3. 정확한 답에, 자연스러운 목소리.
응답을 소리로 바꾸는 마지막 순간까지 설계합니다. 자연스러움, 발음, 화자의 일관성, 그리고 첫 음성이 들리기까지의 시간을 함께 봅니다.
입력
답변 텍스트·목소리·발화 스타일
결과
스트리밍 음성
자체 개발 TTS와 짧은 참조 음성 기반 클로닝을 연구·개발합니다.
목소리를 만드는 핵심 모델
자체 개발 TTS를 중심으로 서비스에 맞는 음성을 설계합니다. 회사 제공 개발 현황의 3–7초 참조 음성 클로닝은 사용 권한과 화자 동의를 전제로 하며, 입력 품질별 결과를 별도로 검증합니다.
발음부터 호흡까지
숫자·날짜·약어·외래어를 읽기 좋은 형태로 정규화하고, 문장 길이와 호흡 위치를 조정합니다. 중요한 용어는 발음 사전과 검수 문장으로 관리하는 구성을 제안합니다.
기다림을 줄이는 음성 전달
답변 전체가 완성되기 전 문장 단위로 음성을 만드는 구성을 설계합니다. 모델 계산, 음성 인코딩, 전송, 재생 시작을 구분해 지연을 줄이고 대화 중 끼어들기와 중단을 연결합니다.
적용 예시
- 같은 안내 문장도 정확한 발음과 여유 있는 호흡으로 전달합니다.
서비스 연결
구축 환경 논의하기서비스에 맞는 음색과 채널
전화의 대역폭, 키오스크 스피커, 모바일 재생 환경에 맞춰 코덱과 출력 레벨을 확인합니다. 동일 화자의 음색이 채널별로 일관되게 전달되는지 검증합니다.
자체·외부 엔진 선택
필요한 언어와 설치 요건에 따라 외부 TTS 연결을 병행할 수 있습니다. 음성 선택·발화 스타일·스트림 종료·오류 처리를 공통 인터페이스로 관리하는 구성을 설계합니다.
평가 기준
같은 데이터, 같은 조건, 같은 측정 구간. 결과를 읽기 전에 기준부터 확인합니다.
듣는 사람이 판단하는 품질
자연스러움 MOS, 화자 유사도, 발음 오류, 선호도를 나누어 평가합니다. 무작위·익명 청취와 원어민 평가를 사용하고 신뢰구간을 함께 적습니다.
합성 지연과 재생 지연 구분
모델 지연과 실제 첫 음성 도착 시간은 다른 지표입니다. TTFB, 실시간 계수 RTF, 전체 재생 준비 시간에 코덱·문장 길이·동시 요청 조건을 함께 기록합니다.
모델 추론 지연 ↓
미검증 개발 목표
측정 기준
개발 목표. 짧은 입력의 모델 내부 처리 시간만 측정하며 하드웨어 조건 명시. 네트워크·앱·재생 버퍼 제외.
클라이언트 첫 오디오 · TTFB ↓
미검증 개발 목표
측정 기준
같은 지역·언어·코덱·입력 길이·동시 요청 수. p95 목표 ≤500 ms도 함께 추적.
평균 청취 품질 · MOS ↑
미검증 개발 목표
측정 기준
Azure 실측 점수가 아닌 권장 기준. 100문장 이상, 원어민 평가자 30명, 무작위·익명 청취와 신뢰구간.
참고 자료
1. ElevenLabs · latency definitions2. Microsoft Azure · TTS evaluation guidance
모델 추론 지연 ↓ · ElevenLabs Flash v2.5 약 75 ms¹
클라이언트 첫 오디오 · TTFB ↓ · 75 ms 추론 수치와 다른 지표
평균 청취 품질 · MOS ↑ · Azure 권장 평가 기준 >4.0/5²
4. 말의 내용에서, 말하는 방식까지.
표현 속 단서를 살피고, 답변의 태도와 목소리의 속도를 조정하는 EMOTION을 설계합니다. 감정을 단정하기보다 대화에 맞는 전달 방식을 찾습니다.
입력
텍스트·선택적 음성 단서
결과
상황에 맞춘 답변·표현 음성
대화 상태와 감정 신호를 고려해 말투와 응대 정책을 조정합니다.
단서를 읽고, 불확실성은 남기고
말의 내용과 표현을 바탕으로 기쁨·걱정·답답함·차분함 등의 단서를 구분하는 흐름을 제안합니다. 음성 단서는 별도 모델 연결과 검증이 필요하며, 감정 판단을 진단이나 사실로 취급하지 않습니다.
공감에서 다음 행동으로
걱정에는 짧고 차분한 안내, 답답함에는 핵심 해결 단계, 기쁨에는 자연스러운 축하처럼 응답 정책을 정의합니다. 감정 표현보다 정확한 정보와 실제로 도움이 되는 다음 행동을 우선합니다.
답변과 목소리를 함께 제어
발화 속도·높낮이·쉼·강도를 서비스 범위 안에서 제어합니다. 지원 스타일은 엔진과 음성마다 달라, 외부 모델의 기능과 자체 엔진의 개발 범위를 구분해 연결합니다.
적용 예시
- “처음이라 조금 걱정돼요.”
- 걱정 표현 감지
- 차분한 안내
- 여유 있는 속도
서비스 연결
구축 환경 논의하기문장과 상황에 맞춰 조정
서비스에서 자주 쓰는 문장과 상황을 기준으로 표현의 강도와 말의 속도를 조정합니다. 같은 문장도 안내·공감·확인 등 목적에 맞게 전달되도록 설계합니다.
실제 엔진으로 확장
관리자에서 감정 응답 API를 연결하면 텍스트 분석·답변·합성 음성을 함께 사용할 수 있습니다. 서비스 도입 시 언어·화자·상황별 적합성과 실제 지연을 검증합니다.
평가 기준
같은 데이터, 같은 조건, 같은 측정 구간. 결과를 읽기 전에 기준부터 확인합니다.
표현이 의도와 맞는가
동일 문장을 여러 스타일로 제시해 감정 전달의 명료성과 적절성을 익명 청취로 평가합니다. 감정별 데이터 수, 평가자 수, 일치도와 혼동 행렬을 함께 확인합니다.
말의 품질은 유지되는가
표현이 달라져도 발음 정확도와 화자 일관성이 유지되는지, 과한 표현이 없는지 확인합니다. 청취자 선호도와 작업 성공률을 함께 보고, 현재 공개한 실측 점수는 없습니다.
5. 목소리에, 마주할 얼굴을.
음성과 디지털 인물을 연결해 화면에서도 자연스럽게 대화할 수 있는 접점을 만듭니다. 사람과 닮은 모습보다 중요한 것은 대화의 타이밍과 서비스의 연결입니다.
입력
답변 음성·인물 이미지
결과
동기화된 아바타·서비스 화면
사진 기반 아바타와 음성을 연결해 대화의 접점을 확장합니다.
사진에서 대화의 접점으로
사용 권한을 확보한 인물 사진을 바탕으로 아바타를 생성하고 음성과 연결하는 기술을 개발합니다. 캐릭터, 화면 구도, 안내 문구를 함께 설계해 AI임을 이해할 수 있는 경험을 만듭니다.
입 모양과 음성의 타이밍
음성 길이·쉼·입 모양을 동기화하고, 듣기·생각하기·말하기 상태를 명확하게 구분하는 구성을 설계합니다. 합성 과정의 흔들림과 프레임 사이 일관성도 확인합니다.
채널에 맞춘 상호작용
키오스크, 웹, 전시 화면의 시청 거리와 입력 방식을 고려합니다. 아바타 재생이 늦어지더라도 안내 텍스트와 음성 중심으로 대화를 이어갈 수 있는 대체 흐름을 설계합니다.
적용 예시
- 듣는 화면
- 답변 준비
- 음성과 입 모양 동기화
- 다음 질문을 기다리는 화면
서비스 연결
구축 환경 논의하기디자인과 엔진을 함께
고객의 브랜드·화자 권리·출력 해상도·네트워크 조건을 확인한 후 아바타 생성과 전달 방식을 결정합니다. 실제 제작 사진이 없는 곳에는 콘셉트 이미지임을 표시합니다.
대화 흐름과 연결
STT·RAG·TTS에서 넘어오는 이벤트를 화면 상태와 연결합니다. 사용자가 다시 말을 시작하면 재생 중단과 응답 갱신이 함께 동작하도록 설계합니다.
평가 기준
같은 데이터, 같은 조건, 같은 측정 구간. 결과를 읽기 전에 기준부터 확인합니다.
시각 품질과 동기화
입 모양과 음성의 어긋남, 얼굴·배경의 일관성, 프레임 드롭을 구분해 평가합니다. 사람의 청취·시청 평가를 함께 사용하며, 공개한 정량 실측 비교는 아직 없습니다.
전체 대화의 지연
첫 화면 렌더링 시간과 음성·영상의 동기화 지연을 함께 확인합니다. 해상도·FPS·네트워크·동시 세션 수를 고정해 재현 가능한 조건을 기록합니다.