오디오 음성을 텍스트로 변환하기(Speech to Text) : Vosk, Whisper 사용하기

 

 

vosk와 whisper를 이용해서 오디오 음성을 텍스트로 변환하는 테스트를 해보았습니다.

https://www.youtube.com/watch?v=rG31BiYClf0 의  아나운서 음성을 변환했습니다.

CPU는 i7-14700K 이고, 내장그래픽을 이용하는 시스템입니다.

 

1. Vosk

Vosk 는 오픈소스 음성인식 시스템으로, 오프라인에서 음성을 텍스트로 변환할 수 있습니다.
Vosk는 특히 경량화된 모델을 제공하여 리소스가 제한된 장치에서도 실시간 음성 인식이 가능하도록 설계되었습니다. 
모바일 장치, 라즈베리 파이(Raspberry Pi), 임베디드 시스템 등에서도 사용할 수 있다고 합니다.

https://alphacephei.com/vosk/install 참고해서 설치하시면 됩니다.
한글 모델의 경우 vosk-model-small-ko-0.22.zip를 사용했으며, 압축 푼 크기가 253MB정도 됩니다.

변환하는데 6초 정도 걸렸습니다.
영상에서 추출한 m4a를 바로 변환한 것입니다.

 

오늘아침 설을 최저기온 [13] 점 이 도
로 역대 가 장 포근 했던 수능
이 란츠 이었는데 여 튼 쵦 은
없지만 하늘빛 이 단 대 그려져 있습니다
오늘 낮 동안 에 설화 는 의
도 낮은 구름이 잔뜩 끼어 있는 모습
인데요 후착 층 전국 으로 비구름 이
들어와서 비각 무라 그락 하겠습니다 따또 하느님
빗발
아군 이 떨어졌 부여 내일까지 제주행 을
[10] ~ [60] ㎜ 남부지역 에 [5]
~ [10] ㎜ 중부지방 을 중심으로 [5]
㎜ 안팎의 비 가 내리면서 내륙지역 에
비해 만만치 많지 않 겠습니다 이 는
내일 오전 이면 대부분 은 잦아 되
겠습니다
내일 도 전국 그늘 이 대체 로
구름 많고 흐리게 구요 혼을 퇴실 시간
무렵에는 살살하 자 한 해 겉옷 을
잘 챙겨주 셔야 겠습니다 네 라 칭송
을 최저기온 [13] 도 부산 이 (십)
오 도 가 예상 빼고 브라질 의
저울 이 [20] 도 공주와 부산 [21]
도 안팎 을 보이 겠습니다 별 관료
의 중북부지방 을 중심으로 비 가 내릴
텐데요
비 거느린 들을 찬바람 이 강 하게
내려오 면서 별 아침기온 은 영하 [1]
도 까지 뚝 떨어지 겠습니다 했었습니다

 

아래와 같이 문서상에서 추천하는 wav 포맷으로 변형해서 해보았습니다.

ffmpeg -i weather.m4a -ar 16000 -ac 1 -sample_fmt s16 weather.wav

결과는 m4a를 바로 변환한 것과 완전히 동일했습니다.

한글의 경우 정확도가 떨어졌지만 영어는 그나마 잘 변환이 되었습니다.

 

반응형

2. Whisper

Whisper는 OpenAI가 개발한 다국어 음성 인식 모델로, 다양한 언어의 음성을 텍스트로 변환할 수 있습니다. 오프라인에서도 사용 가능하며, 높은 정확도와 쉬운 설치가 특징입니다. Python에서 간단히 설치하고 사용할 수 있으며, 다양한 오디오 형식을 지원합니다.

https://github.com/openai/whisper 를 참고 하시면 됩니다.

base, medium, large 모델 별로 성능이 어떤지 비교해 보았습니다.

base 모델 (139MB, 약 5초 소요)

 오늘 아침 서울의 주적이온 13.2도로 역대 가장 폭은했던 수능이 낮침이었는데요.
 큰 주에는 없지만 하늘 빛이 잔뜩 흐려져 있습니다.
 오늘 낮 동안에 서울안으로도 낮은 그룹이 잔뜩 끼어있는 모습인데요.
 차침 전국으로 비구름이 들어와서 비가 오락가락하겠습니다.
 낮 동안에는 빛방울이 떨어졌고요. 내일까지 제주에는 10에서 60mm, 남부 지역에 5에서 10mm,
 중부지방울 중심으로 5mm 안팎에 비가 내리면서 내륙 지역에 비해 양은 많지 않겠습니다.
 이내에 내일 오전이면 대부분 자자 드리겠습니다.
 내일도 전국가늘을 대체로 구름 많고 흐리겠고요.
 오늘 퇴진 시간 무렵에는 살살하지 않게 거뒀을 잘 챙겨주셔야겠습니다.
 내일 아침 서울의 주적이온 13도, 부산이 15도가 예상되고,
 낮은 해석을 20도, 방주와 부산, 21도 안팎을 보이겠습니다.
 도요가 이루어 중부지방울 중심으로 비가 내릴 텐데요.
 비가 내린 뒤로 찬 바람이 강하게 내려오면서
 화요일 아침 기온 영화 1도까지 뚝 떨어지겠습니다.
 날씨였습니다.

 

medium 모델 (1.5GB)

 날씨였습니다.
 오늘 아침 서울의 주저 기온 13.2도로 역대 가장 포근했던 수능일
 아침이었는데요.
 큰 추위는 없지만 하늘빛이 잔뜩 흐려져있습니다.
 오늘 낮 동안에 서울 하늘에도 낮은구름이 잔뜩 끼어 있는 모습인데요.
 차츰 전국으로 비구름이 들어와서 비가 오락가락하겠습니다.
 낮 동안에는 빗방울이 떨어졌고요.
 내일까지 대주에는 10에서 60mm, 남부 지역에 5에서 10mm, 중부 지방을
 비가 내리면서 내륙 지역에 비의 양은 많지 않겠습니다.
 이는 내일 오전이면 대부분 잦아들겠습니다.
 내일도 전국 하늘에 대체로 구름 많고흐리게 했고요.
 오늘 퇴진 시간 무렵에는 쌀쌀하지 않게 겉옷을 잘 챙겨주셔야겠습니다.
 내일 아침 서울의 주저 기온 13도, 부산이 15도가 예상되고 한낮에는
 서울이 20도, 광주와 부산 21도 안팎을 보이겠습니다.
 또 일과 일요일 중북부 지방을 중심으로 비가 내릴 텐데요.
 이을지하고 garment picks이 비에는 하 pá destroying nikon 곡소가awl이
 Maar 또 작 가코 Audience에 강이 많이 theoret tills
 쇼�을name 잡ión 신선한 차의 욕은� sar
 cartoon

 

large 모델 (2.9GB, 약 41초 소요)

 오늘 아침 서울의 추저 기온 13.2도로 역대 가장 포근했던 수능일 아침이었는데요.
 큰 추위는 없지만 하늘빛이 잔뜩 흐려져 있습니다.
 오늘 낮 동안에 서울 하늘에도 낮은 구름이 잔뜩 끼어 있는 모습인데요.
 차츰 전국으로 비구름이 들어와서 비가 오락가락하겠습니다.
 낮 동안에는 빗방울이 떨어졌고요.
 내일까지 제주에는 10에서 60mm, 남부지역에 5에서 10mm,
 중부지방을 중심으로 5mm 안팎의 비가 내리면서 내륙지역에 비의 양은 많지 않겠습니다.
 이는 내일 오전이면 대부분 잦아들겠습니다.
 내일도 전국 하늘을 대체로 구름 많고 흐리겠고요.
 오늘 퇴실 시간 무렵에는 쌀쌀하지 않게 겉옷을 잘 챙겨주셔야겠습니다.
 내일 아침 서울의 추저 기온 13도, 부산이 15도가 예상되고
 한낮에는 서울이 20도, 광주와 부산 21도 안팎을 보이겠습니다.
 토요일과 일요일 중북부지방을 중심으로 비가 내릴 텐데요.
 비가 내린 뒤로 찬 바람이 강하게 내려오면서
 화요일 아침 기온 영하 1도까지 뚝 떨어지겠습니다.
 날씨였습니다.

Whisper 에서 large 모델을 이용하는 것이 가장 정확한 인식율을 보였습니다. 
large 모델로 테스트 음성을 변환하는데 41초 정도 걸렸고, 램은 최대 7GB까지 사용했습니다.
 참고로 base 모델의 경우, 5초가 걸렸습니다.


실시간 처리가 필요없는 경우에는 Whisper + large 모델을 쓰면 될 것 같습니다.