MFCC (Mel Frequency Cepstrum Coefficient) 음성 신호 분석하기

<본 블로그는 카카오엔터프라이즈님의 기술 블로그, hyunlee103님의 블로그를 참고해서 공부하며 작성하였습니다 :-) >

https://tech.kakaoenterprise.com/66

AI에게 어떻게 음성을 가르칠까?

https://hyunlee103.tistory.com/54

오디오 데이터 전처리 (1) Waveform

 

 

 

🍏 Audio

어떤 물체가 진동하면서 발생

Y축은 Amplitude(진폭), X축은 Time(sec)

특정 지점에서 다음 등장하는 그 값까지를 period(주기)

Frequency는 Hz 단위를 사용하며, 1초에 100번 period(주기)가 발생하는, 100Hz로 정의

f = 1/T 

High frequency 초당 진동 수(주기)가 많은 소리의 경우 High pitch(높은 소리)를 가짐

Amplitude가 크면 소리가 크다

 

 

 

🍏 주파수란 

: 신호가 1초에 몇 번 진동했는지를 나타내는 수치

: 소리는 빠르게 진동할수록, 즉 주파수가 높을수록 음이 높게 들림

 

• 푸리에 변환(Fourier transform)

: 특정 시간 길이의 음성 조각(이를 프레임이라고 부름)이 각각의 주파수 성분들을 얼마만큼 갖고 있는지를 의미하는 스펙트럼(spectrum)을 얻음

 

• 스펙트로그램(spectrogram)

: 음성 전체로부터 얻은 여러 개의 스펙트럼을 시간 축에 나열하면 시간 변화에 따른 스펙트럼의 변화

 

 

 

🍏 사람의 소리를 듣는 과정

소리를 듣는 기관인 귀는 귓바퀴에서 소리를 모으고, 고막과 이소골이 진동하여 달팽이관의 청각 세포를 자극하면 전기 신호가 발생해 이를 뇌에 전달하는 방식

 

달팽이관은 마치 길게 늘어진 관을 돌돌 말은 모양과 같으며, 액체로 가득 차 있는 이 관에는 청각 세포들이 일렬로 나열해 있는 코르티 기관이 존재

밖에서 진동이 전달되면 코르티 기관의 특정 청각 세포가 자극되어 전기 신호를 발생시키는데, 청각 세포마다 인지할 수 있는 주파수 대역이 다름

 

달팽이관의 가장 안쪽 청각 세포는 저주파 대역을 인지하며, 바깥쪽 청각 세포는 고주파 대역을 인지

모든 주파수 대역을 같은 비중으로 인지하지 않고, 고주파에서 저주파로 내려갈수록 담당하는 주파수 대역이 점점 더 조밀

 

 

🍏 음성 데이터 전처리

김동화[ 대학원석&middot;박사통합과정수료연구(재학)

⭐ FFT -> logFFT -> IFFT (Log FFT)
⭐Fourier transform  ->  제곱 (power spectrum)  ->  Mel-filter bank  ->  Real log  ->  Discrete cosine transform(DCT)

 

 

 

 

🍏 멜 스케일(Mel scale)

Mel scale과 Hertz scale간의 비교

실제 주파수 정보를 인간의 청각 구조를 반영하여 수학적으로 변환

pitch에서 발견한 사람의 음을 인지하는 기준(threshold)을 반영한 scale 변환 함수

 

높이가 다른 2개의 음을 사람에게 들려줬을 때, 사람이 인지하는 차이와 두 음의 실제 주파수 차이를 다양하게 조사하여 통계가 구축

주파수 성분을 중요도에 따라 차등적으로 사용하기 위한 좋은 지표

 

 

🍏 Mel-Frequency Cepstral Coefficient (MFCC)

인간이 소리를 인지하는 과정(원리)을 따라 해서 '어떤 특징 벡터'를 추출해내는 과정

주파수에 따라 진동하게 되는 부분이 다르기 때문에 Mel filterbank라는 필터뱅크를 이용해서 소리를 주파수 대역별로 걸러냄

 

사람은 낮은 주파수에 더욱 민감하게 반응

낮은 주파수에선 더 세세하게, 높은 주파수로 갈수록 듬성듬성 쪼개짐

낮은 주파수에서 높은 주파수까지 기저막이 진동하는 부위가 다름

 

MFCC (Mel-Frequency Cepstral Coefficient) : 음성신호가 가지고 있는 어떠한 특징을 뽑아내는 과정

✔ feature extraction

coefficient (계수) : 어떤 처리를 하여 구한 계수

여러 task(음성을 어떤 식으로든 분류하는 task)에서 음성의 한 feature(특성)으로써 이용

MFCC 구하는 과정

1. Pre-emphasis filtering : 전처리를 통해 고주파 부근에서 크기가 작아지는 음성을 강조
2. Windowing : fram 단위로 처리를 하는데 길이는 25~35ms 사용하고 50% overlap 이용
3. 전체 오디오 신호를 일정 간격으로 나누고 푸리에 변환을 거쳐 스펙트로그램을 구함
4. 각 스펙트럼의 제곱인 파워 스펙트로그램에 Mel scale filter bank를 사용해 차원 수를 줄임
5. log() & IDCT => MFCC : cepstral 분석을 적용해 MFCC를 구함

Cepstral 분석 : 푸리에 변환을 거쳤을 때 시간 축에서 천천히 변하는 정보가 낮은 주파수 성분에 위치하고, 빨리 변하는 정보가 높은 주파수 성분에 위치

Mel scale filter bank

 

 

✔ Mel filterbank

Mel : 우리의 주파수에 따른 주관적인 인지량을 측정하는 단위

주파수가 너무 높아지면 잘 구별하지 못하는 특성이 있기 때문에 주파수를 비선형적인 값으로 mel이라는 단위로 매핑 시킴

즉, mel이라는 단위는 비선형적인 주파수라는 단위를 인간의 특성에 맞게 선형적으로 표현됨

기준은 1000Hz (1000 mel=1000Hz)

 

 

✔ STFT (Short Time Fourier Transform)

Time 도메인의 파형을 Frequency 도메인으로 변형시키는 푸리에 변환

전체 파형을 대상으로 하면 제대로 된 주파수 분석을 할 수 없기 때문에, 짧은 시간 단위로 분리해서 각각의 구간에 대해 변환

• win_length : FFT(Fast Fourier Transform의 약자, 빠르게 변환하는 방식)를 할 때 참조할 그래프의 길이
• hop_length : 얼마만큼 시간 주기를 이동하면서 분석을 할 것인지 (칼라맵의 시간 주기)
• n_fft : win_length보다 길 경우 모두 zero padding해서 처리하기 위함 (default는 win_length와 같음)

https://hyongdoc.tistory.com/401

 

 

 

 

 

 

그래프 X, Y 축은 이런 식으로 흘러간다

https://012vision.tistory.com/m/entry/draw-wav-frequency