Paměť zvuku
Technické řešení
CHROMA VEKTORY
Časově-frekvenční reprezentace je taková, kdy dostáváme informaci o vývoji frekvenčních složek signálu v čase. V oboru MIR (Music Information Retrieval) se často využívá krátkodobá Fourierova transformace (Short-Time Fourier Transform – STFT) s různými modifikacemi. Zde záleží na lineárním nebo logaritmickém měřítku os, použitém okně (nejčastěji Hannovo), délce okna, jeho překrytí atd. Zastoupení jednotlivých frekvencí ve spektrogramu je však pro náš účel v projektu často nedostatečné – nemáme zde informaci o reprezentaci jednotlivých tónů v rovnoměrně temperovaném ladění.
Proto se využívá chroma reprezentace nazývaná také chroma vektory. Je obdobná STFT, ale na každé vypočítané časové okno ještě aplikujeme specifickou filtraci, díky které zjistíme, jaký podíl modulu mají frekvenční složky signálu ve frekvenčních pásmech, které odpovídají šířce jednotlivých tónů (v praxi lze využít i CQT; Constant-Q transform).
Na obrázku lze vidět příklad standardní STFT na krátké nahrávce klavíru.
Na obrázku je chroma reprezentace stejné nahrávky.
Jako referenční první tón se může využít například kontra C (tedy C1 podle mezinárodní konvence IPN) o frekvenci 32,7 Hz. Dále jsou vypočítány všechny další pásma pro zbylé tóny (většinou se používá 8 oktáv). Výsledná sekvence se však skládá pouze z 12 hodnot (tónových tříd), pro každý tón v jedné oktávě (tedy 12 diskrétních hodnot, půltónů) – hodnoty všech tříd se operací modulo přičtou k jednotlivým vektorům.
Tón E1 v tomto případě nese stejnou informaci jako E2 nebo E4. Jejich zastoupení se tedy akumuluje do jedné výsledné hodnoty. Pokud je k dispozici GPU, lze toho využít pro výpočet chroma vektorů pomocí umělé neuronové sítě, což velmi výrazně urychlý dosažení výsledku pro časově delší nahrávky.
Chroma reprezentace nám může poskytnout informaci o vývoji tónů v čase analyzované nahrávky. Pokud využijeme další metody a technické nástroje, můžeme zjistit harmonii, vývoj melodie nebo podobnost vícera nahrávek mezi sebou. Více informací o chroma vektorech je k dispozici například v edukačních materiálech FMP Notebooks.