Het meten van variatie in uitspraak

Voice Activity Detection (VAD) is een techniek die wordt gebruikt om automatisch segmenten van een audio-opname te identificeren die spraak bevatten en deze te onderscheiden van stilte of achtergrondgeluid. Hiervoor gebruiken we Silero VAD, een op neurale netwerken gebaseerd Voice Activity Detection-systeem dat automatisch spraaksegmenten in audio-opnames identificeert. In tegenstelling tot traditionele VAD-methoden die voornamelijk steunen op akoestische kenmerken zoals signaalenergie, maakt Silero VAD gebruik van een vooraf getraind deep learning-model om spraak te onderscheiden van stilte en achtergrondgeluid, waardoor het bijzonder robuust is onder uitdagende opnameomstandigheden. Silero VAD is getraind op spraakgegevens uit meer dan 6.000 talen. Het is daarom geschikt voor het detecteren van spraak in zowel Friese als Nederlandse opnames zonder dat er taalspecifieke training nodig is. Zie https://github.com/snakers4/silero-vad.

Automatische spraakherkenning (ASR) is een technologie die gesproken taal in audio-opnames automatisch omzet in geschreven tekst. In deze stap van de verwerkingsketen worden de spraakintervallen die in de voorgaande stap zijn geïdentificeerd en opgeslagen in een Praat TextGrid, met behulp van ASR orthografisch getranscribeerd. Hiervoor kunnen Whisper- of wav2vec-modellen worden gebruikt.

Voor het Fries gebruiken we een vooraf getraind wav2vec 2.0-model, namelijk greenw0lf/wav2vec2-large-xls-r-1b-frisian-cv-8-large-train. Voor het Nederlands gebruiken we het vooraf getrainde wav2vec 2.0-model jonatasgrosman/wav2vec2-xls-r-1b-dutch.

We hebben ook geëxperimenteerd met het meertalige Whisper large-v3-turbo-model. Hoewel dit model een breed scala aan talen ondersteunt, behoort het Fries niet tot de officieel ondersteunde talen. Het Nederlands wordt wel ondersteund, maar we hebben geconstateerd dat wanneer het model woorden niet correct herkende, het af en toe tekens uit andere schriftsystemen produceerde, zoals het Cyrillische alfabet. Dergelijke transcriptiefouten zijn met name problematisch voor de volgende fase van onze verwerkingspijplijn. Om deze redenen geven we momenteel de voorkeur aan de taalspecifieke wav2vec-modellen boven Whisper.

Om deze modellen te draaien, maken we gebruik van een GPU die wordt gehost door LeafCloud, een klimaatvriendelijke aanbieder van cloudcomputing.

Zodra de spraakintervallen zijn gedetecteerd en orthografisch zijn getranscribeerd, gebruiken we ‘forced alignment’ om de spraakopnames te segmenteren in afzonderlijke spraakklanken. Forced alignment is een techniek die een bekende fonetische transcriptie automatisch afstemt op de bijbehorende audio-opname, waarbij de begin- en eindtijden van afzonderlijke woorden en spraakklanken worden bepaald. De fonetische transcripties die voor dit proces nodig zijn, worden gegenereerd op basis van de orthografische transcripties die door ASR zijn geproduceerd, waarbij we voor het Fries G2P Frysk gebruiken en voor het Nederlands G2P Nederlands.

Voor forced alignment maken we gebruik van de Montreal Forced Aligner. MFA is gekozen omdat het voor elke taal kan worden getraind, mits er geschikte trainingsgegevens beschikbaar zijn, en omdat het relatief goede uitlijningen oplevert. We hebben afzonderlijke akoestische modellen voor het Fries en het Nederlands getraind met behulp van datasets van het Mozilla Data Collective, met name de Common Voice Scripted Speech-corpora. Voor het Fries hebben we versie 22 gebruikt, bestaande uit 9053 uitingen van 1367 sprekers, met een totale duur van 12,97 uur. De Nederlandse dataset bestond uit 92.942 uitspraken van 562 sprekers, met een totale duur van 116,13 uur. Na het trainen werden de vooraf getrainde akoestische modellen aangepast aan de kenmerken van de doelopnames met behulp van de ingebouwde adapt-functionaliteit van MFA.

Voor elke audio-opname genereert MFA een Praat TextGrid met twee annotatieniveaus. Het eerste niveau verdeelt de spraak in woordintervallen, terwijl het tweede niveau elk woord segmenteert in afzonderlijke spraakklanken, gelabeld met de bijbehorende fonetische symbolen. Deze in de tijd uitgelijnde fonetische segmenten vormen de basis voor daaropvolgende akoestische metingen van klinkers en medeklinkers.

Voor het meten van de duur, f0 en formanten van de klinkers gebruiken we ofwel een Praat-script ofwel New-FAVE, een tool die specifiek is ontworpen voor het extraheren en optimaliseren van formantmetingen van klinkers. New-FAVE maakt gebruik van de FastTrack-methode, die meerdere kandidaat-formanttrajecten evalueert en de meest plausibele selecteert op basis van hun akoestische kenmerken en de verdeling van klinkers binnen en tussen sprekers.

We gebruiken PraatSauce om akoestische eigenschappen te meten die verband houden met stemkwaliteit en fonatie, zoals f0, H1H2c, HNR25 en CPP.