It mjitten fan fariaasje yn útspraak
In fiifstappeproses wêrmei’t metten wurdt hoe’t klinkers en bylûden yn útspraak ferskille tusken Fryske en Nederlânske sprekkers.
Utgeande fan in rige lûdsopnamen, ien rige de sprekker, wêrby’t elke sprekker of Frysk of Nederlânsk praat, is it ús doel om fariaasje yn de útspraak fan klinkers en/of bylûden te mjitten. Om dit te berikken, folgje wy op dit stuit de hjirûnder beskreaune stappen.
Pipeline VAD > ASR > MFA > new-fave/PraatSauce > statistics/visualization
Voice Activity Detection (VAD) is in technyk dy’t brûkt wurdt om automatysk segminten fan in audio-opname te identifisearjen dy’t spraak befetsje, en dy te ûnderskieden fan stilte of eftergrûnlûd. Dêrfoar meitsje wy gebrûk fan Silero VAD, in op neurale netwurken basearre VAD-systeem dat automatysk spraaksegminten yn audio-opnamen identifisearret. Oars as tradisjonele VAD-metoaden dy’t benammen gebrûk meitsje fan akoestyske skaaimerken lykas sinjaalenerzjy, makket Silero VAD gebrûk fan in foarôf traind deep learning-model om spraak te ûnderskieden fan stilte en eftergrûnlûd, wêrtroch’t it bysûnder robúst is ûnder útdaagjende opname-omstannichheden. Silero VAD is traind op spraakgegevens út mear as 6.000 talen. It is dêrom geskikt foar it detektearjen fan spraak yn sawol Fryske as Nederlânske opnamen, sûnder dat der taalspesifike training nedich is. Sjoch ek op https://github.com/snakers4/silero-vad.
AAutomatyske spraakwerkenning (ASR) is in technology dy’t sprutsen taal yn audio-opnamen automatysk omset yn skreaune tekst. Yn dizze stap fan de ferwurkingsrige wurde de spraakynterfallen, dy’t yn de foargeande stap identifisearre en opslein binne, yn in Praat TextGrid, mei help fan ASR ortografysk transkribearre. Hjirfoar kinne Whisper- of wav2vec-modellen brûkt wurde.
Foar it Frysk brûke wy in foarôf traind wav2 vec 2.0-model, nammentlik greenw0lf/wav2vec2-large-xls-r-1b-frisian-cv-8-large-train. Foar it Nederlânsk brûke wy it foarôf trainde wav2vec 2.0-model jonatasgrosman/wav2vec2-xls-r-1b-dutch.
Wy hawwe ek eksperimintearre mei it meartalige Whisper large-v3-turbo-model. Hoewol’t dat model in breed skala oan talen stipet, heart it Frysk net ta de offisjeel stipe talen. It Nederlânsk wurdt wol stipe, mar wy hawwe konstatearre dat wannear’t it model wurden net korrekt werkende, it bytiden tekens út oare skriftsystemen produsearre, lykas it Syrillyske alfabet. Soksoarte transkripsjeflaters binne benammen problematysk foar de folgjende faze fan ús ferwurkingsproses. Om dy redenen jouwe wy op dit stuit de foarkar oan de taalspesifike wav2vec-modellen boppe Whisper.
Om dizze modellen te draaien, brûke wy in GPU dy’t host wurdt troch LeafCloud, in klimaatfreonlike oanbieder fan cloud computing.
Sadree’t de spraakynterfallen dutsen binne en ortografysk transkribearre binne, brûke wy ‘forced alignment’ om de spraakopnames te segmintearjen yn ôfsûnderlike spraakklanken. ‘Forced alignment’ is in technyk dy’t in bekende fonetyske transkripsje automatysk ôfstimt op de byhearrende audio-opname, wêrby’t de begjin- en eintiden fan ôfsûnderlike wurden en spraakklanken bepaald wurde. De fonetyske transkripsjes dy’t foar dit proses nedich binne, wurde generearre op basis fan ’e ortografyske transkripsjes dy’t troch ASR produsearre binne, wêrby’t wy foar it Frysk G2P Frysk brûke en foar it Nederlânsk G2P Nederlânsk.
Foar ‘forced alignment’ meitsje wy gebrûk fan de Montreal Forced Aligner. MFA is keazen omdat it foar eltse taal traind wurde kin, mits der geskikte trainingsgegevens beskikber binne, en omdat it relatyf goede útliningen opsmyt. Wy hawwe ôfsûnderlike akoestyske modellen foar it Frysk en it Nederlânsk traind mei help fan datasets fan it Mozilla Data Collective, benammen de Common Voice Scripted Speech-korpora. Foar it Frysk hawwe wy ferzje 22 brûkt, besteande út 9053 uteringen fan 1367 sprekkers, mei in totale doer fan 12,97 oeren. De Nederlânske dataset bestie út 92.942 útspraken fan 562 sprekkers, mei in totale doer fan 116,13 oeren. Nei it trainen waarden de yn it foar trainde akoestyske modellen oanpast oan de skaaimerken fan de doelopnamen mei help fan de ynboude adapt-funksjonaliteit fan MFA.
Foar elke audio-opname generearret MFA in Praat TextGrid mei twa annoataasjenivo’s. It earste nivo ferdielt de spraak yn wurdynterfallen, wylst it twadde nivo elk wurd segmintearret yn ôfsûnderlike spraakklanken, labele mei de byhearrende fonetyske symboalen. Dizze yn de tiid útline fonetyske segminten foarmje de basis foar dêropfolgjende akoestyske mjittingen fan klinkers en bylûden.
Foar it mjitten fan de doer, f0 en formanten fan de klinkers brûke wy of in Praat-skript ofwol New-FAVE, in helpmiddel dy’t spesifyk ûntwurpen is foar it ekstrahearjen en optimalisearjen fan formantmjittings fan klinkers. New-FAVE makket gebrûk fan de FastTrack-metoade, dy’t meardere kandidaat-formanttrajekten evaluearret en de meast plausibele selektearret op basis fan harren akoestyske skaaimerken en de ferdieling fan klinkers binnen en tusken sprekkers.
Wy brûke PraatSauce om akoestyske eigenskippen te mjitten dy’t ferbân hâlde mei stimkwaliteit en fonaasje, lykas f0, H1H2c, HNR25 en CPP.
Statistyske analyzes wurde útfierd yn R om de (sosjo)linguistyske ferklearjende fariabelen te identifisearjen dy’t ferantwurdlik binne foar de fariaasje yn ‘e akoestyske mjittingen, werjûn troch de responsfariabele.
* Stappen 2-5 binne tapast op it Boarnsterhim-korpus. Stap 1 waard oerslein omdat de sinnen al hânmjittich segmintearre wiene. Dit korpus is gearstald troch Marjoleine Sloos en ferbettere troch Martijn Kingma, Femke van Seijen en Hans Van de Velde. De stappen 1 oant en mei 5 binne tapast op it Frysk-Nederlânske Read-korpus. Dit korpus is gearstald troch Nanna Hilton, Amber Nota en Matt Coler.
Wa is behelle
Wilbert Heeringa
Undersiker
Wilbert Heeringa is ûndersiker by de Fryske Akademy en hâldt him dwaande mei dialektometry, fonetyk en statistyk. Hy makket gebrûk fan dialektasjonele metoaden om dialektfariaasje en feroaringen yn wurdskat, morfology en útspraak te mjitten, en ûntwikkelet helpmiddels foar fonetysk ûndersyk, lykas Visible Sounds.
