zondag 22 maart 2015

Spraakherkenning voor inter- en intra- rater reliability?


Vanaf volgende zomer zal Vreemdelingenzaken Nederland gebruik maken van een automatische spraakherkenning. Immigranten zullen telefonische een inburgeringsexamen afleggen waarbij de software bepaalt welke buitenlander slaagt en welke niet. Er bestaat echter nog veel twijfel of deze spraakherkenningstechnologie al voldoende ontwikkeld is om betrouwbaar te zijn. Zo kan een immigrant bijvoorbeeld buizen wanneer hij woorden als “ehm” gebruikt, een spraakgebrek heeft of in een niet herkend accent spreekt. Toch werd er vastgesteld dat deze manier van examineren significante correlaties toont met de andere taaltesten die voordien werden afgenomen.

Positieve punten van deze technologie:

-          Op deze manier wordt er een standaard ingesteld waaraan alle kandidaten moeten voldoen. Er is dus geen probleem meer betreffende de objectiviteit/subjectiviteit van de examinator.

-          Deze test is makkelijk af te nemen daar de immigrant de toets telefonisch kan afnemen.

-          Er werden significante correlaties gevonden tussen de resultaten van traditionele testen en testen via spraakherkenning.

Negatieve punten van deze technologie:

-          Op klasniveau houdt zo een test (nog) geen rekening met het groeiproces van de leerling. Elke leerling wordt volgens dezelfde norm vergeleken.

-          De software is nog voor verbetering vatbaar daar ze spraakgebreken, stopwoorden of accenten nog niet herkend.

Reflectie:

Inter- en intra- rater reliability is iets waar ik de laatste tijd veel mee bezig ben. Hoe betrouwbaar quoteer ik taaltaken als presentaties, (semi-)spontane dialogen, essays, etc. is een vraag waar al veel onderzoek naar werd gedaan. Zo maakt de literatuur een verschil tussen inter- en intra- rater reliability. Inter rater reliability betekend dat één zelfde test gelijkaardig moet beoordeeld worden door verschillende leerkrachten. Intra daarentegen betekend dat één zelfde leerkracht deze test gelijkaardig beoordeeld op verschillende momenten van de dag, maand of jaar. In de praktijk blijkt deze objectiviteit echter niet zo gemakkelijk als het lijkt. Vaak gebruiken leerkrachten evaluatiefiches maar zelf deze blijken vaak de wensen over te slaan. Hierdoor lijkt mij een software als de spraakherkenningstechnologie een pluspunt in de klas tijdens mondelinge taaltaken. De overheid van Nederland gebruikt deze technologie misschien wel als een manier om het niveau van buitelanders te examineren, maar volgens mij kan deze technologie, mits wat aanpassingen en verbeteringen, zeer goed van pas komen tijdens een taalles. Zo zou deze technologie kunnen bepalen welk niveau een leerling heeft aan het begin van het jaar en kan er op een objectieve manier doorheen het jaar de evolutie worden nagegaan. Verder kan deze software zo ontwikkeld worden dat ze specifieke fouten meld op zowel het niveau van woordenschat, uitspraak, intonatie, etc. Dit zorgt ervoor dat er een gepersonaliseerde feedback kan worden gecreëerd voor elke leerling. Volgens mij heeft deze technologie nog een hele weg af te leggen. Toch zijn heel wat mensen met dit soort software bezig. Een ander voorbeeld hiervan is Duolingo, een mobiele app die ook werk via spraakherkenning om antwoorden en uitspraak te corrigeren. Vermits deze technologie in de opmars is, zie ik veel potentieel om deze ooit te kunnen gebruiken voor examineringen in de klas, wat objectiviteit en differentiatie ten goede zou komen. 

 
 
 

 
http://www.volkskrant.nl/binnenland/taaltoets-verdonk-struikelt-over-falende-technologie~a689889/

Geen opmerkingen:

Een reactie plaatsen