Keuzegids Hbo 2016: Berekeningswijze en normen

Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 5-puntsschaal, die loopt van ( – -) via o tot (++). Bij de studentenoordelen worden extreme uitschieters ook met 3 plussen of minnen weergegeven. Daar is dus sprake van een 7-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

1. Klassengrenzen voor studiesucces-cijfers per opleiding

Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:

Norm studiesucces Keuzegids HBO 2016
Score Symbool Survival 1e jaar Diploma na 5 jaar
1 tot 0,60 tot 0,28
2 tot 0,69 tot 0,42
3 o tot 0,78 tot 0,56
4 + tot 0,87 tot 0,70
5 ++ boven 0,87 boven 0,70

De symbolen ‘- -‘ en ‘++’ geven in dit geval aan in welke mate een opleiding afwijkt van de door de Keuzegids gehanteerde norm. De gemiddelde Hbo-opleiding heeft in het eerste studiejaar een wat hogere survival dan onze norm, maar het feitelijke aantal geslaagden na 5 jaar ligt vergeleken met onze norm juist aan de lage kant.

2. Berekening studentenoordelen

De studentenoordelen, en de schattingen van het aantal contacturen, zijn gebaseerd op resultaten van de Nationale Studentenenquête (NSE) 2013 tm 2015. Er is hoofdzakelijk gewerkt met oordelen uit 2015, maar vooral bij kleinere opleidingen was ook gebruik van oordelen uit eerder jaren nodig. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” uit juni 2015. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerking van de studentenoordelen omvat de volgende stappen:

1. Opschonen = schrappen van respondenten die minder dan 90% van de relevante vragen beantwoorden

2. Berekening van gemiddelde vraagscores per opleiding, voor de overgebleven respondenten

3. Berekening landelijk Hbo-gemiddelde per vraag – met weging op basis van populatieverhoudingen

4. Selectie van 33 representatieve vragen, met optimale aansluiting op vragen uit het verleden

5. Schrappen of bundelen (2 of 3 enquêtejaren, of verwante opleidingen) van alle oordelen met te kleine steekproef of te grote onbetrouwbaarheid

6. Ordening in 6 hoofdthema’s + berekening van themascores per opleiding/groep opleidingen

7. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids

8. Toepassing klassenindeling

9. Controle kansverdeling

10. Verwerking in de rankingtabellen, samen met studiesuccescijfers en accreditatiecores.

In stap 1 en 5 zijn wij strenger dan andere rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en NSE Online en in de jaarlijkse uitgave van Elsevier sommige opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 4, 6 en 7 proberen wij uit een veelheid van 100 enquêtevragen de essentie over onderwijskwaliteit te destilleren.

Met stap 1, 2 en 6 tenslotte vermijden wij dat de beoordeling van opleidingen wordt vertekend door verschillen in wel/niet beantwoorde vragen (anders kan een opleiding ervan profiteren als een ‘lastige’ vraag enkele malen niet beantwoord is)

Hierna focussen wij op de thema-indeling en de klassengrenzen. Allereerst wordt hier de selectie en thema-indeling van vragen toegelicht:

Alle oordelen zijn steeds vergeleken met het landelijke HBO-gemiddelde. Hier geven wij de klassengrenzen per hoofdthema. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studentenenquête, maar in de Keuzegids worden de verschillen uitvergroot. Elke kwaliteitsklasse is daarbij 0,2 tot 0,3 punt breed. Deze klassenbreedte is ontleend aan de standaarddeviaties en betrouwbaarheidsmarges van alle oordelen.

Aangepaste werkwijze ‘contacturen’

In de NSE wordt aan de studenten (a) een schatting gevraagd van het aantal contacturen dat ze per week met docenten hebben; verder (b) wordt hen gevraagd of dit aantal te weinig, genoeg of te veel is. Beide vragen resulteren in een score op een 5-puntsschaal. Maar beide schalen hebben een fundamenteel andere betekenis dan een normale lineaire vijfpuntsschaal. Meer is hier niet per definitie beter, er is eerder spraker van een ‘optimum’.

In de praktijk zit de grote meerderheid van de opleidingen echter op een relatief laag aantal contacturen en krijgt ook minder dan 5% van alle hbo-bacheloropleidingen bij vraag (b) een gemiddelde score die duidt op ‘IETS te veel’ contacturen. Daarom behandelen wij deze scores toch grotendeels alsof ze op een ‘lineaire’ schaal zijn gemaakt. Het gemiddelde van vraag (a) en vraag (b) is de grondslag voor de gepubliceerde score. Hierbij is geen onderscheid gemaakt tussen eerste- en ouderejaars studenten. Een van de redenen is dat het opsplitsen van steekproeven in kleinere groepen studenten gepaard gaat met grotere onbetrouwbaarheid van de resultaten.

Voor alle vijf de hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (”o”), bijna 25% kans op een enkele min (“-“) en idem op een enkele plus (“+”)’. De kans op een sterk positieve of negatieve score is tweemaal ruim 5%.

Hieronder geven wij de frequentieverdeling van alle oordelen. NB: het is geen toeval dat het aantal positieve oordelen groter is dan het aantal negatieve. Positieve oordelen vallen vaker bij kleine opleidingen, en negatieve oordelen vaker bij grote opleidingen. Het rechter- en linkerdeel van de grafiek representeren dus een even groot aantal studenten.

3. De expertoordelen: drie soorten NVAO-besluiten; normstelling

Het ‘expertoordeel’ in de Keuzegids is gebaseerd op de oordelen uit NVAO-accreditatiebesluiten. Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met drie soorten besluiten, met elk een verschillende set aspectoordelen.

a.   Oude accreditatiebesluiten (genomen vóór herfst 2012). 7 beoordeelde onderwerpen. 21 facetten of aspecten.

b.   Nieuw, Uitgebreide Toets. 16 beoordeelde facetten

c.   Nieuw, Beperkte Toets. 3 beoordeelde hoofdissues, 1 totaaloordeel

Van de nieuwe Beperkte Toets worden alle oordelen door ons gebruikt. Bij de twee uitgebreide typen besluit hebben wij de aspecten geselecteerd die het meest overeenkomen met de criteria van de beperkte toets.

Een opleiding die louter ‘voldoende’ scoort, krijgt van ons ook een neutraal expertoordeel (‘o’). Bij positieve oordelen over meerdere aspecten wordt dit een enkele of een dubbele plus. En een opleiding die op de door ons gekozen thema’s van de NVAO een onvoldoende krijgt, krijgt in de Keuzegids ALTIJD een minteken voor het expertoordeel. De exacte berekeningswijze wordt toegelicht in een apart document.

4. Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = Som (deelscores) x 2

Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. De uitersten liggen in de praktijk bij 20 en 106 punten. Die laatste bovenmatige uitschieter is een kleinschalige en zeer intensieve dansopleiding in Amsterdam..

5. Gewogen scores per instelling

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is de instroom van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een hogeschool heeft drie opleidingen:

– De pabo scoort 66 punt, 4 punt onder het pabogemiddelde. De instroom is 200.

– De opleiding verpleegkunde (Vplk) scoort 68 punt, 6 punten boven het gemiddelde. De instroom is 100

– De opleiding bedrijfskunde (Bdrk) scoort 64 punten, is +4. Deze opleiding telt 400 eerstejaars.

De berekening gaat nu als volgt:

– Pabo: – 4 x 200 = – 800 punt

– Vplk: + 6 x 100 = + 600 punt

– Bdrk: + 4 x 400 = +1600 punt

Totaal: 1400 punten / 700* = + 2 punten

*) 700 = de optelsom van de drie instromen.

Dit getal wordt opgeteld bij de gewogen gemiddelde totaalscore van alle opleidingen. Dit gemiddelde is 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.

NB: bij instellingen met maar één opleiding zal de instellingsscore dus vaak afwijken van de score in de opleidingstabel!

Als bovenstaande hogeschool alleen een pabo had, zouden we de volgende scores zien:

– Opleidingsscore: 66, (maar wel 4 punt onder het landelijke pabo gemiddelde)

– Instellingsscore 60 – 4 = 56!

Het verschil is dat de instellingsscore een “correctie voor disciplinemix” bevat, omdat het (nog steeds in dit voorbeeld) met een pabo makkelijker is om 66 punten te scoren dan met een opleiding bedrijfskunde.