Methodiek Keuzegids Hbo 2019: Berekeningen

Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 5-puntsschaal, die loopt van ( – – -) via o tot (++). Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:

1. Klassengrenzen voor studiesuccescijfers per opleiding

Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:

De symbolen ‘- – -‘ tot en met ‘++’ geven aan in welke mate een opleiding afwijkt van de door de Keuzegids gehanteerde norm. Voor onze ‘gewogen’ berekening van de survival in het eerste jaar: zie de pagina over de bronnen.

2. Berekening studentenoordelen

De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studenten Enquête (NSE) 2016 tm 2018. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” uit juni 2018. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.

Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.

Onze bewerkingsstappen

Onze bewerking van de studentenoordelen omvat de volgende stappen:

1. Berekening van gemiddelde vraagscores per opleiding

2. Berekening landelijk Hbo-gemiddelde per vraag – met weging op basis van populatieverhoudingen

3. Selectie van 29 representatieve vragen, met optimale aansluiting op vragen uit het verleden

4. Schrappen of bundelen (2 of 3 enquêtejaren, of verwante opleidingen) van alle oordelen met te kleine steekproef of te grote onbetrouwbaarheid

5. Ordening in 6 hoofdthema’s + berekening van themascores per opleiding/groep opleidingen

6. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids

7. Toepassing klassenindeling

8. Controle kansverdeling

9. Verwerking in de rankingtabellen, samen met studiesuccescijfers en accreditatiecores.

In stap 4 zijn wij strenger dan andere rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en in de jaarlijkse uitgave van Elsevier sommige opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.

In stap 3 en 5 destilleren wij uit een veelheid van 100 enquêtevragen de essentie over onderwijskwaliteit.

De thema-indeling

Er is dit jaar een wijziging vergeleken met de Keuzegidseditie 2018. Het thema begeleiding is niet meegeteld, om ruimte te maken voor de oordelen over het aantal contacturen.

STUDENTENOORDELEN KEUZEGIDS HBO 2019: Indeling thema’s
Hoofdthema en weging* Vraagnr Korte formulering
1. INHOUD PROGRAMMA: 10% Inh-1 Niveau van de stof
Inh-4 Onderwijs stimulerend
Inh-6 Samenhang programma
Inh-7 Gehanteerde werkvormen
Uitd-1 Uitgedaagd ’t beste uit jezelf te halen
2. TOETSING: 10% Toe-1 Duidelijke criteria
Toe-2 aansluiting op de stof
Toe-4 Toetsing op kennis/inzicht
Toe-5 Toetsing vaardigheden
3. DOCENTEN: 10% Doc-1 Docenten deskundig
Doc-2 Didactische kwaliteit docenten
Doc-5 Begeleiding docenten
Doc-6 Feedback van docenten
4. VAARDIGHEDEN: 10% AIV-1 Stimuleren kritische houding
AIV-3 Leer probleemoplossen
AIV-4 Onderbouwen conclusies
Wetv-1 Analytisch denken
Wetv-2 Onderzoek lezen/beoordelen
5. VOORBEREIDING LOOPBAAN: 10% VbB-1 Opdoen vaardigheden beroep
VbB-2 Praktijkgerichtheid
VbB-3 Contact Beroepspraktijk
7. FACILITEITEN: 10% Sfa-1 Kwaliteit onderwijsruimten
Sfa-3 Werkplekken zelfstudie
Sfa 5 Bibliotheek
Sfa-6 ICT-faciliteiten
Sfa-7 Digitale leeromgeving
* De studentenoordelen wegen samen voor 60% mee in de ranglijsten van de Keuzegids

Alle oordelen zijn steeds vergeleken met het landelijke HBO-gemiddelde. Hier geven wij de klassengrenzen per hoofdthema. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studenten Enquête, maar in de Keuzegids worden de verschillen uitvergroot. Elke kwaliteitsklasse is daarbij 0,2 tot 0,3 punt breed. Deze klassenbreedte is ontleend aan de standaarddeviaties en betrouwbaarheidsmarges van alle oordelen.

Normen studentenoordelen Keuzegids HBO 2018
Gemidd  – – – – –    o +  + +       * (2)
Contacturen (1)
2,93
<1,975 >1,975 >2,355 >2,735 >3,115 >3,495 >3,875
Inhoud 3,66 <3,035 <3,035 >3,285 >3,535 >3,785 >4,035
Toetsing 3,62 <3,02 >3,02 >3,26 >3,50 >3,74 >3,98
Docenten 3,63 <2,905 >2,905 >3,195 >3,485 >3,775 >4,065
Vaardigheden 3,74 <3,215 >3,215 >3,425 >3,635 >3,845 >4,055
Voorb. loopbaan 3,71 <2,885 >2,885 >3,215 >3,545 >3,875 >4,205
Faciliteiten 3,54 <2,815 >2,815 >3,105 >3,395 >3,685 >3,975

1)Dit is het gemiddelde van Contact01 (schatting uren) en Contact 02 (genoeg of niet?)
2) Zeer hoge aantallen contacturen zijn minder gunstig. Dit tellen wij als ‘enkele plus’

Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (”o”), bijna 25% kans op een enkele min (“-“) en idem op een enkele plus (“+”)’. De kans op een sterk positieve of negatieve score is tweemaal ruim 5%.

Hieronder geven wij de frequentieverdeling van alle scores in de Keuzegids – inclusief die voor studiesucces en expertoordelen (zie hierna). Het is geen toeval dat het aantal positieve oordelen groter is dan het aantal negatieve. Positieve oordelen vallen vaker bij kleine opleidingen, en negatieve oordelen vaker bij grote opleidingen. Het rechter- en linkerdeel van de grafiek representeren dus een even groot aantal studenten.

3. De expertoordelen: drie soorten NVAO-besluiten; normstelling

Het ‘expertoordeel’ in de Keuzegids is gebaseerd op de oordelen uit NVAO-accreditatiebesluiten. Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met drie soorten besluiten, met elk een verschillende set aspectoordelen.

a.   Oude accreditatiebesluiten (genomen vóór herfst 2012). 7 beoordeelde onderwerpen. 21 facetten of aspecten.

b.   Nieuw, Uitgebreide Toets. 16 beoordeelde facetten

c.   Nieuw, Beperkte Toets. 3 beoordeelde hoofdissues, 1 totaaloordeel

Van de nieuwe Beperkte Toets worden alle oordelen door ons gebruikt. Bij de twee uitgebreide typen besluit hebben wij de aspecten geselecteerd die het meest overeenkomen met de criteria van de beperkte toets.

Een opleiding die louter ‘voldoende’ scoort, krijgt van ons ook een neutraal expertoordeel (‘o’). Bij positieve oordelen over meerdere aspecten wordt dit een enkele of een dubbele plus. En een opleiding die op de door ons gekozen thema’s van de NVAO een onvoldoende krijgt, krijgt in de Keuzegids ALTIJD een minteken voor het expertoordeel. De exacte berekeningswijze wordt toegelicht op de pagina over expertoordelen.

4. Berekening totaalscore per opleiding

De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:

Totaalscore = Som (deelscores) x 2

Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. De uitersten liggen in de praktijk bij 20 en 106 punten.

5. Ranking in artikel “De beste scholen”

Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:

stap 1: vergelijking met verwante opleidingen

We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.

stap 2: elke opleiding weegt zo zwaar als hij groot is

We berekenen een gewogen* instellingsgemiddelde

(*weegfactor is de instroom van de opleiding)

Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.

Voorbeeld: een hogeschool heeft drie opleidingen:

– De pabo scoort 66 punt, 4 punt onder het pabogemiddelde. De instroom is 200.

– De opleiding verpleegkunde scoort 68 punt, 6 punten boven het Verpleegkunde-gemiddelde. De instroom is 100

– De opleiding bedrijfskunde scoort 64 punten, is +4. Deze opleiding telt 400 eerstejaars.

De berekening gaat nu als volgt:

– Pabo: – 4 x 200 = – 800 punt

– Verpleegkunde: + 6 x 100 = + 600 punt

– Bedrijfskunde: + 4 x 400 = +1600 punt

Totaal: 1400 punten / 700* = + 2 punten

*) 700 = de optelsom van de drie instromen.

Dit getal wordt opgeteld bij de gewogen gemiddelde totaalscore van alle opleidingen. Dit gemiddelde is 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.

NB: bij instellingen met maar één opleiding zal de instellingsscore dus vaak afwijken van de score in de opleidingstabel!

Als bovenstaande hogeschool alleen een pabo had, zouden we de volgende scores zien:

– Opleidingsscore: 66, (maar wel 4 punt onder het landelijke pabo gemiddelde)

– Instellingsscore 60 – 4 = 56!

Het verschil is dat de instellingsscore een “correctie voor disciplinemix” bevat, omdat het (nog steeds in dit voorbeeld) met een pabo makkelijker is om 66 punten te scoren dan met een opleiding bedrijfskunde.