Keuzegids Hbo 2018: Berekeningswijze en normen
Voor de ranglijsten van de Keuzegids zijn originele gegevens omgerekend naar een 5-puntsschaal, die loopt van ( – -) via o tot (++). Bij sommige onderwerpen worden extreme uitschieters ook met 3 plussen of minnen weergegeven. Daar is dus sprake van een 7-puntsschaal. Per type gegevens lichten wij hier de berekeningswijze en de gehanteerde normen toe:
1. Klassengrenzen voor studiesucces-cijfers per opleiding
Elke opleiding krijgt plussen en minnen toegekend, volgens onderstaande normen:
| Score | Symbool | Survival 1e jaar | Diploma na 5 jaar |
|---|---|---|---|
| 0 | – – – | tot 0,51 | nvt |
| 1 | – – | tot 0,60 | tot 0,28 |
| 2 | – | tot 0,69 | tot 0,42 |
| 3 | o | tot 0,78 | tot 0,56 |
| 4 | + | tot 0,87 | tot 0,70 |
| 5 | ++ | boven 0,87 | boven 0,70 |
De symbolen ‘- – -‘ tot en met ‘++’ geven aan in welke mate een opleiding afwijkt van de door de Keuzegids gehanteerde norm. Voor onze ‘gewogen’ berekening van de survival in het eerste jaar: zie het bestand: “gegevens en bronnen”
2. Berekening studentenoordelen
De studentenoordelen zijn gebaseerd op resultaten van de Nationale Studenten Enquête (NSE) 2015 tm 2017. Het betreft eigen selecties en bewerkingen van deze oordelen, afkomstig uit het “landelijk benchmarkbestand” uit mei 2016. De oordelen zijn niet 1-op-1 af te leiden uit publicaties zoals die op de website Studiekeuze123.
Wij geven hier de essentie van onze bewerkingen en normen weer, als verantwoording voor een breed publiek. Voor instellingen die interesse hebben in gedetailleerde rapportage over sterke en zwakke punten van opleidingen (inclusief meerjarige trend) bestaat de mogelijkheid om speciale benchmarkrapporten te bestellen bij het Centrum Hoger Onderwijs Informatie.
Onze bewerkingsstappen
Onze bewerking van de studentenoordelen omvat de volgende stappen:
1. Berekening van gemiddelde vraagscores per opleiding, voor de overgebleven respondenten
2. Berekening landelijk Hbo-gemiddelde per vraag – met weging op basis van populatieverhoudingen
3. Selectie van 33 representatieve vragen, met optimale aansluiting op vragen uit het verleden
4. Schrappen of bundelen (2 of 3 enquêtejaren, of verwante opleidingen) van alle oordelen met te kleine steekproef of te grote onbetrouwbaarheid
5. Ordening in 6 hoofdthema’s + berekening van themascores per opleiding/groep opleidingen
6. Bepaling klassengrenzen per hoofdthema, voor +/- scores in de Keuzegids
7. Toepassing klassenindeling
8. Controle kansverdeling
9. Verwerking in de rankingtabellen, samen met studiesuccescijfers en accreditatiecores.
In stap 5 zijn wij strenger dan andere rapportages over de Nationale Studenten Enquête. Dit betekent dat op de websites van Studiekeuze123 en in de jaarlijkse uitgave van Elsevier sommige opleidingen een oordeel krijgen op een volgens ons te smalle statistische basis.
In stap 3 en 5 destilleren wij uit een veelheid van 100 enquêtevragen de essentie over onderwijskwaliteit.
De vernieuwde thema-indeling
Dit jaar heeft de Keuzegids-redactie de thema-indeling gewijzigd. Hier de actuele thema-indelingen:
| Hoofdthema en weging* | Vraagnr | Korte formulering |
|---|---|---|
| 1. INHOUD PROGRAMMA: 10% | Inh-1 | Niveau van de stof |
| Inh-4 | Onderwijs stimulerend | |
| Inh-6 | Samenhang programma | |
| Inh-7 | Gehanteerde werkvormen | |
| Uitd-1 | Uitgedaagd ’t beste uit jezelf te halen** | |
| 2. TOETSING: 10% | Toe-1 | Duidelijke criteria |
| Toe-2 | aansluiting op de stof | |
| Toe-4 | Toetsing op kennis/inzicht | |
| Toe-5 | Toetsing vaardigheden | |
| 3. DOCENTEN: 10% | Doc-1 | Docenten deskundig |
| Doc-2 | Didactische kwaliteit docenten | |
| Doc-5 | Begeleiding docenten | |
| Doc-6 | Feedback van docenten | |
| 4. VAARDIGHEDEN: 10% | AIV-1 | Stimuleren kritische houding |
| AIV-3 | Leer probleemoplossen | |
| AIV-4 | Onderbouwen conclusies | |
| Wetv-1 | Analytisch denken | |
| Wetv-2 | Onderzoek lezen/beoordelen | |
| 5. VOORBEREIDING LOOPBAAN: 10% | VbB-1 | opdoen vaardigheden beroep |
| VbB-2 | Praktijkgerichtheid | |
| VbB-3 | Contact Beroepspraktijk | |
| 6. BEGELEIDING: 10% | Sbe-4 | Beschikbaarheid studiebegeleiding |
| Sbe-5 | Kwaliteit studiebegeleiding | |
| Doc-3 | Bereikbaarheid docenten | |
| Doc-4 | Docenten betrokken bij student | |
| 7. FACILITEITEN: 10% | Sfa-1 | Kwaliteit onderwijsruimten |
| Sfa-3 | Werkplekken zelfstudie | |
| Sfa 5 | Bibliotheek | |
| Sfa-6 | ICT-faciliteiten | |
| Sfa-7 | Digitale leeromgeving | |
| * De studentenoordelen wegen samen voor 70% mee in de ranglijsten van de Keuzegids | ||
| ** Deze vraag is dit jaar nieuw opgenomen | ||
Alle oordelen zijn steeds vergeleken met het landelijke HBO-gemiddelde. Hier geven wij de klassengrenzen per hoofdthema. De scores zijn weliswaar afgeleid van de 5-puntsschaal van de Nationale Studenten Enquête, maar in de Keuzegids worden de verschillen uitvergroot. Elke kwaliteitsklasse is daarbij 0,2 tot 0,3 punt breed. Deze klassenbreedte is ontleend aan de standaarddeviaties en betrouwbaarheidsmarges van alle oordelen.
| Gemidd | – – – | – – | – | o | + | + + | + + + | |
|---|---|---|---|---|---|---|---|---|
| Inhoud | 3,68 | < 3,13 | > 3,13 | > 3,35 | > 3,57 | > 3,79 | > 4,01 | > 4,23 |
| Toetsing | 3,63 | < 3,105 | > 3,105 | > 3,315 | > 3,525 | > 3,735 | > 3,945 | > 4,155 |
| Docenten | 3,64 | < 2,99 | > 2,99 | > 3,25 | > 3,51 | > 3,77 | > 4,03 | > 4,29 |
| Vaardigheden | 3,75 | < 3,30 | > 3,30 | > 3,48 | > 3,66 | > 3,84 | > 4,02 | > 4,20 |
| Voorb. loopbaan | 3,74 | < 3,015 | > 3,015 | > 3,305 | > 3,595 | > 3,885 | > 4,175 | > 4,465 |
| Begeleiding | 3,68 | < 2,98 | > 2,98 | > 3,26 | > 3,54 | > 3,82 | > 4,10 | > 4,38 |
| Faciliteiten | 3,51 | < 2,835 | > 2,835 | > 3,105 | > 3,375 | > 3,645 | > 3,915 | > 4,185 |
Voor alle hoofdthema’s geldt een vergelijkbare kansverdeling van de verschillende scores. Elke opleiding heeft bijna 40% kans op een gemiddelde score (”o”), bijna 25% kans op een enkele min (“-“) en idem op een enkele plus (“+”)’. De kans op een sterk positieve of negatieve score is tweemaal ruim 5%.
Hieronder geven wij de frequentieverdeling van alle scores in de Keuzegids – inclusief die voor studiesucces en expertoordelen (zie hierna). Het is geen toeval dat het aantal positieve oordelen groter is dan het aantal negatieve. Positieve oordelen vallen vaker bij kleine opleidingen, en negatieve oordelen vaker bij grote opleidingen. Het rechter- en linkerdeel van de grafiek representeren dus een even groot aantal studenten.
3. De expertoordelen: drie soorten NVAO-besluiten; normstelling
Het ‘expertoordeel’ in de Keuzegids is gebaseerd op de oordelen uit NVAO-accreditatiebesluiten. Vanwege de geleidelijke vernieuwing van het accreditatiestelsel (oude oordelen blijven doorgaans zes jaar geldig!), hebben we te maken met drie soorten besluiten, met elk een verschillende set aspectoordelen.
a. Oude accreditatiebesluiten (genomen vóór herfst 2012). 7 beoordeelde onderwerpen. 21 facetten of aspecten.
b. Nieuw, Uitgebreide Toets. 16 beoordeelde facetten
c. Nieuw, Beperkte Toets. 3 beoordeelde hoofdissues, 1 totaaloordeel
Van de nieuwe Beperkte Toets worden alle oordelen door ons gebruikt. Bij de twee uitgebreide typen besluit hebben wij de aspecten geselecteerd die het meest overeenkomen met de criteria van de beperkte toets.
Een opleiding die louter ‘voldoende’ scoort, krijgt van ons ook een neutraal expertoordeel (‘o’). Bij positieve oordelen over meerdere aspecten wordt dit een enkele of een dubbele plus. En een opleiding die op de door ons gekozen thema’s van de NVAO een onvoldoende krijgt, krijgt in de Keuzegids ALTIJD een minteken voor het expertoordeel. De exacte berekeningswijze wordt toegelicht op een andere pagina.
4. Berekening totaalscore per opleiding
De totaalscore van elke opleiding wordt berekend op grond van de scores op de tien deelonderwerpen. Daarbij telt elk onderwerp even zwaar mee. Dit is de formule:
Totaalscore = Som (deelscores) x 2
Het resultaat is een cijfer op een schaal van 0 tot 100. De gemiddelde opleiding scoort ongeveer 60 punten. De uitersten liggen in de praktijk bij 20 en 106 punten. Die laatste bovenmatige uitschieter is een kleinschalige en zeer intensieve dansopleiding in Amsterdam..
5. Gewogen scores per instelling
Voorin deze Keuzegids staan ook ranglijsten met totaalscores voor complete instellingen. Maar hoe kan je instellingen met een heel verschillend studie-aanbod op een eerlijke manier met elkaar vergelijken? Dat wordt gedaan met een speciale berekening:
stap 1: vergelijking met verwante opleidingen
We kijken eerst van elke opleiding of die hoger of lager scoort dan het gewogen* gemiddelde van zijn eigen groep verwante studies. Dat levert een verschilscore op.
stap 2: elke opleiding weegt zo zwaar als hij groot is
We berekenen een gewogen* instellingsgemiddelde
(*weegfactor is de instroom van de opleiding)
Instellingsscore = Som (verschilscore x weegfactor) voor alle opleidingen.
Voorbeeld: een hogeschool heeft drie opleidingen:
– De pabo scoort 66 punt, 4 punt onder het pabogemiddelde. De instroom is 200.
– De opleiding verpleegkunde (Vpk) scoort 68 punt, 6 punten boven het Vpk-gemiddelde. De instroom is 100
– De opleiding bedrijfskunde (Bdrk) scoort 64 punten, is +4. Deze opleiding telt 400 eerstejaars.
De berekening gaat nu als volgt:
– Pabo: – 4 x 200 = – 800 punt
– Vplk: + 6 x 100 = + 600 punt
– Bdrk: + 4 x 400 = +1600 punt
Totaal: 1400 punten / 700* = + 2 punten
*) 700 = de optelsom van de drie instromen.
Dit getal wordt opgeteld bij de gewogen gemiddelde totaalscore van alle opleidingen. Dit gemiddelde is 60 punten. De totaalscore van de instelling voor de ranking is dan 60 + 2 = 62 punten.
NB: bij instellingen met maar één opleiding zal de instellingsscore dus vaak afwijken van de score in de opleidingstabel!
Als bovenstaande hogeschool alleen een pabo had, zouden we de volgende scores zien:
– Opleidingsscore: 66, (maar wel 4 punt onder het landelijke pabo gemiddelde)
– Instellingsscore 60 – 4 = 56!
Het verschil is dat de instellingsscore een “correctie voor disciplinemix” bevat, omdat het (nog steeds in dit voorbeeld) met een pabo makkelijker is om 66 punten te scoren dan met een opleiding bedrijfskunde.