De skæve tal fra Pisa!

DetSkeaveTaarnFundamentet for OECD’s PISA skole-undersøgelser er, at opgaverne er lige lette og svære i alle lande. Det er forudsætningen for, at man kan sammenligne de deltagende lande.

PISA

Undervisningsministeriet valgte i 1997, at Danmark skulle deltage i OECD programmet PISA – Programme for International Student Assessment. PISA skulle måle, hvor godt unge på 15. år er forberedt på at bruge deres kunnen i forhold til udfordringer i det virkelige liv.

Det blev fra starten besluttet, at PISA skulle gennemføres som omfattende kvantitative undersøgelser af survey-typen. PISA blev første  gang gennemført i år 2000 i 32 lande, og herefter hvert tredje år. Foreløbig sidste gang 2012.

Siden de første danske PISA-tal blev offentliggjort i 2000 har undersøgelsen været udsat både for kritik og begejstring. Og resultaterne har mere end noget andet spillet en afgørende rolle i de forandringer af den danske folkeskole, som folketinget har gennemført siden da.

 

 

 

 

*

PISA undersøgelsen er designet så hovedfokus skifter mellem læsning, matematik og naturfag. Målet er at gøre det muligt for myndighederne i de deltagende lande at bedømme, ikke bare deres egne uddannelsessystemers resultater, men også at få en mulighed for at sammenligne med andre lande, og for at få et indtryk af udviklingen over tid – om fx. en særlig satsning på bestemte områder giver sig udslag i bedre resultater.

*
    • Undersøgelsens design og gennemførelse har været forestået af et internationalt konsortium, som har trukket på internationale ekspertgrupper og faglige referencegrupper. Danmark har her været repræsenteret i ekspertgruppen for matematik ved professor Mogens Niss, ligesom Danmark har været repræsenteret i faglige referencegrupper inden for matematik ved lektor Lena Lindenskov og inden for personlige og sociale kompetencer samt problemløsning ved professor Niels Egelund. Annemarie Møller Andersen var repræsentant i den internationale referencegruppe for science (naturfag). Fra 2006 er lektor Jan Mejding repræsenteret inden for læsning.
      *
      • PISA – holder ikke, påviser en førende ekspert
        i pædagogisk statistik. Ved at vælge de opgaver,
        der passer bedst til danske elever, kan han flytte
        Danmark op i top 5.
Professor Svend Kreiner eSvendKreinerr en af de førende danske eksperter i pædagogisk statistik, og han har medvirket ved udarbejdelsen af de danske nationale test.
På et tidspunkt kom han så meget i tvivl, at han besluttede sig for at finde ud af, om fundamentet holder under PISA-undersøgelserne, som har været styrende for Dansk skolepolitik de seneste ti år.
Kreiner undrede sig over PISAs påstand om, at testene skulle være psykometrisk valide, så man kan sammenligne elevernes besvarelser på tværs af sprog, geografi og kultur.

psykometri, måling af mentale evner og færdigheder,
som oftest intelligens, ved hjælp af prøver.

*

“PISA siger selv, at de har brugt Rasch-modellen”, der er udviklet af den danske statistiker Georg Rasch. Det er et krav i Rasch-modellen, at sværhedsgraden er den samme, uanset om opgaven gives til drenge eller piger, jyder eller bornholmere, danskere eller englændere. De letteste PISA-opgaver for danske elever, skal altså også være de letteste for engelske og mexicanske elever, og de sværeste skal være sværest for alle uanset kulturbaggrund.

PISAs tekniske rapporter hævder, at testene overholder Rasch-kravene. Men sådan er det ikke, viser Svend Kreiners analyse af læseopgaverne fra PISA 2006.

*

logooecd

Professor Svend Kreiner har i sin analyse valgt at kigge på Danmark og England, der ligger kulturelt, geografisk og sprogligt tæt på hinanden. Han påviste, at otte af de 27 læseopgaver levede op til Rasch-kravene i de to lande – men det viste sig også, at ni af opgaverne var meget lettere for danske elever end for britiske – så lette, at Danmark var blevet nr. 3 i PISA, hvis det kun var de opgaver, der talte. Tilsvarende var der opgaver, der gav briterne et klart forspring.

Kreiner mener, at problemet er så alvorligt, at rangordning af landene mister enhver mening

“Konsekvensen er, at vi på det foreliggende grundlag overhovedet ikke kan udtale os om, hvor Danmark ligger i forhold til de lande, vi gerne vil sammenligne os med. Danmark kan være nr. 5, 10, 15, 25 eller værre – vi ved det ikke.
Blandingen af opgaver kommer til at påvirke resultatet – det er der glasklar evidens for”, siger Svend Kreiner.

*

Svend Kreiner har kun kigget på læseopgaverne. Men han peger på, at den britiske professor S. J. Prais allerede i 2003 konstaterede, at man på samme måde kunne bytte rundt på opgavebunkerne i IEA’s og PISAs matematiktest og dermed flytte landenes placeringer, og han mener simpelthen ikke, at man kan tage PISA-resultaterne i naturfag og matematik alvorligt, så længe PISA ikke har dokumenteret, at der ikke er tilsvarende landeforskelle her.

Læs Kreiners forenklede fremstilling af problemerne med PISA undersøgelserne.

 

 

Statistikprofessor Peter Allerup fra Aarhus Universitet er helt enig med Kreiner: »Det giver ingen mening at bruge rangordningerne til at hyle op om, hvorvidt vi ligger nummer fire eller 17, når man kan få en helt anden rangordning ved at bruge nogle andre opgaver. Kreiners kritik er gennemført«, mener Allerup.

*

•    Kreiners kritik/analyse har flere gange været fremsat
uden reaktion fra PISA, men nu forventes hans analyse
publiceret i det anerkendte tidsskrift for statistik,
Psychometrika. Derfor er det nu blevet vanskeligt,
at afvise eller fortie kritikken.

Både i regeringspartierne og oppositionen tilslutter nogle politikere sig nu kritikken. De erkender, at PISA-testenes resultater og rangordninger af lande skal tages med et gran salt. PISA-hysteriet er måske på retur.
Men selvom politikerne tilslutter sig kritikken af PISA-testene, har de i 2013 gennemført en skolereform, som netop bygger på OECD ønsker om at skabe kvantificerbare test, som netop kommer til udtryk i PISA-tænkningen.

Hør Detektor om problemerne med danske skoleelevers læsefærdigheder.

 

Forandringen af folkeskolen har været på vej meget længe

Selvom politikerne nu ser kritisk på PISAs ranglister, ønsker de at skabe en folkeskole, hvis ypperste mål er at sikre, at Danmark scorer højt på netop PISA-ranglisten.  Man taler stadig om et bredt læringsbegreb og om dannelse af hele mennesker, men reducerer folkeskolens formål til at være en kvantificerbar uddannelsesorganisation, lyder det bl.a. fra nogle fagfolk.

De politiske mål for folkeskolereformen skal kunne måles fastslår undervisningsministeren, som stadig har fuld tillid til PISA:

  • Mindst 80 pct. af eleverne skal være gode til at læse og regne i de nationale test.
  • Andelen af de allerdygtigste elever i dansk og matematik skal stige år for år.
  • Andelen af elever med dårlige resultater i de nationale test for læsning og matematik skal reduceres år for år.
  • Elevernes trivsel skal øges.
    *

Link til uddybende analyse fra Folkeskolen.dk

De forskellige politiske partier har gennem de seneste 10-15 år forfulgt flere forskellige skolepolitiske mål. Socialdemokratiet har brændt for heldagsskolen, siden Frank Jensen var uddannelsespolitisk ordfører i 2001, under Anders Fog Rasmussens første regering. Konservativt Folkeparti har i årtier ønsket at få fjernet folkeskolelovens alt for bløde formålsparagraf, for at erstatte den med et krav om fokus på disciplin og læring. Det bløde – det med at udvikle den enkelt elevs personlighed – var en hjertesag for de Radikale. Venstre svingede også pisken, og da Anders Fog Rasmussen blev statsminister forsvandt de bløde elementer fra formålsparagraffen.

LYTTENDE-B RN

2003

Venstres statsminister svingede pisken over det, han kaldte skolens rundkredspædagogik: „Det er, som om indlæring af faglige færdigheder er blevet nedprioriteret til fordel for at sidde i rundkreds og spørge: ‘Hvad synes du selv?’ Det kan være udmærket at sidde i rundkreds og diskutere og føre en samtale med hinanden, men den første forudsætning for at føre en meningsfyldt samtale er altså, at man ved, hvad man snakker om. Hvis ukvalificerede meninger bliver lige så gangbare som kvalificeret viden, så ender det alt sammen i tomhed og dumhed“, sagde Anders Fogh Rasmussen i sin åbningstale i Folketinget i oktober 2003.

Kan en samtale ikke være meningsfuld, selvom parterne er usikre! Og hvem skal afgøre, hvilke meninger der er kvalificerede!
red

 

 

 

 

2005

Nu skulle Foghs synspunkter udmøntes i konkrete forandringer, så undervisningsministeren bad professor i specialpædagogik Niels Egelund – en af PISA undersøgelsens fanebærere – om et oplæg.

Uddrag af Egelunds 10 siders notat:
Hvad er en folkeskole i verdensklasse?
Hvilke kompetencer er de vigtige?

Opgave:
Til vurdering af den danske folkeskole som en folkeskole i verdensklasse sammenholdes formålsparagraffens værdier og principper med forventninger om fremtidens kompetencer og folkeskolens bidrag hertil…

 

 

 

 

Hvad afspejler folkeskolelovens formålsparagraf

Folkeskolens formålsparagraf er særdeles rummelig, både hvad indhold og omfang angår. De klassiske danske værdier som åndsfrihed, ligeværd og demokrati, medbestemmelse, medansvar, rettigheder og pligter opremses. Kultur og natur nævnes, og der skal være rammer for oplevelse, virkelyst, fordybelse og fantasi. Også lyst til at lære nævnes, dog ikke så eksplicit, som det forstås ved begrebet livslang læring. Man kunne overveje, om en kortere og opstrammet formulering, som fx den finske, ville være hensigtsmæssig

Kundskaber og færdigheder nævnes, men de fylder relativt lidt i forhold til de mange andre formål, og de sættes i relation til elevernes alsidige personlige udvikling, ikke til at kunne indgå i livslang læring. Innovationsevne eller bare forandringskompetence nævnes ikke. En øget vægtlægning på faglige kompetencer, gerne set i et livslangt perspektiv burde kunne føre til, at dansk skole kunne nå faglige resultater, som blot lå blandt de fem bedste i OECD. (min fremhævning – men hvor er dokumentationen) …

*

… Når den danske folkeskole kan beskrives som kærlig, men slap, (citat fra OECD rapport red.) ligger det godt i tråd med formålsformuleringen, hvor så mange andre forhold end kompetencer nævnes. Den megen uro og de mange forstyrrelser i timerne kan ses som et andet tegn på slaphed, som i hvert fald ikke hænger sammen med formuleringen: ”Folkeskolen må søge at skabe sådanne rammer for oplevelse, virkelyst og fordybelse, at eleverne udvikler erkendelse og fantasi og lyst til at lære”.

Når den danske folkeskole dermed får både ris og ros ved internationale vurderinger, kan det i høj grad antages at være et produkt af formålsformuleringen. Hvis dansk folkeskole skal blive en skole i verdensklasse kræver det en anderledes satsning, hvor der skal ses ikke bare på formålsformuleringen, men også på de vaner og traditioner, der ligger i skolen, og ikke mindst de vaner og traditioner, som de pædagogiske strømninger med opbrud og normer og regler har ført med i tiden efter 1968
(Det må være ungdomsoprørets opgør med det autoritære samfund der spøger. Professoren ser det åbenbart som en af årsagerne til den udbredte slaphed i folkeskolen.  Red)

Konklusion
  • Folkeskolens formålsparagraf lægger relativt lidt vægt på kundskaber og færdigheder og relativt megen vægt på elevernes alsidige personlige udvikling.
  • Sammenlignet med andre lande savner man i formålsparagraffen principper som fremme af lighed og livslang læring.
  • Sammenholdt med de kernekompetencer, der nævnes i danske og internationale analyser, savnes vægt på faglige kompetencer, på livslang læring og på forandringsparathed.
  • De økonomiske forudsætninger er gode, skolernes personale er engageret, der er et nært forhold mellem lærere og elever og et godt forældresamarbejde.
  • Der mangler evalueringskultur, målene er diffuse og kravene til eleverne er for lave, både hvad faglighed og adfærd angår.
  • Der mangler pædagogisk ledelse.
  • Grunduddannelse og efteruddannelse skal styrkes.
???

Leverede Egelund et oplæg, der pegede i den retning, som undervisningsministeren og ikke mindst statsministeren ønskede!


•    Spørgsmålet om danske elevers timetal i forhold til andre lande dukkede også op i debatten. Den altdominerende opfattelse var, at flere timer ville give bedre faglige resultater, og dermed en højere placering i PISA undersøgelserne.

Mange undervisningstimer er ikke lig med gode PISA-resultater

TavlePige“At der skulle være et tydeligt behov for flere undervisningstimer, kan ikke bruges som argument for, at lærerne skal undervise en større del af deres arbejdstid”, siger analysechef i Cevea Jens Jonatan Steen, som peger på at de finske topscorere årligt undervises 71 timer mindre end danske børn.
(Cevea er en uafhængig centrum-venstre tænketank, der har til formål at udvikle idéer for at fremme et samfund baseret på frihed, lighed og fællesskab.)

*

OECD har i en rapport opgjort skoleelevers undervisningstimer per år i ”PISA-landene”, og ifølge Cevea viser den ingen positiv  sammenhæng mellem antal undervisningstimer og gode resultater i PISA-testen. Fx klarer svenske og franske elever sig lige godt i PISA-undersøgelsen på trods af, at franske elever har 43,7 procent flere undervisningstimer end svenskerne.
Cevea sætter et stort spørgsmålstegn ved, at der i den offentlige debat ofte sættes lighedstegn mellem kvantitet og kvalitet.

“Hvis vi skal nå målet om, at alle børn bliver dygtigere, som undervisningsministeren præcist har formuleret det, må vi aldrig sætte lighedstegn mellem kvantitet og kvalitet”, siger Jens Jonatan Steen.

 

DRENG-I-BAGAGEBOKSTør Danmark tænke anderledes..?

PISA skalaen måler et værdisæt som hører til under den industrielle revolution – med andre ord PISA modellen måler kun, hvad vi bruger vores venstre hjernehalvdel til, matematik, videnskab og læsning.

PISA måler internationalt standardiserede undervisningsmetoder – som ikke indebære kreativitet og innovation – men siger det ikke mere om hvor problemet ligger?

smarts3

Danmark er kendt for at skabe og tænke anderledes og dette er et værdisæt der stammer fra den højre hjernehalvdel – et værdisæt som PISA og OECD slet ikke tager højde for, så hvorfor har regeringen så travlt med at måle vores evner med en målestok som ikke passer til det som hidtil har bragt Danmark succes på verdensplan.

Hvis vi bliver ved med at måle os selv på at vi skal kunne udkonkurrere østen i standardiseret produktion så har vi jo tabt på forhånd…
Uddrag af debatindlæg fra Folkeskolen.dk

stefan13.psdLær af PISA

Vi er med god grund kritiske over for OECD’s sammenligninger landene imellem. Lærernes undervisningsmængde opgøres for eksempel for nogle landes vedkommende inklusive elevernes frikvarterer. Den indregning sker ikke i Danmark, men de forkerte tal bruges alligevel til at påstå, at danske lærere ikke underviser særligt meget.
Når det er sagt, så skal vi også se på, hvad vi kan lære af PISA. Jeg hørte for nylig lederen af OECD’s PISA-afdeling Andreas Schleicher tale om, hvilke resultater der i fremtiden kræves af lærerarbejdet. »Fremtidens kvalifikationer er dem, der er svære at teste«, sagde han og forklarede, at vi får brug for kvalifikationer som kreativitet, dømmekraft og evner til at samarbejde.

Schleicher argumenterede for, at lærerne skal styrkes uddannelsesmæssigt og have et professionelt råderum. »Lærerprofessionen skal selv definere sin viden og sit arbejde«, sagde han og brugte som eksempel, at han arbejdede som fysiker, før han kom til OECD, og aldrig kunne forestille sig en minister for fysik, der fortalte, hvordan han skulle tage hensyn til for eksempel tyngdekraften i sit arbejde.

*

I vores aktuelle hjemlige debat om, hvorvidt det er nødvendigt, at lærere har tid til at forberede undervisningen, burde KL og finansministeren også lære af PISA: »Lærerne behøver rum til at designe, lede og planlægge undervisning i samarbejde med andre«, sagde Schleicher og brugte Finland som eksempel: »Her er lærernes tid knyttet til elevernes behov, men det betyder ikke altid tid i klasseværelset«, sagde han.

At mindske betydningen af social baggrund i forhold til faglige resultater kræver god undervisning. Det er ifølge OECD, at lærerne sætter elevernes læring i centrum, har blik for individuelle forskelle, forstår læring som en social proces, der sker i samarbejde med andre, og at de giver eleverne feedback og selv modtager feedback fra kollegaer og ledelse.
Schleichers klare anbefaling til landenes regeringer var, at læreruddannelsen skal være lang og forskningsbaseret. Kombinationen af, at læreruddannelsen i Finland er femårig, og at der ikke er et curriculum, som styrer lærernes arbejde, betyder ifølge Schleicher, at der er meget lille forskel på niveauerne elever og skoler imellem. Det kommer af, at lærerne løbende opdaterer sig selv og hinanden på et vist videnskabeligt niveau med den seneste og bedste viden om undervisning. Det kan de, fordi de har en høj uddannelse, og fordi de har tid til at udføre arbejdet kvalificeret.
Debatindlæg fra Folkeskolen.dk

 

De skæve tal fra Pisa !

Fundamentet for OECD’s Pisa skole-undersøgelser er, at opgaverne er lige lette og svære i alle lande. Det er forudsætningen for, at man kan sammenligne de deltagende lande.

 

Har politikerne handlet på et forkert grundlag!

Politisk Psykologi kan være et værktøj til at forstå politiske beslutninger og politisk adfærd.
Politisk psykologi afviser ideen om mennesket som et (altid) rationelt væsen. Det sker på trods af, at både andre forskere, politikere og politiske eksperter hele tiden hævder, at de mennesker, der handler i politik, altid er både formålsrationelle og nyttemaksimerende.
Det antages, at alle individer, organisationer og stater først opstiller mål, derpå indsamler information om forskellige valgmuligheder, for så at beregne fordele og ulemper ved de forskellige alternativer. Først herefter træffer de den mest optimale, og dermed rationelle beslutning.

RationelBeslutningsKaede1-500px

Læs mere om politisk psykologi her

 

???
Hvis der nu, som hævdet fra mange sider er tale om en fejlfortolkning af PISA undersøgelserne, så har man truffet meget vigtige politiske beslutninger på et helt forkert grundlag.

 

 

 

 

Kilder: Folkeskolen.dk, UVM.dk, OECD.com, Politiken.dk, dlf.org, sfi.dk

 

Ny kritik af PISA-undersøgelser

En anerkendt dansk statistiker sår tvivl om PISA-undersøgelserne, der måler skoleelevers færdigheder.

– Den faglige troværdighed af slutresultaterne af PISA-undersøgelserne er ikke til stede i mine øjne. Man må erkende, at de udmeldinger der kommer fra PISA om de forskellige landes placering ikke er troværdige, siger professor i statistik ved Københavns Universitet, Svend Kreiner, til P1-programmet “Detektor”.

Professor Kreiner har med ny forskning vist, at det i høj grad er tilfældigt, hvor Danmark placeres i PISAs rangordning af elevernes læsefærdigheder i de forskellige lande. Han viser, at han kan placere Danmark helt oppe som nummer tre og helt nede som nummer 42 inden for de regler, PISA selv anvender. Officielt lå Danmark det år (2006) som nummer 17 på læse-ranglisten.

En avanceret model

Ifølge PISAs egen metode, der bygger på den såkaldte ‘Rasch-model’, bør alle elever med samme læsefærdigheder have samme chance for at svare rigtigt på et givent spørgsmål. Men professor Kreiners forskning viser, at nogle spørgsmål favoriserer udvalgte lande:

– Når man for eksempel ser på svarene fra Danmark, kan man se, at der er ni opgaver, hvor danske elever tilsyneladende svarer meget bedre end de andre lande. Omvendt er der seks opgaver, hvor danskerne har meget sværere ved at svare rigtigt sammenlignet med de andre lande, forklarer Svend Kreiner.

*

PISA hævder selv, at de har kasseret spørgsmål, der har vist sig at være sværere eller lettere i et eller flere lande. Sådanne spørgsmål rummer nemlig det, statistikere kalder DIF (Differential Item Function), fordi der er en såkaldt ‘country-bias’. Men Kreiners forskning viser altså, at der stadig faktisk er en række spørgsmål i PISA-testen, der har en sådan country-bias.

Country-bias opstår, når nogle landes elever er bedre til en type opgaver end andre. Et eksempel på det kunne være en læsetest med spørgsmål om hunde. For danske elever er der tale om et kæledyr, for canadiske elever en arbejdskraft (slædehund), for muslimske elever er en hund noget urent, og i Sydkorea er det noget, man spiser. En tekst om hunde vil derfor blive forstået forskelligt i disse lande.

*

Svend Kreiner kan ikke forklare præcis, hvordan uregelmæssighederne opstår i PISA-undersøgelserne:

– PISA behandler opgaverne meget fortroligt, så jeg har ikke haft adgang til at se, hvilke typer opgaver danskerne har nemt ved og hvilke opgaver danskerne har meget svært ved. Jeg kan bare se, at der er opgaver der fungerer forskelligt, forklarer Svend Kreiner, der har undersøgt alle offentligt tilgængelige svardata for læsetesten i 2006.

Der har tidligere været kritik af PISA-undersøgelsernes grundlag. Men det er første gang en uafhængig forsker går så langt i sit studie af PISAs egne data.

Lederen af det danske PISA-konsortium, Niels Egelund, anerkender, at Svend Kreiner er en af de få herhjemme. Der har kompetence til at anlaysere PISA-resultaterne til bunds.
– Naturligvis vil vi nu tjekke, om der er noget om kritikken, siger Niels Egelund til Detektor.

*

Andreas Schleicher, leder af OECD’s analyseafdeling, hvor PISA hører under, afviser Svend Kreiners kritik.

– Vi mener, at Svend Kreiners metoder er mangelfulde og hans konklusioner fejlagtige. Vi vil kommentere på hans artikel, når den er blevet trykt i et videnskabeligt tidsskrift, siger Andreas Schleicher.

Professor Svend Kreiners forskningsartikel er i øjeblikket ved at blive vurderet til optagelse i det anerkendte internationale tidsskrift, Journal of the Royal Statistical Society.

Se Kreiners analyse