Författararkiv: marcus
Kritik mot PISA – men är den legitim?
Idag har Ekot ett reportage om en dansk forskare (Svend Kreiner) som kritiserar tolkningen av PISA-resultaten. Utifrån den begränsade information som förmedlas i reportaget är det svårt att bilda sig en uppfattning om huruvida kritiken är legitim eller inte. Det är några saker som jag hakar upp mig på i reportaget.
Pisa-testerna är kunskapstester som görs av 15-åringar i drygt 50 länder var tredje år.
2009 var det 65 länder och 2006 var det 57 länder. Nåja.
Testresultaten blir till en rankinglista där länderna rangordnas.
Nja, rankinglistan är nog det minst intressanta resultatet av hela PISA. I alla mätningar finns en osäkerhet, givetvis även i PISA. Det resultat, eller det genomsnittliga poängvärde, som ett land får är behäftat med en osäkerhet och nu behövs en liten utsvävning i statistiska metoder. När man arbetar med stickprovsdata som i PISA, alltså man gör ett urval ur en population, kommer resultatet att få en viss osäkerhet. Genom att statistiskt analysera data kan man beräkna ett standardfel som är ett mått på osäkerheten. Standardfelet (SE) får då inte vara så stort att resultatet plus/minus två ggr standardfelet faller utanför den signifikansnivå man valt (vanligen 5%). Alltså, det numeriska värde som man fått fram är behäftat med en osäkerhet på ±2SE. Sverige hade resultatet 507 poäng på lässkalan i PISA 2006 vilket med ett standardfel på 3,5 ger att Sveriges resultat sannolikt ligger mellan 500 och 514 poäng. Eftersom alla länders resultat har en liknande osäkerhet blir det då inte så himla intressant att titta på en rankinglista där en skillnad på några få poäng kan göra många platser på listan. Bättre är då att göra en gruppering av länder som inte har ett resultat som är signifikant skilt från det land man tittar på, en grupp av länder som har signifikant bättre resultat, och en grupp av länder som har signifikant sämre resultat.
Professor Svend Kreiner har länge varit kritisk mot Pisas sätt att utvärdera sina testresultat och nu har han gjort en egen genomgång av alla tester i läsförståelse från 2006.
Man kan undra varför han väljer lästestet i 2006 års undersökning när det var naturvetenskap som var huvudområde, alltså var ca hälften av provfrågorna naturvetenskap, en fjärdedel matematik och en fjärdedel läsning. Det ger en större osäkerhet att jobba med ett område som inte är undersökningens huvudfokus.
– Jag kunde få Danmark att bli som bäst trea och som sämst fyrtioetta, beroende på vilka frågor jag valde att analysera.
Som jag sagt tidigare är placeringen pÃ¥ rankinglistan i sig inte särskilt intressant, utan vilka signifikanta skillnader som uppstÃ¥r, men det jag reagerar pÃ¥ här är ”beroende pÃ¥ vilka frÃ¥gor jag valde att analysera”. Om han nu valt att bara använda nÃ¥gra av de redan fÃ¥ frÃ¥gorna inom läsning sÃ¥ mÃ¥ste osäkerheten bli väldigt stor i resultatet, särskilt som det frÃ¥gebatteri i läsning som är med är det minsta antal frÃ¥gor som anses vara möjligt att använda för att kunna säga nÃ¥got om resultatet. Inte konstigt om han fick stora variationer säger jag bara. Det skall bli intressant att titta närmare pÃ¥ själva rapporten som enligt @tovesvenonius pÃ¥ ekot ännu inte är offentliggjord.
Slutligen noterar jag att han valt att gå ut med detta resultat (som inte publicerats än) just när alla länders PISA-ansvariga är på ett PGB-möte (PISA Governing Board) och inte finns tillgängliga för kommentarer …
Föreläsning om visuella hjälpmedel
Idag pÃ¥ förmiddagen hade jag ett föreläsningspass kring presentationsteknik, typografi för läsbarhet och tydlighet, samt ett för dagen alldeles nytt avsnitt om visuella hjälpmedel för presentationer. Det är inspirerat av Edward Tuftes ”The Cognitive Style of PowerPoint” som grundligt utreder varför PowerPoint lurar oss att göra trÃ¥kiga, ointelligenta och svÃ¥rbegripliga presentationer; samt av resultat frÃ¥n John Sweller och hans forskargrupp (refererat i ”Skrota PowerPoint om du använder det fel”). Rapporten finns i en sammanfattning här (PDF).
Här är en PDF av mitt talarstöd, gjort i Keynote vilket naturligvis gör mig helt immun mot fallgroparna Tufte och Sweller talar om (… NOT).
Presentera med visuella hjälpmedel (PDF)
Presentera med visuella hjälpmedel by Marcus Sundgren is licensed under a Creative Commons Erkännande-IckeKommersiell-DelaLika 2.5 Sverige License.
Based on a work at www.sundgrens.se.
Lärande och game based learning
Theodore Gray och Jerry Glynn diskuterar Mathematica men hamnar i intressanta diskussioner om lärande och om game based learning, områden som är heta och trendiga på lite olika sätt just nu (se t.ex. #merkateder på Twitter).
The Horizon Report förutspår att det senare kommer att slå igenom på 2-3 års sikt. När det gäller lärande talar Theo om att det handlar mer om hur än om vad:
”No one can learn to think without having something to think about. If you try to teach someone how to think in the abstract, you are not going to get anywhere. If you try to make education ”easy”, by removing the content, you are cheating your students out of the most important thing you have to offer: the chance to do something hard. Only by mastering a difficult body of knowledge can a child develop into a confident, thinking adult. The point is, it doesn’t necessarily have to be the same difficult body of knowledge that the child’s parents learned.”
Det är svårt, jobbigt och närmast smärtsamt att lära sig. Därför ska man inte tro att det går att fuska bort det hårda arbetet genom att sätta barn framför datorer. Jag drar paralleller till tidigare teknologiska genombrott som alla lett till en tro på en revolution av undervisningen på ungefär samma premisser. Sätt barnen framför utbildningsprogram på radio, sedan TV, i inlärningsstudios, eller som nu med inlärningsprogram så behöver vi inte lärarna längre. Men det handlar inte om stoffet vilket alla dessa utbildningsteknologiska frälsare verkar tro. Det handlar om att utveckla tänkandet där stoffet visserligen är nödvändigt, utan ett trästycke är det svårt att tälja, men det är kanske inte så himla avgörande exakt vilket träslag man råkar få. Däremot måste det ge ett lämpligt motstånd och inte innehålla för mycket kvistar för den förmåga som slöjdaren besitter. Det viktiga är att utveckla förmågan att upptäcka och utnyttja trästyckets egenskaper. Om det sedan blir en gubbe, en häst eller en båt är kanske mindre viktigt. Något som också är viktigt är att det är möjligt att misslyckas. Hanterar man kniven på ett dumdristigt sätt går det illa och det är ingen oväsentlig förutsättning för lärande:
”Imagine taking your kids to a fun movie, having a good time, eating ice cream. No harm in that. But should you tell them that they are having an important educational experience? Should you tell them that they have accomplished something by sitting through the whole movie? What a horrible devaluation of accomplishment that would be! What’s the point of actually working hard to reach success, if your parents and teachers will praise you for joking around and eating ice cream? That’s exactly what most educational software is: A stupid, insipid movie that keeps your kids entertained for an hour or two while the teacher plans a bake sale to replace the music budget that was spent on computers. Kids don’t learn anything, but worse they are being taught that it’s not necessary to work hard to achieve success.”
