Verktygslåda för att bedöma utbildningars relevans

Verktygslådan har tagits fram inom ramen för K3-projektet MERUT (Metoder Relevansbedömning Utbildning).

Så här använder du verktygslådan

Figuren visar en schematisk bild över olika aspekter på en utbildning. Här är resultatet i form av kvaliteten/relevansen hos utbildningen det centrala. Det vill säga att de utexaminerade personerna har de kunskaper, färdigheter och förmågor som den framtida yrkesrollen eller arbetsområdet förutsätter. 

Rutorna i övre vänstra hörnet, Examensmål och Resurser, är två av de externa faktorer som påverkar utbildningens innehåll och genomförande. Dessa lyfts fram i figuren eftersom de bestäms av lagar, förordningar och resurstilldelning. Varierande faktorer, som exempelvis konjunktur, studenternas intresse med mera, finns däremot inte med. 

Det gröna området markerar de delar som lärosätet har direkt möjlighet att påverka. Utbildnings- och kursplaner kan universitetet självt formulera utifrån examensmålen för den aktuella utbildningen, samt önskad profilering och prioritering. Inom ramarna för myndighetsutövning går det också att utforma såväl organisation som processer, inklusive pedagogiska modeller och metoder, på ett ändamålsenligt sätt.

Exempel på tillämpning

Så ska utveckling av nya program öka arbetslivsanknytningen och antalet ansökningar, en intervju med Håkan Sandgren vid Högskolan i Kristianstad.

A: Verktyg och former för extern medverkan på programledningsnivå för att stärka utbildningens relevans

Program-/branschråd (eller annan form av medverkan från externa aktörer)

Branschråd är en mötesform med representanter från utbildning/lärosäte och branschintressenter. Ett branschråd kan omfatta flera program och träffas vanligtvis en till två gånger per termin.

Vilken funktion har ett branschråd?

Branschrådet är just rådgivande. Ett syfte kan vara att samverka kring att skapa och utveckla en ny utbildning. Ett annat kan vara att ge stöd i kvalitetsarbetet och den fortsatta utvecklingen av utbildningen. Branschrådet kan också användas som nätverk för gästföreläsningar, praktikplatser och examensarbeten.

Observera att olika lärosäten kan kalla denna funktion för olika saker, till exempel programråd eller alumninätverk.

Stödprocesser

Ett aktivt alumniarbete och goda kontakter med externa uppdragsgivare för självständiga arbeten/examensarbeten gör det ofta lättare att initiera ett branschråd.

Checklistan är ett enkelt verktyg för att stämma av förväntningar mellan program och extern part.

Länk till checklista

Beroenden och förutsättningar

Det kan vara svårt att hitta engagerade representanter beroende på bransch. Därför är det ofta en god idé att använda sig av alumner. Samtidigt är det inte nödvändigtvis ett krav att branschrepresentanterna har kunskap om programmets innehåll.

Däremot är det viktigt att formulera en avsiktsförklaring med branschrådet, för både intern och extern part. Använd gärna checklistan som stöd.

En rotation av externa representanter i rådet är att föredra. Dels för att skapa utrymme för nya idéer och infallsvinklar, dels för att upprätthålla motivation och intresse hos representanterna.

Exempel

Branschråd en viktig del för relevansbedömning av program vid Mälardalens högskola, intervju med Milica Rancic, Mälardalens högskola.

Fördjupning

Curriculum development and quality work in higher education in Sweden: The external stakeholder perspective
Per Fagrell, Anna Fahlgren, Svante Gunnarsson.

Utbildningssamverkan – en forskningsöversikt

Vägen till samverkanssäkrad utbildning

CDIO Syllabus Survey

CDIO Syllabus Survey är en enkät som riktar sig till intressenter kring en viss utbildning.

Hur använder jag enkäten?

Enkäten baseras på CDIO Syllabus och dess sätt att strukturera förväntade kunskaper, färdigheter och förmågor. Resultatet från enkäten utgör sedan stöd för programledningen i utvecklingen av programmet.

Beroenden och förutsättningar

Som alltid är nyttan av enkäter starkt kopplad till svarsfrekvensen. Begreppet "intressent" indikerar att de personer som berörs har ett intresse av utbildningen och dess utveckling, vilket förhoppningsvis ökar motivationen att besvara enkäten.

Exempel

Ett färskt exempel i svensk miljö är användningen av enkäten inom ramen för programmet Experimental and Industrial Biomedicine vid Linköpings universitet.

CDIO-metoden för relevansbedömning av program: "Strukturerat sunt förnuft", intervju med Anna Fahlgren, Linköpings universitet. 

Fördjupning

Länk till CDIO Knowledge library

Läs artikeln om Experimental and Industrial Biomedicine

Fokus- eller utvecklingsgrupp med extern medverkan för särskilda uppgifter

Fokusgrupper är en beprövad metod. Den har länge använts inom olika grenar av humaniora och samhällsvetenskap för att studera meningsskapande, på såväl individuell som kollektiv nivå, kring ett givet tema.

Diskussionen i grupperna syftar till att fånga deltagarnas attityder och uppfattningar och har ofta tematiska frågeställningar.

Funktion

Genom arbete med fokusgrupper kan lärosäten organisera både regelbundna och mer spontana former för dialog gällande utbildningars relevans i relation till arbetslivets behov.

Att använda sig av fokusgrupper kan ofta vara lämpligt i ett tidigt skede av ett förändringsarbete eller en process för att prova idéer och/eller testa en hypotes.

Stödprocesser

Det behöver finnas en förankring i organisationen och ett identifierat behov av återkoppling på en idé eller hypotes.

En plan för hur resultatet ska användas bör också finnas.
Lathund

Beroenden och förutsättningar

Inbjudna behöver inte förbereda sig inför fokusgruppsmöten. Tanken är att deltagarna ska resonera utifrån den förförståelse som de redan besitter.

Eftersträva gärna en heterogen grupp för att fånga olika synsätt, till exempel genom att bjuda in externa parter från olika branscher eller arbetsområden.

En viktig uppgift för samtalsledaren är att fördela talutrymmet i gruppen, det vill säga att se till att alla får en chans att göra sin röst hörd. Samtalsledaren kan med fördel hämtas utanför den egna organisationen för ökad neutralitet.

Exempel

Vid Umeå universitet har metoden fokusgrupp genomförts för samtal om kompetensförsörjningsfrågor och relevansen i dagens forskarutbildningar inom humaniora och samhällsvetenskap. Under samtalen behandlades även synen på att anställa nyligen disputerade i sin organisation.

Fokusgrupper för relevansbedömning av utbildning – en beprövad metod som lär dig att lyssna, intervju med Annika Egan Sjölander, Umeå universitet.

Fördjupning

Wibeck, V. (2000). Fokusgrupper: om fokuserade gruppintervjuer som undersökningsmetod. Lund: Studentlitteratur.

B: Verktyg och former för interaktion med externa aktörer på kursnivå för att stärka utbildningens relevans

Kunskapsinventering i samband med praktik eller examensarbete med extern part

Här värderar en extern part studentens kunskaper och färdigheter relaterade till program- och kursmål, samt utfört arbete. Den externa parten kan också värdera om det verkar finnas kunskapsluckor i programmet, kopplat till behov inom branschen eller arbetsområdet.

Utvärderingen kan ske muntligt eller skriftligt.

Användningsområde

Bedömningarna tas med i efterföljande program-/kursutveckling. Inventeringen går att anpassa för alla typer av kurser och program där praktik och examensarbete med extern part ingår.

Stödprocesser

Dokument med förslag på frågor för värdering till student respektive extern part.

Beroenden och förutsättningar

Det är viktigt att särskilja värderingen av den enskilda studentens prestation och de kunskaper som relaterar till innehåll i programmet. För att kunna identifiera en trend behövs därför en mängd bedömningar.

Det är också viktigt att studenten själv får utrymme att reflektera över sitt lärande efter praktik- eller uppsatsarbete.

Exempel

På Programmet för miljö och hälsoskydd vid Umeå universitet har man arbetat med metoden i många år.
"Genom att följa upp erfarenheterna av praktiken får även utbildningen värdefull feedback, som kan ge idéer till utveckling av det egna programmet. Det är ett bra sätt att hålla sig uppdaterad och relevant".

Externa personers medverkan i utbildningen: kursmentorer, adjungerade lärare eller liknande

Information kommer.

Workshop för att kartlägga utvecklingsbehov vad gäller arbetslivsanknytning och samverkansinslag i ett programs kurser

Deltagarna i denna workshop får diskutera, reflektera och kartlägga vilka former av arbetslivsanknytning och utbildningssamverkan som i nuläget erbjuds inom det aktuella programmet, samt diskutera och reflektera kring framtida utvecklingsbehov inom området.

Till exempel: Hur ser arbetslivsanknytningen ut i programmet? Finns variation eller görs anknytningen i huvudsak på ett enda sätt? Erbjuds gästföreläsningar? Ingår praktikkurser? Görs studiebesök? Får studenterna genomföra egna projekt? Illustreras kursinnehåll med exempel från arbetslivet – och är det då i samarbete med externa parter eller är det inspirerat av arbetslivet?

Deltagarna får också dela sina tankar om såväl fördelar som farhågor kring arbetslivsanknytning i undervisningen.

Funktion

Workshoppen kan antingen användas när program ska inrättas eller genomgå större förändringar för att särskilt uppmärksamma frågor om arbetslivsanknytning och utbildningssamverkan.

Den går också att använda kontinuerligt, till exempel en gång per år, för att på så sätt följa upp programmets utveckling vad gäller arbetslivsanknytning och samverkan.

Stödprocesser

1. Instruktioner till workshoppen, inklusive förberedelser, genomförande, summering och uppföljning.
2. Mall till A3-blad med programbeskrivningar.
3. A4-sidor med 30 lappar vardera, varje sida tar upp en särskild form av arbetslivsanknytning (totalt 10 sidor).
4. Dokument för summering av reflektioner och tankar kring nuläge och framtida utveckling.
5. Dokument som stödjer framtida uppföljning och utvärdering.

Beroenden och förutsättningar

Workshoppen bör helst hållas inom ramen för ett utbildningsprogram. Det kan vara ett treårigt kandidatprogram, ett tvåårigt masterprogram eller ett längre program såsom ett femårigt civilingenjörsprogram. Den kan även hållas med deltagare från flera olika program, men dess främsta styrka ligger i att kartlägga nuläge och utvecklingsbehov inom ett och samma.

Den programansvarige bör delta och kan även leda workshoppen (vid behov, kontakta Marie Magnell på KTH för support). Övriga deltagare utgörs av kursansvariga inom utbildningsprogrammet, företrädesvis kursansvariga som undervisar i programspecifika kurser.

Om antalet deltagare sammanlagt överstiger 8–10 personer bör de delas in i mindre grupper om fyra–fem deltagare per grupp.

Exempel

Workshoppen har bland annat hållits på Linköpings universitet inom Högskoleingenjörsprogrammet i maskinteknik. Den programansvarige deltog tillsammans med ett tiotal kursansvariga:

"Jag vill lyfta fram formatet, det vill säga att någon tydligt leder alltsammans med lagom balans mellan att lyssna och arbeta själv. Lapputläggnings-övningen var central och jag som programansvarig hade stor behållning av att höra hur andra resonerade."

Workshop för kartläggning av arbetslivsanknytning i utbildningen – varför är det viktigt?, intervju med Marie Magnell, KTH.

Fördjupning

Ahlgren-Moritz. C., et al. (2016). Vägen till samverkanssäkrad utbildning. Metoder & Strategier.

Cranmer, S. (2006). Enhancing graduate employability: best intentions and mixed outcomes. Studies in Higher Education, 31(2), 169-184.

Hills, J.M., Robertson, G., Walker, R., Adey, M. A., & Nixon, I. (2003). Bridging the Gap Between Degree Programme Curricula and Employability Through Implementation of Work-related Learning. Teaching in Higher Education, 8(2), 211-231.

Magnell, M. (2019). Engaged in a seamless blend: A study on how academic staff approach connections to professional practice and research in the engineering curriculum. Doktorsavhandling. Stockholm: KTH. Tillgänglig i DiVA

Magnell, M., & Kolmos, A. (2017). Employability and work-related learning activities in higher education: how strategies differ across academic environments. Tertiary Education and Management, 23(2), 103-114.

C: Verktyg för att utforma förutsättningarna på programnivå

Reflektionsdokument

Ett reflektionsdokument kan ingå som ett obligatoriskt moment inom ramen för examensarbetet.

Funktion

Syftet med reflektionsdokumentet är att studenten ska reflektera över såväl examensarbetet, med avseende både på process och resultat, som över utbildningen som helhet.

Ett ytterligare syfte är att dokumentet ska ge återkoppling till programledningen avseende hur väl utbildningen förbereder studenterna för kvalificerade uppgifter inom huvudområdet.

Stödprocesser

Utförliga instruktioner har tagits fram som stöd för skrivandet av reflektionsdokumentet.

Beroenden och förutsättningar

Hanteringen av reflektionsdokumenten, vilka idag hanteras som pdf-filer, innebär en viss administration på olika nivåer. Denna skulle kunna underlättas med hjälp av webbaserade formulär, vilket diskuterats men inte implementerats ännu.

Alumniundersökning och etableringsstudie

Alumniundersökningar genomförs för att inhämta information om hur före detta studenter (alumner) ser på sin utbildning några år efter examen, relaterat till sin arbetslivserfarenhet. En alumniundersökning kan också ge en bild av alumnernas yrkesliv efter avslutad utbildning.

I vissa fall kan undersökningen enbart fokusera på vart alumnerna befinner sig i arbetslivet och hur nära examen de etablerades på arbetsmarknaden, så kallade etableringsstudier.

Funktion

En alumniundersökning kan omfatta ett flertal områden och därmed tjäna flera syften. Det kan till exempel vara intressant att få indikatorer på hur alumnen har upplevt studietiden vid lärosätet/programmet inför kommande studentrekryteringar. Frågor om vilken nytta studenten haft av olika kurser (teori/metod) är viktiga för relevansbedömning på program- och kursnivå.
Dessutom kan frågor om etablering ge svar på såväl relevans gällande programmets innehåll som arbetsmarknadsläget inom tilltänkt arbetsområde.

Ett aktivt alumniarbete förenklar processen. Många program väljer att ha kontakt med sina alumner via sociala medier, nyhetsbrev, träffar med mera. Att introducera befintliga studenter i alumnibegreppet och viljan av att ha fortsatt kontakt efter studierna kan vara en väg att gå.

Beroenden och förutsättningar

Beroende på hur stor undersökning som ska göras och hur många individer som omfattas bör val av metod för insamling viktas. Telefonintervjuer kan ge en mer fördjupad dialog, medan en elektronisk enkät gör det möjligt att förenkla bearbetningen av ett statistiskt underlag. Ibland kan en kombination av bägge vara påkallat.

Alumniundersökningar kan uppfattas som tidskrävande och något som genomförs sporadiskt. Att planera in undersökningar som del i kvalitetsarbetet över tid är emellertid en fördel.

Avnämarundersökning

Syftet med en avnämarundersökning inom högskolans område är att undersöka i vilken utsträckning utbildningarna svarar mot avnämarnas och arbetsmarknadens behov.

Undersökningen består av:

1. Att identifiera studenternas framtida arbetsgivare.
2. Omvärldsbevakning och dimensionering, inklusive eventuell statistik och litteraturstudier.
3. Avnämarenkät (eller intervjuer).
4. Analys och rapport om studenter och arbetsmarknad.

Funktion

Avnämarundersökningen kan användas som underlag i programutvärderingar och inför revidering av utbildningsplaner.

På lärosätesnivå kan kunskap om viktiga identifierade arbetsgivare och avnämare användas i det systematiska kvalitetsarbetet för utvärdering av kvalitet i verksamheten.

Stödprocesser

Med fördel kan ett lärosäte och/eller en fakultet tillhandahålla ett gemensamt frågebatteri som programmen själva kan komplettera med mer specifika frågor.

Beroenden och förutsättningar

Avnämare kan exempelvis identifieras genom branschorganisationers register, att följa upp var tidigare studenter har tagit vägen eller via tidigare etablerade samarbeten för genomförande av verksamhetsförlagd utbildning.

Det största problemet som hittills rapporterats har varit att hitta rätt personer att bedöma de nyutbildades kompetenser och färdigheter. Ibland kan det också vara svårt att hitta avnämare beroende på bransch och programmets karaktär. Här kan alumner eller branschråd potentiellt vara till hjälp.

Exempel

Avnämarundersökning ska hjälpa program att värdera kvaliteten i sin utbildning, intervju med Anna Kiessling, Karolinska institutet. 

Fördjupning

Samtliga program på nybörjarnivå på Karolinska Institutet (14 st) har genomfört en avnämarundersökning.

Läs mer i KI:s processutvärdering

Läs KI:s rapport kring avnämarundersökning