Del D - Utvärdering för nationell försörjningsanalys
Utvärdering är en integrerad och kontinuerlig del av arbetet med nationella försörjningsanalyser. Den utgör en explorativ analysprocess som löper genom samtliga delprocesser i metodstödet och bidrar till ett systematiskt lärande och successivt fördjupat analysarbete.
På den här sidan
Introduktion
Ett centralt syfte är att följa upp de kärnuppgifter och mål som formulerades i urvalsprocessen. Det möjliggör en samlad bedömning av analysens relevans, kvalitet och måluppfyllelse. I detta ingår att värdera analysens giltighet över tid samt att följa upp om beslutade åtgärder har genomförts och vilka utfall och effekter de har haft i förhållande till uppsatta mål.
Utvärderingen omfattar också en prövning av om analysen behöver revideras, kompletteras eller genomföras på nytt. Detta kräver ett löpande och kritiskt förhållningssätt till såväl underlag som resultat. Parallellt är omvärldsbevakning en viktig del, för att fånga förändrade förutsättningar, nya beroenden och andra faktorer som kan påverka analysens aktualitet och giltighet.
Arbetet sker i flera tidsperspektiv, dels i nära anslutning till att en analys färdigställs, dels med ett längre tidsperspektiv för att möjliggöra uppföljning av åtgärdernas effekter.
Resultaten från utvärderingen ska återföras till urvalprocessen (del A), produktanalysen (del B) och åtgärdsprocessen (del C) för fördjupning och vidareutveckling.
Utvärdering i den sammanhållna analysprocessen. Nationella försörjningsanalyser är uppbyggda som en utforskande analysprocess. Figuren beskriver alla delar som ingår i metodstödet, samt övergripande frågor som besvaras i respektive delprocess. Utvärdering ingår i praktiken i alla delar, samt genomförs samlat i den fjärde delprocessen.
Hur kan utvärdering organiseras i praktiken?
Planera in utvärdering. Avsätt tid för både löpande reflektion och mer sammanhållna utvärderingstillfällen. Ta fram en utvärderingsplan som till exempel innehåller regelbundna uppföljningar, utvärderingsdagar, milstolpar, rollfördelning och dokumentation. Planen kan även innehålla de mål och indikatorer som definierats i försörjningsanalysen för produktgruppen.
Arbeta med lärande utvärdering. Integrera uppföljning och reflektion i det löpande analysarbetet. Det skapar förutsättningar att justera arbetssätt, omprioritera och fånga upp effekter och förändringar i realtid.
Skapa forum för gemensam reflektion. Involvera relevanta aktörer i utvärderingen för att pröva slutsatser, stärka förankring och fånga olika perspektiv.
Tydliggör ansvar och roller. Utse en funktion eller person med ansvar för att strukturera och driva utvärderingsarbetet. En extern eller intern granskare eller en referensgrupp kan bidra med kritiskt granskande, analysstöd, dokumentation och kontinuerlig återkoppling.
Dokumentera löpande. Samla observationer, bedömningar och förändringar systematiskt, till exempel kopplat till åtgärder, omvärldsbevakning och analysens antaganden.
När utvärderingen genomförs konsekvent och löpande integreras i arbetet, förbättrar det åtgärdernas träffsäkerhet och ökar nyttan av analysarbetet i sin helhet.
1. Uppföljning av åtgärder och effekt
I detta utvärderingsmoment bedöms om genomförda åtgärder har haft avsedd effekt på försörjningsförmågan och om identifierade brister har minskat.
Vad ska göras
Utgå från handlingsplanen eller åtgärdslistan för produktgruppen och följ upp åtgärderna genom att kategiorisera dem som genomförd, pågående, eller återstående. Gör en samlad bedömning av åtgärdernas effekter på tillgång, robusthet och sårbarheter inom den aktuella produktgruppen. Beakta även andra relevanta åtgärder som vidtagits utanför handlingsplanen och som påverkar försörjningsförmågan.
För att bedöma åtgärdernas effekt kan det vara bra att ha definierat mål för åtgärden. Det kan vara effektmål som till exempel att åtgärden ska vara uppfylld till 90 procent för att den ska anses åtgärdad, eller att en åtgärd gällande avtal följs upp hos leverantör, eller att en samverkansövning är genomförd.
Se även avsnitt Analysstöd för utvärdering av nationella försörjningsanalyser för stöd till att identifiera relevanta perspektiv och frågeställningar i utvärderingen.
Vad kan bedömas
- I vilken utsträckning åtgärder har genomförts
- Om åtgärderna har haft avsedd effekt
- Om identifierade brister har minskat, kvarstår eller på annat sätt förändrats
- Om nya brister eller beroenden har uppstått
- Hur den samlade tillgångsbilden har förändrats
2. Kvalitetssäkring av analysens giltighet
I detta utvärderingsmoment säkerställs att analysens antaganden, avgränsningar och slutsatser fortfarande är relevanta utifrån förändringar i omvärlden och ny tillgänglig kunskap.
Vad ska göras
Granska den genomförda analysens grundförutsättningar genom att se över om centrala antaganden fortfarande är giltiga, om avgränsningar är ändamålsenliga och om det tillkommit ny information som påverkar analysens slutsatser. Väg även in resultat från omvärldsbevakning, såsom förändringar i marknader, regelverk, leverantörsstrukturer eller annat som påverkar kritiska beroenden.
Se även avsnitt 4. Analysstöd för utvärdering av nationella försörjningsanalyser för stöd till att identifiera relevanta perspektiv och frågeställningar i utvärderingen.
Vad kan bedömas
- Om analysens antaganden fortfarande är hållbara.
- Om avgränsningar och urval är relevanta.
- Om ny information påverkar tidigare slutsatser.
- Om förändringar i omvärlden påverkar försörjningsförmågan.
- Analysens aktualitet och giltighet över tid.
3. Utveckling och revidering av analys
I denna del av utvärderingen identifieras behov av att uppdatera, fördjupa eller bredda analysen utifrån förändrad omvärld, ny kunskap och erfarenheter, samt att återföra lärdomar till analysprocessen.
Vad ska göras
Sammanväg resultaten från uppföljningen av åtgärder och kvalitetssäkringen av analysens giltighet. Gör därefter en bedömning om analysen behöver revideras, kompletteras eller genomföras på nytt. Arbetet omfattar även att identifiera lärdomar från analys- och åtgärdsarbetet, som kan stärka framtida analyser och utveckla metodiken.
Se även avsnitt 4. Analysstöd för utvärdering av nationella försörjningsanalyser för stöd till att identifiera relevanta perspektiv och frågeställningar i utvärderingen.
Vad kan bedömas
- Om analysen behöver uppdateras, fördjupas eller göras om
- Behov av nya eller justerade åtgärder
- Identifierade lärdomar och förbättringsområden i arbetssättet
- Prioritering av fortsatt analys- och åtgärdsarbete utifrån utvärderingens resultat
Analysstöd för utvärdering av nationella försörjningsanalyser
Här presenteras ett nedladdningsbart analysstöd för att strukturera och fördjupa utvärderingen. Analysstödet utgår från de tre utvärderingsmomenten:
- Uppföljning av åtgärder och effekt
- Kvalitetssäkring av analysens giltighet
- Utveckling och revidering av analys
De innehåller fördjupande perspektiv och frågeställningar som kan användas på olika sätt beroende på analysens mål och mognad. Det kan användas som checklista, diskussionsunderlag eller dokumentationsstöd vid utvärderingens olika moment.
Analysstöd för utvärdering av nationella försörjningsanalyser
Sammanfattning och fortsatt tillämpning
I och med denna utvärdering är du klar med delprocess D, och hela metodstödet för nationella försörjningsanalyser har härmed genomförts i sin fulla cykel. De fyra delprocesserna bildar tillsammans en sammanhållen och iterativ analysprocess, där erfarenheter och resultat kontinuerligt tas tillvara och utvecklas över tid.
Arbetet har resulterat i ett strukturerat och tillförlitligt kunskapsunderlag som stärker både den enskilda analysens kvalitet och det bredare arbetet med försörjningsberedskap. De insikter och bedömningar som genererats utgör en viktig grund för vidare analyser och beslut, och kan integreras i angränsande processer såsom förmågeplanering, risk- och sårbarhetsanalyser, utpekande av riksintressen, samt kontinuitetshantering.