Før-og eftermåling. Første skridt på vejen til dokumentation af indsatser
- 1. FØR- OG EFTERMÅLING FØRSTE SKRIDT PÅ VEJEN HELLE HANSEN, SFI
- 2. DISPOSITION Dokumentation Før-eftermålinger generelt Hvad skal der til for at lave en god effektmåling? FØR- OG EFTERMÅLING 11-10-2013 2
- 3. DOKUMENTATION Meget brugt ord… Efterspørgsel på dokumentation Ofte fokus på processer - børnesamtale, tilsyn, andre lovkrav… Men hvad med BORGEREN? - dokumentation for problemstillingen - dokumentation for at der er sket en positiv ændring FØR- OG EFTERMÅLING 11-10-2013 3
- 4. HVORFOR FØR-EFTERMÅLING? Vil gerne se hvordan borgeren UDVIKLER/ÆNDRER sig over tid Vil gerne indføre en ny indsats og undersøge hvordan det går deltagerne Der kan ikke laves en effektmåling -ikke muligt pga. fx økonomi, for lille målgruppe, ingen mulighed for kontrolgruppe FØR- OG EFTERMÅLING 11-10-2013 4
- 5. FØR-EFTERMÅLING To vigtige ting: 1. Der skal måles både før og efter indsatsen 2. Der skal måles på samme måde hver gang man kan vise forskel fra start til slut FØR- OG EFTERMÅLING 11-10-2013 5
- 6. FØR-EFTERMÅLING AF LÆSE INTERVENTION 105 100 95 Indsats Kontrol 90 85 80 Før Statistisk signifikant forskel p < 0.001 Efter
- 7. FØR-EFTERMÅLING AF LÆSE INTERVENTION 110 105 100 Indsats Kontrol 95 90 85 80 Før Efter Forskel mellem grupper er IKKE signifikant
- 8. HVAD ER PROBLEMET MED FØR-EFTER MÅLINGER? Man ved ikke om ændringen skyldes indsatsen eller noget helt andet. Ændringerne kan skyldes: Modning/spontan remission Regression mod gennemsnittet 11-10-2013 8
- 9. MODNING/SPONTAN REMISSION EKSEMPLER Unge kriminelle bliver mindre kriminelle med alderen – også uden at man gør noget FØR- OG EFTERMÅLING 11-10-2013 9
- 10. MODNING/SPONTAN REMISSION EKSEMPLER • Man kan få det bedre, mens man står på venteliste – men det er næppe effekt af ventelisten! • Personer går til lægen med forkølelse, når de har det værst. Men får de det bedre pga. af behandlingen eller blot fordi tiden går? Smitte Symptom FØR- OG EFTERMÅLING Tid 11-10-2013 10
- 11. REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: • Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling FØR- OG EFTERMÅLING 11-10-2013 11
- 12. REGRESSION MOD GENNEMSNITTET •Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før FØR- OG EFTERMÅLING 11-10-2013 12
- 13. REGRESSION MOD GENNEMSNITTET Statistisk gruppefænomen: Målinger, der ligger langt fra gennemsnit ved første måling, har tendens til at ligge tættere på gennemsnittet ved næste måling Før FØR- OG EFTERMÅLING Efter 11-10-2013 13
- 14. REGRESSION MOD GENNEMSNITTET EKSEMPLER • Sammenhæng mellem forældres og børns højde • Effekt af at få ros på pilotelevers landinger FØR- OG EFTERMÅLING 11-10-2013 14
- 15. HVAD SKAL TIL FOR AT LAVE EN GOD FØR-EFTERMÅLING? • Klar og afgrænset indsats • Veddefineret målgruppe • Klare succeskriterier/mål FØR- OG EFTERMÅLING 11-10-2013 15
- 16. INDSATS Indsatsen skal være afgrænset og defineret Indhold og omfang skal være beskrevet ellers ved man ikke hvad man undersøger FØR- OG EFTERMÅLING 11-10-2013 16
- 17. INDSATS, EKS. KIK Forløbet er et standardiseret gruppeforløb. Der kan deltage 1214 forældre (6-7 par), og de mødes en gang om ugen. Hver mødegang varer 2,5 time, og der bruges samme dagsorden hver gang. Dagsordenen består af en række fast tilbagevendende elementer: • Siden sidst (30 min.) • Dagens emne – oplæg ved forældretræneren (30 min.) • Kaffesnak (30 min.) • Pause (10 min.) • Øvelse (30 min.) • Præsentation af hjemmeopgaven (10 min.) • Uddeling af forældrematerialet (5 min.) • Evaluering (5 min.) FØR- OG EFTERMÅLING 11-10-2013 17
- 18. INDSATS, EKS. KIK Emnerne på de 12 kursusgange er: • Introduktion til forløbet og ADHD • Barnet med ADHD • Familien • Opmærksomhed og anerkendelse • Se bort fra negativ adfærd • Konflikter • Rutiner og faste rammer • Planlægning og visualisering • Pauser og andre konsekvenser • Positive belønningssystemer • Problemløsning og selvkontrol • Opsamling FØR- OG EFTERMÅLING 11-10-2013 18
- 19. INDSATS - HYPOTESE Man skal gerne have en begrundet forventning om hvorfor og hvordan indsatsen virker Hypotese/forandringsteori: Beskriv hvordan de ønskede forandringer nås for målgruppen Sandsynliggør at de indsatser/aktiviteter, der gennemføres, også fører til de ønskede effekter. FØR- OG EFTERMÅLING 11-10-2013 19
- 21. FORANDRINGSTEORI En god forandringsteori er: • Meningsfuld • Sandsynlig • Opnåelig • Målbar • Kontrollérbar FØR- OG EFTERMÅLING 11-10-2013 21
- 24. MÅLGRUPPE Definer målgruppen -hvem er med og hvem er ikke? -fx alder, køn, problemstillinger, bopæl … Klare kriterier for hvilke krav man skal opfylde -evt. også eksklusionskriterier Man skal helst ikke være i tvivl om en person kan indgå i studiet eller ej. FØR- OG EFTERMÅLING 11-10-2013 24
- 25. MÅLGRUPPE Forældretræningskurset henvender sig til forældre, som har et barn med diagnosen ADHD eller forældre, som har mistanke om, at deres barn har ADHD. Mange helt små børn er endnu ikke diagnosticerede, og en del børn venter på udredning, så ved også at inddrage forældre til børn med mistanke om ADHD, kan der sættes ind med en hurtigere forebyggende indsats. Forløbet er baseret på, at forældre deltager frivilligt. Det betyder, at der allerede fra starten forventes et vist mål af ressourcer hos de deltagende forældre, en motivation for at ville deltage aktivt, arbejde med sin forældrerolle og skabe forandringer i hjemmet. FØR- OG EFTERMÅLING 11-10-2013 25
- 26. MÅLGRUPPE Eksklusionskriterier • Barnets primære diagnose er ikke ADHD • Familien har svære psykiske og sociale problemer, som kræver professionel støtte • Forældrene har et aktivt misbrug • Forældrene har fysisk eller psykisk sygdom, der forstyrrer gennemførelse af de ugentlige gruppemøder eller forhindrer fremmøde FØR- OG EFTERMÅLING 11-10-2013 26
- 27. SUCCESKRITERIER/MÅL Skal passe med formålet med indsatsen Skal være besluttet inden man starter undersøgelsen På hvilke områder forventer man at se ændringer? Hvor store ændringer forventer man? Vælg gerne primære/vigtigste og sekundære/interessante FØR- OG EFTERMÅLING 11-10-2013 27
- 28. SUCCESKRITERIER/MÅL Skal være: • Relevante • Målbare • Praktisk mulige • Målt på samme tidspunkt for alle Og gerne målt på de personer, der modtog indsatsen (i modsætning til sagsbehandler, lærer, forældre mm.) FØR- OG EFTERMÅLING 11-10-2013 28
- 29. SUCCESKRITERIER/MÅL (EKS. KIK) • en positiv ændring i forældrekompetencer i forhold til barnet (målt ved PSI-SF) • en positiv ændring i forældrenes vurdering af sig selv som forældre (målt ved PSOC) • Givet vi observerer en positiv ændring i forældrekompetencer, forventer vi en positiv ændring i barnets og familiens dagligdag og livskvalitet (målt ved AIM-C) • Givet vi observerer en positiv ændring i forældrekompetencer, forventer vi en positiv ændring i barnets adfærd (målt ved ECBI) FØR- OG EFTERMÅLING 11-10-2013 29
- 30. FØRMÅLING/SCREENING Ensartet måde at vurdere borgerens problemstillinger • Spørgeguide • Screeningsværktøj • Journalsystemer Sikrer at: • Alle vurderes på samme måde • Alt huskes • Niveau for problemstillinger • Udgangspunkt for valg af indsats FØR- OG EFTERMÅLING 11-10-2013 30
- 31. RESULTATER • Afrapporter • Offentliggør Vær specifikke omkring hvordan I har lavet undersøgelsen, så andre kan bruge resultaterne. FØR- OG EFTERMÅLING 11-10-2013 31
- 32. FØR-EFTERMÅLING To vigtige ting: 1. Der skal måles både før og efter indsatsen 2. Der skal måles på samme måde hver gang man kan vise forskel fra start til slut FØR- OG EFTERMÅLING 11-10-2013 32