Urvalsmetodik, verktyg för validering av kvalitetsregisterdata

Epidemiologi och Registercentrum Syd (ERC Syd) har drivit ett projekt med syfte att underlätta och förbättra fastställandet av datakvalitet i kvalitetsregister.

Under projektet har ERC Syd utvecklat en delvis automatiserad procedur som baseras på urvalsmetodik och som minimerar det nödvändiga manuella arbetet.

Beskrivning av problemet

Det finns ett antal felregistrerade data inom varje kvalitetsregister. Det är mycket viktigt att estimera hur stort antal felregistrerade data som förekommer eftersom dålig datakvalitetet påverkar analyser och konklusioner som baseras på registrets data.

Registreringsprocessen kan indelas i tre steg: innan, under och efter registreringen. Inom varje steg finns det flera felkällor men det finns flera strategier som registren kan implementera för att minimera antalen fel i de olika stegen. Det är mycket svårt att skatta hur stor procent av felen som förekommer i varje steg. Tidigare har det rapporteras att kopieringsfelen ligger vid 5 % och ofullständig registrering vid 3 % [1].

1. Innan registrering

Fel uppgifter registreras i patientens journal, till exempel kopieringsfel, instrument är felkalibrerade, etc.

Strategi:

• Tydliga mål med registret: registrera endast variabler som verkligen behövs.
• Tydliga definitioner i formulären.
• Motiverad personal med rätt kompetens.

2. Under registreringen

Här förekommer kopieringsfel, felvärde, felberäkningar, rätt alternativ saknas, registrering på felaktigt alternativ, etc. Det är också möjligt att inte alla variabler registreras (ofullständig registrering).

Strategi:

• Användarvänlig plattform.
• Automatiska datakontroller under registrering till exempel med gränsvärden för olika parametrar.
• Obligatoriska fält.

3. Efter registreringen

Problemen i denna fas är relaterade till databasen och programmering: t.ex. överföringsfel mellan olika databaser.

Strategi:

• Datakontroller mot patientjournaler.
• Datakvalitetsrapporter.
• Regelbundna kontroller av data, till exempel antal registrerade operationer per månad.

Syftet med projektet var att estimera det totala antalet felregistrerade data i registret genom att kontrollera ett urval av patienter mot journaler. Genom denna metod kommer man att upptäcka felaktigheter som förekom under och efter registreringen men inte de eventuella felaktigheter som förekom innan registreringen eftersom informationen som står i journalen anses vara korrekta.

Metod för att estimera antal fel­regist­rerade data

Med hjälp av urvalsmetodik väljs ett slumpmässigt stickprov ut av registret. Antalet felregistrerade data i stickprovet räknas fram och resultaten extrapoleras till hela registret [2].

ERC Syd har tidigare utvecklat en server ”Centurion” för att komma åt registerdata från olika plattformar på ett säkert sätt. Centurion har använts bland annat för att skicka automatiska rapporter till olika registerhållare. Under projektet har vi använt Centurion för att komma åt data och för att kommunicera resultaten till registerhållaren.

Valideringsprocesen kan indelas i flera steg:

1. Registerhållaren ger antal förväntade felaktiga data. Registerhållaren kan få fram detta genom att genomföra en liten pilotstudie, eller genom att använda resultat från tidigare validering om sådana finns. Ett annat alternativ är att använda 5%, vilket är ett typiskt värde i detta sammahang [1].
2. Registerhållaren bestämmer vilken tolerans han/hon vill att den förväntade felaktiga datan ska ha. För att estimera detta kan man fundera om hur man kommer att använda registerdata, i vissa sammanhang är ± 10 % felaktigt data acceptabelt mellan i en andra fall behövs att felaktigheten inte överstiger 5 %. I tabellen 1 visas olika värde för stickprovet.
3. Beräkning av stickprovstorlek. Men denna information räknar ERC Syd fram sticksprovstorlek. Programmet för att räkna fram stickprovsstorleken har utvecklas under projektet.
4. Sammaställning av stickprovet. Ett program har utvecklats för att, med hjälp av Centurion, plocka fram ett stickprov som skickas till registerhållaren för att kontrollera mot journalen. Centurion skickar en excel fil med en lista av patienter som ska kontrolleras. Listan innehåller personnummer och de variabelvärden som finns i registret.
5. Kontrollen mot journalen. Registret kompletterar listan genom att jämföra data som finns i listan mot journalen och indikerar om registerdata är korrekta eller inte. Registret skickar tillbaka listan till ERC Syd.
6. Beräkningar av antal felaktiga data. Under projektet har ett program utvecklats för att räkna fram antal felaktiga data i stickprovet och extrapolera resultatet till hela registret. Innan beräkningen påbörjas kontrolleras listan med ett program för att säkra att alla patienter kontrollerats mot journalen. Om listan är korrekt ifylld körs huvudprogrammet för att estimera antalet felaktiga data och resultaten skickas till registret. Om listan inte är korrekt ifylld skickas patientuppgifterna som behöver komplettering till registret. Proceduren repeteras tills ERC Syd får en komplett lista.

Tabell 1: Exempel på stickprov för olika register

Fördelar med proceduren

Det är en delvis automatiserad process som innehåller få arbetsmoment för både registercentra och register. Manuellt arbete behövs i början av valideringsprocessen för att stödja registerhållaren i att estimera antalet förväntade felaktiga data och toleransnivån. Kontrollen av stickprovet mot journalen kräver manuellt arbete från registrets sida.

När registerhållaren skickar tillbaka resultatet av kontrollen mot journalen krävs att ERC Syd tar emot filen och lägger det på Centurion. Alla andra arbetsmoment är automatiserade.

Arbetsinsatser

Projektet genomfördes på ERC Syd under perioden maj 2013 – mars 2014. Arbetsinsatser för personer i projektet:

Aleksandra Turkiewicz, Statistiker
Arbetsinsats: Förberedelse till projektet och allmän rådgivning, 30 timmar

Jonas Ranstam, Statistiker
Arbetsinsats: Förberedelse till projektet och allmän rådgivning, 20 timmar

Aldana Rosso, Statistiker
Arbetsinsats: Projektledning, programmering och rapportering, 210 timmar

Ingemar Petersson, Driftchef
Arbetsinsats: Allmän rådgivning, 10 timmar

Totalt: 270 timmar

Drift och underhåll

Alla program är klara och fungerar korrekt. Inget underhåll behövs. Proceduren har testats i valideringen av Cornearegistret och fungerar som förväntat.

Kommunikation

Projektet presenterades på flera konferenser: Registerdagarna i Köpenhamn i september 2013 och Nationella Kvalitetsregisterkonferensen i Stockholm i oktober 2013. RCC i Stockholm har bett att få kopior av alla program. ERC Syd planerar att beskriva projektet i tidstriften ”Official Statistics”.

Källor

[1] Defining and improving data quality in medical registries: A literature review, case study and generic framwork. Arts D.G.T. et al, J Am Med Inform Assoc, 2002 (9) 600.

[2] Sampling of Populations: Methods and Applications, P. S. Levy och S. Lemeshow, 2008 John Wiley & Sons, Inc.