Effectief meten: validatie & verificatie

Validatie en verificatie

In een gezond productieproces wijzig je continu onderdelen om processen en/of producten te verbeteren. Of juist om nieuwe producten te introduceren. Wanneer er iets verandert, of wanneer je de continuïteit wilt waarborgen van een goed lopend proces, onderzoek je of het proces en het product (nog) voldoen. Zo’n onderzoek noemen we validatie of verificatie. Dit hoeft niet ingewikkeld te zijn, maar van tevoren goed nadenken helpt wel! In dit stuk neemt onze Quality professional Annemieke je mee in hoe je zo’n onderzoek uitvoert. Daarvoor start ze met het verschil tussen de onderzoeken, waarna een stappenplan volgt.

Terminologie

De termen validatie en verificatie worden veelal door elkaar gebruikt, maar er is wel degelijk een verschil.

  • Bij een validatie onderzoek je de geldigheid van iets. In dit onderzoek ga je na of het product voldoet aan het doel en de wensen van de klant. Een validatieonderzoek voer je met name uit wanneer je een nieuw product of proces introduceert.
  • In een verificatie keur je de echtheid van iets. Je gaat na of het product voldoet aan de eisen met betrekking tot de veiligheid en kwaliteit. Vaak vinden deze controles plaats bij reeds bestaande processen en/of producten.

Het verschil in de praktijk
Hoe zie je dit verschil nu terug in de praktijk? Een voorbeeld: wanneer je een product van een nieuwe verpakking voorziet, programmeert een Monteur, Kwaliteitsmedewerker of Procestechnoloog een nieuw programma in de X-ray. Het nieuwe programma valideer je om te zien of het de juiste producten doorlaat en foutieve producten uitstoot. Zijn er teveel vals positieve of vals negatieve resultaten? Dan pas je het programma aan en valideer je het opnieuw. Dit doe je totdat de resultaten binnen de gestelde foutmarge vallen.

Nadat het programma in gebruik is genomen, verifieer je het regelmatig door een steekproef te nemen. Afhankelijk van de consequenties bij niet-functioneren bepaal je de frequentie van de steekproeven. Dit noemen we ook wel de prestatie verificatie routine (PVR).

“Bij een validatie onderzoek je de geldigheid van een product en/of proces, bij een verificatie keur je of het product voldoet aan de eisen met betrekking tot veiligheid en kwaliteit.”

Stap 1. Voorbereiding

Bij de eerste stap in een validatie, maar ook bij een verificatie, bepaal je wat je precies wilt weten. Dit doe je samen met degene die jou de opdracht geeft. Vervolgens bekijk je de mogelijkheden om het doel meetbaar te maken. Ook bepaal je bij welke waarde(n) het doel is bereikt.

Tip: Achterhaal of collega’s eerder vergelijkbare onderzoeken uitvoerden. Er is dan wellicht al bekend welke methode je kunt gebruiken en wat de betrouwbaarheid daarvan is. Ook leveranciers van meetapparatuur kunnen je tips geven over geschikte doelen en/of industriële standaarden.

Betrek en overleg met stakeholders
Een goede validatie staat of valt met een goede voorbereiding en communicatie. De situatie waarin je een nieuw product of proces valideert, wijkt af van de normale gang van zaken. Betrek daarom betrokken partijen in jouw onderzoek en stel hun op de hoogte. Belangrijke stakeholders zijn:

  • De productieplanning. Loopt de productie vertraging op? Overleg wanneer daar ruimte voor is. Zet altijd hoog in op de tijd die je nodig hebt. Zo heb je een beetje speling wanneer iets anders loopt dan verwacht. En belangrijker nog: zo stel je klanten niet teleur.
  • Lijnoperators. Heb je extra handen en ogen nodig? Overleg vooraf met de Teamleider wie jou bij kunnen staan. Stel gedetailleerde instructies op en (dubbel)check of iedereen het begrepen heeft.
  • De Procestechnoloog. Welke stappen in het productieproces wijzigen er? Bespreek welke invloed dit heeft op het product en jouw onderzoeksresultaten. Weet wat je meet: probeer zoveel mogelijk variabelen uit te sluiten of in kaart te brengen.
  • Afdeling kwaliteit. Is het product geschikt om de markt op te gaan? Besluit samen of het product on hold blijft totdat de resultaten van de validatie bekend zijn.
  • Het interne/ externe lab. Ben je verplicht om chemische analyses uit te voeren? Ga in gesprek over wanneer het lab die analyses uitvoert, welke kosten daarbij horen, hoe je monsters aanlevert en wanneer je de resultaten kunt verwachten. Maak eventueel een afspraak voor de interpretatie van meetresultaten en nauwkeurigheid van de analyse.

Stap 2. Uitvoering

Je hebt de meeste controle als je alles zelf uitvoert, maar dat is niet altijd haalbaar. Bijvoorbeeld wanneer je monsters middenin de nacht, op verschillende locaties tegelijkertijd, of over een langere periode wilt nemen. Zorg daarom voor duidelijke afspraken en instructies met betrokken partijen.

Duidelijke afspraken en instructies
Wat versta je onder zulke afspraken? Spreek bijvoorbeeld een plek af waar je collega’s de instructies op ieder moment kunnen vinden. Denk ook aan een plek waar men resultaten of monsters bewaart totdat jij ze ophaalt. Geef alles een duidelijk label mee. Zo weet iedereen wat het monster of de papieren zijn.

Maak een registratielijst voor de genomen monsters en/of metingen. Houd deze zo eenvoudig mogelijk, maar wel met alle informatie die jij nodig hebt. Door de monstername of metingen zo snel mogelijk te controleren, achterhaal je missende of onduidelijke informatie. Operators hebben alles nog vers in het geheugen zitten, de producten zijn nog niet afgevoerd en de digitale procesregistraties zijn nog gemakkelijk terug te vinden.

Tip: Om te weinig meetpunten te voorkomen als er een meting mislukt, is het verstandig om een extra meting of monstername te doen. Deze gebruik/ analyseer je niet direct. Je gebruikt ze alleen als je (betrouwbare) meetpunten tekortkomt. Daardoor hoef je niet het gehele onderzoek opnieuw uit te voeren of monsters op te vragen uit andere delen van de supply chain.

Wanneer er monsters naar het lab gaan voor analyse, zorg dan dat je ieder item duidelijk labelt. Vernoem hierop de inhoud en waarop je het wilt laten testen. Schrijf de codering ook voor jezelf op, zodat je weet welke resultaten bij welk monster horen.

Stap 3. Verslaglegging

Voor verificaties maak je geen verslag, maar een vaste methode van registratie. Dit kan op papier, in Excel of in een digitaal automatisch registratiesysteem. Voor bepaalde certificeringsinstanties is het van belang dat je registraties drie jaar bewaart. Dit geldt met name bij kritische processen voor de voedselveiligheid.

Een validatie leg je vast in een verslag. Dit bestaat uit een inleiding, hypothese of het gewenste resultaat, materiaal en methode, resultaten en discussie, conclusie, aanbeveling en bronvermelding. Veel lezers zullen zich beperken tot de conclusie van het verslag. Geef hierin dus duidelijk aan of je de gewenste resultaten in het onderzoek bereikt. Zo niet, voeg dan een aanbeveling toe waarmee de nieuwe validatie mogelijk wel slaagt.

“Voor verificaties maak je geen verslag, maar gebruik je een vaste methode van registratie. Een validatie leg je vast in een verslag.”

Stap 4. Afronding

Voor verificatieonderzoek schrijf je dus een verslag. Aan de hand van de conclusie en aanbevelingen bespreek je met jouw opdrachtgever de vervolgstappen. Wanneer je een nieuw proces implementeert, stel je indien nodig een verificatieschema in. Vergeet de nodige collega’s niet te informeren en op te leiden met het programma te werken. Voor een validatie geldt: als het nieuwe proces (nog) niet voldoet, voer je opnieuw wijzigingen door totdat de uitkomst binnen de marges valt. Steekproefsgewijs voer je de validatie, binnen de afgesproken frequentie, steeds opnieuw uit.

Aandachtpunten voor een succesvolle validatie

Kort samengevat: formuleer en kwantificeer je doelstelling, communiceer helder met alle betrokkenen, controleer je proces en monstername en concludeer in een rapport. Een validatie of verificatie hoeft dus niet ingewikkeld te zijn!