Wanneer is je AI-pilot goed genoeg voor dagelijks gebruik?

Maak de beoordeling concreter dan een tevredenheidsscore

Neem een fictieve groothandel die AI gebruikt om offerteconcepten voor te bereiden. Een medewerker controleert daarna producten, aantallen, prijzen en leverafspraken. Een leesbaar concept is prettig, maar de bedrijfstaak is pas geslaagd als de medewerker een correct voorstel kan afronden. Gebruik daarom de afgeronde aanvraag als meeteenheid, inclusief correcties en extra uitzoekwerk.

Leg vóór de test vast welke velden moeten kloppen, welke informatie aantoonbaar uit de bron moet komen en wanneer AI om aanvulling moet vragen. Beschrijf ook fouten die opschaling blokkeren, zoals een verzonnen prijsafspraak. OpenAI adviseert taakspecifieke evaluaties met vooraf bepaalde doelen en meetregels. De organisatie bepaalt zelf welke grens bij haar proces past.

Scheid verbeteren van onafhankelijk controleren

Maak twee verzamelingen: voorbeelden waarmee je instructies verbetert en een controleset die je tijdens dat verbeteren apart houdt. Die tweede verzameling wordt vaak een held-out set genoemd. Wie telkens dezelfde moeilijke offerte gebruikt om de instructie aan te passen, leert vooral hoe het systeem die offerte moet behandelen. De aparte set laat zien of de verbetering ook bij andere aanvragen werkt.

Verdeel de voorbeelden over veelvoorkomende aanvragen, uitzonderingen, onleesbare bijlagen, ontbrekende gegevens en tegenstrijdige afspraken. Houd vergelijkbare versies van dezelfde aanvraag bij elkaar, zodat bijna identieke documenten niet ongemerkt in beide verzamelingen belanden. Laat een vakinhoudelijke medewerker de verwachte uitkomst vastleggen. Een correcte weigering of aanvullende vraag kan daarbij beter zijn dan een volledig ingevuld concept.

Bewaar de gebruikte bronversie, instructie, modelinstelling en beoordelingsregel. Test belangrijke gevallen meermaals wanneer wisselende antwoorden gevolgen hebben. Anthropic onderscheidt een keer slagen binnen meerdere pogingen van consequent slagen. Een demonstratie met de beste poging toont niet automatisch hoe voorspelbaar dagelijks gebruik wordt.

Geef fouten met verschillende gevolgen een eigen plaats

Een onhandige formulering vraagt weinig herstel. Een verkeerd artikelnummer kan een levering verstoren. Eén gemiddelde kwaliteitsscore maakt dat verschil onzichtbaar. Gebruik daarom afzonderlijke uitkomsten en rapporteer altijd hoeveel gevallen zijn getest. Onderstaande indeling is een praktische keuze voor het fictieve proces, geen algemene norm.

Op een smal scherm kun je de tabel zijwaarts verschuiven. Met een toetsenbord: focus de tabel en gebruik de pijltjestoetsen.

Maak onderscheid tussen een fout die de medewerker meteen ziet en een fout die ongemerkt kan doorstromen. Leg ook vast of beoordelaars het eens zijn. Als twee ervaren medewerkers hetzelfde antwoord anders waarderen, moet mogelijk eerst de werkinstructie worden verduidelijkt. Een automatisch beoordelend model kan helpen sorteren, maar krijgt daarmee niet de bevoegdheid om bedrijfscriteria zelf te bepalen.

Reken tijdwinst en geld afzonderlijk uit

Stel dat bij vijftig aanvragen de voorbereiding per aanvraag zes minuten korter duurt, vóór controle en herstel. Dat levert 300 minuten op. Twee minuten extra controle per aanvraag, bovenop de controle in het bestaande proces, kosten 100 minuten. Vier extra herstelgevallen van elk 25 minuten kosten nog eens 100 minuten. De netto tijdwinst is dan 100 minuten.

Pas daarna kun je tijd naar geld vertalen. Bij een aangenomen interne uurwaarde van €60 vertegenwoordigen 100 minuten €100. Na €20 direct AI-verbruik blijft in dit rekenvoorbeeld €80 over, vóór vaste licenties, inrichting en onderhoud. Dit is een fictieve berekening: de €80 is gewaardeerde capaciteit minus extra directe uitgaven, geen aangetoonde winst. Reken alle kosten en opbrengsten toe aan dezelfde meetperiode. Productief inzetten van de tijd kan waarde hebben; pas aantoonbaar vermeden uitgaven of extra opbrengsten onderbouwen een financieel resultaat.

Maak van evalueren een terugkerend besluit

Herhaal de relevante tests na veranderingen aan instructies, modellen, bronnen of processtappen. Voeg praktijkfouten toe en houd een verantwoordelijke voor de meetregels. NIST adviseert beoordeling onder omstandigheden die op de gebruiksomgeving lijken en monitoring tijdens productie. Een kleine testset kan zeldzame fouten missen.

Wel doen: vergelijk dezelfde bedrijfstaak, registreer controlewerk en houd kritieke fouten apart. Niet doen: alleen geslaagde voorbeelden tonen, tevredenheid gelijkstellen aan juistheid of een slechte categorie wegmiddelen. Voor de inrichting van controlemomenten sluit dit aan op AI-workflows met menselijke controle.

Actueel: evaluatiemethode en productkeuze

Stand 29 oktober 2026. OpenAI heeft de afbouw van zijn Evals-platform aangekondigd. Volgens de planning worden bestaande evaluaties op 31 oktober alleen-lezen en sluiten dashboard en API op 30 november. Dat zijn op deze peildatum toekomstige mijlpalen. Bewaar eigen testgevallen en meetregels overdraagbaar. Zie de officiële afbouwplanning.

Veelgestelde vragen

Hoe groot moet de testset zijn?

Groot genoeg om relevante variatie te onderzoeken; er bestaat geen universeel aantal dat betrouwbaarheid bewijst. Begin praktisch en breid uit bij belangrijke uitzonderingen of kleine kwaliteitsverschillen.

Wanneer kan de pilot verder?

Wanneer de afgesproken voorwaarden aantoonbaar zijn gehaald en controle, kosten en herstel werkbaar zijn. Soms is beperkte inzet voor één type aanvraag de verstandigste vervolgstap.