Probeer ook de opdrachten die vastlopen

Pak de procedure die je wilt automatiseren en maak samen met een planner een paar fictieve opdrachten. Kies een omgeving waarin je de uitkomsten kunt controleren zonder echte leveringen te wijzigen. Neem verschillende problemen mee: een ontbrekend document, zendingnummers die op elkaar lijken, tegenstrijdige statussen en een wijziging waarop geen bevestiging volgt. Je wilt kunnen zien of de agent terecht doorgaat, stopt of de juiste persoon om hulp vraagt.

Schrijf bij ieder geval op hoe het begint, wat er gebeurt, wat je wilt zien en wat beslist niet mag gebeuren. Bij een onduidelijk zendingnummer kan de juiste uitkomst zijn: de agent toont beide mogelijke opdrachten en vraagt welke wordt bedoeld. Zelf een opdracht kiezen en wijzigen mag dan niet. Laat iemand die de inrichting niet heeft gebouwd, aan de hand van deze beschrijving beoordelen of de proef slaagt.

Nexus beschrijft dat een agent bij twijfel met context om hulp vraagt. Relevance AI noemt regels per tool en menselijke vrijgave voor zwaarwegende acties. UiPath beschrijft processen die op documenten of goedkeuring wachten en daarna verdergaan.^1,2,3,4

Bepaal welke regel jouw proces nodig heeft. Een agent kan een afhaalinstructie volledig begrijpen en toch toestemming nodig hebben om haar te wijzigen. Als de planner dat altijd eerst moet goedkeuren, leg die verplichting dan vast. Laat het team ook een geval tonen waarin alle gegevens aanwezig zijn en de opdracht overtuigend lijkt. De handeling moet nog steeds wachten. Alleen een demonstratie waarin de agent zelf twijfelt, beantwoordt die vraag niet.^1,2,3,4

Verander daarna de opdracht terwijl de goedkeuring nog openstaat. Kan de beoordelaar zien voor welke versie hij toestemming geeft? Spreek af wanneer een nieuwe wijziging opnieuw moet worden voorgelegd en wie de aanvraag mag overnemen. Probeer ook een duidelijke weigering. Die mag niet verdwijnen tussen tijdelijke fouten die de agent later opnieuw probeert. Er moet zichtbaar blijven dat iemand nee heeft gezegd.

Laat de leverancier een onderbreking proberen nadat het ontvangende systeem de wijziging mogelijk al heeft verwerkt. De agent of verantwoordelijke moet eerst met de oorspronkelijke referentie uitzoeken wat er is gebeurd. Daarna zijn er verschillende vervolgen: het bevestigde resultaat terugmelden, een aantoonbaar niet-uitgevoerde handeling opnieuw proberen of de onbesliste opdracht aan een planner geven. Een time-out bewijst niet dat er niets is veranderd.

Probeer ook een onderbreking terwijl een persoon de opdracht beoordeelt. Bij hervatten moeten de gegevens en rechten opnieuw aan de afspraken voldoen. Een oude goedkeuring mag niet ongemerkt op een inmiddels gewijzigde opdracht terechtkomen. Kijk daarom na hervatten in het bron- én ontvangende systeem. Het antwoord van de agent is maar een deel van het verhaal; de zichtbare toestand van de opdracht moet ermee overeenkomen.

UiPath beschrijft auditlogs met onder meer agentacties, toolaanroepen en de mensen die goedkeuring gaven. Relevance AI noemt het doorsturen van auditlogs en uitvoeringstraces naar een bestemming van de klant.^5,6

Vraag bij die logs om één volledig te volgen voorbeeld: de aanvraag, de toestemming, de uitgevoerde actie en de uiteindelijke toestand. Kan de beoordelaar alle regels bij dezelfde opdracht brengen? Losse logs helpen weinig als niemand kan uitleggen hoe ze samenhangen.^5,6

Zet de uitkomsten op een vrijgaveblad: de procedureversie, beoordeelde gevallen, het bewijs per resultaat, open beperkingen en degene die ingebruikname goedkeurt. Noteer ook waar onbesliste opdrachten staan en wie ze tijdens de volgende dienst behandelt. Een bericht dat om hulp vraagt is weinig waard als het alleen bij een afwezige collega aankomt. Laat de overdracht daarom doorlopen tot de persoon die werkelijk beschikbaar is.

Relevance AI zegt dat evaluaties bij iedere wijziging opnieuw draaien. Microsoft beschrijft goedkeuringsstappen tussen ontwikkel-, test- en productieomgevingen.^7,8

Gebruik je eigen lastige gevallen bij toekomstige wijzigingen, welke leverancier je ook kiest. Spreek af wanneer ze opnieuw moeten worden beoordeeld, bijvoorbeeld na een andere bron, connector of goedkeuringsregel. Geef een versie pas vrij als de relevante gevallen weer aantoonbaar slagen en de dienstverantwoordelijke de resterende beperkingen kent. Bewaar de eerdere versie en leg vast hoe het team terugvalt op de vorige werkwijze. Zo weet ook de volgende ploeg wat zij kan doen als de nieuwe inrichting moet worden teruggedraaid.^7,8