Het Instituut voor Briljante Mislukkingen (IvBM) onderzoekt sinds 2015 de faalopbrengsten van mislukte experimenten in met name de publieke sector. “Als je project mislukt, heb je sowieso al bepaalde kosten gemaakt”, vertelt Chief Failure Officer Paul Iske. “Maar wat je mislukte project gaat opleveren, heb je zelf in de hand. Wij scheppen graag aandacht voor de faalopbrengsten: wat heb je geleerd, en hoe kun je die lessen delen met anderen?” Op deze manier wil het IvBM ruimte maken voor het onvermijdelijke: bijna geen enkel project verloopt volgens plan.
“En dat hoeft helemaal niet erg te zijn, maar dan moeten we mislukkingen wel bespreekbaar maken”, vervolgt Paul. “Wij willen ervoor zorgen dat mensen zich veilig voelen om juist ook hun mislukte projecten te bespreken, zonder dat ze zich zorgen hoeven te maken dat ze daarop worden afgerekend.” Zeker met nieuwe technologie als AI kunnen de geleerde lessen van mislukte projecten veel profijt opleveren. “Zo kunnen mensen vooraf leren van fouten die anderen gemaakt hebben. Ons streven is om faalpatronen te herkennen en zichtbaar te maken. In die zin sluit onze aanpak ook inhoudelijk goed aan bij dit veld.”
Daarom streeft de werkgroep Publieke Diensten er ook naar om, in samenwerking met het IvBM, positieve aandacht te genereren voor mislukte projecten. Door een sociale omgeving te creëren en daarbinnen mislukte projecten bespreekbaar te maken, kan de Nederlandse AI-gemeenschap van elkaar leren, en zich veel sneller en effectiever ontwikkelen. Bij de drie winnaars van deze awards viel op dat de grootste uitdagingen niet technisch van aard waren, maar te maken hadden met een sociaal draagvlak dat soms kleiner was dan in eerste instantie verwacht – en soms juist groter. We laten de winnaars van de award dan ook graag aan het woord.
Assetbeheer bij de gemeente Breda: AI in elitegroepje in plaats van breed gedragen
“Voor dit specifieke experiment wilden we AI inzetten bij het beheer van het Bredase wegdek”, vertelt Kees Kerstens, projectmanager Smart Cities bij de gemeente Breda. “We hebben op basis van digitale 360-gradenscans en vele foto’s het systeem geleerd hoe beschadigingen in het wegdek eruitzien, en verschillende vormen van beschadiging te onderscheiden. Zo kunnen we het tijdstip van ingrijpen van curatief naar preventief brengen, wat veel kosteneffectiever is. Het uiteindelijke doel van dit experiment was om te kijken of we AI kunnen gebruiken voor ons totale assetmanagement.” Daarvoor werkte de gemeente Breda samen met een marktpartij, die de software en kennis leverde voor de beeldherkenning.
Een lerende organisatie
Technisch gezien is het project geslaagd. “Het blijkt dat je AI kunt inzetten voor beheer. We hebben aangetoond dat preventief onderhoud overlast en geld bespaart. Maar procedureel hadden we het anders aan kunnen pakken”, zegt Kees. “Sommige mensen zien digitalisering toch primair als gevaar. We hadden kleinere stapjes kunnen nemen, en meer gesprekken met de betrokken afdeling aan kunnen gaan.”
“Wij waren heel erg gericht op de techniek van AI, samen met de mensen die hierover ook enthousiast zijn”, vertelt Judith van Brussel, programmamanager Digitalisering bij de gemeente. “Maar wij moeten zorgen dat meerdere mensen het enthousiasme voelen. Je kunt niet alleen inzetten op resultaten, je moet ook inzetten op een lerende organisatie. Dan blijft je kennis behouden. Je moet ook blijven kijken naar de behoeften van de mensen met wie je gaat samenwerken.”
Wat doe je als het experiment een succes is?
“Op het moment dat een pilot succesvol is, moet je je afvragen: “Wat ga je dan doen?”, vertelt Judith. “Dat is eigenlijk een heel ander vraagstuk dan de mogelijkheid van AI om überhaupt een rol te spelen. Eigenlijk moet je dat al van tevoren bespreken: wat doen we als het een succes wordt? Dan kun je veel vrijer praten dan als het al een succes is. Op dat moment moet je al duidelijk hebben wat er gaat gebeuren met de mensen om wiens werk het gaat.”
30% mag misgaan
“We zagen dat onze prioriteiten als afdeling Digitalisering niet altijd overeenkomen met de prioriteiten van de mensen met wie we samenwerken”, zegt Kees. “Het blijft interessant, maar mensen hebben er niet altijd de ruimte voor.”
“Gelukkig had de wethouder digitalisering ons bij aanvang een opdracht gegeven: 30% mag misgaan”, vertelt Judith. “We hebben dus ook iemand achter ons staan die ziet hoe belangrijk het is om te durven mislukken, en dat helpt ons ook om aan deze awards mee te doen.”
Een chatbot voor de Belastingdienst: van techniek naar meer businessanalyse
“Ons doel was om niet langer over chatbots te praten, maar met chatbots te gaan praten”, vertelt Ramon Ankersmit, Design Authority Cognitive Solutions bij de Belastingdienst. “Dit chatbot traject was een proof of concept om te leren van de techniek en inzicht te krijgen hoe deze op een transparante en verantwoorde manier breder ingezet zou kunnen worden. We wilden vooral een natuurlijk gesprek mogelijk maken, en ondertussen kijken tegen welke uitdagingen we allemaal aan zouden lopen.”
Soms is de techniek geen probleem
“Als belastingdienst wilden we deze techniek onderzoeken en leren hoe en waarvoor deze mogelijk als toegevoegde dienstverlening in te zetten is. We wilden dit experiment klein beginnen dus de interne servicedesk lag daarom ook voor de hand om te kijken welke uitdagingen we allemaal tegenkomen bij de implementatie van zo’n chatbot. En wat opviel: de software was al zo ver gevorderd dat onze software engineers en data scientists veel minder werk hadden dan we hadden verwacht. De belangrijke vraag was meer: hoe vullen en onderhouden we die chatbot op een goede manier? Toen bleek: we hebben meer businessanalisten en minder techneuten nodig om succesvol te zijn.”
“Dat was ook een van onze experimentvragen: welk deel van zo’n project is ICT, en welk deel is business? Naarmate je verder komt, merk je dat daar meer aandacht voor nodig is. Achteraf had ik ons beginteam anders samengesteld. Je hebt de techniek nodig, maar dat hadden we ook via interne specifieke opdrachten kunnen oplossen. In plaats daarvan zouden we ons nu veel meer richten op de business analyse: welke informatie heb je nodig, en hoe neem je mensen mee om de businesskant te laten slagen?”
Elk traject is een experiment
“We beginnen eigenlijk altijd vanuit de gedachte dat we bezig zijn met een experiment binnen het AI-vakgebied”, gaat Ramon verder. “Het kan ook een valide uitkomst zijn dat een bepaalde aanpak niet relevant is, of geen toegevoegde waarde oplevert. Als de data scientists zeggen dat verdere ontwikkeling niet zinvol is, dan moet je niet doorgaan omdat je als business graag wil dat iets lukt. Misschien is het niet de gewenste uitkomst, maar je kunt er wel van leren voor vervolgtrajecten.”
“Daarom hebben we een agile ontwikkelmethodiek, zodat we elke drie weken opnieuw kunnen bijsturen. Functionaliteit en prioriteit kunnen wijzigen aan de hand van opgedane kennis tijdens een sprint. We zijn met een heel kleine vraag begonnen en hebben er steeds een klein stukje bij gepakt. Zo konden we ook goed bijsturen om ons meer te richten op het businessaspect van deze casus.”
Bureau Dupin: wisdom of the crowd té populair
Bureau Dupin beroept zich op de wisdom of the crowd om cold cases op te lossen. Dit specifieke geval betrof de Nieuwjaarsmoord uit 2013. De politie heeft daarbij toegang verstrekt tot alle (gepseudonimiseerde) telecomgegevens omtrent de zaak. “Daar wilden we datascience op toepassen”, vertelt Peter de Kock, oprichter van Bureau Dupin. “Dus dat hebben we samen met studenten van de Jheronimus Academy for Data Science gedaan.”
“Die studenten kunnen wel wat met datascience en programmeren. Dus we hebben hen gevraagd applicaties te bouwen zodat gebruikers zonder technische achtergrond toch die datasets kunnen bevragen. Het resultaat hebben we op een event gepresenteerd aan onze community. Onze onderzoekers vonden dit zo interessant dat onze website meermaals plat werd gelegd. We hadden het aantal aanvragen sterk onderschat.”
Je hoeft geen datascience te studeren
“Daarin hebben we een denkfout gemaakt. Onze community van 1700 onderzoekers weet misschien niet zo veel van datascience, maar wel heel veel van de zaak. Of ze zijn enthousiast genoeg om zichzelf de basisprincipes van datascience aan te leren. Parallel aan ons traject zijn ze aan de gang gegaan met datascience, en daar kwam waarde uit voort die wij niet hadden voorzien.”
“Zo hadden we een fout gemaakt die vaker voorkomt bij overheidspartijen, namelijk dat je AI gaat beschouwen als iets heel unieks waar je echt voor gestudeerd moet hebben. Niets is minder waar. AI en datascience gaan ons allemaal raken, en dus moet je mensen die zich daarvoor interesseren er ook bij betrekken.”
Overbrug de kloof tussen datascience en praktijk
“Er zijn veel meer mensen die bereid zijn de stap te maken om datascience te begrijpen dan we hadden gedacht. Onze community is heel divers, en mensen gaan elkaar helpen. Dan zie je de waarde van data als je die weet te koppelen aan de praktijk, in dit geval aan de zaak. De studenten wisten natuurlijk veel minder van de zaak dan onze community, en andersom wisten onze onderzoekers veel minder van datascience dan onze studenten. Die kloof hebben we geprobeerd te dichten door mensen dichter bij elkaar te brengen. Zo kregen we ook veel behulpzame feedback van de eindgebruikers.”
Laat iedereen meedenken
“Als we dit project opnieuw zouden opzetten, zouden we de uiteindelijke gebruikers veel actiever betrekken bij het ontwerpen van de datascience tools. Zodat iedereen mee kan denken die dat wil. Zo’n groep gaat zichzelf vormen. Het is niet erg als die groep groter wordt, veranderlijk is, of als mensen afvallen omdat het te technisch wordt. Die dynamiek zouden we nu veel meer faciliteren, want die heeft al veel extra waarde opgeleverd.”
Aanmoediging voor meer briljante mislukkingen
Bij deze verkiezing hebben de winnaars van de awards laten zien wat het oplevert als je fouten durft te maken én daarvan kan leren. De komende jaren zal het Instituut voor Briljante Mislukkingen meer activiteiten plannen om dit te stimuleren. Ook krijgt de Award Briljante AI-Mislukkingen een vaste plek op het jaarlijkse event van de NL AIC. Hopelijk werkt dit als een aanmoediging om open te zijn over mislukte projecten en daarmee jezelf en vooral ook anderen te helpen leren. En je hoeft niet dezelfde fouten te maken: er is nog keuze genoeg!
