Brabant Water werkt met AI en ArcPy succesvol aan dataverbetering

Brabant Water levert dag en nacht drink- en industriewater aan 2,6 miljoen inwoners en bedrijven in Noord-Brabant en een klein gedeelte van Zeeland. Het leidingnet van het duurzame drinkwaterbedrijf telt zo'n 1,3 miljoen aansluitleidingen. Van bijna een kwart hiervan staat de aanlegdatum niet in het GIS. Dat maakt het lastiger om vervangingsplannen op te stellen voor zowel de korte als lange termijn. Reden voor het drinkwaterbedrijf om met AI en ArcPy de ontbrekende gegevens boven tafel te krijgen en te automatiseren. In korte tijd zijn er zo dankzij machine learning-technieken en andere algoritmes al veel data in het GIS geüpdatet.

"Voor alle duidelijkheid: aansluitleidingen zijn leidingen die van de hoofdleiding in de straat bij woningen en bedrijven binnenkomen", zegt Maaike Walraad, data-analist bij Brabant Water N.V.. Ze vervolgt: "Brabant Water heeft een lange geschiedenis. Het bedrijf is in 2002 ontstaan uit een fusie tussen Waterleiding Maatschappij Noord-West-Brabant (WNWB) en Waterleidingmaatschappij Oost-Brabant (WOB). De historie van deze twee bedrijven gaat terug tot 1887. Daarvan had ieder bedrijf een eigen manier van leidingregistratie. Vaak waren dit schetsen op papier die zijn gemaakt door monteurs, en die niet altijd compleet waren ingevuld. Bovendien waren er ook daarvan verschillende versies, met handgeschreven datums en getypte datums. Bij de bedrijfsfusie zijn papieren archieven overgenomen, maar zijn er ook archieven verloren gegaan. Pas in de jaren '90 is de overstap gemaakt van analoge naar digitale registratie van aansluitleidingen en vond er ook conversie plaats tussen verschillende applicaties."

Verschillende methodes met inzet AI

Dennis Schol, data-analist bij Brabant Water N.V. vult aan: "Om de kwaliteit van de data te verbeteren en de ontbrekende aanlegdatums voor de aansluitleidingen - voor zover mogelijk - te achterhalen, zijn we dit dataverbeteringsproject gestart. Daartoe hebben we verschillende methodes ontwikkeld waarbij AI een belangrijke rol speelt. Om de schetstypes te onderscheiden hebben we een zogenoemd convolutional neural network (CNN) gebruikt dat via beeldherkenning de verschillende schetsen kan onderscheiden op basis van uiterlijke kenmerken van een schets, zoals de plek van het logo, het lettertype en aanwezigheid van bepaalde lijnen. Die afbeeldingen worden weergegeven in de vorm van een array van pixelwaarden. Daarnaast hebben we een methode ontwikkeld om de getypte datums te herkennen met OCR, ofwel: optical character recognition. Via patroonherkenning worden de datums 'herkend' en omgezet in een bewerkbaar bestandsformaat."

ArcPy

Verder is er een methode ontwikkeld om de handgeschreven datums te herkennen. Dennis: "Voor beeldherkenning van datums was en is veel trainingsdata nodig. In ons geval van orde van grootte van de dataset. CNN kon daarbij onderscheid maken tussen een leeg veld een ingevuld datumveld. Bij de algoritmische aanpak hebben we de Wet van Tobbler gehanteerd, waarbij we keken naar de aanlegdatum van aansluitleidingen bij buren van de desbetreffende percelen. En keken we naar andere overeenkomende data op de schetsen, waaronder projectnummers. Ook hebben we schattingen gemaakt op basis van de aanlegjaren van BAG-panden, distributieleidingen en expert judgement. Uiteindelijk gaat het er natuurlijk om dat alle data eenduidig worden weggeschreven en opgeslagen. Ook voor het geautomatiseerd invoeren van de gegevens in ArcGIS hebben we een methode ontwikkeld. Leidraad hierbij is ArcPy. Dat is een krachtige Python-bibliotheek die speciaal is ontworpen voor gebruik binnen ArcGIS Pro. Hiermee konden we GIS-taken, zoals geografische data-analyse, gegevensconversie en gegevensbeheer automatiseren."

Mooie resultaten

De inzet van AI en ArcPY heeft Brabant Water mooie resultaten opgeleverd als het gaat om dataverbetering en datagedreven werken. "We hebben in zo'n 9 maanden tijd 73.000 aansluitleidingen verwerkt, waarvan 18.000 in circa 300 uur. Als we handmatig de schetsen zouden aflezen, zou dat ruim 12.000 uur in beslag nemen. Al met al hebben we nu 27% van de onbekende aanlegdatums van aansluitleidingen weten vast te leggen. Dit alles levert ons tijdwinst op, en belangrijker nog: een betere besluitvorming op basis van data voor vervangingsplannen. En daardoor minder storingen en een hogere klanttevredenheid. Daar was en is het allemaal om te doen", zegt Maaike.

Leerpunten

Volgens Maaike en Dennis laat het dataverbeteringsproject zien dat het de investering absoluut waard is om hiermee aan de slag te gaan. "Natuurlijk zijn we er nog niet. Een groot deel van de onbekende aanlegdatums moeten we nog zien te detecteren. Daar zijn we volop mee bezig. Het proces heeft ons verschillende leerpunten opgeleverd. Wat we hebben gezien en geleerd is dat er veel trainingsdata nodig zijn voor beeldherkenning van handgeschreven tekst. Ook is er veel verborgen structuur aanwezig in de archieven. Simpele algoritmes kunnen al veel helpen om die structuur te verhelderen. Verder hebben we geconstateerd dat het belangrijk is dat we weten welke data we willen opslaan. Misschien hebben we die data vandaag niet nodig, maar morgen misschien wel. Dan is het maar goed als die data makkelijk te vinden zijn. Daarnaast spelen metadata een rol; dus de manier waarop we de data beschrijven. We krijgen van andere waterbedrijven die kampen met dezelfde vraagstukken wel eens vragen of onze AI-methodes een-op-een zijn over te nemen. Daar moeten we dan helaas ontkennend op antwoorden. Uiteraard zijn bepaalde elementen te gebruiken, maar ieder vraagstuk vraagt om een unieke oplossing."