Dertig jaar geleden ben ik opgeleid als database engineer en software engineer. Ik ben toen bij Esri aangenomen omdat er iets nieuws was waarvoor iemand met precies die opleiding nodig was. Door de opkomst van relational databases in die tijd kwam de behoefte om iets met geografie in die databases te doen. Dit soort vraagstukken waren nieuw en revolutionair. Het was het begin van GIS als een toepassing die moest gaan passen in een ‘echte’ IT-architectuur. Daarvoor was GIS meer een op zich staande oplossing voor vraagstukken waar vooral geografen mee bezig waren. GIS moest gaan passen op of in databases. Geografische data moest opgeslagen en ontsloten gaan worden middels moderne standaarden zoals bevragingstalen (SQL) en interfaces (API’s).
De oplossing voor het werken met geografie in relational databases was software die de database met geografie verrijkten. De database ging snappen wat geografie was door speciale kolomtypes toe te voegen die de geografie of geometrie representeerden, zogenaamde spatial type kolommen. Op die kolommen kwamen spatial indexes en SQL werd uitgebreid met geografische functionaliteit. We hebben als het ware geografie naar de relational database gebracht om het werken met geografie in zo’n database mogelijk te maken. In die tijd was dit revolutionair, maar nu kunnen we geografie niet meer uit databases wegdenken.
Ik heb het idee dat we nu voor een zelfde belangrijke en heel vergelijkbare stap staan. Tegenwoordig hebben we het over datagedreven werken. We verzamelen heel veel data waarmee we als organisaties nieuwe diensten en producten kunnen bieden. Data wordt een waardevolle asset voor organisaties. Datagedreven werken leidt tot nieuwe inzichten en nieuwe technologie. We kijken op een andere manier naar het inwinnen van data en we kijken op een andere manier naar de opslag van grote hoeveelheden soms ongestructureerde data. De vaak nieuwe aangestelde Chief Data Officers sturen een leger van data-architecten en data scientists aan die opnieuw kijken naar hoe data ontstaat en gebruikt wordt.
Dit leidt tot nieuwe vragen rond geografische data. Hoe kunnen we grote hoeveelheden geografisch georiënteerde data inwinnen (ingestie), opslaan, onderzoeken en gebruiken? Hoe kunnen we grote hoeveelheden data omzetten in onder andere bruikbare geografisch georiënteerde data waaruit we nieuwe meerwaarde halen? Het gaat over geografie in IoT, big data, cloud data storage en data lakes. Juist hier heb ik het gevoel van een déjà vu. Ik zie exact dezelfde vraag als die van dertig jaar geleden voor een nieuwe data-architectuur.
Het antwoord op de vraag is dan ook heel vergelijkbaar met het antwoord uit die tijd. Opnieuw moeten we de kracht van geografie naar de data gaan brengen. Geografische functionaliteit moet in deze nieuwe technologie geïntroduceerd worden. Dit is precies wat we aan het doen zijn. Het grote verschil met dertig jaar geleden is de grote verscheidenheid aan data en technologie die we inzetten voor datagedreven werken. Dertig jaar geleden ging het om maar één technologie; relational databases. Nu gaat het om grote verschillen in infrastructuur, datastructuur en opslagtechnologie in een wereld die ook nog eens veel sneller veranderd.
Een paar voorbeelden van wat Esri op dit gebied doet:
- Data Lakes: ArcGIS GeoAnalytics Engine is een Apache Spark library waarmee je cloud-native geografische analyse naar je data in data lakes brengt.
- Cloud opslag: ArcGIS Image Server brengt functionaliteit voor het bewerken en analyseren van imagery data in de cloud door de software bij de data in de cloud te plaatsen.
- Cloud IoT: ArcGIS Velocity verrijkt data streams met geografie voor opslag in data lakes.
- Data ontsluiten: Met ArcGIS Enterprise 11.1 introduceren we Custom Data Feeds waarmee je zelf de geografische ontsluiting regelt op je data-architectuur en die vervolgens met standaard feature services beschikbaar stelt.
Waar we dertig jaar geleden met één oplossing voor één uitdaging stonden, staan we nu voor meerdere oplossingen voor meerdere uitdagingen. Dat is niet vreemd, datagedreven werken leidt tot veel nieuwe uiteenlopende technologie. In de basis gaat het steeds om het verrijken van nieuwe technologie met de kracht van geografie door GIS-technologie naar de data te brengen zoals we dat dertig jaar voor relational databases hebben gedaan. Ik heb dus niet één déjà vu, maar het zijn er vele.
