Achter de PhD: Patronen in tijdreeksen onderzoeken

Data bepalen hoe we problemen in het dagelijks leven voorspellen, plannen en oplossen. Tijdreeksanalyse speelt hierbij een belangrijke rol; het helpt ons patronen te begrijpen in gegevens die over een langere periode zijn verzameld, zoals het bijhouden van veranderingen in het weer of het monitoren van industriële machines.

In dit interview praten we met Jurgen over zijn onderzoek naar Convolutionele Neurale Netwerken (CNN’s), een type deep learning model dat is ontworpen om patronen in grote hoeveelheden gegevens te herkennen. Hij richt zich op praktische uitdagingen zoals het detecteren van industriële storingen en het analyseren van seismische activiteit. Jurgen laat zien hoe op maat gemaakte CNN-architecturen op een efficiënte manier de performance kunnen verbeteren.

Waarom heb je dit onderzoeksonderwerp gekozen en wat maakt het zo fascinerend?

“Aanvankelijk begon ik met een project om de kunststofindustrie te digitaliseren. Het sprak me aan om mee te werken aan de strijd tegen plastic afval. Naast dat project had ik niet meteen een duidelijke onderzoeksrichting, hoewel het duidelijk was ik vooral zou werken met sensordata als gegevensbron. Dit werd uiteindelijk het hoofdonderwerp van mijn scriptie, waarbij ik ervoor koos om me te richten op tijdreeksanalyse met behulp van Convolutional Neural Networks (CNN’s), vooral bekend vanwege het gebruik in Computer Vision. Wat tijdreeksgegevens zo interessant maakt, is de alomtegenwoordigheid ervan: ze worden op grote schaal geregistreerd in verschillende domeinen, van financiële markten en weersvoorspellingen tot wearables, IoT-apparaten en andere sensoren. Het voorspellen van toekomstige waarden is daarom een zeer populair maar complex onderwerp.

Wat vooral fascinerend is aan tijdreeksgegevens, is dat je de relevantie van “tijd” mee moet nemen in elke analyse. Bij beursvoorspellingen bijvoorbeeld zijn de meest recente historische gegevenspunten meestal goede indicatoren voor toekomstige waarden. Op dezelfde manier kunnen trends vaak worden gedetecteerd, zoals seizoensveranderingen in dagelijkse temperatuurwaarden. Deze relatie met tijd gaat echter niet altijd op; in een van mijn hoofdonderwerpen, industriële foutdetectie, zijn de meest recente gegevenspunten niet noodzakelijkerwijs belangrijker dan waarden eerder in de tijd. Een belangrijke factor hierbij is de resolutie van de gegevens, die erg hoog kan zijn, vooral bij signaalgegevens, soms tot 48.000 punten per seconde. Het verschil tussen dit soort gegevens met een hoge resolutie en gegevens met een lagere resolutie, zoals temperatuurmetingen per uur of per dag, is aanzienlijk.

In mijn proefschrift zorgde het werken met grootschalige datasets met een hoge resolutie voor een grote uitdaging: efficiënte en nauwkeurige modellen ontwerpen die in staat zijn om zinvolle patronen te extraheren uit complexe, hoogdimensionale gegevens. Dit vond ik fascinerend. Daarnaast kon ik binnen dit veld innoveren door architecturen te ontwikkelen die op maat gemaakt zijn voor specifieke use-cases, zoals industriële foutdetectie en seismische analyse. Dat maakt dit onderzoek impactvol in de praktijk.”

Welke uitdagingen kwam je onderweg tegen en hoe heb je die overwonnen?

“Ik kan zeggen dat de COVID-pandemie het belangrijkste obstakel was tijdens mijn PhD. Het gebrek aan samenwerking, het niet naar kantoor kunnen gaan en het sociale isolement maakten het een uitdaging om vooruitgang te boeken en gemotiveerd te blijven, vooral omdat deze periode bijna twee jaar van het PhD-traject besloeg. Daarnaast liepen samenwerkingsverbanden met bedrijven – waar we gegevens zouden ophalen – vast, wat het proces nog ingewikkelder maakte.

Vanuit een onderzoeksperspectief was een van de grootste uitdagingen het ontwikkelen van nieuwe en innovatieve ideeën, vooral op een gebied waar al zoveel onderzocht wordt. Alleen al de hoeveelheid dagelijkse publicaties op het gebied van kunstmatige intelligentie maakt het moeilijk om met nieuwe ideeën te komen. Daarom moest ik een niche vinden waar ik een betekenisvolle impact kon hebben.”

Wat is de impact van je werk in de echte wereld?

“De methoden die in mijn onderzoek zijn ontwikkeld, hebben praktische toepassingen in verschillende domeinen. De voorgestelde CNN-architecturen voor industriële foutdetectie bieden bijvoorbeeld lichtgewicht en efficiënte oplossingen die geschikt zijn voor edge computing, waardoor betere beslissingen in realtimeomgevingen kunnen worden genomen. Met een op grafieken gebaseerde aanpak kunnen ook ruimtelijke en temporele gegevens beter worden verwerkt. Dit leidt tot betere resultaten in bijvoorbeeld de analyse van seismische activiteit. Sensornetwerken in dit domein produceren namelijk enorme hoeveelheden tijdreeksgegevens, die efficiënt moeten worden geanalyseerd.

Toch vinden organisaties en instellingen het nog vaak spannend om deze “black-box” benaderingen toe te passen vanwege de mogelijke implicaties van onjuiste voorspellingen, die kunnen immers financiële of maatschappelijke gevolgen hebben. Toch vind ik dat mijn werk aantoont dat je voor het verbeteren dan performance in specifieke domeinen niet altijd veel rekenkracht nodig hebt, zoals bedrijven als OpenAI. Het zorgvuldig ontwerpen en grondig valideren van de prestaties van een model kan in veel gevallen vergelijkbare resultaten opleveren. De inzichten uit mijn werk kunnen vakmensen helpen bij het ontwikkelen van hun eigen deep learning-modellen voor tijdreeksanalyse, waardoor uiteindelijk gebieden als voorspellend onderhoud en milieumonitoring vooruitgang kunnen boeken.”

Wat zijn je plannen na je promotie?

“Ik werk momenteel als onderzoeker aan een universiteit in Duitsland en zal dat voorlopig blijven doen. Hier doe ik onderzoek op het gebied van landbouw. Het type data is vergelijkbaar (tijdreeksen), ,maar de praktische implicaties zijn heel anders. Dat maakt het voor mij erg interessant.

Ik overweeg een academische carrière, met een focus op lesgeven en het begeleiden van studenten. In de academische wereld kan ik mijn kennis en innovatie vergroten en de volgende generatie onderzoekers begeleiden. Ook functies in organisaties, waar ik mijn expertise kan inzetten om maatschappelijke uitdagingen aan te pakken, trekken mij aan. Welk pad ik ook kies, mijn doel is om technische innovatie te integreren met een betekenisvolle maatschappelijke impact.”