Alle gegevens op één plek

Het e-commerce platform dat we onder handen moesten nemen, was al bijna twee decennia operationeel en gebouwd op een doe-het-zelfoplossing die in de loop der tijd verouderd en inefficiënt was geworden – een veelvoorkomend probleem bij organische platformgroei. Een van de grootste problemen zat in de architectuur: alle productgegevens waren opgeslagen in één veld, wat het vrijwel onmogelijk maakte om specifieke attributen programmatisch te filteren of op te halen.

Stel je een standaard scenario voor waarbij een t-shirt van een bepaald merk beschikbaar is in drie kleuren en verschillende maten (S, M, L), met gedeelde attributen zoals de stofsamenstelling, bijvoorbeeld "100% katoen". In een ideale databasestructuur zouden dergelijke details in afzonderlijke velden worden opgeslagen om efficiënt op te kunnen vragen en te filteren. In het bestaande systeem was deze informatie echter ingebed in één enkele string: de productbeschrijving.

AI gebruiken om structuur aan te brengen

Om over te stappen van zeer ongestructureerde gegevens naar een gestructureerd formaat, overwogen we in eerste instantie het gebruik van reguliere expressies voor het parsen van gegevens. Deze aanpak was echter niet schaalbaar gezien het aantal producten – ongeveer 29.000 met 90.000 varianten – en het aantal gegevensvelden per product. Het zou twee mensen, die fulltime werkten, minstens drie maanden kosten om dit handmatig te doen.

In plaats daarvan hebben we AI ingezet, met ChatGPT 4o, om productattributen automatisch te extraheren en te categoriseren. De keuze voor ChatGPT 4o was strategisch: het bood stabielere en nauwkeurigere resultaten vergeleken met zijn voorgangers – met snellere API-reacties en meer kosteneffectiviteit.

Onze eerste stap was het bouwen van een prototype dat de haalbaarheid van het gebruik van AI voor datatransformatie aantoonde. We ontwikkelden een eenvoudig systeem dat productgegevens en bijbehorende prompts invoerde in ChatGPT, en vervolgens de output opsloeg in een staging-database. Tests met ongeveer 100 producten leverden veelbelovende resultaten op, wat bewees dat AI nauwkeurig productattributen kon extraheren.

De oplossing opschalen

Met het prototype gevalideerd, schaalden we de oplossing op om de hele productcatalogus te verwerken. Dit omvatte verschillende belangrijke stappen:

• Data Migratie: We implementeerden een migratieproces op twee niveaus, gericht op zowel product- als mastergegevens. Dit omvatte het scheiden van algemene attributen van unieke, het herstructureren van tekstformaten en het verwijderen van hardgekoppelde productbeschrijvingen.

• Meertaligheid: Gezien de tweetalige aard van het platform (Nederlands en Engels), werden onze prompts dynamisch ontworpen om te voldoen aan verschillende productcategorieën en talen. Deze flexibiliteit zorgde ervoor dat de attributen nauwkeurig werden geëxtraheerd, ongeacht de taalverschillen.

• Beperken van onjuiste resultaten: Een van de uitdagingen was het waarborgen van consistentie in de verzamelde gegevens. De wasvoorschriften van bepaalde kledingproducten bleken bijvoorbeeld een echte uitdaging om consequent te extraheren. We hebben onze prompt-engineering meerdere keren aangepast om hallucinaties te minimaliseren en uiteindelijk hadden we een reeks prompts die in meer dan 99% van de gevallen werkten.

• Definitieve Data Parsing: Na de initiële datatransformatie voerden we een laatste parse uit in de staging-omgeving om volledigheid en nauwkeurigheid te waarborgen. Deze stap nam ongeveer drie dagen in beslag, met een totale projectduur van 1,5 maand van begin tot eind.

Proces één

Ophalen van ongestructureerde productgegevens uit de bron

Proces twee

Transformeren van ongestructureerde productgegevens

Proces drie

Verplaatsen van getransformeerde en beoordeelde productgegevens naar de commerciële engine

Belangrijke inzichten en vervolgstappen

Dit project liet zien hoeveel potentieel kant-en-klare LLM's hebben voor datatransformatie bij het moderniseren van legacy-systemen. Onze aanpak loste niet alleen de onmiddellijke uitdaging op, maar leverde ook een herbruikbaar framework op voor toekomstige projecten. We hebben de klant een geweldig resultaat bezorgd in veel minder tijd dan wanneer het handmatig was gedaan, wat een win-win is voor beide partijen.

Hier zijn enkele belangrijke inzichten en vervolgstappen:

• Herbruikbaarheid: Het proces dat we hebben ontwikkeld is aanpasbaar en kan als startpunt dienen voor andere e-commerce transformaties. We hebben al enkele andere klantensystemen op het oog die hiervan kunnen profiteren.

• Automatiseringsmogelijkheden: Toekomstige verbeteringen kunnen zich richten op het automatiseren van achtergrondprocessen, zoals het integreren van generatieve AI voor productafbeeldingsvariaties en de ontwikkeling van geavanceerde zoekalgoritmes.

Dit project was erg leuk omdat we het voornamelijk als test begonnen voordat we het ooit aan de klant lieten zien. We horen allemaal veel over platforms zoals ChatGPT, maar om in staat te zijn snel een oplossing te bouwen die veel waarde bood, was fantastisch. 

Wij ontwikkelen maatwerkoplossingen om de complexe uitdagingen van moderne digitale bedrijven aan te pakken. Neem contact met ons op om te zien hoe we kunnen helpen.