Er is eigenlijk niets zo leuk als wat wel p-hacking wordt genoemd: waanzinnige correlaties vinden tussen toch wel belachelijk ongerelateerde zaken. Er is een hele website over.
Een veelvoorkomende andere fout in marketing analyse is het niet herkenning van confounding-factoren: factoren die oorzaak zijn van zowel onderzochte potentiële oorzaak als het potentiële gevolg. Zo is er bijvoorbeeld een sterke correlatie tussen aantallen verkochte ijsjes en het aantal verdronken kinderen. Alhoewel er geen mens is die zal beweren dat ijsjes kinderen doen verdrinken, is de correlatie waanzinnig groot. Dat zonnig weer zorgt voor beiden, is natuurlijk de meest waarschijnlijke oorzaak voor dit verband (overigens doet de zon ook geen kinderen verdrinken, maar een toename van de gang van het zwembad komt al meer in de richting).
Het weer is een prachtige variabele. Door de grote hoeveelheid beschikbare data, is onderzoek naar het weer goed mogelijk. En probeer maar eens te bedenken voor welke producten en bedrijfstakken je gevoelsmatig al op voorhand durft uit te sluiten dat er effecten van weer zijn op de verkoop… Het weer is daarmee een geweldige variabele om te onderzoeken, juist om de genoemde confounding errors uit te sluiten.
Toch zijn er twee gigantische valkuilen. Allereerst het eerstgenoemde p-hacking: doordat er zóveel variabelen zijn (40 variabelen van 38 meetstations…) vind je wellicht meestal wel een verband. Maar is dat ook een juist verband? Als je ontdekt dat bijvoorbeeld Q (Globale straling (in J/cm2)) de beste voorspeller is voor de omzet van biologische meergranenmuesli met extra noten, moet je dan toch niet nog wat meer vragen stellen voor je conclusies durft te trekken? Overigens is p-hacking relatief eenvoudig te voorkomen: formuleer éérst een hypothese en ga dan met de bijbehorende data aan de slag. En niet andersom.
En tot slot is er de valkuil van de opportuniteit. Doordat je weer eigenlijk niet kunt beïnvloeden (tenzij je product met markt en al verplaatst kan worden tegen geringe kosten) levert inzicht in het weer hoogstens inzicht op over het moment dat je je marketing-inzet kunt optimaliseren. Maar pas op, want bewijs achteraf maar eens, dat het positieve effect door je inzet en budget kwam. Waarschijnlijk was het gewoon het weer…