Gegevensbronnen, kwaliteit en ethiek

Begin met de vraag die je moet beantwoorden. Vraag vervolgens wie elke mogelijke bron heeft verzameld en hoe goed die de mensen, plaatsen en periode beschrijft die je nodig hebt.

Volg de gegevens naar de verzamelaar

Je verkoopgegevens, websitelogs en klantenservicemeldingen zijn eigen gegevens. Boekingsgegevens die een luchtvaartmaatschappij rechtstreeks deelt met een hotelpartner zijn voor het hotel partnergegevens. Een samengesteld publieksbestand van een gegevenshandelaar bestaat voor de koper uit gegevens van derden. Deze labels beschrijven de relatie tot de verzamelaar; ze rangschikken niet de kwaliteit van elk bestand.

Houd de andere onderscheidingen apart

Interne gegevens worden binnen je organisatie bewaard; externe gegevens komen van buiten. Primaire gegevens worden verzameld voor je huidige vraag; secundaire gegevens worden hergebruikt vanuit een ander doel of een andere tijd. Oude verkoopgegevens die opnieuw worden gebruikt om een nieuwe prijsvraag te onderzoeken, zijn eigen en secundaire gegevens. Een nieuwe enquête die voor die vraag is ontworpen, levert primaire gegevens op.

Open data zijn voor iedereen toegankelijk en herbruikbaar voor elk doel, ook commercieel gebruik, onder een open licentie. Statistiekbureaus, gemeenten en weerdiensten publiceren voorbeelden. Lees de licentie: naamsvermelding kan verplicht zijn en gelijk delen kan vereisen dat aangepaste versies dezelfde licentie gebruiken. Een openbaar bestand dat commercieel hergebruik verbiedt, is in deze strikte zin geen open data.

Doorloop een bronkeuze

Een deelfietsbedrijf vraagt waarom het aantal ritten in het weekend dit voorjaar met 15% is gedaald.

1. De ritgegevens tonen bij welke stations en op welke tijden ritten wegvielen. Het zijn eigen gegevens over de eigen dienst.
2. Reizigersaantallen die het stedelijke vervoersbedrijf rechtstreeks deelt, voegen partnergegevens toe over nabijgelegen bus- en treingebruik in dezelfde weken.
3. Open dagelijkse gegevens over neerslag en temperatuur helpen onderzoeken of het weer mogelijk heeft bijgedragen.
4. Een buurtbestand van een gegevenshandelaar voegt demografische context toe, nadat de datums, methoden en toestemmingen zijn gecontroleerd.

Deze bronnen ondersteunen verschillende delen van het onderzoek. Een daling van fietsritten naast een stijging van treinritten bewijst niet dat dezelfde mensen zijn overgestapt.

Controleer het kanaal en het detail

Enquêtes bereiken respondenten; interviews leggen vast wat mensen zeggen; observaties registreren wat iemand opmerkt. Sensoren bestrijken de locaties waar ze zijn geïnstalleerd. Websitelogs omvatten handelingen op die website. Een API laat een programma gegevens opvragen bij een ander systeem; webscraping kopieert inhoud van webpagina's. Geen van beide kanalen garandeert volledigheid of toestemming om het resultaat te hergebruiken.

Controleer het detailniveau, oftewel de mate van detail van elk record. Maandtotalen per stad kunnen geen vraag per uur en station beantwoorden. Vergelijk bronnen op dekking, documentatie, toegestaan gebruik, de moeite die verkrijging kost en de kosten. Een enorm bevolkingsbestand kan minder nuttig zijn dan een klein, goed gedocumenteerd bestand over je eigen klanten.

De structuur van gegevens beschrijft hoe informatie is ingedeeld. Ze laat zien wat rechtstreeks in een berekening kan worden gebruikt en wat eerst interpretatie nodig heeft.

Herken drie vormen

Een relationele tabel geeft elke kolom één rol. Daardoor zijn sorteren, filteren, tellen en groeperen eenvoudig. Semigestructureerde records kunnen optionele velden of lijsten bevatten: de ene klant kan twee telefoonnummers hebben en een andere geen. Ongestructureerde inhoud moet worden gelezen, beluisterd of bekeken, of worden onderzocht met een analysemethode die bij de inhoud past.

Houd een omhulsel en de inhoud uit elkaar

Bekijk dit JSON-record:

{"review_id": 1047, "rating": 4, "text": "Fast delivery, but the box was damaged."}

De sleutels benoemen de waarden, dus het record is semigestructureerd. De identificatiecode en beoordeling kunnen kolommen in een tabel worden. De tekst blijft een vrij geschreven opmerking. Door die in een spreadsheetcel te zetten, verander je de betekenis niet in een kant-en-klare categorie.

Een spreadsheet kan opmerkingen alfabetisch sorteren, maar dat vertelt je niet hoeveel klanten over de verpakking klaagden. Je hebt een veld nodig dat dit vastlegt, zoals mentions_packaging, met een duidelijke regel voor het toekennen ervan.

Zet opmerkingen om in telbare velden

Een team leest 200 beoordelingen en markeert elk onderwerp dat elke beoordeling noemt. Het legt voor elke beoordeling een indicator voor bezorging en een indicator voor prijs vast. Er zijn 84 vermeldingen van bezorging en 46 vermeldingen van prijs:

• Bezorging: 84 van de 200, oftewel 42%.
• Prijs: 46 van de 200, oftewel 23%.

Eén beoordeling kan beide onderwerpen noemen, dus de groepen overlappen. Hun percentages hoeven niet op te tellen tot 100%. Als het team in plaats daarvan één hoofdonderwerp per beoordeling wil, heeft het een regel nodig om dat onderwerp te kiezen; dat is een andere coderingstaak.

De labels zijn gestructureerde gegevens die uit de oorspronkelijke tekst zijn afgeleid. Houd de oorspronkelijke beoordeling beschikbaar voor bevoegde analisten, zodat iemand kan controleren waarom een label is toegekend. Een korte coderingsdefinitie, zoals “noemt een vertraging in de bezorging of een aankomsttijd”, helpt mensen dezelfde categorie consequent toe te passen.

Gebruik metadata zonder ze met de inhoud te verwarren

Metadata beschrijven gegevens. Een foto kan een opnametijd, cameramodel en GPS-locatie hebben. De beeldinhoud is ongestructureerd; de opnametijd is een gestructureerde waarde die per dag kan worden gegroepeerd. Een bestand kan ook een auteur, grootte en aanmaakdatum hebben en een tabel kan beschrijvingen van de kolommen hebben.

Structuur en kwaliteit beantwoorden verschillende vragen. Een zorgvuldig bijgehouden audioarchief is nog steeds ongestructureerd. Een spreadsheet met onjuiste aantallen is nog steeds gestructureerd. Beoordeel de indeling van de inhoud afzonderlijk van de vraag of die juist, volledig en geschikt is voor de analyse.

De betekenis van een waarde bepaalt welke bewerkingen zinvol zijn. Alleen aan cijfers kun je niet zien of iets een hoeveelheid, een identificatiecode of een geordende categorie is.

Deel in wat een veld betekent

Kwantitatieve gegevens tellen of meten iets. Kwalitatieve, of categorische, gegevens benoemen een eigenschap of groep.

Bezorgtijd is continu, ook als die in hele minuten wordt geregistreerd; de registratienauwkeurigheid verandert de onderliggende meting niet in een telling. Een productcode zoals “300” is nominaal omdat die een product aanduidt. Productcodes optellen levert geen betekenisvol totaal op.

Houd categoriecodes in hun context

Een tevredenheidsschaal kan “zeer ontevreden” coderen als 1 en “zeer tevreden” als 5. Aantallen, percentages en het middelste antwoord in de volgorde helpen de schaal te beschrijven. Een gemiddelde van de codes veronderstelt gelijke stappen tussen aangrenzende categorieën. Een verschil van 1 naar 2 hoeft niet dezelfde verandering in gevoel weer te geven als een verschil van 4 naar 5.

Als een veld met de naam status de waarde 3 bevat, vraag dan wat 3 betekent. Het kan een aantal, een winkellabel of een beoordeling zijn. Het gegevenswoordenboek of de gegevenseigenaar geeft die betekenis.

Kies een opslagtype

Opslagtypen vertellen software hoe waarden moeten worden bewaard en behandeld. Veelgebruikte typen zijn tekst of tekenreeks, geheel getal, decimaal getal, datum, tijdstempel en Booleaans. Een Booleaans datatype heeft de twee waarden waar en onwaar. Databasenamen zoals INTEGER, DECIMAL, VARCHAR, DATE, TIMESTAMP en BOOLEAN verschillen per systeem.

Een webwinkel kan kiezen voor:

• order_id: tekst; een nominale identificatiecode.
• order_date: datum; een kalenderwaarde.
• items: geheel getal; een discrete hoeveelheid.
• parcel_kg: decimaal getal; een continue hoeveelheid.
• payment_method: tekst; een nominale categorie.
• rating: een geordende categorie gecodeerd van 1 tot 5.
• is_member: Booleaans.

Een beoordeling kan als geheel getal worden opgeslagen zonder een gemeten hoeveelheid te worden. Statistische betekenis en opslagtype zijn verwante keuzes, maar niet hetzelfde label.

Voorkom onopgemerkte veranderingen

Postcodes en telefoonnummers horen in tekstvelden. Als je de Amerikaanse postcode “02134” als getal opslaat, ontstaat 2134 en gaat een deel van de identificatiecode verloren. Een langere numerieke identificatiecode kan in spreadsheetsoftware ook aan precisie verliezen.

Datums die als tekst zijn opgeslagen, kunnen op hun eerste teken worden gesorteerd. In die volgorde komt “10/02/2025” vóór “9/15/2025”, omdat “1” vóór “9” komt, ook al komt september eerst. De voorbeelden gebruiken de Amerikaanse volgorde met de maand eerst. Gebruik een datumtype als het veld datums voorstelt.

Een getal dat als tekst is opgeslagen, kan door SUM worden overgeslagen wanneer een spreadsheet een celbereik optelt. Het totaal kan aannemelijk lijken en toch een waarde missen. Controleer zowel de betekenis van het veld als het opslagtype voordat je berekent, sorteert of vergelijkt.

Het formaat van een bestand bepaalt wat het kan bevatten en hoe software het leest. Controleer die mogelijkheden voordat je een exportformaat kiest of een onbekend bestand opent.

Stem het formaat af op de informatie

CSV schrijft veldwaarden als tekst, niet als spreadsheetformules. TSV gebruikt tabs tussen velden. Sommige spreadsheetexports gebruiken puntkomma's waar een decimale komma gebruikelijk is. Bekijk het scheidingsteken en de codering in een importvoorbeeld.

Lees CSV-velden tussen aanhalingstekens

Een CSV-veld met een komma, een dubbel aanhalingsteken of een regeleinde staat tussen dubbele aanhalingstekens. Een aanhalingsteken binnen dat veld wordt verdubbeld:

1047,"Lee, Ana","She said ""great"""

Dit record heeft drie velden. De komma in de naam hoort bij de naam. De verdubbelde aanhalingstekens behouden de aanhalingstekens rond “great”. Er bestaan CSV-varianten, dus controleer hoe het ontvangende programma het bestand leest.

JSON gebruikt sleutels en waarden, zoals in {"city": "Lyon", "stations": 3}. XML gebruikt labels, zoals in <city>Lyon</city>. Bij lijsten binnen beide formaten moet je bepalen welk item een rij wordt.

Behoud tekens en identificatiecodes

Tekencodering koppelt bytes aan tekens. UTF-8 ondersteunt schriftsystemen wereldwijd. Als je UTF-8 met de verkeerde codering leest, kan “São Paulo” veranderen in “São Paulo”. Importeer opnieuw met de juiste codering; als je de zichtbaar verminkte tekst bewerkt, verberg je de oorzaak.

Automatische spreadsheetconversie brengt een ander risico mee. Een code “02134” kan de nul verliezen, lange numerieke ID's kunnen in wetenschappelijke notatie worden weergegeven en Excel slaat slechts 15 significante cijfers op. Een identificatiecode van 16 cijfers kan daardoor precisie verliezen. Importeer identificatiecodes als tekst. Ook tekst die op een datum lijkt, kan veranderen: herhaalde conversie van gensymbolen zoals SEPT2 droeg eraan bij dat ze in 2020 een andere naam kregen, bijvoorbeeld SEPTIN2.

Controleer datums, rijen en conversies

De datum “03/04/2025” kan 4 maart of 3 april betekenen. De ISO-volgorde jaar-maand-dag, zoals “2025-03-04”, voorkomt die dubbelzinnigheid en sorteert als tekst chronologisch wanneer de opmaak consistent is.

Het oude XLS-formaat staat 65.536 rijen per werkblad toe. In oktober 2020 droeg een import in dat formaat ertoe bij dat 15.841 positieve COVID-19-testresultaten ontbraken in de dagelijkse cijfers van Engeland voor 25 september tot en met 2 oktober. Vergelijk het aantal geïmporteerde rijen met het aantal in de bron, zodat ongemerkt afkappen wordt ontdekt.

Als je sales.xlsx hernoemt naar sales.csv, blijft het onderliggende formaat onveranderd. Converteer met exporteren of “Opslaan als”. Bewaar het oorspronkelijke bestand: een CSV openen en opnieuw opslaan kan verwijderde nullen of gewijzigde datums terugschrijven, ook als je zelf niets bewust hebt aangepast.

Een tabel moet duidelijk maken wat één rij beschrijft. Begin met het benoemen van die waarneming: een bestelling, een klant of de omzet van een winkel gedurende één kwartaal.

Geef elke waarde een duidelijke plaats

Een indeling volgens de tidy-dataregels heeft één variabele per kolom, één waarneming per rij en één waarde per cel. Gebruik één kopregel. Bewaar klanten en bestellingen in afzonderlijke tabellen, omdat het verschillende soorten waarnemingen zijn.

Samengevoegde cellen, lege rijen ter decoratie en meerdere waarden in één cel maken sorteren en filteren onbetrouwbaar. Sla massa op als een getal onder parcel_kg, niet als tekst zoals “12 kg”. Leg status vast in een veld; kleur alleen kan de betekenis niet betrouwbaar naar een ander hulpmiddel overbrengen.

Houd totaalrijen buiten de records. Stel dat drie winkels omzetwaarden van 120, 80 en 100 hebben. Hun totaal is 300. Als een vierde rij ook 300 bevat met het label “Totaal”, geeft het optellen van de hele kolom 600. Het totaal is samen met zijn eigen delen meegeteld.

Kies een brede of lange indeling

Een brede indeling maakt het gemakkelijk om waarden naast elkaar te lezen. Een lange indeling maakt filteren, groeperen en grafieken maken per periode gemakkelijk. Een vijfde kwartaal voegt rijen toe aan de lange tabel in plaats van de kolomstructuur te veranderen. Door te draaien zet je lang om naar breed; door het draaien op te heffen zet je breed om naar lang.

Geen van beide indelingen verandert de omzet zelf. Wat verandert, is de definitie van een rij en de plaats waar de periode wordt vastgelegd. Documenteer die betekenis van een rij, zodat herhaalde winkel-ID's in de lange tabel correct worden begrepen.

Licht de velden toe

Een gegevenswoordenboek beschrijft de betekenis, het type, de eenheid, toegestane waarden of het bereik en de code voor ontbrekende waarden van elk veld. Bijvoorbeeld:

trip_km: Afstand van de rit in kilometers; decimaal getal; nul of meer; leeg als het GPS-signaal wegviel.

Deze beschrijving maakt duidelijk dat een lege waarde iets anders is dan een gemeten nul. Ze voorkomt ook dat een lezer kilometers voor meters aanziet. Een README geeft een overzicht van de dataset: de bron, dekking, periode en bekende problemen.

Beschrijvende metadata identificeren de dataset, auteur en het onderwerp. Structurele metadata beschrijven velden, tabellen en relaties. Administratieve metadata leggen zeggenschap, toegangsrechten, licenties, aanmaakdatums en bestandstypen vast. Samen helpen ze mensen gegevens te vinden, te beoordelen en te gebruiken.

Laat een spoor van je werk achter

Gebruik betekenisvolle namen in één stijl, zoals parcel_kg en order_date. Een bestandsnaam zoals bike_trips_2025-03-04_v02.csv legt inhoud, datum en versie vast zonder spaties of speciale tekens. Datums in de volgorde jaar-maand-dag zorgen dat verwante bestandsnamen op tijd sorteren.

Houd ruwe gegevens ongewijzigd en alleen-lezen, met werkkopieën en uitvoer in afzonderlijke mappen. Leg wijzigingen vast in een kort logboek of een gedeelde versiegeschiedenis. Schrijf definities op zolang het werk nog vers in je geheugen ligt: een niet-toegelichte waarde 3 voor status kan ervoor zorgen dat de volgende analist een verder schone tabel niet kan interpreteren.

Kies een gegevensopslag die past bij de hoeveelheid gegevens, de relaties ertussen en de mensen die ze moeten lezen of wijzigen. Een handige weergave is maar één onderdeel van die keuze.

Begrijp gekoppelde tabellen

Een database is een georganiseerde elektronische verzameling die wordt beheerd door een databasebeheersysteem (DBMS). Het DBMS regelt de opslag, toegangsrechten en consistentie. Een relationele database bewaart verwante feiten in tabellen die via sleutels zijn gekoppeld. Het databaseschema definieert tabellen, velden, typen en relaties.

Een primaire sleutel identificeert een rij uniek en is nooit leeg. Het kan één veld of een combinatie van velden zijn. Een refererende sleutel koppelt een tabel aan de primaire sleutel van een andere tabel. Meerdere records kunnen naar hetzelfde verwante record verwijzen.

Bekijk customers, met customer_id, name en city, en orders, met order_id, customer_id, order_date en items. Klant C102 heeft drie bestellingen. De identificatiecode C102 komt drie keer voor in orders, maar slechts één keer als primaire sleutel in customers. Elke bestelling behoudt een eigen unieke order_id.

Als de huidige woonplaats van de klant verandert, komt de nieuwe woonplaats via de relatie beschikbaar zodra je de klantrij bijwerkt. Als je de woonplaats op elke bestelrij herhaalt, kunnen tegenstrijdige wijzigingen ontstaan. Verwante feiten in gekoppelde tabellen organiseren om herhaling en tegenstrijdigheden te verminderen, heet normalisatie. Gebruik stabiele ID's: namen kunnen vaker voorkomen of veranderen.

Vergelijk wat je nodig hebt

Een Excel-werkblad bevat maximaal 1.048.576 rijen en 16.384 kolommen. Google Sheets staat maximaal 20 miljoen cellen per spreadsheet toe, verhoogd van 10 miljoen in september 2026. De capaciteit is een bovengrens, geen garantie dat elk bestand soepel werkt.

Maak de omvangscontrole concreet

Een bestand met 2.500.000 ritten heeft ongeveer 2,4 keer zoveel rijen nodig als één Excel-werkblad bevat. Sla het op in een database en haal er een bruikbare selectie uit. Een tabel van 700.000 rijen en 30 kolommen gebruikt 21.000.000 cellen en overschrijdt daarmee de limiet van Google Sheets. Een lijst met 300 aanmeldingen voor een evenement past gemakkelijk in een spreadsheet.

Ook kleine datasets kunnen een database nodig hebben wanneer veel mensen verwante records bijwerken en consistente sleutels belangrijk zijn. Spreadsheets kunnen onjuiste invoer met validatieregels weigeren, maar die regels moeten worden ingesteld en kunnen worden omzeild, ook bij het plakken. Een tabel in een werkblad krijgt niet alleen door de indeling databasebeperkingen.

Herken andere opslagvormen

Een documentgeoriënteerde NoSQL-database kan JSON-records met wisselende velden opslaan. Een datawarehouse combineert voorbereide gegevens uit meerdere bronnen voor analyse. Een datalake bewaart grote hoeveelheden ruwe gegevens in oorspronkelijke formaten, waaronder media. Een gebruikelijke werkwijze is om de hoofdgegevens in een database te bewaren en een selectie naar een spreadsheet of BI-tool te sturen.

Geloofwaardigheid betekent dat een bron betrouwbaar is en dat de verzameling en documentatie voldoende grond geven om erop te vertrouwen. Een verzorgd bestand is gemakkelijk te lezen; de onderbouwing erachter bepaalt hoeveel vertrouwen het verdient.

Pas ROCCC toe

ROCCC staat voor betrouwbaar, oorspronkelijk, volledig, actueel en met bronvermelding. Behandel elk woord als een vraag die je onderzoekt.

Oorspronkelijk betekent niet dat je alles zelf moet verzamelen. Een hergebruikte tabel kan geloofwaardig zijn als je die kunt terugleiden naar een gedocumenteerd origineel. Actueel betekent niet dat je koste wat kost de nieuwste gegevens nodig hebt: historische gegevens zijn de juiste gegevens voor een historische vraag.

Trek een bewering na voordat je die aanneemt

Een forumbericht verwijst naar een spreadsheet met de titel “Gemiddelde reistijd voor woon-werkverkeer per stad”. Er staan geen auteur, datum of definitie van “woon-werkverkeer” bij. Je kunt niet zien of de cijfers enkele reizen of retourreizen beschrijven, en of ze over werkenden of iedereen in de stad gaan.

Zoek eerst het oorspronkelijke statistiekbureau of de vervoersautoriteit. Zoek de tabel en methode op. Controleer het jaar en de definitie van de meetwaarde en ga daarna na of de overgenomen cijfers overeenkomen. Als je dat spoor niet kunt terugvinden, laat het forumbestand belangrijke vragen over betrouwbaarheid onbeantwoord.

Een bron kan betrouwbaar zijn en toch je vraag niet beantwoorden. Een reisonderzoek onder werkende volwassenen kan geschikt zijn voor een vraag over woon-werkritten, maar ritten van gepensioneerden weglaten. Volledigheid heeft altijd betrekking op de vraag en de mensen waarover die gaat.

Volg de herkomstgeschiedenis en controleer toestemmingen

Herkomstgeschiedenis is de vastlegging van waar gegevens vandaan komen en wat ermee is gebeurd. Een bruikbaar spoor verbindt de oorspronkelijke publicatie, de gedownloade versie, eventuele omzettingen of filters en de selectie die voor een resultaat is gebruikt. Metadata en een gegevenswoordenboek lichten velden en definities langs dat spoor toe.

Controleer vóór hergebruik de licentie of overeenkomst. Toestemming om een bestand te downloaden kan verschillen van toestemming om de rijen te publiceren of commercieel te gebruiken. Een technisch goede bron kan volgens de voorwaarden toch onbruikbaar zijn voor het doel dat je voor ogen hebt.

Controleer zowel betekenis als totalen

Vergelijk regionale totalen met het nationale totaal van de uitgever wanneer de regio's samen die hele populatie en periode omvatten. Een verschil is een reden om ontbrekende gebieden, andere datums, herzieningen of andere definities te onderzoeken. Vergelijk ook een onafhankelijke bron; meerdere websites die één cijfer herhalen, vormen één bewijsspoor en geen onafhankelijke bevestiging.

Lees toelichtingen op herzieningen. Een latere correctie kan een opgeslagen selectie verouderd maken, ook als die recent is gedownload. Leg vast welke publicatie je hebt gebruikt en op welke datum je die hebt geraadpleegd. Als een dashboard “actieve gebruiker” vermeldt, zoek dan uit of dat een aanmelding, een aankoop of een andere handeling betekent voordat je het met een tweede dashboard vergelijkt.

Vertekening is een systematische afwijking in de manier waarop gegevens worden verzameld, vastgelegd, geselecteerd of geïnterpreteerd. Ze stuurt een resultaat in een bepaalde richting. Meer records die op dezelfde vertekende manier worden verzameld, behouden die afwijking.

Bepaal wat er misging

Waarnemersvertekening gaat over het registratieproces; interpretatievertekening gaat over de betekenis die iemand aan de informatie geeft. Bevestigingsvooroordeel is vooral zichtbaar in welk bewijs iemand zoekt of bewaart. In een project kan meer dan één vorm voorkomen, maar benoem het mechanisme dat het bewijs daadwerkelijk ondersteunt.

Bereken het effect van ontbrekende klanten

Een enquête krijgt 300 antwoorden van appgebruikers, van wie er 240 tevreden zijn. Het waargenomen tevredenheidspercentage is 80%. Appgebruikers vormen 40% van alle klanten. Een afzonderlijke controle laat zien dat 55% van de overige 60% tevreden is.

Houd bij het combineren van deze groepspercentages rekening met het aandeel van elke groep:

• Bijdrage van appgebruikers: 40% van 80%, oftewel 32 procentpunt.
• Bijdrage van andere klanten: 60% van 55%, oftewel 33 procentpunt.
• Totale tevredenheid: 32 plus 33, oftewel 65%.

Als je 80% voor alle klanten rapporteert, pas je het appresultaat toe op een groep die het niet vertegenwoordigde. Een nog grotere enquête die alleen appgebruikers bereikt, zou die groep nog steeds missen.

Zoek naar hiaten en vertekende keuzes

Vergelijk de samenstelling van de dataset met bekende populatiecijfers, zoals aandelen per leeftijdsgroep of klantkanaal. Vraag wie ontbreken, wie zijn afgevallen en waarom. Bekijk hoe categorieën zijn gedefinieerd en of een antwoordmogelijkheid mensen uitsluit. Onderzoek wie beoordelingen heeft vastgelegd en welke verwachtingen daarop van invloed kunnen zijn geweest.

Een juiste registratie van eerdere beslissingen verdient een afzonderlijke controle op rechtvaardigheid. Als een aannameproces één groep bevoordeelde, bewaart een juiste vastlegging van de beslissingen dat patroon. Een correcte registratie herstelt het ongelijke verleden niet.

Pak het gevonden mechanisme aan

Duidelijke registratiedefinities, standaardprocedures en onafhankelijke waarnemers helpen waarnemersvertekening te verminderen. Afgesproken criteria voor de interpretatie van resultaten beperken de ruimte voor conclusies die door verwachtingen worden gestuurd. Door de vraag en succescriteria vóór de analyse op te schrijven en actief bewijs tegen je idee te zoeken, ga je bevestigingsvooroordeel tegen.

Documenteer vertekeningen die je niet kunt wegnemen en leg uit hoe ze conclusies beperken. Als klanten die hebben opgezegd ontbreken, beschrijf het resultaat dan als een resultaat over huidige abonnees. Als de beslissing inzicht in opzegging vereist, zoek dan informatie over degenen die zijn vertrokken.

Gegevenskwaliteit is geschiktheid voor een beoogd gebruik. Beoordeel de velden en records die de beslissing daadwerkelijk nodig heeft en bepaal vervolgens wat de problemen met het resultaat zouden doen.

Onderzoek zes dimensies

Geldigheid en juistheid verschillen. Een leeftijd van 42 kan binnen het toegestane bereik passen en toch onjuist zijn voor iemand die in werkelijkheid 24 is. Juistheid vereist een vergelijking met de werkelijkheid, niet alleen een formaatcontrole.

Onderzoek een klantentabel

Een tabel heeft 5.000 rijen, 600 lege velden voor e-mailadressen, 45 klant-ID's die meer dan één keer voorkomen, een maximale leeftijd van 212 en een updatedatum van 18 maanden geleden.

1. Deel 600 door 5.000: 12% van de e-mailadressen ontbreekt.
2. Herhaalde ID's wijzen op een uniciteitsprobleem als één rij één klant moet beschrijven.
3. Leeftijd 212 voldoet niet aan een regel voor een aannemelijk leeftijdsbereik en vereist onderzoek.
4. De updatedatum roept vragen op over de tijdigheid voor huidig klantcontact.

Deze profilering lokaliseert problemen; ze beslist niet over elk gebruik. Een analyse van regionale uitgaven voor vorig jaar kan mogelijk doorgaan nadat aankoopbedragen, datums en regio's zijn geverifieerd, dubbele records zijn opgelost en het volledige gevraagde jaar is gedekt. Een e-mailcampagne heeft actuele e-mailadressen nodig en wordt direct geraakt door het ontbrekende contactveld.

Bepaal welk bewijs toereikend is

Gegevens zijn ontoereikend als de vraag records, velden, dekking of een periode vereist die ontbreken. Een enkele bron verdient extra controle als je die niet onafhankelijk kunt controleren. Een veranderende bron vereist een vaste momentopname of rapportagegrens, zoals “alle bestellingen tot en met 2025-06-30”, zodat iemand het resultaat kan reproduceren.

Bespreek de keuze met belanghebbenden wanneer een hiaat ertoe doet. Je kunt nieuwe gegevens zoeken, wachten, de vraag beperken, een beperkt resultaat rapporteren of duidelijk toegelichte vervangende gegevens gebruiken. Vervangende gegevens staan in voor iets wat niet beschikbaar is. De eerste verkopen van een vergelijkbaar product kunnen een schatting voor een nieuw product ondersteunen, maar de vergelijkbaarheid is een aanname die je moet vermelden en onderzoeken.

Controleer het effect van je aanpak

Elke rij met een lege waarde verwijderen kan vertekening veroorzaken. Als oudere klanten vaker geen e-mailadres opgeven, zijn ze door het verwijderen van die rijen ondervertegenwoordigd, zelfs in een analyse die geen e-mailadressen nodig heeft.

Een bestand zonder lege waarden kan nog steeds de verkeerde populatie beschrijven of de verkeerde definitie gebruiken. Leg vast welke problemen de geplande beslissing beïnvloeden, wat moet worden opgelost en welke beperkingen blijven bestaan.

Persoonsgegevens hebben betrekking op iemand die is geïdentificeerd of kan worden geïdentificeerd. Ook de aanduiding PII is gebruikelijk voor persoonsgegevens. Kijk bij dagelijkse analyses naar wat de informatie onthult en hoe die aan een persoon kan worden gekoppeld.

Zoek naar directe en indirecte identificatie

Een direct identificerend kenmerk kan rechtstreeks naar een persoon of account verwijzen: een e-mailadres, telefoonnummer, nationaal identificatienummer, rekeningnummer of duidelijke gezichtsfoto. Namen helpen ook mensen te identificeren, al kan een veelvoorkomende naam context nodig hebben.

Een indirect identificerend kenmerk, of quasi-identificerend kenmerk, wordt identificerend in combinatie met andere details. Geboortedatum, postcode, geslacht, werkgever en functietitel lijken afzonderlijk misschien ruim, maar laten gecombineerd een zeer kleine groep over.

Latanya Sweeney schatte op basis van Amerikaanse volkstellingsgegevens uit 1990 dat ongeveer 87% van de bevolking waarschijnlijk uniek was op basis van een Amerikaanse postcode van vijf cijfers, geslacht en volledige geboortedatum. Een later onderzoek met volkstellingsgegevens uit 2000 schatte ongeveer 63%. Dit zijn bevindingen die aan die populaties en datums zijn gebonden, geen universeel identificatiepercentage. Sweeney koppelde ook een gezondheidsdataset van een Amerikaanse staat aan een kiezerslijst om de gegevens van een gouverneur te identificeren.

Onderzoek elk veld, ook notities

Bekijk deze klantvelden:

Een notitie zoals “Vraag naar Maria bij de vestiging aan Elm Street, zij kent mijn situatie” bevat een naam en een locatie ondanks het algemene label van het veld. Lees vrijetekstvelden voordat je bepaalt dat een selectie veilig kan worden gedeeld.

Ook apparaat-ID's, cookie-ID's, IP-adressen, nauwkeurige bewegingsgeschiedenissen en GPS-metadata kunnen helpen bij identificatie. Een route die elke ochtend bij hetzelfde huis begint, kan onthullen waar iemand woont, ook als het routerecord geen naam bevat.

Herken gevoelige informatie

Gevoelige gegevens zijn persoonsgegevens waarvan misbruik ernstige schade kan veroorzaken. Voorbeelden zijn gezondheidsgegevens, genetische en biometrische gegevens; ras of etnische afkomst; religieuze en politieke overtuigingen; seksuele gerichtheid; vakbondslidmaatschap; financiële gegevens; nauwkeurige locatie; en informatie over kinderen. Er moet een duidelijke noodzaak voor zulke velden zijn voordat ze in een analysekopie terechtkomen.

Identificatie en gevoeligheid zijn verschillende aandachtspunten. Een e-mailadres kan een persoon identificeren zonder de gezondheid van die persoon te beschrijven. Een diagnose kan gevoelig zijn, ook als namen in de tabel door codes zijn vervangen, omdat de records mogelijk te koppelen blijven.

Respecteer zowel het gebruik als de bron

Privacy gaat over de zeggenschap van mensen over informatie over henzelf en over de vraag of verzameling, gebruik en delen passend en verwacht zijn. Openbare profielen en adreslijsten beschrijven nog steeds mensen. Door openbare details te combineren kan meer worden onthuld dan de oorspronkelijke uitgevers samen lieten zien.

Voorbeelden van privacywetten zijn de AVG van de EU, de UK GDPR en de CCPA van Californië. Volg op het werk het privacybeleid van de organisatie en raadpleeg het privacy- of juridische team bij twijfel over gebruik. Een naam verwijderen is één verandering aan een dataset; om te beoordelen wat de resterende informatie kan onthullen, moet je de hele selectie en mogelijke gekoppelde bronnen onderzoeken.

De-identificatie verwijdert of verandert details om records moeilijker aan mensen te koppelen. De juiste methode bewaart voldoende informatie voor de vraag en vermindert tegelijk wat een ontvanger over personen kan achterhalen.

Onderscheid codes van anonimiteit

Pseudonimisering vervangt identificerende kenmerken door codes. Een afzonderlijke opzoeksleutel kan ze opnieuw koppelen, dus de gegevens blijven persoonsgegevens. Anonimisering vereist dat mensen redelijkerwijs niet meer kunnen worden geïdentificeerd, rekening houdend met middelen die waarschijnlijk worden gebruikt, en dat de omzetting niet kan worden teruggedraaid.

E-mailadressen zonder meer hashen is pseudonimisering: iemand kan een lijst mogelijke adressen hashen en de resultaten vergelijken. Willekeurige ID's of een beschermde methode met een geheime sleutel bieden veiligere pseudoniemen, terwijl de opzoekinformatie nog steeds afzonderlijk moet worden beschermd.

Kies een omzetting

Elke keuze gaat ten koste van enig detail. Leeftijdsgroepen kunnen een vraag over segmenten beantwoorden zonder exacte leeftijden bloot te leggen, maar kunnen geen verschillen binnen een groep tonen.

Doorloop k-anonimiteit

k-anonimiteit controleert groepen die worden gevormd door de indirect identificerende kenmerken die je hebt geselecteerd. Elke combinatie moet ten minste k keer voorkomen. De grootte van de kleinste groep is de k van de tabel.

Acht patiëntrecords bevatten paren van leeftijd en postcode: 34/10115, 36/10117, 38/10119, 31/10115, 52/10243, 57/10245, 55/10247 en 59/10249. Elk volledig paar is uniek, dus k is 1.

Generaliseer leeftijd naar leeftijdsgroepen van tien jaar en postcode naar de eerste drie cijfers:

• Vier records delen nu leeftijdsgroep 30–39 en postcodebegin 101.
• Vier records delen leeftijdsgroep 50–59 en postcodebegin 102.

De kleinste groep heeft vier records, dus het resultaat is 4-anoniem op basis van die indirect identificerende kenmerken. De groepsgrootte gebruikt alle geselecteerde indirect identificerende kenmerken samen, geen afzonderlijke tellingen per kolom.

Controleer wat de groepen nog onthullen

Als alle vier de mensen in een groep dezelfde diagnose hebben, onthult de wetenschap dat iemand bij die groep hoort de diagnose zonder dat de rij van die persoon wordt gevonden. Groepsgrootte alleen voorkomt niet dat een gevoelige waarde wordt onthuld. Andere datasets kunnen ook mogelijkheden voor koppeling bieden. In 2008 koppelden onderzoekers filmbeoordelingen en geschatte datums aan openbare recensies, ondanks dat namen door nummers waren vervangen.

Ook aggregaten moeten worden gecontroleerd. Een aantal van één kan iemand blootstellen. Twee overlappende beloningstotalen kunnen een verschil onthullen: 720.000 voor 12 medewerkers min 655.000 voor de 11 die geen nieuwe medewerkers zijn, onthult de beloning van de ene nieuwe medewerker: 65.000.

Maak een lijst van de velden, verwijder wat de vraag niet nodig heeft, onderdruk direct identificerende kenmerken, bescherm eventuele opzoeksleutels, generaliseer indirect identificerende kenmerken en onderzoek kleine groepen en vrije tekst. Controleer ook overlappende publicaties en niet alleen het bestand voor je, en documenteer de omzettingen en resterende koppelingsrisico's.

Beveiliging beschermt gegevens tegen ongeoorloofde toegang, wijziging en verlies. Privacy stelt de vraag of een gebruik passend is. Een afgesloten bestand kan nog steeds op een ingrijpende manier worden gebruikt en een respectvol analyseplan heeft nog steeds een veilige werkplek nodig.

Beperk wie wat kan doen

Toegangsbeheer bepaalt wie gegevens kan lezen of wijzigen. Het beginsel van minimale toegangsrechten betekent dat iedereen alleen de toegang krijgt die nodig is voor de taak en alleen voor de noodzakelijke tijd. Iemand die geaggregeerde resultaten beoordeelt, heeft mogelijk geen toegang nodig tot de individuele records waarmee ze zijn gemaakt.

Deel met genoemde ontvangers, kies bewust lees- of bewerkingsrechten en trek de toegang aan het einde van het project in. Met de instelling “iedereen met de link” kan de link buiten de bedoelde doelgroep terechtkomen. Het gemak van een projectmap rechtvaardigt niet dat elk projectlid elk bronbestand krijgt.

Bescherm opgeslagen gegevens en gegevens tijdens overdracht

Versleuteling maakt gegevens onleesbaar zonder de juiste sleutel. Gebruik bescherming in opslag, voor opgeslagen bestanden, apparaten en back-ups, en tijdens overdracht, terwijl gegevens tussen systemen bewegen, bijvoorbeeld via HTTPS. Controleer beide onderdelen: beveiligde opslag beschermt geen kopie die via een ongeschikt overdrachtskanaal wordt verstuurd.

Tokenisatie vervangt een gevoelige waarde door een token, terwijl de echte waarde in een afzonderlijk beveiligd systeem blijft. Daardoor hoeft de oorspronkelijke waarde op minder plaatsen voor te komen. Het systeem dat het origineel bewaart, heeft nog steeds sterke beheersmaatregelen nodig.

Beperk de hoeveelheid en de bewaartijd

Dataminimalisatie betekent dat je alleen de persoonsgegevens verzamelt, kopieert en bewaart die de taak nodig heeft. Selecteer vijf noodzakelijke kolommen in plaats van een volledige klantentabel met namen, adressen en niet-gerelateerde notities. Een kleinere selectie stelt minder gegevens bloot als er verkeerd mee wordt omgegaan.

Regels voor de bewaartermijn bepalen hoelang je gegevens bewaart en wanneer je ze verwijdert. Pas ze toe op werkkopieën en gedeelde selecties, niet alleen op de hoofddatabase. Trek rechten in wanneer toegang eindigt en volg goedgekeurde verwijderprocedures voor kopieën.

Controleer het bestand dat daadwerkelijk wordt verstuurd

Verborgen kolommen en werkbladen kunnen weer zichtbaar worden gemaakt. Werkbladbeveiliging kan bewerkingen voorkomen terwijl waarden leesbaar blijven. De versiegeschiedenis kan verwijderde waarden bewaren en bestandseigenschappen kunnen de identiteit van een auteur onthullen. Maak een schone selectie in plaats van op weergavetrucs te vertrouwen om informatie te verbergen.

Voor resultaten over klantopzeggingen die naar een extern bureau worden gestuurd, is een geschikt plan om percentages per regio en leeftijdsgroep te delen in groepen van ten minste 10 klanten, via de goedgekeurde overdrachtsdienst. Geef toegang aan twee met naam genoemde medewerkers van het bureau en laat die na 30 dagen vervallen. De groepsgrens in dit plan is een gekozen voorzorgsmaatregel, geen garantie tegen elke onthulling.

Gebruik goedgekeurde opslag- en overdrachtshulpmiddelen. Persoonlijke e-mail, draagbare opslag of niet-goedgekeurde online hulpmiddelen kunnen ongecontroleerde kopieën opleveren. Plak geen persoonlijke of vertrouwelijke records in niet-goedgekeurde AI-assistenten of andere webhulpmiddelen. Als een bestand naar de verkeerde persoon gaat of een onversleuteld apparaat verloren raakt, meld dit dan onmiddellijk volgens de incidentprocedure van de organisatie, zodat het verantwoordelijke team kan handelen.

Data-ethiek biedt normen om te beoordelen of het verzamelen, gebruiken en delen van gegevens eerlijk en rechtvaardig is en mensen respecteert. Wettelijke regels stellen een minimum. Een ethische beoordeling vraagt ook wat een beslissing doet met de mensen achter de records.

Begrijp het belang van mensen bij hun gegevens

Zeggenschap over gegevens erkent als ethisch beginsel de primaire aanspraak van mensen om te bepalen hoe gegevens die ze verstrekken worden gebruikt en gedeeld. Een kopie op een bedrijfsserver bewaren neemt hun belangen niet weg.

Toestemming moet geïnformeerd, specifiek voor een doel en vrij gegeven zijn en kunnen worden ingetrokken. Mensen moeten voordat ze akkoord gaan begrijpen hoe en waarom hun gegevens worden gebruikt. Een vaag selectievakje dat diep in lange voorwaarden is verstopt, maakt onverwacht gebruik niet begrijpelijk. Controleer een nieuw doel opnieuw; een eerdere toestemming beslist niet over alle latere toepassingen.

Maak verwerking en geld zichtbaar

Transparantie van gegevensverwerking betekent dat mensen kunnen begrijpen hoe hun gegevens worden verwerkt, inclusief de algoritmen die erop worden toegepast. Als een geautomatiseerde score iemand korting weigert, moet een uitleg in gewone taal aangeven waarop de score is gebaseerd.

Financiële waarde van persoonsgegevens gaat over bewustzijn van financiële transacties die uit persoonsgegevens voortkomen en de omvang daarvan. Iemand kan begrijpen dat een app locatie vastlegt zonder te beseffen dat het bedrijf die geschiedenis aan adverteerders verkoopt. Transparantie over verzameling en transparantie over geld beantwoorden verschillende vragen.

Breng delen, privacy en rechtvaardigheid in evenwicht

Open data zijn toegankelijk en herbruikbaar onder een duidelijke licentie. CC BY 4.0 staat hergebruik met naamsvermelding toe. CC0 is een verklaring voor het publieke domein die auteursrechtelijke beperkingen zo veel mogelijk wil wegnemen. Ook bij open hergebruik moet je aandacht besteden aan persoonlijke informatie en mogelijke schade.

Voor verantwoordingsplicht zijn vastleggingen nodig: benoem bronnen, methoden, beslissingen en de verantwoordelijke persoon. Door een dataset te vermelden kan een beoordelaar het bewijsmateriaal volgen en krijgt de maker passende erkenning.

Pas de beginselen toe op een fitnessapp

Een gratis fitnessapp verkoopt nauwkeurige hardlooproutes aan adverteerders. In de lange voorwaarden staat alleen dat “partners” locatiegegevens kunnen ontvangen. De routes kunnen woonadressen en dagelijkse routines onthullen.

• Toestemming is zwak omdat het specifieke gebruik vóór instemming niet duidelijk is gemaakt.
• Transparantie van gegevensverwerking is zwak omdat mensen niet eenvoudig kunnen zien welke verwerking en deling plaatsvinden.
• De financiële waarde van persoonsgegevens blijft onduidelijk omdat de verkoop en de omvang ervan voor gebruikers verborgen zijn.
• Privacy wordt bedreigd omdat gedetailleerde routes persoonlijke routines onthullen.

Het bedrijf moet onderzoeken of het delen een doel dient dat mensen begrijpen, of een minder onthullend alternatief aan dat doel voldoet en of gebruikers een betekenisvolle keuze kunnen maken. Een gebruik wettig noemen beantwoordt die ethische vragen niet.

Ethiek maakt deel uit van het afbakenen van de vraag, het voorbereiden en analyseren van bewijs, het rapporteren van resultaten en het handelen daarnaar. De analist ziet een schadelijk patroon vaak voordat iemand die een eindpresentatie beoordeelt het ziet.

Doorloop een beslissing

1. Beschrijf het doel en de gegevens. Welke beslissing wordt ondersteund en welke informatie zou worden gebruikt?
2. Breng betrokken mensen en effecten in kaart. Neem zowel mensen mee die in het bestand ontbreken als mensen die erin zijn vertegenwoordigd. Benoem mogelijke voordelen en schade.
3. Controleer verwachtingen en verplichtingen. Vergelijk het gebruik met wat mensen is verteld, hun afspraken, het organisatiebeleid en de toepasselijke wet.
4. Vergelijk alternatieven. Kunnen minder gegevens, ruimere groepen of deelname op basis van aanmelding de werkelijke behoefte beantwoorden?
5. Beslis en documenteer. Leg de redenen, de verantwoordelijke persoon en eventuele beperkingen vast. Leg grote risico's of onopgeloste vragen hoger voor.

Onderzoek een gevoelige gevolgtrekking

Een winkelier wil uit aankoopgeschiedenissen zwangerschap afleiden en kortingsbonnen voor babyproducten sturen. Voor het commerciële doel hoeven klanten geen gezondheidsgerelateerde gevolgtrekking prijs te geven. Een kortingsbon die op een gedeeld woonadres wordt bezorgd, kan de veronderstelde zwangerschap aan gezinsleden onthullen, ook wanneer de gevolgtrekking onjuist is.

Controleer wat klanten verwachtten toen aankopen werden geregistreerd. Overweeg een babyclub waarvoor mensen zich aanmelden als een minder ingrijpende manier om relevante aanbiedingen te sturen. Documenteer waarom dat alternatief de keuzes van mensen beter respecteert en voorkomt dat een onverwachte gevoelige gevolgtrekking wordt gemaakt.

Een casus op de werkvloer brengt een verwante beslissing met zich mee: HR wil een score voor het risico op ontslag op basis van toegangspasregistraties en e-mailmetadata. Vraag of medewerkers dit gebruik verwachtten, hoe onjuiste markeringen carrières kunnen beïnvloeden en of deeltijdwerk of ziekteverlof kan worden benadeeld. Een anonieme betrokkenheidsenquête kan de onderliggende zorg mogelijk met minder inbreuk aanpakken.

Toets rechtvaardigheid verder dan één kolom

Een proxyvariabele staat voor een ander kenmerk. Als je etniciteit uit een scorebestand verwijdert, kunnen postcode of eerste taal daar nog sterk mee samenhangen. De resterende velden kunnen ongelijke behandeling in stand houden. Controleer uitkomsten voor betrokken groepen en onderzoek het proces achter verschillen.

Deze vraag over rechtvaardigheid verschilt van het gebruik van vervangende gegevens om een niet-beschikbare meetwaarde te schatten. Beide gebruiken een vervanging, maar de ene vraag gaat over indirecte effecten op groepen en de andere over de geschiktheid van vervangend bewijs.

Controleer toegang en rapportagekeuzes

Onderzoek vóór het uitlezen van openbare profielen de voorwaarden, licenties, persoonsgegevens en verwachtingen van mensen. Toegang tot een webpagina geeft je de mogelijkheid die te lezen; toestemming voor een marketingdatabase is een afzonderlijke vraag.

Rapporteer bewijs eerlijk, ook resultaten die je voorkeursverklaring verzwakken. Gebruik grafieken die verschillen eerlijk weergeven, vermeld onzekerheid en beperkingen in de dekking en noem bronnen. Door selectief alleen gunstige resultaten te tonen kan een zorgvuldige analyse veranderen in een misleidende aanbeveling.

Anonieme gegevens ondersteunen nog steeds beslissingen over groepen. Een resultaat kan een buurt stigmatiseren of voorzieningen aan die buurt onthouden, ook als niemands rij identificeerbaar is. Beoordeel wat de voorgestelde actie met die groep zou doen, wijs iemand aan om de effecten te beoordelen en bespreek zorgen vroeg met de manager of gegevenseigenaar.