Sources, qualité et éthique des données

Pars de la question à laquelle tu dois répondre. Demande-toi ensuite qui a collecté chaque source possible et dans quelle mesure elle décrit les personnes, les lieux et la période qui t’intéressent.

Remonte des données à la personne ou à l’organisation qui les a collectées

Tes relevés de ventes, journaux de site web et tickets d’assistance sont des données propriétaires. Les données de réservation d’une compagnie aérienne partagées directement avec un hôtel partenaire sont des données partenaires pour l’hôtel. Le fichier d’audience compilé par un courtier constitue des données tierces pour son acheteur. Ces catégories décrivent le rapport avec la personne ou l’organisation qui a collecté les données ; elles ne classent pas la qualité de chaque fichier.

Distingue les autres catégories

Les données internes sont détenues au sein de ton organisation ; les données externes viennent de l’extérieur. Les données primaires sont collectées pour ta question actuelle ; les données secondaires sont réutilisées alors qu’elles ont été collectées à une autre fin ou à un autre moment. D’anciens relevés de ventes réutilisés pour examiner une nouvelle question de tarification sont des données propriétaires et secondaires. Une nouvelle enquête conçue pour cette question fournit des données primaires.

Les données ouvertes sont accessibles et réutilisables par tous à toute fin, y compris commerciale, sous une licence ouverte. Les instituts de statistique, les municipalités et les services météorologiques en publient. Lis la licence : l’attribution peut exiger de créditer la source et le partage dans les mêmes conditions peut imposer d’utiliser la même licence pour les versions adaptées. Un fichier public qui interdit la réutilisation commerciale n’est pas une donnée ouverte au sens strict.

Choisis une source à partir d’un exemple

Une entreprise de vélos en libre-service se demande pourquoi les trajets du week-end ont baissé de 15 % ce printemps.

1. Ses relevés de trajets montrent les stations et les horaires qui ont perdu des trajets. Ce sont des données propriétaires sur son propre service.
2. Les données de fréquentation des transports partagées directement par l’autorité municipale ajoutent des données partenaires sur l’utilisation des bus et des trains à proximité durant les mêmes semaines.
3. Les relevés ouverts de précipitations et de températures quotidiennes aident à examiner si la météo a pu contribuer à la baisse.
4. Le fichier d’un courtier sur les quartiers apporte un contexte démographique, après vérification de ses dates, de ses méthodes et des autorisations.

Ces sources étayent différentes parties de l’enquête. Une baisse des trajets à vélo accompagnée d’une hausse des trajets en train ne prouve pas que les mêmes personnes ont changé de moyen de transport.

Vérifie le canal et le niveau de détail

Les enquêtes atteignent les répondants ; les entretiens recueillent ce que les personnes disent ; les observations consignent ce que quelqu’un remarque. Les capteurs couvrent les lieux où ils sont installés. Les journaux de sites web couvrent les actions effectuées sur le site concerné. Une API permet à un programme de demander des données à un autre système ; l’extraction de données web copie le contenu de pages web. Aucun de ces deux canaux ne garantit l’exhaustivité ni l’autorisation de réutiliser le résultat.

Vérifie la granularité, c’est-à-dire le niveau de détail de chaque enregistrement. Des totaux mensuels par ville ne peuvent pas répondre à une question par heure et par station. Compare les sources selon leur couverture, leur documentation, les usages autorisés, les efforts nécessaires pour les obtenir et leur coût. Un énorme fichier sur la population peut être moins utile qu’un petit fichier bien documenté sur tes propres clients.

La structure des données décrit la manière dont les informations sont organisées. Elle t’indique ce qui peut entrer directement dans un calcul et ce qui doit d’abord être interprété.

Reconnais trois formes

Une table relationnelle attribue un rôle à chaque colonne. Cela facilite le tri, le filtrage, le dénombrement et le regroupement. Les enregistrements semi-structurés peuvent comporter des champs facultatifs ou des listes : un client peut avoir deux numéros de téléphone et un autre aucun. Un contenu non structuré doit être lu, écouté ou regardé, ou traité par une méthode d’analyse adaptée à ce contenu.

Distingue un contenant de son contenu

Considère cet enregistrement JSON :

{"review_id": 1047, "rating": 4, "text": "Fast delivery, but the box was damaged."}

Les clés désignent les valeurs, l’enregistrement est donc semi-structuré. L’identifiant et la note peuvent devenir des colonnes dans un tableau. Le texte reste un commentaire rédigé librement. Le placer dans une cellule de tableur ne transforme pas son sens en une catégorie prête à l’emploi.

Un tableur peut trier les commentaires par ordre alphabétique, mais cela ne t’indiquera pas combien de clients se sont plaints de l’emballage. Il te faut un champ qui consigne cette idée, comme mentions_packaging, avec une règle claire pour lui attribuer une valeur.

Transforme les commentaires en champs dénombrables

Une équipe lit 200 avis et marque chaque sujet mentionné dans chaque avis. Elle enregistre un marqueur pour la livraison et un pour le prix dans chaque avis. La livraison est mentionnée 84 fois et le prix 46 fois :

• Livraison : 84 sur 200, soit 42 %.
• Prix : 46 sur 200, soit 23 %.

Un avis peut mentionner les deux sujets : ces groupes se chevauchent donc. Leurs pourcentages ne totalisent pas nécessairement 100 %. Si l’équipe veut plutôt retenir un sujet principal par avis, elle doit définir une règle pour le choisir ; c’est une autre tâche de codage.

Les étiquettes sont des données structurées issues du texte d’origine. Garde l’avis original à la disposition des analystes autorisés pour que l’on puisse vérifier pourquoi une étiquette a été attribuée. Une courte définition de codage, comme « mentionne un délai de livraison ou une heure d’arrivée », aide à appliquer la même catégorie de façon cohérente.

Utilise les métadonnées sans les confondre avec le contenu

Les métadonnées décrivent les données. Une photo peut avoir une heure de prise de vue, un modèle d’appareil et une localisation GPS. Le contenu de l’image est non structuré ; son heure de prise de vue est une valeur structurée qui peut être regroupée par jour. Un fichier peut aussi avoir un auteur, une taille et une date de création, et un tableau peut comporter des descriptions de ses colonnes.

La structure et la qualité répondent à des questions différentes. Une archive audio soigneusement entretenue reste non structurée. Un tableur contenant des quantités erronées reste structuré. Évalue l’organisation du contenu séparément de son exactitude, de sa complétude et de son adéquation à l’analyse.

Le sens d’une valeur détermine les opérations qui ont un sens. Les chiffres seuls ne te disent pas s’il s’agit d’une quantité, d’un identifiant ou d’une catégorie ordonnée.

Classe un champ selon son sens

Les données quantitatives dénombrent ou mesurent quelque chose. Les données qualitatives, ou catégorielles, désignent une qualité ou un groupe.

Le délai de livraison est continu même s’il est enregistré en minutes entières ; la précision de l’enregistrement ne transforme pas la mesure sous-jacente en dénombrement. Un code produit comme « 300 » est nominal, car il désigne un produit. Additionner des codes produits ne donnerait pas un total ayant un sens.

Garde le contexte des codes de catégories

Une échelle de satisfaction peut coder « très insatisfait » par 1 et « très satisfait » par 5. Les effectifs, les pourcentages et la réponse située au milieu des réponses ordonnées aident à la décrire. Une moyenne des codes suppose des écarts égaux entre catégories voisines. La différence entre 1 et 2 ne représente pas nécessairement le même changement de ressenti que celle entre 4 et 5.

Lorsqu’un champ nommé status contient 3, demande-toi ce que signifie 3. Il pourrait s’agir d’un nombre d’éléments, d’un numéro de magasin ou d’une note. Le dictionnaire de données ou le responsable des données fournit cette signification.

Choisis un type de stockage

Les types de stockage indiquent au logiciel comment conserver et traiter les valeurs. Les types courants sont le texte ou chaîne de caractères, l’entier, le décimal, la date, l’horodatage et le booléen. Un booléen possède deux valeurs : VRAI et FAUX. Les noms utilisés dans les bases de données, comme INTEGER, DECIMAL, VARCHAR, DATE, TIMESTAMP et BOOLEAN, varient selon le système.

Une boutique en ligne pourrait choisir :

• order_id : texte ; un identifiant nominal.
• order_date : date ; une valeur du calendrier.
• items : entier ; une quantité discrète.
• parcel_kg : décimal ; une quantité continue.
• payment_method : texte ; une catégorie nominale.
• rating : une catégorie ordonnée codée de 1 à 5.
• is_member : booléen.

Une note peut être stockée comme entier sans devenir une quantité mesurée. Le sens statistique et le type de stockage sont des choix liés, mais ce ne sont pas la même chose.

Évite les changements silencieux

Les codes postaux et les numéros de téléphone doivent être stockés dans des champs de texte. Stocker le code postal américain « 02134 » comme nombre donne 2134 et fait perdre une partie de l’identifiant. Un identifiant numérique plus long peut aussi perdre de la précision dans un tableur.

Les dates stockées sous forme de texte peuvent être triées selon leur premier caractère. Dans cet ordre, « 10/02/2025 » précède « 9/15/2025 » parce que « 1 » précède « 9 », alors que septembre vient en premier. Utilise un type date lorsque le champ représente des dates.

Un nombre stocké sous forme de texte peut être ignoré par SUM lorsqu’un tableur additionne une plage de cellules. Le total peut sembler plausible tout en omettant une valeur. Vérifie à la fois le sens du champ et son type de stockage avant de calculer, trier ou comparer.

Le format d’un fichier détermine ce qu’il peut contenir et comment les logiciels le lisent. Vérifie ces possibilités avant de choisir un format d’export ou d’ouvrir un fichier que tu ne connais pas.

Adapte le format aux informations

Le CSV écrit les valeurs des champs sous forme de texte, pas de formules de tableur. Le TSV utilise des tabulations entre les champs. Certains exports de tableur utilisent des points-virgules là où la virgule décimale est courante. Examine le délimiteur et l’encodage dans un aperçu d’importation.

Lis les champs CSV entre guillemets

Un champ CSV contenant une virgule, un guillemet double ou un saut de ligne est encadré de guillemets doubles. Un guillemet à l’intérieur de ce champ est doublé :

1047,"Lee, Ana","She said ""great"""

Cet enregistrement contient trois champs. La virgule dans le nom fait partie du nom. Les guillemets doublés préservent les guillemets autour de « great ». Il existe des variantes du CSV : vérifie donc comment le programme destinataire lit le fichier.

JSON utilise des clés et des valeurs, comme dans {"city": "Lyon", "stations": 3}. XML utilise des balises, comme dans <city>Lyon</city>. Pour les listes dans l’un ou l’autre format, il faut décider quel élément devient une ligne.

Préserve les caractères et les identifiants

L’encodage des caractères associe des octets à des caractères. UTF-8 prend en charge les systèmes d’écriture du monde entier. Lire de l’UTF-8 avec le mauvais encodage peut transformer « São Paulo » en « São Paulo ». Réimporte le fichier avec le bon encodage ; modifier les caractères illisibles affichés masque la cause.

La conversion automatique des tableurs crée un autre risque. Un code « 02134 » peut perdre son zéro, de longs identifiants numériques peuvent s’afficher en notation scientifique et Excel ne stocke que 15 chiffres significatifs. Un identifiant de 16 chiffres peut donc perdre de la précision. Importe les identifiants sous forme de texte. Un texte qui ressemble à une date peut aussi changer : la conversion répétée de symboles de gènes comme SEPT2 a contribué à leur changement de nom, par exemple en SEPTIN2, en 2020.

Vérifie les dates, les lignes et les conversions

La date « 03/04/2025 » peut signifier le 4 mars ou le 3 avril. Le format ISO année-mois-jour, comme « 2025-03-04 », évite cette ambiguïté et se trie chronologiquement sous forme de texte lorsqu’il est utilisé de façon cohérente.

L’ancien format XLS autorise 65 536 lignes par feuille. En octobre 2020, une importation dans ce format a contribué à l’omission de 15 841 résultats positifs aux tests de COVID-19 dans les chiffres quotidiens de l’Angleterre du 25 septembre au 2 octobre. Compare les nombres de lignes importées et de lignes sources pour détecter une troncature silencieuse.

Renommer sales.xlsx en sales.csv ne change pas le format sous-jacent. Convertis le fichier avec la fonction d’export ou « Enregistrer sous ». Garde le fichier original : ouvrir un CSV et l’enregistrer à nouveau peut conserver la suppression de zéros ou des dates modifiées, même si tu n’as effectué aucune modification volontaire.

Un tableau doit permettre de voir facilement ce que décrit une ligne. Commence par nommer cette observation : une commande, un client ou les ventes d’un magasin pendant un trimestre.

Donne une place claire à chaque valeur

Un tableau de données ordonnées comporte une variable par colonne, une observation par ligne et une valeur par cellule. Utilise une seule ligne d’en-tête. Garde les clients et les commandes dans des tables distinctes, car ce sont des types d’observations différents.

Les cellules fusionnées, les lignes vides décoratives et plusieurs valeurs dans une même cellule rendent le tri et le filtrage peu fiables. Stocke la masse sous forme de nombre dans parcel_kg, pas sous forme de texte comme « 12 kg ». Enregistre le statut dans un champ ; la couleur seule ne permet pas de transmettre son sens de manière fiable à un autre outil.

Garde les lignes de totaux en dehors des enregistrements. Supposons que trois magasins aient des ventes de 120, 80 et 100. Leur total est de 300. Si une quatrième ligne contient également 300 avec le libellé « Total », la somme de toute la colonne donne 600. Le total a été compté en plus de ses propres composantes.

Choisis une disposition large ou longue

La disposition large facilite la lecture côte à côte. La disposition longue facilite le filtrage, le regroupement et la représentation graphique par période. Un cinquième trimestre ajoute des lignes au tableau long au lieu de modifier la structure de ses colonnes. Le pivotage transforme le format long en format large ; le dépivotage transforme le format large en format long.

Aucune des deux dispositions ne change les ventes elles-mêmes. Ce qui change, c’est la définition d’une ligne et l’endroit où la période est enregistrée. Documente le sens d’une ligne pour que les identifiants de magasin répétés dans le tableau long soient correctement compris.

Explique les champs

Un dictionnaire de données décrit le sens, le type, l’unité, les valeurs ou l’intervalle autorisés et le code des valeurs manquantes de chaque champ. Par exemple :

trip_km : distance du trajet en kilomètres ; décimal ; zéro ou plus ; vide en cas de perte du signal GPS.

Cette entrée distingue une cellule vide d’un zéro mesuré. Elle empêche aussi de prendre des kilomètres pour des mètres. Un fichier README donne une vue d’ensemble du jeu de données : sa source, sa couverture, sa période et ses problèmes connus.

Les métadonnées descriptives identifient le jeu de données, son auteur et son sujet. Les métadonnées structurelles décrivent les champs, les tables et leurs relations. Les métadonnées administratives consignent la propriété, les droits d’accès, les licences, les dates de création et les types de fichiers. Ensemble, elles aident à trouver et à évaluer les données ainsi qu’à les utiliser.

Laisse une trace de ton travail

Utilise des noms explicites dans un style uniforme, comme parcel_kg et order_date. Un nom de fichier comme bike_trips_2025-03-04_v02.csv indique le contenu, la date et la version sans espaces ni caractères spéciaux. Les dates dans l’ordre année-mois-jour permettent de trier chronologiquement les noms de fichiers liés.

Conserve les données brutes inchangées et en lecture seule, avec les copies de travail et les résultats dans des dossiers distincts. Consigne les modifications dans un court journal ou un historique des versions partagé. Rédige les définitions tant que le travail est encore frais dans ta mémoire : une valeur 3 inexpliquée dans status peut empêcher l’analyste suivant d’interpréter un tableau par ailleurs propre.

Choisis un mode de stockage adapté au volume de données, aux relations qu’elles contiennent et aux personnes qui doivent les lire ou les modifier. La facilité d’affichage n’est qu’un aspect de ce choix.

Comprends les tables liées

Une base de données est un ensemble organisé de données électroniques géré par un système de gestion de base de données, ou SGBD. Le SGBD gère le stockage, les droits d’accès et la cohérence. Une base de données relationnelle conserve les faits liés dans des tables reliées par des clés. Son schéma définit les tables, les champs, les types et les relations.

Une clé primaire identifie une ligne de manière unique et n’est jamais vide. Elle peut être composée d’un champ ou d’une combinaison de champs. Une clé étrangère relie une table à la clé primaire d’une autre table. Plusieurs enregistrements peuvent pointer vers le même enregistrement lié.

Considère customers, avec customer_id, name et city, et orders, avec order_id, customer_id, order_date et items. Le client C102 a trois commandes. L’identifiant C102 apparaît trois fois dans orders, mais une seule fois comme clé primaire dans customers. Chaque commande conserve son propre order_id unique.

Si la ville actuelle du client change, la mise à jour de sa ligne rend la nouvelle ville accessible grâce à la relation. Répéter la ville sur chaque commande risquerait d’entraîner des modifications contradictoires. Organiser les faits liés dans des tables reliées pour réduire les répétitions et les contradictions s’appelle la normalisation. Utilise des identifiants stables : les noms peuvent se répéter ou changer.

Compare les besoins de travail

Une feuille Excel peut contenir au maximum 1 048 576 lignes et 16 384 colonnes. Google Sheets autorise jusqu’à 20 millions de cellules par classeur, contre 10 millions avant septembre 2026. La capacité est un plafond, pas une garantie de fonctionnement fluide pour chaque fichier.

Vérifie concrètement la taille

Un fichier de 2 500 000 trajets nécessite environ 2,4 fois le nombre de lignes d’une feuille Excel. Stocke-le dans une base de données et extrais-en un sous-ensemble utile. Un tableau de 700 000 lignes et 30 colonnes utilise 21 000 000 cellules, ce qui dépasse la limite de Google Sheets. Une liste de 300 inscriptions à un événement tient facilement dans un tableur.

Même un petit volume de données peut nécessiter une base de données lorsque de nombreuses personnes mettent à jour des enregistrements liés et qu’il est important d’avoir des clés cohérentes. Les tableurs peuvent rejeter les saisies incorrectes grâce à des règles de validation, mais ces règles doivent être configurées et peuvent être contournées, notamment lors d’un collage. Un tableau dans une feuille n’acquiert pas les contraintes d’une base de données du simple fait de sa disposition.

Reconnais d’autres modes de stockage

Une base de données NoSQL orientée documents peut stocker des enregistrements JSON aux champs variables. Un entrepôt de données combine des données préparées provenant de plusieurs sources pour l’analyse. Un lac de données conserve de grands volumes de données brutes dans leurs formats d’origine, y compris des médias. Dans une procédure courante, les données principales restent dans une base de données et un sous-ensemble choisi est envoyé vers un tableur ou un outil d’informatique décisionnelle.

La crédibilité signifie qu’une source est digne de confiance et que la collecte et la documentation des données permettent de s’y fier. Un fichier soigné est facile à lire ; les éléments probants qui le sous-tendent déterminent la confiance qu’il mérite.

Applique ROCCC

ROCCC désigne les critères fiables, originales, complètes, actuelles et citées. Traite chacun comme une question à examiner.

Originales ne signifie pas que tu dois tout collecter toi-même. Un tableau réutilisé peut être crédible si tu peux remonter à une source originale documentée. Actuelles ne signifie pas les plus récentes à tout prix : les relevés historiques sont ceux qui conviennent à une question historique.

Remonte à l’origine d’une affirmation avant de l’accepter

Une publication sur un forum contient un lien vers un tableau intitulé « Temps moyen de trajet domicile-travail par ville ». Il n’a ni auteur, ni date, ni définition de « trajet domicile-travail ». Tu ne peux pas savoir si ses chiffres décrivent des trajets aller simples, des allers-retours, les travailleurs ou tous les habitants de la ville.

Cherche d’abord l’institut de statistique ou l’autorité de transport à l’origine des données. Trouve son tableau et sa méthodologie. Vérifie l’année et la définition de la mesure, puis confirme que les chiffres copiés correspondent. Si tu ne peux pas retrouver cette piste, le fichier du forum laisse sans réponse des questions importantes sur sa fiabilité.

Une source peut être fiable sans pour autant répondre à ta question. Une enquête sur les déplacements des adultes en emploi peut convenir à une question sur les trajets professionnels, mais omettre les déplacements des retraités. Le caractère complet s’apprécie toujours par rapport à la question et aux personnes qu’elle concerne.

Suis la provenance et vérifie les autorisations

La provenance est la trace de l’origine des données et de ce qui leur est arrivé. Une piste utile relie la publication originale, la version téléchargée, les éventuelles restructurations ou opérations de filtrage et l’extrait utilisé dans un résultat. Les métadonnées et un dictionnaire de données expliquent les champs et les définitions tout au long de cette piste.

Vérifie la licence ou l’accord avant toute réutilisation. L’autorisation de télécharger un fichier peut différer de celle d’en publier les lignes ou de l’utiliser à des fins commerciales. Une source techniquement fiable peut tout de même être inutilisable pour l’objectif prévu en raison de ses conditions d’utilisation.

Vérifie le sens autant que les totaux

Compare les totaux régionaux au total national de l’éditeur lorsque les régions couvrent toute la population et toute la période concernées. Un écart justifie de rechercher des zones manquantes, des dates différentes, des révisions ou des définitions différentes. Compare aussi une source indépendante ; plusieurs sites qui répètent un même chiffre constituent une seule piste d’éléments probants, pas une confirmation indépendante.

Lis les notes de révision. Une correction ultérieure peut rendre un extrait enregistré obsolète, même si son téléchargement est récent. Consigne la version publiée que tu as utilisée et la date à laquelle tu y as accédé. Lorsqu’un tableau de bord indique « utilisateur actif », vérifie s’il s’agit d’une connexion, d’un achat ou d’une autre action avant de le comparer à un second tableau de bord.

Un biais est une déformation systématique dans la manière dont les données sont collectées, enregistrées, sélectionnées ou interprétées. Il pousse un résultat dans une direction. Ajouter des enregistrements collectés de la même manière biaisée conserve cette déformation.

Identifie le problème

Le biais de l’observateur concerne le processus d’enregistrement ; le biais d’interprétation concerne le sens donné aux informations. Le biais de confirmation est particulièrement visible dans les éléments probants qu’une personne cherche ou retient. Plusieurs biais peuvent apparaître dans un même projet, mais nomme le mécanisme que les éléments probants permettent réellement d’établir.

Calcule l’effet des clients manquants

Une enquête recueille 300 réponses sur une application, dont 240 émanent de personnes satisfaites. Le taux de satisfaction observé est de 80 %. Les utilisateurs de l’application représentent 40 % de tous les clients. Une vérification distincte révèle que 55 % des 60 % restants sont satisfaits.

Pour combiner ces taux, tiens compte de la proportion de chaque groupe :

• Contribution des utilisateurs de l’application : 40 % de 80 %, soit 32 points de pourcentage.
• Contribution des autres clients : 60 % de 55 %, soit 33 points de pourcentage.
• Satisfaction globale : 32 plus 33, soit 65 %.

Présenter 80 % comme le résultat de tous les clients reviendrait à étendre le résultat de l’application à un groupe qu’il ne représentait pas. Une enquête encore plus grande menée uniquement sur l’application manquerait toujours ce groupe.

Cherche les lacunes et les choix biaisés

Compare la composition du jeu de données aux chiffres connus de la population, comme les proportions par tranche d’âge ou les canaux utilisés par les clients. Demande-toi qui est absent, qui a abandonné et pourquoi. Examine comment les catégories ont été définies et si une option de réponse exclut certaines personnes. Examine qui a consigné les jugements et quelles attentes ont pu les influencer.

Un relevé exact de décisions passées mérite une vérification distincte de l’équité. Si un processus de recrutement favorisait un groupe, enregistrer fidèlement ses décisions préserve cette régularité. Une transcription correcte ne corrige pas les inégalités du passé.

Réduis le mécanisme repéré

Des définitions claires pour l’enregistrement, des procédures standard et des observateurs indépendants aident à réduire le biais de l’observateur. Des critères d’interprétation des résultats définis d’un commun accord réduisent la place laissée aux attentes dans les conclusions. Écrire la question et les critères de réussite avant l’analyse, puis chercher activement des éléments qui contredisent ton idée, aide à contrer le biais de confirmation.

Documente les biais que tu ne peux pas éliminer et explique comment ils limitent les conclusions. Si les clients ayant résilié sont absents, présente le résultat comme portant sur les abonnés actuels. Si la décision exige de comprendre les résiliations, cherche des informations sur les personnes parties.

La qualité des données correspond à leur adéquation à un usage prévu. Évalue les champs et les enregistrements dont la décision a réellement besoin, puis détermine les effets que les problèmes auraient sur le résultat.

Examine six dimensions

La validité et l’exactitude sont différentes. Un âge de 42 ans peut appartenir à l’intervalle autorisé tout en étant faux pour une personne dont l’âge réel est de 24 ans. L’exactitude exige une comparaison avec la réalité, pas seulement un contrôle du format.

Effectue le profilage d’une table de clients

Une table contient 5 000 lignes, 600 adresses e-mail vides, 45 identifiants clients qui apparaissent plusieurs fois, un âge maximal de 212 ans et une date de mise à jour remontant à 18 mois.

1. Divise 600 par 5 000 : 12 % des adresses e-mail sont manquantes.
2. Les identifiants répétés posent un problème d’unicité si une ligne doit décrire un client.
3. L’âge de 212 ans ne respecte pas une règle d’intervalle d’âge plausible et doit être examiné.
4. La date de mise à jour soulève une question d’actualité pour contacter les clients aujourd’hui.

Ce profilage repère des problèmes ; il ne détermine pas tous les usages possibles. Une analyse des dépenses régionales de l’an dernier peut être menée après vérification des montants d’achat, des dates et des régions, résolution des doublons et confirmation que toute l’année demandée est couverte. Une campagne par e-mail nécessite des adresses actuelles et est directement touchée par les coordonnées manquantes.

Détermine si les éléments probants sont suffisants

Les données sont insuffisantes lorsque les enregistrements, les champs, la couverture ou la période nécessaires à la question sont absents. Une source unique mérite une vérification supplémentaire lorsque tu ne peux pas la recouper. Une source qui change nécessite un instantané fixe ou une date limite pour le compte rendu, par exemple « toutes les commandes jusqu’au 2025-06-30 », afin qu’une autre personne puisse reproduire le résultat.

Lorsqu’une lacune compte, discute du choix avec les parties prenantes. Tu peux chercher de nouvelles données, attendre, restreindre la question, présenter un résultat limité ou utiliser des données de substitution clairement expliquées. Les données de substitution remplacent ce qui n’est pas disponible. Les premières ventes d’un produit similaire peuvent éclairer une estimation pour un nouveau produit, mais la similarité est une hypothèse à énoncer et à examiner.

Vérifie l’effet de ta réponse

Supprimer toutes les lignes comportant une cellule vide peut introduire un biais. Si les clients âgés sont plus susceptibles de ne pas donner d’adresse e-mail, supprimer ces lignes les sous-représente, même dans une analyse qui ne nécessite pas d’adresse e-mail.

Un fichier sans cellules vides peut tout de même décrire la mauvaise population ou utiliser une définition incorrecte. Consigne les problèmes qui touchent la décision prévue, ce qui doit être résolu et les limites qui restent.

Les données à caractère personnel se rapportent à une personne identifiée ou identifiable. L’expression informations personnelles identifiables, ou PII, est également courante. Dans ton travail d’analyse quotidien, examine ce que les informations révèlent et comment elles pourraient être reliées à une personne.

Cherche les possibilités d’identification directe et indirecte

Un identifiant direct peut désigner directement une personne ou un compte : une adresse e-mail, un numéro de téléphone, un numéro national d’identité, un numéro de compte ou une photo nette d’un visage. Les noms aident aussi à identifier les personnes, même si un nom courant peut nécessiter du contexte.

Un identifiant indirect, ou quasi-identifiant, permet une identification lorsqu’il est combiné à d’autres détails. La date de naissance, le code postal, le genre, l’employeur et l’intitulé de poste peuvent sembler généraux pris séparément, mais ne laisser qu’un très petit groupe lorsqu’ils sont combinés.

À partir des données du recensement américain de 1990, Latanya Sweeney a estimé qu’environ 87 % de la population était probablement identifiable de manière unique par la combinaison du code postal américain à cinq chiffres, du genre et de la date de naissance complète. Une étude ultérieure utilisant les données du recensement de 2000 a estimé cette proportion à environ 63 %. Ces constats concernent ces populations et ces dates ; ils ne constituent pas un taux d’identification universel. Sweeney a également croisé un jeu de données de santé d’un État avec une liste électorale pour identifier les dossiers d’un gouverneur.

Examine chaque champ, y compris les notes

Considère ces champs clients :

Une note comme « Demandez Maria à l’agence de la rue des Ormes, elle connaît mon dossier » contient un nom et un lieu malgré le libellé général du champ. Lis les champs de texte libre avant de décider qu’un extrait peut être partagé en toute sécurité.

Les identifiants d’appareils et de cookies, les adresses IP, les historiques de déplacements précis et les métadonnées GPS peuvent aussi permettre une identification. Un trajet qui commence chaque matin à la même maison peut révéler où vit une personne, même si l’enregistrement du trajet ne contient pas de nom.

Reconnais les informations sensibles

Les données sensibles sont des informations à caractère personnel dont le mauvais usage peut causer un préjudice grave. Elles comprennent notamment les données de santé, génétiques et biométriques ; l’origine raciale ou ethnique ; les convictions religieuses et politiques ; l’orientation sexuelle ; l’appartenance syndicale ; les informations financières ; la localisation précise ; et les informations concernant les enfants. Une tâche doit nécessiter clairement ces champs avant qu’ils ne figurent dans une copie destinée à l’analyse.

L’identification et la sensibilité sont deux questions différentes. Une adresse e-mail peut identifier une personne sans décrire sa santé. Un diagnostic peut être sensible même si les noms ont été remplacés par des codes dans sa table, car les enregistrements peuvent rester reliables à des personnes.

Respecte l’usage autant que la source

La protection de la vie privée concerne le contrôle que les personnes exercent sur les informations qui les concernent et le caractère approprié et attendu de leur collecte, de leur utilisation et de leur partage. Les profils publics et les annuaires décrivent toujours des personnes. Combiner des détails publics peut révéler plus que ce que leurs éditeurs d’origine montraient ensemble.

Parmi les lois sur la protection de la vie privée figurent le RGPD de l’Union européenne, le UK GDPR et le CCPA de Californie. Au travail, suis la politique de protection de la vie privée de l’organisation et consulte son équipe chargée de la protection des données ou son service juridique en cas de doute sur un usage. Retirer un nom est une modification du jeu de données ; évaluer ce que les informations restantes peuvent révéler exige d’examiner tout l’extrait et les sources susceptibles d’être croisées.

La désidentification supprime ou modifie des détails pour rendre les enregistrements plus difficiles à relier aux personnes. La bonne méthode conserve suffisamment d’informations pour répondre à la question tout en réduisant ce qu’un destinataire peut apprendre sur les personnes.

Distingue les codes de l’anonymat

La pseudonymisation remplace les identifiants par des codes. Une clé de correspondance séparée peut rétablir le lien ; les données restent donc personnelles. L’anonymisation exige que les personnes ne puissent plus raisonnablement être identifiées, compte tenu des moyens susceptibles d’être utilisés, et que la transformation soit irréversible.

Le hachage simple des adresses e-mail est une pseudonymisation : une personne peut hacher une liste d’adresses possibles et comparer les résultats. Des identifiants aléatoires ou une méthode utilisant une clé secrète protégée offrent des pseudonymes plus sûrs, tandis que les informations de correspondance doivent toujours être protégées séparément.

Choisis une transformation

Chaque choix fait perdre une partie du détail. Les tranches d’âge peuvent répondre à une question sur les segments sans exposer les âges exacts, mais elles ne peuvent pas montrer la dispersion au sein d’une tranche.

Examine le k-anonymat

Le k-anonymat contrôle les groupes formés par les quasi-identifiants que tu as choisis. Chaque combinaison doit apparaître au moins k fois. L’effectif du plus petit groupe est le k de la table.

Huit dossiers de patients contiennent des paires âge/code postal : 34/10115, 36/10117, 38/10119, 31/10115, 52/10243, 57/10245, 55/10247 et 59/10249. Chaque paire complète est unique, donc k est égal à 1.

Généralise l’âge en tranches de dix ans et le code postal à ses trois premiers chiffres :

• Quatre enregistrements partagent maintenant la tranche d’âge 30–39 et le préfixe postal 101.
• Quatre enregistrements partagent la tranche d’âge 50–59 et le préfixe postal 102.

Le plus petit groupe contient quatre enregistrements : le résultat est donc 4-anonyme pour ces quasi-identifiants. L’effectif des groupes utilise tous les quasi-identifiants choisis ensemble, et non des dénombrements séparés pour chaque colonne.

Vérifie ce que les groupes révèlent encore

Si les quatre personnes d’un groupe partagent un même diagnostic, savoir qu’une personne appartient à ce groupe révèle son diagnostic sans qu’il soit nécessaire de trouver sa ligne. L’effectif du groupe ne suffit pas à empêcher la divulgation d’une valeur sensible. D’autres jeux de données peuvent aussi offrir des possibilités de croisement. En 2008, des chercheurs ont relié des notes de films et des dates approximatives à des avis publics, alors même que les noms avaient été remplacés par des nombres.

Les agrégats doivent aussi être examinés. Un effectif de un peut exposer une personne. Deux totaux de rémunération qui se chevauchent peuvent révéler une différence : 720 000 pour 12 employés moins 655 000 pour les 11 qui ne sont pas de nouvelles recrues révèlent la rémunération de l’unique nouvelle recrue, soit 65 000.

Liste les champs, retire ceux dont la question n’a pas besoin, supprime les identifiants directs, protège toute clé de correspondance, généralise les quasi-identifiants et examine les petits groupes et les textes libres. Vérifie les publications qui se chevauchent autant que le fichier devant toi, et documente les transformations et les risques de croisement restants.

La sécurité protège les données contre les accès non autorisés, les altérations et la perte. La protection de la vie privée pose la question du caractère approprié d’un usage. Un fichier verrouillé peut tout de même être utilisé de manière intrusive, et un plan d’analyse respectueux nécessite aussi un environnement de travail sécurisé.

Limite les actions autorisées pour chacun

Le contrôle des accès précise qui peut lire ou modifier les données. Le principe du moindre privilège consiste à ne donner à chaque personne que l’accès nécessaire à sa tâche et uniquement pour la durée nécessaire. Une personne qui examine des résultats agrégés peut ne pas avoir besoin d’accéder aux enregistrements individuels qui ont servi à les produire.

Partage les données avec des destinataires nommément désignés, choisis délibérément les droits de lecture ou de modification et retire les accès à la fin du projet. Un paramètre « toute personne disposant du lien » peut permettre au lien de circuler au-delà du public visé. Le côté pratique d’un dossier de projet ne justifie pas de donner à chaque membre du projet tous les fichiers sources.

Protège les données stockées et en circulation

Le chiffrement rend les données illisibles sans la bonne clé. Utilise une protection au repos, pour les fichiers stockés, les appareils et les sauvegardes, et en transit, lorsque les données circulent entre les systèmes, par exemple par HTTPS. Vérifie les deux aspects : un stockage protégé ne protège pas une copie envoyée par un canal de transfert inadapté.

La tokenisation remplace une valeur sensible par un jeton tout en conservant la valeur réelle dans un système sécurisé séparé. Elle réduit les endroits où la valeur d’origine doit apparaître. Le système qui détient l’original nécessite toujours des contrôles rigoureux.

Réduis la quantité et la durée de conservation

La minimisation des données consiste à ne collecter, copier et conserver que les informations personnelles nécessaires à la tâche. Extrais cinq colonnes nécessaires au lieu d’une table clients complète contenant des noms, des adresses et des notes sans rapport avec la tâche. Un extrait plus petit expose moins d’informations s’il est mal manipulé.

Les règles de durée de conservation fixent combien de temps garder les données et quand les supprimer. Applique-les aux copies de travail et aux extraits partagés, pas seulement à la base principale. Révoque les droits lorsque l’accès prend fin et suis les procédures approuvées de suppression des copies.

Vérifie le fichier qui sera effectivement transmis

Les colonnes et les feuilles masquées peuvent être affichées. La protection d’une feuille peut empêcher les modifications tout en laissant les valeurs lisibles. L’historique des versions peut conserver des valeurs retirées et les propriétés du fichier peuvent révéler l’identité d’un auteur. Prépare un extrait propre au lieu de compter sur des artifices d’affichage pour cacher des informations.

Pour des résultats sur les résiliations de clients envoyés à une agence externe, une solution adaptée consiste à partager les taux par région et tranche d’âge dans des groupes d’au moins 10 clients, à l’aide du service de transfert approuvé. Donne l’accès à deux membres nommément désignés de l’agence et fixe son expiration à 30 jours. Le seuil de groupe choisi dans ce plan est une mesure de protection, pas une garantie contre toute divulgation.

Utilise les outils de stockage et de transfert approuvés. Une messagerie personnelle, des supports portables ou des outils en ligne non approuvés peuvent créer des copies non contrôlées. Ne colle pas d’enregistrements personnels ou confidentiels dans des assistants d’intelligence artificielle non approuvés ni dans d’autres outils web. Si un fichier parvient à la mauvaise personne ou si un appareil non chiffré est perdu, signale-le immédiatement selon la procédure de gestion des incidents de l’organisation afin que l’équipe chargée de la réponse puisse agir.

L’éthique des données fournit des principes pour juger si la collecte, l’utilisation et le partage des données sont équitables, honnêtes et respectueux. Les règles juridiques fixent un minimum. Le jugement éthique examine aussi les effets d’une décision sur les personnes auxquelles les enregistrements se rapportent.

Comprends l’intérêt des personnes à l’égard de leurs données

La propriété des données, en tant que principe éthique, reconnaît aux personnes un droit prioritaire à contrôler la manière dont les données qu’elles fournissent sont utilisées et partagées. Conserver une copie sur le serveur d’une entreprise ne supprime pas leur intérêt à l’égard de ces données.

Le consentement devrait être éclairé, propre à un objectif, donné librement et pouvoir être retiré. Les personnes doivent comprendre comment et pourquoi leurs données seront utilisées avant de donner leur accord. Une case vague noyée dans de longues conditions ne rend pas un usage inattendu compréhensible. Vérifie à nouveau lorsqu’un objectif change ; un accord antérieur ne règle pas tous les usages ultérieurs.

Rends visibles les traitements et les transactions financières

La transparence des traitements signifie que les personnes peuvent comprendre comment leurs données sont traitées, y compris les algorithmes qui les utilisent. Si un score automatisé refuse une réduction à une personne, une explication en langage clair devrait indiquer sur quoi le score repose.

La monétisation des données concerne la connaissance des transactions financières qui résultent des données à caractère personnel et de leur ampleur. Une personne peut comprendre qu’une application enregistre sa localisation sans se rendre compte que l’entreprise vend cet historique à des annonceurs. La transparence sur la collecte et celle sur l’argent répondent à des questions différentes.

Concilie partage, protection de la vie privée et équité

Les données ouvertes sont accessibles et réutilisables sous une licence claire. CC BY 4.0 autorise la réutilisation avec attribution. CC0 est une déclaration de mise dans le domaine public destinée à supprimer autant que possible les restrictions liées au droit d’auteur. La réutilisation ouverte exige toujours de prêter attention aux informations personnelles et aux préjudices possibles.

La responsabilisation nécessite des traces : identifie les sources, les méthodes, les décisions et la personne responsable. Créditer un jeu de données permet à une personne qui vérifie le travail de suivre les éléments probants et donne à son créateur la reconnaissance appropriée.

Applique les principes à une application de sport

Une application de sport gratuite vend des parcours de course précis à des annonceurs. Ses longues conditions indiquent seulement que des « partenaires » peuvent recevoir des données de localisation. Les parcours peuvent révéler les domiciles et les habitudes quotidiennes.

• Le consentement est insuffisant, car l’usage précis n’a pas été clairement indiqué avant l’accord.
• La transparence des traitements est insuffisante, car les personnes ne peuvent pas voir facilement quels traitements et partages ont lieu.
• La monétisation des données est insuffisamment transparente, car la vente et son ampleur sont cachées aux utilisateurs.
• La vie privée est menacée, car les parcours détaillés révèlent des habitudes personnelles.

L’entreprise devrait examiner si le partage répond à un objectif que les personnes comprennent, si une solution moins révélatrice atteint cet objectif et si les utilisateurs peuvent faire un choix éclairé. Qualifier un usage de légal ne répond pas à ces questions éthiques.

L’éthique intervient dans le cadrage de la question, la préparation des éléments probants, leur analyse, la présentation des résultats et la mise en action. L’analyste voit souvent une régularité préjudiciable avant toute personne qui examine la présentation finale.

Examine une décision étape par étape

1. Indique l’objectif et les données. Quelle décision cherche-t-on à éclairer et quelles informations seraient utilisées ?
2. Identifie les personnes touchées et les effets. Inclus les personnes absentes du fichier ainsi que celles qui y sont représentées. Nomme les bénéfices et les préjudices possibles.
3. Vérifie les attentes et les obligations. Compare l’usage à ce qui a été indiqué aux personnes, à leurs accords, à la politique de l’organisation et au droit applicable.
4. Compare les solutions. Moins de données, des groupes plus larges ou une participation volontaire pourraient-ils répondre au besoin réel ?
5. Décide et documente. Consigne les raisons, la personne responsable et les éventuelles limites. Fais remonter les risques élevés ou les questions non résolues.

Examine une déduction sensible

Un commerçant veut déduire une grossesse à partir d’historiques d’achat et envoyer des bons de réduction sur des produits pour bébé. L’objectif commercial n’exige pas que les clients révèlent une déduction concernant leur santé. Un bon livré à un domicile partagé pourrait révéler une grossesse à des membres de la famille, y compris lorsque la déduction est erronée.

Vérifie à quoi les clients s’attendaient lorsque leurs achats ont été enregistrés. Envisage un club bébé à inscription volontaire comme moyen moins intrusif d’envoyer des offres pertinentes. Documente pourquoi cette solution respecte mieux les choix des personnes et évite une déduction sensible inattendue.

Un cas en milieu professionnel pose une décision similaire : les ressources humaines veulent un score de risque de démission fondé sur les passages de badges et les métadonnées des courriels. Demande-toi si les employés s’attendaient à cet usage, comment des signalements erronés pourraient affecter leur carrière et si le travail à temps partiel ou les congés maladie pourraient être pénalisés. Une enquête anonyme sur l’engagement pourrait répondre à la préoccupation sous-jacente de manière moins intrusive.

Vérifie l’équité au-delà d’une seule colonne

Une variable de substitution remplace une autre caractéristique. Retirer l’origine ethnique d’un fichier de notation peut y laisser le code postal ou la langue maternelle, qui lui sont fortement associés. Les champs restants peuvent préserver un traitement inégal. Vérifie les résultats pour les groupes concernés et examine le processus à l’origine des différences.

Cette question d’équité diffère de l’utilisation de données de substitution pour estimer une mesure indisponible. Dans les deux cas, un élément en remplace un autre, mais le premier concerne les effets indirects sur les groupes et le second l’adéquation des éléments probants de remplacement.

Vérifie les choix d’accès et de présentation

Avant d’extraire des données de profils publics, examine les conditions, les licences, les informations personnelles et les attentes des personnes. L’accès à une page web te permet de la lire ; l’autorisation de l’utiliser pour une base de données marketing est une autre question.

Présente les éléments probants honnêtement, y compris les résultats qui affaiblissent ton explication préférée. Utilise des graphiques qui représentent les différences fidèlement, indique l’incertitude et les limites de couverture, et crédite les sources. Ne montrer que les résultats favorables peut transformer une analyse soignée en recommandation trompeuse.

Les données anonymes servent toujours à prendre des décisions concernant des groupes. Un résultat peut stigmatiser un quartier ou le priver de services même si aucune ligne ne peut être attribuée à une personne identifiable. Évalue les effets de l’action proposée sur ce groupe, charge une personne d’en examiner les effets et fais part rapidement de tes préoccupations à ton supérieur ou au responsable des données.