Explorative Datenanalyse mit Python

Die explorative Datenanalyse, kurz EDA, nutzt Kennwerte und Diagramme, um zu erfahren, was ein Datensatz enthält. Du suchst nach Qualitätsproblemen, Mustern und Überraschungen und leitest daraus bessere Fragen ab. John Tukey entwickelte und verbreitete diesen Ansatz, insbesondere in seinem Buch Exploratory Data Analysis von 1977.

Beginne mit einer Entscheidung

Eine Anfrage wie „Wie laufen unsere Lieferungen?“ ist zu allgemein, um die erste Berechnung anzuleiten. Frag, welche Entscheidung die Analyse unterstützen soll, und benenne dann die wichtigen Variablen und Vergleiche. Nützliche Fragen sind etwa: „Wie lang ist die typische Lieferzeit und wie stark schwankt sie?“, „Welcher Anteil der Bestellungen dauert länger als 45 Minuten?“, „Unterscheiden sich die Zeiten nach Stadt oder Stunde?“ und „Hat sich der monatliche Median seit Januar verändert?“ Jede Frage weist auf einen Kennwert, ein Diagramm oder einen Vergleich hin.

Kläre vor dem Rechnen, woher die Daten stammen, wie sie erhoben wurden, welchen Zeitraum und welche Grundgesamtheit sie abdecken und was jede Spalte bedeutet und in welcher Einheit sie vorliegt. Ein sprunghafter Anstieg ausgefüllter Felder kann auf eine Formularänderung zurückgehen, durch die ein Feld zum Pflichtfeld wurde. Dieser Kontext verändert die Erklärung des Musters.

Kläre, was eine Zeile bedeutet

Die Beobachtungseinheit, auch Granularität genannt, ist das, wofür eine Zeile steht. Das kann eine Bestellung, ein Artikel innerhalb einer Bestellung, ein Kunde oder ein Geschäft an einem bestimmten Tag sein. Eine Tabelle mit 12.000 Zeilen für Bestellpositionen und 4.000 unterschiedlichen Bestell-IDs enthält durchschnittlich 3 Zeilen pro Bestellung. Ihre Zeilenanzahl beschreibt Artikel, sodass eine Frage zu Bestellungen eine Zählung auf Bestellungsebene braucht. Wiederholte Bestell-IDs sind in dieser Tabelle zu erwarten; in einer Tabelle, die eine Zeile pro Bestellung enthalten soll, wären sie ein Qualitätsproblem.

Arbeite in einem Kreislauf

Ein nützlicher Ablauf ist:

1. Formuliere die Fragen und die Entscheidung, die sie unterstützen.
2. Lade die Daten und kläre die Bedeutung einer Zeile.
3. Untersuche Struktur, Typen und Qualität.
4. Betrachte wichtige Variablen einzeln.
5. Untersuche Zusammenhänge zwischen Variablen.
6. Vergleiche Teilgruppen und Zeiträume.
7. Halte Befunde, Einschränkungen und nächste Fragen fest.

Diese Schritte bilden einen Kreislauf. Ein überraschender Zusammenhang kann dich zur Quelle zurückführen, um Einheiten oder fehlende Werte zu prüfen. Neue Daten können das Datenprofil verändern und frühere Fragen erneut aufwerfen. Fragen zu Beginn halten die Analyse auf das Ziel ausgerichtet; Offenheit für Überraschungen erhält ihren explorativen Charakter. Jedes mögliche Paar ohne Ziel grafisch darzustellen, erzeugt gewöhnlich eine lange Sammlung von Diagrammen mit wenig Aussagekraft.

Unterscheide einen Anhaltspunkt von einer Bestätigung

Exploration erzeugt Hypothesen. Die konfirmatorische Analyse prüft eine vorab formulierte Hypothese, idealerweise anhand von Daten, die das Muster nicht aufgedeckt haben. Die Betrachtung vieler Diagramme macht zufällige Muster wahrscheinlicher. Ein auffälliges exploratives Ergebnis muss daher weiter untersucht werden, bevor es eine allgemeine Aussage stützt. Die EDA hilft bei der Vorbereitung, indem sie nutzbare Variablen, schiefe Verteilungen und vielversprechende Zusammenhänge zeigt.

Auch die Abdeckung der Daten legt den Geltungsbereich eines Befunds fest. Produktbewertungen stammen von Menschen, die sich für eine Bewertung entschieden haben. Ihre Bewertungen beschreiben diese Personen; um das Ergebnis auf alle Kunden zu übertragen, braucht man Belege dafür, wie sich die Bewertenden von allen anderen unterscheiden.

Ein Jupyter-Notebook verbindet Code, Ausgaben und Markdown-Erklärungen. Sein Kernel ist der Python-Prozess, der Variablen im Speicher hält. Der Kernel merkt sich die Reihenfolge, in der Zellen ausgeführt wurden; sie kann von der sichtbaren Reihenfolge auf der Seite abweichen.

Verborgenen Zustand beseitigen

Angenommen, du führst eine Zelle aus, die clean erstellt, löschst diese Zelle und verwendest clean darunter weiter. Die aktuelle Sitzung funktioniert weiterhin, weil die Variable im Speicher bleibt. Eine neue Sitzung schlägt fehl, weil das Notebook ihre Definition nicht mehr enthält. Auch wenn du eine frühe Zelle änderst, nachdem spätere Berechnungen ausgeführt wurden, können alte Ausgaben neben neuem Code stehen bleiben.

Ausführungsnummern wie [7] helfen, eine abweichende Ausführungsreihenfolge zu erkennen. Die praktische Prüfung ist aussagekräftiger: Wähle in JupyterLab Kernel → Restart Kernel and Run All Cells. Prüfe, ob das gesamte Notebook durchläuft und seine Zahlen mit den Ausgaben übereinstimmen, die du weitergeben möchtest.

Abhängigkeiten klar ordnen

Beginne mit Titel, Ziel und Fragen. Es folgen Imports und eine Einstellungszelle, dann Abschnitte für das Laden, Qualitätsprüfungen, Verteilungen, Zusammenhänge, Vergleiche und Befunde. Zum Beispiel:

from pathlib import Path
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

DATA = Path("data/raw/orders.csv")
LATE_MINUTES = 45
SEED = 42

df = pd.read_csv(DATA)

Ein relativer Pfad funktioniert innerhalb der gemeinsam genutzten Projektstruktur. Ein Pfad, der an den Desktop einer Person gebunden ist, funktioniert nicht mehr, wenn das Projekt verschoben wird. Gib das Arbeitsverzeichnis an, von dem aus das Notebook ausgeführt wird, damit der relative Pfad korrekt aufgelöst wird. Bewahre Rohdateien auf und speichere verarbeitete Daten separat. Nimm Änderungen im Code vor: Eine manuelle Änderung in einer Tabellenkalkulation ist beim nächsten Durchlauf unsichtbar.

Umgebung und Zufallsentscheidungen dokumentieren

Speichere Paketversionen in einer Umgebungsdatei, etwa als Ausgabe von pip freeze > requirements.txt, und gib wichtige Versionen mit print(pd.__version__) im Notebook aus. Das Verhalten ändert sich zwischen Versionen: pandas 3 gibt Text den eigenen Datentyp str, und ein DataFrame mit Text benötigt für die Korrelation eine ausdrückliche Auswahl numerischer Spalten.

Ein Diagramm einer Stichprobe sollte bei jedem erneuten Durchlauf dieselben Beobachtungen zeigen. Verwende df.sample(n=1000, random_state=42), wenn mindestens 1.000 Zeilen verfügbar sind, oder erstelle einen NumPy-Generator mit rng = np.random.default_rng(42). Halte den Startwert mit den anderen Einstellungen fest. Ein Startwert steuert Zufallsentscheidungen; um die vollständige Ausgabe zu reproduzieren, sind außerdem dieselben Eingaben und dieselbe Software nötig.

Annahmen ausführbar machen

Formuliere wichtige Erwartungen als Prüfungen:

assert df["order_id"].is_unique
assert df["minutes"].ge(0).all()

Die erste verlangt eine eindeutige Bestell-ID pro Zeile. Die zweite verlangt bei gewöhnlichen Gleitkommadaten, dass jede Zeitdauer nichtnegativ und vorhanden ist. Sind fehlende Zeiten erlaubt, definiere eine separate Prüfung auf fehlende Werte und wende die Bereichsregel nur auf erfasste Zeiten an. Eine fehlgeschlagene Zusicherung stoppt den Durchlauf dort, wo die Eingabe die erwarteten Anforderungen erstmals verletzt.

Fasse wiederkehrende Abläufe in Funktionen zusammen, damit eine Korrektur jede Verwendung aktualisiert. Verwalte Code und Notebooks mit einer Versionsverwaltung. Notebook-Ausgaben werden in ihrem JSON gespeichert, was den Vergleich von Änderungen erschweren kann; es kann helfen, Ausgaben vor einem Commit zu entfernen oder das Notebook mithilfe von Jupytext mit einem Textskript zu verknüpfen.

Eine erste Untersuchung klärt die Größe der Tabelle, wofür ihre Spalten stehen und ob ihre gespeicherten Typen zu diesen Bedeutungen passen. Dieses Profil hilft dir, sinnvolle Kennwerte auszuwählen, bevor du der Ausgabe eines praktischen Befehls vertraust.

Struktur aus mehreren Blickwinkeln untersuchen

Verwende df.shape für die Zeilen- und Spaltenanzahl, df.head() und df.tail() für die Anfänge und Enden der Datei und df.sample(5, random_state=0) für eine reproduzierbare Stichprobe, wenn mindestens fünf Zeilen vorhanden sind. Die ersten Zeilen können alle zum frühesten Datum oder zum selben Geschäft gehören. Führe df.info() aus, um Spaltennamen, Anzahlen nicht fehlender Werte, Datentypen und Speicherbedarf zu untersuchen. Mit df.nunique() zählst du die unterschiedlichen erfassten Werte in jeder Spalte.

Bedeutung und Speicherung unterscheiden

Ein Ganzzahldatentyp macht nicht jede Spalte zu einer mengenmäßigen Größe. Regionscodes und Kunden-IDs werden numerisch gespeichert, haben aber kein aussagekräftiges arithmetisches Mittel. Eine Bewertung von 1 bis 5 hat eine kleine Auswahl geordneter Antworten und lässt sich oft gut kategorial darstellen.

pandas verwendet häufig int64, float64, bool, datetime64, category und ab pandas 3 str. Frühere pandas-Versionen verwendeten für Text oft object. Gewöhnliche Ganzzahldaten können bei fehlenden Werten zu float64 werden, weil NaN ein Gleitkomma-Fehlwertkennzeichen ist; Int64 mit Fehlwertunterstützung erlaubt Ganzzahlen mit fehlenden Werten.

Umwandlungen und Schlüssel prüfen

Eine numerisch aussehende Zeichenkette kann Trennzeichen, Einheiten oder Fehlwertcodes verbergen. Für eine Series mit „1,234“, „950“, „n/a“ und „1,010“:

parsed = pd.to_numeric(
    s.str.replace(",", ""), errors="coerce"
)

Die Werte werden zu 1234.0, 950.0, NaN und 1010.0. Vergleiche die Anzahl fehlender Werte vor und nach der Umwandlung und untersuche neu fehlende Einträge. Die Typumwandlung mit Fehlerersetzung wandelt auch einen nicht behandelten Wert wie „12 kg“ in NaN um. Eine erfolgreiche Ausführung allein zeigt daher nicht, dass die Umwandlung die Daten erhalten hat.

Lies Codes mit bedeutungsvollen führenden Nullen als Text ein, zum Beispiel mit pd.read_csv(path, dtype={"postal_code": "str"}). Eine verlorene Null später wiederherzustellen, setzt Wissen voraus, das die Ganzzahldarstellung verworfen hat.

Bestimme den erwarteten Zeilenschlüssel. df["order_id"].is_unique prüft einen Schlüssel aus einer Spalte; df.duplicated(subset=["store_id", "date"]).sum() prüft wiederholte Kombinationen aus Geschäft und Datum. Setze die Anzahl der Schlüssel zur Bedeutung der Zeilen in Beziehung. Eine Spalte mit nur einem Wert kann Unterschiede innerhalb dieses Datensatzes nicht erklären; Tausende vermeintliche Stadtkategorien können auf uneinheitliche Bezeichnungen hinweisen.

Ergänze während der Untersuchung ein Datenwörterbuch: Halte Bedeutung, Analysetyp, Einheit, zulässige Werte und bekannte Probleme jeder Spalte fest. Diese Einträge liefern die Regeln für die nächsten Qualitätsprüfungen.

Fehlende Werte verändern, welche Beobachtungen zu einem Ergebnis beitragen. Doppelte Datensätze können einzelnen Beobachtungen zusätzliches Gewicht geben. Quantifiziere beides, bevor du eine Behandlung wählst, und dokumentiere die Entscheidung sichtbar in der Analyse.

Fehlende Werte und ihre Muster quantifizieren

pandas verwendet NaN, NaT für fehlende Datums- und Zeitwerte und <NA> für Datentypen mit Fehlwertunterstützung. Zähle fehlende Werte und bringe sie in eine Rangfolge:

missing_count = df.isna().sum()
missing_share = df.isna().mean().sort_values(ascending=False)
rows_with_gaps = df.isna().any(axis=1).sum()

Das arithmetische Mittel boolescher Werte ergibt einen Anteil, weil True als 1 und False als 0 zählt. Bei 96 fehlenden Altersangaben unter 1.200 Zeilen beträgt der fehlende Anteil 8 %. Es kann viel mehr Zeilen mit irgendeiner Lücke geben als fehlende Einträge in einer Spalte; so viele Zeilen würden durch ein pauschales df.dropna() verloren gehen.

Manche Lücken verbergen sich hinter gewöhnlichen Werten. Das standardmäßige Einlesen von CSV-Dateien erkennt viele leere Felder und Fehlwertkennzeichen aus Text, aber Codes wie -999, „unknown“ und „?“ können erhalten bleiben. Untersuche Häufigkeiten und Extremwerte, prüfe das Datenwörterbuch und lege mit na_values zusätzliche Kennzeichen fest. Bei null ist Kontext nötig: Der Wert kann bedeuten, dass es keine Rückgaben gab, oder ein undokumentierter Platzhalter sein.

Prüfe, ob sich Lücken in einer Teilgruppe häufen:

age_gaps = df["customer_age"].isna()
age_gaps.groupby(df["city"]).mean()

Fehlen in einer Stadt 40 % der Altersangaben und in den anderen etwa 2 %, wird eine Analyse vollständiger Zeilen diese Stadt unterrepräsentieren. Die Begriffe MCAR, MAR und MNAR beschreiben unterschiedliche Mechanismen: Das Fehlen hängt weder von beobachteten noch von fehlenden Werten ab; es hängt nur von beobachteten Variablen ab; und es hängt vom fehlenden Wert selbst ab. Ein Beispiel für MNAR sind Befragte mit hohem Einkommen, die eine Frage zum Einkommen auslassen. Die EDA kann Zusammenhänge mit erfassten Variablen erkennen; um den vollständigen Mechanismus zu bestimmen, braucht man weitere Belege zur Erhebung.

Bezugsgröße nennen

Bei 6 Kartenzahlungen, 2 Barzahlungen und 2 Lücken meldet value_counts(normalize=True) 75 % Karte und 25 % Barzahlung unter den 8 erfassten Zahlungen. Mit dropna=False sind es 60 % Karte, 20 % Barzahlung und 20 % fehlende Werte unter allen 10 Zeilen. Keine der beiden Tabellen beantwortet die Frage der anderen. Benenne die Grundgesamtheit hinter jedem Anteil.

Vollständig doppelte Zeilen und doppelte Schlüssel untersuchen

df.duplicated().sum() zählt Kopien nach dem ersten Auftreten jeder vollständigen Zeile. Eine schlüsselbasierte Prüfung kann widersprüchliche Datensätze finden, die nicht identisch sind:

repeated = df["order_id"].duplicated(keep=False)
df.loc[repeated].sort_values("order_id")

Betrachte die IDs 101, 102, 102, 103, 104, 104 mit den Beträgen 20, 35, 35, 12, 50, 55. Es gibt 1 vollständig doppelte Zeile, 2 wiederholte Schlüsselvorkommen nach dem ersten und 4 Zeilen mit wiederholten Schlüsseln. Die beiden Datensätze zu 104 unterscheiden sich im Betrag. Eine Kopie ohne Untersuchung zu löschen, könnte den richtigen Wert verwerfen.

Halte für jedes Problem Anzahl, wahrscheinliche Ursache, Behandlung und betroffene Zeilen fest. Das Entfernen aller Lücken kann eine verzerrte Teilmenge entfernen; das Auffüllen mit dem arithmetischen Mittel verdeckt ihr Muster und verringert die sichtbare Streuung. Wähle eine zur Frage und zum Erhebungsprozess passende Behandlung und halte das ursprüngliche Ausmaß fehlender Werte messbar.

Ein Wert ist gültig, wenn er im zulässigen Wertebereich oder in der zulässigen Wertemenge seiner Spalte liegt. Datensätze sind konsistent, wenn ihre Werte über Spalten, Zeilen und Quellen hinweg übereinstimmen. Leite Prüfungen aus dem Datenwörterbuch und dem Wissen über den Prozess ab, der die Daten erzeugt hat.

Wertebereiche prüfen, ohne Lücken einzubeziehen

Beginne mit Minima und Maxima und prüfe dann ausdrückliche Schranken. So zählst du erfasste Altersangaben außerhalb von 0 bis 120:

invalid_age = df["age"].notna() & ~df["age"].between(0, 120)
invalid_age.sum()

between gibt für fehlende Werte False zurück. Eine alleinige Negation würde fehlende Altersangaben als ungültig zählen; die Prüfung auf vorhandene Werte trennt die Probleme. Andere Regeln können nichtnegative Mengen, Prozentangaben von höchstens 100 oder Extraktionsdaten verlangen, die nicht vor den enthaltenen Ereignissen liegen. Der zulässige Bereich ergibt sich aus der Bedeutung der Spalte.

Bezeichnungen und Spalten abgleichen

„Lyon“, „lyon“ und „ Lyon“ sind drei Zeichenketten, auch wenn sie dieselbe Stadt bezeichnen. Aus den Anzahlen 410, 22 und 5 werden nach einem begründeten Entfernen von Leerzeichen und einer Umwandlung in Kleinbuchstaben 437 für „lyon“:

city_clean = df["city"].str.strip().str.lower()

Vergleiche die Kategorieanzahlen vorher und nachher. Schreibvarianten und Synonyme benötigen eine ausdrückliche Zuordnung; die Änderung der Groß- und Kleinschreibung allein kann „UK“ und „United Kingdom“ nicht zusammenführen. Halte die verwendete Regel fest, damit ein erneuter Durchlauf dieselbe Entscheidung trifft.

Spaltenübergreifende Prüfungen suchen nach Widersprüchen. df.query("delivered_at < ordered_at") findet Lieferungen, deren Zeitstempel vor denen ihrer Bestellungen liegen. Andere Prüfungen fragen, ob sich Artikelbeträge zur Gesamtsumme addieren, das Alter zum Geburtsdatum passt oder eine stornierte Bestellung unerwartet eine Lieferzeit hat. Diese Regeln setzen über Spalten hinweg dieselben Einheiten, Zeitkonventionen und Definitionen voraus.

Änderungen von Skala und Abdeckung suchen

Gemischte Kilogramm- und Grammangaben können Häufungen erzeugen, deren Werte sich ungefähr um den Faktor 1.000 unterscheiden. Auch ein Anteil, der teils auf einer Skala von 0 bis 1 und teils auf einer Skala von 0 bis 100 erfasst wurde, erzeugt eine irreführende Verteilung. Prüfe vor dem Umrechnen die Quelle: Zwei Häufungen können auch zwei echte Grundgesamtheiten darstellen. Ein Diagramm zeigt, wo eine Untersuchung nötig ist; die Quelle klärt, welche Einheiten gelten.

Untersuche das früheste und das späteste Datum sowie die Anzahlen pro Monat. Ein fehlender Monat kann eine Lücke bei der Extraktion sein, während ein unvollständiger letzter Monat naturgemäß weniger Datensätze enthält. Ein plötzlicher Anstieg kann auf ein neues Erfassungssystem zurückgehen. Halte die tatsächlich vorhandene Abdeckung fest, bevor du ein zeitliches Muster berichtest.

Qualitätsprotokoll führen

Verwende eine kleine Tabelle mit Problem, Prüfung, Anzahl betroffener Zeilen, Beleg und Maßnahme. Eine negative Zeitdauer kann beispielsweise durch eine Regel für nichtnegative Zeiten markiert, anhand von Zeitstempeln untersucht und nur dann korrigiert werden, wenn die Quelle ihren wahren Wert belegt. Wichtige Erwartungen können zu Zusicherungen werden, die einen zukünftigen Durchlauf stoppen.

Eine Lieferung von 120 Minuten ist ungewöhnlich, aber möglich. Eine Zeitdauer von −5 Minuten ist nach derselben Definition der Zeitdauer unmöglich. Die erste muss als Ausreißer, die zweite als Fehler untersucht werden.

Eine numerische Verteilung beschreibt, welche Werte wie häufig vorkommen. Ihre Lage gibt einen typischen Bereich an, ihre Streuung zeigt die Schwankung und ihre Form verrät, was diese Kennwerte auslassen. Nutze neben den Zahlen ein Diagramm.

Zur Verteilung passende Kennwerte wählen

Das arithmetische Mittel ist die Summe geteilt durch die Anzahl. Der Median ist der mittlere sortierte Wert oder bei gerader Anzahl das arithmetische Mittel der beiden mittleren Werte. Die Spannweite ist das Maximum minus das Minimum. Der Interquartilsabstand, kurz IQR, ist Q3 minus Q1: der Abstand zwischen dem 75. und dem 25. Perzentil. Die Standardabweichung misst die Streuung um das arithmetische Mittel in den Einheiten der Variablen.

s.std() in pandas berechnet die Stichprobenstandardabweichung mit ddof=1 und dividiert die Summe der quadrierten Abweichungen durch die um eins verringerte Anzahl. np.std(a) in NumPy verwendet standardmäßig ddof=0 und dividiert durch die Anzahl. Das ist besonders bei kleinen Stichproben relevant; verwende daher beim Vergleich von Ergebnissen übereinstimmende Einstellungen.

Zusammenfassung vor der Interpretation lesen

s = df["minutes"]
s.describe(percentiles=[0.1, 0.5, 0.9])

Das Ergebnis enthält die Anzahl nicht fehlender Werte, das arithmetische Mittel, die Standardabweichung, das Minimum, die angeforderten Perzentile und das Maximum. Der Eintrag 50% ist der Median. Bei einem DataFrame berücksichtigt describe() standardmäßig numerische Spalten und Spalten mit Datums- und Zeitwerten; die Zusammenfassung der Letzteren enthält ihr arithmetisches Mittel und ihre Perzentile. describe(include="all") fasst auch andere Spalten zusammen. Textspalten und kategoriale Spalten erhalten count, unique, top und freq, wobei top ein häufigster Wert und freq dessen Anzahl ist. Schließe numerische Kennungen aus arithmetischen Zusammenfassungen aus.

Einen langen rechten Ausläufer untersuchen

Betrachte Lieferzeiten von 18, 22, 25, 25, 27, 29, 31, 34, 38, 41 und 95 Minuten. Ihre Summe beträgt 385 und ihre Anzahl 11, sodass das arithmetische Mittel 35,0 Minuten beträgt. Der sechste sortierte Wert ist 29 und ergibt den Median. pandas liefert Q1 = 25, Q3 = 36, IQR = 11 und eine Stichprobenstandardabweichung von etwa 21,02 Minuten.

Ohne die Lieferung mit 95 Minuten beträgt das arithmetische Mittel 29,0, der Median 28 und die Standardabweichung etwa 7,15. Ein Wert verschiebt das arithmetische Mittel um 6 Minuten und verdreifacht ungefähr die Standardabweichung; der Median verschiebt sich um 1 Minute. Deshalb sind Median und IQR nützliche robuste Kennwerte für Daten mit extremen Werten. Eine annähernd symmetrische Verteilung ohne Extremwerte wird oft gut durch ihr arithmetisches Mittel und ihre Standardabweichung beschrieben.

Ausläufer und nützliche Positionen beschreiben

Rechtsschiefe hat einen langen Ausläufer zu hohen Werten hin, Linksschiefe einen langen Ausläufer zu niedrigen Werten hin. Das arithmetische Mittel liegt gegenüber dem Median gewöhnlich zum langen Ausläufer hin, aber prüfe die Form, denn diese Faustregel hat Ausnahmen. s.skew() ist bei einem rechten Ausläufer positiv und bei einem linken negativ; für diese Lieferzeiten beträgt der Wert etwa 2,71.

s.quantile(0.9) liefert hier 41 Minuten, eine nützliche Beschreibung des oberen Teils der Verteilung. Eine der 11 Lieferungen überschreitet 45 Minuten, also etwa 9,1 %. Berechne bei Lücken Schwellenwertanteile anhand der erfassten Werte. Quartile kleiner Stichproben können sich zwischen Programmen unterscheiden: pandas verwendet standardmäßig lineare Interpolation. Halte das Verfahren fest, wenn genaue Quartile wichtig sind.

Ein Verteilungsdiagramm zeigt Ausläufer, Gipfel, Lücken und Schranken, die ein Lagemaß allein verbirgt. Jedes Diagramm betont andere Merkmale. Wähle es daher passend zur Frage und prüfe, wie Darstellungsentscheidungen das Bild beeinflussen.

Sinnvolle Histogrammklassen wählen

Ein Histogramm teilt eine numerische Skala in Intervalle und zählt die Beobachtungen in jedem Intervall. sns.histplot(data=df, x="minutes", binwidth=5) verwendet Klassen von fünf Minuten. seaborn wählt standardmäßig automatische Klassen; Histogramme von pandas und Matplotlib verwenden standardmäßig 10. Probiere mehrere sinnvolle Klasseneinstellungen. Eine sehr breite Klasse kann zwei Gipfel zusammenfassen, während sehr schmale Klassen zufällige Stichprobenschwankungen wie eine Struktur aussehen lassen können. Bei ganzzahligen Anzahlen zentriert discrete=True einen Balken auf jeder Ganzzahl.

Beschreibe die Form als symmetrisch, rechts- oder linksschief, gleichverteilt oder mit einem, zwei oder mehreren Gipfeln. Suche nach Lücken sowie oberen und unteren Schranken. Spitzen bei runden Werten wie 30 und 60 Minuten können eine Wertehäufung durch gerundete Selbstangaben widerspiegeln. Zwei Gipfel nahe 25 und 50 Minuten könnten auf Fahrrad- und Autolieferungen zurückgehen. Mit hue="vehicle" prüfst du, ob diese Gruppen die Aufteilung erklären.

Die wichtigsten Diagrammarten vergleichen

Eine Kerndichteschätzung, kurz KDE, glättet Beobachtungen zu einer Kurve. sns.kdeplot(data=df, x="minutes") kann hilfreich sein, aber die Bandbreite verändert ihre Form. Die Glättung kann Schranken verbergen oder unter null reichen, obwohl Zeitdauern nichtnegativ sind. Lies diese Ausdehnung als Merkmal der Schätzung und nicht als beobachtete negative Zeitdauern.

Ein Boxplot zeichnet den Median innerhalb einer Box von Q1 bis Q3. Die standardmäßigen Whisker reichen bis zu den äußersten beobachteten Werten, die noch innerhalb des 1,5-Fachen des IQR von der Box liegen; weiter entfernte Punkte erscheinen einzeln. Ein Whisker ist daher nicht unbedingt das Minimum oder Maximum und sein Ende ist ein beobachteter Wert, nicht die berechnete Ausreißergrenze.

Kumulative Anteile und multiplikative Skalen ablesen

sns.ecdfplot(data=df, x="minutes")

Eine empirische Verteilungsfunktion zeigt den Anteil, der kleiner oder gleich jedem Wert ist. Lies von einem Anteil wie 0,9 waagerecht ab, um ein Perzentil zu bestimmen. Sie vermeidet die Klassenwahl eines Histogramms und ist nützlich, um zu vergleichen, wie häufig Werte unter einem Schwellenwert bleiben.

Eine logarithmische Skala hilft bei positiven Daten mit großen Verhältnissen. Auf einer Skala zur Basis 10 liegen 10, 100 und 1.000 gleich weit auseinander, weil jeder Schritt mit 10 multipliziert. Gewöhnliche reelle Logarithmen setzen positive Werte voraus; np.log1p(x) berechnet den natürlichen Logarithmus von eins plus dem Wert und verarbeitet null in nichtnegativen Daten.

Normiere beim Vergleich unterschiedlich großer Gruppen innerhalb jeder Gruppe mit stat="percent", common_norm=False oder verwende Teilgrafiken mit gemeinsamen Achsen. Schließe mit einer Beschreibung in Zahlen, etwa: „Die Lieferzeiten sind rechtsschief verteilt. Der Median liegt bei 29 Minuten und die Hälfte der Bestellungen zwischen 25 und 36 Minuten; eine Bestellung dauerte 95 Minuten.“

Kategoriale Zusammenfassungen zählen Beobachtungen in benannten Gruppen. Ihre Bedeutung hängt von den Bezeichnungen, ihrer Reihenfolge und der Grundgesamtheit für jede Prozentangabe ab. Auch ein numerischer Kategoriecode benötigt eine kategoriale Zusammenfassung.

Eine Häufigkeitstabelle erstellen

s.value_counts() listet Kategorien von der häufigsten zur seltensten auf. Verwende normalize=True für Anteile und dropna=False, um eine Zeile für fehlende Werte einzuschließen. Für Text meldet describe() die Anzahl erfasster Werte, die Anzahl unterschiedlicher Werte, einen häufigsten Wert und dessen Anzahl.

Unter 200 Antworten auf eine Umfrage lauten 30 Bewertungen „niedrig“, 50 „mittel“ und 120 „hoch“. Dividiert man jede Anzahl durch 200, ergeben sich 15 %, 25 % und 60 %. Sind dies die 200 Personen, die eine Frage in einer größeren Umfrage beantwortet haben, beschreiben die Prozentangaben die Antwortenden auf diese Frage. Fehlende Antworten verändern die Bezugsgröße, wenn sie einbezogen werden.

Eine sinnvolle Reihenfolge beibehalten

Nominale Kategorien wie Städte haben keine inhärente Rangfolge; eine Sortierung nach Häufigkeit kann Vergleiche erleichtern. Ordinale Kategorien haben eine natürliche Reihenfolge, die sichtbar bleiben sollte:

order = ["low", "medium", "high"]
counts = s.value_counts().reindex(order, fill_value=0)

Geordnete kategoriale Daten speichern die Reihenfolge für Sortierung, Vergleiche und Diagramme. Ihr value_counts() sortiert weiterhin standardmäßig nach Häufigkeit; verwende sort=False oder ordne die Häufigkeiten ausdrücklich mit reindex neu. Ein nach Häufigkeit als „hoch“, „mittel“, „niedrig“ geordnetes Diagramm kann die Skala schwerer erkennbar machen.

Seltene Bezeichnungen und Lücken getrennt halten

Wenn viele Kategorien ein Diagramm unleserlich machen, behalte die häufigsten Bezeichnungen und fasse den Rest als „Other“ zusammen:

top = s.value_counts().nlargest(5).index
grouped = s.where(s.isna() | s.isin(top), "Other")

Durch s.isna() bleiben Lücken fehlend. Ohne diesen Teil würden fehlende Einträge ebenfalls zu „Other“ und fehlende Antworten mit echten seltenen Antworten vermischt. Gib an, wie viele Bezeichnungen und Beobachtungen zusammengefasst wurden. Prüfe, ob eine für die Frage wichtige seltene Kategorie in der zusammengefassten Gruppe verschwunden ist.

Waagerechte Balkendiagramme eignen sich für lange Beschriftungen. Zum Beispiel sortiert sns.countplot(data=df, y="city", order=df["city"].value_counts().index) die Anzahlen nach Stadt. Beginne die Anzahlachse bei null, weil die Balkenlänge die Anzahl der Beobachtungen darstellt. Ein Kreisdiagramm wird bei vielen Segmenten schwer vergleichbar.

Numerische Bereiche in beschriftete Kategorien umwandeln

bands = pd.cut(
    df["minutes"], bins=[0, 30, 45, np.inf],
    labels=["up to 30", "over 30 to 45", "over 45"],
    include_lowest=True
)

Die standardmäßig rechts abgeschlossenen Intervalle ordnen 30 dem ersten und 45 dem zweiten Bereich zu. include_lowest=True schließt auch 0 in den ersten Bereich ein. Werte außerhalb dieser Bereiche werden im klassierten Ergebnis fehlend; prüfe daher negative Zeitdauern auf Gültigkeit, bevor du die Anzahl fehlender Werte interpretierst. Halte die Grenzen fest, denn eine Bezeichnung wie „30–45“ allein lässt offen, wie 30 behandelt wird.

Ordne bei nominalen Codes 1 und 2 vor der Darstellung ihre Regionsbezeichnungen zu. Ein arithmetisches Mittel der Regionscodes würde ihre willkürliche Nummerierung beschreiben und nicht die Verteilung der Regionen.

Ein Ausreißer liegt nach einer festgelegten Regel und im jeweiligen Kontext weit vom Großteil der Daten entfernt. Er kann ein Erfassungsfehler, ein echtes seltenes Ereignis oder Teil einer eigenen Gruppe sein. Eine Markierung ist der Beginn einer Untersuchung.

IQR-Ausreißergrenzen berechnen

Die IQR-Regel markiert Werte unterhalb oder oberhalb dieser Grenzen als Ausreißer:

Für die Lieferzeiten 18, 22, 25, 25, 27, 29, 31, 34, 38, 41 und 95 beträgt Q1 25 und Q3 36. Der IQR beträgt 11, sodass die untere Ausreißergrenze bei 8,5 und die obere bei 52,5 liegt. Die Bestellung mit 95 Minuten wird als Ausreißer markiert.

q1, q3 = s.quantile([0.25, 0.75])
iqr = q3 - q1
flag = (s < q1 - 1.5 * iqr) | (s > q3 + 1.5 * iqr)

Diese Ausreißergrenzen liegen standardmäßig den Ausreißerpunkten im Boxplot zugrunde. Ein Wert genau auf einer Ausreißergrenze liegt innerhalb der Grenzen. Bei einem langen rechten Ausläufer kann die Regel viele echte hohe Werte als Ausreißer markieren.

Maskierungseffekt und robuste Kennwerte verstehen

Ein z-Wert misst den Abstand vom arithmetischen Mittel in Einheiten der Standardabweichung:

Eine verbreitete Regel markiert Werte mit einem absoluten z-Wert größer als 3. Hier beträgt das arithmetische Mittel 35 und die Stichprobenstandardabweichung etwa 21,02, sodass 95 einen z-Wert von etwa 2,85 ergibt. Der extreme Wert hat gerade das Lagemaß und das Streuungsmaß erhöht, mit denen er beurteilt wird. Dieser Maskierungseffekt kann dazu führen, dass die Regel einen ungewöhnlichen Wert übersieht. Die Regel passt außerdem besser zu annähernd symmetrischen als zu schiefen Verteilungen.

Die mediane absolute Abweichung, kurz MAD, ist der Median der absoluten Abstände vom Median. Sie beruht auf robusten Größen. Ein modifizierter z-Wert lautet:

Hier beträgt der Median 29 und die MAD 5. Für 95 Minuten beträgt der modifizierte Wert etwa 8,90 und überschreitet den verbreiteten absoluten Schwellenwert von 3,5. Ist die MAD null, ist diese Division nicht definiert; untersuche die wiederholten Werte und verwende eine andere begründete Prüfung, statt einen unendlichen Wert als gemessenes Ergebnis zu berichten.

Vor Änderungen an den Daten untersuchen

Fachliche Regeln gehen vor. Eine negative verstrichene Zeitdauer ist nach dieser Definition unabhängig von ihrem statistischen Kennwert ein Fehler. Untersuche bei einem möglichen Extremwert die vollständige Zeile, ihre Zeitstempel, Entfernung, Gruppe und Quelle. Ein Sturm oder eine lange Strecke kann eine langsame Lieferung erklären.

Der Vergleich der Ergebnisse mit und ohne die Beobachtung ist eine Sensitivitätsanalyse. Die Begrenzung von Extremwerten auf ein ausgewähltes Perzentil, Winsorisierung genannt, ist eine weitere bewusste Transformation; berichte die Grenze und dass Werte verändert wurden. Untersuche auch ungewöhnliche Kombinationen: Zwei einzeln plausible Messwerte können einen seltenen Punkt in einem Streudiagramm bilden.

Ein Streudiagramm setzt für jede Beobachtung einen Punkt an das zugehörige Paar numerischer Werte. Trage eine mögliche erklärende Variable auf der waagerechten Achse und die Zielvariable auf der senkrechten Achse auf. Das Diagramm hilft dir, die Form eines Zusammenhangs zu erkennen, bevor du ihn in einem Koeffizienten zusammenfasst.

Vier Merkmale beschreiben

Verwende Richtung, Form, Stärke und ungewöhnliche Punkte. Eine positive Richtung bedeutet, dass die Zielvariable mit steigender waagerechter Variable tendenziell steigt; eine negative, dass sie tendenziell fällt. Die Form kann geradlinig, gekrümmt oder in Häufungen aufgeteilt sein. Die Stärke beschreibt, wie eng die Punkte dieser Form folgen; sie kann auch bei einer gekrümmten Form stark sein.

Bei Temperaturen von 8, 12, 15, 18, 21, 24, 27 und 30 °C beträgt die tägliche Anzahl der Fahrradverleihungen 310, 420, 515, 600, 690, 760, 800 und 780. Der Zusammenhang ist insgesamt stark und positiv. Bis etwa 27 °C ist er nahezu linear, danach flacht er ab und fällt leicht. Ihn nur als „positiv“ zu beschreiben, übersieht die Veränderung bei hohen Temperaturen.

sns.scatterplot(data=df, x="temp_c", y="rentals")

Dicht besetzte Diagramme lesbar machen

Bei vielen Zeilen verdecken sich Punkte gegenseitig: Die Überlagerung von Datenpunkten verbirgt, wo sich Beobachtungen häufen. Kleinere Marker und alpha=0.2 machen durch Transparenz einen Teil der Dichte sichtbar. Ein Hexbin-Diagramm fasst Beobachtungen in Sechsecken zusammen:

df.plot.hexbin(x="distance_km", y="minutes", gridsize=30)

Ein zweidimensionales sns.histplot bietet eine ähnliche Ansicht mit rechteckigen Klassen. Eine Zufallsstichprobe kann die Darstellung übersichtlicher machen; lege ihren Startwert fest, damit erneute Durchläufe dieselbe Teilmenge zeigen. Wenn eine Achse nur wenige Werte annimmt, verteilt Jitter übereinanderliegende Punkte für eine bessere Sichtbarkeit. Jitter verschiebt Punkte in der Darstellung und bedeutet keine zusätzliche Messgenauigkeit.

Gruppen ergänzen und eine angepasste Linie prüfen

Verwende hue="season" für Farbe oder sns.relplot(..., col="season") für getrennte Teilgrafiken. Eine zusammengefasste Punktwolke kann unterschiedliche saisonale Häufungen enthalten. Die Markergröße kann eine weitere Größe darstellen, wenn ihre Bedeutung klar bleibt.

sns.regplot(data=df, x="temp_c", y="rentals") ergänzt eine Gerade nach der Methode der kleinsten Quadrate und ein schattiertes Unsicherheitsband. Eine Linie unterstützt die visuelle Beurteilung, kann aber eine Krümmung übersehen. lowess=True zeichnet eine glatte Kurve, wenn die benötigte Bibliothek statsmodels installiert ist. Untersuche die Beobachtungen, bevor du eine der beiden Darstellungen wählst.

Für eine kleine Auswahl von Variablen zeichnet ein Pairplot ihre paarweisen Streudiagramme und einzelnen Verteilungen. Verwende zum Beispiel Schnabellänge in mm, Flossenlänge in mm, Körpermasse in g und die Art als Farbgruppe. Etwa drei bis sechs numerische Variablen bleiben lesbar; bei vielen weiteren entsteht eine Wand kleiner Teilgrafiken.

Verdichtung und gemeinsame Zeittrends untersuchen

Logarithmische Achsen können positive Werte mit großen Verhältnissen auseinanderziehen, etwa Bevölkerungszahl und gesamten Energieverbrauch. Halte die Skala in den Beschriftungen sichtbar. Wenn ein extremer Punkt einen riesigen Achsenbereich bestimmt, untersuche ihn und ergänze eine klar beschriftete Ansicht des Großteils, damit das übrige Muster sichtbar wird.

Zwei Variablen können auch deshalb ein Muster bilden, weil beide im Zeitverlauf wachsen. Färbe Punkte nach Datum oder stelle jede Zeitreihe gegen die Zeit dar. Diese Prüfung kann zeigen, ob der scheinbare Zusammenhang überwiegend ein gemeinsamer Trend ist.

Ein Korrelationskoeffizient fasst einen Aspekt eines Zusammenhangs zusammen. Wähle den Koeffizienten passend zum Zusammenhang, den du beschreiben möchtest, und betrachte ihn zusammen mit einem Diagramm und der Anzahl nutzbarer Beobachtungen.

Pearson misst einen geradlinigen Zusammenhang

Der Pearson-Koeffizient ist die Summe der Produkte zentrierter Werte geteilt durch das Produkt der zentrierten Längen:

Sein Wertebereich reicht von −1 bis 1. Das Vorzeichen gibt die Richtung und der Betrag die Stärke des linearen Zusammenhangs an. Perfekte positive oder negative Werte bedeuten, dass alle nutzbaren Punkte auf einer Geraden liegen und beide Variablen variieren. Der Koeffizient hat keine Einheit, bleibt beim Vertauschen der Achsen gleich und ändert sich bei einer positiven Umrechnung zwischen Maßeinheiten nicht.

Ein Koeffizient nahe null bedeutet einen geringen linearen Zusammenhang. Für die Eingaben −3, −2, −1, 0, 1, 2, 3 und Ausgaben, die ihren Quadraten entsprechen, ist die Pearson-Korrelation trotz eines perfekten U-förmigen Zusammenhangs genau null. Korrelation unterscheidet sich auch von Steigung: Eine flache Gerade kann eine hohe Korrelation haben.

Rangverfahren beschreiben die Anordnung

Die Spearman-Rangkorrelation berechnet die Pearson-Korrelation der Ränge und beschreibt einen monotonen Zusammenhang: Werte bewegen sich tendenziell durchgehend nach oben oder unten, auch entlang einer Kurve. Kendalls Tau vergleicht konkordante Beobachtungspaare, die bei beiden Variablen gleich angeordnet sind, mit diskordanten Paaren, die entgegengesetzt angeordnet sind. Rangverfahren reagieren weniger empfindlich auf extreme Größenordnungen als Pearson.

Für das Beispiel mit Temperatur und Verleihungen beträgt Pearson 0,974, Spearman 0,976 und Kendall 0,929. Das Streudiagramm zeigt dennoch das Abflachen oberhalb von etwa 27 °C. Ein hoher Koeffizient kann mit einer bedeutsamen Krümmung einhergehen.

Eine Matrix sorgfältig berechnen

cols = ["temp_c", "rentals", "distance_km"]
corr = df[cols].corr(method="spearman")
sns.heatmap(corr, annot=True, fmt=".2f",
            vmin=-1, vmax=1, center=0, cmap="vlag")

Bei einem DataFrame mit gemischten Typen wählt df.corr(numeric_only=True) numerische Spalten aus; schließe außerdem Kennungen und Kategoriecodes aus, die keinen sinnvollen numerischen Zusammenhang haben. Fehlende Werte werden paarweise ausgeschlossen, sodass Matrixzellen unterschiedliche Teilmengen beschreiben können. Prüfe die nutzbare Anzahl für jedes Paar. Die Matrix ist symmetrisch. Die Korrelation einer Spalte mit sich selbst ist 1, sofern sie definiert ist; eine konstante Spalte hat eine nicht definierte Korrelation und fehlende Werte in der zugehörigen Zeile, Spalte und auf der Diagonale.

Empfindlichkeit gegenüber der Anordnung der Daten prüfen

Für Eingaben von 1 bis 10 und Ausgaben von 3, 1, 4, 2, 5, 3, 4, 2, 5, 3 beträgt Pearson etwa 0,307. Der zusätzliche einzelne Punkt (30|30) erhöht den Wert auf 0,938; Spearman wird etwa 0,462. Ein Punkt kann Pearson dominieren, während der Großteil weiterhin ein schwaches Muster zeigt.

Anscombes Quartett macht dieselbe Lehre sichtbar: Vier Datensätze haben ein arithmetisches Mittel der Eingaben von 9, ein arithmetisches Mittel der Ausgaben von 7,50, eine Varianz der Eingaben von 11, eine Korrelation nahe 0,816 und die angepasste Gerade $y=\mathrm{3,00}+\mathrm{0,500}x$ gemeinsam. Ihre Diagramme zeigen dennoch eine Punktwolke, eine Kurve und unterschiedliche einflussreiche Punkte. Gib Wert und Anzahl zusammen mit jeder verbalen Stärkebezeichnung an; Fachgebiete haben unterschiedliche Konventionen für Bezeichnungen wie „stark“.

Ein Zusammenhang beschreibt, wie Variablen in den beobachteten Daten gemeinsam auftreten. Seine Ursache braucht eine separate Erklärung. Mögliche Quellen sind eine kausale Wirkung, umgekehrte Kausalität, eine dritte Variable, Selektion und Zufall.

Frag, was den Zusammenhang erklären könnte

Eine konfundierende Variable beeinflusst beide Variablen und erzeugt oder verzerrt ihren Zusammenhang. Heißes Wetter erhöht Eisverkäufe und Badeunfälle. Weniger Eisverkäufe würden das wetterbedingte Risiko bestehen lassen. Eine Mediatorvariable ist anders: Sie liegt auf dem kausalen Weg zwischen den Variablen.

Umgekehrte Kausalität kehrt die vorgeschlagene Richtung um. Kunden, die häufiger Hilfeseiten besuchen, haben möglicherweise mehr fehlgeschlagene Bestellungen, weil Fehlschläge sie auf diese Seiten führen. Der beobachtete Zusammenhang gibt keinen Anlass zu erwarten, dass weniger Bestellungen fehlschlagen, wenn Hilfeseiten verborgen werden.

Untergruppenmuster vom zusammengefassten Ergebnis trennen

Das Simpson-Paradoxon tritt auf, wenn der zusammengefasste Vergleich die Richtung umkehrt, die in jeder Untergruppe zu sehen ist. Die Daten zu Nierensteinbehandlungen aus einer Studie von 1986 veranschaulichen die Rechnung:

A hat in beiden Steingrößengruppen den höheren Erfolgsanteil. B hat den höheren zusammengefassten Anteil, weil A überwiegend bei den schwierigeren Fällen mit großen Steinen eingesetzt wurde. Zusammengefasste Raten gewichten Untergruppenraten nach ihren Anzahlen. Untersuche die Zusammensetzung und vergleiche sinnvolle Untergruppen, bevor du ein zusammengefasstes Ergebnis interpretierst.

Zeit, Auswahl und Aggregation prüfen

Zwei nicht zusammenhängende Zeitreihen können beide über die Jahre steigen und stark korreliert erscheinen. Stelle sie im Zeitverlauf dar und untersuche Änderungen von Periode zu Periode oder Zusammenhänge innerhalb von Perioden. Der Zusammenhang zwischen den Niveaus kann überwiegend ihren gemeinsamen Zeittrend widerspiegeln.

Auch ein ausgewählter Wertebereich verändert, was sichtbar ist. Unter Studierenden, die aufgrund hoher Aufnahmeergebnisse ausgewählt wurden, ist der Ergebnisbereich eng und die Korrelation zwischen Ergebnis und Note kann viel schwächer sein als unter allen Bewerbern. Beschreibe die ausgewählte Grundgesamtheit; ihr Koeffizient beantwortet eine andere Frage als der Koeffizient für alle Bewerber.

Eine Korrelation zwischen Städtedurchschnitten bezieht sich auf Städte. Sie auf einzelne Einwohner zu übertragen, ist der ökologische Fehlschluss. Aggregation kann einen Zusammenhang verstärken, abschwächen oder umkehren, weil das Muster innerhalb der Gruppen und die Zusammensetzung zwischen Gruppen nicht übereinstimmen müssen.

Eine breite Suche als Quelle für Hypothesen behandeln

Bei 20 numerischen Variablen gibt es 190 unterschiedliche Paare. Die Suche in diesen Paaren und vielen Teilgruppen bietet Zufallsmustern viele Gelegenheiten aufzutreten. Berichte, wie breit du gesucht hast, und benenne ein überraschendes Muster als Hypothese für neue Daten oder eine geplante konfirmatorische Analyse.

Formuliere mit Bezug auf die Beobachtungen: „Bei Regen aufgegebene Bestellungen waren in diesem Zeitraum mit längeren Lieferzeiten verbunden.“ Diese Aussage hält einen Zusammenhang fest. Die Behauptung, Regen habe den Unterschied verursacht, bräuchte zusätzlich Belege, die konkurrierende Erklärungen ausschließen, etwa eine andere Zusammensetzung der Strecken oder Zeiten.

Eine Teilgruppe ist ein durch eine Kategorie, einen numerischen Bereich oder einen Zeitraum definierter Ausschnitt. Ein nützlicher Vergleich zeigt, wie sich die vollständige Verteilung unterscheidet, und macht sichtbar, wie viele Daten jedem Kennwert zugrunde liegen.

Gruppengrößen neben Kennwerte setzen

by_city = df.groupby("city")["minutes"].agg(
    ["count", "mean", "median", "std"]
)

Die Anzahl ist hier die Anzahl erfasster Zeitdauern. Fehlen einige Zeitdauern, gib auch die Anzahl der Bestellungen und den fehlenden Anteil an, damit die Grundlage der Tabelle klar ist. Benannte Aggregationen können Spalten nützliche Bezeichnungen geben, etwa orders=("order_id", "count") und median_min=("minutes", "median").

Betrachte diese Lieferzeiten:

Tartu hat den höchsten Durchschnitt, aber nur zwei Beobachtungen. Eine lange Lieferung dominiert das Ergebnis. Kleine Gruppen erscheinen oft an beiden Enden einer Rangfolge, weil ihre Kennwerte durch einzelne Beobachtungen stärker schwanken. Lege vor der Rangvergabe eine Mindestanzahl fest und halte kleine Gruppen als unvollständige Beleglage sichtbar.

Eine Darstellung für die Verteilung wählen

Ein Boxplot auf einer gemeinsamen numerischen Achse vergleicht Mediane, die mittleren Hälften und markierte Extremwerte. Ein Violinplot ergänzt die geschätzte Form. Bei kleinen Gruppen zeigen Streifen- oder Schwarmdiagramme jede Beobachtung und machen den Stichprobenumfang leichter erkennbar.

Verwende für Histogramme Teilgrafiken mit denselben Achsen oder normierte Überlagerungen wie stat="density", common_norm=False. Überlagerte Diagramme absoluter Häufigkeiten zeigen hauptsächlich, welche Gruppe mehr Datensätze enthält. Eine Überlagerung von Dichten erlaubt den Vergleich der Form jeder Gruppe auf derselben Grundlage.

Zwei Gruppen mit demselben arithmetischen Mittel können sehr unterschiedliche Ausläufer haben. Eine Stadt mit überwiegend schnellen und wenigen sehr langen Lieferungen kann dasselbe arithmetische Mittel haben wie eine Stadt mit durchweg mäßigen Zeiten. Vergleiche neben dem Lagemaß auch Streuung, Perzentile und den relevanten Anteil oberhalb eines Schwellenwerts.

Den Bezugswert eines Unterschieds nennen

Der Unterschied der arithmetischen Mittel von Tartu und Lyon in dieser Stichprobe beträgt 8 Minuten. Relativ zu Lyon sind es etwa 27,6 %:

Der Bezugswert sind die 29 Minuten von Lyon. Ein Wechsel des Bezugswerts verändert den relativen Prozentsatz, obwohl der absolute Abstand 8 Minuten bleibt. Gib bei dieser deskriptiven Berechnung die geringen Gruppengrößen an; die Rechnung allein kann keinen stabilen Unterschied zwischen den Städten belegen.

Zusammensetzung innerhalb von Gruppen prüfen

df.groupby(["city", "vehicle"])["minutes"].median().unstack()

Diese Tabelle nach Stadt und Fahrzeug kann zeigen, ob ein Unterschied zwischen Städten aus der Zusammensetzung der Fahrzeuge entsteht. Eine Pivot-Tabelle mit derselben Gruppierung und demselben Median ergibt denselben Vergleich. Untersuche auch die Anzahlen für diese kleineren Zellen: Die Aufteilung einer Gruppe kann die Beleglage dünner machen, auch wenn sie das Muster verdeutlicht.

Anzahlen beantworten, wie viele Ereignisse aufgetreten sind. Raten beantworten, wie häufig Ereignisse im Verhältnis zu den Gelegenheiten aufgetreten sind. Wenn Gruppen unterschiedlich groß sind, kann die Wahl der Bezugsgröße den sichtbaren Vergleich verändern.

Eine Kreuztabelle in der beabsichtigten Richtung lesen

Eine Kreuztabelle zählt Kombinationen zweier Kategorien:

pd.crosstab(df["region"], df["channel"], margins=True)

Im Norden gibt es 30 App-Bestellungen und 20 Webbestellungen; im Süden 60 App-Bestellungen und 90 Webbestellungen. Der Süden hat mehr App-Bestellungen, aber seine größere Gesamtzahl an Bestellungen verändert den Vergleich der Anteile.

normalize="index" dividiert durch die Zeilensummen; normalize="columns" dividiert durch die Spaltensummen. normalize="all" verwendet die Gesamtsumme. Lies die Frage laut vor, bevor du die Normierung wählst. Bei Zeilennormierung ergibt jede Zeile die Summe 1, bei Spaltennormierung jede Spalte.

Unbekannte Ergebnisse erhalten

Das arithmetische Mittel boolescher Werte ergibt den Anteil der True-Werte. Für eine Kennzeichnung verspäteter Lieferungen müssen fehlende Zeiten besonders behandelt werden:

df["late"] = df["minutes"].astype("Float64") > 45
rates = df.groupby("city")["late"].mean()
known = df.groupby("city")["late"].count()

Float64 mit Fehlwertunterstützung erhält fehlende Zeiten als fehlende Kennzeichnungen. Das gruppierte arithmetische Mittel schätzt dann den verspäteten Anteil unter den erfassten Zeiten. Bei gewöhnlichen Gleitkommazahlen ist NaN > 45 False. Dadurch würden unbekannte Zeiten als pünktlich gezählt und die Rate würde sinken. Nenne die Anzahl bekannter Ergebnisse als Bezugsgröße und berichte neben der Rate auch die fehlenden Werte.

Zwei Arten prozentualer Änderung unterscheiden

Eine Verspätungsrate, die von 4 % auf 5 % steigt, steigt um 1 Prozentpunkt. Der relative Anstieg verwendet die ursprüngliche Rate als Bezugswert:

Schreibe „stieg um 1 Prozentpunkt, ein relativer Anstieg von 25 %“. Die alleinige Aussage „stieg um 1 %“ lässt die Bedeutung offen. Zeige bei einer Rate aus einer kleinen Zelle auch ihre Anzahl: 1 verspätete Bestellung von 2 ergibt 50 %, aber eine einzige zusätzliche pünktliche Bestellung verändert den Anteil auf ein Drittel.

Ergebnisanteile mit der Gruppengröße vergleichen

Entfallen 25 % aller Bestellungen, aber 40 % der Beschwerden auf den Norden, ist er unter den Beschwerden überrepräsentiert. Dabei wird sein Anteil an den Beschwerden mit seinem Anteil an den Bestellungen verglichen. Das ist eine andere Frage als die nach der Beschwerderate innerhalb des Nordens, für die die Anzahl seiner Beschwerden durch die Anzahl seiner Bestellungen geteilt werden muss.

Verwende gruppierte Balken, auf 100 % gestapelte Balken oder eine beschriftete Heatmap, um Anteile zu zeigen. Eine zeilennormierte Tabelle nach Region und Kanal als gestapeltes Balkendiagramm vergleicht die Kanalzusammensetzung innerhalb der Regionen. Nenne die Bezugsgröße im Titel oder in der Achsenbeschriftung, damit Leser diese Zusammensetzung von der regionalen Zusammensetzung jedes Kanals unterscheiden können.

Periodensummen hängen sowohl von der Aktivität als auch von der abgedeckten Zeit ab. Prüfe Periodengrenzen, fehlende Datumswerte und das normale saisonale Muster, bevor du einen Anstieg oder Rückgang beschreibst. Vergleiche Teilgruppen anhand eines Maßes, das zu ihrer Größe passt.

Nach Kalenderperiode aggregieren

Mit eingelesenen Bestellzeitstempeln lassen sich monatliche Anzahlen wie folgt erstellen:

monthly = (
    df.set_index("order_date")
      .resample("MS")["order_id"].count()
)

"MS" bezeichnet jeden Kalendermonat mit seinem ersten Tag. Verwende im aktuellen pandas "ME" für Monatsendbezeichnungen. Kombiniere für eine monatliche Stadttabelle pd.Grouper(key="order_date", freq="MS") mit der Gruppierung nach Stadt und verwende .size().unstack(). Die Methode zählt Zeilen; kläre daher zuerst, ob eine Zeile für eine Bestellung steht.

Beobachtungszeit vor dem Vergleich von Summen prüfen

Angenommen, vom 1. August bis einschließlich 12. Oktober gibt es täglich 100 Bestellungen. Die Monatssummen betragen 3.100 im August, 3.000 im September und 1.200 im erfassten Teil des Oktobers. Die Oktobersumme sieht viel niedriger aus, obwohl die Aktivität an jedem beobachteten Tag gleich ist.

Dividiere jede Summe durch ihre beobachteten Tage: 31, 30 und 12. Alle drei Tagesdurchschnitte betragen 100. Vergleiche solche Raten oder lasse unvollständige Perioden weg. Die Bezugsgröße muss die tatsächliche Abdeckung darstellen: Ein nicht erfasster Tag kann nicht ohne Weiteres als Tag ohne Aktivität gelten.

Auch vollständige Monate sind unterschiedlich lang. Sie können außerdem unterschiedlich viele geschäftige Wochentage enthalten. Ist die Aktivität samstags hoch, vergleiche entsprechende Wochentage oder Raten, die die Zusammensetzung nach Wochentagen berücksichtigen, bevor du einen monatlichen Unterschied interpretierst.

Einen Zyklus von einer dauerhaften Veränderung unterscheiden

Saisonalität ist ein wiederkehrendes Muster, etwa ein wöchentlicher oder jährlicher Zyklus. daily.rolling(7).mean() glättet ein Fenster von sieben Tagen in einer regelmäßig erfassten täglichen Zeitreihe. Dadurch tritt ein wöchentlicher Zyklus weniger hervor, während langsamere Veränderungen erhalten bleiben. Vergleiche Dezember mit dem vorherigen Dezember, wenn die Frage eine Veränderung gegenüber dem Vorjahr bei saisonaler Aktivität betrifft.

Einige wenige ungewöhnlich hohe Tageswerte können in einem kurzen Fenster wie ein Trend aussehen. Zeige einen ausreichend langen Verlauf, um den normalen Schwankungsbereich zu verstehen, und behalte ungeglättete Werte bei, wenn sie ein wichtiges Ereignis erklären helfen.

Lücken prüfen und Verläufe von Teilgruppen vergleichen

Eine durch Resampling ermittelte Anzahl von null kann bedeuten, dass keine Ereignisse erfasst wurden oder die Erfassung ausgefallen ist. Eine plötzliche Niveauänderung kann auf eine neue App-Version oder eine geänderte Definition zurückgehen. Bestätige Abdeckung und Erfassungsgeschichte anhand der Datenquelle, bevor du diese Punkte als Verhaltensänderungen behandelst.

Stelle jede Teilgruppe als Linie auf gemeinsamen Achsen dar, mit Einheiten und einer einheitlichen Farbe pro Gruppe. Große Gruppen können Diagramme absoluter Häufigkeiten dominieren. Anteile, Raten oder ein Index relativ zum Anfangswert jeder Gruppe können Veränderungen kleinerer Gruppen sichtbar machen; beschrifte, welches Maß gezeigt wird.

Eine Kohorte gruppiert Kunden nach ihrem Beginn. Verfolgst du Personen mit Beginn im März und im April nach der seit ihrer ersten Bestellung vergangenen Zeit, kannst du Änderungen innerhalb der Kundenverläufe von Änderungen in der Zusammensetzung der gesamten Kundschaft unterscheiden.

Ein nützlicher Befund verbindet eine Frage mit einem Beleg. Er gibt die Größenordnung eines Musters, die beschriebene Grundgesamtheit und den Zeitraum sowie die Einschränkungen an, die seine Interpretation beeinflussen. Baue den Bericht um Fragen herum auf statt nach der Reihenfolge, in der Diagramme erstellt wurden.

Einen Befund belegen

Zum Beispiel: „Von Januar bis September 2026 betrug die mediane Lieferzeit 29 Minuten; 8 % der 48.200 Bestellungen dauerten länger als 45 Minuten. Der verspätete Anteil war an Freitag- und Samstagabenden am höchsten: 14 % gegenüber 6 % an anderen Abenden.“

Diese Aussage nennt Zeitraum, Lagemaß, Schwellenwert, Bezugsgröße und Vergleich. Verwende eine für die Entscheidung ausreichende Genauigkeit. „29 Minuten“ lässt sich leichter nutzen als „29,4545 Minuten“, wenn die zusätzlichen Ziffern keine praktische Information liefern. Bei einer schief verteilten Zeitdauer erklären ein Median und ein oberes Perzentil das Erleben oft besser als ein arithmetisches Mittel allein.

Geschehen, Ursache und Handlung unterscheiden

Eine Handlungsempfehlung hängt von Annahmen über die Ursache und die Wirkung der Maßnahme ab. Halte diese Annahmen sichtbar und nenne die nötigen weiteren Belege. Eine Beobachtung kann nützlich sein, auch wenn ihre Erklärung eine Hypothese bleibt.

Mit einem Diagramm einen Befund erklären

Wähle die wenigen Diagramme aus, die die Fragen beantworten, sowie wichtige Überraschungen. Bewahre andere nützliche explorative Ansichten in einem Anhang oder Notebook auf. Gib einem Berichtsdiagramm einen Titel, der seinen Befund nennt, etwa „Verspätete Lieferungen sind an Freitag- und Samstagabenden am häufigsten“. Beschrifte Achsen mit Einheiten, sortiere Kategorien, wo es passt, und halte die Farbe jeder Teilgruppe über Diagramme hinweg einheitlich. Nenne Datenquelle und Zeitraum.

Berichte auch widersprechende Belege. Wenn ein zusammengefasstes Diagramm eine Verbesserung nahelegt, sich aber eine große Teilgruppe verschlechtert hat, ist das Ergebnis dieser Teilgruppe für die Interpretation wichtig. Nur Diagramme auszuwählen, die zu einer erwarteten Darstellung passen, würde Informationen verbergen, die Leser benötigen.

Einen knappen Bericht strukturieren

Eine klare Reihenfolge ist: Frage und Kontext; Datenquelle, Zeitraum, Zeilenanzahl und Bedeutung der Zeilen; Qualitätsprobleme und Bereinigungsentscheidungen; drei bis fünf zentrale Befunde mit Belegen; Einschränkungen; nächste Schritte. Jeder Befund sollte eine Frage beantworten oder eine wichtige Überraschung erklären.

Einschränkungen benennen, was die Daten abdecken, was ausgeschlossen wurde und warum, wie viel fehlt und dass die Muster Zusammenhänge beschreiben. Lege zum Beispiel offen, dass 37 stornierte Bestellungen aus einem Vergleich abgeschlossener Lieferungen entfernt wurden. Nächste Schritte können sein, eine Hypothese an neuen Daten zu prüfen, eine fehlende Variable zu erheben, ein Problem im Quellsystem zu beheben oder eine Frage für eine spätere Modellierung zu untersuchen.

Eine bereitgestellte Analyse braucht sowohl lesbare Ergebnisse als auch einen Zugang zu Code und Eingaben, die sie erzeugt haben. Bereite ein endgültiges Notebook vor, dessen Reihenfolge, Ausgaben und ergänzende Dateien übereinstimmen.

Das endgültige Notebook bereinigen und ausführen

Entferne ungenutzte und doppelte Zellen, halte Abhängigkeiten in Ausführungsreihenfolge und ergänze zwischen Codeabschnitten Markdown, das Entscheidungen erklärt. Bewahre die stärker experimentelle Arbeit separat auf, wenn sie nützlich ist. Starte vor jedem Export den Kernel neu und führe alle Zellen aus. Untersuche sowohl Fehler als auch geänderte Ausgaben: Ein erfolgreicher Durchlauf kann dennoch zeigen, dass eine früher geschriebene Zahl veraltet ist.

Erzeuge berichtete Zahlen aus dem Code:

s = df["minutes"]
print(f"Median delivery time: {s.median():.0f} minutes")

Eine von Hand in einen Absatz eingetragene Zahl kann nach der Aktualisierung der Daten unverändert bleiben. Halte die angezeigte Aussage mit der Berechnung verbunden, damit der nächste Durchlauf sie aktualisiert.

Berichte, Abbildungen und Tabellen exportieren

Ein HTML-Export lässt sich ohne Python-Umgebung in einem Browser lesen:

jupyter nbconvert --to html --execute report.ipynb

Die Option zum Ausführen startet das Notebook vor der Umwandlung. Prüfe sowohl den entstandenen Bericht als auch das Notebook. Veröffentlichungswerkzeuge wie Quarto bieten einen weiteren Weg zu einem lesbaren Bericht.

Speichere Abbildungen und Tabellen aus dem Code, damit erneute Durchläufe die Dateien aktualisieren:

fig.savefig("figures/late_by_hour.png", dpi=200,
            bbox_inches="tight")
summary.to_csv("output/city_summary.csv")

Erstelle die Zielordner bei der Einrichtung des Projekts. Ein Screenshot bewahrt die Ausgabe eines Augenblicks, hat aber keine automatische Verbindung zur nächsten Berechnung.

Datenprovenienz und Ausführungsanleitung ergänzen

Halte Datenquelle, Extraktionsdatum, Eingabedatei oder Version, Zeilenanzahl, Filter, Softwareversionen und Startwerte für Zufallszahlen fest. Diese Angaben erklären, welche Eingaben und Einstellungen einen Befund erzeugt haben. Sammle veränderliche Einstellungen nahe dem Anfang des Notebooks, damit eine monatliche Aktualisierung einen eindeutigen Einstiegspunkt hat.

Ein Projekt kann Rohdaten und verarbeitete Daten, Notebooks, Abbildungen und exportierte Tabellen trennen. Ergänze eine README mit Ziel, erwartetem Arbeitsverzeichnis und Ausführungsschritten sowie eine Paketumgebungsdatei. Halte Notebook, Anleitung und Umgebung zusammen, wenn du die erneut ausführbare Analyse bereitstellst. Wenn der Zugriff auf Eingaben kontrolliert werden muss, gib an, wie berechtigte Leser die passende Datenversion erhalten.

Prüfen, was die Ausgaben offenlegen

Untersuche vor der Weitergabe jede Ausgabezelle und jeden Export auf personenbezogene Daten. Vorschautabellen können Namen, E-Mail-Adressen und genaue Standorte offenlegen, selbst wenn das endgültige Diagramm aggregiert ist. Entferne, maskiere oder aggregiere identifizierende Spalten je nach Bedarf und befolge die für den Datensatz geltenden Vereinbarungen und Datenschutzregeln.