Daten bereinigen

Eine Tabelle, die korrekt aussieht, kann dennoch eine falsche Antwort liefern. Die Bereinigung beginnt mit der Bedeutung ihrer Datensätze: Was ist geschehen, wen oder was beschreibt jede Zeile und welche Felder benötigt die Analyse?

Was Datenintegrität bedeutet

Datenintegrität bedeutet Richtigkeit, Vollständigkeit, Konsistenz und Vertrauenswürdigkeit während des gesamten Datenlebenszyklus. Werte müssen den Tatsachen entsprechen, die sie vorgeben zu erfassen. Benötigte Informationen müssen vorhanden sein, und derselbe Sachverhalt muss beim Wechsel zwischen Systemen dieselbe Bedeutung behalten.

Die Integrität kann bei der Eingabe, Speicherung, Übertragung oder Analyse beeinträchtigt werden. Jemand kann sich bei einer Menge vertippen. Kopien in zwei Systemen können auseinanderlaufen, ein Problem bei der Replikation. Eine unterbrochene Übertragung kann nur eine halbe Datei laden. Wird eine einzelne Spalte allein sortiert, kann jeder Betrag der falschen Bestellung zugeordnet werden. Auch Systemausfälle und unbefugte Änderungen können Datensätze beschädigen.

Erkenne das Problem, bevor du es behebst

Fehlerhafte Daten sind unvollständig, falsch, inkonsistent oder für die Fragestellung irrelevant. Unterschiedliche Probleme erfordern unterschiedliche Maßnahmen.

Ein ordentliches Format belegt keine Richtigkeit. Ein Lieferdatum kann wie ein Datum aussehen und dennoch vor dem Bestelldatum liegen. Ein Testkunde kann einen vollständigen Datensatz haben, aber für den tatsächlichen Umsatz mit Kunden irrelevant sein.

Verfolge die Auswirkung auf eine Antwort

Angenommen, die Bestellung 1003 im Wert von 250,00 erscheint zweimal in einem Export. Beim Zählen der Zeilen kommt eine zusätzliche Bestellung hinzu, und beim Summieren der Beträge werden 250,00 zu viel addiert. Die Formeln können einwandfrei funktionieren, während die Eingabe ein falsches Ergebnis liefert. Textvarianten erzeugen ein weiteres Problem: Ein Diagramm kann den Umsatz von Lissabon auf separate Stadtbezeichnungen verteilen.

Bereinigte Daten sind für die durchgeführte Analyse geeignet. Ein fehlender zweiter Vorname hat keine Auswirkung auf den Umsatz nach Region. Ein fehlender Bestellbetrag beeinflusst dagegen den Gesamtumsatz. Beurteile die Vollständigkeit anhand der für die Frage benötigten Felder und halte anschließend verbleibende Lücken fest.

Schütze den Ausgangspunkt

Bewahre vor Änderungen eine unveränderte Rohdatenkopie auf. Nutze eine andere Datei, ein separates Tabellenblatt oder die ursprüngliche Datenbanktabelle und bereinige eine Arbeitskopie. Ein Werkzeug wie „Duplikate entfernen“ löscht Zeilen aus dem ausgewählten Bereich. Die Rohdatenkopie ermöglicht dir einen Vergleich und gibt dir die Möglichkeit, eine Entscheidung erneut auszuführen.

Durchlaufe fünf Phasen: untersuchen, entscheiden, anwenden, dokumentieren und überprüfen. Halte ein Problem fest, bevor du seine Behandlung auswählst. Dokumentiere jede Behandlung bei der Anwendung und prüfe anschließend das Ergebnis anhand der Rohdaten. Interne Daten müssen ebenso untersucht werden wie eine externe Datei: Wiederholte Importe und veränderte Feldbedeutungen kommen auch innerhalb von Organisationen vor. Informiere den Datenverantwortlichen über wiederkehrende Eingabe- oder Exportprobleme, damit sich die nächste Lieferung verbessert.

Datenprofilierung ist die systematische Untersuchung eines Datensatzes, bevor er verändert wird. Sie liefert eine Ausgangsbasis und eine Problemliste: die Größe der Tabelle, den Inhalt jeder Spalte, Lücken, wiederholte Schlüssel und Werte, die untersucht werden müssen.

Beginne mit der Tabellenstruktur

Ermittle, was eine Zeile bedeutet, etwa eine Bestellung oder einen Kunden. Prüfe, ob es eine Kopfzeile und pro Spalte eine Art von Information gibt. Finde den Schlüssel, also die Spalte oder Spaltenkombination, die einen Datensatz identifizieren sollte. Eine wiederholte Bestell-ID muss untersucht werden; wiederholte Städtenamen sind zu erwarten.

Halte die anfängliche Zeilenzahl fest. Untersuche dann für jede Spalte den erwarteten Typ, ob sie ein Pflichtfeld ist und welche Werte zulässig sind. Diese Bedeutungen stehen im Datenwörterbuch oder sind beim Datenverantwortlichen zu erfahren. Minimum und Maximum können ein Datum außerhalb des Berichtszeitraums oder einen Platzhalter wie 999 in einer Altersspalte aufdecken.

Untersuche eine Tabellenkalkulation

Sortiere und filtere die Tabelle und halte dabei ganze Zeilen zusammen. Sortiere auf- und absteigend, um leere Felder, unerwarteten Text und Extremwerte zu finden. Filtermenüs zeigen die Schreibweisen von Kategorien. Excel-Filter ignorieren die Groß- und Kleinschreibung, sodass eine einzelne angezeigte Kategorie Unterschiede in der Schreibweise verbergen kann. Nutze EXACT, wenn die Groß- und Kleinschreibung selbst geprüft werden muss. Bedingte Formatierung kann wiederholte Schlüssel und Werte außerhalb eines Bereichs hervorheben.

Für die Zeilen 2 bis 501 sind unter anderem diese Prüfungen hilfreich:

• =ANZAHL2(B2:B501) zählt nicht leere Zellen.
• =ANZAHLLEEREZELLEN(B2:B501) zählt leere Felder, einschließlich Formeln, die leeren Text zurückgeben.
• =ANZAHL(B2:B501) zählt Zellen mit Zahlen.
• =MIN(B2:B501) und =MAX(B2:B501) zeigen den Zahlenbereich.
• =ZÄHLENWENN(C2:C501;"Lisbon") zählt übereinstimmende Einträge und ignoriert die Groß- und Kleinschreibung.

Ist die Anzahl numerischer Werte in einer Betragsspalte kleiner als die Anzahl nicht leerer Zellen, untersuche den Unterschied. Einige Einträge können Zahlen als Text sein, andere Angaben wie „N/A“. Auch eine Zelle, die nur ein Leerzeichen enthält, braucht Aufmerksamkeit, obwohl sie leer aussieht.

Untersuche mit SQL

Diese Abfragen lesen die Daten, ohne sie zu ändern:

SELECT COUNT(*) AS rows_total,
       COUNT(amount) AS amounts_present,
       COUNT(*) - COUNT(amount) AS amounts_missing,
       MIN(order_date) AS first_date,
       MAX(order_date) AS last_date
FROM orders;

COUNT(*) zählt Zeilen. COUNT(amount) zählt Beträge, die nicht NULL sind. Ihre Differenz zählt fehlende Beträge, die als NULL dargestellt werden, erkennt aber keine Textplatzhalter.

Um Kategorienwerte und ihre Häufigkeit zu untersuchen:

SELECT city, COUNT(*) AS n
FROM orders
GROUP BY city
ORDER BY city;

GROUP BY fasst gleiche Werte zusammen; COUNT(*) zählt die Zeilen jeder Gruppe. NULL bildet eine eigene Gruppe. Die Gleichheit von Texten folgt den Vergleichseinstellungen der Datenbank, der Sortierreihenfolge. PostgreSQL und SQLite trennen Varianten der Groß- und Kleinschreibung gewöhnlich; gängige MySQL-Einstellungen fassen sie zusammen.

Erstelle aus den Prüfungen eine Problemliste

Bei den sechs Beträgen 40, NULL, 25, 60, NULL und 35 beträgt die Zeilenzahl 6 und die Anzahl vorhandener Beträge 4: Zwei Beträge müssen beachtet werden. Bei den Städten „Lisbon“, „lisbon “, „Porto“, NULL, „LISBON“ und „Porto“ findet ein genauer Textvergleich vier Schreibweisen, die nicht NULL sind, obwohl nur zwei Städte vertreten sind.

Halte beide Ergebnisse zusammen mit der betroffenen Spalte und Anzahl fest. Untersuche häufige Werte und Extremwerte auf verborgene Platzhalter, Testdatensätze und Datumsangaben wie „1900-01-01“. Wenn du zuerst die ganze Tabelle profilierst, erkennst du auch Abhängigkeiten: Das Entfernen überflüssiger Leerzeichen kann die Anzahl der Dubletten verändern. Die Dublettenbereinigung sollte daher warten, bis die Vergleichsfelder vereinheitlicht sind.

Datenvalidierung prüft, ob Einträge die Regeln für zulässige Daten einhalten. Ein Eintrag kann vorhanden und ordentlich dargestellt sein und dennoch gegen eine Regel verstoßen. Eine Menge von -3 ist ungültig, wenn Bestellmengen positiv sein müssen.

Wähle Regeln anhand der Bedeutung der Daten

Lies das Datenwörterbuch oder frage den Datenverantwortlichen. Eine Tagesbuchung im Hotel kann null Nächte erlauben; ein anderes Buchungssystem kann mindestens eine Nacht verlangen. Halte die tatsächliche Schranke fest und notiere, ob das Feld verpflichtend ist.

Eine Formatprüfung prüft ein Muster, aber nicht, ob der zugrunde liegende Sachverhalt zutrifft. Eine einfache E-Mail-Prüfung auf ein „@“ und Text auf beiden Seiten kann nicht bestätigen, dass ein Postfach existiert.

Markiere Verstöße in einer Tabellenkalkulation

Schreibe einen Test in eine Hilfsspalte und kopiere ihn nach unten. Für einen erforderlichen numerischen Prozentsatz in B2 prüft =UND(ISTZAHL(B2);B2>=0;B2<=100) sowohl Typ als auch Bereich. Die Datentypprüfung ist wichtig, weil sich ein leeres Feld bei einem Vergleich wie null verhalten kann.

Bei tatsächlichen Datumswerten in C und D markiert =WENN(D2<C2;"check";"ok") eine Lieferung vor ihrer Bestellung. Prüfe benötigte Datumsangaben gesondert auf leere Felder. Für IDs in Spalte A markiert =ZÄHLENWENN($A$2:$A$501;A2)>1 wiederholte Werte. Filtere die Ergebnisse der Hilfsspalte, um jeden Verstoß zu sehen.

Liste Verstöße mit SQL auf

SELECT * FROM orders
WHERE quantity <= 0 OR quantity IS NULL;

Dies findet nicht positive und fehlende Mengen. Um Statuswerte zu prüfen:

SELECT * FROM orders
WHERE status NOT IN ('open', 'shipped', 'returned')
   OR status IS NULL;

Die ausdrückliche Prüfung auf NULL ist wichtig. NOT IN allein gibt keine Zeile mit dem Status NULL zurück, weil der Vergleich unbekannt ist. Auch eine feldübergreifende Prüfung wie delivery_date < order_date braucht für erforderliche Datumsangaben separate Pflichtfeldprüfungen.

Verhindere neue Fehler und behebe alte

Die Datenüberprüfung in Excel und die Datenvalidierung in Google Sheets können eine Auswahlliste anbieten, einen Zahlenbereich beschränken oder vor einer Eingabe warnen. Datenbanktypen und Einschränkungen wie NOT NULL und UNIQUE setzen entsprechende Regeln durch. Eine hinzugefügte Regel repariert keine alten Datensätze; untersuche diese gesondert. Excels Befehl „Ungültige Daten einkreisen“ kann vorhandene Verstöße markieren.

Betrachte die Altersangaben 34, 0, 41, 230 und „vierzig“ aus einer Befragung Erwachsener mit einem ganzzahligen Bereich von 18 bis 120. „vierzig“ besteht die Datentypprüfung nicht; 0 und 230 bestehen die Bereichsprüfung nicht. Das Wort hat die eindeutige zahlenmäßige Bedeutung 40. Der beabsichtigte Wert von 230 ist ungewiss, rate also nicht zwischen 23 und 30. Stelle einen verlässlichen Wert wieder her, markiere ihn als fehlend oder schließe den Datensatz aus und protokolliere die Entscheidung.

Ein ungewöhnlicher Wert unterscheidet sich von einem ungültigen Wert. Eine Bestellung von 500 Einheiten kann echt sein. Prüfe sie anhand der Bestellregeln und des ursprünglichen Datensatzes, bevor du entscheidest, dass ein Fehler vorliegt.

Zwei ähnliche Zeilen sind nicht zwangsläufig ein zweimal erfasster Datensatz. Eine Dublette beschreibt dieselbe reale Einheit oder dasselbe reale Ereignis wie eine andere Zeile. Entscheide zuerst, was diese Einheit oder dieses Ereignis identifiziert.

Definiere den Schlüssel und die Vergleichsregeln

Eine Bestell-ID kann eine Bestellung identifizieren. Ein Name allein ist gewöhnlich ein schlechter Kundenschlüssel, weil verschiedene Personen denselben Namen tragen können. Selbst zwei identische Käufe am selben Tag können tatsächliche separate Ereignisse sein. Prüfe die Bedeutung der Zeilen und den Schlüssel des Datenverantwortlichen, bevor du gleich aussehende Zeilen löschst.

Exakte Dubletten stimmen in allen Spalten überein. Ähnliche Dubletten beziehen sich auf denselben Sachverhalt, weisen aber kleine Unterschiede auf, etwa ein zusätzliches Leerzeichen oder eine geänderte Telefonnummer. Bereinige die Vergleichsfelder vor der Suche. Ist die E-Mail-Adresse der vereinbarte Schlüssel, vereinheitliche Leerzeichen und Groß- und Kleinschreibung in einer Hilfsspalte.

Bei den fünf E-Mail-Adressen „ana@example.com“, „ben@example.com“, „Ana@Example.com “, „chen@example.com“ und „ben@example.com“ findet der genaue Vergleich der Rohwerte den wiederholten Eintrag für Ben. Das Entfernen von Leerzeichen an den Rändern und die Umwandlung in Kleinbuchstaben machen auch Anas wiederholten Eintrag sichtbar. Nach dem Entfernen von zwei zusätzlichen Kopien bleiben drei Kundenschlüssel übrig.

Markiere Zeilen vor dem Entfernen

Für bereinigte Schlüssel in B2:B501:

• =ZÄHLENWENN($B$2:$B$501;B2)>1 markiert jede Zeile, deren Schlüssel wiederholt vorkommt.
• =ZÄHLENWENN($B$2:B2;B2)>1 markiert nur das zweite und jedes spätere Vorkommen.

Der zweite Bereich wächst beim Herunterkopieren, sodass das erste Vorkommen eine Anzahl von eins hat. ZÄHLENWENN ignoriert die Groß- und Kleinschreibung; entferne zunächst überflüssige Leerzeichen. Untersuche markierte Gruppen auf widersprüchliche Informationen, bevor du eine Regel zur Auswahl der verbleibenden Zeile anwendest.

Wähle aus, was erhalten bleibt

„Duplikate entfernen“ in Excel und Google Sheets vergleicht die von dir ausgewählten Spalten. Wählst du nur die E-Mail-Adresse, kann eine Zeile mit einer anderen Telefonnummer verworfen werden. Wählst du alle Spalten, bleibt dieser Widerspruch erhalten, weil sich die vollständigen Zeilen unterscheiden. Beide Werkzeuge nutzen eigene Abgleichregeln, darunter Vergleiche ohne Beachtung der Groß- und Kleinschreibung. Deshalb eignen sie sich ohne zusätzliche Prüfung nicht, um Unterschiede in der Groß- und Kleinschreibung Zeichen für Zeichen durchzusetzen.

Excel behält das erste Vorkommen. Soll der neueste Datensatz erhalten bleiben, sortiere zuerst die vollständigen Zeilen nach Aktualisierungsdatum, die neuesten zuerst. Kläre Datensätze mit gleichem Datum oder widersprüchlichen Angaben ausdrücklich. Eine dokumentierte Regel kann den zuletzt bestätigten Datensatz behalten oder überprüfte Felder zusammenführen. Protokolliere sowohl die ausgewählten Spalten als auch die Anzahl der entfernten Zeilen.

=EINDEUTIG(A2:C501) gibt in aktuellen Excel-Versionen und Google Sheets unterschiedliche Zeilen in einen neuen Bereich zurück. Die Funktion erhält die Quelle und ist für eine Vorschau des Ergebnisses nützlich.

Finde wiederholte Schlüssel mit SQL

SELECT email, COUNT(*) AS n
FROM customers
GROUP BY email
HAVING COUNT(*) > 1;

GROUP BY erstellt für jede E-Mail-Adresse eine Gruppe; HAVING behält Gruppen mit einer Anzahl größer als eins. WHERE filtert einzelne Zeilen vor der Gruppierung. Führe die Prüfung auf vereinheitlichten Schlüsseln aus, indem du entweder eine bereinigte Tabelle verwendest oder nach dem Bereinigungsausdruck gruppierst.

SELECT DISTINCT email, name FROM customers; gibt jede Kombination aus E-Mail-Adresse und Name einmal zurück. Das garantiert keine eindeutigen E-Mail-Adressen: Zwei Zeilen mit einer E-Mail-Adresse und verschiedenen Namen bleiben beide erhalten. Prüfe nach der Dublettenbereinigung den vereinbarten Schlüssel.

Wiederholte Importe und überlappende Exporte erzeugen häufig Dubletten. Halte die Ursache zusammen mit dem Datenverantwortlichen fest, damit eine Korrektur der heutigen Tabelle auch den nächsten Export verbessert.

Eine Lücke kann als leeres Feld sichtbar oder hinter einem plausibel aussehenden Wert verborgen sein. Finde heraus, wie die Quelle fehlende Informationen erfasst, bevor du sie zählst. Eine erfasste Null kann tatsächlich zutreffen, während „unknown“ ein Platzhalter sein kann.

Unterscheide leere Felder, Text und NULL

In einer Tabellenkalkulation können eine leere Zelle, eine Zelle mit einem Leerzeichen und eine Formel, die "" zurückgibt, gleich aussehen. ISTLEER ist nur für eine tatsächlich leere Zelle wahr. Ein Leerzeichen ist Text. ANZAHLLEEREZELLEN zählt auch Formeln, die leeren Text zurückgeben, aber keine Zelle mit einem Leerzeichen. Für normale Leerzeichen erkennt =GLÄTTEN(B2)="" sowohl leere Einträge als auch solche, die nur Leerzeichen enthalten.

Die Tabellenfunktionen SUMME, MITTELWERT und ANZAHL überspringen leere Zellen und Text in einem referenzierten Bereich. Die Zahl null beziehen sie ein. Für die Beträge 48, 52, ein leeres Feld, 45, ein leeres Feld, 55, 50 und 46 ergeben die bekannten Beträge die Summe 296. MITTELWERT dividiert durch sechs und ergibt etwa 49,33. Ersetzt du die leeren Felder durch null, ändert sich der Nenner auf acht und das arithmetische Mittel auf 37.

In SQL markiert NULL einen unbekannten oder nicht vorhandenen Wert. Null ist eine bekannte Zahl. Die leere Zeichenfolge '' ist in PostgreSQL, MySQL, SQL Server und SQLite Text ohne Zeichen. Importierte leere Felder können in beiden Formen auftreten. Prüfe daher die gespeicherte Darstellung:

SELECT * FROM orders
WHERE city IS NULL OR TRIM(city) = '';

Nutze IS NULL und IS NOT NULL. amount = NULL findet keine fehlenden Beträge: Der Vergleich mit NULL ergibt ein unbekanntes Ergebnis, das WHERE nicht behält.

Kenne den Nenner

COUNT(*) zählt alle Zeilen. COUNT(amount), SUM, AVG, MIN und MAX überspringen Beträge mit NULL. Für 40, NULL, 25, 60, NULL und 35 gibt es sechs Zeilen, aber vier bekannte Beträge. SUM ist 160 und AVG ist 40, weil 160 durch vier dividiert wird.

Diese Funktionen können einen numerischen Platzhalter wie -1 oder 999 nicht erkennen. Kläre die Bedeutung von Platzhaltern mit dem Datenverantwortlichen und zähle sie anschließend gesondert oder vereinheitliche sie als fehlende Werte. Untersuche neben der Anzahl leerer Felder auch die Häufigkeiten ungewöhnlicher Codes.

Suche nach Mustern in den Lücken

Zähle fehlende Einträge pro Spalte und als Anteil an den Zeilen. Zwei fehlende Beträge von acht entsprechen 25 %. Untersuche dann, ob sich die Lücken nach Filiale, Quelle oder Monat häufen. Ein fehlendes Feld, das auf eine Exportquelle beschränkt ist, kann auf ein behebbares Importproblem hinweisen.

Der Grund für fehlende Werte ist wichtig:

• Vollständig zufälliges Fehlen: Ein sachfremdes Ereignis, etwa ein zufälliger Speicherfehler, verursacht die Lücke.
• Zufälliges Fehlen: Die Wahrscheinlichkeit einer Lücke hängt von erfassten Informationen ab, etwa wenn ältere Kunden ein optionales Onlinefeld häufiger überspringen.
• Nicht zufälliges Fehlen: Die Wahrscheinlichkeit hängt vom fehlenden Wert selbst ab, etwa wenn Menschen mit sehr hohem Einkommen die Einkommensangabe leer lassen.

Im Einkommensbeispiel kann das arithmetische Mittel unter den Antwortenden unter dem Mittelwert für alle liegen. Das Ersetzen der Lücken durch eine Zahl beseitigt dieses Auswahlproblem nicht. Berichte, was fehlt und wen die verbleibenden Werte beschreiben, bevor du einen Mittelwert interpretierst.

Fehlende Werte erfordern eine Entscheidung, die sich an der zu beantwortenden Frage orientiert. Ein Kunde ohne Altersangabe kann trotzdem zum Gesamtumsatz beitragen. Eine Bestellung ohne Betrag kann keinen bekannten Wert zum Umsatz beitragen.

Wähle eine Maßnahme

Versuche zuerst, den Wert wiederherzustellen. Prüfe eine Rechnung, das ursprüngliche Formular oder das führende System. Ein Positionsbetrag, der aus überprüfter Menge und überprüftem Stückpreis abgeleitet wird, ist eine wiederhergestellte Information. Ein aus anderen Kundenwerten geschätzter Wert ist ein Schätzwert; das Einsetzen heißt Imputation.

Bewahre die Bedeutung einer Zahl

Ersetzt du eine fehlende Kategorie durch „Unknown“, bleibt die Zeile beim Zählen erhalten und die Lücke sichtbar. Ein numerisches Feld durch null zu ersetzen ist nur begründet, wenn fehlend tatsächlich null bedeutet. Eine fehlende Retourenanzahl kann null bedeuten, wenn der Quellprozess diese Konvention bestätigt; ein unbekannter Verkaufsbetrag hat diese Bedeutung nicht.

Für die bekannten Beträge 48, 52, 45, 55, 50 und 46 beträgt die Summe 296 und das arithmetische Mittel etwa 49,33. Werden zwei leere Felder durch null ersetzt, bleibt die Summe 296, aber das arithmetische Mittel sinkt auf 37. Die zusätzlichen Zeilen zählen nun als Beobachtungen mit dem Wert null.

Auch das Ersetzen durch das arithmetische Mittel oder den Median verändert die Daten. Der Median der sechs bekannten Beträge ist 49. Werden beide Lücken mit 49 gefüllt, kommen 98 hinzu und das arithmetische Mittel der acht Einträge beträgt 49,25. Diese beiden hinzugefügten Werte wurden nicht beobachtet. Wiederholte Werte in der Mitte lassen die Daten weniger gestreut aussehen. Behalte daher ein Kennzeichen, das sie erkennbar macht. Bei stark schiefen Verteilungen wie Einkommen beschreibt der Median einen typischen Wert oft besser als das arithmetische Mittel.

Wende die Regel nachvollziehbar an

In SQL gibt COALESCE(city, 'Unknown') das erste Argument zurück, das nicht NULL ist. Die Funktion ersetzt Städte mit NULL, lässt aber eine leere Zeichenfolge unverändert. NULLIF(city, 'N/A') wandelt genau diesen Platzhalter in NULL um. Die Kombination aus Vereinheitlichung und Ersetzung macht die Behandlung ausdrücklich sichtbar:

COALESCE(NULLIF(TRIM(city), ''), 'Unknown') AS city

Eine Hilfsspalte für Kategorien in einer Tabellenkalkulation kann =WENN(GLÄTTEN(B2)="";"Unknown";B2) nutzen. Für ein separates Kennzeichen kann =GLÄTTEN(B2)="" verwendet werden, damit nach dem Ersetzen sichtbar bleibt, dass der ursprüngliche Wert fehlte.

Stimme Ausschlüsse auf die Analyse ab

Suche für den Gesamtumsatz aus 1.000 Bestellungen mit drei fehlenden Beträgen zuerst die Rechnungen. Gelingt die Wiederherstellung nicht, berichte, dass die Summe 3 von 1.000 Bestellungen, also 0,3 %, ausschließt. Verwirf keine Zeile, weil ein nicht benötigtes Feld leer ist.

Fehlen 400 von 1.000 Altersangaben von Kunden, würde das Ersetzen durch das arithmetische Mittel 40 % der Spalte zu Schätzwerten machen. Eine Analyse der 600 bekannten Altersangaben braucht eine klare Aussage über ihre Abdeckung. Prüfe, warum diese Altersangaben fehlen: Das Löschen von Zeilen kann die Ergebnisse ebenfalls verzerren, wenn sich diese Kunden von den übrigen unterscheiden. Behandle fehlende Werte einheitlich und dokumentiere jede spätere Änderung dieser Behandlung.

Die Textbereinigung macht Werte mit derselben Bedeutung vergleichbar. Liste zunächst die unterschiedlichen Werte und ihre Anzahlen auf. Das zeigt, ob eine Spalte Änderungen an Leerzeichen, eine einheitliche Groß- und Kleinschreibung oder eine Zuordnung mehrerer Schreibweisen zu einer Bezeichnung benötigt.

Entferne Leerzeichen und verborgene Zeichen

In Excel und Google Sheets entfernt =GLÄTTEN(A2) Leerzeichen an beiden Enden und reduziert wiederholte Leerzeichen innerhalb des Texts auf eines. Aus „ Ana Silva “ wird „Ana Silva“. =SÄUBERN(A2) entfernt nicht druckbare Zeichen wie Zeilenumbrüche.

Ein von einer Webseite kopiertes geschütztes Leerzeichen kann TRIM überstehen. Ersetze Zeichen 160 zuerst durch ein normales Leerzeichen:

=GLÄTTEN(WECHSELN(A2;ZEICHEN(160);" "))

Lies verschachtelte Funktionen von innen nach außen: Zuerst wird WECHSELN ausgeführt, dann wendet TRIM sich auf dessen Ergebnis an. Prüfe bereinigte Beispiele, denn das Entfernen eines Zeilenumbruchs kann Wörter verbinden, die getrennt bleiben sollten.

SQL TRIM(city) entfernt Leerzeichen an den Enden, lässt aber wiederholte Leerzeichen innerhalb des Texts stehen. TRIM(' Ana Silva ') behält daher drei Leerzeichen zwischen den Namen. LTRIM ändert das linke und RTRIM das rechte Ende. Wähle einen Bereinigungsausdruck, der zu den gefundenen Zeichen passt.

Vereinheitliche Groß- und Kleinschreibung gezielt

UPPER und LOWER funktionieren in beiden Werkzeugen. Kleinbuchstaben können eine nützliche Konvention für E-Mail-Adressen sein; Großbuchstaben eignen sich für Ländercodes. PROPER in einer Tabellenkalkulation schreibt Wörter groß, kann aber nicht die korrekte Schreibweise eines Namens bestimmen: Aus „mcdonald“ wird „Mcdonald“ und aus „PT123“ wird „Pt123“. Prüfe Namen und behalte Codes in der vorgesehenen Groß- und Kleinschreibung.

Textvergleiche folgen den Einstellungen des Werkzeugs. ZÄHLENWENN, SVERWEIS und Filter in Excel ignorieren die Groß- und Kleinschreibung. PostgreSQL behandelt „Lisbon“ und „LISBON“ gewöhnlich als verschiedene Textwerte. =IDENTISCH(A2;B2) in einer Tabellenkalkulation prüft, ob Texte einschließlich Groß- und Kleinschreibung identisch sind. Vereinheitliche ausdrücklich, wenn dieselbe Kategorie über Werkzeuge hinweg einheitlich funktionieren muss, und bewahre dabei bedeutsame Unterschiede in der Groß- und Kleinschreibung bei Identifikatoren, bei denen diese relevant ist.

Ordne ganze Werte einer Kategorie zu

Das Entfernen überflüssiger Leerzeichen und das Ändern der Groß- und Kleinschreibung korrigieren keine unterschiedlichen Schreibweisen. Eine Zuordnungstabelle kann jede Variante mit einer Standardbezeichnung verknüpfen. Suche den vollständigen bereinigten Wert mit genauer Übereinstimmung und prüfe Werte ohne Entsprechung.

In SQL kann CASE dieselbe Zuordnung ausdrücken:

CASE
  WHEN UPPER(TRIM(country)) IN
       ('NL', 'NETHERLANDS', 'THE NETHERLANDS', 'HOLLAND')
    THEN 'Netherlands'
  ELSE TRIM(country)
END AS country

ELSE erhält nicht zugeordnete Werte zur Prüfung. Zähle nach der Zuordnung die verbleibenden Kategorien; nimm nicht an, dass die ersten wenigen Zeilen alle Schreibweisen abbilden.

Vermeide Schäden durch Ersetzungen

WECHSELN, Suchen und Ersetzen und SQL REPLACE können Text innerhalb eines längeren Werts ersetzen. Wird „NY“ überall ersetzt, wird aus „Store NYC, NY“ „Store New YorkC, New York“. Gleiche bei Kategoriebezeichnungen die gesamte Zelle ab oder nutze eine Zuordnungstabelle. Prüfe bei Adressen und Namen den beabsichtigten Umfang jeder Ersetzung.

Für die Städte „Lisbon“, „lisbon “, „Porto“, einen fehlenden Wert, „LISBON“ und „Porto“ ergibt UPPER(TRIM(city)) dreimal LISBON und zweimal PORTO sowie eine Lücke. Analysiere die bereinigte Spalte und nutze sie anschließend für Abgleiche und Dublettenprüfungen. Wenn du die Hilfsspalte behältst, aber nach den unveränderten Stadtwerten gruppierst, bleibt das ursprüngliche Problem bestehen.

Ein zusammengesetzter Textwert kann Informationen verbergen, die zum Sortieren oder Abgleichen benötigt werden. Gib jedem benötigten Teil eine eigene Spalte und bewahre das Original auf, bis die Aufteilung geprüft wurde.

Teile an einem verlässlichen Trennzeichen auf

Ein Trennzeichen markiert die Grenze zwischen Teilen. Ein Komma in „Silva, Ana“ trennt den Nachnamen vom Vornamen. Mit „Text in Spalten“ in Excel und „Text in Spalten aufteilen“ in Google Sheets kannst du dieses Trennzeichen wählen. Füge vor dem Aufteilen rechts leere Spalten ein, damit die Ausgabe keine anderen Felder überschreibt.

Google Sheets kann =SPLIT(A2;",") nutzen; aktuelle Excel-Versionen können =TEXTTEILEN(A2;",") nutzen. Entferne überflüssige Leerzeichen aus den zurückgegebenen Teilen, wenn auf das Komma ein Leerzeichen folgt. Prüfe Zeilen mit fehlendem oder mehr als einem Trennzeichen, bevor du eine Regel auf die gesamte Spalte anwendest.

Teile nicht jeden Namen an einem Leerzeichen auf. „Ana Maria Silva“ hat mehr Teile als ein Name aus zwei Wörtern, und ein Leerzeichen allein legt nicht fest, welche Wörter zum Vor- oder Nachnamen gehören. Nutze eine definierte Quellstruktur oder behalte ein Feld für den vollständigen Namen, wenn die Struktur unklar ist.

Extrahiere nach Position bei festem Aufbau

Beim Produktcode „PT-LIS-0042“ steht das Land an den Positionen 1 bis 2, der Ort an den Positionen 4 bis 6 und der abschließende Code an den Positionen 8 bis 11.

Die Positionszählung beginnt bei eins. Bewahre den extrahierten Code als Text auf, damit seine führenden Nullen erhalten bleiben. Feste Positionen funktionieren nur bei einheitlichem Feldaufbau.

Suche bei Text unterschiedlicher Länge das Trennzeichen. In „Silva, Ana“ gibt FINDEN(",";A2) 6 zurück. =LINKS(A2;FINDEN(",";A2)-1) übernimmt die fünf Zeichen vor dem Komma. Durch die Subtraktion wird das Komma selbst ausgeschlossen. FIND beachtet die Groß- und Kleinschreibung; SEARCH ignoriert sie bei der Suche nach Buchstaben.

Nutze die entsprechende SQL-Funktion

SUBSTRING(code, 4, 3) extrahiert in PostgreSQL den Ortscode in der Mitte; manche Datenbanken nutzen SUBSTR. Auch die Zeichenlängenfunktionen unterscheiden sich: PostgreSQL und SQLite nutzen LENGTH, MySQL nutzt CHAR_LENGTH und SQL Server nutzt LEN, das abschließende Leerzeichen ignoriert. MySQL LENGTH zählt Bytes und kann daher bei Text wie „é“ von der Zeichenanzahl abweichen.

Eine PostgreSQL-Prüfung WHERE LENGTH(code) <> 11 findet Codes mit falscher Länge. Eine Längenprüfung allein belegt nicht, dass Buchstaben, Ziffern und Bindestriche an den richtigen Stellen stehen.

Verbinde Teile mit einem klaren Trennzeichen

=A2&" "&B2 oder =VERKETTEN(A2;" ";B2) verknüpft zwei Tabellenfelder mit einem Leerzeichen. =TEXTVERKETTEN(" ";WAHR;A2:C2) verknüpft einen Bereich und überspringt leere Zellen. Excel TEXTKETTE akzeptiert mehrere Argumente; Google Sheets TEXTKETTE benötigt genau zwei.

In PostgreSQL verkettet first_name || ' ' || last_name Text. Bei diesem Operator macht ein Teil mit NULL das Ergebnis zu NULL. TEXTKETTE behandelt NULL je nach Dialekt unterschiedlich: MySQL gibt NULL weiter, während PostgreSQL und SQL Server den Teil überspringen. Behandle optionale Teile gezielt mit COALESCE und prüfe die entstehenden Trennzeichen.

Eine einheitliche Anzeige ist nur nützlich, wenn die Werte dasselbe bedeuten. Vor Berechnungen müssen die Reihenfolge bei Datumsangaben und die Trennzeichen bei Zahlen bekannt sein und Messwerte in einer Einheit vorliegen.

Ermittle die Quellkonvention

Der Text „03/04/2025“ kann den 4. März oder den 3. April bedeuten. Ein Datum wie „25/03/2025“ belegt für diesen Eintrag die Reihenfolge mit dem Tag zuerst, eine zusammengeführte Datei kann aber mehrere Formate enthalten. Kläre die Konvention mit dem Datenverantwortlichen oder anhand der Exporteinstellungen und prüfe auf gemischte Quellen, bevor du mehrdeutige Einträge umwandelst.

Nutze für einen eindeutigen Austausch die Datumsreihenfolge nach ISO 8601, YYYY-MM-DD: „2025-03-04“ bezeichnet den 4. März. Einheitlicher Datumstext im ISO-Format lässt sich auch chronologisch sortieren. Nutze für Uhrzeiten das 24-Stunden-Format, etwa „14:30“, und halte eine Zeitzone fest, wenn Ereignisse mehrere Zeitzonen umfassen.

Unterscheide gespeicherte Werte von der Anzeige

Tabellenkalkulationen speichern tatsächliche Datumswerte als serielle Zahlen. Im Standarddatumssystem von Excel und in Google Sheets ist der 1. Januar 2025 die Zahl 45658 und der 4. März 2025 die Zahl 45720. Wird dieses numerische Datum als YYYY-MM-DD formatiert, ändert sich seine Anzeige, nicht der erfasste Tag.

Text, der wie ein Datum aussieht, ist etwas anderes. Das Anwenden eines Datumsformats auf Text erzeugt keinen tatsächlichen Datumswert. Prüfe den Typ und wandle den Text anhand des bestätigten Quellformats um, bevor du ihn formatierst. Die Ausrichtung kann ein Hinweis sein, aber Typprüfungen und das Verhalten bei Berechnungen liefern stärkere Belege, weil die Ausrichtung manuell geändert werden kann.

Die Zahlenformatierung funktioniert genauso. Ein gespeicherter Wert von 0,125 kann mit zwei Dezimalstellen als 0,13 angezeigt werden, während Berechnungen weiterhin 0,125 verwenden. =RUNDEN(A2;2) ändert das numerische Ergebnis auf zwei Dezimalstellen. Runde während der Bereinigung keine Zwischenergebnisse, sofern die Felddefinition keinen gerundeten Wert verlangt: Drei einzeln auf 0,33 gerundete Drittel ergeben zusammen 0,99.

Lies Zahlentrennzeichen richtig

„1,234.5“ und „1.234,5“ drücken nach unterschiedlichen Konventionen dieselbe Zahl aus. Ein Import mit falschem Gebietsschema kann die Größenordnung ändern oder einen Wert als Text belassen. Vergleiche mehrere importierte Werte mit ihrer Quelle, darunter Werte mit Dezimal- und Tausendertrennzeichen.

In Excel benennt =NUMBERVALUE("1.234,5",",",".") ausdrücklich das Dezimalkomma und den Tausenderpunkt und gibt 1234,5 zurück. Stelle in anderen Werkzeugen das Importgebietsschema richtig ein. Lösche nicht jedes Komma, ohne seine Rolle zu prüfen: Es kann Tausendergruppen trennen oder den Dezimalteil kennzeichnen.

Rechne Einheiten vor dem Zusammenfassen um

Eine Gewichtsspalte mit „2.5 kg“, „750 g“ und „1.2 kg“ mischt Bezeichnungen und Einheiten. Extrahiere Zahl und Einheit, rechne Gramm in Kilogramm um und speichere 2,5, 0,75 und 1,2 in einer numerischen Spalte weight_kg.

Die unveränderten Zahlen zu addieren ergibt 753,7, was keine einheitliche Einheit hat. Gib eine Einheit in der Spaltenüberschrift an und Zahlen in den Zellen. Auch eine Betragsspalte benötigt eine Währung, damit Summen oder Mittelwerte dieselbe Bedeutung haben; halte jede verwendete Umrechnungsregel fest.

Untersuche nach der Umrechnung Minimum und Maximum der Datumsangaben und Messwerte. Prüfe einzelne mehrdeutige Datumsangaben anhand der Quelle, selbst wenn sie im zulässigen Zeitraum liegen: Ein vertauschter Monat und Tag können ein gültiges, aber falsches Datum ergeben.

Ein Datentyp legt fest, wie Software einen Wert behandelt. Numerische Größen erlauben Rechenoperationen, Datumswerte erlauben das Sortieren nach Datum und die Berechnung von Differenzen, Text enthält Bezeichnungen und Identifikatoren und boolesche Felder enthalten TRUE oder FALSE. Beim Import werden vorgesehene Zahlen oder Datumswerte häufig zu Text.

Bestimme den Typ vor der Änderung

Zahlen als Text können standardmäßig linksbündig stehen, eine Excel-Warnung anzeigen oder so sortiert werden, dass „10“ vor „9“ steht. Prüfe die gesamte Spalte mit ANZAHL und ANZAHL2. In einem referenzierten Bereich mit der Zahl 120, dem Text „80“ und der Zahl 45 ergibt SUMME 165 und ANZAHL 2. Die beabsichtigte Summe ist 245, der Typfehler beeinflusst also die Berechnung.

Eine Änderung des Anzeigeformats auf „Zahl“ wandelt vorhandenen Text nicht um. Erstelle eine Hilfsspalte, wandle dort um und vergleiche das Ergebnis mit dem Roheintrag.

Wandle Text in einer Tabellenkalkulation um

=WERT(A2) liest numerischen Text anhand des Gebietsschemas der Tabellenkalkulation ein. =DATWERT(A2) liest Datumstext anhand der erkannten Datumskonventionen ein. Kläre zuerst Trennzeichen und Datumsreihenfolge.

Setze bei einem bekannten Wert „04.03.2025“ mit dem Tag zuerst ein Datum aus seinen Teilen zusammen. Ausdrückliche VALUE-Aufrufe machen die Eingaben sowohl in Excel als auch in Google Sheets numerisch:

=DATUM(WERT(RECHTS(A2;4));WERT(TEIL(A2;4;2));WERT(LINKS(A2;2)))

RIGHT gibt den Jahrestext „2025“ zurück, MID den Monatstext „03“ und LEFT den Tagestext „04“. VALUE wandelt jeden Teil um; DATE erstellt den 4. März 2025. Validiere die Teile zuerst: DATE kann einen unmöglichen Tag oder Monat in ein späteres Datum überführen, statt einen Fehler zu melden.

Entferne bei einem Wert wie „ 1250 kg“ vor der Umwandlung die bekannte Einheitenbezeichnung und Leerzeichen: =WERT(GLÄTTEN(WECHSELN(A2;"kg";""))). Entferne nicht beliebige Buchstaben aus jedem Feld, denn Buchstaben können bedeutsam sein oder einen ungültigen Eintrag anzeigen. =WENNFEHLER(WERT(A2);"check") hält fehlgeschlagene Umwandlungen zur Prüfung sichtbar.

Behalte Identifikatoren als Text

Der Code „00427“ identifiziert etwas; er ist keine zu addierende Größe. Die Umwandlung in eine Zahl ergibt 427 und lässt die führenden Nullen entfallen. Auch Telefonnummern, viele Postleitzahlen und Kontoidentifikatoren gehören in Textspalten. Lege den Typ vor dem Import fest. Excel bewahrt bei numerischer Speicherung nur 15 signifikante Stellen, sodass ein 16-stelliger Identifikator Informationen verlieren kann, bevor du es bemerkst. Eine nachträgliche Formatierung als Text kann die verlorenen Ziffern nicht wiederherstellen.

Wandle mit SQL um und prüfe Fehlschläge

In Datenbanken wie PostgreSQL liest CAST(amount_text AS DECIMAL(10,2)) numerischen Text ein und gibt eine Dezimalzahl mit zwei Stellen zurück. CAST(quantity_text AS INTEGER) fordert eine ganze Zahl an. Text im ISO-Format kann in vielen Dialekten in DATE umgewandelt werden; andere Datumsformate benötigen eine passende Einlesefunktion wie PostgreSQL TO_DATE, MySQL STR_TO_DATE oder BigQuery PARSE_DATE.

Ungültiger Text stoppt häufig eine CAST-Abfrage. SQL Server TRY_CAST und BigQuery SAFE_CAST geben bei fehlgeschlagenen gewöhnlichen Umwandlungen stattdessen NULL zurück. Zähle diese Fehlschläge getrennt von bereits fehlenden Werten. Zum Beispiel in SQL Server:

SELECT amount_text FROM sales
WHERE TRY_CAST(amount_text AS DECIMAL(10,2)) IS NULL
  AND amount_text IS NOT NULL;

SQLite kann „12abc“ ohne Fehlermeldung in 12 und „abc“ in 0 umwandeln. Eine erfolgreiche Abfrage ist daher kein ausreichender Beleg für eine korrekte Umwandlung. Prüfe die ursprünglichen Zeichenfolgen, umgewandelten Werte, Anzahlen und Bereiche, bevor du die bereinigte Spalte akzeptierst.

Ein Bereinigungsablauf in einer Tabellenkalkulation macht jede Änderung sichtbar und bewahrt genügend Belege auf, um sie zu wiederholen. Nutze ein Rohdatenblatt, ein Arbeitsblatt mit Hilfsspalten und eine geprüfte bereinigte Tabelle.

Richte die Arbeit ein und lege die Reihenfolge fest

Lass die Rohdaten unverändert. Fixiere die Kopfzeile und nutze eine Tabelle oder Filter, um den vollständigen Datenbereich auszuwählen. Verschiebe beim Sortieren ganze Zeilen zusammen, damit Namen, IDs und Beträge zugeordnet bleiben.

Eine praktische Reihenfolge ist:

1. Profiliere die Tabelle und schreibe eine Problemliste.
2. Korrigiere Überschriften und teile Felder auf, die mehrere benötigte Angaben enthalten.
3. Entferne überflüssige Leerzeichen aus Text, vereinheitliche Groß- und Kleinschreibung und ordne Kategorievarianten zu.
4. Wandle Typen um und vereinheitliche Datums-, Zahlen- und Einheitenformate.
5. Behandle fehlende Werte und behalte bei Bedarf Kennzeichen bei.
6. Entferne Dubletten anhand des vereinbarten Schlüssels und der Regel für das Behalten von Zeilen.
7. Validiere, stimme ab und prüfe das Ergebnis stichprobenartig.

Diese Reihenfolge berücksichtigt Abhängigkeiten. Eine Dublettenprüfung anhand unveränderter Schlüssel kann zusätzliche Leerzeichen übersehen. Eine Bereichsprüfung für numerischen Text prüft möglicherweise nicht die beabsichtigten Werte. Halte die Wirkung nach jedem Schritt fest, damit eine spätere Abweichung auf ihre Ursache zurückgeführt werden kann.

Erstelle und prüfe Hilfsspalten

Enthält B2 „ ana SILVA“, gibt =GROSS2(GLÄTTEN(B2)) „Ana Silva“ zurück. Kopiere die Formel durch die ganze Tabelle und vergleiche ursprüngliche und bereinigte Namen. Prüfe Schreibweisen, die PROPER nicht korrekt ableiten kann.

Eine Hilfsformel wie =GROSS(GLÄTTEN(WECHSELN(B2;ZEICHEN(160);" "))) arbeitet von innen nach außen: geschützte Leerzeichen ersetzen, überflüssige normale Leerzeichen entfernen, dann Groß- und Kleinschreibung ändern. Nutze beschreibende Hilfsspaltenüberschriften wie city_clean, damit spätere Formeln auf die beabsichtigte Spalte verweisen.

Filtere Ergebnisse und prüfe Werte am Anfang, in der Mitte und am Ende des Bereichs. Eine Formel, die nur durch einen Teil der Tabelle kopiert wurde, hinterlässt eine gemischte Spalte. Suche sowohl nach Fehlern als auch nach leeren Feldern.

Ordne Kategorien mit einem genauen Verweis zu

Führe eine zweispaltige Zuordnungstabelle mit Variante und Standardbezeichnung. Bei einer vorbereiteten Variante in B2 findet =SVERWEIS(B2;Map!$A$2:$B$50;2;FALSCH) die passende Bezeichnung. Die absoluten Bezüge halten den Zuordnungsbereich beim Herunterkopieren fest. FALSE fordert eine genaue Übereinstimmung an; ein ungefährer Abgleich kann für einen nicht aufgeführten Wert eine plausible, aber falsche Kategorie zurückgeben.

XVERWEIS kann separate Such- und Ergebnisbereiche nutzen. Standardmäßig wird eine genaue Übereinstimmung gesucht. Eine Variante ohne Entsprechung sollte als Fehler zur Prüfung sichtbar bleiben. Ergänze oder korrigiere ihre Zuordnung, statt jeden fehlgeschlagenen Verweis in eine vertraute Kategorie umzuwandeln.

Schließe ab und dokumentiere

Kopiere nach der Prüfung der Hilfsspalten ihre Ergebnisse und nutze in Excel „Inhalte einfügen > Werte“ oder in Google Sheets „Inhalte einfügen > Nur Werte“, um die bereinigte Tabelle zu erstellen. Prüfe, dass sie unabhängig ist, bevor du Quellspalten löschst: Formeln, die noch auf gelöschte Zellen verweisen, können #REF! zurückgeben.

Integrierte Werkzeuge wie Duplikate entfernen, Suchen und Ersetzen und Text in Spalten können viele Zellen auf einmal ändern. Protokolliere ihre Optionen, den ausgewählten Bereich und die betroffene Anzahl, solange die Informationen sichtbar sind. Formelbasierte Hilfsspalten zeigen ihre Logik direkt; bewahre dieses Arbeitsblatt zusammen mit dem Protokoll auf.

Die englischen Formeln hier nutzen Kommas. Sprache und Gebietsschema der Tabellenkalkulation können Funktionsnamen und Trennzeichen ändern; zum Beispiel verwendet niederländisches Excel SPATIES.WISSEN für TRIM, und Gebietsschemata mit Dezimalkomma nutzen häufig Semikolons zwischen Argumenten.

Excel erlaubt 1.048.576 Zeilen und 16.384 Spalten pro Arbeitsblatt; Google Sheets begrenzt die Zellen pro Datei. Die Leistung kann schon weit vor einer festen Grenze zum Problem werden. Häufig aktualisierte Daten oder Daten, die bereits in einer Datenbank liegen, eignen sich oft besser für einen gespeicherten SQL-Ablauf als für wiederholte manuelle Bearbeitungen in einer Tabellenkalkulation.

Eine SQL-Bereinigungsabfrage kann nutzbare Daten zurückgeben, ohne die Rohtabelle zu ändern. Jeder Ausdruck macht eine Regel ausdrücklich sichtbar, und ein Alias benennt die bereinigte Ausgabe.

Erstelle das Ergebnis Spalte für Spalte

Die folgende Abfrage eignet sich für PostgreSQL, wenn Betrags- und Datumstext bereits Umwandlungsprüfungen bestanden haben und die Menge numerisch ist:

SELECT DISTINCT
  order_id,
  LOWER(TRIM(email)) AS email,
  COALESCE(NULLIF(UPPER(TRIM(city)), ''), 'UNKNOWN') AS city,
  CAST(amount AS DECIMAL(10,2)) AS amount,
  CAST(order_date AS DATE) AS order_date
FROM raw_orders
WHERE order_id IS NOT NULL
  AND quantity > 0;

Bei E-Mail-Adressen werden überflüssige Leerzeichen entfernt und die Adressen in Kleinbuchstaben umgewandelt. Bei city entfernt TRIM Leerzeichen an den Enden, UPPER vereinheitlicht die Groß- und Kleinschreibung, NULLIF wandelt leeren Text in NULL um und COALESCE liefert „UNKNOWN“. Die CAST-Ausdrücke geben numerische Beträge und Datumswerte zurück. WHERE schließt fehlende IDs sowie nicht positive Mengen und Mengen mit NULL aus. DISTINCT entfernt wiederholte ausgewählte Ergebniszeilen.

Profiliere die Ausgabe nach jedem hinzugefügten Ausdruck. Eine komplizierte Abfrage kann erfolgreich ausgeführt werden, obwohl eine Zuordnung oder Umwandlung falsch ist.

Verstehe die Filterreihenfolge

Die relevante logische Reihenfolge ist FROM, WHERE, SELECT, DISTINCT, ORDER BY. WHERE sieht die Quellspalten, bevor die SELECT-Ausdrücke ihre Aliase erzeugen. Ein Alias bereinigt eine Rohspalte nicht innerhalb der WHERE-Klausel derselben Abfrage.

Um eine unveränderte Stadtspalte einheitlich zu filtern, nutze WHERE UPPER(TRIM(city)) = 'LISBON' oder speichere das bereinigte Ergebnis und filtere es in einer späteren Abfrage. Das Filtern der Rohspalte mit city = 'LISBON' kann Varianten übersehen, selbst wenn SELECT die angezeigte Stadt bereinigt.

CASE prüft Bedingungen der Reihe nach und gibt das erste passende Ergebnis zurück:

CASE
  WHEN LOWER(TRIM(status)) IN ('shipped', 'sent') THEN 'shipped'
  WHEN status IS NULL THEN 'unknown'
  ELSE LOWER(TRIM(status))
END AS status

Ohne ELSE wird ein nicht zugeordneter Wert zu NULL. Halte nicht zugeordnete Statuswerte sichtbar, bis ihre Bedeutung geklärt ist.

Wähle zwischen Filtern und Markieren

WHERE entfernt eine Zeile aus dem Ergebnis. Ein Kennzeichen behält die Zeile und markiert ein Problem, zum Beispiel CASE WHEN delivery_date < order_date THEN 1 ELSE 0 END AS date_issue. Prüfe erforderliche Datumsangaben gesondert auf NULL.

Zähle ausgeschlossene Zeilen ausdrücklich:

SELECT COUNT(*) FROM raw_orders
WHERE order_id IS NULL
   OR quantity <= 0
   OR quantity IS NULL;

Dies berücksichtigt jeden Grund, aus dem der frühere Filter eine Zeile ausschließt, einschließlich fehlender Mengen. Prüfe nach DISTINCT den betrieblichen Schlüssel mit GROUP BY und HAVING. Zeilen mit derselben ID, aber unterschiedlichen Beträgen überstehen DISTINCT und müssen weiterhin geklärt werden.

Speichere die Methode und wähle den richtigen Dialekt

CREATE VIEW clean_orders AS SELECT ... speichert eine Abfrage, die bei jeder Nutzung der Sicht aktuelle Quelldaten liest. CREATE TABLE clean_orders AS SELECT ... erstellt in vielen Dialekten ein gespeichertes Ergebnis; SQL Server nutzt häufig SELECT INTO. Bewahre die Abfrage und Kommentare auf, damit du das Ergebnis bei geänderten Eingaben neu erstellen kannst.

Funktionsnamen und Verhalten variieren zwischen SQL-Systemen. Prüfe den Dialekt im Hinblick auf das Einlesen von Datumsangaben, Zeichenlänge und fehlertolerante Umwandlung. UPDATE und DELETE ändern gespeicherte Datensätze: Prüfe vor der Ausführung die Zeilen mit derselben WHERE-Bedingung und SELECT und lege eine Sicherungskopie an. Ohne WHERE betreffen sie jede Zeile. Die Bereinigung mit SELECT ist ein nützlicher Standard für Datenanalysten mit reinem Lesezugriff.

Eine bereinigte Tabelle braucht eine Erklärung, wie sie erstellt wurde. Die Dokumentation ermöglicht einer anderen Person, einen berichteten Wert nachzuverfolgen, eine Entscheidung zu beurteilen und die Arbeit bei der nächsten Lieferung erneut auszuführen.

Schreibe einen hilfreichen Eintrag im Änderungsprotokoll

Ein Änderungsprotokoll ist eine datierte Aufzeichnung von Änderungen. Jeder Eintrag sollte Folgendes nennen:

• Datum und Verfasser.
• Datensatz und betroffene Spalte oder betroffener Bereich.
• Problem und sein ursprüngliches Ausmaß.
• Maßnahme einschließlich Formel, Abfrage oder Werkzeugoptionen.
• Anzahl betroffener Zeilen oder Werte.
• Grund und jede Quelle, mit der eine Korrektur bestätigt wurde.

Zum Beispiel: „2025-03-10, A. Silva, orders.city: Bei 412 Werten Leerzeichen entfernt und mit UPPER(TRIM(city)) in Großbuchstaben umgewandelt; 9 Schreibweisen auf 4 Städte reduziert; nötig für den Umsatz nach Stadt.“

Dieser Eintrag erklärt sowohl die Methode als auch ihren Zweck. „Städte bereinigt“ nennt weder die Vergleichsregel noch den Umfang oder die Anzahl. Halte Einträge während der Arbeit fest, solange die Meldung des Werkzeugs über betroffene Zeilen und der Grund für eine Entscheidung noch verfügbar sind.

Halte Entscheidungen ebenso wie Vorgänge fest

Eine Formel erklärt nicht, warum sie angemessen war. Nenne bei Dubletten die Schlüsselspalten und den Datensatz, der erhalten blieb. Gib bei fehlenden Beträgen an, ob sie wiederhergestellt, ausgeschlossen, ersetzt oder als fehlend belassen wurden. Hast du Werte ersetzt, halte die Schätzregel und die Kennzeichenspalte fest. Nenne bei einer Korrektur die Rechnung oder den Quelldatensatz, die den tatsächlichen Wert geliefert haben.

Protokolliere auch markierte, aber beibehaltene Zeilen. Ein Prüfer muss ein bekanntes Problem, das du sichtbar gelassen hast, von einem Problem unterscheiden können, das die Bereinigung übersehen hat. Ändert sich eine Behandlung später, ergänze einen datierten Eintrag, der die neue Entscheidung erklärt.

Bewahre die Methode und ihren Verlauf

Zellnotizen in Tabellenkalkulationen können eine einzelne Korrektur erklären, während ein Tabellenblatt für das Änderungsprotokoll die vollständige Abfolge enthält. Der Versionsverlauf von Google Sheets kann frühere Dateistände wiederherstellen. Der Versionsverlauf von Excel ist für Dateien verfügbar, die in OneDrive oder SharePoint gespeichert sind. Der Verlauf hilft bei der Wiederherstellung einer Datei, aber ein separates Protokoll erklärt die Absicht der Änderungen.

SQL-Kommentare können eine Regel neben ihrem Ausdruck erklären. Nutze -- für eine Zeile oder /* ... */ für einen längeren Kommentar. Bewahre Abfrageversionen in einer Versionsverwaltung oder einem Speicher mit Versionsverlauf auf. Ein einfacher gemeinsamer Ordner macht die aktuelle Abfrage zugänglich, belegt aber keine früheren Versionen.

Ermögliche die erneute Ausführung

Ein Prozess ist reproduzierbar, wenn dieselben Roheingaben und Regeln dieselbe bereinigte Ausgabe erzeugen. Gespeicherte Abfragen und aufbewahrte Hilfsformeln zeigen ihre Regeln. Damit jemand eine manuelle Zelländerung genau wiederholen kann, braucht es die Datensatz-ID, den alten Wert, den neuen Wert und den Grund.

Bewahre Rohdatenkopie, Umwandlungsschritte, Zuordnungstabellen und Protokoll zusammen auf. Hängt eine Regel von einer Reihenfolge beim Behalten ab, etwa beim Behalten des neuesten Kundendatensatzes, speichere auch die Sortier- oder Auswahlregel. Um ein Ergebnis zu reproduzieren, braucht man neben den Softwareausdrücken auch die Entscheidungen.

Gib das Protokoll und einen kurzen Bereinigungsbericht an die Personen weiter, die die Daten nutzen. Wer Ergebnisse interpretiert, muss wissen, dass Testbestellungen entfernt wurden oder dass für einen Teil des Kundenstamms Altersangaben fehlen. Melde wiederkehrende Fehler an der Quelle dem Datenverantwortlichen, damit das Formular, der Import oder der Export korrigiert werden kann, der sie verursacht.

Verifizierung prüft, ob die Bereinigung die Probleme behoben hat, ohne neue zu schaffen. Sie prüft auch, ob die verbleibenden Daten weiterhin die ursprüngliche Frage beantworten. Nutze Tests und Vergleiche für ganze Spalten und untersuche anschließend einzelne Datensätze.

Stimme Zeilenzahlen Schritt für Schritt ab

Beginne mit der Anzahl der Rohzeilen. Ziehe die in jeder Phase entfernten Zeilen ab und zähle jede Entfernung einmal. Für 1.250 Rohzeilen, 37 entfernte doppelte Kopien und 12 später ausgeschlossene ungültige Zeilen:

Die erwartete Anzahl bereinigter Zeilen beträgt 1.201. Eine abweichende Anzahl muss vor der Freigabe erklärt werden. Prüfe den Schritt, bei dem die Anzahl erstmals abwich. Ein Filter könnte Zeilen bei einer Tabellenoperation verborgen haben, oder ein ausgewählter Bereich könnte einen Teil der Tabelle ausgelassen haben.

Hat eine Zeile mehrere Probleme, ziehe sie nicht mehrfach ab. Nutze die tatsächliche Zeilenzahl vor und nach jedem Vorgang. Halte die Anzahl entfernter Zeilen und die Anzahl korrigierter Zellen getrennt fest: Das Ändern von zehn Stadtzellen entfernt keine zehn Zeilen.

Wiederhole Profilierung und Regeln

Führe die ursprünglichen Prüfungen für die bereinigte Ausgabe erneut aus. Vergleiche jedes Ergebnis mit der im Protokoll festgehaltenen Entscheidung:

• Die Anzahlen fehlender Werte entsprechen den Werten, die als fehlend belassen, wiederhergestellt oder ersetzt wurden.
• Kategorielisten enthalten die beabsichtigten Standardschreibweisen.
• Minima und Maxima von Zahlen und Datumsangaben sind gültig.
• Der Schlüssel hat keine ungeklärten Dubletten.
• Datentyp-, Pflichtfeld-, Bereichs- und Konsistenzprüfungen zeigen keine ungeklärten Verstöße.

Eine Anzahl von null leeren Feldern nach dem Ersetzen bedeutet nicht, dass keine Werte fehlten. Prüfe auch die Kennzeichen. Ein wiederholter betrieblicher Schlüssel kann nach DISTINCT bestehen bleiben, wenn sich ein ausgewähltes Feld unterscheidet. Prüfe diesen Schlüssel daher direkt.

Stimme Beträge ab und untersuche Datensätze

Wenn keine Werte korrigiert oder ersetzt wurden, sollte die bereinigte Summe der Rohsumme abzüglich der Beträge in entfernten Zeilen entsprechen. Eine Rohsumme von 152.400 abzüglich 3.100 aus entfernten doppelten Bestellungen sollte 149.300 ergeben. Wurden Werte korrigiert oder ersetzt, berücksichtige diese Änderungen gesondert bei der Abstimmung.

Vergleiche Datensätze aus mehreren Teilen der Tabelle mit den Rohdaten und, wo möglich, der ursprünglichen Quelle. Konzentriere dich auf Zeilen, die von Schritten mit Risiken betroffen sind: Ersetzungen, Aufteilen, Einlesen und Typumwandlung. Untersuche Namen auf zu weit gefasste Ersetzungen, Spalten auf verschobene Ausgaben einer Aufteilung, Identifikatoren auf verlorene Nullen und Datumsangaben auf vertauschten Tag und Monat. Ein plausibles Datum kann trotzdem das falsche Datum sein.

Prüfe die Abdeckung der Fragestellung

Stelle sicher, dass die bereinigten Daten weiterhin den benötigten Zeitraum, die benötigten Regionen, Filialen, Produkte und Felder abdecken. Werden alle Bestellungen einer Filiale entfernt, weil deren Datumsangaben ein anderes Format nutzen, ändert sich die analysierte Grundgesamtheit. Korrigiere die Einleseregel, wenn möglich, und berichte über jede weiterhin fehlende Abdeckung.

Schreibe einen kurzen Bericht, der Quelle und Zeitraum, Probleme und Anzahlen, ergriffene Maßnahmen, Ausschlüsse oder Ersetzungen, Verifizierungsergebnisse und verbleibende Einschränkungen nennt. Zum Beispiel: „Bei 12 % der Kunden fehlt die Altersangabe; Ergebnisse nach Alter beschreiben die übrigen 88 %.“ Ein Ergebnis sollte unter Berücksichtigung dieser Abdeckung interpretiert werden.

Wiederhole Bereinigung und Verifizierung, wenn neue Rohdaten eintreffen. Gespeicherte Regeln machen den Prozess wiederholbar, aber neue Kategorien, geänderte Formate und neue Muster fehlender Werte müssen weiterhin geprüft werden.