Datenbereinigungsplan für unordentliche Excel-Exporte
Erstellen Sie einen Feld-für-Feld-Standardisierungsplan mit Typisierungsregeln, Verknüpfungen und QA-Prüfungen, um Rohdaten in analysebereite Tabellen zu verwandeln.
Prompt-Übersicht
Tipps für dich
- Fügen Sie 50+ Beispielzeilen für realistische Randfälle hinzu. - Legen Sie frühzeitig einen einheitlichen Zeitzonenstandard fest. - Versionieren Sie das Datenwörterbuch und verfolgen Sie Änderungen. - Fügen Sie ein Ausnahmeblatt hinzu, um tägliche Läufe nicht zu blockieren.
Vom Operations-TeamNexusAi TechnologyProblem, das es löst
Uneinheitliche Überschriften, Datentypen und IDs führen zu fehlerhaften Verknüpfungen und unzuverlässigen Berichten. Teams benötigen eine praktische, wiederverwendbare Bereinigungsspezifikation.
Feldspezifische Regeln
Klare Typisierung, Formate und erlaubte Werte.
Verknüpfungsdesign
Zuverlässiges Verknüpfen über Dateien hinweg mit Schlüsseln und Fallbacks.
Validierungssuite
Unit-Tests und Schwellenwerte zur Erkennung von Regressionen.
Ausnahmebehandlung
Quarantäne fehlerhafter Zeilen ohne Blockierung des Ablaufs.
KI-Prompt-Anweisungen
Agieren Sie als Datenqualitätsleiter und erstellen Sie einen Bereinigungsplan für wiederkehrende Excel-Exporte.
Warum diese Aufgabe wichtig ist:
Schlecht standardisierte Daten zerstören Verknüpfungen, KPIs und Vertrauen. Ein wiederholbarer Plan reduziert Nacharbeit und stabilisiert die Berichterstattung.
Wichtige Vorgaben:
- Keine vagen Empfehlungen; liefern Sie genaue Feldregeln, zulässige Werte und Fallback-Logik.
- Gehen Sie davon aus, dass Low-Code- oder Python-ETL die Umsetzung des Plans ermöglicht.
Benutzereingaben:
- Beispielhafte Exportüberschriften, wenn möglich 50–200 Beispielzeilen.
- Bekannte Geschäftsschlüssel, Nachschlagetabellen und Ziel-KPIs.
- Erwartete Aktualisierungsfrequenz und SLA.
Ziele:
1) Normalisieren Sie Überschriften, Datentypen und Datumsformate.
2) Definieren Sie Deduplizierung, Trimmen, Nullbehandlung und ID-Verknüpfung.
3) Spezifizieren Sie Verknüpfungslogik über Dateien hinweg (Primärschlüssel, zusammengesetzte Schlüssel, bei Bedarf unscharfe Regeln).
4) Stellen Sie Validierungsprüfungen und Ausnahmeberichte bereit.
Analyseablauf:
1) Erstellen Sie ein Datenwörterbuch: Feld, Quelle, Typ (Ziel), erlaubte Werte, Transformationsregeln, Beispiele.
2) Definieren Sie kanonische Schlüssel und Surrogatschlüssel, wenn nötig.
3) Beschreiben Sie Deduplizierungsregeln (z. B. Behalte den neuesten Eintrag nach UpdatedAt, Tiebreaker nach Status).
4) Skizzieren Sie Unit-Tests: Zeilenzählungen, Typprüfungen, referenzielle Integrität, Metrikabgleich.
Erforderliches Ausgabeformat:
- Datenwörterbuch (Tabelle)
- Transformationsregeln (Schritt-für-Schritt-Liste)
- Verknüpfungsplan (Diagrammtext)
- Validierungssuite (Checkliste)
- Ausnahmebehandlung (Workflow)
Qualitätskontrollen:
- Markieren Sie mehrdeutige Felder und schlagen Sie einen Namensstandard vor.
- Liefern Sie mindestens 5 Testfälle mit erwarteten Ergebnissen.
Überprüfungscheckliste:
- Sind die Schlüssel über Aktualisierungen hinweg stabil?
- Sind Datum/Zeit und Zeitzonen konsistent?
- Sind Nachschlagetabellen vollständig und versioniert?
Abschließende Anweisung:
Fordern Sie fehlende Beispiele an und erstellen Sie dann den vollständigen Bereinigungsplan zur Umsetzung.
Erwartetes Ergebnis
Lieferergebnisse: - Datenwörterbuch: CustomerID (String → UUID), OrderDate (Datum, ISO-8601), Amount (Dezimal, 2 Nachkommastellen) - Transformationsregeln: Text trimmen, Ländercodes in Großbuchstaben, Datumsangaben erzwingen, Dezimalwerte mit Null zu Nullwerten - Verknüpfungsplan: Orders.CustomerID → Customers.CustomerID; Fallback über normalisierte E-Mail - Validierung: Zeilenanzahl innerhalb ±5 %, doppelte OrderID < 0,1 %, referenzielle Integrität 100 %
Umsetzungsprozess
Entwurf des Plans mit ChatGPT
Fügen Sie Beispielüberschriften und 50–200 Zeilen mit diesem Prompt in ChatGPT ein. Fordern Sie ein Datenwörterbuch, Transformationsregeln, Verknüpfungsplan und Validierungssuite an. Erwarten Sie einen strukturierten Plan.
20-30 minRandfälle mit Gemini prüfen
Geben Sie Gemini dieselben Beispiele und bitten Sie um riskante Felder, mehrdeutige Schlüssel und Gegenbeispiele. Vergleichen Sie die Randfälle mit dem Entwurf und gleichen Sie Unterschiede in Ihrer Tabelle ab.
15-20 minImplementierungshinweise finalisieren
Fügen Sie finale Typisierungsregeln und Tests in ein Excel- oder Sheets-Tabellenblatt ein. Markieren Sie Spalten, die erzwungen oder nachgeschlagen werden müssen. Übergeben Sie den Plan an die Entwicklung für das ETL-Scripting.
10-15 min