Plan de Nettoyage des Données pour Exportations Excel Désordonnées
Élaborez un plan de standardisation champ par champ, avec règles de typage, jointures et contrôles qualité pour transformer des exports bruts en tableaux prêts à l’analyse.
Aperçu du prompt
Conseils pour vous
- Incluez plus de 50 lignes d’échantillons pour couvrir des cas limites réalistes. - Fixez tôt une norme unique de fuseau horaire. - Versionnez le dictionnaire de données et suivez les modifications. - Ajoutez une feuille d’exceptions pour débloquer les exécutions quotidiennes.
De l’équipe opérationsNexusAi TechnologyProblème résolu
Des en-têtes, types et identifiants incohérents provoquent des jointures cassées et des rapports peu fiables. Les équipes ont besoin d’une spécification de nettoyage pratique et réutilisable.
Règles par champ
Typage explicite, formats et valeurs autorisées.
Conception des jointures
Assemblage fiable entre fichiers avec clés et secours.
Suite de validation
Tests unitaires et seuils pour détecter les régressions.
Gestion des exceptions
Mise en quarantaine des lignes erronées sans bloquer l’exécution.
Instructions du prompt IA
Agissez en tant que responsable qualité des données en créant un plan de nettoyage pour des exports Excel récurrents.
Pourquoi cette tâche est importante :
Des données mal standardisées compromettent les jointures, les indicateurs clés et la confiance. Un plan reproductible réduit les retouches et stabilise les rapports.
Limites importantes :
- Pas de conseils vagues ; fournissez des règles précises par champ, valeurs acceptables et logique de secours.
- Supposons qu’un ETL low-code ou Python puisse implémenter le plan.
Entrées utilisateur :
- En-têtes d’export exemple, 50 à 200 lignes d’échantillon si possible.
- Clés métier connues, tables de correspondance et indicateurs cibles.
- Fréquence de rafraîchissement attendue et SLA.
Objectifs :
1) Normaliser les en-têtes, types et formats de date.
2) Définir déduplication, suppression d’espaces, gestion des valeurs nulles et assemblage d’identifiants.
3) Spécifier la logique de jointure entre fichiers (clés primaires, clés composites, règles floues si nécessaire).
4) Fournir des contrôles de validation et un rapport d’exceptions.
Processus d’analyse :
1) Créer un dictionnaire de données : Champ, Source, Type (cible), Valeurs autorisées, Règles de transformation, Exemples.
2) Définir clés canoniques et clés de substitution si besoin.
3) Décrire les règles de déduplication (ex. : garder la plus récente selon UpdatedAt, départage selon Status).
4) Esquisser les tests unitaires : comptage des lignes, vérifications de type, intégrité référentielle, rapprochement des métriques.
Format de sortie requis :
- Dictionnaire de données (tableau)
- Règles de transformation (liste d’étapes)
- Plan de jointure (schéma textuel)
- Suite de validation (checklist)
- Gestion des exceptions (workflow)
Contrôles qualité :
- Signaler les champs ambigus et proposer une norme de nommage.
- Fournir au moins 5 cas de test avec résultats attendus.
Checklist de vérification :
- Les clés sont-elles stables entre les rafraîchissements ?
- Les dates et fuseaux horaires sont-ils cohérents ?
- Les tables de correspondance sont-elles complètes et versionnées ?
Instruction finale :
Demandez tout échantillon manquant, puis produisez le plan complet de nettoyage prêt à être implémenté.
Résultat attendu
Livrables : - Dictionnaire de données : CustomerID (chaîne → UUID), OrderDate (date, ISO-8601), Amount (décimal, 2 décimales) - Règles de transformation : suppression des espaces, codes pays en majuscules, coercition des dates, décimales nulles à zéro - Plan de jointure : Orders.CustomerID → Customers.CustomerID ; secours via Email normalisé - Validation : nombre de lignes dans ±5 %, doublons OrderID < 0,1 %, intégrité référentielle 100 %
Parcours de mise en œuvre
Rédiger le plan avec ChatGPT
Collez les en-têtes d’échantillon et 50 à 200 lignes dans ChatGPT avec cette invite. Demandez un dictionnaire de données, des transformations, un plan de jointure et une suite de validation. Attendez-vous à un plan structuré.
20-30 minExplorer les cas limites avec Gemini
Fournissez à Gemini les mêmes échantillons et demandez les champs risqués, clés ambiguës et contre-exemples. Comparez ses cas limites avec le brouillon et réconciliez les différences dans votre tableur.
15-20 minFinaliser les notes d’implémentation
Ajoutez les règles de typage finales et les tests dans un onglet Excel ou Sheets. Marquez les colonnes nécessitant coercition ou recherches. Remettez le plan à l’ingénierie pour le scripting ETL.
10-15 min