乱雑なExcelエクスポートのためのデータクリーニング設計図
フィールドごとの標準化計画、型ルール、結合方法、QAチェックを作成し、生のエクスポートデータを分析準備済みのテーブルに変換します。
プロンプト概要
あなたへのヒント
- 現実的なエッジケースを含む50行以上のサンプルを用意しましょう。 - 早期に単一のタイムゾーン基準を固定しましょう。 - データ辞書はバージョン管理し、変更履歴を追跡しましょう。 - 日次処理の妨げにならないよう例外シートを追加しましょう。
運用チームよりNexusAi Technology解決する課題
不一致なヘッダー、型、IDが結合の破損や信頼性の低いレポートを引き起こします。チームは実用的で再利用可能なクリーニング仕様を必要としています。
フィールドレベルのルール
明確な型指定、フォーマット、許容値を設定します。
結合設計
キーとフォールバックを用いた信頼性の高いファイル間結合。
バリデーションスイート
回帰を検出するユニットテストと閾値設定。
例外処理
処理を止めずに不良行を隔離します。
AIプロンプト指示
データ品質リードとして、定期的に発生するExcelエクスポートのためのクリーニング設計図を作成してください。
このタスクが重要な理由:
標準化が不十分なデータは結合やKPI、信頼性を損ないます。繰り返し使える設計図は手戻りを減らし、レポートの安定化を実現します。
重要な制約:
- あいまいなアドバイスは避け、正確なフィールドルール、許容値、フォールバックロジックを提供してください。
- 低コードまたはPythonのETLで実装可能な計画を想定してください。
ユーザー入力:
- サンプルのエクスポートヘッダー、可能であれば50〜200行のサンプルデータ。
- 既知のビジネスキー、参照テーブル、対象KPI。
- 期待される更新頻度とSLA。
目的:
1) ヘッダー、型、日付フォーマットの正規化。
2) 重複排除、トリム、NULL処理、ID結合の定義。
3) ファイル間の結合ロジックの指定(主キー、複合キー、必要に応じてあいまいルール)。
4) バリデーションチェックと例外レポートの提供。
分析ワークフロー:
1) データ辞書の作成:フィールド、ソース、型(ターゲット)、許容値、変換ルール、例。
2) 必要に応じて正規キーと代理キーを定義。
3) 重複排除ルールの説明(例:UpdatedAtで最新を保持、Statusでタイブレーク)。
4) ユニットテストの概要:行数、型チェック、参照整合性、メトリック照合。
必要な出力形式:
- データ辞書(表形式)
- 変換ルール(ステップリスト)
- 結合計画(図解テキスト)
- バリデーションスイート(チェックリスト)
- 例外処理(ワークフロー)
品質管理:
- あいまいなフィールドをフラグし、命名規則を提案。
- 期待結果を含むテストケースを最低5件提供。
検証チェックリスト:
- キーは更新間で安定していますか?
- 日付やタイムゾーンは一貫していますか?
- 参照テーブルは完全かつバージョン管理されていますか?
最終指示:
不足しているサンプルを確認し、実装準備が整った完全なクリーニング設計図を作成してください。
期待される成果
成果物: - データ辞書:CustomerID(文字列 → UUID)、OrderDate(日付、ISO-8601)、Amount(小数点以下2桁の10進数) - 変換ルール:テキストのトリム、国コードの大文字化、日付の強制変換、小数点以下ゼロはNULLに変換 - 結合計画:Orders.CustomerID → Customers.CustomerID;フォールバックは正規化されたEmail経由 - バリデーション:行数は±5%以内、重複OrderIDは0.1%未満、参照整合性100%
実装ステップ
ChatGPTで設計図を作成する
サンプルのヘッダーと50〜200行のデータをこのプロンプトと共にChatGPTに貼り付けてください。データ辞書、変換ルール、結合計画、バリデーションスイートの作成を依頼します。構造化された設計図が得られます。
20-30 minGeminiでエッジケースを検証する
同じサンプルをGeminiに渡し、リスクのあるフィールド、あいまいなキー、反例を尋ねてください。ドラフトと比較し、スプレッドシートで差異を調整しましょう。
15-20 min実装ノートを最終化する
ExcelやSheetsのタブに最終的な型ルールとテストを追加します。強制変換や参照が必要な列にマークを付け、ETLスクリプト作成のために設計図をエンジニアに引き渡します。
10-15 min
