データ・分析
データクレンジング
Data Cleansing
読み：でーたくれんじんぐ
データの誤り、欠損、形式の不統一などを検出し、利用目的に合うよう修正・整理する作業です。
01初心者向け
まず意味をつかむ
住所や日付の書き方をそろえたり、明らかな入力誤りを調べたりします。勝手に値を置き換えるのではなく、何を正しいとするかが必要です。
02実務者向け
仕事でどう使うか
品質規則、修正できる範囲、判断者を決めます。変更前の値と修正理由を残し、自動修正できないものは確認へ回して、再発する入力条件も改善します。
03専門家向け
判断を一段深める
異常に見える値が、実際には重要な例外を表す場合があります。利用目的と元の意味を確認し、推測による補完を事実と区別します。処理後の見た目だけでなく、判断に使える品質になったかを検証します。
IN PRACTICE
具体例で考える
架空の受講者名簿で全角・半角をそろえ、存在しない日付は自動で推測せず、登録元へ確認して修正します。
理解を助けるための架空の例です。品質規則で検出
根拠に基づく修正・確認
入力元への改善
不明な値を一律に埋めることを推奨する図ではありません。
ここは誤解しやすい
きれいな形式へそろえることと、内容が正しいことを同じものとして扱わないようにします。
この知識を、組織の力へ。