🤖 注意：英語以外の言語の記事はAIの助けを借りて翻訳されています。正確性を目指していますが、表現に若干の違いが生じる場合があります。改善点に気づかれた場合は、ぜひご意見をお寄せください。 |
これがなぜ重要なのかを理解する最良の方法は、例を考えることです。
例えば、マーケティングチームが新製品をどのタイプのコーヒーショップで販売すべきかを判断するのを手伝ってほしいと頼まれたとしましょう。データの説明には、レビュー数が欠損している行はすべて削除するように指示があります。もしこれを行わなかったとすると、特定のタイプのショップと協力すべきだとマーケティングチームに伝えるかもしれません。数か月後、その方法はうまくいかず、会社は損失を出しています。なぜそうなったのかを振り返って分析した結果、欠損値を削除しなかったことが原因だと判明しました。
これは極端で作り話のように思うかもしれませんが、データを検証しないことによる潜在的な結果です。学習中は影響が小さく、期待した答えが得られない程度かもしれません。しかしビジネスにとっては影響は非常に大きくなります。検証やクリーニングをしないことで、不正確な情報に基づいて意思決定がなされてしまうのです。
すべてのプロジェクトデータセットには、修正すべきいくつかの問題が含まれています。これを簡単にするために、どこに問題があるかを正確に教えることもできますが、できるだけ実際の仕事に近い形にしたいと考えています。カラムがどのように構成されるべきかの情報を提供しますので、その基準を満たしていることを確認してください。これは実際のデータ業務で求められることと同じです。
これには以下が含まれる場合があります：
値を別の値に置き換える
特定の条件に合う（または合わない）行を削除する
データの誤りを修正する（例：スペルミス）
データ型を変換する（文字を数値に変換するなど）
アソシエイトレベルの方には、通常より具体的な指示を出します。例えば、欠損値に対して正確に何をすべきかを伝えます。しかし上位レベルの方には、時には自身の判断を使うことが求められます。
多くの受験者がこの分野を難しいと感じているため、この点を詳しく解説するウェビナーを作成しました。ぜひご覧ください！
上位レベル：データアナリストおよびデータサイエンティスト
上位レベルのデータアナリストおよびデータサイエンティスト認定を受験される場合、レポートの作成が求められ、人間の採点者によって評価されます。
私のアドバイスは、採点者が評価しやすいようにすることです。各カラムについて1つずつポイントをリストにまとめてください。そうすれば、採点者はすべてのカラムを確実に確認したと判断でき、不合格にすることができなくなります。採点を容易にするだけでなく、ご自身も何をしたかを把握し、すべてのカラムをチェックしたことを確信できます。
以下は例示的な解答です：
元のデータは200行9列でした。検証後は198行が残っています。以下は各カラムに対して行った処理の説明です：
Region（地域）：期待通り10のユニークな地域がありました
Place name（場所名）：185のユニークな場所名があり、一部重複していることを示しています。これはデータ提供チームに確認すべきです
Place type（場所タイプ）：コーヒーショップ、カフェ、エスプレッソバー、その他の4つの値のみで、期待通りです
Rating（評価）：値は3.9から5.0までの範囲で、すべて期待値内です
Reviews（レビュー）：レビューの値が欠損している行を削除しました。これは2行で、198行のデータが残りました
Price（価格）：3つの価格カテゴリがあり、期待通りです
Delivery option（配達オプション）：2つの配達オプション（True/False）があり、期待通りです
Dine-in Option（店内飲食オプション）：欠損値をFalseに変換しました。もともとFalseの値はありませんでした
Takeaway option（テイクアウトオプション）：欠損値をFalseに変換しました。こちらも元々Falseの値はありませんでした