データサイエンティスト認定資格を目指す場合、与えられたビジネス課題に適切なモデルを選択し適用する能力を示す必要があります。
具体的には、以下を求めています:
問題の種類(回帰、分類、クラスタリング)を正しく特定していること
その問題に対して基準として使用するモデルを選択し、適合させていること
提供された問題に対して比較用のモデルを選択し、適合させていること
加えて:
問題の種類に適した方法で2つのモデル/アプローチの性能を比較していること
モデル比較が選択したアプローチについて何を示しているかを説明していること
ビジネス応用に関する追加の要件もあるのでご注意ください。評価基準のビジネスフォーカスおよびビジネスメトリクスのセクションをこちらでご覧ください。
まず最初に示してほしいのは、ビジネスの問題を分析問題に変換できることです。ビジネスの視点から提示された問題をお渡ししますが、それはどのタイプのモデリング問題でしょうか?回帰問題ですか?分類問題ですか?教師なしクラスタリング問題ですか?
(ヒント:その3つのうちのいずれか一つだけです)。
例えば、ビジネスがレビュー数の多い・少ないを予測したい場合を考えます。二値(多いかそうでないか)の結果を予測したいので、これは二値分類問題になります。
そして、それだけを教えていただければ十分です。
問題の種類が分かったら、モデルの適合を始めましょう。避けるべきことが2つあります。1つはモデルを多く適合させすぎること、もう1つはモデルが少なすぎることです。
上記の評価基準からわかるように、2つのモデルを適合させることを求めています。モデルを開発する際は、まずシンプルなものを基準として使うことが良い練習です。これを基に、他に適合させるモデルと比較できます。
私のアドバイスは、基準モデルは非常にシンプルに保つことです。線形回帰やロジスティック回帰を習ったことを思い出してください。今こそそれらの手法を使う時です。適合が簡単で解釈もしやすく、出発点として最適です。
そこからは、適切と思われる任意のモデルを適合させてかまいません。ただし、追加で適合させるモデルは1つだけで十分です。2つ目のモデルを適合させるのを忘れる人が多い一方で、見かけるもう一つの問題は、過去に見たすべてのモデルを適合させてしまうことです。これはいかなる分析プロジェクトでも推奨されません。実技試験では、少数のモデルに絞って適合させ、問題解決に適した手法を選べる能力を示すことを重視します。
2つのモデルができたら、どちらのモデルがより良い仕事をしているかを判断する必要があります。評価基準については、モデルの技術的評価を行っていることを見たいと思います。コースとは異なり、ここではモデル比較に使う方法を自分で選択しなければなりません。
そして評価が終わったら、その結果からモデルについて何が分かるかも教えてください。どちらのモデルがより良い性能を示していますか?与えられたビジネス課題に取り組むためにどちらのモデルを推奨しますか?長く書く必要はありませんが、モデル開発プロセスから得た学びを示してほしいのです。