メインコンテンツにスキップ

データエンジニア向け

データ管理:データの収集、保存、利用のプロセス。データ収集、データクリーニングと変換、データ保存、データ品質、およびデータセキュリティを含みます。

アソシエイト(レベル1)

データ抽出、結合、集計タスクを実行する(SQL)

  • PostgreSQLを使用して、グループごとに数値、カテゴリ変数、日付を集計する。

  • PostgreSQLを使用して、データベーススキーマを解釈し、複数のテーブルを行または列で結合する。

  • PostgreSQLを使用して、さまざまな条件に基づいてデータを抽出する。

  • PostgreSQLのクエリ内でサブクエリを使用して、2番目のテーブル(例:別のテーブル、集計テーブル)を参照する。

Pythonを使用して標準的なデータインポート、結合、集計タスクを実行する

  • フラットファイルからPythonにデータをインポートする。

  • データベースからPythonにデータをインポートする。

  • Pythonを使用して、グループごとに数値、カテゴリ変数、日付を集計する。

  • Pythonを使用して、複数のテーブルを行または列で結合する。

  • Pythonを使用して、さまざまな基準に基づいてデータをフィルタリングする。

分析のためにデータを準備するクリーニングタスクを実行する(SQLおよびPython)

  • 特定のパターンに一致する文字列をデータセット内で照合する。

  • 値をデータ型間で変換する。

  • 文字列操作によってカテゴリカルおよびテキストデータをクリーニングする。

  • 日付および時間データをクリーニングする。

データ品質を評価し、検証タスクを実行する(SQLおよびPython)

  • 欠損値を特定し、置換する。

  • さまざまな種類のデータ検証タスクを実行する(例:一貫性、制約、範囲検証、一意性)。

  • データセット内のデータ型を特定し、検証する。

既存のコードを修正して非標準フォーマット(例:json)からデータを収集する(Python)

  • 提供されたコードを適応させて、Pythonを使用してAPIからデータをインポートする。

  • HTMLおよびJSONデータの構造を特定し、Pythonを使用してデータ処理および分析に利用可能な形式に解析する。

データベーススキーマを解釈し、データベース設計の概念(正規化、設計、スキーマ、データ保存オプションなど)を説明する

  • データベースの設計スキーマを説明する。

  • スキーマからテーブル間の接続方法および複数のテーブルを結合する方法を特定する。

  • データベース設計の概念(正規化、設計スキーマ、データ保存オプションなど)を説明する。

データ保存およびデータパイプラインの作成・管理に使用できるさまざまなクラウドツールを特定する

  • データ保存(ファイル保存およびデータベース)に使用される最も一般的なクラウドツールを特定する。

  • データパイプラインの作成および管理に使用される最も一般的なクラウドツールを特定する。

データエンジニアリングのためのプログラミング:基本的なプログラミング概念を適用してデータエンジニアリングの問題を解決する

アソシエイト(レベル1)

データ処理のための再利用可能な本番品質コードを書くために、一般的なプログラミング構造を使用する(Python)

  • 関数を定義、作成、実行する。

  • 制御フロー文を使用および作成する。

  • ループおよびイテレーションを使用および作成する。

バージョン管理、テスト、パッケージ開発を含む本番コードのベストプラクティスを示す(Python)

  • パッケージ開発の基本的な流れと構造を説明する。

  • パッケージやモジュール内でコードを文書化する方法を説明する。

  • テストの重要性を説明し、テスト文を書ける。

  • バージョン管理の重要性を説明し、バージョン管理の主要な概念を説明する。

効率的でモジュール化されたコードを書くために、ソフトウェアエンジニアリングの原則(OOP、プロファイリング、デバッグ)を示す(Python)

  • オブジェクト指向プログラミングの原則を使用して基本的なクラスおよびメソッドを作成する。

  • 非効率的またはメモリ/CPU集約的なコードを特定し、効率改善および要件のバランスをとるためのアプローチを提案できる。

  • 一般的なコーディングエラーを特定し、エラーを除去するためにコードを適応させる。

探索的分析:統計および視覚化を使用してデータセットの傾向を分析し特定する。

アソシエイト(レベル1)

データの特徴を示すためにデータ視覚化ツールを使用する(理論)

  • データの特徴を示す際に、異なる種類のデータ視覚化(棒グラフ、箱ひげ図、折れ線グラフ、ヒストグラム)を区別する。

  • データ視覚化(棒グラフ、箱ひげ図、折れ線グラフ、ヒストグラム)を解釈し、データの特徴を要約する。

特徴間の関係を表現するためにデータ視覚化を読み分析する(理論)

  • 特徴間の関係を表現する際に、異なる種類のデータ視覚化(散布図、ヒートマップ、ピボットテーブル)を区別する。

  • データ視覚化(散布図、ヒートマップ、ピボットテーブル)を解釈し、特徴間の関係を要約する。

こちらの回答で解決しましたか?