分散処理の学習(Apache Spark)

pysparkにて、分散処理によるデータ前処理、機械学習のコーディングを学ぶ

• dataframeの基本
  コードリンク

• 基本的なdataframeの関数
  コードリンク

• sparkによるSQL操作
  コードリンク

• フィルター、独自定義関数、データベース入出力など
  コードリンク

• 機械学習_教師有り
  コードリンク

• 機械学習_決定木系
  コードリンク

• 機械学習_教師無し
  コードリンク

• グリッドサーチ、クロスバリデーション
  コードリンク

• PCAによる特徴量数選択
  コードリンク

• kafkaとsparkの連携
  Githubのコードリンク