optunaによるパラメーターチューニング2020.04.28 14:081. optuna によるLightGBMのパラメーターチューニング参考サイト：Optuna の拡張機能 LightGBM Tuner によるハイパーパラメータ自動最適化XGBoostでOptunaを使うOptunaでパラメータチューニングoptunaでハイパーパラメータ最適化O...
対数変換について2020.04.26 08:37参考サイトLog TransformationsA Comprehensive Guide to Data ExplorationFundamental Techniques of Feature Engineering for Machine LearningLogarithm...
8章 SQLで小さな分析を積み重ねる2020.04.26 03:14■■■小さな分析を積み重ねるアドホック分析■■■データと対話し、全体から部分へ分析を進めるデータを分けるのは「時間ごと」「グループごと」■■■ファクトデータを活かす時系列分析■■■■時系列分析■目的今後の動きを予測する異常値の原因を突き止めるファクトデータ：実験 / 観測データを...
7章 ウィンドウ関数2020.04.21 03:51■■■概要■■■■ウィンドウ関数のRANK関数の利用■例）商品価格で順位付け・item_purchase_logテーブル item_name|item_category|action_date|user_id|price| ---------|-------------|--...
前処理に関する各種疑問点の確認2020.04.19 23:45(1) min-maxとstandardizationの使い分けどちらも試していい方を取るしか無い。RobustScalerなど別な手法も効果がある場合があるので上記２つ以外の方法を試してみる。線形モデル、勾配効果法など各変数のスケールが関係するモデリングには、変数のスケーリング...
特徴量選択で利用する各種手法2020.04.19 01:32参考サイト：▶ Feature selection — Correlation and P-value▶ How to Choose a Feature Selection Method For Machine Learning▶ Feature Select...
正規化(min-max)と標準化(standardization)2020.04.18 04:20参考サイト：About Feature Scaling and NormalizationNormalization vs Standardization — Quantitative analysisScale, Standardize, or Normalize with S...
6章 JOINとUNION2020.04.18 03:58■■■ JOIN句によるテーブル結合 ■■■■内部結合■・テーブル1：item_purchase_log item_name|item_category|action_date|user_id|price| ---------|-------------|----------...
5章 データをさらに活用するためのテクニック2020.04.12 03:36■■■サブクエリを使いこなす■■■■サブクエリとは例）・テーブル item_name|item_category|action_date|user_id|price| ---------|-------------|-----------|-------|-----| コー...
４章 分析を効率化するSQLによる前処理2020.04.06 02:53■CASE式によるラベルの変換・table user_id|create_browser| U00001 | 1| U00002 | 2| U00003 | 3|・コード値をラベルに置き換えるクエリ ...
事前準備2020.04.04 03:03１．Java JREインストール コマンド： sudo apt-get update sudo apt install default-jre２．JDBCインストール ① 以下のサイトよりMySQL用のJDBCコネクタをダウンロード /usr/s...
SQL復習１2020.04.03 01:25『SQLデータ分析・活用入門』 より■学習方法■ １．MySQLに学習用データ保存 ２．SQLクライアントのSQL Workbench/J DBeaverでMySQLに接続してクエリ叩く■準備■▶ 事前準備■コンテンツ■▶ ４章：分析を効率化するSQLによる...