（未）時系列データのクラスタリング方法例2021.06.19 05:31時系列分析にて、傾向抽出の方法で悩んだ時の備忘録1. DTW(動的時間伸縮法) 特徴 ２つの時系列の各点の距離を総当たりで求め、最短となるパスを見つける 時系列同同士の長さや周期が違っても類似度を求められる 総当たりなので、計算コスト高い プログラム例 結果例
状態空間モデル2021.05.01 01:35状態方程式：予測対象分布 x_t = T_t * x_(t-1) + R_t * ξ_t ξ_t～N(0, Q_t) 観測方程式：予測対象の観測値の分布 y_t = Z_t * x_t + ε_t ε_t～N(0, H_t)フィルタリング：手に入った観測値で、予測さ...
python Poolによる並列処理で、複数モデルを並列作成2020.07.04 13:18Facebook Prophetを利用したkaggleのnotebookで、Poolを利用していたので、Poolのメモ一つのモデルで、データ毎にモデルを作成したいときに、便利参考サイト：starmapでPythonでの並列処理の結果をリストで受け取るmultiprocessing...
M-5 Forecasting2020.07.03 03:10内容：アメリカ３州のウォルマート店舗の商品販売数の予測方針：８日間しかないので、以下の方針で進める目標：時系列データの分析方法、モデリング方法の学習時間配分：データ分析：３日間前処理、モデリング：５日間(※時間がないので、パラメータチューニングはあまり行わない）結果：Public...
House Prices: Advanced Regression Techniques2020.06.19 13:24内容：中古住宅価格の回帰分析目標：上位２割に入るまで以下の、各Versionは、notebookのバージョン(Ver1が一番古い)Ver5で、目標を達成したので、新しい案が出るまで一旦終了Ver5パブリックスコア：0.11915notebookリンク前回までの反省：外れ値処理：デ...
lightGBMとXGBoostの交差検証方法2020.06.17 16:14参考サイト：Python: LightGBM を使ってみるTrying to do k-fold CV on LightGBMPython: XGBoost を使ってみるRegression Example with XGBRegressor in PythonHow to Ev...
nested交差検証とパラメーターチューニング2020.06.16 12:37参考サイト：[Python] scikit-learn の交差検証で分割データをシャッフルするパラメータ選択を伴う機械学習モデルの交差検証についてStacked Regressions : Top 4% on LeaderBoardTune your preprocessing ...
「 testスコア > trainスコア 」について2020.06.15 15:03titanicでも、House pricesでも、testスコアの方がtrainスコアより高いケースが度々出てきたので、何故そうなり、どんな意味があるか調べたメモ。参考サイト：Test accuracy higher than training. How to interpret...
パラメータチューニング、交差検証などのメモ2020.06.15 13:38参考サイト：一流の「ものさし」職人になろう Cross Validation (交差検証)を深堀り機械学習、ディープラーニングでの学習データとテストデータの分割手法についてStratifiedKFold v.s KFold v.s StratifiedShuffleSplitそも...
時系列データにおける交差検証用のデータ分割注意点2020.06.13 04:02『前処理大全』第５章：分割より時系列データでは、単純な交差検証は有効でない。未来のデータを使って予測モデルを作成し、過去のデータを検証検証しているケースが混ざり、不当にモデル精度が高くなってしまうため。例えば、物件価格を予測するモデルを考える時、本来は過去のデータから予測モデルを...
複数モデルの結果を組み合わせるstacked-model作成について2020.06.09 14:43House Pricesで使われていた、複数モデルの予測結果を一つにまとめる手法について参考サイト：Stacked Regressions : Top 4% on LeaderBoardsklearn準拠モデルの作り方Stackingクラス設計 以下の３つを行うBestEstim...
Normalization時と、交差検証時のデータリークに関する注意書き2020.06.03 14:53前処理で標準化するタイミングを間違えるとdata leakingが発生するので、注意メモ。参考サイトData Leakage in Machine LearningAvoiding Data Leakage in Machine LearningAutomate Machine ...