正準相関分析(Canonical Correlation Analysis)2021.12.22 12:47以下にpythonコード記載https://yoshi-cow.github.io/statistics.github.io/canonical_correlation_analysis.html
線形回帰式でのカテゴリ変数使用時の注意点2021.12.04 04:51ランク落ち（多重共線性）最小二乗法でのパラメータ推定は、 α = (X・t_X)_(-1) ・t_X・Y （X：行列、t_X：Xの 転置行列、(X・t_X)_(-1)：(X・t_X)の逆行列、Y：行列）で行うが、データ間に相関があるとランク落ちが発生し、(...
時系列分析備忘録2021.01.31 12:54ラグ / 確率過程 / 期待値 / 分散、標準偏差 / 自己共分散 / 自己相関説明サイト：時系列分析で登場する統計量・用語を一つずつ解説原系列 / 差分系列、階差系列 / 対数系列 / 対数差分系列...
正規表現備忘録2020.09.09 05:29〇〇を含まない文字列の抽出参考サイト：http://www-creators.com/archives/1827特定のパターンで開始しない文字列 ^(?!PATTERN).*$特定のパターンで終了しない文字列 ^.*(?<!PATTERN)$特定のパターンを含まない文字列 ...
pandasのdataframeにPostgreSQLのデータを直接読み込むコード2020.09.09 00:36上記は、以下のgithubより、https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess
Local Regression（LOESS）によるグラフの平滑化2020.08.02 13:00参考サイト：平滑化スプラインと加法モデル時系列解析_理論編正しい方法で曲線を滑らかにする方法は？Local regressionLowess 平滑化ローカル加重回帰（LOESS/LOWESS）を使用した新しいデータの予測 statsmodels.apiの、sm.nonparame...
BigQueryからapiでjupyter notebookにクエリ結果を送る方法2020.07.24 14:44参考サイト：BigQuery Storage API を使用して BigQuery データを pandas にダウンロードするUsing BigQuery with PandasPython Client for BigQuery Storage API手順：BigQuery S...
位置情報型データの前処理2020.07.22 04:48 by 『前処理大全（第１２章）』12-1 日本測地系から世界測地系の変換、 度分秒から度への変換緯度／経度の表現方法世界測地系：今の世界標準。いくつか種類があるが、WGS84系が主流。日本測地系：明示から利用。現在は世界測地...
Hampel filterを用いた時系列データの外れ値処理2020.07.19 02:51参考サイト：Clean up your time series data with a Hampel filterOutlier Detection with Hampel Filter目的時系列データの外れ値を求める方法に信号処理を適用できると知ったので、そのメモHampel ...
pandas dataframeのデータ量減らす関数2020.07.11 05:05備忘録pandas dataframeのデータ量を減らしたい時は、以下のkaggle_notebookの関数を使えば良い。load data (reduce memory usage)
第１０章：日時型の処理２(SQL復習)2020.07.08 11:15 by『前処理大全』内容10-4 日時型の増減10-5 季節への変換10-6 時間帯への変換10-7 平日／休日への変換BigQueryの日付型に関する参考サイト標準 SQL の日付関数BigQueryのStandardS...