GCP_Cloud Storageへのデータ保存2020.07.29 13:00GCP備忘録参考サイト：GoogleCloudStorageでPythonからファイルをやりとりする方法Cloud Storage Client LibrariesGCP_Cloud Storageへのデータ保存方法（以下は、CloudShellからとpythonからのデータアッ...
BigQueryからapiでjupyter notebookにクエリ結果を送る方法2020.07.24 14:44参考サイト：BigQuery Storage API を使用して BigQuery データを pandas にダウンロードするUsing BigQuery with PandasPython Client for BigQuery Storage API手順：BigQuery S...
位置情報型データの前処理2020.07.22 04:48 by 『前処理大全（第１２章）』12-1 日本測地系から世界測地系の変換、 度分秒から度への変換緯度／経度の表現方法世界測地系：今の世界標準。いくつか種類があるが、WGS84系が主流。日本測地系：明示から利用。現在は世界測地...
Hampel filterを用いた時系列データの外れ値処理2020.07.19 02:51参考サイト：Clean up your time series data with a Hampel filterOutlier Detection with Hampel Filter目的時系列データの外れ値を求める方法に信号処理を適用できると知ったので、そのメモHampel ...
pandas dataframeのデータ量減らす関数2020.07.11 05:05備忘録pandas dataframeのデータ量を減らしたい時は、以下のkaggle_notebookの関数を使えば良い。load data (reduce memory usage)
第１０章：日時型の処理２(SQL復習)2020.07.08 11:15 by『前処理大全』内容10-4 日時型の増減10-5 季節への変換10-6 時間帯への変換10-7 平日／休日への変換BigQueryの日付型に関する参考サイト標準 SQL の日付関数BigQueryのStandardS...
python Poolによる並列処理で、複数モデルを並列作成2020.07.04 13:18Facebook Prophetを利用したkaggleのnotebookで、Poolを利用していたので、Poolのメモ一つのモデルで、データ毎にモデルを作成したいときに、便利参考サイト：starmapでPythonでの並列処理の結果をリストで受け取るmultiprocessing...
M-5 Forecasting2020.07.03 03:10内容：アメリカ３州のウォルマート店舗の商品販売数の予測方針：８日間しかないので、以下の方針で進める目標：時系列データの分析方法、モデリング方法の学習時間配分：データ分析：３日間前処理、モデリング：５日間(※時間がないので、パラメータチューニングはあまり行わない）結果：Public...
カテゴリ型の変換（SQL復習）2020.07.01 12:56 by 『前処理大全９章』補足：数値型のデータもカテゴリを付与することで、カテゴリ型にできる。具体的には、年齢を10歳未満、10代、20代、30代・・・と分けることで、元々数値型である年齢をカテゴリ値として扱える。カテゴリ...