正規表現備忘録2020.09.09 05:29〇〇を含まない文字列の抽出参考サイト：http://www-creators.com/archives/1827特定のパターンで開始しない文字列 ^(?!PATTERN).*$特定のパターンで終了しない文字列 ^.*(?<!PATTERN)$特定のパターンを含まない文字列 ...
VS Code メモ2020.09.08 09:24VS Code で、 jupyter notebook のセルを、都度用意して notebookのように利用する方法。 セル分けしたい最初に、 # %% を記述する。 詳細は、「VS Code でPython，Jupyter を動かす」と、 「VS CodeからJupyte...
第１０章：日時型の処理２(SQL復習)2020.07.08 11:15 by『前処理大全』内容10-4 日時型の増減10-5 季節への変換10-6 時間帯への変換10-7 平日／休日への変換BigQueryの日付型に関する参考サイト標準 SQL の日付関数BigQueryのStandardS...
python Poolによる並列処理で、複数モデルを並列作成2020.07.04 13:18Facebook Prophetを利用したkaggleのnotebookで、Poolを利用していたので、Poolのメモ一つのモデルで、データ毎にモデルを作成したいときに、便利参考サイト：starmapでPythonでの並列処理の結果をリストで受け取るmultiprocessing...
第２章：抽出2020.06.02 03:232-2 インデックスを間接的に利用したデータ行の抽出SQLインデックスが効いているデータを条件式の最初に加えることで、条件式内でインデックスを効かす。（インデックスが効いている列と抽出対象列に関係がないとできない）2-3 サンプリングSQLWHERE RANDOM() <=...
文字データの前処理(ベクトル化など)2019.04.01 12:00 by 『前処理大全第１１章』文字を対象とした前処理、データ分析の手法言語依存非言語依存言語依存 日本語や英語といった言語の種類により、前処理や分析の方法を変える。例えば、日本語の文章ならば形態素解析...
pythonによるデータ分析入門（１４章）2019.03.16 23:00第１４章：データ分析の実例・14.1：短縮URL Bitlyにおける 1.usa.govへの変換データ ▶︎コード例・14.2：MovieLens 1M（映画評価データ） ▶︎コード例・14.3：アメリカの赤ちゃんに名付けられた名前リスト（1880 - 2010） ▶︎コード例・...
pythonによるデータ分析入門（１２、１３章）2019.02.28 23:00第１２章：pandas：応用編・12.1：カテゴリ型データ ▶︎コード例・12.2：グループ演算の使い方 ▶︎コード例・12.3：メソッドチェーン ▶︎コード例第１３章：モデリングライブラリ入門・13.4：scikit-learn入門 ▶︎コード例
機械学習理論入門2018.11.04 23:00・第２章：最小二乗法 ・多項式近似と最小二乗法、オーバフィッティングの検出 ▶︎実装例・第３章：最尤推定法 ・多項式の次数を変えた場合の回帰式のフィッティング状況の比較 ▶︎実装例 ・母集団が正規分布という仮定の基で、 最尤推定により「平均μ」「標準偏差σ」を推定 ...
pythonによるデータ分析入門（１１章）2018.08.31 23:00第１１章：時系列データ・11.1：日付、時間のデータ型とツール 文字列とdatetimeの変換 ▶︎コード例・11.2：時系列の基本 インデックス参照、データの選択、サブセットの抽出 重複したインデックスを持つ時系列 ▶︎コード例・11.3：日付範囲、頻度、シフト 日...
pythonによるデータ分析入門（１０章）2018.07.31 23:00ここから第２版第１０章：データの集約とグループ演算 ・10.1：GroupByの仕組み グループをまたいだ繰り返し、列や列の集合の選択 ディクショナリなシリーズのグループ化、関数を使ったグループ化 インデックス階層によるグループ化 ▶︎コード例 ・10.2：データ...