カテゴリカル変数の主な欠損値処理方法

カテゴリカル変数の欠損値穴埋め時の注意点

KNNやMICEでカテゴリカル変数を埋めると、2.56や1.78などfloat型の値が埋まり、カテゴリにはない値が入ってしまう。なので、埋める時は、値をnp.round()などで丸めた値を入れる。

コード例）

imputer = KNN()

# impute data and convert

encode_data = pd.DataFrame(np.round(imputer.fit_transform(impute_data)),columns = impute_data.columns)

線形回帰モデルに利用する時は、自由度を揃えるため、変数の数を「カテゴリ数−１」の数に修正する。単純に、one-hotで出来た各カテゴリの変数から一つを削除すればよい。（１カテゴリを示す変数を一つ削除しても、その他のカテゴリを示す変数たちが0ならば、そのレコードは削除した変数を示すので、一つ削除しても問題ない。）
一方で、判別モデル（特に分類木モデル）では、one-hotでできた全ての変数をそのまま使う。

順序変数の各カテゴリに順位付けを正しく行う時は、Pandasの辞書を使って各カテゴリごとに順位をつけ、mapメソッドで変換したほうが確実。sklearnのLabelEncoderを使うと勝手に番号が振られるので、順位を指定できない。(※ sklearnのLabelEncoderだと、文字列型の場合は、アルファベット順に、0,1,2...と順番が振られる。）

# 対象データ

users = pd.read_csv('userprofile.csv')

users.head()