組み込み開発のためのPython · レッスン 141 / 220

カテゴリーデータを前処理する

文字列カテゴリはモデルに渡せる数値表現へ変換します。学習時にないカテゴリや欠損値の扱いを決め、前処理を学習パイプラインへ組み込みます。

文字列カテゴリはモデルに渡せる数値表現へ変換します。学習時にないカテゴリや欠損値の扱いを決め、前処理を学習パイプラインへ組み込みます。 仕組みだけでなく、検証方法と運用上の注意も具体例で確認します。

基本の考え方

文字列カテゴリはモデルに渡せる数値表現へ変換します。学習時にないカテゴリや欠損値の扱いを決め、前処理を学習パイプラインへ組み込みます。

安全に試すための確認

例は学習用データを使うもので、品質を保証する予測器ではありません。実データの欠損、単位、偏り、データ漏えいを確認し、テスト用データを学習中に参照しないでください。

コード例

手元のPython環境に貼り付ける前に、使用しているPythonの版と対象ライブラリの対応を確認してください。

from sklearn.preprocessing import OneHotEncoder

encoder = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
encoded = encoder.fit_transform([["UART"], ["SPI"], ["UART"]])
print(encoder.get_feature_names_out(), encoded)

手を動かす課題

学習時に存在しない通信方式をテスト入力へ加え、前処理が例外や誤った列ずれを起こさないことを確認してください。

参考資料

「機械学習の基礎」の章一覧へ