📘

データ前処理 - 正規化

 

正規化とは?

データを正規化します。カラムごとに平均や標準偏差が異なり、良い精度が得られない場合に正規化を実施してください。ただし、MLPを用いたAIモデルを学習するときはほとんどの場合でこの処理が必要です。
 
データの正規化することで、異なる尺度や範囲のデータを統一し、比較や分析を容易にします。また、アルゴリズムの安定性や収束速度を向上させ、外れ値の影響を軽減し、効果的な特徴抽出を可能にします。
 
例えば、標準化は、各データから平均値を引き、標準偏差で割ることで正規化をします。データの平均を、標準偏差をとしたとき、データの標準化は次のように計算されます。

正規化カードの操作方法

結線

処理対象データを結線してください。

パラメータの設定

正規化手法を選択してください(現在は 標準化 のみ選択できます)
  • 標準化:全てのカラムのデータを平均が 0.0、標準偏差が 1.0 になるように変換します
    • 全てのカラムのデータを平均が 0.0、標準偏差が 1.0 になるように変換します
💡
コンフィグリンクについて
正規化カードは接続されたデータに対して平均・標準偏差を計算して変換処理を実行します。
正規化カードで計算した平均・標準偏差を使用して、別のデータ(例: 評価用データ)を変換したい場合は、コンフィグリンクに接続してください。
コンフィグリンクを使用せずに評価用のデータを正規化すると 📘機械学習におけるリークとは の原因となります。

実行

  • 正規化処理が行われます。
  • 処理時間が 10 分を超えるとタイムアウトし、処理が強制終了されます。

処理結果の確認

  • 必要に応じて、表形式、統計量、グラフ形式で分割結果を確認してください(統計タブやグラフタブから確認できます)。