📘
データ前処理 - 正規化
正規化とは?
データを正規化します。カラムごとに平均や標準偏差が異なり、良い精度が得られない場合に正規化を実施してください。ただし、MLPを用いたAIモデルを学習するときはほとんどの場合でこの処理が必要です。
データの正規化することで、異なる尺度や範囲のデータを統一し、比較や分析を容易にします。また、アルゴリズムの安定性や収束速度を向上させ、外れ値の影響を軽減し、効果的な特徴抽出を可能にします。
例えば、標準化は、各データから平均値を引き、標準偏差で割ることで正規化をします。データの平均を、標準偏差をとしたとき、データの標準化は次のように計算されます。
正規化カードの操作方法
結線
処理対象データを結線してください。
パラメータの設定
正規化手法を選択してください(現在は 標準化 のみ選択できます)
- 標準化:全てのカラムのデータを平均が 0.0、標準偏差が 1.0 になるように変換します
- 全てのカラムのデータを平均が 0.0、標準偏差が 1.0 になるように変換します
コンフィグリンクについて
正規化カードは接続されたデータに対して平均・標準偏差を計算して変換処理を実行します。
正規化カードで計算した平均・標準偏差を使用して、別のデータ(例: 評価用データ)を変換したい場合は、コンフィグリンクに接続してください。
実行
- 正規化処理が行われます。
- 処理時間が 10 分を超えるとタイムアウトし、処理が強制終了されます。
処理結果の確認
- 必要に応じて、表形式、統計量、グラフ形式で分割結果を確認してください(統計タブやグラフタブから確認できます)。