🎓
モデル評価（MAE/RMSE）
Mean Abusolute Error（MAE）
平均絶対誤差（MAE：Mean Absolute Error） は予測値と実測値の差の絶対値の平均を意味し、回帰問題における出力の評価指標として用いられます。
主な活用方法として、モデル学習時の損失関数 と テストデータに対する評価指標 があります。
MAE は、平均的な予測値と実測値の差 を意味し、より小さい値をとるほど予測精度が高いと言えます。
数式で理解する（初学者の場合は読み飛ばしてください）
下記に定義を示します。
はi番目の実測値、はi番目の予測値、Nはデータ数です。
MAE は、誤差の二乗を計算する MSE や RMSE よりも外れ値の影響を受けにくく、予測値と実測値の差の絶対値の平均ということから、結果を解釈しやすいという利点があります。
MAE と RMSE の解釈
MAE と RMSE の解釈には、スケールに注意する必要があります。
なぜスケールに注意する必要があるのか MAE を例にして紹介します。
下記に MAE の値が 10 となるような、サンプル A とサンプル B の 2 つの予測値と実測値を示します。※MAE はデータの集合に対して適用する前提ですが、イメージのしやすい 1 サンプルで考えます。
- A 予測値：10001、実測値：10011
- B 予測値：101、実測値：111
A と B のどちらも MAE の値は 10 となりますが、A のMAE = 10という結果は、B のMAE = 10という結果よりも高い精度で予測できていることが直感的にわかると思います。
MAE は予測値と実測値が平均してどの程度のズレがあるかを示す指標ですので、B の実測値 111 に対する MAE=10 というのは予測精度としては不十分であると考えられます。
このような場合に、平均絶対パーセント誤差(MAPE:Mean Absolute Percentage Error) を用いて、実測値に対する予測値の平均的な誤差の割合を算出して、結果を解釈することもあります。
数式で理解する（初学者の場合は読み飛ばしてください）
MAPE の注意点としては、実測値が − 1 < y < 1となる時、MAPE を意図した目的で計算できないので、実測値にそのような値が含まれていないか確認する必要があります。
また、評価データの目的変数の平均と分散を元に MAE の結果を解釈することもできます。
分散はデータのばらつきを表す指標で、各サンプルがデータの平均値からどの程度離れているかを意味します。
例えば、ある評価データの目的変数が平均ȳ = 105、分散s = 20である時、MAE = 10は分散s = 20より小さく、データが平均的に持つばらつきの範囲内に収まっており、悪くない結果と考えることもできます。
