{"id":87151,"date":"2021-07-06T20:16:52","date_gmt":"2021-07-06T18:16:52","guid":{"rendered":"https:\/\/www.jedox.com\/blog\/error-metrics-how-to-evaluate-forecasts\/"},"modified":"2025-08-07T14:25:18","modified_gmt":"2025-08-07T12:25:18","slug":"fehlermasze-guete-von-forecasts-ermitteln","status":"publish","type":"post","link":"https:\/\/www.jedox.com\/de\/blog\/fehlermasze-guete-von-forecasts-ermitteln\/","title":{"rendered":"Fehlerma\u00dfe: Wie Sie die G\u00fcte Ihrer Forecasts auswerten"},"content":{"rendered":"

Wenn wir die G\u00fcte eines Forecast-Modells evaluieren, m\u00fcssen wir die Erwartungswerte betrachten, die es generiert. Dies geschieht durch die Berechnung geeigneter Fehlerma\u00dfe (auch Fehlermetriken). Mit Hilfe von Fehlermetriken ist es m\u00f6glich, die G\u00fcte eines Modells zu quantifizieren. Sie bieten Datenexperten somit eine M\u00f6glichkeit, verschiedene Modelle quantitativ zu vergleichen. Mit ihnen ist es m\u00f6glich, die Eignung von Modellen f\u00fcr bestimmte Aufgaben objektiv zu bewerten.<\/strong><\/p>\n

In diesem Beitrag finden Sie einige h\u00e4ufig verwendete Metriken f\u00fcr die Zeitreihenprognose. Wir kl\u00e4ren, wie sie zu interpretieren sind und zeigen die Grenzen der einzelnen Fehlerma\u00dfe auf. Eine kleine Warnung vorweg: Um ein bisschen Mathematik kommen wir dabei nicht herum. Sie ist notwendig, um zu erkl\u00e4ren, wie diese Metriken funktionieren. F\u00fcr alle, die lieber auf Gleichungen verzichten, haben wir Interpretation und Einschr\u00e4nkungen deutlich gekennzeichnet. Springen Sie einfach zu diesem Abschnitt f\u00fcr eine Erkl\u00e4rung ohne Begriffe aus der Mathematik.<\/p>\n

Mittlerer absoluter Fehler (MAE)<\/h2>\n

Der Mean Absolute Error<\/strong>, kurz MAE<\/strong>, ist definiert als der Durchschnitt der absoluten Differenz zwischen prognostizierten Werten und wahren Werten.<\/p>\n

\"\"<\/p>\n

Dabei ist y’ der prognostizierte Wert und y der wahre Wert. n ist die Gesamtzahl der Werte in der Testmenge. MAE sagt uns, wie gro\u00df der Fehler ist, den wir im Durchschnitt vom Forecast erwarten k\u00f6nnen. Die Fehlerwerte sind in den urspr\u00fcnglichen Einheiten der prognostizierten Werte und ein MAE von 0 bedeutet, dass kein Fehler in den prognostizierten Werten vorliegt.<\/p>\n

 <\/p>\n

Je niedriger der MAE-Wert ist, desto besser ist das Modell; ein Wert von Null bedeutet, dass kein Fehler im Forecast vorliegt. Wenn Sie also mehrere Modelle vergleichen, ist das Modell mit dem niedrigsten MAE-Wert das zu bevorzugende.<\/p>\n

MAE eignet sich jedoch nicht f\u00fcr Informationen \u00fcber die relative Gr\u00f6\u00dfe des Fehlers. Deshalb ist es schwierig, gro\u00dfe Fehler von kleinen Fehlern zu unterscheiden. In Kombination mit anderen Metriken l\u00e4sst sich auch die relative Gr\u00f6\u00dfe feststellen (siehe Root Mean Square Error unten). Au\u00dferdem kann MAE Probleme \u00fcberdecken, die mit geringem Datenvolumen zu tun haben; siehe die letzten beiden Metriken in diesem Artikel, die sich f\u00fcr dieses Problem eignen.<\/p>\n

\"\"<\/a><\/p>\n

Mittlerer absoluter prozentualer Fehler (MAPE)<\/h2>\n

Der Mean Absolute Percentage Error<\/strong>, kurz MAPE<\/strong>, ist definiert als der prozentuale Mittelwert der absoluten Differenz zwischen prognostizierten Werten und wahren Werten, geteilt durch den wahren Wert.<\/p>\n

\"\"<\/p>\n

 <\/p>\n

Dabei ist y’ der prognostizierte Wert und y der wahre Wert. n ist die Gesamtzahl der Werte in der Testmenge. Wegen des y im Nenner eignen sich Daten ohne Null- und Extremwerte am besten. Wenn dieser y-Wert extrem klein oder gro\u00df ist, nimmt auch der MAPE-Wert einen Extremwert an.<\/p>\n

Je niedriger der MAPE-Wert, desto besser ist das Modell. Beachten Sie, dass MAPE am besten mit Daten ohne Null- und Extremwerte funktioniert. Wie MAE untersch\u00e4tzt auch MAPE die Auswirkungen von gro\u00dfen, aber seltenen Fehlern aufgrund von Extremwerten. Um dieses Problem zu umgehen, kann der mittlere quadratische Fehler (Mean Squared Error) verwendet werden. Auch diese Metrik kann Probleme \u00fcberdecken, die mit geringem Datenvolumen zu tun haben; siehe die letzten beiden Metriken in diesem Artikel, um diese Schw\u00e4che auszugleichen.<\/p>\n

Mittlerer quadratischer Fehler (MSE)<\/h2>\n

Der Mean Squared Error<\/strong>, kurz MSE<\/strong>, ist definiert als der erwartete quadratische Abstand des Sch\u00e4tzwerts. Er wird auch als die Metrik definiert, die die Qualit\u00e4t des Prognosemodells oder Pr\u00e4diktors bewertet. MSE beinhaltet sowohl die Varianz (die Streuung der vorhergesagten Werte zueinander) als auch die Verzerrung (der Abstand des vorhergesagten Wertes von seinem wahren Wert).<\/p>\n

\"\"<\/p>\n

 <\/p>\n

Dabei ist y’ der prognostizierte Wert und y ist der wahre Wert. n ist die Gesamtzahl der Werte im Testsatz. MSE ist fast immer positiv und Werte n\u00e4her an Null sind besser. Aufgrund des quadratischen Terms (wie in der obigen Formel zu sehen), bestraft diese Metrik gro\u00dfe Fehler oder Ausrei\u00dfer mehr als kleine Fehler.<\/p>\n

Je n\u00e4her an Null der MSE ist, desto besser. Er l\u00f6st zwar das Extremwert- und Null-Problem von MAE und MAPE, kann aber in einigen F\u00e4llen nachteilig sein. Diese Metrik kann Probleme \u00fcbersehen, wenn es um geringe Datenmengen geht. Der Gewichtete absolute prozentuale Fehler und gewichtete mittlere absolute prozentuale Fehler bieten hier L\u00f6sungswege.<\/p>\n

Wurzel des mittleren quadratischen Fehlers (RMSE)<\/h2>\n

Der Root Mean Squared Error<\/strong>, kurz RMSE<\/strong>, ist eine Erweiterung von MSE und ist definiert als die Quadratwurzel des mittleren quadratischen Fehlers.<\/p>\n

\"\"<\/p>\n

 <\/p>\n

Dabei ist y’ der prognostizierte Wert und y der wahre Wert. n ist die Gesamtzahl der Werte in der Testmenge. Wie MSE, bestraft auch diese Metrik gr\u00f6\u00dfere Fehler st\u00e4rker.<\/p>\n

Auch diese Metrik ist immer positiv und kleinere Werte sind besser. Ein Vorteil dieser Berechnung ist, dass der RMSE-Wert in der gleichen Einheit wie der prognostizierte Wert ist. Dadurch ist er im Vergleich zum MSE leichter zu verstehen.<\/p>\n

RMSE kann auch mit MAE verglichen werden, um festzustellen, ob ein Forecast gro\u00dfe, aber seltene Fehler enth\u00e4lt. Je gr\u00f6\u00dfer die Differenz zwischen RMSE und MAE ist, desto inkonsistenter ist die Fehlergr\u00f6\u00dfe. Diese Metrik kann Probleme \u00fcberdecken, die mit geringem Datenvolumen zu tun haben; siehe die letzten beiden Metriken in diesem Beitrag, um dieses Problem zu behandeln.<\/p>\n

Wurzel des mittleren quadratischen Fehlers, normalisiert (NRMSE)<\/h2>\n

Der Normalized Root Mean Squared Error,<\/strong> kurz NRMSE<\/strong>, ist eine Erweiterung von RMSE und wird durch Normalisierung von RMSE berechnet. Es gibt zwei g\u00e4ngige Methoden zur Normalisierung des RMSE: Verwendung des Mittelwerts oder Verwendung des Bereichs der wahren Werte (Differenz von Minimal- und Maximalwert).<\/p>\n

\"\"<\/p>\n

 <\/p>\n

 <\/p>\n

Dabei ist ymax<\/sub><\/em> der maximale wahre Wert und ymin<\/sub><\/em> der minimale wahre Wert.<\/p>\n

NRMSE wird oft verwendet, um verschiedene Datens\u00e4tze oder Prognosemodelle zu vergleichen, die unterschiedliche Skalen haben (z. B. Einheiten und Bruttoumsatz). Je kleiner der Wert ist, desto besser ist die Leistung des Modells. Diese Metrik kann Probleme \u00fcbersehen, wenn die Datenmenge klein ist; siehe gewichteter absoluter prozentualer Fehler und gewichteter mittlerer absoluter prozentualer Fehler, um dem entgegenzuwirken.<\/p>\n

Gewichteter absoluter prozentualer Fehler (WAPE)<\/h2>\n

Der Weighted Average Percentage Error<\/strong>, kurz WAPE<\/strong>, ist definiert als der gewichtete Durchschnitt des mittleren absoluten Fehlers.<\/p>\n

\"\"<\/p>\n

 <\/p>\n

Dabei ist y’ der prognostizierte Wert und y der wahre Wert. n ist die Gesamtzahl der Werte in der Testmenge.<\/p>\n

Die oben erw\u00e4hnten Fehlermetriken helfen uns, die Leistung des Forecasting-Modells zu messen, k\u00f6nnen aber tr\u00fcgerisch sein, wenn nur geringe Datenmengen zur Verf\u00fcgung stehen. Beispielsweise wenn der wahre Wert einiger Datenpunkte im Vergleich zum Rest der Daten sehr klein ist (etwa bei intermittierenden Nachfrage-\/Verkaufsdaten). F\u00fcr solche F\u00e4lle eignet sich der WAPE.<\/p>\n

Je niedriger der Wert des WAPE ist, desto besser ist die Leistung des Modells. Durch die Gewichtung hilft der WAPE, kleinere von gr\u00f6\u00dferen Fehlern zu unterscheiden. Diese Metrik verhindert also, dass die kleinen Werte als gleichwertig oder h\u00f6her in die Rechnung einflie\u00dfen als gr\u00f6\u00dfere Werte.<\/p>\n

Gewichteter mittlerer absoluter prozentualer Fehler (WMAPE)<\/h2>\n

Der Weighted Mean Absolute Percentage Error<\/strong>, kurz WMAPE<\/strong>, ist eine Erweiterung von WAPE und wird als gewichteter mittlerer absoluter Prozentfehler definiert.<\/p>\n

\"\"<\/p>\n

 <\/p>\n

Dabei ist y’ der prognostizierte Wert und y der wahre Wert. n ist die Gesamtzahl der Werte in der Testmenge.<\/p>\n

Je niedriger der Wert von WMAPE ist, desto besser ist die Leistung des Modells.\u00a0 Diese Metrik ist hilfreich f\u00fcr Daten mit geringem Volumen, bei denen jede Beobachtung eine andere Priorit\u00e4t bei der Bewertung von Vorhersagemodellen hat. Beobachtungen mit h\u00f6herer Priorit\u00e4t haben einen h\u00f6heren Gewichtungswert. Je gr\u00f6\u00dfer der Fehler bei Prognosewerten mit hoher Priorit\u00e4t ist, desto gr\u00f6\u00dfer ist der WMAPE-Wert.<\/p>\n

Spannbreite von Fehlern und Ungenauigkeiten<\/h2>\n

Bei Verwendung der oben genannten Fehlermetriken ist die tats\u00e4chliche Verteilung der Fehlerwerte nicht bekannt. Diese Verteilung kann jedoch weitere Einblicke in das Verhalten des Forecasting-Modells geben und bei der Auswahl der am besten geeigneten Metrik helfen. Im Jedox AIssisted\u2122 Planning<\/a> Wizard wird neben den oben genannten Metriken auch die Fehlerverteilung berechnet, d. h. der Wert der Metrik f\u00fcr jeden Datenpunkt des Testsatzes. Eine Zusammenfassung der Verteilung, die auch andere relevante Werte wie den minimalen, maximalen und medianen Fehlerwert enth\u00e4lt, wird ebenfalls bereitgestellt.<\/p>\n

Schlussfolgerung<\/h2>\n

Die Vielzahl der Metriken macht die Wahl nicht unbedingt leichter. Jede Metrik liefert spezifische Informationen, die, je nach Anwendungsfall, mehr oder minder geeignet sind. Daher sollte eine Metrik auf der Grundlage des Anwendungsfalls und des Verst\u00e4ndnisses der Daten, die f\u00fcr die Forecasts ben\u00f6tigt werden, ausgew\u00e4hlt werden.<\/p>\n

\u00dcbersicht der Fehlermetriken f\u00fcr Forecasts<\/h3>\n
    \n
  1. MAE<\/strong> ist n\u00fctzlich, wenn es um darum geht, den absoluten Fehler zu messen. Sie ist einfach zu verstehen, aber nicht effizient, wenn die Daten Extremwerte aufweisen.<\/li>\n
  2. MAPE<\/strong> ist ebenfalls leicht zu verstehen und wird verwendet, wenn es darum geht, verschiedene Forecasting-Modelle oder Datens\u00e4tze zu vergleichen. Der Prozentwert eignet sich daf\u00fcr besonders. MAPE hat aber den gleichen Nachteil wie MAE: Die Metrik ist nicht effizient, wenn die Daten Extremwerte aufweisen.<\/li>\n
  3. MSE<\/strong> ist n\u00fctzlich, wenn die Streuung der Forecastwerte wichtig ist und gr\u00f6\u00dfere Werte normalisiert werden m\u00fcssen. Allerdings ist diese Metrik oft schwer zu interpretieren, da es sich um einen quadrierten Wert handelt.<\/li>\n
  4. RMSE (NRMSE)<\/strong> ist ebenfalls n\u00fctzlich, wenn die Streuung von Bedeutung ist und Extremwerte normalisiert werden m\u00fcssen. RMSE ist im Vergleich zu MSE leichter zu interpretieren, da der RMSE-Wert die gleiche Skala wie die prognostizierten Werte hat.<\/li>\n
  5. WAPE<\/strong> ist n\u00fctzlich, wenn nicht viele Daten vorliegen, da eine Gewichtung anhand aller wahren Werte stattfindet.<\/li>\n
  6. WMAPE<\/strong> ist ebenfalls n\u00fctzlich, wenn es sich um wenige Daten handelt. WMAPE hilft dabei, die Priorit\u00e4t zu ber\u00fccksichtigen, indem das Gewicht (Priorit\u00e4tswert) jeder Beobachtung verwendet wird.<\/li>\n<\/ol>\n

    Jedox bietet eine umfassende \u00dcbersicht \u00fcber Vorhersagefehler und deren Verteilung im AIssisted\u2122 Planning Wizard, genauso wie einen unvoreingenommener Blick in die Zukunft mit Predictive Forecasting<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

    In diesem Beitrag finden Sie einige h\u00e4ufig verwendete Metriken f\u00fcr die Zeitreihenprognose. Wir kl\u00e4ren, wie sie zu interpretieren sind und zeigen die Grenzen der einzelnen Fehlerma\u00dfe auf.<\/p>\n","protected":false},"author":102,"featured_media":144671,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[7],"tags":[],"class_list":["post-87151","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-knowledge-de"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/posts\/87151","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/users\/102"}],"replies":[{"embeddable":true,"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/comments?post=87151"}],"version-history":[{"count":0,"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/posts\/87151\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/media\/144671"}],"wp:attachment":[{"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/media?parent=87151"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/categories?post=87151"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.jedox.com\/de\/wp-json\/wp\/v2\/tags?post=87151"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}