Genauigkeit der Modellvorhersage im Vergleich zur Interpretation beim maschinellen Lernen
In ihrem Buch Applied Predictive Modeling kommentieren Kuhn und Johnson schon früh den Kompromiss zwischen Modellvorhersagegenauigkeit und Modellinterpretation.
Für ein bestimmtes Problem ist es wichtig, eine klare Vorstellung davon zu haben, was Priorität, Genauigkeit oder Erklärbarkeit hat, damit dieser Kompromiss explizit und nicht implizit geschlossen werden kann.
In diesem Beitrag werden Sie diesen wichtigen Kompromiss entdecken und berücksichtigen.
Genauigkeit und Erklärbarkeit
Die Modellleistung wird anhand ihrer Genauigkeit geschätzt, mit der das Eintreten eines Ereignisses anhand unsichtbarer Daten vorhergesagt werden kann. Ein genaueres Modell wird als wertvolleres Modell angesehen.
Die Interpretierbarkeit des Modells bietet Einblick in die Beziehung zwischen den Eingaben und der Ausgabe. Ein interpretiertes Modell kann Fragen beantworten, warum die unabhängigen Merkmale das abhängige Attribut vorhersagen.
Das Problem entsteht, weil mit zunehmender Modellgenauigkeit auch die Modellkomplexität zunimmt, auf Kosten der Interpretierbarkeit.
Modellkomplexität
Ein Modell mit höherer Genauigkeit kann für ein Unternehmen mehr Möglichkeiten, Vorteile, Zeit oder Geld bedeuten. Dadurch wird die Vorhersagegenauigkeit optimiert.
Die Optimierung der Genauigkeit führt zu einer weiteren Steigerung der Komplexität von Modellen in Form zusätzlicher Modellparameter (und der für die Abstimmung dieser Parameter erforderlichen Ressourcen).
„Leider sind die Vorhersagemodelle, die am leistungsstärksten sind, normalerweise auch am wenigsten interpretierbar.“
Ein Modell mit weniger Parametern ist einfacher zu interpretieren. Das ist intuitiv. Ein lineares Regressionsmodell verfügt über einen Koeffizienten pro Eingabemerkmal und einen Schnittpunktterm. Sie können sich beispielsweise jeden Begriff ansehen und verstehen, wie er zur Ausgabe beiträgt. Der Übergang zur logistischen Regression bietet mehr Aussagekraft hinsichtlich der zugrunde liegenden Beziehungen, die auf Kosten einer Funktionstransformation in die Ausgabe modelliert werden können, die jetzt zusammen mit den Koeffizienten verstanden werden muss.
Ein Entscheidungsbaum (von bescheidener Größe) kann verständlich sein, ein Entscheidungsbaum in Säcken erfordert eine andere Perspektive, um zu interpretieren, warum ein Ereignis vorhergesagt wird. Darüber hinaus kann die optimierte Kombination mehrerer Modelle zu einer einzigen Vorhersage jenseits einer sinnvollen oder zeitnahen Interpretation liegen.
Genauigkeit übertrifft Erklärbarkeit
Kuhn und Johnson befassen sich in ihrem Buch mit der Modellgenauigkeit auf Kosten der Interpretation.
Sie kommentieren:
„Solange komplexe Modelle ordnungsgemäß validiert werden, kann es unpassend sein, ein Modell zu verwenden, das auf Interpretation und nicht auf Vorhersageleistung ausgelegt ist.“
Die Interpretation ist zweitrangig gegenüber der Modellgenauigkeit und sie nennen Beispiele wie die Unterscheidung von E-Mails in Spam und Nicht-Spam sowie die Bewertung eines Hauses als Beispiele für Probleme, bei denen dies der Fall ist. Medizinische Beispiele werden zweimal angesprochen und in beiden Fällen verwendet, um die absolute Notwendigkeit und Wünschbarkeit einer Genauigkeit der Erklärbarkeit zu verteidigen, sofern die Modelle angemessen validiert werden.
Ich bin mir sicher, dass „Aber ich habe mein Modell validiert“ keine Verteidigung gegen eine gerichtliche Untersuchung wäre, wenn ein Modell Vorhersagen trifft, die zum Verlust von Menschenleben führen. Dennoch bestehen Zweifel daran, dass es sich hierbei um ein wichtiges Thema handelt, das einer sorgfältigen Prüfung bedarf.
Zusammenfassung
Wann immer Sie ein Problem modellieren, treffen Sie eine Entscheidung über den Kompromiss zwischen Modellgenauigkeit und Modellinterpretation.
Sie können das Wissen über diesen Kompromiss bei der Auswahl der Methoden zur Modellierung Ihres Problems nutzen und sich bei der Präsentation der Ergebnisse über Ihre Ziele im Klaren sein.