Support Vector Machine (SVM)¶

Dieses Tutorial verfügt über die Support Vector Machine (SVM) Technik zur Klassifizierung von Flussbettmorphologietypen in Abhängigkeit von hydraulischen und sedimentären Transportdaten.

Enable interactive reading and executing code blocks with and find morphology-predictor-svm.ipynb Alternatively, install Python and JupyterLab locally and download this Jupyter notebook.

Theorie¶

Im Bereich der Restaurierungswissenschaft liefert die Identifizierung der Flussmorphologie wesentliche Erkenntnisse, um beispielsweise das Ziel terraforming zu leiten, das darauf abzielt, einen naturnahen Zustand einer fluvialen Landschaft wiederzuerkennen. Darüber hinaus kann morphologisches Muster als Prädiktor für die Schätzung von fluvialsediment transport und umgekehrt dienen. So besteht eine bidirektionale Beziehung zwischen fluvialen Hydraulik, Sedimenttransport und morphologischem Muster, die physischen Lebensraum für Wasserarten darstellen und sogar die Energieerzeugung Recking et al., 2016 beeinflussen können.

Dennoch ist die Klassifizierung und Vorhersage der flouvialen Morphodynamik aufgrund der Komplexität der Flussökosysteme und jeder Fluss eine einzigartige Umgebung. Allerdings wiederholen sich morphologische Einheiten von Flüssen mit ähnlichen Eigenschaften. Ein grundlegender Satz von repetitiven morphologischen Merkmalen wurde von Montgomery & Buffington (1997) eingeführt, und wir werden uns in diesem Tutorial auf die folgenden fünf morphologischen Einheiten konzentrieren (klicken Sie auf die Artikel, um mehr zu lesen):

• Step pool

• Plane bed

• Riffle pool

• Braiding

• Sand bed

Diese morphologischen Einheiten finden Sie in der oben genannten Reihenfolge entlang eines Flusses, beginnend an der Quelle und enden mit seiner Mündung. So können Stufenpool-Einheiten in der Regel in stromaufwärts (Mountain) Flussabschnitt gefunden werden, während sand Betten überwiegend in flacheren Flussabschnitten, in der Nähe von Mündungen oder Zusammenflüssen vorhanden sind. Beachten Sie, dass es noch viele andere morphologische Einheiten gibt, wie z.B. Slackwater, swales oder Bars Wyrick & Pasternack, 2014. Abb. Figure 1 illustriert einige morphologische Einheiten von naturnahen Flüssen.

To guide restoration actions, experts often visually classify morphology units on-site, though some of them may also be distinguishable on aerial imagery. On-site (in-situ) expert assessments may also serve as ground truth for machine learning models. In this exercise, we will use hydrodynamic parameters with expert-based ground truth from the database https://bedloadweb.com. Thus, at the end of this tutorial, you may be able to reduce a necessary amount of fieldwork, just by using hydraulic parameters that can sometimes also be retrieved from gauging stations. To this end, we will train and test an SVM model that classifies morphological units as a function of data that can be collected in-situ or derived from aerial imagery.

Vorverarbeitung¶

Daten zum Thema¶

We downloaded a dataset from https://bedloadweb.com (download the bedload_dataset sample):

• Jede Probe stammt aus den Querschnitten von 146 verschiedenen Flüssen rund um den Globus.

• Der Datensatz umfasst Hydraulik- und Sedimenttransporte (z.B. Korngrößen), obwohl wir in diesem Tutorial nur die folgenden Parameter verwenden, um das SVM-Modell zu trainieren:

  • *W: Kanalbreite (m)

  • S: Kanalschräge (m)

  • Q: Entlastung (m$^3$s$^{-1}$)

  • U: Volumenstromgeschwindigkeit (m s$^{-1}$)

  • *H: Wassertiefe (m)

In einem maschinellen Lernkontext werden diese Parameter zur Vorhersage von morphologischen Einheiten ** auch Features* genannt. Der erste Schritt besteht darin, die Daten als pandas.DataFrame zu laden (und anzuzeigen):

Datensatz reinigen¶

Um zu vermeiden, dass das SVM-Modell durch Statiken beeinflusst wird, die auf Nonsense-Einträgen (z.B. Not-a-Number *NaN)-Werten oder extremen Ausreißern, z.B. aus Typos, beruhen, werden wir einige Reinigungsmethoden anwenden.

NaN Werte entfernen¶

Der erste Reinigungsschritt besteht darin, NaNs zu entfernen, die das SVM-Modell später zu schlechten Schlussfolgerungen führen können.

Ausreißer suchen¶

Ausreißer können in extremer Umgebung oder unter extremen Bedingungen auftreten (z.B. intensive Ausfällung), aber einige von ihnen stammen auch aus Geräteausfällen, die die Leistung des SVM-Modells beeinflussen. Das Erkennen und Entfernen solcher gerätebezogenen Ausreißer ist somit ein wesentlicher Schritt.

Die Visualisierung der aufgetragenen Funktionen in einem Scatter-Plot kann hilfreich sein, um Ausreißer Kandidaten zu erkennen. Der folgende Codeblock erzeugt Streubilder jeder Funktion, markiert den erwarteten Wert und den Abstand von 2 Standardabweichungen (erfasst eine Gaussian-ähnliche Verteilung).

Ausreißer entfernen¶

Ausreißer können mit zwei verschiedenen Methoden entfernt werden:

1. Handbuch (d.h. fachkundiges Urteil): Erkennen von Ausreißern der Merkmale und entfernen sie durch Festlegung von Grenzen ihres Intervalls.

2. Automated: Nehmen Sie eine Wahrscheinlichkeitsverteilung an und setzen Sie Grenzen basierend auf einer niedrigen Wahrscheinlichkeit des Beobachtungsereignisses.

Die folgenden Codeblöcke implementieren diese beiden Optionen (manual-expert und automatisiert) Methoden. Die manuelle Ausreißerentfernung ist hard coded , da die Grenzen von Experten gegeben werden sollten.

The automated approach (below else statement) assumes the data having a Gaussian distribution, where points with a so-called z-score greater than 4 (four) are removed. Data points with a z-score less or equal to four have a 99.9%-chance of being inside an interval of four standard deviations away from the expected value. Thus, a sample that has a 0.01%-chance of occurrence is considered automatically an outlier and removed from the dataset. Thus, in this case, the z-score represents the standard deviation, and we use the zscore function of the scipy library.

Überprüfung der Klassenproportionen¶

Ein maschinelles Lernmodell erfordert die Grundwahrheitsdaten, um einem Qualitätsstandard gerecht zu werden. Diese beinhalten (u.a.):

• Jede Kombination von Modellen benötigt eine andere Mindestanzahl an Proben statistische Signifikanz. Es ist keine triviale Aufgabe, die minimale Anzahl von Proben zu identifizieren, die ein vertrauenswürdiges Modell liefern. Um jedoch eine Klasse korrekt darzustellen (was auch immer das bedeutet), muss die so genannte Frequenzverteilung jeder Funktion ähnlich sein wie die populationFrequenzverteilung.

• Mit mehr als 30 Samples, wenn es um normal verteilte Variablen geht, ist eine bewährte Daumenregel.

• Idealerweise sollten die für ein Klassifikationsproblem verwendeten Klassen durch eine ähnliche Probenmenge repräsentiert werden. Ein unausgeglichener Datensatz kann ein Modell erzeugen, das die Klasse mit einer größeren Anzahl von Proben bevorzugt korrekt klassifiziert. Dies ist eine Folge der Verwendung von Genauigkeit als Leistungsmetrik. Genauigkeit ist das Verhältnis der korrekten und der Gesamtzahl der Vorhersagen ($accuracy = n_{correct\_prediction}/ n_{of\_samples}$). Durch das Vorziehen der Gesamtzahl der korrekten Vorhersagen über eine ausgeglichene, maskiert die Genauigkeit die Wichtigkeit, die unterrepräsentierten Klassen richtig zu bekommen.

• Lösungen zum Ausgleich von unsymmetrischen Proben umfassen:

  • Erfassung oder Generierung neuer Daten (z.B. Monte Carlo-Methoden). Wenn verfügbar, precision ist für die Messung der Modellpeformance (anstelle der Genauigkeit) bevorzugt.

  • Weighting-Klasse-Features, was bedeutet, Gewichte zuzuweisen, um die Bedeutung von unterrepräsentierten Klassen richtig zu erhöhen. In Klassifikationsproblemen testen Sie verschiedene Kombinationen der Gewichtsausbeute an ROC-Kurve, die den Einfluss unterschiedlicher Gewichte auf die Modellleistung zeigt.

In diesem Tutorial können die Proben als ausgeglichen angesehen werden, mit Ausnahme der Sandbettklasse (siehe Ausgabe unten). Gewichtung und ROC-Kurven werden hier nicht berücksichtigt. Wenn die Empfindlichkeit und Spezifikation der Sandbettklasse bei der Klassifizierung von Testdaten akzeptabel wäre, könnte das Modell auch für die Sandbettklassifikation verwendet werden, ohne dass dies mit der Anwendung von Ausgleichstechniken zu tun wäre.

Neue Predictors¶

Manchmal ist es möglich, neue aussagekräftige Merkmale aus den vorhandenen zu berechnen. Bekannte Vorhersagen für Morphologie sind beispielsweise:

• das Produkt von (Energie) Neigung $S$(-), Schüttgeschwindigkeit $U$ (m/s) und Wassertiefe $H$(m), die im Grunde shear stress

• das Verhältnis von Entlastung $Q$ (m$^3$/s) und Breite $W$ (m) (d.h. Q/W)

Multicolinearität überprüfen¶

Korrelierte Merkmale (d.h. statistisch abhängige Messparameter) können zu unzuverlässigen Modellen führen. Betrachten Sie beispielsweise einen Wissenschaftler, der maschinelles Lernen (ML)-Modelle verwenden möchte, um die Anzahl der Touristen vorherzusagen, die in Brasilien während ihres Urlaubs sonnenverbrannt werden. Sie will die Sonneneinstrahlungsintensität und die Anzahl der als Features verkauften Eiscremes nutzen. Der Wissenschaftler kann feststellen, dass beide Merkmale relevant sind, um die Anzahl der sonnenverbrannten Touristen vorherzusagen, aber der Grund für diese Feststellung ist, dass die Anzahl der Eisdielen verkauft wird, und die Sonnenintensität korreliert. So hat der Wissenschaftler keine Möglichkeit zu wissen, was die wirkliche Bedeutung jedes Merkmals bei der Vorhersage von sonnenverbrannten Touristen ist, weil die Merkmale gleichzeitig wachsen und abnehmen. Übrigens haben Eiscreme-Verbrauch und Sonnenbrand keine Kausalität gemein, aber das ist ein weiteres Thema.

Zu diesem Zweck ist es wichtig, die Korrelation zwischen den Merkmalen zu untersuchen und die damit verbundenen Merkmale zu beseitigen, um ein zuverlässigeres Modell zu produzieren. Eine Möglichkeit, die Kolinearität visuell zu erkennen, zeigt die Kombination zweier Variablen in einem Streudiagramm. Zu diesem Zweck werden die nachstehenden Abbildungshilfen folgende Aspekte der bedload_dataset:

• Es besteht eine starke lineare Korrelation zwischen den $H$ und $Q/W$ Features.

• Es besteht keine lineare Korrelation zwischen $W$ und $U$.

• Die Strömungsgeschwindigkeit $U$distribuiton ist annähernd normal (siehe Hauptdiagonale).

Darüber hinaus ist eine heatmap eine weitere effiziente Methode, um lineare Korrelation unter Features zu visualisieren. Auch die Berechnung lineare Korrelation ermöglicht eine quantitative Analyse.

Varianz Inflationsfaktor (VIF)¶

Eine einfache Methode zur Bewertung multicollinerity ist die Berechnung des Varianz-Inflationsfaktors (VIF) für jede Funktion, die die Korrelation unter den Merkmalen quantifiziert.

Der erste Schritt zur Berechnung des VIF behandelt ein Feature als abhängige Variable und passt zu einem linearen Regressionsmodell unter Verwendung der anderen Features als unabhängige Variable. Zweitens speichern Sie die entsprechenden mittleren Quadratfehler $MSE$, die vom linearen Modell geliefert werden.

Schließlich kann VIF für jedes Merkmal durch folgende Gleichung berechnet werden:

• $VIF_{feature(n)}$ ist der Varianz-Inflationsfaktor der $n_{th}$-Funktion und

• $MSE^2_{feature(n)}$ ist der mittlere Quadratfehler, der sich aus der linearen Regression der $n_{th}$-Funktion ergibt.

Je kleiner das MSE (besseres lineares Regressionsmodell) ist, desto größer ist die Inflation. Mit anderen Worten weisen große VIF-Werte eine hohe Korrelation des betrachteten Merkmals mit zumindest einer der anderen Merkmale auf. Dennoch ist es nicht möglich, basierend auf VIF nur zu sagen, was other feature dazu führt, dass VIF aufblasen wird.

In der Regel des Daumens zeigt ein VIF größer als 10 (ten) einen ungeeigneten Satz von Merkmalen zur Herstellung eines zuverlässigen ML-Modells. Idealerweise sollte der VIF kleiner als 5 (fünf) bleiben, was als moderate Korrelation gilt Franke, 2010. Diese Referenzwerte sind jedoch keine allgemein gültige Regel. VIF gleich oder größer als 10 kann noch ein gutes Modell liefern.

Eine weitere Analyse zur Untersuchung der Auswirkungen eines hohen VIF auf korrelierte Merkmale kann durch Entfernen jeder Funktion zu einem Zeitpunkt durchgeführt werden und untersuchen, wie die Merkmalsentfernung die Variation des Standardfehler und p-value des Modells beeinflusst.

In diesem Tutorial haben 2 Funktionen einen VIF $>$10 (insbesondere $H$ und $Q/W$), wie die folgenden Code-Block-Shows zeigen.

Entfernen Sie die Eigenschaften, um VIF zu reduzieren¶

Mit dem Ziel, die Funktion VIFs auf weniger als 5 zu reduzieren, verwenden wir in diesem Tutorial einen Test-und-Fehler-Ansatz. Die Änderung des folgenden Code-Blocks zeigt, dass die Entfernung von $H$ und $Q$ ausreicht, um die VIFs der übrigen Features auf weniger als 5 zu reduzieren. Insbesondere gehen diese beiden entfernten Variablen auch in oben vorgestellte Features $Q/W$ und $SUH$. Obwohl $H$ und $Q$ entfernt werden, tragen sie immer noch “Informationen” zum Abschlussmodell bei.

Die Kombination von korrelierten Merkmalen, um eine neue zu produzieren und später zu entfernen, ist ein gemeinsamer Ansatz, um VIFs zu reduzieren. Da wir durch Entfernen einiger Merkmale gute VIF-Werte lieferten, ist keine weitere Analyse erforderlich.

Schließlich werden die Merkmale, die zum Trainieren und Testen des SVM-Modells verwendet werden, durch die Ausgabe des Codeblocks unten dargestellt.

Split Test- und Trainingsdatensätze¶

Der letzte Vorbereitungsschritt für den Aufbau des SVM-Modells besteht darin, ein Training und einen Testdatensatz aus dem gesamten bedload_dataset abzuleiten. Die Auswahl eines Anteils an Daten zur Erstellung eines Trainings und eines Testdatensatzes ist in der Regel eine heuristische Wahl. Hier verwenden wir 33% der Daten, um später eine endgültige Hypothese zu testen. Beachten Sie, dass innerhalb der Split-Datensätze der Index der Proben (Reihen der tabellarischen Daten) ihre entsprechende Klasse innerhalb der target-Datensätze haben.

Bauen Sie das SVM Modell¶

Arbeitsprinzip¶

Eine Support Vector Machine (SVM) ist ein Lernalgorithmus, der nach einem sogenannten *hyperplane sucht, der Funktionsklassen optimal trennt. Um eine optimale Trennung zu finden, versucht der Algorithmus, den Abstand (oder den Rand) vom Hyperplan zu den nächsten Datenpunkten zu maximieren. Die Datenpunkte in der Nähe der Grenzen der Marge werden auch mit -Unterstützungsvektoren bezeichnet, da sie als Verweis auf draw das Hyperplane arbeiten (siehe Abb. Figure 2 unten).

Nehmen Sie beispielsweise an, dass zwei der obigen Klassen linear trennbar sind. Wir können die Regionen definieren, die jede Klasse mittels des folgenden Hyperplans enthalten:

$\vec{w} \vec{X} + b > 1$ --> Class Red und $\vec{w} \vec{X} + b < 1$ --> Class Blue

wenn

• $\vec{w}$ ist der Gewichtsvektor,

• $\vec{X}$ ist die Matrix der Features,

• $b$ ist die unabhängige Variable (auch bias) und

• der Wert von 1 wird als repräsentative Vereinfachung gewählt, da $b$ grundsätzlich jeder Wert sein kann.

Schließlich (nach einigen Schritten, die hier nicht diskutiert werden), können wir ein optimales Hyperplane berechnen, indem wir den folgenden Ausdruck minimieren:

$min (0.5 \vec{w^t} \vec{w})$

wobei $\vec{w^t}$ der transponierte Gewichtsvektor ist.

In der realen Welt ist es jedoch üblich, Probleme zu finden, bei denen Klassen nicht linear trennbar sind. In solchen Situationen können sogenannte Kernel eingesetzt werden. Ein Kernel ist eine Funktion, die $\vec{X}$ zu einer Matrix mit höheren Dimensionen transformiert, indem die verfügbaren Funktionen kombiniert werden, um neue Features zu erstellen (d.h. neue Dimensionen).

Hier wenden wir die Radius Base Function (RBF) kernel an. Der RBF ist ein beliebter Kernel, weil er den $\vec{X}$ in eine unendliche Dimensionsmatrix verwandelt, ohne dass das Modell überholt werden kann.

k-fach Kreuzvalidierung¶

SVMs, bestehend aus einem RBF-Kernel, können durch Abstimmung zweier Parameter validiert werden:

1. C : bestimmt, wie viel die Margen permissiv sind. Sie unterscheidet sich zwischen einer hard-Marge (d.h. einer Marge, die ein Eindringen von Datenpunkten nur wenig oder gar nicht ermöglicht) und einer soft-Marge* (d.h. einer Marge, die das Eindringen von Datenpunkten innerhalb der Marge ermöglicht). Ein höherer C entspricht einer härteren Marge.

2. gamma : bestimmt den Bereich der Ähnlichkeit zwischen den Proben. Es ist die einzige Variable des RBF-Kernels. Je höher Gamma ist, desto breiter ist der Einfluss einer markierten Probe auf die Klassifizierung einer neuen Probe.

Harte Margen können auch als *-Sensitivität des Hyperplans interpretiert werden, wenn es mit den Daten passt. Je härter der Rand, umso mehr die Hyperplane verdreht, um keinen Datenpunkt in den Rand eindringen zu lassen.

In diesem Tutorial definieren wir C basierend auf einem Try-and-Eror-Ansatz und einem Gamma, das aus einem fünffachen cross-validation. Der folgende Codeblock baut die SVM mit der sklearnBibliothek auf und druckt die Validierungs- und Trainingsfehlerkurven, die sich aus unterschiedlichen gamma ergeben.

Optimale Parameter auswählen¶

Die Entscheidung über optimale Parameter für den SVM hängt von Ihrer Meinung ab. Zur Auswahl optimaler Parameter in diesem Tutorial quantifiziert der nachfolgende Codeblock das oben gezeigte Diagramm (insbesondere die blaue Kurve) in tabellarischer Form und speichert das Gamma, das den kleinsten Fehler liefert ( gamma opt ).

Zug Optimum Hypothese SVM Modell¶

Nach der Definition eines Gammas, der den kleinsten Validierungsfehler ( gamma opt ) liefert, können wir auf dem gesamten Trainingsdatensatz ein optimales Hypothesenmodell ( h opt ) trainieren. Darüber hinaus können wir die Genauigkeit des Modells bewerten, indem wir es verwenden, um den Testdatensatz zu klassifizieren. Der untere Codeblock verfügt über das Training, das Bestücken des SVM (d.h. eine optimale Hypothese) und druckt die Punktzahl der optimalen Hypothese.

Performance Evaluation (Confusion Matrix)¶

Schließlich erzeugt der folgende Codeblock die sogenannte -Konfusionsmatrix, um die optimale Hypothesenmodellleistung bei der Klassifizierung der Proben mit unterschiedlichen Morphologien auszuwerten. Die Verwirrungsmatrix verwendet die Gesamtzahl der Proben und visualisiert ihre wahren und vorhergesagten morphologischen Einheiten.

Die Verwirrungsmatrix eines exakten Modells hat nur Diagonaleinträge größer als Null, während alle anderen Null sind. So zeigt die oben gezeigte Verwirrungsmatrix, dass unser SVM-Modell bei der Vorhersage von Schritt-Pool- und Riffle-Pool-Mmorphologien sehr gut ausführt, aber aufgrund nicht vieler Beobachtungen unzuverlässigerweise Sandbettmorphologien vorhersagt. Allerdings machte das Modell auch falsche Vorhersagen von Schritt-Pool und Riffle Pool-Features. So prognostizierte das Modell nach der Verwirrungsmatrix 6 mal Schritt-Pool, wo in Wirklichkeit (wahres Etikett), morphologische Einheiten des Planbetts vorherrschten und es falsch prognostizierte eine Geflechtsbeobachtung als Schritt-Pool Beobachtung. Die Sandbettvorhersagen sind unzuverlässig, da es nur 25 wahr-markierte Sandbettbeobachtungen gibt (begrenzt auf 66 Schritt-Pool Beobachtungen). So sind die Sandbettbeobachtungen unsymmetrisch und eine Lösung zur Entfernung der Unzuverlässigkeit könnte es sein, mehr Sandbett-morphologische Einheiten (wie oben erläutert) abzuproben.