Support Vector Machine (SVM)¶

Dieses Tutorial enthält die Support Vector Machine (SVM) -Technik zur Klassifizierung von Flussbettmorphologietypen als Funktion von Hydraulik- und Sedimenttransportdaten.

Enable interactive reading and executing code blocks with and find morphology-predictor-svm.ipynb Alternatively, install Python and JupyterLab locally and download this Jupyter notebook.

Theorie¶

In the field of restoration science, the identification of river morphology provides essential insights, for instance, to guide target terraforming aiming at re-instating a near-census natural state of a fluvial landscape. In addition, morphological pattern may serve as a predictor for estimating fluvial sediment transport and vice versa. Thus, there is a bidirectional relationship between fluvial hydraulics, sediment transport, and morphological pattern, which represent physical habitat for aquatic species and may even affect energy production Recking et al., 2016.

Yet, classifying and predicting fluvial morphodynamics is challenging because of the complexity of river ecosystems and every river being a unique environment. However,there are repeating morphological units of rivers with similar characteristics. A basic set of repetitive morphological features was introduced by Montgomery & Buffington (1997), and we will focus in this tutorial on the following five morphological units (click on the items to read more):

• Step pool

• Plane bed

• Riffle pool

• Braiding

• Sand bed

Diese morphologischen Einheiten können in der oben aufgeführten Reihenfolge entlang eines Flusses gefunden werden, beginnend an der Quelle und endend mit seiner Mündung. So können * Step Pool * Einheiten typischerweise im stromaufwärts gelegenen (Berg-) Flussabschnitt gefunden werden, während * Sandbetten * überwiegend in flacheren Flussabschnitten in der Nähe von Mündungen oder Zusammenflüssen vorhanden sind. Beachten Sie, dass es noch viele andere morphologische Einheiten gibt, wie z. B. Slackwater, Swale oder Bars Wyrick & Pasternack, 2014. Fig. Figure 1 illustriert einige morphologische Einheiten von natürlichen Flüssen nahe dem Zensus.

To guide restoration actions, experts often visually classify morphology units on-site, though some of them may also be distinguishable on aerial imagery. On-site (in-situ) expert assessments may also serve as ground truth for machine learning models. In this exercise, we will use hydrodynamic parameters with expert-based ground truth from the database https://bedloadweb.com. Thus, at the end of this tutorial, you may be able to reduce a necessary amount of fieldwork, just by using hydraulic parameters that can sometimes also be retrieved from gauging stations. To this end, we will train and test an SVM model that classifies morphological units as a function of data that can be collected in-situ or derived from aerial imagery.

Vorverarbeitung¶

Lastdaten¶

We downloaded a dataset from https://bedloadweb.com (download the bedload_dataset sample):

• Jede Probe wird aus den Querschnitten von 146 verschiedenen Flüssen rund um den Globus abgeleitet.

• Der Datensatz umfasst den hydraulischen und Sedimenttransport (z. B. Korngrößen), obwohl wir in diesem Tutorial nur die folgenden Parameter verwenden, um das SVM-Modell zu trainieren:

  • W: Kanalbreite (m)

  • S: Kanalneigung (m)

  • Q: Entlastung (m$^3$s$^{-1}$)

  • U: Massenstromgeschwindigkeit (m s$^{-1}$)

  • H: Wassertiefe (m)

In a machine learning context, these parameters for predicting morphological units are also called features. The first step is to load (and view) the data as a pandas.DataFrame:

Reinigen Sie den Dataset¶

Um zu vermeiden, dass das SVM-Modell durch Statiken beeinflusst wird, die auf Nonsense-Einträgen (z. B. Not-a-Number NaN) oder extremen Ausreißern basieren, die beispielsweise auf Tippfehlern beruhen, werden wir einige Reinigungsmethoden anwenden.

NaN-Werte entfernen¶

Der erste Reinigungsschritt besteht darin, NaNs zu entfernen, die das SVM-Modell später zu schlechten Schlussfolgerungen führen können.

Suchausreißer¶

Ausreißer können in extremen Umgebungen oder unter extremen Bedingungen auftreten (z. B. starke Niederschläge), aber einige von ihnen stammen auch aus Geräteausfällen, die die Leistung des SVM-Modells beeinträchtigen. Daher ist das Erkennen und Entfernen derartiger gerätebezogener Ausreißer ein wesentlicher Schritt.

Die Visualisierung der aufgetragenen Funktionen in einem Scatter-Plot kann hilfreich sein, um Ausreißerkandidaten zu erkennen. Der folgende Codeblock erstellt Streuplots von jedem Feature, markiert den Erwartungswert und den Abstand von 2 Standardabweichungen (unter der Annahme einer Gauß-ähnlichen Verteilung).

Ausreißer entfernen¶

Ausreißer können mit zwei verschiedenen Methoden entfernt werden:

1. Handbuch (d. h. Expertenurteil): Identifizieren Sie Ausreißer der Merkmale und entfernen Sie sie, indem Sie Grenzen ihres Intervalls festlegen.

2. Automatisiert: Nehmen Sie eine Wahrscheinlichkeitsverteilung an und setzen Sie Grenzen basierend auf einer geringen Wahrscheinlichkeit des Beobachtungsereignisses.

Die folgenden Codeblöcke implementieren diese beiden Optionen (Manual-Experte und automatisierte) Methoden. Die manuelle Entfernung von Ausreißern ist hard codiert , da die Grenzen von Experten angegeben werden sollten.

The automated approach (below else statement) assumes the data having a Gaussian distribution, where points with a so-called z-score greater than 4 (four) are removed. Data points with a z-score less or equal to four have a 99.9%-chance of being inside an interval of four standard deviations away from the expected value. Thus, a sample that has a 0.01%-chance of occurrence is considered automatically an outlier and removed from the dataset. Thus, in this case, the z-score represents the standard deviation, and we use the zscore function of the scipy library.

Klassenproportionen überprüfen¶

Ein Machine-Learning-Modell erfordert, dass die Ground Truth-Daten einem Qualitätsstandard entsprechen. Diese beinhalten (unter anderem):

• Jede Kombination von Modellen benötigt eine andere Mindestanzahl von Stichproben statistische Signifikanz]. Es ist keine triviale Aufgabe, die Mindestanzahl von Proben zu identifizieren, die ein vertrauenswürdiges Modell ergeben. Um jedoch eine Klasse richtig darzustellen (was auch immer das bedeutet), muss die sogenannte Frequenzverteilung] jedes Merkmals der Population Frequenzverteilung] ähnlich sein.

• Mehr als 30 Samples beim Umgang mit normal verteilten Variablen ist eine gute Faustregel.]

• Idealerweise sollten die für ein Klassifizierungsproblem verwendeten Klassen durch eine ähnliche Probenmenge dargestellt werden. Ein unausgewogener Datensatz kann ein Modell erzeugen, das der korrekten Klassifizierung der Klasse mit einer größeren Anzahl von Stichproben den Vorzug gibt. Dies ist eine Folge der Verwendung von Genauigkeit als Leistungsmetrik. Genauigkeit ist das Verhältnis von korrekt und die Gesamtzahl der Vorhersagen ($accuracy = n_{correct\_prediction}/ n_{of\_samples}$). Indem die Gesamtzahl der korrekten Vorhersagen einer ausgewogenen vorgezogen wird, maskiert die Genauigkeit die Wichtigkeit, die unterrepräsentierten Klassen korrekt zu erhalten.

• Lösungen für den Ausgleich unausgeglichener Proben umfassen:

  • Sammeln oder Generieren neuer Daten (z. B. Methoden von Monte Carlo]. Wenn verfügbar, ist precision] für die Messung der Peformanz des Modells (statt der Genauigkeit) vorzuziehen.

  • Weighting Klassenmerkmale, was bedeutet, Gewichte zuzuweisen, um die Bedeutung unterrepräsentierter Klassen korrekt zu erhöhen.] Bei Klassifizierungsproblemen ergibt das Testen verschiedener Gewichtskombinationen eine ROC curve, die den Effekt unterschiedlicher Gewichte auf die Modellleistung zeigt].

In diesem Tutorial können die Proben als ausgewogen angesehen werden, mit Ausnahme der Sandbettklasse (siehe Ausgabe unten). Gewichtung und ROC-Kurven werden hier nicht berücksichtigt. Wenn Sensitivität und Spezifikation der Sandbettklasse bei der Klassifizierung von Testdaten akzeptabel wären, könnte das Modell auch für die Sandbettklassifizierung verwendet werden, ohne dass Abgleichtechniken verwendet werden müssten.

Ableiten neuer Vorhersagen¶

Manchmal ist es möglich, aus den vorhandenen neue sinnvolle Features zu berechnen. Zum Beispiel bekannte Prädiktoren für Morphologie sind:

• the product of (energy) slope $S$ (-), bulk flow velocity $U$ (m/s), and water depth $H$ (m), which basically represents shear stress

• das Verhältnis von Entladung $Q$ (m$^3$/s) und Breite $W$ (m) (dh Q/W)

Multikolinearität überprüfen¶

Korrelationsmerkmale (d. h. statistisch abhängige Messparameter) können zu unzuverlässigen Modellen führen. Betrachten Sie zum Beispiel einen Wissenschaftler, der maschinelles Lernen (ML) -Modelle verwenden möchte, um die Anzahl der Touristen vorherzusagen, die in Brasilien während ihres Urlaubs sonnenverbrannt werden. Sie möchte die Intensität der Sonnenstrahlung und die Anzahl der verkauften Eiswürfel als Features verwenden. Der Wissenschaftler kann feststellen, dass beide Merkmale relevant sind, um die Anzahl der sonnenverbrannten Touristen vorherzusagen, aber der Grund für diese Feststellung ist, dass die Anzahl der verkauften Eiswürfel und die Sonnenintensität korreliert sind. Daher hat der Wissenschaftler keine Möglichkeit zu wissen, was die wirkliche Bedeutung jedes Merkmals bei der Vorhersage sonnenverbrannter Touristen ist, da die Merkmale gleichzeitig wachsen und abnehmen. Übrigens haben Eiscremekonsum und Sonnenbrand keine Gemeinsamkeiten, aber das ist ein anderes Thema.

To this end, it is important to investigate the correlation among features and consider eliminating the correlated features to produce a more reliable model. One way to visually spot colinearity is plotting the combination of two variables in a scatter plot. For this purpose, the below figure aids in spotting the following aspects of the bedload_dataset:

• There is a strong linear correlation between the $H$ and $Q/W$ features.

• Es gibt keine lineare Korrelation zwischen $W$ und $U$.

• The flow velocity $U$ distribuiton is approximately normal (see main diagonal).

Darüber hinaus ist eine heatmap] eine weitere effiziente Methode, um lineare Korrelationen zwischen Merkmalen zu visualisieren. Auch die Berechnung linear correlation ermöglicht die quantitative Analyse.]

Varianz-Inflationsfaktor (VIF)¶

Eine einfache Methode zur Bewertung multicollinerity] ist die Berechnung des Varianz-Inflationsfaktors (VIF) für jedes Merkmal, der die Korrelation zwischen den Merkmalen quantifiziert.

The first step to compute the VIF is treating a feature as a dependent variable and fit a linear regression model using the other features as independent variable. Second, store the corresponding mean square errors $MSE$ yielded by the linear model.

Schließlich kann VIF für jedes Merkmal durch die folgende Gleichung berechnet werden:

• $VIF_{feature(n)}$ ist der Varianz-Inflationsfaktor des $n_{th}$-Features, und

• $MSE^2_{feature(n)}$ ist der mittlere quadratische Fehler, der sich aus der linearen Regression des $n_{th}$-Features ergibt.

Beachten Sie, dass je kleiner das MSE (besseres lineares Regressionsmodell), desto größer ist die Inflation. Mit anderen Worten, große VIF-Werte weisen auf eine hohe Korrelation des betrachteten Merkmals mit mindestens einem der anderen Merkmale hin. Dennoch ist es nicht möglich, nur basierend auf VIF zu sagen, welches andere Feature VIF aufblasen lässt.

As rule of thumb, a VIF greater than 10 (ten) indicates an unsuitable set of features to produce a reliable ML model. Ideally, the VIF should remain smaller than 5 (five), which is considered moderate correlation Franke, 2010. However, these reference values are not a generally and always applicable rule. VIF equal to or greater than 10 can still yield a good model.

Weitere Analysen zur Untersuchung der Auswirkungen eines hohen VIF auf korrelierte Merkmale können durchgeführt werden, indem jedes Merkmal gleichzeitig entfernt wird und untersucht wird, wie sich die Merkmalsentfernung auf die Variation der Standardfehler und p-value] des Modells auswirkt.

In this tutorial, 2 features have a VIF $>$10 (notably, $H$ and $Q/W$), as the following code block shows.

Features entfernen, um VIF zu reduzieren¶

With the goal of reducing the feature VIFs to less than 5, we use a trial-and-error approach in this tutorial. Modifying the below code block shows that removing $H$ and $Q$ is enough to reduce the VIFs of the remaining features to less than 5. In particular, these two removed variables also go into above-introduced features $Q/W$ and $SUH$. Thus, although $H$ and $Q$ are removed, they still “contribute information” to the final model.

Die Kombination korrelierter Merkmale, um eine neue zu erzeugen, und deren späteres Entfernen ist ein gängiger Ansatz, um VIFs zu reduzieren. Da wir durch das Entfernen einiger Merkmale gute VIF-Werte erzielt haben, ist keine weitere Analyse erforderlich.

Schließlich werden die Funktionen, die zum Trainieren und Testen des SVM-Modells verwendet werden, durch die Ausgabe des Codeblocks unten angezeigt.

Split Test- und Trainingsdatensätze¶

Der letzte Vorbereitungsschritt für die Erstellung des SVM-Modells besteht darin, aus dem gesamten bedload_dataset einen Trainings- und Testdatensatz abzuleiten. Die Auswahl einer Freigabe für Daten zum Zusammenstellen eines Trainings- und Testdatensatzes ist in der Regel eine heuristische Wahl. Hier verwenden wir 33% der Daten, um später eine endgültige Hypothese zu testen. Beachten Sie, dass innerhalb der geteilten Datensätze der Index der Samples (Zeilen der Tabellendaten) ihre entsprechende Klasse innerhalb der target-Datensätze hat.

Erstellen Sie das SVM-Modell¶

Arbeitsprinzip¶

Eine Support Vector Machine (SVM) ist ein Lernalgorithmus, der nach einer sogenannten hyperplane sucht, die Feature-Klassen optimal trennt. Um eine optimale Trennung zu finden, versucht der Algorithmus, die Entfernung (oder den Rand) von der Hyperebene zu den nächsten Datenpunkten zu maximieren. Die Datenpunkte nahe den Grenzen des Randes werden auch als Unterstützungsvektoren bezeichnet, da sie als Referenz auf draw die Hyperebene dienen (siehe Fig. Figure 2 unten).

Nehmen wir zum Beispiel an, dass zwei der oben genannten Klassen linear trennbar sind. Wir können die Regionen, die jede Klasse enthalten, durch die folgende Hyperebene definieren:

$\vec{w} \vec{X} + b > 1$ --> Klasse Red , und $\vec{w} \vec{X} + b < 1$ --> Klasse Blau

wo

• $\vec{w}$ ist der Vektor der Gewichte,

• $\vec{X}$ ist die Matrix der Features,

• $b$ ist die unabhängige Variable (auch bias genannt), und

• Der Wert von 1 wird als repräsentative Vereinfachung gewählt, da $b$ grundsätzlich ein beliebiger Wert sein kann.

Schließlich (nach einigen Schritten, die hier nicht besprochen werden) können wir eine optimale Hyperebene berechnen, indem wir den folgenden Ausdruck minimieren:

$min (0.5 \vec{w^t} \vec{w})$

Dabei ist $\vec{w^t}$ der transponierte Gewichtsvektor.

In the real world, however, it is common to find problems where classes are not linearly separable. In such situations, so-called kernels can be applied. A kernel is a function that transforms $\vec{X}$ to a matrix with higher dimensions by combining the available features to create new features (i.e., new dimensions).

Here, we apply the Radius Base Function (RBF) kernel. The RBF is a popular kernel because it transforms the $\vec{X}$ into an infinite dimension matrix without the risk of overfitting the model.

k-fache Kreuzvalidierung¶

SVMs, die aus einem RBF-Kernel bestehen, können durch Abstimmung zweier Parameter validiert werden:

1. C : bestimmt, wie viel die Margen permissiv sind. Es unterscheidet zwischen einer **harten Marge ** (dh einer Marge, die eine geringe oder keine Penetration von Datenpunkten ermöglicht) und einer **weichen Marge ** (dh einer Marge, die eine Penetration von Datenpunkten innerhalb der Marge ermöglicht). Ein höheres C entspricht einem härteren Margin.

2. gamma : bestimmt die Ähnlichkeitsregion zwischen den Proben. Es ist die einzige Variable des RBF-Kernels. Je höher Gamma ist, desto breiter ist der Einfluss einer markierten Probe auf die Klassifizierung einer neuen Probe.

Harte Ränder können auch als die Sensibilität der Hyperebene beim Anpassen mit den Daten interpretiert werden. Je härter der Rand ist, desto mehr verdreht sich die Hyperebene, um keinen Datenpunkt in den Rand eindringen zu lassen.

In diesem Tutorial definieren wir C basierend auf einem Try-and-Error-Ansatz und einem Gamma, das aus einem fünffachen cross-validation] stammt. Der folgende Codeblock erstellt die SVM mithilfe der sklearn-Bibliothek und druckt die Validierungs- und Trainingsfehlerkurven aus, die sich aus unterschiedlichen gamma ergeben.

Wählen Sie optimale Parameter¶

Die Entscheidung über optimale Parameter für die SVM hängt von Ihrer Meinung ab. Zur Auswahl optimaler Parameter in diesem Tutorial quantifiziert der unten stehende Codeblock den oben gezeigten Plot (insbesondere die blaue Kurve) in tabellarischer Form und speichert den Gamma, der den kleinsten Fehler ergibt ( gamma opt ).

Zugoptimale Hypothese SVM Modell¶

Nach der Definition eines Gamma, das den kleinsten Validierungsfehler ( gamma opt ) ergibt, können wir ein optimales Hypothesenmodell ( h opt ) für den gesamten Trainingsdatensatz trainieren. Darüber hinaus können wir die Genauigkeit des Modells bewerten, indem wir es zur Klassifizierung des Testdatensatzes verwenden. Der folgende Codeblock zeigt das Trainingsverfahren, die Anpassung der SVM (dh eine optimale Hypothese) und druckt die Punktzahl der optimalen Hypothese.

Leistungsbewertung (Konfusionsmatrix)¶

Schließlich erzeugt der folgende Codeblock die sogenannte confusion matrix, um die optimale Leistung des Hypothesenmodells bei der Klassifizierung der Proben mit unterschiedlichen Morphologien zu bewerten. Die Verwirrungsmatrix verwendet die Gesamtzahl der Proben und visualisiert ihre wahren und vorhergesagten morphologischen Einheiten.

Die Verwirrungsmatrix eines exakten Modells hat nur diagonale Einträge größer als Null, während alle anderen Null sind. So zeigt die oben gezeigte Verwirrungsmatrix, dass unser SVM-Modell sehr gut bei der Vorhersage von Step-Pool- und Riffle-Pool-Morphologien funktioniert, aber aufgrund von nicht vielen Beobachtungen unzuverlässig Sandbett-Morphologien vorhersagt. Das Modell machte jedoch auch falsche Vorhersagen zu Step-Pool- und Riffle-Pool-Features. Zum Beispiel, gemäß der Verwirrungsmatrix, prognostizierte das Modell 6-mal Step-Pool, wo in Wirklichkeit (wahres Etikett), ebene Bett morphologische Einheiten vorherrschten, und es fälschlicherweise eine Flechtbeobachtung als Step-Pool-Beobachtung voraussagte. Die Sandbettvorhersagen sind unzuverlässig, da es nur 25 True-Label-Sandbettbeobachtungen gibt (im Gegensatz zu 66 Step-Pool-Beobachtungen). Daher sind die Sandbettbeobachtungen unausgewogen und eine Lösung zur Beseitigung der Unzuverlässigkeit könnte darin bestehen, mehr morphologische Sandbetteinheiten zu beproben (wie oben erläutert).