Prétraitement¶

Charger les données¶

We downloaded a dataset from https://bedloadweb.com (download the bedload_dataset sample):

• Les échantillons proviennent de sections de 146 rivières différentes à travers le monde.

• L’ensemble de données englobe les paramètres de transport hydraulique et sédimentaire (p. ex., la taille des grains), bien que dans ce tutoriel, nous n’utiliserons que les paramètres suivants pour former le modèle SVM:

  • W: Largeur du chenal (m)

  • S: pente du chenal (m/m)

  • Q : Décharge (m$^3$ s$^{-1}$)

  • U: Vitesse de débit en vrac (m s$^{-1}$)

  • H: Profondeur d ’ eau (m)

Dans un contexte d’apprentissage automatique, ces paramètres pour prédire les unités morphologiques sont également appelés caractéristiques. La première étape consiste à charger (et afficher) les données sous la forme d’un pandas.DataFrame:

Nettoyer l’ensemble de données¶

Pour éviter que le modèle SVM ne soit affecté par des statistiques basées sur des entrées absurdes (par exemple, des valeurs de Not-a-Numero NaN) ou des valeurs extrêmes aberrantes, par exemple, résultant de typos, nous appliquerons certaines méthodes de nettoyage.

Supprimer les valeurs de NaN¶

La première étape de nettoyage est d’enlever NaNs qui pourrait mener plus tard le modèle SVM à de mauvaises conclusions.

Rechercher les valeurs aberrantes¶

Des valeurs aberrantes peuvent survenir dans des environnements extrêmes ou dans des conditions extrêmes (p. ex. précipitations intenses), mais certaines d’entre elles découlent également de défaillances d’équipement qui affecteront les performances du modèle SVM. Il est donc essentiel de reconnaître et de supprimer ces valeurs aberrantes.

Visualiser les caractéristiques dans les diagrammes de dispersion peut être utile pour repérer des candidats aberrants. Le bloc de code suivant crée un graphique scatter de chaque fonction, et marque sa valeur moyenne (ligne horizontale) et la plage des écarts-types ±2 autour (ligne verticale, en supposant une distribution gaussienne).

Supprimer les valeurs aberrantes¶

Les valeurs aberrantes peuvent être supprimées avec deux méthodes différentes:

1. Manuel (c.-à-d. jugement d’expert): identifier les aberrations des caractéristiques et les supprimer en fixant des limites de leur intervalle.

2. Automatisé : suppose une distribution de probabilité et fixe des limites basées sur une faible probabilité d’occurrence.

Le bloc de code suivant implémente ces deux méthodes (manuelles-experts et automatisées). La suppression manuelle aberrante est hard-coded car les limites doivent être données par des experts.

L’approche automatisée (en dessous de l’énoncé else) suppose que les données suivent une distribution gaussienne, et supprime les points de données avec un soi-disant z-score de plus de 4 (quatre) en termes absolus. Le z-score exprime par combien d’écarts-types une valeur s’écarte de la moyenne. Pour une distribution gaussienne, environ 99,94 % de toutes les valeurs se situent dans quatre écarts types par rapport à la moyenne. Ainsi, un échantillon dont la probabilité d’occurrence est inférieure à 0,01 % est automatiquement considéré comme un échantillon aberrant et retiré de l’ensemble de données. À cette fin, nous utilisons la fonction zscore de la bibliothèque scipy.

Vérifier les proportions des classes¶

Un modèle d’apprentissage automatique exige que les données de vérité au sol respectent certaines normes de qualité. Celles-ci concernent (entre autres):

• Chaque modèle a besoin d’un nombre minimum d’échantillons différent pour avoir une signification statistique](Statistical significance). Il n’est pas trivial d’identifier le nombre minimum d’échantillons qui donnent un modèle digne de confiance. Cependant, pour représenter correctement une classe (quel que soit le sens), la soi-disant distribution de fréquence de chaque fonction doit être similaire à la distribution de fréquence.

• Avoir plus de 30 samples lorsqu’il s’agit de variables normalement distribuées est une règle de bonne pratique.

• Idéalement, les classes utilisées pour un problème de classification devraient être représentées par un nombre similaire d’échantillons. Un ensemble de données déséquilibré peut produire un modèle qui donne la préférence à une classification correcte de la classe avec un plus grand nombre d’échantillons. Ceci est une conséquence de l’utilisation de la précision comme mesure de performance. La précision est le rapport entre les prévisions correctes et le nombre total de prévisions ($accuracy = n_{correct\_predictions}/ n_{samples}$). En favorisant le nombre total de prédictions correctes par rapport à une prédiction équilibrée, la précision masque l’importance de prédire correctement les classes sous-représentées. Par conséquent, les mesures sensibles aux classes, telles que précision et rappel, sont préférables pour mesurer la performance des modèles formés sur des données déséquilibrées.

• Les solutions pour équilibrer les échantillons déséquilibrés englobent :

  • Recueillir de nouvelles données ou générer des données synthétiques (par exemple, en suréchantillonnant les classes sous-représentées ou en utilisant Monte Carlo methods).

  • Weighting classes, qui signifie attribuer des poids plus élevés aux classes sous-représentées pour augmenter leur importance dans le processus de formation. L’effet des coefficients de pondération ou des seuils de décision sur le compromis entre les taux réels et les taux faux positifs peut être évalué à l’aide d’une courbe ROC courbe.

Dans ce tutoriel, les échantillons peuvent être considérés comme équilibrés, sauf pour la classe de lit de sable (voir la sortie ci-dessous). La pondération et les courbes ROC ne sont pas considérées ici. Si la sensibilité et la spécificité de la classe de banc de sable étaient acceptables lors de la classification des données d’essai, le modèle pourrait également être utilisé pour la classification des bancs de sable sans qu’il soit nécessaire de recourir à des techniques d’équilibrage.

Nouveaux prédicteurs dérivés¶

Il est parfois possible de calculer de nouvelles fonctionnalités significatives à partir des fonctionnalités existantes. Par exemple, les prédicteurs connus de la morphologie sont :

• le produit de la pente (énergie) $S$ (-), la vitesse de débit en vrac $U$ (m/s) et la profondeur d’eau $H$ (m), qui est proportionnelle à la puissance spécifique du courant $\omega = \rho g U H S$ (W/m$^2$), où $\rho$ est la densité de l’eau et $g$ est l’accélération gravitationnelle; de même, le produit de $H$ et $S$ est proportionnel à la bed shear stress $\tau = \rho g H S$

• le ratio de décharge $Q$ (m$^3$/s) et la largeur $W$ (m), qui est la décharge de l’unité $q = Q/W$ (m$^2$/s)

Vérifier la multicolinéarité¶

Des caractéristiques connexes (c.-à-d. des paramètres de mesure statistiquement dépendants) peuvent donner lieu à des modèles peu fiables. Par exemple, considérez un scientifique qui veut utiliser des modèles d’apprentissage automatique (ML) pour prédire le nombre de touristes qui se font brûler le soleil au Brésil pendant leurs vacances. Elle veut utiliser l’intensité du rayonnement solaire et le nombre de scoops de crème glacée vendus comme caractéristiques. Le scientifique peut trouver que les deux caractéristiques sont pertinentes pour prédire le nombre de touristes brûlés au soleil, mais la raison de cette constatation est que le nombre de scoops de crème glacée vendus et l’intensité du rayonnement solaire sont corrélés. Ainsi, le scientifique n’a aucun moyen de connaître l’importance réelle de chaque caractéristique dans la prédiction des touristes brûlés par le soleil parce que les caractéristiques croissent et diminuent simultanément. D’ailleurs, la consommation de crème glacée ne provoque pas de coups de soleil (ou vice versa); les deux sont motivés par une cause commune (soleil), mais c’est un autre sujet.

À cette fin, il est important d’étudier la corrélation entre les caractéristiques et d’envisager d’éliminer les caractéristiques corrélées pour produire un modèle plus fiable. Une façon de repérer visuellement la colinéarité est de tracer la combinaison de deux variables dans un graphique de dispersion. À cette fin, la figure ci-dessous aide à repérer les aspects suivants de la bedload_dataset:

• Il existe une forte corrélation linéaire entre les fonctionnalités $H$ et $Q/W$, ce qui n’est pas surprenant parce que $Q/W = U \cdot H$.

• Il n’y a qu’une faible corrélation linéaire entre $W$ et $U$ (coefficient de corrélation d’environ 0,37, voir la carte de chaleur ci-dessous).

• La vitesse d’écoulement $U$ distribution est à peu près en forme de cloche (voir diagonale principale).

De plus, une heatmap est une autre méthode efficace pour visualiser la corrélation linéaire entre les caractéristiques. De plus, le calcul de correspondance linéaire permet une analyse quantitative.

Facteur d’inflation variable (VIF)¶

Une méthode simple pour évaluer multicollinéarité est de calculer le facteur d’inflation de variance (VIF) pour chaque fonction, ce qui permet de quantifier dans quelle mesure une fonction peut être expliquée par les autres fonctions.

La première étape pour calculer le FIV consiste à traiter une fonction comme une variable dépendante](https://www.scribbr.com/methodology/independent-and-dependent-variables/) et à adapter un modèle de régression linéaire en utilisant les autres fonctions comme variables indépendantes. Deuxièmement, conservez le coefficient de détermination correspondant $R^2$ produit par le modèle linéaire.

Enfin, le FIV peut être calculé pour chaque fonction avec l’équation suivante:

• $VIF_{feature(n)}$ est le facteur d’inflation de la fonction $n$-th, et

• $R^2_{feature(n)}$ est le coefficient de détermination résultant de la régression linéaire de la fonction $n$-th sur toutes les autres fonctionnalités.

Notez que le plus grand $R^2$ (i.e., le meilleur le modèle de régression linéaire), le plus grand est l’inflation. En d’autres termes, les grandes valeurs de la FIV indiquent une corrélation élevée entre la caractéristique considérée et l’une des autres caractéristiques. Pourtant, il n’est pas possible de dire sur la base du VIF seulement, qui autre fonctionnalité fait gonfler le VIF.

En règle générale, un VIF supérieur à 10 (dix) indique un ensemble de caractéristiques inappropriées pour produire un modèle ML fiable. Idéalement, le FIV devrait rester inférieur à 5 (cinq), ce qui est considéré comme une corrélation modérée Franke, 2010. Toutefois, ces valeurs de référence ne sont pas une règle générale et toujours applicable. Un VIF égal ou supérieur à 10 peut encore donner un bon modèle.

Une analyse plus approfondie de l’impact d’un FIV élevé sur les caractéristiques corrélées peut être effectuée en supprimant une caractéristique à la fois et en étudiant comment la suppression de la fonctionnalité affecte la variation de l’erreur standard et p-value du modèle.

Dans ce tutoriel, 2 fonctionnalités ont un VIF $>$ 10 (notamment $H$ et $Q/W$), comme l’indique le bloc de code suivant.

Supprimer les fonctionnalités pour réduire VIF¶

Dans le but de réduire les FIV à moins de 5, nous utilisons une approche d’essai et d’erreur dans ce tutoriel. Modifier le bloc de code ci-dessous montre que supprimer $H$ et $Q$ est suffisant pour réduire les FIV des fonctionnalités restantes à moins de 5. En particulier, ces deux variables supprimées entrent également dans les fonctionnalités présentées ci-dessus $Q/W$ et $SUH$. Ainsi, bien que $H$ et $Q$ soient supprimés, ils continuent de “contribuer l’information” au modèle final.

La combinaison de caractéristiques corrélées pour en produire une nouvelle, puis pour les éliminer, est une approche commune pour réduire les FIV. Puisque nous avons obtenu de bonnes valeurs de FIV en supprimant certaines caractéristiques, aucune analyse supplémentaire n’est nécessaire.

Enfin, les caractéristiques qui sont utilisées pour former et tester le modèle SVM sont indiquées par la sortie du bloc de code ci-dessous.

Séparer les ensembles de données d ’ essai et de formation¶

La dernière étape de préparation à la construction du modèle SVM est de tirer une formation et un ensemble de données d’essai de l’ensemble bedload_dataset. Choisir une part des données pour composer une formation et un ensemble de données de test est généralement un choix heuristique. Ici, nous utilisons 30 % des données pour tester une hypothèse finale plus tard. Notez que dans les ensembles de données fractionnés, les indices des échantillons (lignes des données tabulaires) correspondent aux indices de leurs classes dans les ensembles de données cible .

Construire le modèle SVM¶

Principe de fonctionnement¶

Une machine vectorielle de soutien (SVM) est un algorithme d’apprentissage qui recherche un soi-disant hyperplan qui sépare de façon optimale les classes de fonctionnalités. Pour trouver une séparation optimale, l’algorithme essaie de maximiser la distance (ou la marge) entre l’hyperplan et les points de données les plus proches. Les points de données situés sur (ou à l’intérieur) les limites de la marge sont également libellés ** vecteurs de soutien** parce qu’ils fonctionnent comme une référence à draw l’hyperplan (voir Figure 2 ci-dessous).

Par exemple, supposons que deux des classes ci-dessus sont linéairement séparables. L’hyperplan de séparation est défini par $\vec{w} \cdot \vec{x} + b = 0$, et les régions qui contiennent chaque classe peuvent être définies comme suit:

$\vec{w} \cdot \vec{x} + b \geq +1$ --> Class Red , et $\vec{w} \cdot \vec{x} + b \leq -1$ --> Class Blue

où

• $\vec{w}$ est le vecteur des poids (normal à l’hyperplan),

• $\vec{x}$ est le vecteur caractéristique d’un échantillon,

• $b$ est l’interception (également appelée bias), et

• la valeur de 1 est une convention d’échelle, puisque $\vec{w}$ et $b$ peut être multipliée par n’importe quel facteur positif sans changer l’hyperplan.

Avec cette convention, la largeur de marge est $2 / \lVert \vec{w} \rVert$. Ainsi, maximiser la marge (après certaines étapes qui ne sont pas abordées ici) correspond à minimiser l’expression suivante :

$\min \left(0.5 \, \vec{w}^T \vec{w}\right)$

où $\vec{w}^T$ est le vecteur de poids transposé, sous réserve de la contrainte que tous les échantillons d’entraînement se trouvent du bon côté de la marge.

Dans le monde réel, cependant, il est courant de trouver des problèmes où les classes ne sont pas linéairement séparables. Dans de telles situations, on peut appliquer ce qu’on appelle les kernels. Un noyau est une fonction qui cartographie implicitement les fonctionnalités $\vec{x}$ dans un espace aux dimensions plus élevées (c.-à-d. de nouvelles fonctionnalités qui sont des combinaisons des fonctionnalités disponibles), où les classes peuvent devenir linéairement séparables. L’astuce kernel rend cela possible sans calculer explicitement les nouvelles fonctionnalités.

Ici, nous appliquons le noyau Radial Base Function (RBF). Le RBF est un noyau populaire parce qu’il cartographie implicitement $\vec{x}$ dans un espace infiniment dimensionnel, ce qui le rend très flexible. Cependant, cette flexibilité signifie également qu’un RBF-SVM peut suradapter les données de formation lorsque ses paramètres ne sont pas soigneusement ajustés (voir la section suivante).

validation croisée du coefficient k¶

Les SVM avec un noyau RBF peuvent être ajustés avec deux paramètres :

1. C : détermine la validité des marges. Il différencie entre une marge ** dure** (c’est-à-dire une marge qui permet une faible ou aucune pénétration des points de données) et une marge ** molle** (c’est-à-dire une marge qui permet la pénétration des points de données à l’intérieur de la marge). Un C supérieur correspond à une marge plus dure.

2. gamma : détermine la région de similitude entre les échantillons. C’est le seul paramètre du noyau RBF. Le gamma le plus élevé est, le plus étroit est l’influence d’un échantillon marqué sur le classement d’un nouvel échantillon (c.-à-d. que seuls des échantillons très proches sont considérés comme semblables).

Les marges rigides peuvent également être interprétées comme étant la sensibilité ** de l’hyperplan** lorsqu’on les adapte aux données. Plus la marge est dure, plus l’hyperplane tourne pour ne permettre à aucun point de données de pénétrer la marge. Ainsi, un C élevé et un gamma élevé augmentent le risque de surajustement.

Dans ce tutoriel, nous définissons C en fonction d’une approche d’essai et d’erreur et gamma en fonction d’une validation croisée. Le bloc de code suivant construit le SVM à l’aide de la bibliothèque sklearn, et trace les courbes d’erreur de validation et de formation résultant de différentes gamma .

Choisir des paramètres optimaux¶

La décision sur les paramètres optimaux pour le SVM dépend de votre jugement. Aux fins de la sélection des paramètres optimaux dans ce tutoriel, le bloc de code ci-dessous quantifie le tracé ci-dessus (en particulier la courbe bleue) sous forme de tableau et enregistre le gamma qui produit la plus petite erreur ( gamma opt ).

Modèle SVM d’hypothèse optimale du train¶

Après avoir défini un gamma donnant la plus petite erreur de validation ( gamma opt ), nous pouvons former une hypothèse optimale ( h opt ) sur l’ensemble des données de formation. En outre, nous pouvons évaluer la précision du modèle en l’utilisant pour classer l’ensemble de données de test. Le bloc de code ci-dessous présente la procédure de formation, l’ajustement du SVM (c’est-à-dire une hypothèse optimale) et imprime l’erreur de l’hypothèse optimale sur l’ensemble de données d’essai.

Évaluation des résultats (matrice de confusion)¶

Enfin, le bloc de code suivant génère la soi-disant matrice confusion pour évaluer la performance optimale du modèle d’hypothèse lors de la classification des échantillons avec des morphologies distinctes. La matrice de confusion utilise le nombre total d’échantillons et visualise leurs unités morphologiques vraies et prédites.

La matrice de confusion d’un modèle exact n’a que des entrées diagonales supérieures à zéro, alors que toutes les autres sont nulles. La matrice de confusion montrée ci-dessus montre que notre modèle SVM permet de bien prédire les morphologies du speed-pool (62 sur 66 observations vraies) et du riffle-pool (62 sur 69). Malgré le plus petit nombre d’observations, le modèle prédit aussi la plupart des observations de lit de sable correctement (22 sur 25). Toutefois, ces 25 observations de bancs de sable (supposées à 66 pools ou 86 observations de lit plan) sont peu nombreuses, ce qui rend les statistiques de banc de sable moins robustes. Ainsi, les observations du lit de sable sont déséquilibrées, et une solution pour augmenter la fiabilité pourrait être d’échantillonner plus d’unités morphologiques du lit de sable (comme expliqué ci-dessus).

Les performances les plus faibles concernent les morphologies du lit plan : seulement 54 des 86 observations du lit plan en vraie étiquette ont été prédites correctement. En particulier, le modèle prédit 18 fois riffle-pool et 6 fois step-pool, où en réalité (vraie étiquette), les unités morphologiques plan lit prévalaient. De plus, le modèle a prédit à tort qu’une observation de tresse serait une observation par pas. Ces confusions sont plausibles d’un point de vue physique parce que les lits d’avion représentent une morphologie transitoire entre les canaux de spread-pool et de raffle-pool Montgomery & Buffington, 1997.