Comment la profondeur des réseaux neuronaux améliore l'approximation des fonctions et leur expressivité : Analyse de la décomposition en Fourier

Les réseaux neuronaux profonds, par leur capacité à approximer des compositions hiérarchiques de fonctions, offrent une grande puissance expressive, permettant de résoudre des problèmes complexes de manière plus efficace que les réseaux peu profonds. L'architecture profonde, caractérisée par une succession de couches, offre des avantages substantiels dans le cadre de l'approximation de fonctions multivariées complexes.

La profondeur D d’un réseau permet une approximation plus fine des structures hiérarchiques des fonctions. Par exemple, une fonction cible f(x) peut être décomposée comme une composition de fonctions simples : f(x) = g1 ◦ g2 ◦ ... ◦ gD(x), où chaque gi est une fonction élémentaire. Cette hiérarchie de compositions permet aux réseaux profonds d'approximer plus efficacement la fonction f(x), tout en réduisant le nombre de paramètres nécessaires. L'erreur d'approximation e pour un réseau profond diminue de manière polynomiale avec la profondeur D, ce qui rend l'approche exponentiellement plus efficace que celle des réseaux peu profonds.

L’étude de cette décomposition hiérarchique s’appuie sur le théorème de Kolmogorov-Arnold, qui démontre comment les réseaux neuronaux profonds s'alignent naturellement avec la structure des fonctions multivariées. Ce théorème stipule que toute fonction multivariée peut être décomposée en une somme de fonctions locales, qui capturent les dépendances locales, et de fonctions globales qui agrègent ces dépendances en une représentation globale. Cette décomposition par couches, chaque couche apprenant un aspect spécifique de la complexité de la fonction, imite la structure en profondeur des réseaux neuronaux.

Un aspect essentiel de cette efficacité est le nombre de paramètres dans un réseau profond par rapport à un réseau peu profond. Un réseau profond avec D couches et une largeur W par couche nécessitera un nombre de paramètres P tel que P < O(D • W²), tandis qu'un réseau peu profond avec la même précision d'approximation aura un nombre de paramètres P > O(Wn). Cette différence exponentielle dans le nombre de paramètres souligne l'avantage des architectures profondes, notamment pour des fonctions de haute dimension. Grâce à la décomposition hiérarchique inhérente au théorème de Kolmogorov-Arnold, les réseaux profonds sont capables d’obtenir une puissance expressive qui évolue favorablement en fonction de la dimension et de la complexité des données traitées.

L’analyse Fourier de l’expressivité des réseaux neuronaux approfondit encore cette compréhension. Un réseau neuronal peut être vu comme une approximation de la fonction f(x) par la décomposition de celle-ci en spectres de Fourier. Les réseaux neuronaux peu profonds, avec une seule couche cachée, approchent une fonction f(x) de manière linéaire en fonction de leurs poids et biais, mais la représentation qu'ils produisent a tendance à se concentrer sur les fréquences basses. Cela est dû à la décroissance exponentielle des coefficients de Fourier des fonctions d'activation lisses comme sigmoid ou tanh. Par conséquent, ces réseaux sont biaisés en faveur des fonctions à faible fréquence, à moins que la largeur de leurs couches ne soit extrêmement grande, ce qui augmente de manière exponentielle le nombre de paramètres.

En revanche, les réseaux profonds peuvent contourner cette limitation en utilisant leur structure hiérarchique. Un réseau profond avec plusieurs couches compose de manière récursive les fonctions, produisant ainsi des sorties qui intègrent progressivement des composantes de haute fréquence. Cela est particulièrement évident dans l’analyse Fourier de réseaux utilisant des fonctions d'activation comme la ReLU (rectified linear unit). Contrairement aux fonctions d'activation lisses, la ReLU introduit des composantes de haute fréquence significatives dans le réseau. L’analyse de Fourier de cette activation montre que la décroissance des coefficients de Fourier est plus lente que pour les fonctions d'activation lisses. Cela permet aux réseaux basés sur ReLU d’être particulièrement efficaces pour approximer des fonctions présentant un comportement oscillatoire ou des variations à haute fréquence.

Ainsi, la capacité des réseaux neuronaux profonds à intégrer et à traiter les fréquences élevées dans leur approximation leur confère un avantage significatif par rapport aux réseaux peu profonds, qui sont limités par la décroissance rapide de leurs coefficients de Fourier. L’activation joue un rôle central dans cette dynamique, modifiant profondément le spectre de Fourier du réseau et permettant d’adapter l'architecture aux besoins spécifiques de l'approximation des fonctions. En fin de compte, un réseau neuronal profond est une structure particulièrement puissante, capable d'approcher des fonctions complexes et de haute dimension tout en minimisant le nombre de paramètres nécessaires, un exploit que les réseaux peu profonds peinent à accomplir.

Les réseaux de neurones convolutifs dans l'imagerie médicale et la conduite autonome : applications et défis

Les réseaux antagonistes génératifs (GAN) ont trouvé des applications intéressantes dans l'imagerie médicale, en particulier pour améliorer la résolution des images ou synthétiser des images réalistes à partir d'entrées bruitées. Un GAN se compose d'un générateur $G$ et d'un discriminateur $D$, où $G$ apprend à générer des images $G(z)$ à partir d'un bruit latent $z$, tandis que $D$ distingue les images réelles des images fausses. Les fonctions de perte pour $G$ et $D$ sont données par les expressions suivantes :

L'imagerie multimodale, où les données de différentes modalités (par exemple, IRM et TEP) sont combinées, met en évidence l'utilité des réseaux de neurones convolutifs (CNN). Par exemple, les cartes de caractéristiques des images IRM et TEP sont concaténées à des couches intermédiaires pour exploiter des informations complémentaires, ce qui améliore l'exactitude diagnostique. Les mécanismes d'attention sont souvent intégrés pour se concentrer sur les régions les plus pertinentes de l'image. Une carte d'attention spatiale $A_s$ peut être calculée comme suit :

où $F$ est la carte de caractéristiques d'entrée, $W_1$ et $W_2$ sont des matrices de poids apprenables, et $b_1$ et $b_2$ sont des biais. Malgré leur succès, les CNN dans l'imagerie médicale rencontrent des défis, notamment la rareté des données et l'interprétabilité. L'apprentissage par transfert permet de résoudre le problème de la rareté des données en ajustant des modèles pré-entraînés sur de petits ensembles de données médicales. Des techniques comme Grad-CAM fournissent de l'interprétabilité en visualisant les régions influençant les prédictions du réseau. Matériellement, Grad-CAM calcule l'importance d'une carte de caractéristiques $A_k$ pour une classe $c$ comme suit :

où $y_c$ est le score de la classe $c$ et $Z$ est une constante de normalisation. La carte d'activation de la classe est ensuite obtenue comme suit :

Les CNN ont ainsi transformé l'imagerie médicale en permettant une analyse automatisée et extrêmement précise d'images médicales complexes. Leurs applications vont de la détection de maladies à la segmentation, en passant par la reconstruction et l'imagerie multimodale, les progrès continus cherchant à résoudre les défis liés à l'efficacité des données et à l'interprétabilité. Les bases mathématiques et les cadres computationnels des CNN constituent une fondation solide pour les innovations futures dans ce domaine essentiel.

Dans le domaine des véhicules autonomes, les CNN jouent un rôle crucial dans la perception et la prise de décision. Ojala et Zhou (2024) ont proposé une approche basée sur CNN pour la détection et l'estimation des distances d'objets à partir d'images thermiques dans la conduite autonome. Ils ont développé un modèle convolutif profond pour l'estimation de la distance en utilisant une seule caméra thermique et ont introduit des formulations théoriques pour le prétraitement des données d'imagerie thermique au sein des pipelines CNN. D'autres chercheurs, comme Popordanoska et Blaschko (2025), ont examiné les fondements mathématiques de l'étalonnage des CNN dans des domaines à haut risque, y compris les véhicules autonomes. Ils ont analysé le problème de la calibration de confiance dans les CNN utilisés pour la perception des véhicules autonomes et ont développé une approche de régularisation inspirée de la théorie bayésienne pour améliorer la fiabilité des décisions prises par les CNN dans la conduite autonome.

Les CNN sont essentiels pour les véhicules autonomes, formant la base des systèmes de perception et de prise de décision qui permettent à ces véhicules d'interpréter et de réagir à leur environnement. Au cœur d'un CNN se trouve l'opération de convolution, qui transforme mathématiquement une image ou un signal d'entrée en une carte de caractéristiques, permettant l'extraction de hiérarchies spatiales d'informations. L'opération de convolution dans sa forme continue est définie comme suit :

où $x(t)$ représente l'entrée, $w(t - t)$ est le filtre ou noyau, et $s(t)$ est la sortie de la fonction de convolution. Dans le domaine discret, en particulier pour le traitement d'images, cette opération peut être écrite comme :

où $X(i,j)$ désigne l'intensité du pixel aux coordonnées $(i,j)$ de l'image d'entrée, et $W(m,n)$ représente les valeurs du noyau convolutif. Cette opération permet la détection de motifs locaux tels que les bords, les coins ou les textures, qui sont ensuite agrégés à travers les couches pour reconnaître des caractéristiques complexes comme des formes et des objets. Dans le contexte des véhicules autonomes, les CNN traitent les données de capteurs provenant de caméras, LiDAR et radars pour identifier des caractéristiques essentielles telles que d'autres véhicules, des piétons, des panneaux de signalisation et des délimitations de voies.

Pour la détection d'objets, des architectures basées sur les CNN telles que YOLO (You Only Look Once) et Faster R-CNN utilisent un réseau de base comme ResNet, qui emploie des couches de convolution successives pour extraire des caractéristiques hiérarchiques à partir de l'image d'entrée. La tâche de détection d'objets implique deux sorties principales : les coordonnées des boîtes englobantes et les probabilités de classe des objets. Mathématiquement, la régression de la boîte englobante est modélisée comme un problème d'apprentissage multitâche. La fonction de perte pour la régression de la boîte est souvent formulée comme suit :

où $t_{ij}$ et $\hat{t}_{ij}$ sont respectivement les paramètres réels et prédits de la boîte englobante (par exemple, les coordonnées du centre $x, y$ et les dimensions $w, h$).

Simultanément, la fonction de perte de classification, généralement l'entropie croisée, est calculée comme suit :

où $y_{i,c}$ est un indicateur binaire indiquant si l'objet à l'indice $i$ appartient à la classe $c$, et $p_{i,c}$ est la probabilité prédite. La fonction de perte totale est une combinaison pondérée des deux termes.

Le succès des CNN dans des domaines aussi cruciaux que l'imagerie médicale et les véhicules autonomes repose sur leur capacité à traiter des données complexes et à en extraire des informations significatives. Toutefois, l'intégration de ces technologies dans des environnements réels nécessite de surmonter des défis comme l'efficacité des données et l'interprétabilité des modèles, des domaines dans lesquels des avancées théoriques et techniques sont encore nécessaires.