Comment les distributions a priori et a posteriori encodent la connaissance et la complexité : Une analyse probabiliste et informationnelle

Les risques sont généralement généralisés comme suit : $R(Q) = E_h Q[R(h)]$, $R(Q, S) = \int h S$. Cette généralisation est essentielle car elle permet à l’analyse de dépasser les hypothèses individuelles et de considérer des ensembles probabilistes, où $Q(h)$ représente une croyance a posteriori sur l’espace des hypothèses conditionnée par les données observées. Nous devons maintenant discuter de la manière dont les distributions a priori et a posteriori encodent la connaissance et la complexité. La distribution a priori $P$ est une distribution fixe sur $H$ qui reflète les suppositions préalables sur la plausibilité des hypothèses. De manière cruciale, $P$ doit être indépendante de $S$ pour éviter de biaiser les bornes. La distribution a posteriori $Q$, en revanche, dépend des données et est généralement choisie pour minimiser une combinaison de risque empirique et de complexité. Ce choix est guidé par l’inégalité PAC-Bayes, qui régularise $Q$ via sa divergence de Kullback-Leibler (KL) par rapport à $P$ :

La divergence KL quantifie le coût informationnel de la mise à jour de $P$ en $Q$, servant de terme de pénalité qui décourage des a posteriori trop complexes. Cette régularisation est cruciale pour éviter le surapprentissage, en garantissant que $Q$ trouve un équilibre entre la fidélité aux données et la simplicité du modèle.

Passons maintenant à la dérivation de l’inégalité PAC-Bayes. Celle-ci repose sur une combinaison d’outils probabilistes et d’arguments théoriques de l'information. Une étape clé consiste à appliquer un changement de mesure de $P$ à $Q$, en utilisant l’identité :

Cela permet l’incorporation de $Q$ dans les bornes qui s’appliquent initialement à $h$ fixe. En analysant la fonction génératrice de moments des écarts entre $R(h, S)$ et $R(h)$, et en appliquant l’inégalité de Hoeffding à la perte empirique, nous obtenons la borne suivante pour tous $Q$ et $P$, avec une probabilité d’au moins $1 - 5$ :

La borne de généralisation est donc donnée par :

où $KL(Q \| P)$ quantifie la divergence entre l’a posteriori $Q$ et l’a priori $P$. Cette borne est remarquable car elle lie explicitement le risque vrai $R(Q)$ au risque empirique $R(Q, S)$, à la divergence KL et à la taille de l'échantillon $m$. L’inégalité PAC-Bayes encapsule trois forces concurrentes : le risque empirique $R(Q, S)$, la pénalité de complexité $KL(Q \| P)$ et le terme de confiance $\frac{1}{m}$. Cette interaction reflète un compromis fondamental dans l’apprentissage :

1. Risque empirique : $R(Q, S)$ capture à quel point l’a posteriori $Q$ s’ajuste aux données d’entraînement.

2. Complexité : La divergence KL veille à ce que $Q$ reste proche de $P$, décourageant ainsi le surapprentissage et favorisant la généralisation.

3. Confiance : Le terme $\frac{1}{m}$ rétrécit avec l’augmentation de la taille de l’échantillon, resserrant la borne et améliorant la fiabilité.

Le terme KL introduit également un effet de régularisation inhérent, pénalisant les hypothèses qui dévient de manière significative des connaissances préalables. Cela s’aligne avec le rasoir d’Occam, qui privilégie les explications plus simples, cohérentes avec les données.

Les applications avancées de la formalisation PAC-Bayes ont élargi le cadre classique, qui suppose des données i.i.d., pour inclure des données structurées, comme dans l’apprentissage par séries temporelles ou les graphes. De plus, des mesures de divergence alternatives, telles que la divergence de Renyi ou la distance de Wasserstein, ont été explorées pour traiter les scénarios où la divergence KL peut être inappropriée. Dans des contextes pratiques, les bornes PAC-Bayes ont joué un rôle clé dans l’analyse des réseaux neuronaux, des ensembles bayésiens et des processus stochastiques, offrant des garanties théoriques même dans des paysages d’optimisation à haute dimension et non convexe.

Le concept de régularisation spectrale, qui fait référence à l’apprentissage préférentiel des modes de basse fréquence par les réseaux neuronaux avant ceux de haute fréquence, émerge de la combinaison de l’analyse de Fourier, de la théorie de l’optimisation et des propriétés inhérentes des réseaux neuronaux profonds. Ce phénomène est étroitement lié aux capacités d’approximation fonctionnelle des réseaux neuronaux et peut être rigoureusement compris à travers le prisme de la décomposition de Fourier et du processus d’optimisation par descente de gradient.

Des travaux récents, comme ceux de Jin et al. (2025), ont introduit une technique de régularisation spectrale confusée pour améliorer l’équité dans les modèles d’apprentissage machine. L’étude se concentre sur la norme spectrale de la matrice de confusion robuste et propose une méthode pour contrôler les propriétés spectrales, assurant ainsi un apprentissage plus robuste et sans biais. D’autres recherches, telles que celles de Ye et al. (2025), ont appliqué la régularisation à la détection de petits groupes dans des réseaux complexes, ce qui améliore la détection d'anomalies et la découverte de communautés dans des environnements de données bruyantes. De même, l’approche d'Ortega et al. (2025) montre comment la régularisation spectrale peut être bénéfique pour des applications dans l’analyse spectrale atmosphérique et la détection de gaz.

Enfin, les recherches montrent que la régularisation spectrale peut avoir un impact dans des domaines variés allant de l’imagerie médicale à l’analyse des réseaux de communication sans fil, en passant par la détection de signaux EEG pour des applications cliniques. Cela souligne l’importance de cette approche dans l’amélioration des performances des systèmes complexes à grande échelle.

Comment la décomposition fréquentielle et le noyau tangent des réseaux de neurones affectent l’apprentissage profond

La décomposition fréquentielle est un outil puissant pour analyser les composants d'une fonction $f(x)$. Dans le contexte de l’apprentissage profond, l’objectif est d’approximer une fonction $f(x)$ à l'aide d'un réseau de neurones, représenté par $f_{\text{NN}}(x; \theta)$, où $\theta$ désigne l’ensemble des paramètres ajustables du modèle. Pour ce faire, on minimise typiquement une fonction de perte, comme l'erreur quadratique moyenne :

Cette fonction mesure la différence entre la fonction cible et la sortie du réseau de neurones. Une approche alternative pour analyser la perte consiste à transformer cette fonction dans le domaine de Fourier en utilisant le théorème de Parseval :

Cela permet de se concentrer sur les composantes fréquentielles de $f(x)$. Le processus de minimisation de la perte est généralement résolu par la descente de gradient, où la mise à jour des paramètres se fait selon la règle :

Ici, $\eta$ est le taux d'apprentissage et $\nabla_\theta L(\theta)$ représente le gradient de la fonction de perte par rapport aux paramètres du réseau. Le gradient de la perte est donné par :

L’un des aspects essentiels du processus de descente de gradient est le comportement du gradient $\nabla_\theta f_{\text{NN}}(\xi; \theta)$ par rapport aux composants fréquentiels $\xi$. Pour les réseaux de neurones, en particulier ceux avec des fonctions d'activation ReLU, les gradients du réseau par rapport aux paramètres ont tendance à décroître pour les hautes fréquences. Cette décroissance spectrale peut être approximée comme suit :

Cela implique que, durant les premières itérations de l'entraînement, le réseau de neurones est intrinsèquement plus sensible aux composants de faible fréquence de la fonction cible. Ce phénomène est directement lié à la structure des activations du réseau, qui sont plus sensibles aux caractéristiques de faible fréquence en raison de la nature lissée de leurs termes de bas ordre.

Pour comprendre plus en détail l’impact du noyau tangent des réseaux de neurones (NTK), qui régit la dynamique linéarisée du réseau, on définit le NTK comme suit :

Le NTK décrit essentiellement comment la sortie du réseau varie par rapport à ses paramètres. L’évolution de la sortie du réseau pendant l’entraînement peut être approximée par la solution d'un système linéaire gouverné par le NTK. Plus précisément, l'évolution de la sortie du réseau au temps $t$ peut être exprimée sous la forme suivante :

où $\lambda_k$ sont les valeurs propres du NTK et $\varphi_k(x)$ représentent les fonctions propres associées à ces valeurs. Cette relation montre comment le réseau se stabilise au fil de l’entraînement, avec les termes de faible fréquence ayant une influence dominante au début du processus.

En parallèle de cette approche, un autre concept fondamental dans le domaine de l'apprentissage supervisé est celui du perceptron, un modèle linéaire simple pour la classification binaire. Un perceptron prend une entrée $x$ et la transforme selon la fonction de décision :

où $\sigma$ est la fonction d'activation, et $w$ et $b$ représentent respectivement les poids et le biais. L'hyperplan défini par $w^T x + b = 0$ sépare l'espace d’entrée en deux demi-espaces, permettant ainsi une classification. Le processus d’apprentissage ajuste itérativement les poids et le biais à l’aide de données étiquetées, et la mise à jour des paramètres suit la règle :

où $\eta$ est le taux d’apprentissage et $y_i$ est la vérité de terrain. Lorsqu’un ensemble de données est linéairement séparable, le théorème de convergence du perceptron garantit que l'algorithme convergera en un nombre fini d'itérations. Cependant, le perceptron présente des limites notables, notamment son incapacité à résoudre des problèmes non linéaires, tels que le problème XOR. Cette limitation a conduit à l’extension du perceptron vers des neurones artificiels avec des activations non linéaires, permettant de traiter des ensembles de données non linéaires.

Le réseau de neurones moderne, à travers ses nombreuses couches et fonctions d'activation non linéaires, devient capable de résoudre des problèmes beaucoup plus complexes, mais il reste toujours tributaire de la manière dont les fréquences sont manipulées et apprises au cours du processus d’entraînement. Les réseaux de neurones, avec leur sensibilité accrue aux composants de faible fréquence en début d’entraînement, doivent progressivement apprendre à capturer des caractéristiques de plus en plus fines et complexes à mesure que les itérations progressent.

Comment les réseaux neuronaux convolutifs transforment-ils les données d'image en résultats exploitables ?

Les réseaux neuronaux convolutifs (CNN) ont transformé l’approche des tâches de traitement d'images en offrant des méthodes puissantes pour extraire des caractéristiques complexes et des motifs visuels. Dans cette dynamique, chaque élément de la structure du CNN joue un rôle déterminant, depuis l’opération fondamentale de convolution jusqu’à l’utilisation d'activation non-linéaire, en passant par la normalisation et l’optimisation des paramètres du réseau.

La convolution est la pierre angulaire de ces réseaux, un processus où un filtre (ou noyau) est appliqué à l’image d’entrée pour en extraire des caractéristiques locales, souvent représentées par des motifs simples comme des bords ou des textures. L’activation non-linéaire qui suit cette opération, comme ReLU (Rectified Linear Unit), permet d’introduire des non-linéarités essentielles, ce qui aide le modèle à apprendre des représentations plus complexes.

Une fois les caractéristiques extraites via les couches convolutives, un autre processus clé est le pooling, qui sert à réduire les dimensions spatiales des cartes de caractéristiques tout en préservant les informations essentielles. Cela permet au modèle de devenir invariant aux transformations géométriques simples, comme les translations ou les rotations, et améliore ainsi sa capacité de généralisation.

L’activation finale des données extraites est ensuite transformée en une distribution de probabilité, souvent via la fonction softmax, qui attribue une probabilité à chaque classe de sortie. Cette étape est cruciale dans les tâches de classification, où le réseau doit choisir entre plusieurs catégories possibles.

Le processus d'apprentissage dans un CNN repose sur une méthode dite de rétropropagation, où l’erreur générée par la sortie du réseau par rapport à la vérité terrain est propagée à travers chaque couche du réseau. Les gradients de la fonction de perte sont calculés en utilisant la règle de la chaîne, permettant ainsi l’ajustement des paramètres du réseau, notamment les poids des filtres convolutifs, pour minimiser l'erreur. L’algorithme de descente de gradient est généralement utilisé pour ajuster les poids du réseau dans la direction qui réduit cette erreur.

Afin d’améliorer la généralisation du réseau et éviter le surapprentissage (overfitting), des techniques de régularisation sont couramment utilisées. Le dropout consiste à désactiver aléatoirement une partie des neurones pendant l’entraînement, ce qui empêche le réseau de devenir trop dépendant d’un neurone ou d’une caractéristique spécifique. Une autre méthode de régularisation très utilisée est la normalisation de lot (batch normalization), qui permet de stabiliser et d’accélérer l’apprentissage en normalisant les activations des couches intermédiaires. Cette technique a montré qu’elle améliorait non seulement la vitesse d’entraînement mais aussi la stabilité du modèle.

Le fondement mathématique des CNN repose sur une interaction complexe entre l’algèbre linéaire, les probabilités et l’optimisation. En appliquant ces principes aux images, un CNN est capable de transformer une image d'entrée de grande dimension en une classification précise à partir de données de plus en plus abstraites, extraites au fil des couches du réseau. Par exemple, dans les tâches de classification d’image, l’entrée pourrait être une image de dimensions HxWxC (hauteur, largeur et canaux), et le modèle doit réduire cette information à une ou plusieurs classes en utilisant des opérations de convolution et de réduction dimensionnelle.

L’application des CNN s’étend bien au-delà des simples tâches de classification d’images. Les CNN sont désormais utilisés dans des domaines aussi variés que la médecine, l’industrie, et même la préservation du patrimoine culturel. Par exemple, l’utilisation de CNN dans le diagnostic médical a permis d’améliorer les performances des systèmes de détection de maladies telles que la leucémie aiguë lymphoblastique (LAL) ou le paludisme. De même, les CNN ont été appliqués à des images hyperspectrales pour détecter des tumeurs neuroendocrines pancréatiques, une avancée significative dans la détection précoce des cancers.

En parallèle, des approches novatrices ont permis d’appliquer les CNN à des problèmes de classification dans des domaines atypiques comme la détection d’anomalies dans les équipements industriels, la reconnaissance de motifs dans des textiles, ou encore la classification d’images dermatologiques dans des contextes à faible disponibilité de données. Ces exemples démontrent la flexibilité et la robustesse des réseaux neuronaux convolutifs dans des contextes variés.

Il est essentiel de comprendre que l’utilisation des CNN n’est pas seulement une question de puissance de calcul. L’efficacité d'un réseau dépend en grande partie de la manière dont il est formé, des techniques de régularisation appliquées, et de la manière dont il est adapté à des ensembles de données spécifiques. Par exemple, des méthodes comme l'apprentissage semi-supervisé ou la fusion avec des modèles génératifs, comme les autoencodeurs ou les réseaux antagonistes génératifs (GAN), permettent de mieux exploiter les données disponibles, même lorsque celles-ci sont rares ou incomplètes.

Enfin, un aspect crucial à ne pas négliger est l’interprétabilité des résultats générés par les CNN. Dans des domaines comme la médecine, où des décisions critiques sont prises sur la base des classifications réalisées par les réseaux, il devient impératif que les modèles offrent une certaine transparence et soient capables de fournir des explications compréhensibles par les utilisateurs finaux, qu'ils soient cliniciens ou chercheurs.

Comment les méthodes d'optimisation comme le Deep Q-Learning résolvent-elles les problèmes de prise de décision complexes ?

Le Deep Q-Learning (DQL) est une technique avancée d'apprentissage par renforcement qui permet de résoudre des problèmes de décision complexes en approximant la fonction optimale d'action-valorisation Q*(s,a) à l'aide de réseaux de neurones profonds. Traditionnellement, dans le Q-learning classique, la fonction Q(s,a) associe une paire état-action à la récompense attendue ou cumulative que l'on obtient en suivant une politique optimale. Le but est d'identifier la meilleure action à chaque étape du processus de décision en maximisant la récompense à long terme. Cependant, dans des espaces d'états et d'actions vastes, il est impossible de stocker toutes les valeurs de Q pour chaque paire d'état-action. C'est ici que les réseaux de neurones entrent en jeu.

L'idée fondamentale du Deep Q-Learning est de représenter cette fonction Q à travers un réseau de neurones profond, ce qui permet de gérer des environnements complexes et à grande échelle. En fait, le réseau est entraîné à estimer Q*(s,a) de manière à ce qu'il se rapproche de la véritable fonction optimale au fur et à mesure des itérations. Le processus d'optimisation repose sur une méthode de mise à jour par différence temporelle (TD), dans laquelle l'objectif est de minimiser l'écart entre les valeurs de Q actuelles et celles obtenues à partir de l'équation de Bellman.

L'équation de Bellman optimale pour la fonction Q*(s,a) est définie comme suit :

$Q^*(s,a) = E[r_t + \gamma \max_{a'} Q^*(s_{t+1}, a')]$

Ici, $\gamma$ est le facteur de réduction qui définit l'importance relative des récompenses futures par rapport aux récompenses immédiates. L'idée derrière cette équation est que chaque valeur de Q est mise à jour en fonction de la récompense actuelle et de la récompense future attendue du prochain état, ce qui introduit une structure récursive dans l'apprentissage.

En DQL, cette fonction est approximée par un réseau de neurones, dont les paramètres sont ajustés pour minimiser l'erreur de prédiction entre la valeur actuelle et la valeur cible. Cette mise à jour se fait à travers une fonction de perte donnée par :

$L(\theta) = E[(y_t - Q_{\theta}(s_t, a_t))^2]$

Où $y_t$ est la cible, définie comme :

$y_t = r_t + \gamma \max_{a'} Q_{\theta^- }(s_{t+1}, a')$

Le paramètre $\theta^-$ fait référence à un réseau de neurones cible qui est une copie du réseau actuel mais qui est mise à jour périodiquement pour assurer la stabilité de l'entraînement. Cette stratégie permet de minimiser les oscillations et d'assurer une convergence plus rapide.

La technique de rééchantillonnage des expériences, ou "experience replay", joue également un rôle crucial dans la stabilisation de l'entraînement. Au lieu de mettre à jour le réseau à partir de transitions consécutives, ce qui peut créer des corrélations non souhaitées et ralentir l'apprentissage, l'expérience replay stocke un buffer de transitions passées et en échantillonne aléatoirement pendant l'entraînement. Cela brise les corrélations et assure une mise à jour plus stable et plus efficace des poids du réseau.

Un autre aspect essentiel dans le Deep Q-Learning est la gestion de l'exploration et de l'exploitation. L'agent doit expérimenter de nouvelles actions (exploration) tout en exploitant les actions qui maximisent la récompense (exploitation). Cette dynamique est gérée par une politique epsilon-greedy, où l'agent choisit une action aléatoire avec une probabilité $\epsilon$ et l'action avec la valeur Q la plus élevée avec une probabilité $1 - \epsilon$. Ce paramètre $\epsilon$ est progressivement réduit pendant l'entraînement, permettant à l'agent de passer d'une phase d'exploration à une phase d'exploitation.

Les améliorations récentes du Deep Q-Learning, comme celles proposées par Lu et al. (2024) avec des opérateurs de Bellman empiriques factorisés, ont permis de surmonter le "fléau de la dimensionnalité", un problème majeur pour les réseaux profonds. Ce type de factorisation permet de réduire la complexité computationnelle tout en préservant l'optimalité de l'algorithme. D'autres études ont aussi étendu le DQL à des systèmes multi-agents, comme celles de Jia et al. (2024), qui intègrent la théorie des jeux dans les stratégies anti-jamming pour les réseaux sans fil, ou encore de Yao et Gong (2024), qui ont développé des modèles robustes de DQN face aux attaques de type byzantin dans les systèmes multi-agents.

Il est également important de noter que, bien que le Deep Q-Learning soit efficace pour une large gamme d'applications, il présente toujours des défis en termes de stabilité et de convergence, en particulier dans des environnements non stationnaires ou adversariaux. Les chercheurs, tels que Chai et al. (2025), ont donc proposé des extensions du DQL pour traiter ces environnements où l'état du système évolue au fil du temps. Par exemple, la notion de transfert d'apprentissage dans des MDPs non stationnaires, bien qu'encore en développement, offre un cadre théorique pour appliquer le DQL à des situations où l'environnement n'est pas fixe, mais change au fur et à mesure.

Les applications pratiques du Deep Q-Learning vont bien au-delà des jeux vidéo, comme l'ont démontré Masood et al. (2025) dans le contexte de l'agriculture intelligente. En combinant la théorie des jeux et le DQL, ils ont optimisé l'efficacité énergétique dans les systèmes agricoles, démontrant comment des modèles de prise de décision autonomes peuvent contribuer à la gestion de l'énergie et à la réduction des coûts.

La mise en œuvre de Deep Q-Learning dans des environnements réels nécessite une compréhension approfondie de ses limites théoriques et pratiques, en particulier en ce qui concerne la stabilité et l'efficacité des mises à jour. Cependant, avec l'avancement des techniques d'optimisation et des architectures de réseaux, de nouvelles solutions continuent d'émerger pour repousser les frontières de l'apprentissage par renforcement. Ces progrès ouvrent de nouvelles perspectives dans des domaines aussi variés que les systèmes multi-agents, la gestion de l'énergie, et la résilience des réseaux face aux cyberattaques.

Quelles sont les implications théoriques et pratiques de la compacité et de l'approximation universelle dans les réseaux neuronaux ?

Dans le cadre de l’espace $L^q(Q)$, il est nécessaire de recourir à des arguments supplémentaires pour comprendre la convergence d’une séquence de fonctions dans ce cadre. Cela est réalisé grâce au critère de compacité de Fréchet-Kolmogorov, qui stipule qu'un sous-ensemble borné de $L^q(Q)$ est compact si et seulement s'il est serré et uniformément équicontinu. Formulée de manière plus formelle, la compacité découle de deux conditions :

1. La séquence $u_k(x)$ ne doit pas osciller de manière excessive à des échelles petites.

2. La séquence $u_k(x)$ ne doit pas s'échapper vers l'infini d'une manière qui empêcherait la convergence forte.

Pour quantifier cette idée, on fait intervenir l'inégalité de Sobolev-Poincaré, qui affirme que pour $p < n$, il existe une constante $C$ telle que $|u - u_q|_{L^q(Q)} < C |V(u)|_{L^p(Q)}$. L’application de cette inégalité à $u_k - u$ nous donne :

Étant donné que $V(u_k)$ converge faiblement dans $L^p(Q)$, on obtient :

Ainsi, on en déduit que

ce qui établit la convergence forte de la séquence dans $L^q(Q)$. Ce raisonnement illustre comment la compacité peut être assurée en contrôlant les gradients de $u_k$, garantissant ainsi qu'une séquence ne peut pas osciller indéfiniment sans converger dans la norme choisie. Ce phénomène trouve son origine dans les propriétés des embeddings de Sobolev, qui assurent que bien que $W^{ -1,p}(Q)$ n'ait pas d'embedding compact en lui-même, il existe un embedding compact dans $L^q(Q)$ pour $q < n-1$. Ainsi, la convergence faible dans $W^{ -1,p}(Q)$ implique une convergence forte dans $L^q(Q)$, ce qui mène à la démonstration du théorème.

L’un des résultats fondamentaux dans la théorie des réseaux neuronaux est le théorème de l'approximation universelle, qui stipule qu’un réseau neuronal à propagation avant avec une seule couche cachée et un nombre fini de neurones peut approximer n'importe quelle fonction continue définie sur un sous-ensemble compact de $\mathbb{R}^n$ avec une précision aussi grande que l'on souhaite, sous réserve d'utiliser une fonction d’activation appropriée. Ce théorème a des implications majeures en apprentissage automatique, approximation de fonctions et architectures de réseaux neuronaux profonds.

Dans une série d’articles influents, Hornik et al. (1989) ont démontré que les réseaux neuronaux multicouches avec une couche cachée et une fonction d’activation sigmoïde peuvent approximer toute fonction continue sur un ensemble compact. Ils ont étendu les résultats antérieurs et jeté les bases de la compréhension moderne du théorème. Cybenko (1989) a fourni l’une des premières démonstrations rigoureuses du théorème de l'approximation universelle en utilisant la fonction sigmoïde comme fonction d’activation. Barron (1993) a étendu ce théorème en quantifiant l'erreur d'approximation et en analysant le taux de convergence, une contribution cruciale pour comprendre l'efficacité pratique des réseaux neuronaux. Pinkus (1999) a dressé un état des lieux exhaustif du théorème de l'approximation universelle du point de vue de la théorie de l'approximation et a discuté des conditions nécessaires pour l'approximation avec différentes fonctions d'activation, ainsi que des limites théoriques des réseaux neuronaux.

Les travaux de Lu et al. (2017) ont montré l'impact de la largeur des réseaux neuronaux sur leurs capacités d'approximation, remettant en question l’idée selon laquelle des réseaux plus profonds sont systématiquement meilleurs. Hanin et Sellke (2018) ont étendu le théorème de l'approximation universelle aux fonctions d’activation ReLU, démontrant que les réseaux ReLU profonds peuvent obtenir une approximation universelle tout en maintenant des contraintes de largeur minimales. Les recherches récentes, telles que celles de Garcia-Cervera et al. (2024) sur l’extension du théorème aux fonctions à valeurs multiples et leur application aux DeepONets, illustrent l'évolution continue de cette théorie dans des domaines comme la théorie du contrôle et la modélisation des équations aux dérivées partielles.

Une autre approche d’approximation dans le cadre du théorème de l'approximation universelle repose sur l'utilisation des opérateurs de convolution. Soit $f : \mathbb{R}^n \to \mathbb{R}$ une fonction continue et bornée. La convolution de $f$ avec une fonction noyau $\varphi : \mathbb{R}^n \to \mathbb{R}$, notée $f * \varphi$, est définie par

Le noyau $\varphi(x)$ est généralement choisi comme étant lisse, à support compact et normalisé de telle sorte que

Afin d'approximer $f$ localement, un paramètre d’échelle $\epsilon > 0$ est introduit, et on définit le noyau $\varphi^\epsilon(x)$. Cette approche permet de décomposer l’approximation en deux composants : une erreur due à la discrétisation, qui disparaît à mesure que le nombre de neurones $M$ tend vers l'infini, et une erreur due à la convolution elle-même, qui peut être analysée en termes de densité des approximateurs de réseaux neuronaux dans les espaces de fonctions. En utilisant le théorème de l'approximation universelle, il est possible de prouver que pour toute fonction continue $f$ sur un domaine compact $Q \subset \mathbb{R}^n$ et pour tout $\epsilon > 0$, il existe un réseau neuronal avec un nombre fini de neurones tel que

Ainsi, les opérateurs de convolution fournissent un cadre unificateur permettant de comprendre les processus de lissage, de localisation et de discrétisation qui sous-tendent les approximations des réseaux neuronaux. L'interaction entre $\varphi^\epsilon(x)$, $f * \varphi^\epsilon(x)$ et $f(x)$ révèle la structure mathématique profonde qui relie la théorie classique de l'approximation à l'apprentissage automatique moderne, offrant à la fois des insights théoriques et des orientations pratiques pour la conception des réseaux neuronaux.