L'ottimizzazione nell'ambito dell'apprendimento federato su Edge è una delle sfide più complesse nella progettazione di sistemi distribuiti. La necessità di ridurre l'errore complessivo e migliorare l'efficienza del sistema implica una gestione delicata delle risorse e una buona selezione dei dispositivi coinvolti nel processo di apprendimento. In questo contesto, l'uso di algoritmi di secondo ordine, come quelli proposti, si dimostra fondamentale per minimizzare l'errore nelle iterazioni e garantire il miglioramento continuo del modello.

Nel caso specifico dell'apprendimento federato su Edge, l'obiettivo principale è minimizzare il termine di errore ε′ in ogni iterazione. Un approccio utile per farlo è quello di massimizzare il numero di dispositivi selezionati, ma senza cadere nell'errore di trattare questa ottimizzazione come un semplice problema di beamforming tradizionale. La chiave sta nel riconoscere che la selezione dei dispositivi è un problema combinatorio che cresce esponenzialmente con l'aumento del numero di dispositivi coinvolti. Questo porta inevitabilmente a una crescita esponenziale della complessità computazionale durante l'ottimizzazione.

L'algoritmo di secondo ordine per l'ottimizzazione del sistema si sviluppa attraverso diverse fasi: inizialmente si selezionano i dispositivi che contribuiscono maggiormente all'accuratezza del modello. Successivamente, si applica una tecnica di beamforming per ottimizzare la potenza del segnale ricevuto da ciascun dispositivo. La soluzione a questo problema non è triviale, in quanto la formulazione quadratica che ne risulta è difficile da risolvere direttamente. Tuttavia, l'uso della tecnica di "lifting matriciale" consente di riformulare il problema come un problema di ottimizzazione a rango basso, rendendo possibile la sua risoluzione.

Una delle soluzioni più efficaci per affrontare questa difficoltà è l'uso dell'algoritmo DC (Difference of Convex Functions), che consente di trattare i termini non convessi e ottenere una soluzione più precisa. Il DCA si basa su un processo iterativo in cui il problema viene linearizzato ad ogni passo, riducendo così la complessità e migliorando l'efficienza complessiva.

Un altro aspetto importante dell'ottimizzazione federata su Edge riguarda la selezione dei dispositivi, che deve essere effettuata in modo iterativo. L'algoritmo GS (Gibbs Sampling) è uno strumento comune per affrontare questo problema, permettendo di esplorare lo spazio delle soluzioni in modo efficiente. In ogni iterazione, il set di dispositivi viene campionato da uno spazio di soluzioni vicine, e successivamente, utilizzando la probabilità di selezione appropriata, si determina quale set di dispositivi avvicina maggiormente la soluzione ottimale.

L'algoritmo GS funziona efficacemente in ambienti con una grande quantità di dispositivi, ma la difficoltà principale risiede nella gestione della temperatura T(k), che inizia con un valore elevato per esplorare ampiamente lo spazio delle soluzioni e successivamente si riduce per affinare la ricerca e concentrarsi sugli stati che minimizzano la funzione obiettivo. Questo processo aiuta a evitare di rimanere intrappolati in minimi locali.

La combinazione di DCA e GS, come mostrato nell'algoritmo di ottimizzazione del sistema GS+DCA, fornisce un approccio robusto per migliorare l'efficienza complessiva dell'apprendimento federato su Edge, riducendo la complessità computazionale pur mantenendo l'accuratezza del modello.

Infine, è fondamentale considerare che l'ottimizzazione della selezione dei dispositivi non è un processo banale e non può essere eseguito in modo esaustivo a causa della vastità dello spazio di soluzioni. L'uso di tecniche come il campionamento Gibbs e l'ottimizzazione del beamforming attraverso DCA offre un approccio bilanciato che può essere adattato a diverse configurazioni e requisiti di sistema.

Un aspetto cruciale da comprendere, oltre alla teoria degli algoritmi, è l'importanza della gestione delle risorse computazionali. In un ambiente distribuito, dove i dispositivi hanno capacità computazionali diverse, la selezione dei dispositivi giusti è essenziale per evitare il sovraccarico di alcuni nodi e garantire che l'algoritmo di apprendimento federato funzioni in modo ottimale senza compromettere l'efficienza complessiva del sistema. La capacità di bilanciare la partecipazione dei dispositivi e l'ottimizzazione dei parametri di sistema è quindi una delle competenze più importanti per i ricercatori e gli ingegneri che lavorano in questo campo.

Come può un UAV ottimizzare il processo di apprendimento federato ai margini della rete?

Nel contesto dell’apprendimento federato ai margini (Federated Edge Learning, FEEL), l’uso di un veicolo aereo senza pilota (UAV) rappresenta una soluzione flessibile per superare le limitazioni fisiche e computazionali tipiche dei dispositivi distribuiti. L’intero processo si fonda sulla cooperazione tra l’UAV e i dispositivi periferici, dove questi ultimi addestrano localmente un modello e lo trasmettono successivamente all’UAV per l’aggregazione e l’aggiornamento globale.

Una delle grandezze fondamentali è la dimensione del vettore dei parametri del modello, indicata con ss, che rimane invariata durante tutto il processo. Il tempo impiegato da un dispositivo kk per caricare il modello locale all’nn-esimo round è espresso come τk[n]=asrk[n]\tau_k[n] = \frac{a s}{r_k[n]}, dove rk[n]r_k[n] rappresenta il tasso di trasmissione, dipendente dalla potenza trasmessa e dalla qualità del canale. La riduzione della distanza di comunicazione o il miglioramento della visibilità diretta sono strumenti essenziali a disposizione dell’UAV per incrementare la velocità di caricamento.

Combinando questa espressione con il modello energetico della comunicazione, si ricava che l’energia spesa da un dispositivo per trasmettere il proprio modello all’UAV è data da:

Ekcomm[n]=τk[n]σ2(2sBτk[n]−1)1hk[n]E^{\text{comm}}_k[n] = \tau_k[n] \sigma^2 \left( 2^{\frac{s}{B \tau_k[n]}} - 1 \right) \frac{1}{h_k[n]}

dove hk[n]h_k[n] è il guadagno di canale e σ2\sigma^2 è la potenza del rumore gaussiano complesso. La capacità dell’UAV di muoversi e ottimizzare la propria posizione consente di minimizzare questo termine, riducendo i tempi di caricamento e l’energia spesa.

Una volta ricevuti i modelli locali {wk,n}\{w_{k,n}\}, l’UAV esegue l’aggiornamento globale e trasmette il nuovo modello a tutti i dispositivi. Il tempo totale per questa operazione dipende dalla potenza trasmessa, dalla larghezza di banda e dalla capacità computazionale dell’UAV, che, essendo superiore rispetto ai dispositivi, rende trascurabile il tempo di calcolo rispetto a quello di comunicazione.

Nel quadro di un’analisi più formale, la convergenza del processo FEEL è garantita sotto ipotesi standard di ottimizzazione non convessa: la funzione di perdita è LL-liscia, limitata inferiormente e con gradienti locali di norma limitata. Il tasso di convergenza, espresso come la norma media dei gradienti globali, è soggetto alla quantità di dispositivi attivamente coinvolti nel processo di aggregazione. Si dimostra che, aumentando il numero di dispositivi programmati, si riduce l’errore medio di aggregazione, ma ciò comporta un costo in termini di ritardo e consumo energetico.

L’equilibrio tra performance e complessità viene quindi formalizzato come un problema di ottimizzazione misto intero non convesso. Le variabili decisionali includono la matrice di scheduling AA, i tempi di trasmissione τ\tau, la traiettoria dell’UAV QQ e la durata degli slot δ\delta. L’obiettivo è minimizzare il tempo totale di completamento del processo di apprendimento, garantendo una soglia di accuratezza desiderata.

Tuttavia, non ogni istanza del problema è risolvibile. La sua fattibilità dipende da due condizioni: la prima riguarda il legame tra il numero di dispositivi programmati e il margine di errore di convergenza accettabile; la seconda è relativa all’energia disponibile su ciascun dispositivo. In assenza di risorse energetiche sufficienti o se la soglia di accuratezza è troppo stringente, il problema non ammette soluzione. La proposizione di verifica della fattibilità stabilisce condizioni quantitative precise per entrambe le situazioni.

Un’ulteriore sfida è rappresentata dalla progettazione della traiettoria dell’UAV, che deve adattarsi dinamicamente al comportamento dei dispositivi distribuiti. L’abilità dell’UAV di evitare i cosiddetti "stragglers" – dispositivi lenti o con canali deboli – consente una riduzione significativa dei tempi morti nella rete. L’integrazione di questa mobilità adattativa con uno scheduling ottimale e un’allocazione temporale mirata costituisce il fulcro della strategia proposta.

Per interpretare appieno le implicazioni di questo modello, è fondamentale comprendere che l’ottimizzazione congiunta delle variabili sopra menzionate non può essere eseguita separatamente. L’interazione tra lo scheduling, l’energia disponibile, il canale di comunicazione e la traiettoria dell’UAV definisce uno spazio delle soluzioni altamente interdipendente. Ogni decisione locale influenza la convergenza globale del sistema.

Inoltre, è essenziale considerare le limitazioni reali dell’ambiente operativo: latenza di rete, condizioni atmosferiche che influenzano la visibilità tra UAV e dispositivi, e dinamiche di mobilità dei dispositivi stessi. L’introduzione di incertezze rende necessario l’uso di approcci robusti o adattivi, capaci di gestire variazioni non predicibili nei parametri di sistema.

Un altro aspetto rilevante riguarda la scalabilità: man mano che il numero di dispositivi aumenta, la complessità computazionale e comunicativa cresce non linearmente. Pertanto, diventa indispensabile impiegare tecniche di selezione dei dispositivi basate su criteri di importanza statistica o energetica, riducendo così il carico sull’UAV senza compromettere l’efficienza dell’apprendimento.

Infine, l’intero processo deve essere pensato in un’ottica distribuita e asincrona, dove la sincronia completa tra tutti i dispositivi non è realistica. Questo comporta la necessità di modelli di aggregazione flessibili, capaci di integrare aggiornamenti parziali o ritardati senza degradare la qualità del modello finale.

Come Garantire la Privacy nei Sistemi di Federated Learning attraverso la Privacy Differenziale

La trasmissione degli aggiornamenti dei modelli gk,tg_{k,t} può, in alcuni casi, rivelare informazioni statistiche sul dataset locale, il che rende necessario l'adozione di misure aggiuntive per proteggere la privacy. Anche se il server di edge, pur essendo considerato affidabile, potrebbe essere curioso di inferire le informazioni locali di ciascun dispositivo edge sulla base dei segnali ricevuti r={rt}t=1Tr = \{r_t\}_{t=1}^T, è essenziale adottare un sistema che prevenga la divulgazione di tali dati.

Per rispondere a questa problematica, si introduce il concetto di dataset "vicini" e si fa ricorso alla Privacy Differenziale (DP). Un dataset Dk={x1,…,xn}∈XnD_k = \{x_1, \dots, x_n\} \in X^n è composto da nn punti dati provenienti da XX. Due dataset Dk={x1,…,xn}D_k = \{x_1, \dots, x_n\} e Dk′={x1′,…,xn′}D'_k = \{x'_1, \dots, x'_n\} sono considerati "vicini" se differiscono per un solo elemento. In altre parole, esiste un indice i∈[n]i \in [n] tale che xi≠xi′x_i \neq x'_i, mentre xj=xj′x_j = x'_j per tutti gli i≠ji \neq j.

La Privacy Differenziale (DP) è definita come segue: un protocollo M:Xn→YM : X^n \to Y è (ϵ,δ)(\epsilon, \delta)-differentially private (DP), se per ogni coppia di dataset vicini Dk,Dk′D_k, D'_k e per ogni sottoinsieme A⊂YA \subset Y, la seguente disuguaglianza è verificata:

Pr[M(Dk)∈A]≤eϵ⋅Pr[M(Dk′)∈A]+δ.\text{Pr}[M(D_k) \in A] \leq e^\epsilon \cdot \text{Pr}[M(D'_k) \in A] + \delta.

Nel caso di δ=0\delta = 0, si parla di ϵ\epsilon-DP puro. Per garantire un livello di privacy ϵ\epsilon, il segnale viene perturbato uniformemente con rumore artificiale nk,t=[nk,t(1),…,nk,t(I)]T∈Cn_{k,t} = [n_{k,t}(1), \dots, n_{k,t}(I)]^T \in C, dove nk,t(i)∼CN(0,σk,t2(i)Ie)n_{k,t}(i) \sim CN(0, \sigma^2_{k,t}(i) I_e), in modo tale da produrre un aggiornamento locale pre-processato rumoroso sul dispositivo edge kk come segue:

sk,t(i)=Dkgk,t(i)+nk,t(i).s_{k,t}(i) = D_k g_{k,t}(i) + n_{k,t}(i).

Aggregazione dei Modelli tramite Calcoli Over-the-Air

Nel contesto dell'aggregazione dei modelli, tutti i dispositivi edge inviano contemporaneamente i propri gradienti {gk,t(i)}k=1K\{g_{k,t}(i)\}_{k=1}^K attraverso gli stessi blocchi temporali e di frequenza. Per compensare il fading non uniforme del canale, viene adottato uno schema di trasmissione in cui la trasmissione di ogni dispositivo edge è scalata come segue:

hk,t(i)Hxk,t(i)=αk,t(i)sk,t(i)=ηt(i)∣hk,t(i)∣2sk,h_{k,t}(i)^H x_{k,t}(i) = \alpha_{k,t}(i) s_{k,t}(i) = \sqrt{\eta_t(i)} |h_{k,t}(i)|^2 s_k,