Frågor för tentamen i kursen "Introduktion till djupinlärning"

Frågor till tentamen

1. Vad är metoden för bakåtpropagering av fel (backpropagation)?

2. Beskriv hur en konvolutionslager (CNN) fungerar.

3. Vilka är nackdelarna med fullt anslutna neuronnät och varför används konvolutionslager istället?

4. Beskriv hur ett grundläggande återkommande lager (RNN) fungerar.

5. Beskriv strukturen på en LSTM-enhet.

6. Vad är Dropout?

7. Hur förändras Dropout och Batch normalization under användning av modellen (i inferensläge)?

8. Vad är stride, padding och pooling?

9. Hur fungerar mekanismen för attention?

10. Beskriv den grundläggande idén för att bygga informativa vektorrepresentationer (embedding) med exempel från word2vec.

Exempel på testuppgifter

1. Vilken aktiveringsfunktion kan användas i en Vanilla RNN-enhet?

   • ReLU

   • ELU

   • Sigmoid

   • Softmax

   • tanh

2. "Context" i RNN representeras genom...?

   • Vikterna i RNN

   • Det dolda tillståndet ('h'-vektor) i RNN vid varje steg

   • Ingången ('x'-vektor) i RNN vid varje steg

   • Ingenting från de listade alternativen

3. Arkitektoniskt, BERT-modellen är...?

   • Decoder i Transformer-modellen

   • Encoder i Transformer-modellen

   • En kombination av encoder och decoder i Transformer-arkitekturen

4. Antalet kanaler i det utgående representationen från ett konvolutionslager...?

   • Matchar antalet kanaler i ingången

   • Matchar antalet filter i lagret

   • Beror på dimensionen av ingångsrepresentationen

5. Vilken aktiveringsfunktion kan användas efter ett Self-attention-lager?

   • ReLU

   • Sigmoid

   • Tanh

   • ELU

6. Fortsätt meningen (flera alternativ kan vara rätt): Konvolutionsnätverk kan användas för att bearbeta...?

   • Bilder

   • Texter

   • Tidsserier

   • Tabellära data

7. Vilka av de föreslagna modellerna kan använda gradientoptimering för att justera (träna) sina parametrar?

   • Konvolutionsnätverk

   • Återkommande neuronnät

   • Besluts träd

   • Transformer

   • Random Forest

   • Linjär regression utan regularisering

   • Logistisk regression med L2-regularisering

   • kNN

   • k-means