Powrót do: Dydaktyka

Niniejsza strona poświęcona jest przedmiotowi Sieci Neuronowe (SNR), prowadzonemu na Politechnice Warszawskiej. Zajęcia obejmują część wykładową oraz projektową. Projekt ma na celu praktyczne zaznajomienie się z metodami klasyfikacji wykorzystującymi głębokie sieci neuronowe oraz technikami wizualizacji obszarów uwagi wytrenowanych sieci.

Szczegółowa treść zadania projektowego na semestr 2021Z: (PDF).

Zakres wykładu - semestr zimowy 2021/2022

Mind map wykładu (PDF)

Część I: Wstęp do sieci neuronowych

Temat 1. Neurony i sieci - naturalne i sztuczne.
1.1 Modelowanie neuronowe
1.2 Obszar sieci neuronowych
1.3 Kamienie milowe rozwoju sieci neuronowych
Temat 2. Naturalne systemy neuronowe.
2.1 Elementy systemu nerwowego
2.2 Działanie neuronu
2.3 Biologiczne sieci neuronowe
Temat 3. Sztuczne sieci neuronowe – przegląd struktur rozwiązań
3.1 Sygnały w sztucznych sieciach neuronowych
3.2 Sztuczny neuron
3.3 Warstwy
3.4 Konstrukcja sztucznych sieci neuronowych
3.5 Uczenie sieci
3.6 Tablice wielowymiarowe i tensory
3.7 Splot nD

Część II: Sieci perceptronowe a klasyfikacja

Temat 4. Obrazy i klasyfikacja
4.1 Problem klasyfikacji obrazów
4.2 Klasyfikacja na dwie klasy
4.3 Klasyfikacja liniowa
4.4 Podejście probabilistyczne
Temat 5. Perceptron Rosenblatta
5.1 Struktura perceptronu Rosenblatta
5.2 Uczenie perceptronu Rosenblatta
5.3 Budowa i uczenie maszyny liniowe
Temat 6: Maszyny wektorów podpierających SVM
6.1 Maksymalizacja obszaru separującego
6.2 Wyznaczenie optymalnej hiperpłaszczyzny decyzyjnej
6.3 Maszyny wektorów podpierających
6.4 Problemy nieseparowalne liniowo
6.5. Metody obliczeniowe

Część III: Sieci perceptronowe a aproksymacja

Temat 7. Neurony liniowe
7.1 Pierwszy neuron liniowy: Adaline
7.2 Uczenie sieci liniowych
7.3 Rozwiązanie analityczne
Temat 8. Aproksymacja funkcji i perceptrony wielowarstwowe MLP
8.1 Problem aproksymacji
8.2 Struktura aproksymatorów
8.3 Możliwości aproksymacyjne perceptronów wielowarstwowych
Temat 9. Błędy aproksymacji
9.1 Teoretyczny koszt aproksymacji
9.2 Aproksymator bayesowski
9.3 Aproksymator optymalny w zadanej rodzinie
9.4 Aproksymator empiryczny i koszt empiryczny
Temat 10. Generalizacja i dobór modelu
10.1 Koszt generalizacji
10.2 Ryzyko strukturalne
10.3 Wymiar Vapnika-Chervonenkisa
10.4 Redukcja nadmiernego dopasowania
Temat 11. Uczenie sieci neuronowych
11.1 Trenowanie sieci neuronowych
11.2 Metody pierwszego rzędu
11.3 Metody drugiego rzędu
11.4 Specyficzne techniki neuronowe
Temat 12: Propagacja wsteczna gradientu
12.1 Łańcuch funkcji
12.2 Funkcje na grafie
12.3 Zastosowanie w sieciach neuronowych

Część IV: Głębokie sieci neuronowe

Temat 13. Obliczenia głębokie
Temat 14. Głębokie sieci splotowe
Temat 15. Neuronowe systemy rozpoznające

Część V: Sieci generatywne

Temat 16. Sieci generatywne a sieci dyskryminacyjne
Temat 17. Autoenkodery
Temat 18. Generatywne sieci antagonistyczne

Część VI: Dynamiczne sieci neuronowe

Temat 18. Procesy dynamiczne w sieciach neuronowych
Temat 19. Neuronowe aproksymacje systemów dynamicznych
Temat 20. Neuronowe sieci głębokie LSTM

Materiały do wykładu - semestr zimowy 2021/2022

Wykład całość (PDF)

Pytania sprawdzające na egzamin - semestr zimowy 2021/2022

Pytania sprawdzające (PDF)