О чём этот курс

Нейронные сети — это не «чёрный ящик». Это конкретный класс параметрических функций, оптимизируемых с помощью градиентного спуска на вычислительных графах. Этот курс разбирает их именно так.

Мы начинаем с одного нейрона и логистической регрессии, показываем, почему добавление слоёв даёт принципиально новые возможности, объясняем алгоритм обратного распространения ошибки через цепное правило — и строим полноценные архитектуры на PyTorch.

Ключевые архитектуры

MLP
Многослойный перцептрон — базовая архитектура для таблиц
CNN
Свёрточные сети — для изображений и пространственных данных
RNN / LSTM
Рекуррентные сети — для последовательностей и временных рядов
Autoencoder
Автоэнкодеры — сжатие представлений и генерация

Учебная программа

Модуль 1: Нейрон как математический объект 4 раздела
▶Биологическая аналогия и её ограничения
▶Линейное преобразование и функция активации
▶Геометрический смысл нейрона
▶Логистическая регрессия как один нейрон
Модуль 2: Функции активации 4 раздела
▶Sigmoid: свойства и проблема насыщения
▶Tanh: центрирование выходов
▶ReLU и его варианты: Leaky, ELU, GELU
▶Softmax для многоклассовой классификации
Модуль 3: Многослойный перцептрон 4 раздела
▶Теорема универсальной аппроксимации
▶Прямое распространение (forward pass)
▶Матричная запись вычислений
▶Инициализация весов: Xavier, He
Модуль 4: Backpropagation 4 раздела
▶Цепное правило дифференцирования
▶Вычислительный граф и обратный проход
▶Реализация с нуля на NumPy
▶Сравнение с автодифференцированием PyTorch
Модуль 5: Оптимизаторы 4 раздела
▶SGD с импульсом
▶RMSProp: адаптивный learning rate
▶Adam: момент первого и второго порядка
▶Learning rate scheduling
Модуль 6: Регуляризация нейросетей 4 раздела
▶Dropout: теория и реализация
▶Batch Normalization: нормализация активаций
▶Weight decay и L2
▶Ранняя остановка обучения
Модуль 7: CNN — Свёрточные сети 4 раздела
▶Операция свёртки и пулинга
▶Рецептивное поле и иерархия признаков
▶Классические архитектуры: LeNet, AlexNet
▶Практика: классификация CIFAR-10
Модуль 8: RNN и LSTM 4 раздела
▶Рекуррентная ячейка: формула и ограничения
▶Проблема затухающего градиента
▶LSTM: ворота и ячейка памяти
▶GRU: упрощённая версия LSTM
Модуль 9: Обучение в PyTorch 4 раздела
▶Dataset и DataLoader
▶Определение модели через nn.Module
▶Цикл обучения: loss, backward, step
▶TensorBoard для визуализации обучения
Модуль 10: Диагностика и отладка 4 раздела
▶Кривые обучения и их интерпретация
▶Анализ градиентов и vanishing/exploding
▶Визуализация активаций и весов
▶Методы поиска ошибок в архитектуре
Модуль 11: Автоэнкодеры 4 раздела
▶Encoder-decoder архитектура
▶Латентное пространство и его свойства
▶Вариационный автоэнкодер (VAE)
▶Применение: снижение размерности и генерация