🚀 Программа | Введение в практические методы оптимизации

Вводное занятие. 📄 Материалы. 📝 Записи. 📼 Видео

Занятие 1. 📄 Материалы. 📝 Записи. 📼 Видео

Обзор приложений задач оптимизации, реальных постановок задач оптимизации и результатов.	Практика: задача наименьших квадратов. 🐍 code
Знакомство с современными практическими инструментами для оптимизации и анализа данных	Практика: работа с библиотекой CVXPY 🐍 code
Сравнение библиотек и фреймворков для машинного обучения.	Практика: сравнение SciPy и CVXPY в задаче условной оптимизации. 🐍 code

Занятие 2. 📄 Материалы. 📝 Записи. 📼 Видео

Матрично - векторное дифференцирование 1	Практика: матрично - векторное дифференцирование 1 🐍 code
Матрично - векторное дифференцирование 2	Практика: матрично - векторное дифференцирование 2 🐍 code
Автоматическое дифференцирование	Практика: работа с библиотеками для автоматического дифференцирования - `jax`, `pytorch`, `autograd`. 🐍 code

Занятие 3. 📄 Материалы. 📝 Записи. 📼 Видео

Выпуклость. Выпуклые множества.	Практика: выпуклость. Выпуклые множества в практических задачах. 🐍 code
Выпуклые функции. Сильно выпуклые функции.	Практика: выпуклые функции. Сильно выпуклые функции. 🐍 code

Занятие 4. 📄 Материалы. 📝 Записи. 📼 Видео

Портфельная теория Марковица.	Практика: оптимизация финансового портфеля на примере реальных данных фондового рынка. 🐍 code
Методы нулевого порядка и примеры задач глобальной оптимизации. 🐍 code Демонстрация nevergrad 🐍 code и optuna 🐍 code	Практика: подбор гиперпараметров модели машинного обучения в Keras с помощью Optuna. 🐍 code

Занятие 5. 📄 Материалы. 📝 Записи. 📼 Видео

Условия оптимальности: безусловная оптимизация и оптимизация с ограничениями типа равенств.	Практика: аналитическое решение задач оптимизации. 🐍 code
Условия оптимальности: оптимизация с ограничениями типа неравенств. Условия Каруша-Куна-Таккера	Практика: решение задачи наименьших квадратов. 🐍 code
Концепция методов барьерных и штрафных функций.	Практика: Ridge и Lasso регрессии как задачи оптимизации. 🐍 code

Занятие 6. 📄 Материалы. 📝 Записи. 📼 Видео

Градиентный спуск. 🐍 code	Практика: Одномерный поиск для выбора гиперпараметров модели машинного обучения. Реализация метода градиентного спуска и иследование его численных свойств на задаче выбора оптимальных координат. 🐍 code
Субградиент. Субдифференциал. 🐍 code	Практика: Подсчет субградиентов. 🐍 code
Метод проекции субградиента. 🐍 code	Практика: Support Vector Machine как задача оптимизации. Lasso regression. 🐍 code

Занятие 7. 📄 Материалы. 📝 Записи. 📼 Видео

Метод сопряженных градиентов. 🐍 code	Практика: исследование сходимости метода сопряженных градиентов и изучение техники предобуславливателей. 🐍 code
Метод Ньютона. 🐍 code	Практика: реализация демпфированного метода Ньютона. Исследование сходимости. Сравнение с другими методами. 🐍 code
Квазиньютоновские методы.	Практика: бенчмаркинг квазиньютоновских методов. 🐍 code

Занятие 8. 📄 Материалы. 📝 Записи. 📼 Видео

Задача линейного программирования. 🐍 code	Практика: построение простейшей рекомендательной системы для просмотра TED видеороликов как задача линейного программирования. Практика с библиотекой pulp. 🐍 code
Симплекс метод.	Практика: планирование производства как задача линейного программирования в PyOMO. Blending problem. 🐍 code
Введение в Mixed Integer Programming.	Практика: реализация решения задачи о рюкзаке и о расстановке королев на шахматной доске. 🐍 code

Занятие 9. 📄 Материалы. 📝 Записи. 📼 Видео

Метод стохастического градиентного спуска. Батчи, эпохи, расписания. 🐍 code	Практика: исследование сходимости SGD. Подбор гиперпараметров. 🐍 code
Nesterov Momentum и Polyak Momentum. Ускоренный градиентный метод.	Практика: исследование сходимости ускоренных методов в обучении нейронных сетей.
Адаптивные стохастические методы. Adam, RMSProp, AdaDelta.	Практика: исследование сходимости адаптивных методов в обучении нейронных сетей.

Занятие 10. 📝 Записи. 📼 Видео

Нейронные сети.	Практика: Дообучение нейронных сетей aka transfer learning. Neural style transfer. 🐍 code
Генеративные неронные сети. Специфика обучения.	Практика: использование GANов для обучения плотности распределения точек на плоскости. Генерация новых покемонов с помощью глубоких нейронных сетей. 🐍 code
Ландшафт функции потерь нейронной сети.	Практика: визуализация проекции функции потерь нейронной сети на прямую и плоскость. 🐍 code
Подведение итогов. Темы слушателей курса.	🐍 code