Занятие 1.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Вводное занятие. Обзор практических задач оптимизации.
Занятие 2.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Повторение основ линейной алгебры. Матрично-векторное дифференцирование. Градиент. Гессиан.
Занятие 3.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Идея автоматического дифференцирования. Быстрое умножение якобиана на вектор.
Занятие 4.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Выпуклость. Выпуклые множества. Выпуклые функции. Критерии выпуклости.
Занятие 5.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Сопряженные множества. Сумма Минковского. Сопряженные конусы. Многогранники.
Занятие 6.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Сопряженные функции. Преобразование Лежандра. Сопряженная норма.
Занятие 7.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Субградиент. Субдифференциал. Теоремы Моро-Рокафеллара, Дубовицкого-Милютина.
Занятие 8.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Условия оптимальности. Функция Лагранжа. Множители Лагранжа. Теорема Каруша - Куна - Таккера.
Занятие 9.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Введение в двойственность. Двойственная задача. Two-way partitioning problem. Проекция точки на вероятностный симплекс.
Занятие 10.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Связь двойственности Фенхеля и Лагранжа. Сильная двойственность в невыпуклом случае. Условие Слейтера. Повторяем ККТ.
Занятие 11.
📝 Записи. ▶️ Youtube. 💿 Скачать
Двойственность. Анализ чувствительности. Бизнес-интерпретация множителей Лагранжа и двойственной задачи. Теневые цены. Матричные случайные игры.
Занятие 12.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Линейное программирование. Примеры задач в формулировке LP. Двойственная задача к LP. Идея симплекс алгоритма.
Занятие 13.
📝 Записи. ▶️ Youtube. 💿 Скачать
Симплекс метод для решения задачи линейного программирования.
Занятие 14.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Классификация и обозначения в задачах оптимизации. Скорость сходимости.
Занятие 15.
📝 Записи. ▶️ Youtube. 💿 Скачать
Линейный поиск. Неточная одномерная оптимизация. Правила Армихо - Гольдштейна. Условие Вульфа.
Занятие 16.
📝 Записи. ▶️ Youtube. 💿 Скачать
Методы нулевого порядка. Безградиентные методы. Оптимизация гиперпараметров модели машинного обучения. Генетический алгоритм. Эволюционные алгоритмы.
Занятие 17.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL). Условие Поляка - Лоясевича.
Занятие 18.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Субградиентный спуск. Теоремы сходимости в негладком случае (выпуклый случай). Особенности работы градиентного метода в практических негладких задачах. Задача наименьших квадратов с \(l_1\) регуляризацией.
Занятие 19.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Метод проекции субградиента. Метод условного градиента (метод Франка - Вульфа). Идея метода зеркального спуска.
Занятие 20.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Метод сопряженных направлений. Метод сопряженных градиентов (идея). Ортогонализация Грамма - Шмидта. Понятие \(A\)-ортогональных векторов.
Занятие 21.
📝 Записи. ▶️ Youtube. 💿 Скачать
Метод сопряженных градиентов. Концепция методов адаптивной метрики. Метод Ньютона.
Занятие 22.
📄 Материалы. 📝 Записи. ▶️ Youtube. 💿 Скачать
Введение в стохастические градиентные методы. Батч, эпоха. Сходимость SGD.
Занятие 23
Практика. Заглядываем внутрь нейронной сети. Ссылки:
- SGD в простейшем случае
- Наглядно про адаптивные методы градиентного спуска.
- Визуализация проекции функции потерь нейронной сети.
- Обзорные материалы со ссылками на статьи про поверхность функции потерь нейронной сети. [1]; [2]; [3]; [4]
- Приложения нейронных сетей.
- Практика логгирования данных с помощью библиотеки wandb.