Введение в автоматизированное машинное обучение, AutoML, Хуттер Ф., Коттхофф Л., Ваншорен Х., 2023

Введение в автоматизированное машинное обучение, AutoML, Хуттер Ф., Коттхофф Л., Ваншорен Х., 2023.
     
   Ошеломляющий успех коммерческих приложений машинного обучения (machine learning - ML) и быстрый рост этой отрасли создали высокий спрос на готовые методы ML, которые можно легко использовать без специальных знаний. Однако и сегодня успех практического применения в решающей степени зависит от экспертов - людей, которые вручную выбирают подходящие архитектуры и их гиперпараметры. Методы AutoML нацелены на устранение этого узкого места путем построения систем ML, способных к автоматической оптимизации и самонастройке независимо от типа входных данных. В этой книге впервые представлен всеобъемлющий обзор базовых методов автоматизированного машинного обучения (AutoML).
Издание послужит отправной точкой для изучения этой быстро развивающейся области; тем, кто уже использует AutoML в своей работе, книга пригодится в качестве справочника.




Байесовская оптимизация.
Байесовская оптимизация - это современный метод глобальной оптимизации вычислительно дорогостоящих функций черного ящика, который получил широкое распространение в области НРО благодаря достижению новых передовых результатов в тонкой настройке глубоких нейронных сетей для классификации изображений [140, 141], распознавания речи [22] и нейронного моделирования языка [105], а также благодаря демонстрации широкой применимости к различным задачам. Для углубленного изучения байесовской оптимизации мы рекомендуем воспользоваться превосходными учебниками за авторством Шахриари и др. [135] и Брошу и др. [18].

В этом разделе мы сначала дадим краткое введение в байесовскую оптимизацию, представим альтернативные суррогатные модели, используемые в ней, опишем расширения на условные и ограниченные пространства конфигураций, а затем обсудим несколько важных приложений к гиперпараметрической оптимизации.

ОГЛАВЛЕНИЕ.
От издательства.
Предисловие.
Введение.
ЧАСТЬ I. МЕТОДЫ AutoML.
Глава 1. Оптимизация гиперпараметров.
1.1. Введение.
1.2. Постановка задачи.
1.2.1. Альтернативы оптимизации: ансамблирование и маргинализация.
1.2.2. Оптимизация по нескольким целям.
1.3. Оптимизация гиперпараметров методом черного ящика.
1.3.1. Оптимизация методом черного ящика без моделей.
1.3.2. Байесовская оптимизация.
1.3.2.1. Краткое введение в байесовскую оптимизацию.
1.3.2.2. Суррогатные модели.
1.3.2.3. Описание пространства конфигурации.
1.3.2.4. Ограниченная байесовская оптимизация.
1.4. Методы оптимизации с переменной точностью.
1.4.1. Прогнозирование на основе кривой обучения для ранней остановки.
1.4.2. Методы выбора алгоритма на основе приближений.
1.4.3. Адаптивный выбор точности.
1.5. Применение оптимизации гиперпараметров в AutoML.
1.6. Проблемы и перспективные направления исследований.
1.6.1. Бенчмарки и сопоставимость результатов.
1.6.2. Оптимизация на основе градиента.
1.6.3. Масштабируемость.
1.6.4. Переобучение и обобщение.
1.6.5. Построение конвейера произвольного размера.
1.7. Литература.
Глава 2. Метаобучение.
2.1. Введение.
2.2. Обучение на основе оценок моделей.
2.2.1. Независимые от задачи рекомендации.
2.2.2. Построение пространства конфигураций.
2.2.3. Перенос конфигурации.
2.2.3.1. Относительные ориентиры.
2.2.3.2. Суррогатные модели.
2.2.3.3. Многозадачное обучение с теплым стартом.
2.2.3.4. Другие методы.
2.2.4. Кривые обучения.
2.3. Обучение на основе свойств задачи.
2.3.1. Метапризнаки.
2.3.2. Обучение метапризнаков.
2.3.3. Оптимизация с теплым стартом на основе схожих задач.
2.3.4. Метамодели.
2.3.4.1. Ранжирование.
2.3.4.2. Прогнозирование производительности.
2.3.5. Синтез конвейера.
2.3.6. Настраивать или не настраивать?.
2.4. Обучение на основе предыдущих моделей.
2.4.1. Трансферное обучение.
2.4.2. Метаобучение в нейронных сетях.
2.4.3. Обучение на ограниченных данных.
2.4.4. За рамками обучения с учителем.
2.5. Заключение.
2.6. Литература.
Глава 3. Поиск нейронной архитектуры.
3.1. Введение.
3.2. Пространство поиска.
3.3. Стратегия поиска.
3.4. Стратегия оценки производительности.
3.5. Перспективные направления.
3.6. Литература.
ЧАСТЬ II. СИСТЕМЫ AutoML.
Глава 4. Auto-WEKA: автоматический выбор модели и оптимизация гиперпараметров в WEKA.
4.1. Введение.
4.2. Предварительные условия.
4.2.1. Выбор модели.
4.2.2. Оптимизация гиперпараметров.
4.3. Одновременный выбор алгоритмов и оптимизация гиперпараметров (CASH).
4.3.1. Последовательный алгоритм конфигурации по модели (SMAC).
4.4. Auto-WEKA.
4.5. Экспериментальная оценка.
4.5.1. Эталонные методы.
4.5.2. Результаты производительности, определенные перекрестной проверкой.
4.5.3. Результаты тестирования производительности.
4.6. Заключение.
4.6.1. Популярность Auto-WEKA в сообществе.
4.7. Литература.
Глава 5. Проект Hyperopt-sklearn.
5.1. Введение.
5.2. Оптимизация с помощью Hyperopt.
5.3. Выбор модели в scikit-learn как задача поиска.
5.4. Пример использования.
5.5. Эксперименты.
5.6. Текущее состояние и перспективные направления исследований.
5.7. Заключение.
5.8. Литература.
Глава 6. Auto-sklearn – эффективное и надежное автоматизированное машинное обучение.
6.1. Введение.
6.2. AutoML как задача CASH.
6.3. Новые методы повышения эффективности и надежности AutoML.
6.3.1. Поиск перспективных вариантов при помощи метаобучения.
6.3.2. Автоматизированное построение ансамбля моделей, оцененных во время оптимизации.
6.4. Практическая система автоматизированного машинного обучения.
6.5. Сравнение Auto-sklearn с Auto-WEKA и Hyperopt-sklearn.
6.6. Оценка предложенных улучшений AutoML.
6.7. Детальный анализ компонентов Auto-sklearn.
6.8. Обсуждение результатов и заключение.
6.8.1. Обсуждение результатов.
6.8.2. Практическое применение.
6.8.3. Расширения в PoSH Auto-sklearn.
6.8.4. Заключение и будущие исследования.
6.9. Литература.
Глава 7. На пути к автоматически настраиваемым глубоким нейронным сетям.
7.1. Введение.
7.2. Auto-Net 1.0.
7.3. Auto-Net 2.0.
7.4. Эксперименты.
7.4.1. Первичная оценка Auto-Net 1.0 и Auto-sklearn.
7.4.2. Результаты для наборов данных конкурса AutoML.
7.4.3. Сравнение AutoNet 1.0 и 2.0.
7.5. Заключение.
7.6. Литература.
Глава 8. TPOT: инструмент оптимизации конвейеров на основе деревьев для автоматизации машинного обучения.
8.1. Введение.
8.2. Базовые принципы TPOT.
8.2.1. Конвейерные операторы машинного обучения.
8.2.2. Построение конвейеров на основе деревьев.
8.2.3. Оптимизация конвейеров на основе деревьев.
8.2.4. Эталонные данные.
8.3. Результаты.
8.4. Выводы и перспективные направления исследований.
8.5. Литература.
Глава 9. Проект Automatic Statistician.
9.1. Введение.
9.2. Базовые принципы Automatic Statistician.
9.2.1. Похожие исследования.
9.3. Automatic Statistician и данные временных рядов.
9.3.1. Грамматика операций над ядрами.
9.3.2. Процедура поиска и оценки.
9.3.3. Генерация описаний на естественном языке.
9.3.4. Сравнение с людьми.
9.4. Другие системы автоматической статистики.
9.4.1. Основные компоненты.
9.4.2. Проблемы и задачи.
9.4.2.1. Взаимодействие с пользователем.
9.4.2.2. Отсутствующие и беспорядочные данные.
9.4.2.3. Распределение ресурсов.
9.5. Заключение.
9.6. Литература.
ЧАСТЬ III. ПРОБЛЕМЫ AutoML.
Глава 10. О чем говорят результаты конкурсов AutoML Challenge?.
10.1. Введение.
10.2. Формализация задачи и обзор условий.
10.2.1. Предметная область задачи.
10.2.2. Выбор полной модели.
10.2.3. Оптимизация гиперпараметров.
10.2.4. Стратегии поиска моделей.
10.3. Данные.
10.4. Протокол конкурса.
10.4.1. Бюджет времени и вычислительные ресурсы.
10.4.2. Метрики подсчета баллов.
10.4.3. Раунды и этапы в конкурсе 2015/2016.
10.4.4. Этапы конкурса 2018 года.
10.5. Результаты.
10.5.1. Оценки, полученные в конкурсе 2015/2016.
10.5.2. Результаты, полученные в конкурсе 2018 года.
10.5.3. Сложность наборов данных/задач.
10.5.4. Оптимизация гиперпараметров.
10.5.5. Метаобучение.
10.5.6. Методы, использованные в конкурсах.
10.6. Обсуждение.
10.7. Заключение.
10.8. Литература.
Предметный указатель.

Купить .





Теги: учебник по информатике :: информатика :: компьютеры :: Хуттер :: Коттхофф :: Ваншорен