Байесовская оптимизация с примерами из библиотек Python, Нгуен К., 2024

Байесовская оптимизация с примерами из библиотек Python, Нгуен К., 2024.

   Книга рассказывает об оптимизации моделей машинного обучения на основе байесовского метода и теории вероятностей. Примеры составлены на языке Python с использованием библиотек PyTorch, GPyTorch и BoTorch. Описаны приемы настройки гиперпараметров, гауссовское распределение, использование политик машинного обучения, в частности на основе задачи о многоруких бандитах, повышение производительности вычислений, многовариантная оптимизация с учетом полезности и затрат, а также применение байесовского метода в специализированных сценариях.




Проблема дорогостоящей оптимизации «черного ящика».
В этом разделе мы познакомимся с данной проблемой, на решение которой и направлена байесовская оптимизация. Знание, почему она является настолько сложной, поможет понять, почему БО является более предпочтительной, чем простые и тривиальные подходы, вроде поиска по сетке (когда пространство поиска делится на равные сегменты) или случайного поиска (когда используются случайно сгенерированные точки для поиска).

В этой задаче доступа к функции нет, она представлена «черным ящиком» (Black box). Это некий механизм ввода-вывода. Цель — найти вход, который максимизирует выход. Такую функцию часто называют целевой, поскольку ее оптимизация является нашей целью. А именно необходимо найти ее оптимум — входные данные, которые дают наибольшее значение функции.

ОГЛАВЛЕНИЕ.
Введение.
Пролог.
Благодарности.
О книге.
Кому следует прочитать эту книгу?.
Как организована эта книга: дорожная карта.
О коде.
Дискуссионный форум liveBook.
Архив с иллюстрациями к книге.
Об авторе.
О техническом редакторе.
Об изображении на обложке.
Глава 1. Введение в байесовскую оптимизацию.
1.1. Нахождение оптимума дорогостоящей функции «черного ящика».
1.1.1. Настройка гиперпараметров как пример дорогостоящей задачи оптимизации «черного ящика».
1.1.2. Проблема дорогостоящей оптимизации «черного ящика».
1.1.3. Другие реальные примеры дорогостоящих задач оптимизации «черного ящика».
1.2. Введение в байесовскую оптимизацию.
1.2.1. Моделирование с помощью гауссовского процесса.
1.2.2. Принятие решений с помощью политики БО.
1.2.3. Объединение ГП и политики БО для формирования цикла оптимизации.
1.2.4. Байесовская оптимизация в действии.
1.3. Что вы узнаете в этой книге?.
Заключение.
ЧАСТЬ I. МОДЕЛИРОВАНИЕ С ПОМОЩЬЮ ГАУССОВСКИХ ПРОЦЕССОВ.
Глава 2. Гауссовский процесс как распределение по функциям.
2.1. Как продать свой дом по методу Байеса.
2.2. Моделирование корреляций с помощью многомерных гауссовских распределений и байесовских обновлений.
2.2.1. Использование многомерных распределений Гаусса для совместного моделирования нескольких переменных.
2.2.2. Обновление нормальных распределений.
2.2.3. Моделирование множества переменных с помощью многомерных гауссовских распределений.
2.3. Переход от конечной гауссианы к бесконечной.
2.4. Реализация ГП в Python.
2.4.1. Настройка обучающих данных.
2.4.2. Реализация класса ГП.
2.4.3. Создание прогнозов с помощью ГП.
2.4.4. Визуализация прогнозов ГП.
2.4.5. Выход за рамки одномерных целевых функций.
2.5. Упражнение.
Заключение.
Глава 3. Настройка ГП с помощью функций среднего значения и ковариации.
3.1. Важность априорных знаний в байесовских моделях.
3.2. Включение предварительных знаний в ГП.
3.3. Определение поведения целевой функции с помощью функции среднего значения.
3.3.1. Использование функции нулевого среднего в качестве базовой стратегии.
3.3.2. Использование постоянной функции с градиентным спуском.
3.3.3. Использование линейной функции с градиентным спуском.
3.3.4. Использование квадратичной функции с помощью реализации пользовательской функции среднего.
3.4. Определение изменчивости и гладкости с помощью ковариационной функции.
3.4.1. Настройка масштабов функции ковариации.
3.4.2. Управление гладкостью с помощью различных ковариационных функций.
3.4.3. Моделирование различных уровней изменчивости с помощью множественных масштабов длины.
3.5. Упражнение.
Заключение.
ЧАСТЬ II. ПРИНЯТИЕ РЕШЕНИЙ С ПОМОЩЬЮ БАЙЕСОВСКОЙ ОПТИМИЗАЦИИ.
Глава 4. Достижение наилучшего результата с помощью политик, основанных на улучшениях.
4.1. Навигация по пространству поиска в БО.
4.1.1. Цикл БО и политики.
4.1.2. Баланс между исследованием и эксплуатацией.
4.2. Поиск улучшений в БО.
4.2.1. Измерение улучшения с помощью ГП.
4.2.2. Вычисление вероятности улучшения.
4.2.3. Запуск политики Pol.
4.3. Оптимизация ожидаемого значения улучшения.
4.4. Упражнения.
4.4.1. Упражнение 1: поощрение исследования с помощью Pol.
4.4.2. Упражнение 2: БО для настройки гиперпараметров.
Заключение.
Глава 5. Исследование пространства поиска с помощью «многорукого бандита».
5.1. Введение в задачу многорукого бандита.
5.1.1. Как найти наилучший игровой автомат в казино.
5.1.2. От МАВ к БО.
5.2. Как быть оптимистом в условиях неопределенности с помощью политики верхней доверительной границы.
5.2.1. Оптимизм в условиях неопределенности.
5.2.2. Баланс между исследованием и эксплуатацией.
5.2.3. Реализация с помощью BoTorch.
5.3. Интеллектуальная выборка с помощью политики выборки Томпсона.
5.3.1. Одна выборка для представления неизвестного.
5.3.2. Реализация с помощью BoTorch.
5.4. Упражнения.
5.4.1. Упражнение 1: Настройка плана эксплуатации для UCB.
5.4.2. Упражнение 2: БО для настройки гиперпараметров.
Заключение.
Глава 6. Использование теории информации с политиками на основе энтропии.
6.1. Измерение знаний с помощью теории информации.
6.1.1. Измерение неопределенности с помощью энтропии.
6.1.2. Поиск пульта дистанционного управления с помощью энтропии.
6.1.3. Бинарный поиск с применением энтропии.
6.2. Энтропийный поиск в БО.
6.2.1. Поиск оптимума с помощью теории информации.
6.2.2. Реализация энтропийного поиска с помощью BoTorch.
6.3. Упражнения.
6.3.1. Упражнение 1: Включение предварительных (априорных) знаний в энтропийный поиск.
6.3.2. Упражнение 2: Байесовская оптимизация для настройки гиперпараметров.
Заключение.
ЧАСТЬ III. РАСШИРЕНИЕ БАЙЕСОВСКОЙ ОПТИМИЗАЦИИ НА СПЕЦИАЛИЗИРОВАННЫЕ СЦЕНАРИИ.
Глава 7. Максимизация производительности за счет оптимизации пакетной обработки.
7.1. Одновременное выполнение нескольких оценок функций.
7.1.1. Параллельное использование всех доступных ресурсов.
7.1.2. Почему нельзя использовать обычные политики БО в пакетном режиме?.
7.2. Вычисление улучшения и верхней доверительной границы для набора точек.
7.2.1. Расширение эвристик оптимизации для пакетного режима.
7.2.2. Реализация пакетных политик Pol, El и UCB.
7.3. Упражнение 1: Расширение TS до пакетной оптимизации с помощью повторной выборки.
7.4. Вычисление ценности пакета точек с помощью теории информации.
7.4.1. Нахождение наиболее информативного пакета точек с помощью цикличного уточнения.
7.4.2. Реализация пакетного энтропийного поиска с помощью BoTorch.
7.5. Упражнение 2: Оптимизация конструкции самолета.
Заключение.
Глава 8. Удовлетворение особых ограничений с помощью ограниченной оптимизации.
8.1. Учет ограничений в задаче ограниченной оптимизации.
8.1.1. Ограничения могут изменить решение задачи оптимизации.
8.1.2. Структура БО, учитывающая ограничения.
8.2. Принятие решений с учетом ограничений в БО.
8.3. Упражнение 1: Ручное вычисление ограниченной EI.
8.4. Реализация ограниченной EI с помощью BoTorch.
8.5. Упражнение 2: Ограниченная оптимизация при конструировании самолета.
Заключение.
Глава 9. Балансирование между полезностью и затратами с помощью многовариантной оптимизации.
9.1. Использование приближений с низкой точностью для изучения дорогостоящих явлений.
9.2. Разноточное моделирование с помощью ГП.
9.2.1. Форматирование разноточного набора данных.
9.2.2. Обучение разноточного ГП.
9.3. Баланс между информацией и затратами в разноточной оптимизации.
9.3.1. Моделирование затрат на запросы различной точности.
9.3.2. Оптимизация количества информации для управления оптимизацией.
9.4. Измерение производительности в разноточной оптимизации.
9.5. Упражнение 1: Визуализация средней производительности в разноточной оптимизации.
9.6. Упражнение 2: Разноточная оптимизация с использованием нескольких низкоточных приближений.
Заключение.
Глава 10. Обучение на парных сравнениях с помощью оптимизации предпочтений.
10.1. Оптимизация «черного ящика» с помощью парных сравнений.
10.2. Формулировка задачи оптимизации предпочтений и форматирование данных парного сравнения.
10.3. Обучение ГП, основанного на предпочтениях.
10.4. Оптимизация предпочтений с помощью игры «Царь горы».
Заключение.
Глава 11. Оптимизация нескольких целевых функций одновременно.
11.1. Балансирование нескольких целей оптимизации с помощью БО.
11.2. Нахождение границы наиболее оптимальных точек данных.
11.3. Стремление к улучшению оптимальной границы данных.
11.4. Упражнение: Многоцелевая оптимизация для конструирования самолета.
Заключение.
ЧАСТЬ IV. СПЕЦИАЛЬНЫЕ МОДЕЛИ ГАУССОВСКОГО ПРОЦЕССА.
Глава 12. Масштабирование гауссовского процесса для больших наборов данных.
12.1. Обучение ГП на большом наборе данных.
12.1.1. Постановка задачи обучения.
12.1.2. Обучение обычного ГП.
12.1.3. Проблемы с обучением обычного ГП.
12.2. Автоматический выбор репрезентативных точек из большого набора данных.
12.2.1. Минимизация различий между двумя ГП.
12.2.2. Обучение модели небольшими пакетами.
12.2.3. Реализация приближенной модели.
12.3. Достижение лучшей оптимизации с учетом геометрии поверхности потерь.
12.4. Упражнение.
Заключение.
Глава 13. Комбинирование гауссовских процессов с нейросетями.
13.1. Данные, имеющие структуру.
13.2. Нахождение сходства в структурированных данных.
13.2.1. Использование ядра с GPyTorch.
13.2.2. Работа с изображениями в PyTorch.
13.2.3. Вычисление ковариации двух изображений.
13.2.4 Обучение ГП на изображениях.
13.3. Использование нейросетей для обработки сложных структурированных данных.
13.3.1 Зачем использовать нейросети для моделирования?.
13.3.2. Реализация комбинированной модели в GPyTorch.
Заключение.
ПРИЛОЖЕНИЕ. Решения для упражнений.
П.1. Глава 2: Гауссовский процесс как распределение по функциям.
П.2. Глава 3: Объединение предварительных знаний с функциями среднего и ковариации.
П.3. Глава 4: Достижение наилучшего результата с помощью политик, основанных на улучшениях.
П.3.1. Упражнение 1: Поощрение исследований с помощью вероятности улучшения.
П.3.2. Упражнение 2: БО для настройки гиперпараметров.
П.4. Глава 5: Исследование пространства поиска с помощью политик «многорукого бандита».
П.4.1. Упражнение 1: Настройка плана исследования для верхней доверительной границы.
П.4.2. Упражнение 2: БО для настройки гиперпараметров.
П.5. Глава 8: Использование теории информации с политиками, основанными на энтропии.
П.5.1. Упражнение 1: Включение предварительных знаний в энтропийный поиск.
П.5.2. Упражнение 2: БО для настройки гиперпараметров.
П.6. Глава 7: Увеличение пропускной способности с помощью пакетной оптимизации.
П.6.1. Упражнение 1: Расширение TS для пакетного режима с помощью повторной выборки.
П.6.2. Упражнение 2: Оптимизация конструкции самолета.
П.7. Глава 8: Удовлетворение дополнительных ограничений с помощью ограниченной оптимизации.
П.7.1. Упражнение 1: Ручное вычисление ограниченной политики EI.
П.7.2. Упражнение 2: Ограниченная оптимизация конструкции самолета.
П.8. Глава 9: Баланс между полезностью и затратами с помощью разноточной оптимизации.
П.8.1. Упражнение 1: Визуализация средней производительности при разноточной оптимизации.
П.8.2. Упражнение 2: Разноточная оптимизация с использованием нескольких низкоточных приближений.
П.9. Глава 11: Оптимизация нескольких целевых функций одновременно.
П.10. Глава 12: Масштабирование гауссовских процессов на большие наборы данных.
Предметный указатель.



Бесплатно скачать электронную книгу в удобном формате, смотреть и читать:
Скачать книгу Байесовская оптимизация с примерами из библиотек Python, Нгуен К., 2024 - fileskachat.com, быстрое и бесплатное скачивание.

Скачать pdf
Ниже можно купить эту книгу, если она есть в продаже, и похожие книги по лучшей цене со скидкой с доставкой по всей России.Купить книги


Скачать - pdf - Яндекс.Диск.




Теги: учебник по программированию :: программирование :: Нгуен