Вероятностное машинное обучение, Дополнительные темы, Основания, Вывод, Мэрфи К.П., 2024.
Дополняя ранее изданную книгу «Вероятностное машинное обучение. Введение», этот классический труд знакомит читателя с деталями самых актуальных теорий и методов машинного обучения (МО).
В «Дополнительных темах» излагаются различные вопросы машинного обучения на более глубоком уровне. Рассмотрено обучение и тестирование при различных распределениях, порождение многомерных выходов, таких как изображения, текст и графы.
Во второй книге описано применение байесовского вывода к вероятностным моделям, начиная с основ и заканчивая алгоритмами вывода.
Издание предназначено специалистам в области МО и искусственного интеллекта, а также будет полезно студентам профильных специальностей. Предполагается, что читатель знаком с МО и другими математическими дисциплинами (теорией вероятностей, статистикой, линейной алгеброй).
Проблема разреженных данных.
Пытаясь обучить n-граммные модели для больших n, мы сразу же сталкиваемся с проблемой переобучения из-за разреженности данных. Проблема в том, что многие счетчики N будут равны 0, потому что теперь j индексирует дискретные контексты размера Кn-1, которые встречаются все реже и реже. Даже для биграммных моделей (n = 2) могут возникать проблемы при больших К. Например, если в нашем словаре имеется К ~ 50 000 слов, то в биграммной модели будет приблизительно 2,5 млрд свободных параметров, что соответствует всем возможным парам слов. Крайне маловероятно, что мы встретим все эти пары в обучающих данных. Однако мы не хотим предсказывать, что некоторое слово абсолютно невозможно, только потому, что мы не встретили его в обучающем тексте - это было бы крайней формой переобучения.
Лобовое решение этой проблемы - собирать все больше и больше данных. Например, Google обучила n-граммные модели (для n = 1:5) на базе триллиона слов, взятых из веба. Полученные ими данные, занимающие в несжатом виде свыше 100 ГБ, общедоступны. Хотя такой подход может давать на удивление хорошие результаты (как обсуждается в работе [HNP09]), он все же неудовлетворителен, потому что люди способны выучить язык, имея гораздо меньше данных (см., например, [TX00]).
ОГЛАВЛЕНИЕ.
Предисловие от издательства.
Предисловие.
Соавторы.
Прочие соавторы.
Об обложке.
Глава 1. Введение.
ЧАСТЬ I. ОСНОВАНИЯ.
Глава 2. Вероятность.
Глава 3. Статистика.
Глава 4. Графовые модели.
Глава 5. Теория информации.
Глава 6. Оптимизация.
ЧАСТЬ II. ВЫВОД.
Глава 7. Алгоритмы вывода: общий обзор.
Глава 8. Гауссова фильтрация и сглаживание.
Глава 9. Алгоритмы передачи сообщений.
Глава 10. Вариационный вывод.
Глава 11. Методы Монте-Карло.
Глава 12. Метод Монте-Карло по схеме марковской цепи.
Глава 13. Последовательный метод Монте-Карло.
Библиография.
Предметный указатель.
Купить .
Дата публикации:
Теги: учебник по информатике :: информатика :: компьютеры :: Мэрфи
Смотрите также учебники, книги и учебные материалы:
Предыдущие статьи:
