Машинное обучение, Основы, Николенко С., 2025

Машинное обучение, Основы, Николенко С., 2025.
     
   Машинное обучение давно уже стало синонимом искусственного интеллекта. Оно проникло во многие аспекты нашей жизни и стало одной из важнейших областей современной науки. Эта книга — путеводитель по ключевым идеям машинного обучения. Вы узнаете, как методы машинного обучения получаются из основных принципов теории вероятностей, пройдёте путь от теоремы Байеса до обобщенных линейных моделей и узнаете в лицо тех китов, на которых стоит весь современный искусственный интеллект. Множество увлекательных кейсов, практических примеров и интересных задач — от анализа ретроспективных научных исследований до эффекта «горячей руки» в баскетболе — помогут разобраться в самых сложных концепциях. Кроме того, книга может лечь в основу базовых курсов по машинному обучению.




Тест Тьюринга.
Современному читателю может показаться, что нейронные сети отправили многие подходы из «классического искусственного интеллекта» на пенсию. Отчасти это, конечно, так: некоторые подходы устаревают и заменяются другими, и иногда можно с уверенностью сказать, что время той или иной конкретной модели прошло и вряд ли вернётся. Однако вероятностные основы машинного обучения — это фундамент, который, пожалуй, не устареет никогда. Именно с этим фундаментом вы и познакомитесь в этой книге; но сначала давайте сделаем действительно исторический экскурс и обсудим, откуда пошёл искусственный интеллект как наука с конкретными приложениями, а не как предмет умозрительных рассуждений и как он развивался со временем.

Можно сказать, что первыми шагами в искусственный интеллект были ранние работы по математическому моделированию биологии мозга. В знаменитой работе [386], вышедшей ещё в 1943 году, Уоррен Маккаллох (Warren McCulloch) и Уолтер Питтс (Walter Pitts) пытались понять, как мозг может производить такие сложные образы, если он состоит из относительно просто устроенных нейронов. Можно сказать, что эта работа стала основанием коннекционизма: базовой идеи о том, что сложное поведение и высокоуровневые способности можно получить при помощи большой композиции простых объектов. Математическая модель нейрона, которая вводилась в статье [386], была вполне современной: это та же линейная комбинация входов, за которой следует нелинейная функция, разве что в те времена нелинейной функцией обычно служил порог активации, а не сигмоиды или ReLU (в этой книге мы до искусственных нейронных сетей не дойдём, но подозреваю, что многие читатели так или иначе об этом уже слышали). Сама же работа скорее относилась к математической логике и пыталась показать, что композициями таких нейронов можно реализовать широкий класс весьма сложных функций.

ОГЛАВЛЕНИЕ.
Предисловие.
Весна искусственного интеллекта.
Горький урок или повод для оптимизма?.
План книги: о чём пойдёт речь далее.
История книги и благодарности.
Глава 1. Что такое машинное обучение.
1.1 Искусственный интеллект от Адама до Франкенштейна.
1.1.1 Ранняя история.
1.1.2 Механические автоматы Средних веков и Нового времени.
1.1.3 Ранняя математическая логика.
1.2 AI как наука: тест Тьюринга и три волны хайпа.
1.2.1 Тест Тьюринга.
1.2.2 Дартмутский семинар и первая волна хайпа.
1.2.3 Машинный перевод и первая «зима искусственного интеллекта».
1.2.4 Обратное распространение ошибки и вторая волна хайпа.
1.3 Постановки задач искусственного интеллекта.
1.3.1 Классификация задач искусственного интеллекта.
1.3.2 Обучение с учителем: регрессия и классификация.
1.3.3 Обучение без учителя.
1.4 Области искусственного интеллекта: какие бывают данные.
1.4.1 Извлечение признаков в машинном обучении.
1.4.2 Оверфиттинг и разные части датасета.
1.4.3 Табличные данные.
1.4.4 Обработка последовательностей.
1.4.5 Обработка изображений и более сложных типов данных.
1.5 Как машинное обучение помогает другим наукам.
1.5.1 Физика и астрономия.
1.5.2 Математика.
1.5.3 Химия и биология.
1.5.4 Науки о Земле.
1.5.5 Социальные науки.
Глава 2. Основы байесовского вывода.
2.1 Основы теории вероятностей.
2.1.1 Введение: вероятностные пространства и распределения.
2.1.2 Случайные величины и совместные распределения.
2.1.3 Условные вероятности.
2.1.4 Независимость и условная независимость.
2.1.5 Моменты случайной величины: ожидание и дисперсия.
2.1.6 Как ещё можно ввести понятие вероятности.
2.2 Вероятности в машинном обучении: теорема Байеса.
2.2.1 Теорема Байеса в машинном обучении.
2.2.2 Медицинский тест с двусторонней ошибкой.
2.2.3 Разные виды ошибок и метрики качества классификации.
2.2.4 Задачи байесовского вывода.
2.3 Байес в суде и сложности вероятностной интуиции.
2.3.1 Вероятностная интуиция — точнее, её отсутствие.
2.3.2 Ошибка прокурора.
2.3.3 Ошибка адвоката.
2.3.4 Парадокс Монти Холла и когнитивные искажения.
2.4 Монетка и сопряжённые априорные распределения.
2.4.1 Монетка с точки зрения байесовского вывода.
2.4.2 Бета-распределения как апостериорные для монетки.
2.4.3 Предсказательное распределение и правило Лапласа.
2.4.4 Сопряжённые априорные распределения.
2.4.5 Игральные кости и распределения, добавляющие разреженность.
2.5 Case study: монетки, подброшенные «горячей рукой».
2.5.1 Разоблачение эффекта «горячей руки».
2.5.2 Разоблачение разоблачения эффекта «горячей руки».
2.5.3 Выводы.
2.6 Кризис воспроизводимости.
2.6.1 Кризис воспроизводимости в психологии и социальных науках.
2.6.2 Почему результаты не воспроизводятся: p-значения и p-хакинг.
2.6.3 Сад расходящихся тропок и парапсихология.
2.6.4 Модель Иоаннидиса.
2.6.5 Воспроизводимость в машинном обучении.
Глава 3. Теория вероятностей и оптимизация.
3.1 Важные дискретные распределения.
3.1.1 Равномерное, биномиальное и геометрическое распределения.
3.1.2 Биномиальное распределение Пуассона.
3.1.3 Распределение Пуассона и закон редких событий.
3.1.4 Отрицательное биномиальное, гипергеометрическое распределения.
3.1.5 Закон Ципфа.
3.2 Важные непрерывные распределения.
3.2.1 Непрерывное равномерное распределение.
3.2.2 Нормальное распределение.
3.2.3 Логнормальное распределение и распределение Стьюдента.
3.2.4 Гамма-распределение и экспоненциальное распределение.
3.3 Немецкие танки, датская камбала и биномиальные обезьяны.
3.3.1 Выборка без замещения и военная разведка.
3.3.2 Байесовский анализ и некорректные априорные распределения.
3.3.3 Как правильно ловить уток.
3.3.4 Пример Джейнса: урна с шарами и биномиальные обезьяны.
3.4 Энтропия, KL-дивергенция и полное незнание.
3.4.1 Энтропия как мера неопределённости.
3.4.2 Производные понятия: перекрёстная энтропия и KL-дивергенция.
3.4.3 KL-дивергенция в машинном обучении.
3.4.4 Информация Фишера и принцип максимума энтропии.
3.4.5 Априорные распределения Джеффриса.
3.5 Оптимизация в машинном обучении.
3.5.1 Машинное обучение и невыпуклая оптимизация.
3.5.2 Анализ градиентного спуска: проблемы с масштабом.
3.5.3 Стохастический градиентный спуск.
3.5.4 Свойства стохастического градиентного спуска.
Глава 4. Линейная регрессия.
4.1 История вопроса и метод наименьших квадратов.
4.1.1 История вопроса: почему «регрессия»?.
4.1.2 Метод наименьших квадратов.
4.1.3 Коэффициент детерминации.
4.1.4 Функции признаков в линейной регрессии.
4.1.5 Локальные признаки.
4.2 Оверфиттинг и регуляризация.
4.2.1 Оверфиттинг в регрессии с полиномиальными признаками.
4.2.2 Гребневая регрессия.
4.2.3 Лассо-регрессия.
4.2.4 Геометрия регуляризации и другие её формы.
4.3 Вероятностная интерпретация линейной регрессии.
4.3.1 Правдоподобие линейной регрессии и гауссовский шум.
4.3.2 Все вероятностные предположения линейной регрессии.
4.3.3 Интерпретация коэффициентов: корреляция и причинность.
4.3.4 Вероятностная робастная регрессия: другие распределения шума.
4.3.5 Другая робастная регрессия: RANSAC и оценка Тейла — Сена.
4.4 Байесовский вывод в линейной регрессии.
4.4.1 Априорное и апостериорное распределения.
4.4.2 Пример байесовского вывода в линейной регрессии.
4.4.3 Предсказательное распределение.
4.4.4 Оценка Джеймса — Штейна.
4.5 Case study: линейная регрессия и коронавирус.
4.5.1 Постановка задачи.
4.5.2 Линейная регрессия на логарифмической шкале.
4.5.3 Обучаем функцию распределения гауссиана.
4.5.4 Анализ результатов и выводы.
Глава 5. Классификация.
5.1 Постановка задачи, геометрия и вероятности.
5.1.1 Геометрия классификации: разделяющие поверхности.
5.1.2 Геометрия классификации для нескольких классов.
5.1.3 Линейный дискриминант Фишера.
5.1.4 Порождающие модели для классификации: LDA и QDA.
5.2 Логистическая регрессия.
5.2.1 Как из линейной функции получить вероятности.
5.2.2 Максимизация правдоподобия.
5.2.3 Другие сигмоиды и пробит-регрессия.
5.3 Байесовский вывод в логистической регрессии.
5.3.1 Лапласовская аппроксимация.
5.3.2 Обобщённое нормальное распределение и формула Стирлинга.
5.3.3 Предсказательное распределение в логистической регрессии.
5.4 Ирисы Фишера.
5.4.1 Набор данных.
5.4.2 Предварительный анализ данных.
5.4.3 Сравнение классификаторов.
5.5 Общие замечания о классификаторах.
5.5.1 Несбалансированные классы и перевзвешенная ошибка.
5.5.2 Калибровка классификаторов.
5.5.3 Как изменить классификатор в новых условиях.
5.5.4 Проспективные и ретроспективные исследования.
5.6 Порождающие модели и наивный Байес.
5.6.1 Порождающие и дискриминирующие модели.
5.6.2 Вероятностные предположения наивного Байеса.
5.6.3 Правдоподобие и сравнение с логистической регрессией.
5.6.4 Пример классификации текстов.
Глава 6. Несколько важных сюжетов.
6.1 Ближайшие соседи и проклятие размерности.
6.1.1 Метод ближайших соседей.
6.1.2 В чём проблема с ближайшими соседями? Проклятие размерности.
6.1.3 Эффект кожуры апельсина.
6.2 Статистическая теория принятия решений.
6.2.1 Функция регрессии.
6.2.2 Анализ метода ближайших соседей.
6.2.3 Минимизация ожидаемой ошибки предсказания.
6.2.4 Разложение на смещение, дисперсию и шум.
6.3 Эквивалентные ядра и ядерные методы.
6.3.1 Другой взгляд на предсказания линейной регрессии.
6.3.2 Эквивалентное ядро в линейной регрессии.
6.3.3 Ядерные методы.
6.4 Case study: байесовский вывод для гауссиана.
6.4.1 Выводы для фиксированного среднего и фиксированной точности.
6.4.2 Вывод для среднего и точности одновременно.
6.4.3 Маргинализация апостериорного распределения.
6.4.4 Предсказательное распределение для гауссиана.
6.5 Оценки p (D): эмпирический Байес и сравнение моделей.
6.5.1 Маргинальное правдоподобие и подбор гиперпараметров.
6.5.2 Оценка p (D) как метод сравнения моделей.
6.5.3 Байесовский информационный критерий.
6.5.4 Информационные критерии Такеучи и Акаике.
6.6 Экспоненциальное семейство.
6.6.1 Определение и примеры.
6.6.2 Моменты достаточных статистик.
6.6.3 Максимизация правдоподобия.
6.6.4 Сопряжённые априорные и предсказательные распределения.
6.7 Обобщённые линейные модели.
6.7.1 Определение GLM.
6.7.2 Примеры и максимизация правдоподобия.
6.7.3 Пуассоновская регрессия.
6.7.4 Отрицательная биномиальная регрессия.
Заключение.
Литература.

Купить .





Теги: учебник по программированию :: программирование :: Николенко