Конформное прогнозирование в Python, Манохин В., 2024

Конформное прогнозирование в Python, Манохин В., 2024.
    
   Данная книга предлагает углубленное изучение конформного прогнозирования — новейшего подхода, позволяющего получить количественную оценку неопределенности, необходимую для принятия уверенных и надежных решений в различных задачах машинного обучения. Вы познакомитесь с практическим применением этого подхода в таких задачах машинного обучения, как классификация, регрессия, прогнозирование временных рядов, компьютерное зрение и обработка естественного языка.
Издание предназначено специалистам по data science, ML-инженерам, ученым и всем, кто хочет улучшить свои навыки в области количественной оценки неопределенности в машинном обучении.
Для изучения материала понадобятся базовые знания в области машинного обучения и программирования на Python.




Понимание количественной оценки неопределенности.
Неопределенность является неотъемлемой частью любого прогнозирования, поскольку всегда есть факторы, которые неизвестны или трудно измерить. Прогнозы обычно делаются на основе неполных данных или моделей, которые не могут отразить всю сложность реального мира. В результате прогнозы подвержены влиянию различных источников неопределенности, включая случайность, смещение и ошибки модели.

Чтобы снизить риски, связанные с неопределенностью, очень важно получить ее точную количественную оценку. Получив количественную оценку неопределенности, мы можем оценить диапазон возможных результатов и степень уверенности в наших прогнозах. Эту информацию можно использовать для принятия обоснованных решений и определения областей, в которых необходимы дальнейшие исследования или сбор данных.

UQ - это область исследований, которая помогает нам оценить объем неизвестной информации, когда делаем прогнозы. UQ пытается оценить вероятность результатов, даже если некоторые аспекты исследуемой системы точно не известны.

ОГЛАВЛЕНИЕ.
Предисловие от издательства.
1 Введение в конформное прогнозирование.
Технические требования.
Введение в конформное прогнозирование.
Понимание мер конформности.
Истоки конформного прогнозирования.
Будущее конформного прогнозирования.
Отличия конформного прогнозирования от традиционного машинного обучения.
Роль p-значения в конформном прогнозировании.
Выводы.
2 Обзор возможностей конформного прогнозирования.
Понимание количественной оценки неопределенности.
Алеаторная неопределенность.
Эпистемическая неопределенность.
Различные способы количественной оценки неопределенности.
Количественная оценка неопределенности с помощью конформного прогнозирования.
Выводы.
3 Основы конформного прогнозирования.
Основы конформного прогнозирования.
Определение и принципы.
Основные компоненты конформного предиктора.
Типы мер неконформности.
Выводы.
4 Валидность и эффективность конформного прогнозирования.
Валидность вероятностных предикторов.
Калибровка классификатора.
Эффективность вероятностных предикторов.
Выводы.
5 Типы конформных предикторов.
Знакомство с классическими конформными предикторами.
Применение TCP для задач классификации.
Применение TCP для задач регрессии.
Преимущества.
Недостатки.
Знакомство с индуктивными конформными предикторами.
Выбор подходящего конформного предиктора.
Трансдуктивные конформные предикторы.
Индуктивные конформные предикторы.
Выводы.
6 Конформное прогнозирование для классификации.
Калибровка классификатора.
Основные понятия калибровки классификатора.
Оценка качества калибровки.
Различные подходы к калибровке классификаторов.
Биннинг на основе гистограммы (histogram binning).
Масштабирование по Платту (Platt scaling).
Изотоническая регрессия (isotonic regression).
Конформное прогнозирование для калибровки классификаторов.
Конформное прогнозирование Venn-ABERS.
Сравнение методов калибровки.
Инструменты конформного прогнозирования с открытым исходным кодом для задач классификации.
Nonconformist.
Выводы.
7 Конформное прогнозирование для регрессии.
Количественная оценка неопределенности для задач регрессии.
Понимание типов и источников неопределенности в регрессионном моделировании.
Концепция прогнозных интервалов.
Почему нам нужны прогнозные интервалы?.
Чем прогнозный интервал отличается от доверительного интервала?.
Конформное прогнозирование для задач регрессии.
Методы построения прогнозных интервалов.
1. Наивный метод.
2. Сплит-метод.
3. Конформализованная квантильная регрессия.
4. Метод jackknife.
5. Метод jackknife+.
6. Метод jackknife-minmax.
Конформные прогнозные распределения.
Выводы.
8 Конформное прогнозирование для временных рядов.
Количественная оценка неопределенности для временных рядов.
Важность количественной оценки неопределенности.
История методов количественной оценки неопределенности.
Ранние статистические методы – первые попытки количественной оценки неопределенности во временных рядах.
Современные подходы на основе машинного обучения.
Концепция прогнозного интервала для прогнозирования временных рядов.
Определение и построение.
Проблемы, возникающие при построении прогнозных интервалов.
Различные подходы к построению прогнозных интервалов.
Параметрические подходы.
Непараметрические методы.
Байесовские методы.
Методы машинного обучения.
Конформное прогнозирование.
Конформное прогнозирование для временных рядов.
Прогнозные интервалы на основе ансамблей и батчей (ensemble batch PIs – EnbPIs).
Конформное прогнозирование в NeuralProphet.
Конформное прогнозирование в Statsforecast.
Выводы.
9 Конформное прогнозирование для компьютерного зрения.
Количественная оценка неопределенности для компьютерного зрения.
Почему важна неопределенность?.
Типы неопределенности в компьютерном зрении.
Количественная оценка неопределенности.
Почему глубокое обучение выдает некалиброванные прогнозы?.
Период после 2012 года – бум глубокого обучения.
Кризис калибровки в глубоких нейронных сетях – поворотный момент, случившийся в 2017 году.
Сверхуверенность современных моделей глубокого обучения, применяемых в компьютерном зрении.
Конформное прогнозирование для компьютерного зрения.
Получение прогнозных множеств для классификаторов изображений с помощью конформного прогнозирования.
Создание классификаторов компьютерного зрения с использованием конформного прогнозирования.
Наивное конформное прогнозирование.
Адаптивные прогнозные множества (Adaptive Prediction Sets – APS).
Регуляризированные адаптивные прогнозные множества (Adaptive Prediction Sets – APS).
Выводы.
10 Конформное прогнозирование для обработки естественного языка.
Количественная оценка неопределенности для NLP.
Различные подходы к количественной оценке неопределенности в задачах NLP.
Байесовские подходы к количественной оценке неопределенности.
Бутстреп и ансамблевые методы.
Выявление данных, выходящих за пределы распределения (OOD detection).
Конформное прогнозирование для NLP.
Выводы.
11 Работа с несбалансированными наборами данных.
Знакомство с несбалансированными наборами данных.
Почему проблему несбалансированных данных сложно решать.
Методы решения проблемы несбалансированных данных.
Решение проблемы несбалансированных данных с помощью конформного прогнозирования.
Решение проблем несбалансированных данных с помощью предикторов Venn-ABERS.
Ключевые выводы из тетрадки по обнаружению мошенничества с кредитными картами.
Выводы.
12 Введение в конформное прогнозирование для многоклассовой классификации.
Задачи многоклассовой классификации.
Алгоритмы для многоклассовой классификации.
Стратегии «один против всех» и «один против одного».
Метрики для задач многоклассовой классификации.
Матрица ошибок (confusion matrix).
Точность (precision).
Полнота (Recall).
F1-оценка (F1-score).
Макро- и микроусредненные метрики.
Площадь под ROC-кривой (AUC-ROC).
Логистическая функция потерь и ее применение для оценки качества калибровки многоклассовых моделей.
Использование оценки Брайера для измерения качества калибровки.
Применение конформного прогнозирования для задач многоклассовой классификации.
Многоклассовая вероятностная классификация с использованием индуктивных предикторов и предикторов cross-Venn-ABERS.
Выводы.

Купить .





Теги: учебник по программированию :: программирование :: Манохин