Ын Анналин, Су Кеннет

Приложения

---

180
Приложения
Приложение A. Обзор алгоритмов 
обучения без учителя
Кластеризация методом 
k-средних
Метод главных компонент
Ассоциативные правила
Лувенский
мето
д
PageRan
k
Вход
Выход
Бинарные
значения
Непрерывные
значения
Узлы и ребра
Категории
Ассоциации
Ранги

---

Приложение В. Обзор алгоритмов обучения с учителем
181
Приложение В. Обзор алгоритмов 
обучения с учителем
Регрессионный анализ
Метод 
k-ближайших
соседей
Метод опорных векторов
Деревья решени
й
Случайные леса
Нейронные
сети
Прогнозировани
е
Анализ
Бинарные
переменные
Категориальные
переменные
Возможные
классы
Непрерывные
переменные
Нелинейные
отношения
Большое число
переменных
Быстрота
вычислений
Простота
использования
Результаты
Высокая
точность
Интер-
претируемость

---

182
Приложения
Приложение С. Список параметров 
настройки
Параметры настройки
Регрессионный 
анализ
• Параметр регуляризации
(для лассо или ридж-регрессии)
Метод k-ближайших 
соседей
• Число ближайших соседей
Метод опорных 
векторов
• Параметр стоимости
• Параметры ядра
• Параметр эластичности
Дерево решений
• Минимальный размер конечных узлов
• Максимальное число конечных узлов
• Максимальная глубина дерева
Случайные леса
• Все параметры деревьев решений
• Число деревьев
• Число переменных для выбора 
на каждой разбивке
Нейронные сети
• Число скрытых слоев
• Число нейронов в каждом слое
• Число итераций обучения
• Коэффициент скорости обучения
• Первоначальные веса

---

Приложение D. Другие метрики оценки
183
Приложение D. Другие метрики 
оценки
Метрики оценки различаются по тому, как они опреде-
ляют различные типы погрешностей прогнозирования 
и как штрафуют за них. В этом приложении представле-
но несколько наиболее типичных метрик в дополнение 
к рассмотренным в разделе 1.4.
Метрики классификации
Площадь под ROC-кривой, AUROC. AUROC (Area 
Under the Receiver Operating Characteristic Curve) — это 
метрика, позволяющая выбирать между максимизацией 
доли истинно положительных результатов и минимиза-
цией доли ложноотрицательных результатов.

Доля истинно положительных результатов (TPR) — 
это доля правильно определенных положительных 
результатов среди всех положительных:
TPR = TP / (TP + FN).

Доля ложноположительных результатов (FPR) — 
это доля неправильно определенных отрицательных 
результатов среди всех отрицательных:
FPR = FP / (FP + TN).
В самом крайнем случае можно пойти по пути максимиза-
ции доли истинно положительных результатов (TPR = 1), 
определяя все значения как положительные. Хотя это 

---

184
Приложения
полностью убирает ложноотрицательные результаты, 
это также значительно увеличивает число ложнополо-
жительных. Другими словами, необходимо равновесие 
между минимизацией ложноположительных и максими-
зации истинно положительных результатов.
Этот баланс может быть визуализирован на ROC-кривой 
(рис. 1).
Доля ложноположительных (FPR), %
Доля истинно положительных (TPR), 
%
Рис. 1. ROC-кривая показывает баланс между максимизацией 
истинно положительных и минимизацией ложноположительных 
результатов
Эффективность модели оценивается с помощью площа-
ди, охватываемой ROC-кривой, поэтому метрика и на-

---

Приложение D. Другие метрики оценки
185
зывается площадью под кривой ошибок (AUC). Чем точнее 
модель, тем ближе кривая к верхней левой границе гра-
фика. Идеальная модель продемонстрировала бы кривую 
при AUC = 1, что эквивалентно всей площади графика. 
В противоположность ей эффективность модели со слу-
чайным прогнозом была бы представлена диагональной 
пунктирной линией при AUC = 0,5.
На практике мы можем определить лучшую модель по 
тому, что она захватывает большую площадь AUC, а ее 
ROC-кривая использовалась бы для того, чтобы опре-
делить подходящий порог TPR и FPR, с которыми мы 
готовы смириться.
Теперь, когда ROC-кривая позволила нам выбрать тип 
ошибки, которого мы больше всего хотим избежать, 
можно применить штрафы ко всем ошибочным пред-
сказаниям с использованием такой метрики, как лога-
рифмическая функция потерь (logarithmic loss metric).