Today: Tuesday 22 June 2021 , 7:15 pm


advertisment
search




AdaBoost

Последнее обновление 11 День , 22 час 2 Взгляды

Advertisement
In this page talks about ( AdaBoost ) It was sent to us on 10/06/2021 and was presented on 10/06/2021 and the last update on this page on 10/06/2021

Твой комментарий


Введите код
  AdaBoost (сокращение от Adaptive Boosting) — алгоритм машинного обучения, предложенный и . Этот алгоритм может использоваться в сочетании с несколькими алгоритмами классификации для улучшения их эффективности.
Алгоритм усиливает классификаторы, объединяя их в «комитет». AdaBoost является адаптивным в том смысле, что каждый следующий комитет классификаторов строится по объектам, неверно классифицированным предыдущими комитетами. AdaBoost чувствителен к шуму в данных и выбросам. Однако он менее подвержен переобучению по сравнению с другими алгоритмами машинного обучения.
AdaBoost вызывает слабые классификаторы в цикле t = 1,\ldots,T. После каждого вызова обновляется распределение весов D_{t, которые отвечают важности каждого из объектов обучающего множества для классификации. На каждой итерации веса каждого неверно классифицированного объекта возрастают, таким образом новый комитет классификаторов «фокусирует своё внимание» на этих объектах.

Алгоритм для задачи построения бинарного классификатора

Дано: (x_{1,y_{1),\ldots,(x_{m,y_{m) где x_{i \in X,\, y_{i \in Y = \{-1, +1\
Инициализируем D_{1(i) = \frac{1{m, i=1,\ldots,m.
Для каждого t = 1,\ldots,T:
  • Находим классификатор h_{t : X \to \{-1,+1\ который минимизирует взвешенную ошибку классификации: h_{t = \arg \min_{h_{j \in \mathcal{H \epsilon_{j, где \epsilon_{j = \sum_{i=1^{m D_{t(i)y_i \ne h_{j(x_{i)
  • Если величина \epsilon_{t \geqslant 0.5, то останавливаемся.
  • Выбираем \alpha_{t \in \mathbf{R, обычно \alpha_{t=\frac{1{2\textrm{ln\frac{1-\epsilon_{t{\epsilon_{t где \epsilon_{t взвешенная ошибка классификатора h_{t.
  • Обновляем:
D_{t+1(i) = \frac{ D_{t(i) \, e^{- \alpha_{t y_{i h_{t(x_{i) { Z_{t
где Z_{t является нормализующим параметром (выбранным так, чтобы D_{t+1 являлось распределением вероятностей, то есть \sum_{i=1^{m D_{t+1(i) = 1).
Строим результирующий классификатор:
H(x) = \textrm{sign\left( \sum_{t=1^{T \alpha_{th_{t(x)\right)
Выражение для обновления распределения D_{t должно быть сконструировано таким образом, чтобы выполнялось условие:
e^{- \alpha_{t y_{i h_{t(x_{i) \begin{cases 1, & y(i) \ne h_{t(x_{i) \end{cases
Таким образом, после выбора оптимального классификатора h_{t для распределения D_{t, объекты x_{i, которые классификатор h_{t идентифицирует корректно, имеют веса меньшие, чем те, которые идентифицируются некорректно. Следовательно, когда алгоритм тестирует классификаторы на распределении D_{t+1, он будет выбирать классификатор, который лучше идентифицирует объекты неверно распознаваемые предыдущим классификатором.

Ссылки

  • AdaBoost Презентация, посвящённая Adaboost.
  • A Short Introduction to Boosting Введение в Adaboost, Freund и Schapire, 1999
  • A decision-theoretic generalization of on-line learning and an application to boosting Journal of Computer and System Sciences, no. 55. 1997 (Оригинальная работа Yoav Freund и Robert E.Schapire, где впервые был предложен Adaboost.)
  • An applet demonstrating AdaBoost
  • Ensemble Based Systems in Decision Making, R. Polikar, IEEE Circuits and Systems Magazine, vol.6, no.3, pp. 21-45, 2006 Учебник, дающий общее представление об AdaBoost, включая псевдокод, схемы алгоритмов, вопросы реализации и других алгоритмах распознавания образов.
  • A Matlab Implementation of AdaBoost
  • Additive logistic regression: a statistical view of boosting. Jerome Friedman, Trevor Hastie, Robert Tibshirani Обсуждаются вероятностные аспекты AdaBoost, описывается GentleBoost.
  • Boosting — Усиление простых классификаторов. Александр Вежневец, Владимир Вежневец. Компьютерная графика и мультимедиа. Выпуск № 2(12)/2006.

Категория:Алгоритмы классификации
Категория:Композиционное обучение
 
Комментарии

Пока нет комментариев




последний раз видели
большинство посещений