AdaBoost

AdaBoost ("Adaptive Boosting") är en metaalgoritm för maskininlärning där utsignalen från den svaga inlärningsalgoritmen kombineras med en viktad summa som representerar den stärkta klassificeraren. Algoritmen formulerades av Yoav Freund and Robert Schapire och var då den första praktiska tillämpningen av boosting.

Problem i maskininlärning lider ofta av att antalet särdrag som används för att träna klassificeraren blir ofantligt många vilket påverkar tiden det tar att träna klassificeraren och i förlängningen prestandan hos klassificeraren.

Idén med "boosting" (eller att stärka) är att upprepade gånger tillämpa en svag inlärningsalgoritm på olika fördelningar av träningsdata och att aggregera de enskilda klassificerare till en enda övergripande klassificerare. Efter varje iteration förändras fördelningen av träningsinstanser utifrån felet nuvarande klassificerare uppvisar mot träningsmängden. Genom att endast använda de särdrag som förbättrar prestandan i klassificeraren förbättras exekveringstiden eftersom irrelevanta särdrag inte behöver beräknas.