الگوریتم Boosting چیست؟ آشنایی با AdaBoost، Gradient Boosting و XGBoost

الگوریتم Boosting یکی از مهم‌ترین روش‌های یادگیری ماشین برای ساخت مدل‌های قدرتمند از مجموعه‌ای از مدل‌های ساده‌تر است. ایده اصلی Boosting این است که به جای تکیه بر یک مدل پیچیده، چند یادگیرنده ضعیف (Weak Learner) را به‌صورت مرحله‌ای آموزش دهیم تا هر مدل جدید بخشی از خطاهای مدل‌های قبلی را اصلاح کند.

Boosting یک الگوریتم واحد نیست؛ بلکه یک خانواده از روش‌های Ensemble Learning است که الگوریتم‌هایی مانند AdaBoost، Gradient Boosting و XGBoost را شامل می‌شود. این روش‌ها در بسیاری از مسائل طبقه‌بندی و رگرسیون عملکرد بسیار خوبی دارند و به‌ویژه در مسائل داده‌های جدولی (Tabular Data) کاربرد گسترده‌ای پیدا کرده‌اند.

در این مقاله ابتدا مفهوم Boosting را به زبان ساده بررسی می‌کنیم، سپس با نحوه کار آن آشنا می‌شویم و تفاوت AdaBoost، Gradient Boosting و XGBoost را توضیح می‌دهیم.

Boosting چیست؟

Boosting یک روش Ensemble Learning است که چند مدل یادگیری ضعیف را به‌صورت متوالی آموزش می‌دهد و خروجی آن‌ها را برای ساخت یک مدل قوی‌تر ترکیب می‌کند.

منظور از یادگیرنده ضعیف مدلی است که به‌تنهایی عملکرد قابل قبولی دارد، اما برای حل کامل مسئله به اندازه کافی قدرتمند نیست. یکی از رایج‌ترین انتخاب‌ها برای Weak Learner در Boosting، درخت تصمیم کم‌عمق است.

برای درک ساده‌تر، تصور کنید می‌خواهیم ایمیل‌های Spam و Not Spam را تشخیص دهیم. یک درخت تصمیم ساده ممکن است بر اساس وجود لینک در ایمیل تصمیم بگیرد. مدل دیگری ممکن است تعداد کلمات خاص را بررسی کند و مدل بعدی ویژگی دیگری را در نظر بگیرد.

هیچ‌کدام از این مدل‌ها به‌تنهایی لزوماً عملکرد کاملی ندارند؛ اما اگر آن‌ها را به شکل مناسبی ترکیب کنیم، مجموعه این تصمیم‌های ساده می‌تواند یک مدل پیش‌بینی بسیار قدرتمند ایجاد کند.

ایده اصلی Boosting به زبان ساده

فرض کنید یک مدل ساده روی مجموعه‌ای از داده‌ها آموزش داده‌ایم. این مدل بعضی نمونه‌ها را درست و بعضی را اشتباه پیش‌بینی می‌کند.

در Boosting، به جای اینکه آموزش را از ابتدا با همان شرایط تکرار کنیم، روی نقاطی که مدل قبلی در آن‌ها مشکل داشته تمرکز بیشتری می‌کنیم. سپس یک مدل جدید آموزش می‌دهیم تا این خطاها را بهتر پوشش دهد.

این فرایند چندین بار تکرار می‌شود. در نهایت، مدل‌های ایجادشده با یکدیگر ترکیب می‌شوند و یک Ensemble Model قدرتمند تشکیل می‌دهند.

بنابراین می‌توان ایده Boosting را به شکل زیر خلاصه کرد:

1. یک مدل ساده آموزش داده می‌شود.
2. خطاهای مدل شناسایی می‌شوند.
3. مدل بعدی بیشتر روی بخش‌های دشوار تمرکز می‌کند.
4. این فرایند به‌صورت متوالی تکرار می‌شود.
5. خروجی مدل‌ها با یکدیگر ترکیب می‌شود.
6. مدل نهایی معمولاً عملکرد بهتری نسبت به هر یادگیرنده ضعیف به‌تنهایی دارد.

Boosting چگونه کار می‌کند؟

جزئیات دقیق فرایند به الگوریتم Boosting مورد استفاده بستگی دارد، اما ایده کلی را می‌توان با یک مثال ساده توضیح داد.

مرحله 1: شروع با یک مدل ساده

ابتدا یک Weak Learner روی داده‌های آموزشی ساخته می‌شود. برای مثال، می‌توان از یک درخت تصمیم کم‌عمق استفاده کرد.

مرحله 2: شناسایی خطاها

مدل روی داده‌های آموزشی پیش‌بینی انجام می‌دهد و نمونه‌هایی که به‌درستی پیش‌بینی نشده‌اند مشخص می‌شوند.

مرحله 3: تمرکز روی نقاط دشوار

در الگوریتم‌های مختلف Boosting این مرحله به شکل متفاوتی انجام می‌شود. برای مثال، در AdaBoost وزن نمونه‌های اشتباه افزایش پیدا می‌کند؛ در حالی که Gradient Boosting تلاش می‌کند مدل بعدی را در جهت کاهش تابع خطا (Loss Function) آموزش دهد.

مرحله 4: آموزش مدل بعدی

یک Weak Learner جدید ساخته می‌شود که تلاش می‌کند نقاطی را که مدل‌های قبلی در آن‌ها عملکرد ضعیف‌تری داشته‌اند بهتر پوشش دهد.

مرحله 5: تکرار فرایند

این روند برای تعداد مشخصی از مراحل یا تا رسیدن به معیار توقف مناسب ادامه پیدا می‌کند.

مرحله 6: ترکیب مدل‌ها

در پایان، خروجی مدل‌های مختلف با وزن‌ها یا ساختار مشخصی ترکیب می‌شود تا مدل نهایی ساخته شود.

چرا از Weak Learner استفاده می‌کنیم؟

یکی از نکات مهم در Boosting این است که مدل‌های پایه الزاماً نباید بسیار پیچیده باشند. در بسیاری از پیاده‌سازی‌های Boosting، از درخت‌های تصمیم کم‌عمق به عنوان مدل پایه استفاده می‌شود.

هر درخت به‌تنهایی ممکن است نتواند مسئله را به خوبی حل کند، اما مجموعه‌ای از درخت‌های کوچک که به‌صورت هدفمند و متوالی ساخته شده‌اند، می‌توانند مرزهای تصمیم بسیار پیچیده‌ای ایجاد کنند.

این موضوع یکی از دلایل اصلی قدرت مدل‌های Boosting در مسائل داده‌های جدولی است.

انواع الگوریتم Boosting

Boosting یک الگوریتم خاص نیست و خانواده‌ای از روش‌ها را شامل می‌شود. سه نام مهم که در یادگیری ماشین بسیار با آن‌ها روبه‌رو می‌شویم عبارت‌اند از:

• AdaBoost
• Gradient Boosting
• XGBoost

اگرچه ایده کلی آن‌ها مشابه است، اما نحوه تمرکز بر خطاها، ساخت مدل‌های بعدی و بهینه‌سازی در آن‌ها متفاوت است.

AdaBoost چیست؟

AdaBoost مخفف Adaptive Boosting است و یکی از الگوریتم‌های کلاسیک Boosting محسوب می‌شود.

ایده اصلی AdaBoost این است که نمونه‌های آموزشی دارای وزن هستند. در ابتدا وزن نمونه‌ها معمولاً یکسان در نظر گرفته می‌شود. پس از آموزش یک مدل، نمونه‌هایی که اشتباه طبقه‌بندی شده‌اند وزن بیشتری دریافت می‌کنند تا مدل بعدی توجه بیشتری به آن‌ها داشته باشد.

به این ترتیب، مدل‌های بعدی بیشتر با نمونه‌هایی مواجه می‌شوند که برای مدل‌های قبلی دشوار بوده‌اند.

برای مثال فرض کنید یک درخت تصمیم ساده سه نمونه را اشتباه طبقه‌بندی کرده است. AdaBoost وزن این نمونه‌ها را افزایش می‌دهد تا مدل بعدی بیشتر روی آن‌ها تمرکز کند.

این فرایند ادامه پیدا می‌کند و در پایان، پیش‌بینی مدل‌های مختلف با وزن‌های متفاوت ترکیب می‌شود.

نکته مهم درباره AdaBoost

اگرچه AdaBoost در ابتدا بیشتر برای مسائل طبقه‌بندی شناخته شد، نسخه‌هایی از آن برای رگرسیون نیز وجود دارد. بنابراین کاربرد AdaBoost فقط به Classification محدود نمی‌شود.

Gradient Boosting چیست؟

Gradient Boosting یکی دیگر از خانواده‌های مهم Boosting است که به جای تمرکز مستقیم بر افزایش وزن نمونه‌ها، مدل‌های جدید را در جهت کاهش خطای مدل فعلی آموزش می‌دهد.

در این روش، مدل‌ها به‌صورت متوالی ساخته می‌شوند و هر مدل جدید تلاش می‌کند بخشی از خطای باقی‌مانده مدل‌های قبلی را کاهش دهد.

درخت تصمیم یکی از رایج‌ترین مدل‌های پایه در Gradient Boosting است و به همین دلیل اصطلاح Gradient Boosted Decision Trees یا GBDT را نیز زیاد مشاهده می‌کنیم.

یکی از مفاهیم کلیدی در این روش Gradient Descent است. الگوریتم تلاش می‌کند با حرکت در جهت مناسب، مقدار تابع Loss را کاهش دهد.

درک ریاضی Gradient Boosting برای استفاده حرفه‌ای از آن اهمیت دارد، اما در سطح مفهومی کافی است بدانیم که هر مرحله تلاش می‌کند خطای باقی‌مانده مراحل قبل را کاهش دهد.

XGBoost چیست؟

XGBoost مخفف Extreme Gradient Boosting است و یکی از پیاده‌سازی‌های بسیار شناخته‌شده و بهینه‌شده خانواده Gradient Boosting محسوب می‌شود.

XGBoost ایده Gradient Boosting را با مجموعه‌ای از بهینه‌سازی‌های الگوریتمی و مهندسی ترکیب می‌کند تا آموزش مدل سریع‌تر، کنترل‌پذیرتر و مناسب‌تر برای مسائل بزرگ‌تر شود.

از ویژگی‌های مهم XGBoost می‌توان به موارد زیر اشاره کرد:

• استفاده از روش‌های منظم‌سازی برای کنترل پیچیدگی مدل
• پشتیبانی از پردازش موازی در بخش‌هایی از فرایند آموزش درخت‌ها
• مدیریت مناسب داده‌های جدولی
• پشتیبانی از مقادیر گمشده در فرایند آموزش
• امکان کنترل دقیق پارامترهای مدل
• عملکرد بسیار خوب در بسیاری از مسائل Classification و Regression

در عمل، XGBoost یکی از گزینه‌های مهم برای مسائل Tabular Data است؛ به‌خصوص زمانی که داده‌ها در قالب ردیف‌ها و ستون‌های ساختاریافته قرار دارند.

تفاوت AdaBoost، Gradient Boosting و XGBoost

بنابراین نباید XGBoost را کاملاً جدا از Gradient Boosting در نظر گرفت. XGBoost یک پیاده‌سازی بهینه‌شده از ایده Gradient Boosting است و تفاوت‌های فنی متعددی در نحوه ساخت درخت‌ها، منظم‌سازی، مدیریت داده و اجرای الگوریتم دارد.

Boosting در چه مسائلی استفاده می‌شود؟

Boosting می‌تواند برای مسائل مختلف یادگیری ماشین استفاده شود، اما یکی از نقاط قوت اصلی آن در داده‌های ساختاریافته و جدولی است.

Classification

در مسائل طبقه‌بندی می‌توان از مدل‌های Boosting برای پیش‌بینی کلاس نمونه‌ها استفاده کرد. تشخیص تقلب، پیش‌بینی ریزش مشتری و تشخیص برخی تراکنش‌های مشکوک نمونه‌هایی از این مسائل هستند.

Regression

در مسائل رگرسیون، مدل تلاش می‌کند یک مقدار عددی را پیش‌بینی کند؛ مانند پیش‌بینی قیمت، میزان فروش یا مقدار تقاضا.

Risk Prediction

در بسیاری از سیستم‌های تصمیم‌گیری می‌توان از Boosting برای تخمین ریسک استفاده کرد؛ برای مثال تخمین احتمال عدم پرداخت یا احتمال ریزش مشتری.

Ranking

برخی روش‌های Boosting برای مسائل رتبه‌بندی نیز استفاده می‌شوند. این کاربرد به‌خصوص در سیستم‌های جست‌وجو و Recommendation اهمیت دارد.

یک مثال ساده از Boosting

فرض کنید یک فروشگاه اینترنتی می‌خواهد پیش‌بینی کند آیا یک مشتری در ماه آینده خرید خواهد کرد یا خیر.

مدل اول ممکن است فقط چند ویژگی مانند تعداد خریدهای قبلی و مبلغ خرید را بررسی کند. این مدل برخی مشتریان را درست و برخی را اشتباه پیش‌بینی می‌کند.

در مرحله بعد، مدل جدید تلاش می‌کند نقاط ضعف مدل قبلی را بهتر پوشش دهد. سپس مدل سوم نیز بر اساس خطاهای باقی‌مانده ساخته می‌شود.

در پایان، به جای استفاده از یک درخت تصمیم، مجموعه‌ای از درخت‌ها با یکدیگر ترکیب می‌شوند.

نکته مهم این است که مدل نهایی صرفاً «رأی اکثریت» ساده چند مدل مستقل نیست. در Boosting، مدل‌ها به‌صورت وابسته و متوالی ساخته می‌شوند و مدل‌های بعدی تحت تأثیر خطا یا Loss باقی‌مانده مراحل قبل قرار دارند.

تفاوت Boosting و Bagging

درک این تفاوت برای فهم خانواده الگوریتم‌های Ensemble بسیار مهم است. در Boosting، قدرت مدل از یادگیری متوالی و اصلاح خطاها ایجاد می‌شود؛ در حالی که در Bagging، ایده اصلی ترکیب مدل‌هایی است که معمولاً به شکل مستقل آموزش داده شده‌اند.

مزایای الگوریتم Boosting

• قدرت پیش‌بینی بالا: ترکیب چند مدل ضعیف می‌تواند یک مدل قدرتمند ایجاد کند.
• عملکرد مناسب روی داده‌های جدولی: الگوریتم‌های خانواده Boosting در بسیاری از مسائل Tabular Data عملکرد بسیار خوبی دارند.
• قابلیت استفاده برای Classification و Regression: نسخه‌ها و پیاده‌سازی‌های مختلف Boosting برای هر دو نوع مسئله وجود دارند.
• مدیریت روابط پیچیده: مدل‌های درختی Boosting می‌توانند روابط غیرخطی میان ویژگی‌ها را یاد بگیرند.
• امکان کنترل پیچیدگی: پارامترهایی مانند تعداد درخت‌ها، عمق درخت و Learning Rate می‌توانند برای کنترل مدل تنظیم شوند.
• اهمیت ویژگی‌ها: بسیاری از پیاده‌سازی‌های Boosting ابزارهایی برای بررسی اهمیت ویژگی‌ها در اختیار قرار می‌دهند.

معایب و محدودیت‌های Boosting

• حساسیت به تنظیم پارامترها: پارامترهایی مانند Learning Rate، تعداد درخت‌ها و عمق درخت‌ها تأثیر زیادی بر عملکرد مدل دارند.
• خطر Overfitting: اگر مدل بیش از حد پیچیده شود یا تعداد مراحل به‌درستی انتخاب نشود، احتمال بیش‌برازش وجود دارد.
• حساسیت به نویز: در برخی روش‌های Boosting، تمرکز مداوم بر نمونه‌های دشوار می‌تواند باعث توجه بیش از حد به داده‌های نویزی یا پرت شود.
• آموزش متوالی: وابستگی مراحل آموزش باعث می‌شود Boosting برخلاف بسیاری از روش‌های Bagging به‌سادگی کاملاً موازی نشود.
• تفسیر دشوارتر از یک درخت ساده: مدل نهایی ممکن است از تعداد زیادی درخت تشکیل شده باشد و توضیح تصمیم آن به سادگی یک Decision Tree منفرد نباشد.

پارامترهای مهم در مدل‌های Boosting

برای استفاده عملی از الگوریتم‌های Boosting باید با پارامترهای اصلی آن‌ها آشنا باشید. چند مورد از مهم‌ترین پارامترها عبارت‌اند از:

Learning Rate

Learning Rate مشخص می‌کند هر مدل جدید چه میزان در مدل نهایی اثر داشته باشد. معمولاً کاهش Learning Rate و افزایش تعداد مدل‌ها می‌تواند به کنترل بهتر فرایند یادگیری کمک کند، البته به قیمت افزایش زمان آموزش.

Number of Estimators

این پارامتر تعداد مدل‌های پایه، مانند تعداد درخت‌ها، را مشخص می‌کند. افزایش بیش از حد آن می‌تواند در برخی شرایط باعث افزایش زمان آموزش و حتی Overfitting شود.

Maximum Depth

در مدل‌های درختی، عمق درخت میزان پیچیدگی هر Weak Learner را کنترل می‌کند. درخت‌های بسیار عمیق ممکن است بیش از حد روی داده‌های آموزشی تمرکز کنند.

Regularization

روش‌های منظم‌سازی به کنترل پیچیدگی مدل کمک می‌کنند و در الگوریتم‌هایی مانند XGBoost نقش مهمی در کاهش Overfitting دارند.

Boosting با چه ابزارهایی پیاده‌سازی می‌شود؟

برای استفاده از الگوریتم‌های Boosting می‌توان از کتابخانه‌های مختلف Python استفاده کرد.

• scikit-learn: شامل پیاده‌سازی‌هایی مانند AdaBoost و Gradient Boosting است.
• XGBoost: یکی از شناخته‌شده‌ترین کتابخانه‌ها برای Gradient Boosted Trees.
• LightGBM: یک پیاده‌سازی سریع و بهینه از Gradient Boosting برای داده‌های جدولی.
• CatBoost: یک الگوریتم Boosting قدرتمند که به‌ویژه در کار با ویژگی‌های categorical نیز کاربرد زیادی دارد.

در پروژه واقعی، انتخاب میان این الگوریتم‌ها باید بر اساس نوع داده، حجم Dataset، زمان آموزش، نیازهای تفسیرپذیری و معیارهای ارزیابی انجام شود؛ نه صرفاً بر اساس اینکه کدام الگوریتم محبوب‌تر است.

آیا Boosting همان Machine Learning است؟

خیر. Boosting یک خانواده از روش‌های Ensemble Learning در یادگیری ماشین است، نه یک حوزه مستقل در کنار Machine Learning.

برای مثال، XGBoost یک الگوریتم یادگیری ماشین مبتنی بر Boosting است. بنابراین می‌توان Boosting را یکی از تکنیک‌هایی دانست که برای ساخت مدل‌های قدرتمندتر در Machine Learning استفاده می‌شود.

این الگوریتم‌ها معمولاً در کنار مفاهیمی مانند Classification، Regression، Feature Engineering و Model Evaluation مورد استفاده قرار می‌گیرند.

آیا Boosting برای همه مسائل بهترین انتخاب است؟

خیر. قدرت زیاد یک الگوریتم به معنی مناسب بودن آن برای تمام مسائل نیست.

Boosting به‌خصوص برای داده‌های جدولی بسیار قدرتمند است، اما اگر با داده‌های تصویری، صوتی یا متنی بسیار پیچیده سروکار داشته باشیم، ممکن است روش‌های Deep Learning انتخاب مناسب‌تری باشند.

همچنین در یک پروژه واقعی، قبل از انتخاب الگوریتم باید Baseline ساخته شود و مدل‌های مختلف بر اساس یک معیار ارزیابی مناسب مقایسه شوند.

مسیر یادگیری Boosting از کجا شروع می‌شود؟

برای یادگیری درست Boosting بهتر است ابتدا مفاهیم پایه یادگیری ماشین را یاد بگیرید و سپس به سراغ Ensemble Learning بروید.

1. مبانی Python
2. NumPy و pandas
3. مفاهیم پایه Machine Learning
4. Classification و Regression
5. Decision Tree
6. Overfitting و Underfitting
7. Model Evaluation
8. Ensemble Learning
9. Bagging و Random Forest
10. Boosting و AdaBoost
11. Gradient Boosting
12. XGBoost و سایر الگوریتم‌های Gradient Boosting
13. تنظیم Hyperparameterها و Cross-Validation

اگر هنوز با مفاهیم پایه یادگیری ماشین آشنا نیستید، بهتر است ابتدا از مقاله یادگیری ماشین شروع کنید و سپس به سراغ الگوریتم‌های Ensemble بروید.

سؤالات متداول درباره الگوریتم Boosting

الگوریتم Boosting چیست؟

Boosting یک روش Ensemble Learning است که با آموزش متوالی چند یادگیرنده ضعیف و ترکیب آن‌ها، یک مدل قدرتمندتر ایجاد می‌کند. مدل‌های بعدی معمولاً برای کاهش خطاهای مراحل قبلی آموزش داده می‌شوند.

مهم‌ترین الگوریتم‌های Boosting کدام‌اند؟

AdaBoost، Gradient Boosting و XGBoost از شناخته‌شده‌ترین الگوریتم‌های این خانواده هستند. LightGBM و CatBoost نیز از روش‌های مدرن و پرکاربرد Gradient Boosting محسوب می‌شوند.

تفاوت Boosting و Bagging چیست؟

در Boosting مدل‌ها معمولاً به‌صورت متوالی آموزش داده می‌شوند و مدل‌های بعدی از خطاهای مراحل قبل استفاده می‌کنند. در Bagging مدل‌ها معمولاً مستقل‌تر از یکدیگر آموزش داده می‌شوند و سپس خروجی آن‌ها ترکیب می‌شود.

آیا XGBoost همان Gradient Boosting است؟

XGBoost بر پایه ایده Gradient Boosting ساخته شده است، اما یک پیاده‌سازی بهینه و توسعه‌یافته با قابلیت‌ها و روش‌های منظم‌سازی و بهینه‌سازی مختلف است. بنابراین XGBoost را می‌توان یکی از پیاده‌سازی‌های قدرتمند Gradient Boosting دانست.

آیا Boosting برای Classification و Regression استفاده می‌شود؟

بله. بسته به الگوریتم و پیاده‌سازی مورد استفاده، روش‌های Boosting می‌توانند برای مسائل Classification و Regression و در برخی موارد برای Ranking نیز استفاده شوند.

آیا Boosting می‌تواند باعث Overfitting شود؟

بله. اگر تعداد مدل‌ها، عمق درخت‌ها یا سایر پارامترها به‌درستی تنظیم نشوند، Boosting نیز می‌تواند دچار Overfitting شود. استفاده از Validation، Cross-Validation، Regularization و تنظیم مناسب Hyperparameterها به کنترل این مشکل کمک می‌کند.

جمع‌بندی

Boosting یکی از مهم‌ترین روش‌های Ensemble Learning در یادگیری ماشین است که با ترکیب متوالی چند یادگیرنده ضعیف، یک مدل قدرتمند ایجاد می‌کند. ایده اصلی این است که هر مرحله نقاط ضعف مراحل قبلی را بهتر پوشش دهد و در نهایت خطای مدل کاهش پیدا کند.

AdaBoost با تغییر وزن نمونه‌ها روی نمونه‌های دشوار تمرکز می‌کند، Gradient Boosting مدل‌های جدید را در جهت کاهش تابع Loss می‌سازد و XGBoost یک پیاده‌سازی بهینه و قدرتمند از ایده Gradient Boosting است.

در بسیاری از مسائل داده‌های جدولی، مدل‌های Boosting می‌توانند عملکرد بسیار خوبی داشته باشند؛ اما انتخاب الگوریتم باید بر اساس نوع داده، مسئله، معیار ارزیابی، هزینه محاسباتی و نیازهای پروژه انجام شود.

در نهایت، هدف از یادگیری Boosting فقط شناخت نام AdaBoost یا XGBoost نیست؛ بلکه باید بتوانید تشخیص دهید چه زمانی Boosting انتخاب مناسبی است، چگونه مدل را ارزیابی کنید و چگونه آن را برای یک مسئله واقعی تنظیم کنید.