مقدمه
یادگیری تقویت کننده (RL) شاخه ای از هوش مصنوعی (AI) و یادگیری ماشین (ML) است که بر چگونگی اقدامات مأمورین باید در یک محیط برای به حداکثر رساندن پاداش های تجمعی اقدام کند. بر خلاف یادگیری تحت نظارت ، که در آن مدل ها از جفت های ورودی-خروجی برچسب می آموزند ، الگوریتم های یادگیری تقویت کننده از تجربه از طریق آزمایش و خطا از تجربه یاد می گیرند. این ویژگی منحصر به فرد باعث می شود RL به ویژه برای حل کارهای پیچیده تصمیم گیری ، از بازی بازی گرفته تا روباتیک و فراتر از آن ، قدرتمند باشد.
مفاهیم اصلی یادگیری تقویت
در قلب یادگیری تقویت چندین مفهوم کلیدی وجود دارد:
- نماینده: یادگیرنده یا تصمیم گیرنده ، که با محیط تعامل دارد.
- محیط: سیستم خارجی که عامل با آنها ، متشکل از حالت ها ، اقدامات و پاداش ها در تعامل است.
- حالت: نمایندگی از وضعیت فعلی محیطی که عامل در آن فعالیت می کند.
- عمل: انتخابی که توسط نماینده انجام شده است که بر وضعیت محیط زیست تأثیر می گذارد.
- پاداش: سیگنال دریافت شده توسط نماینده پس از اقدام ، ارائه بازخورد در مورد اثربخشی آن عمل.
این مؤلفه ها حلقه ای را تشکیل می دهند که عامل در آن حالت را مشاهده می کند ، اقدامی انجام می دهد ، پاداش می گیرد و به حالت جدید انتقال می یابد – این فرایند به عنوان فرایند تصمیم گیری مارکوف (MDP) شناخته می شود.
انواع الگوریتم های یادگیری تقویت
الگوریتم های یادگیری تقویت می توانند به طور گسترده ای به سه نوع طبقه بندی شوند: روشهای مبتنی بر ارزش ، مبتنی بر سیاست و بازیگر-انتقادی.
1. روش های مبتنی بر ارزش
روشهای مبتنی بر ارزش بر برآورد تابع ارزش، که پاداش تجمعی مورد انتظار را از یک جفت حالت خاص یا دولت پیش بینی می کند. دو الگوریتم مبتنی بر ارزش محبوب عبارتند از:
- q-learning: یک الگوریتم خارج از سیاست که کیفیت (مقدار Q) اقدامات را در یک حالت معین می آموزد ، به نماینده این امکان را می دهد تا عملی را انتخاب کند که پاداش مورد انتظار را به حداکثر برساند.
- سارسا (دولت-عمل-پاداش-اقدام): یک الگوریتم در سیاست که عملکرد ارزش عمل را بر اساس عملی که در واقع توسط سیاست آموخته شده انجام می شود ، به روز می کند.
5. روش های مبتنی بر سیاست
روشهای مبتنی بر سیاست به طور مستقیم سیاستی را که نقشه ها را برای اقدامات ترسیم می کند ، می آموزند. این رویکرد اغلب منجر به یادگیری کارآمدتر در فضاهای عملی با ابعاد بالا می شود. نمونه های کلیدی شامل موارد زیر است:
- تقویت کردن: یک روش مونت کارلو که سیاست های خود را بر اساس پاداش های دریافت شده پس از قسمت های کامل به روز می کند ، با هدف به حداکثر رساندن پاداش های تجمعی.
- بهینه سازی سیاست پروگزیمال (PPO): یک رویکرد اخیر که سعی در بهبود ثبات و قابلیت اطمینان به روزرسانی های سیاست دارد و آن را در محیط های پیچیده محبوب می کند.
3. روش های بازیگر-انتقادی
روشهای انتقادی بازیگر رویکردهای مبتنی بر ارزش و سیاست را برای یادگیری کارآمد تر ترکیب می کنند. در بازیگر مسئول انتخاب اقدامات (خط مشی) است ، در حالی که منتقد اقدامات انتخاب شده (عملکرد ارزش) را ارزیابی می کند. این رویکرد دوگانه امکان همگرایی سریعتر و عملکرد بهتر در بسیاری از سناریوها را فراهم می کند. مثالهای قابل توجه عبارتند از:
- شیب سیاست قطعی عمیق (DDPG): یک الگوریتم برای دستیابی به فضاهای اکشن مداوم با استفاده از شبکه های عصبی عمیق.
- مزیت بازیگر-انتقاد (A2C): از عملکرد مزیت برای کاهش واریانس در برآورد شیب سیاست استفاده می کند.
برنامه های یادگیری تقویت
یادگیری تقویت کننده موفقیت چشمگیری در برنامه های مختلف در دنیای واقعی نشان داده است:
- بازی: RL از طریق الگوریتم هایی مانند Alphago و Dota 2 Bots به عملکرد فوق بشری در بازی هایی مانند Go ، Chess و Vext Games رسیده است.
- روباتیک: تکنیک های RL روبات ها را قادر می سازد تا وظایف پیچیده را بیاموزند ، از دستکاری شیء ساده گرفته تا ناوبری پیشرفته در محیط های پویا.
- مراقبت های بهداشتی: در پزشکی شخصی ، RL می تواند با تجزیه و تحلیل داده های بیمار و بازخورد به بهینه سازی برنامه های درمانی کمک کند.
- دارایی: RL در تجارت الگوریتمی به دست می آید ، جایی که می تواند از داده های تاریخی برای به حداکثر رساندن سود بیاموزد.
چالش های یادگیری تقویت
علیرغم پتانسیل آن ، چندین چالش کاربرد یادگیری تقویت را پیچیده می کند:
- کارایی نمونه: بسیاری از الگوریتم های RL به مقدار قابل توجهی از داده یا تعامل با محیط نیاز دارند و آنها را در سناریوهای دنیای واقعی ناکارآمد می کند.
- اکتشاف در مقابل بهره برداری: متعادل کردن نیاز به اکتشاف (کشف استراتژی های جدید) با بهره برداری (اعمال استراتژی های شناخته شده) یک معضل مهم در RL است.
- مقیاس پذیری: هرچه محیط پیچیده تر می شود ، مقیاس الگوریتم های RL برای رسیدگی به وضعیت بزرگ و فضاهای عمل به یک چالش تبدیل می شود.
پایان
یادگیری تقویت کننده نشان دهنده تغییر پارادایم در نحوه یادگیری ماشین ها برای تصمیم گیری است. RL با فعال کردن الگوریتم ها برای یادگیری از تجربه و سازگاری با محیط های پویا ، راه را برای پیشرفت های قابل توجه در حوزه های مختلف هموار می کند. از آنجا که تحقیقات همچنان به چالش های ذاتی می پردازد ، آینده یادگیری تقویت نوید برای برنامه های حتی پیشرفته تر که می تواند به بشریت در مقابله با مشکلات پیچیده کمک کند ، می دهد. سفر به کاوش در یادگیری تقویت شده تازه آغاز شده است و پتانسیل نوآوری بسیار زیاد است.