یادگیری بی‌نظارت

یادگیری بی‌نظارت (خودران، خودسازمانده، یادگیری بی داده‌های برچسب‌دار) نوعی یادگیری ماشینی است که به دنبال الگوهای ناشناخته در یک دسته داده‌ی بی برچسب با کمترین راهنمایی آدم است.^[۱]^[۲]

یادگیری نظارت‌شده (supervised) که بیشتر زمان‌ها از داده‌های برچسب‌گذاری‌شده بهره می‌برد، ولی، یادگیری بی‌نظارت (خودسازمانده) امکان مدل‌سازی تراکم احتمال را نسبت به ورودی‌ها فراهم می‌کند. این یکی از سه دسته اصلی یادگیری ماشین است و در کنار آن می‌توان به یادگیری تقویتی و یادگیری تحت نظارت اشاره کرد. یادگیری نیمه‌نظارتی، یک نوع مرتبط از یادگیری است که از ترکیبی از تکنیک‌های نظارت شده و بدون نظارت استفاده می‌کند.^[۳]

دو روش اصلی که در یادگیری بدون نظارت استفاده می‌شود، تحلیل مولفه‌های اصلی و تحلیل مولفه‌های خوشه‌ای است. تجزیه و تحلیل خوشه‌ای در یادگیری بدون نظارت برای گروه‌بندی یا تقسیم‌بندی مجموعه داده‌ها با ویژگی‌های مشترک به منظور برون‌یابی روابط الگوریتمی استفاده می‌شود.^[۴] تجزیه و تحلیل خوشه‌ای شاخه‌ای از یادگیری ماشین است که داده‌هایی را که برچسب گذاری یا طبقه‌بندی نشده‌اند را گروه‌بندی می‌کند. تجزیه و تحلیل خوشه‌ای به جای پاسخ دادن به بازخورد، نقاط مشترک داده‌ها را شناسایی می‌کند و بر اساس وجود یا عدم وجود چنین اشتراکاتی در هر قطعه جدید از داده‌ها واکنش نشان می‌دهد. این روش کمک می‌کند تا نقاط داده‌های غیرعادی که در هر دو گروه نمی‌گنجد، شناسایی شود.

تنها لازمه‌ای که می‌توان آن را استراتژی یادگیری بدون نظارت نامید، یادگیری فضای جدیدی است که با به حداکثر رساندن برخی از عملکردهای هدف یا با به حداقل رساندن برخی از عملکردهای از دست رفته، ویژگی‌های فضای اصلی را به تصویر می‌کشد؛ بنابراین، تولید یک ماتریس کوواریانس یادگیری بدون نظارت نیست، اما در نظر گرفتن بردارهای ویژه ماتریس کوواریانس به این دلیل است که عملیات ترکیب جبر خطی، واریانس را به حداکثر می‌رساند. این به عنوان تجزیه و تحلیل مولفه‌های اصلی شناخته می‌شود.^[۵] به همین ترتیب، ورود به سیستم یک مجموعه داده یادگیری بدون نظارت نیست، اما انتقال داده‌های ورودی از طریق چندین توابع سیگموئید در حالی که برخی از عملکردهای فاصله را بین داده‌های تولید شده و حاصل از آن به حداقل می‌رساند، شناخته می‌شود و به عنوان خودرمزگذار شناخته می‌شود.

یک کاربرد اصلی یادگیری بدون نظارت در زمینه برآورد تراکم در آمار است، اگرچه یادگیری بدون نظارت بسیاری از حوزه‌های دیگر را شامل می‌شود که شامل جمع‌بندی و توضیح ویژگی‌های داده می‌باشد. این می‌تواند با یادگیری نظارت شده در تقابل باشد با گفتن اینکه یادگیری تحت نظارت قصد دارد یک توزیع احتمال مشروط را استنباط کند ${\textstyle p_{X}(x\,|\,y)}$ که مشروط به برچسب ${\textstyle y}$ از داده‌های ورودی می‌باشد. یادگیری بدون نظارت قصد دارد یک توزیع احتمالات پیشینی ${\textstyle p_{X}(x)}$ را استنتاج کند.

شبکه‌های خصمانه تولیدی را نیز می‌توان با یادگیری نظارت شده استفاده کرد، اگرچه می‌توان آنها را برای تکنیک‌های بدون نظارت و تقویت نیز به کار برد.^[۶]

رویکردها

برخی از متداول‌ترین الگوریتم‌های مورد استفاده در یادگیری بدون نظارت عبارتند از: (۱) خوشه بندی، (۲) تشخیص ناهنجاری، (۳) شبکه‌های عصبی، و (۴) رویکردهایی برای یادگیری مدل‌های متغیر پنهان. هر رویکرد از چندین روش به شرح زیر استفاده می‌کند:

خوشه بندی
- خوشه بندی سلسله مراتبی،
- خوشه‌بندی کی-میانگین^[۷]
- مدل‌های مخلوط
- DBSCAN
- الگوریتم OPTICS
تشخیص ناهنجاری
- عامل محلی دورریز
- جنگل انزوا
شبکه‌های عصبی
- رمزگذاران خودکار
- باورهای عمیق
- یادگیری Hebbian
- شبکه‌های خصمانه تولیدی
- نقشه خودسازمانده
رویکردهایی برای یادگیری مدلهای متغیر پنهان مانند
- الگوریتم انتظار - حداکثر (EM)
- روش لحظه‌ها
- تکنیک‌های جداسازی سیگنال کور

شبکه‌های عصبی

مثال کلاسیک برای یادگیری بی نظارت در مطالعه شبکه‌های عصبی، اصل دونالد هب است، یعنی نورونهایی که بهم متصل می‌شوند و با هم شلیک می‌شوند. در یادگیری Hebbian، صرف نظر از خطا، اتصال تقویت می‌شود، اما منحصراً تابعی از همزمانی بین پتانسیل‌های عمل بین دو نورون است.^[۸] نسخه مشابهی که وزن‌های سیناپسی را اصلاح می‌کند، زمان بین پتانسیل‌های عمل (پلاستیک وابسته به زمان سنبله یا STDP) را در نظر می‌گیرد. فرضیه یادگیری Hebbian این است که زیربنای طیف وسیعی از عملکردهای شناختی مانند شناخت الگو و یادگیری تجربی است.

در میان مدلهای شبکه عصبی، از نقشه خودسازمانده (SOM) و تئوری تشدید تطبیقی (ART) معمولاً در الگوریتمهای یادگیری بی نظارت استفاده می‌شود. SOM سازمانی توپوگرافی است که در آن مکانهای نزدیک به نقشه ورودیهای دارای خصوصیات مشابه را نشان می‌دهد. مدل ART به تعداد خوشه‌ها اجازه می‌دهد تا با اندازه مسئله متفاوت باشند و به کاربر اجازه می‌دهد با یک ثابت تعریف شده توسط کاربر به نام پارامتر هوشیاری، میزان شباهت بین اعضای همان خوشه‌ها را کنترل کند. شبکه‌های ART برای بسیاری از وظایف تشخیص الگو مانند شناسایی خودکار هدف و پردازش سیگنال لرزه‌ای استفاده می‌شود.^[۹]

روش گشتاورها

یکی از رویکردهای آماری برای یادگیری خودران، روش گشتاورها است. در این روش پارامترهای ناشناختهٔ مدنظر در مدل، به گشتاورهای یک یا چند متغیر تصادفی وابسته‌اند و به این ترتیب می‌توان آن‌ها را با داشتن این گشتاورها تخمین زد. گشتاورها معمولاً با استفاده از نمونه و به صورت تجربی تخمین زده می‌شوند.

گشتاورهای پایه‌ای، گشتاورهای مرتبه اول و دوم هستند. برای یک بردار تصادفی، گشتاور مرتبه اول بردار میانگین و گشتاور مرتبه دوم، در حالتی که میانگین صفر باشد، ماتریس کوواریانس است. گشتاورهای با مرتبه‌های بالاتر به‌طور معمول با تنسورها نمایش داده می‌شوند که در واقع آرایه‌های چند بعدی و تعمیمی از ماتریس‌ها برای مرتبه‌های بالاتر هستند.

روش گشتاورها به‌طور خاص در یادگیری پارامترهای مدل‌هایی با متغیر پنهان به خوبی عمل می‌کند.^[۱۰] این مدل‌ها، مدل‌های آماری‌ای هستند که علاوه بر متغیرهای مشاهده شده، مجموعه‌ای از متغیرهای پنهان را هم در نظر می‌گیرند که از بیرون مشاهده نمی‌شوند. یک نمونهٔ عملی از چنین مدل‌هایی در یادگیری ماشین، مقولهٔ مدل‌سازی موضوعی است.

در مدل‌سازی موضوعی، یک مدل آماری برای تولید کلماتی در متن بر اساس موضوع و عنوان موردنظر برای آن سند ارائه می‌شود و به عبارتی در این کار، کلمات تولیدی همان متغیرهای مشاهده‌شده و عنوان و موضوع هم متغیر پنهان هستند. در این روش کلمات متن به ازای هر موضوع بر اساس توزیع آماری متفاوتی تولید می‌شوند. با فراهم بودن چند پیش‌شرط، روش گشتاورها می‌تواند پارامترهای یک ردهٔ بزرگ از مدل‌های با متغیر پنهان را بازیابی کند.^[۱۰]

علاوه بر این، الگوریتم بیشینه کردن امید ریاضی (EM) هم یکی از روش‌های معمول برای یادگیری در مدل‌های با متغیر پنهان است. با این حال، در این روش ��مکان این وجود دارد که الگوریتم در یک بهینهٔ محلی گیر بیفتد و تضمینی برای همگرا شدن به بهینهٔ سراسری وجود ندارد. در مقابل، در روش گشتاورها، با داشتن چند پیش‌شرط می‌توان از همگرا شدن به بهینهٔ سراسری اطمینان داشت.^[۱۰]

جستارهای وابسته

منابع

↑ «¿Qué es el aprendizaje no supervisado? | IBM» (en es-es). Consultado el 2023-11-13.
↑ Patrick (2023-05-12). «Aprendizaje no supervisado: explicado de forma compactaنسخه آرشیو شده» (en es-es). Archivado desde el original, el ۱۳ نوامبر ۲۰۲۳. Consultado el 2023-11-13۲۹ فوریه ۲۰۲۴.
↑ van Engelen، J.E.؛ Hoos، H.H. (۲۰۲۰). «A survey on semi-supervised learning». Machine Learning (۱۰۹): ۳۷۳–۴۴۰.
↑ Roman, Victor (2019-04-21). "Unsupervised Machine Learning: Clustering Analysis". Medium. Retrieved 2019-10-01.
↑ Snow, Dr Derek (2020-03-26). "Machine Learning in Asset Management: Part 2: Portfolio Construction—Weight Optimization". Journal of Financial Data Science (به انگلیسی). doi:10.3905/jfds.2020.1.029 (inactive 2020-10-10). Retrieved 2020-05-16.{{cite journal}}: CS1 maint: DOI inactive as of اکتبر 2020 (link)
↑ Nguyen، Khoi؛ Todorovic، Sinisa (۲۰۲۰). «A Self-supervised GAN for Unsupervised Few-shot Object Recognition». arXiv.
↑ Garbade, Dr Michael J. (2018-09-12). "Understanding K-means Clustering in Machine Learning". Medium (به انگلیسی). Retrieved 2019-10-31.
↑ Bouza-Rodríguez, José Benito. "An application of Hebbian learning in the design process decision-making". Journal of Intelligent Manufacturing. 27 (3): 487–506. doi:10.1007/s10845-014-0881-z. ISSN 0956-5515. {{cite journal}}: Missing |author1= (help)
↑ Carpenter, G.A.; Grossberg, S. "نظارت". Computer. 21 (3): 77–88. doi:10.1109/2.33.
↑ ^۱۰٫۰ ^۱۰٫۱ ^۱۰٫۲ Anandkumar, Animashree; Ge, Rong; Hsu, Daniel; Kakade, Sham; Telgarsky, Matus (2014). "Tensor Decompositions for Learning Latent Variable Models" (PDF). Journal of Machine Learning Research. 15: 2773–2832. arXiv:1210.7559. Bibcode:2012arXiv1210.7559A.

Bousquet, O.; von Luxburg, U.; Raetsch, G., eds. (2004). Advanced Lectures on Machine Learning. Springer-Verlag. ISBN 978-3-540-23122-6.
Duda, Richard O.; Hart, Peter E.; Stork, David G. (2001). "Unsupervised Learning and Clustering". Pattern classification (2nd ed.). Wiley. ISBN 0-471-05669-3.
Hastie, Trevor; Tibshirani, Robert (2009). The Elements of Statistical Learning: Data mining, Inference, and Prediction. New York: Springer. pp. 485–586. doi:10.1007/978-0-387-84858-7_14. ISBN 978-0-387-84857-0.
Hinton, Geoffrey; Sejnowski, Terrence J., eds. (1999). Unsupervised Learning: Foundations of Neural Computation. MIT Press. ISBN 0-262-58168-X. (This book focuses on unsupervised learning in neural networks)

[1] «¿Qué es el aprendizaje no supervisado? | IBM» (en es-es). Consultado el 2023-11-13.

[2] Patrick (2023-05-12). «Aprendizaje no supervisado: explicado de forma compactaنسخه آرشیو شده» (en es-es). Archivado desde el original, el ۱۳ نوامبر ۲۰۲۳. Consultado el 2023-11-13۲۹ فوریه ۲۰۲۴.

[3] van Engelen، J.E.؛ Hoos، H.H. (۲۰۲۰). «A survey on semi-supervised learning». Machine Learning (۱۰۹): ۳۷۳–۴۴۰.

[4] Roman, Victor (2019-04-21). "Unsupervised Machine Learning: Clustering Analysis". Medium. Retrieved 2019-10-01.

[5] Snow, Dr Derek (2020-03-26). "Machine Learning in Asset Management: Part 2: Portfolio Construction—Weight Optimization". Journal of Financial Data Science (به انگلیسی). doi:10.3905/jfds.2020.1.029 (inactive 2020-10-10). Retrieved 2020-05-16.{{cite journal}}: CS1 maint: DOI inactive as of اکتبر 2020 (link)

[6] Nguyen، Khoi؛ Todorovic، Sinisa (۲۰۲۰). «A Self-supervised GAN for Unsupervised Few-shot Object Recognition». arXiv.

[7] Garbade, Dr Michael J. (2018-09-12). "Understanding K-means Clustering in Machine Learning". Medium (به انگلیسی). Retrieved 2019-10-31.

[8] Bouza-Rodríguez, José Benito. "An application of Hebbian learning in the design process decision-making". Journal of Intelligent Manufacturing. 27 (3): 487–506. doi:10.1007/s10845-014-0881-z. ISSN 0956-5515. {{cite journal}}: Missing |author1= (help)

[9] Carpenter, G.A.; Grossberg, S. "نظارت". Computer. 21 (3): 77–88. doi:10.1109/2.33.

[TensorLVMs-10] ۱۰٫۰ ^۱۰٫۱ ^۱۰٫۲ Anandkumar, Animashree; Ge, Rong; Hsu, Daniel; Kakade, Sham; Telgarsky, Matus (2014). "Tensor Decompositions for Learning Latent Variable Models" (PDF). Journal of Machine Learning Research. 15: 2773–2832. arXiv:1210.7559. Bibcode:2012arXiv1210.7559A.

[۱]