شهود پشت نمره ورود به سیستم

در یادگیری ماشین ، مسئله طبقه بندی به مدل سازی پیش بینی کننده اشاره دارد که در آن یک برچسب کلاس برای مشاهده معین (ضبط) باید پیش بینی شود. در حالی که داده های ورودی (ویژگی ها) از متغیرهای مداوم یا طبقه بندی شده است ، خروجی همیشه یک متغیر طبقه بندی شده است. به عنوان مثال ، بر اساس ویژگی های ورودی مانند اطلاعات آب و هوا (رطوبت ، دما ، ابری/آفتابی ، سرعت باد و غیره) و زمان سال ، پیش بینی کنید که آیا امروز به "باران" یا "باران" نیست (متغیر خروجی) امروزدر شهر تو. مثال دیگر ، بر اساس محتوای ایمیل و اطلاعات فرستنده ، پیش بینی می کند که آیا این "اسپم" است یا "اسپم" (با نام "ژامبون").

ورود به سیستم یکی از معیارهای اصلی برای ارزیابی عملکرد یک مشکل طبقه بندی است. اما از نظر مفهومی به چه معنی است؟هنگامی که این اصطلاح را گوگل می کنید ، به راحتی مقالات و وبلاگ های خوبی دریافت می کنید که مستقیماً در ریاضیات درگیر حفر می شوند. به گفته این ، من قصد دارم در اینجا رویکرد متفاوتی اتخاذ کنم - در مورد شهود پشت متریک صحبت کنم و سپس فرمول مورد استفاده برای محاسبه متریک را ارائه دهم.

به یاد داشته باشید که یک معیار مهم دیگر وجود دارد که به شدت برای ارزیابی عملکرد یک الگوریتم طبقه بندی - نمره RO C-AUC استفاده می شود. هنگامی که شما درک کاملی از نمره ورود به سیستم دارید ، ممکن است بخواهید از طریق وبلاگ دیگر من در پشت امتیاز ROC-AUC ، به ویژه تضاد بین دو معیار بروید.

این وبلاگ در تلاش است تا به سوالات زیر پاسخ دهد.

1. احتمال پیش بینی چیست؟

2. ورود به سیستم از نظر مفهومی به چه معنی است؟

3. چگونه مقدار ورود به سیستم محاسبه می شود؟

4- چگونه نمره ورود به سیستم یک مدل محاسبه می شود؟

5- چگونه نمره ورود به سیستم را تفسیر کنیم؟

احتمال پیش بینی چیست؟

الگوریتم های طبقه بندی باینری ابتدا احتمال طبقه بندی یک رکورد در کلاس 1 را پیش بینی می کنند و سپس نقطه داده (ضبط) را در یکی از دو کلاس (1 یا 0) طبقه بندی می کنند که بر اساس اینکه احتمال عبور از یک آستانه است ، که معمولاً تنظیم می شود ، طبقه بندی می شود. به طور پیش فرض در 0. 5.

بنابراین ، قبل از پیش بینی کلاس رکورد ، مدل باید احتمال رکورد را که در کلاس 1 طبقه بندی می شود پیش بینی کند. به یاد داشته باشید که این احتمال پیش بینی یک رکورد داده است که مقدار ورود به سیستم به آن بستگی دارد.

ورود به سیستم از نظر مفهومی به چه معنی است؟

ورود به سیستم نشان دهنده چگونگی نزدیک شدن احتمال پیش بینی به مقدار واقعی/واقعی مربوطه (در صورت طبقه بندی باینری) است. هرچه احتمال پیش بینی شده بیشتر از مقدار واقعی منحرف شود ، مقدار ورود به سیستم بالاتر است.

مشکل طبقه بندی اسپم در مقابل ژامبون را برای ایمیل در نظر بگیرید. بیایید کلاس هرزنامه را به عنوان 1 و کلاس HAM به عنوان 0 نشان دهیم. مقدار واقعی 1 ، مقدار از دست دادن ورود به سیستم مرتبط با پیش بینی مشاهده 0 است ، که نشان دهنده هیچ واگرایی/خطا نیست.(در واقع ، مقدار ورود به سیستم به اندازه کافی کوچک است که به عنوان 0 برای همه اهداف در نظر گرفته می شود.) ما بعداً در مورد محاسبه بحث خواهیم کرد که درک مفهومی این اصطلاح را ایجاد کرده ایم.

یک ایمیل اسپم دیگر را در نظر بگیرید که با احتمال 0. 9 پیش بینی شده است. احتمال پیش بینی مدل 0. 1 از مقدار واقعی 1 است و از این رو ، مقدار ورود به سیستم مرتبط با پیش بینی بیش از صفر است (دقیقاً ، 0. 105).

حال ، بیایید به یک ایمیل ژامبون نگاه کنیم. این مدل آن را به عنوان هرزنامه با احتمال 0. 2 پیش بینی می کند ، که روش دیگری برای گفتن این است که این مدل قصد دارد آن را به عنوان HAM طبقه بندی کند (با فرض آستانه احتمال پیش فرض 0. 5). تفاوت مطلق بین احتمال پیش بینی و مقدار واقعی ، که 0 است (از آنجا که ژامبون است) ، 0. 2 است که بزرگتر از آن چیزی است که در دو مشاهده قبلی شاهد آن بودیم. مقدار ورود به سیستم مرتبط با پیش بینی 0. 223 است.

توجه کنید که چگونه ارزش ورود به سیستم یک پیش بینی ضعیف تر (دورتر از مقدار واقعی) بالاتر از پیش بینی بهتر (نزدیکتر به مقدار واقعی) است.

حال ، بیایید بگوییم مجموعه ای از 5 ایمیل اسپم مختلف وجود دارد که با طیف گسترده ای از احتمالات (از اسپم بودن) - 1. 0 ، 0. 7 ، 0. 3 ، 0. 009 و 0. 0001 پیش بینی شده است. اکنون باید فکر کنید که چگونه می توان یک ایمیل اسپم را به عنوان هرزنامه با چنین احتمال 0. 0001 پیش بینی کرد. بیایید در کنار هم بازی کنیم و فرض کنیم که مدل آماری آموزش دیده کاملاً مناسب نیست و از این رو ، انجام یک کار (واقعاً) بد در سه مشاهدات آخر (و احتمالاً آنها را به عنوان ژامبون طبقه بندی می کند ، زیرا احتمال پیش بینی آنها به 0 به 1 نزدیکتر است). توجه کنید که چگونه به نظر می رسد مقدار ورود به سیستم به صورت تصاعدی (و خطی) افزایش می یابد زیرا مشاهده از مقدار واقعی 1 دورتر پیش بینی می شود.

در حقیقت ، اگر ایمیل های هرزنامه را با تمام احتمالات پیش بینی احتمالی بین 0 تا 1 پیش بینی کنیم ، این طرح به شرح زیر است. کاهش احتمال پیش بینی یک مشاهده واقعی 1 ، مقدار ورود به سیستم آن بالاتر است.

به طور مشابه، برای ایمیل های ham پیش بینی شده در طیف وسیعی از احتمالات، نمودار به شکل زیر است، تصویری آینه ای از نمودار بالا. هرچه احتمال پیش بینی یک مشاهده واقعی 0 بیشتر باشد، مقدار log-loss آن بیشتر است.

به طور خلاصه، هر چه احتمال پیش بینی از مقدار واقعی دورتر باشد، مقدار log-loss آن بیشتر است.

در حین آموزش یک مدل طبقه بندی، می خواهیم مشاهده با احتمال نزدیک به مقدار واقعی (0 یا 1) تا حد امکان پیش بینی شود. از این رو، Log-loss انتخاب خوبی برای یک تابع ضرر در طول آموزش و بهینه سازی مدل های طبقه بندی است، جایی که دورتر احتمال پیش بینی از مقدار واقعی آن است، پیش بینی بالاتر جریمه می شود.

ارزش log-loss چگونه محاسبه می شود؟

اکنون که شهود پشت log-loss را درک کرده اید، می توانیم در مورد فرمول و نحوه محاسبه آن بحث کنیم.

جایی که i مشاهده/رکورد داده شده، y مقدار واقعی/واقعی، p احتمال پیش بینی است، و ln به لگاریتم طبیعی (مقدار لگاریتمی با استفاده از پایه e) یک عدد اشاره دارد.

امتیاز log-loss یک مدل چگونه محاسبه می شود؟

همانطور که در بالا نشان داده شد، مقدار log-loss برای هر مشاهده بر اساس مقدار واقعی مشاهده (y) و احتمال پیش بینی (p) محاسبه می شود. به منظور ارزیابی یک مدل و خلاصه کردن مهارت آن، نمره لگاریتم ضرر مدل طبقه بندی به عنوان میانگین لگاریتم تلفات همه مشاهدات/پیش بینی ها گزارش می شود. همانطور که در زیر نشان داده شده است، میانگین مقادیر log-loss سه پیش بینی داده شده 0. 110 است.

که در آن N تعداد مشاهدات است (اینجا، 3).

یک مدل با مهارت کامل دارای امتیاز log-loss 0 است. به عبارت دیگر، مدل احتمال هر مشاهده را به عنوان مقدار واقعی پیش بینی می کند.

اینکه چه نمره log-loss برای یک مسئله طبقه بندی است، میانگین مربعات خطا (MSE) برای یک مشکل رگرسیونی است. هر دو معیار نشان می دهند که نتایج پیش بینی چقدر خوب یا بد هستند و نشان می دهند که پیش بینی ها چقدر از مقادیر واقعی فاصله دارند.

مدلی با امتیاز log-loss کمتر بهتر از مدلی است که امتیاز Log-loss بالاتری دارد، مشروط بر اینکه هر دو مدل برای توزیع یکسانی از مجموعه داده اعمال شوند. ما نمی توانیم نمرات log-loss دو مدل اعمال شده در دو مجموعه داده متفاوت را مقایسه کنیم.

چگونه نمره log-loss را تفسیر کنیم؟

نمونه ای از 10 ایمیل با 9 hams را در نظر بگیرید. از آنجایی که تنها 1 ایمیل (از 10) هرزنامه وجود دارد، می توانیم یک مدل طبقه بندی ساده بسازیم که به سادگی احتمال هرزنامه بودن هر ایمیل را 0. 1 پیش بینی می کند. همانطور که در زیر نشان داده شده است، امتیاز log-loss این مدل ساده 0. 325 است.

همانطور که در زیر نشان داده شده است ، تنظیم مجدد احتمال پیش بینی هر ایمیل در 0. 08 (کمی کمتر از 0. 1) ، نمره ورود به سیستم 0. 328 به نظر می رسد. به طور مشابه ، اگر احتمال پیش بینی را به 0. 12 (کمی بیشتر از 0. 1) تنظیم کنیم ، نمره ورود به سیستم 0. 327 را دریافت می کنیم. به طور خلاصه ، اگر احتمال پیش بینی ایمیل ها را به هر چیزی غیر از 0. 1 تنظیم کنیم ، نمره بالاتری از دست دادن دریافت می کنیم.

حتی شکل زیر مجدداً تأکید می کند-کشف فوق الذکر-تعیین احتمال ایمیل ها به 0. 1 باعث کمترین نمره از دست دادن ورود به مجموعه داده می شود ، که به عنوان نمره پایه برای مجموعه داده های نمونه در نظر گرفته می شود.

نمره ورود به سیستم پایه برای یک مجموعه داده از مدل طبقه بندی ساده لوحانه تعیین می شود ، که به سادگی تمام مشاهدات را با یک احتمال ثابت برابر با ٪ از داده ها با مشاهدات کلاس 1 قرار می دهد. برای یک مجموعه داده متعادل با نسبت 51:49 از کلاس 0 به کلاس 1 ، یک مدل ساده لوح با احتمال ثابت 0. 49 نمره ضرر ورود به سیستم 0. 693 را به دست می آورد ، که به عنوان نمره پایه برای آن مجموعه داده در نظر گرفته می شود.

عدم تعادل در یک مجموعه داده بالاتر ، به دلیل کمتری از مشاهدات (در این حالت ، کلاس 1) که تأثیر بیشتری در میانگین مقادیر از دست دادن ورود به سیستم دارد ، نمره ضرر ورود به سیستم را پایین بیاورید.

از آنجا که پیش بینی مقدار احتمال ثابت ثابت برای مجموعه داده های نامتوازن منجر به یک مقدار از دست دادن ورود به سیستم بسیار پایین می شود ، مهارت مدل ارزیابی شده با استفاده از ضرر ورود به سیستم باید در چنین مواردی با دقت تفسیر شود. در حقیقت ، مقادیر از دست دادن ورود به سیستم همیشه باید در زمینه نمره پایه همانطور که توسط مدل ساده ارائه شده است ، تفسیر شود.

هنگامی که ما یک مدل آماری را در یک مجموعه داده خاص می سازیم ، مدل باید نمره ضرر ورود به سیستم را شکست دهد ، در نتیجه خود را ماهرتر از مدل ساده لوح است. اگر اینگونه به نظر نرسد ، این بدان معنی است که مدل آماری آموزش دیده به هیچ وجه مفید نیست و بهتر است به جای آن با مدل ساده لوح بروید.

هنگامی که شما قصد دارید به دنبال دستیابی به آمار پیشرفته (استنباطی) خود باشید ، در صورت تمایل مقاله دیگر من در مورد قضیه حد مرکزی را نیز بررسی کنید. این مفهوم تقریباً هر کاربردی از آمار پیشرفته را زیربنایی می کند.

در صورت داشتن هرگونه سؤال یا بازخورد ، در اینجا احساس راحتی کنید. همچنین می توانید از طریق مشخصات LinkedIn من به من برسید.