Машинното обучение е клон на изкуствения интелект, който позволява на машините да извършват анализ на данни и да правят прогнози. Въпреки това, ако моделът на машинно обучение не е точен, той може да направи грешки в прогнозите и тези грешки в прогнозите обикновено са известни като Bias и Variance. При машинното обучение тези грешки винаги ще присъстват, тъй като винаги има малка разлика между прогнозите на модела и действителните прогнози. Основната цел на анализаторите на ML/data science е да намалят тези грешки, за да получат по-точни резултати. В тази тема ще обсъдим отклонение и вариация, компромис между отклонение и вариация, недостатъчно и свръхнапасване. Но преди да започнем, нека първо разберем какви са грешките в машинното обучение?
Грешки в машинното обучение?
В машинното обучение грешката е мярка за това колко точно алгоритъмът може да направи прогнози за неизвестния преди това набор от данни. Въз основа на тези грешки се избира моделът на машинно обучение, който може да работи най-добре на конкретния набор от данни. Има основно два вида грешки в машинното обучение, които са:
независимо кой алгоритъм е използван. Причината за тези грешки са неизвестни променливи, чиято стойност не може да бъде намалена.
Какво е Bias?
Като цяло моделът за машинно обучение анализира данните, намира модели в тях и прави прогнози. Докато тренира, моделът научава тези модели в набора от данни и ги прилага, за да тества данните за прогнозиране. Докато правите прогнози, възниква разлика между прогнозните стойности, направени от модела, и действителните стойности/очакваните стойности , и тази разлика е известна като грешки на отклонение или Грешки, дължащи се на отклонение . Може да се дефинира като неспособност на алгоритми за машинно обучение като линейна регресия да уловят истинската връзка между точките от данни. Всеки алгоритъм започва с известно отклонение, тъй като отклонението възниква от предположенията в модела, което прави целевата функция лесна за научаване. Един модел има или:
jquery това щракване
Като цяло линейният алгоритъм има голямо отклонение, тъй като ги кара да учат бързо. Колкото по-прост е алгоритъмът, толкова по-голямо отклонение има вероятност да бъде въведено. Докато нелинейният алгоритъм често има ниско отклонение.
Някои примери за алгоритми за машинно обучение с ниско отклонение са дървета на решенията, k-най-близки съседи и опорни векторни машини . В същото време алгоритъм с голямо отклонение е Линейна регресия, линеен дискриминантен анализ и логистична регресия.
Начини за намаляване на високото отклонение:
Голямото отклонение възниква главно поради много прост модел. По-долу са някои начини за намаляване на високото отклонение:
- Увеличете входните характеристики, тъй като моделът е недостатъчно оборудван.
- Намалете срока на регулиране.
- Използвайте по-сложни модели, като например включване на някои полиномни характеристики.
Какво е грешка на отклонението?
Дисперсията ще уточни размера на вариацията в прогнозата, ако се използват различни данни за обучение. С прости думи, дисперсията показва колко една случайна променлива се различава от очакваната си стойност. В идеалния случай моделът не трябва да варира твърде много от един набор от данни за обучение в друг, което означава, че алгоритъмът трябва да е добър в разбирането на скритото съпоставяне между входните и изходните променливи. Грешките на дисперсията са едно от двете ниска вариация или висока вариация.
Ниска дисперсия означава, че има малка вариация в прогнозата на целевата функция с промени в набора от данни за обучение. По същото време, Висока дисперсия показва голяма вариация в прогнозата на целевата функция с промени в набора от данни за обучение.
Модел, който показва висока вариация, научава много и се представя добре с обучителния набор от данни и не се обобщава добре с невиждания набор от данни. В резултат на това такъв модел дава добри резултати с обучителния набор от данни, но показва високи нива на грешки в тестовия набор от данни.
javascript глобални променливи
Тъй като при висока дисперсия моделът научава твърде много от набора от данни, това води до пренастройване на модела. Модел с висока дисперсия има следните проблеми:
- Моделът с голяма вариация води до прекомерно оборудване.
- Увеличете сложността на модела.
Обикновено нелинейните алгоритми имат много гъвкавост, за да се поберат в модела, имат висока дисперсия.
Някои примери за алгоритми за машинно обучение с ниска вариация са, Линейна регресия, логистична регресия и линеен дискриминантен анализ . В същото време алгоритмите с висока дисперсия са дърво на решенията, опорна векторна машина и K-най-близки съседи.
Начини за намаляване на високата дисперсия:
- Намалете входните характеристики или броя на параметрите, тъй като моделът е пренатоварен.
- Не използвайте много сложен модел.
- Увеличете данните за обучение.
- Увеличете срока за регулиране.
Различни комбинации от отклонение-вариация
Има четири възможни комбинации от отклонения и отклонения, които са представени от диаграмата по-долу:
Комбинацията от ниско отклонение и ниска дисперсия показва идеален модел за машинно обучение. На практика обаче не е възможно.
При голямо отклонение и висока дисперсия прогнозите са непоследователни и средно неточни.
Как да идентифицираме висока дисперсия или голямо отклонение?
Голяма дисперсия може да бъде идентифицирана, ако моделът има:
- Ниска грешка при обучение и висока грешка при тестване.
Голямото отклонение може да бъде идентифицирано, ако моделът има:
- Висока грешка при обучение и грешката на теста е почти подобна на грешката при обучение.
Компромис от отклонение-вариация
Докато изграждате модела за машинно обучение, наистина е важно да се грижите за пристрастията и дисперсията, за да избегнете прекомерното и недостатъчното приспособяване в модела. Ако моделът е много прост с по-малко параметри, той може да има ниска дисперсия и голямо отклонение. Докато, ако моделът има голям брой параметри, той ще има висока дисперсия и ниско отклонение. И така, изисква се да се направи баланс между отклонението и грешките на дисперсията и този баланс между грешката на отклонението и грешката на дисперсията е известен като компромисът Bias-Variance.
java parseint
За точна прогноза на модела, алгоритмите се нуждаят от ниска дисперсия и ниско отклонение. Но това не е възможно, защото отклонението и дисперсията са свързани помежду си:
- Ако намалим дисперсията, това ще увеличи отклонението.
- Ако намалим отклонението, това ще увеличи дисперсията.
Компромисът отклонение-вариация е централен проблем в контролираното обучение. В идеалния случай се нуждаем от модел, който улавя точно закономерностите в данните за обучение и същевременно се обобщава добре с невидимия набор от данни. За съжаление това не е възможно едновременно. Тъй като алгоритъмът с висока вариация може да работи добре с данни за обучение, но може да доведе до пренастройване на шумни данни. Докато алгоритъмът с високо отклонение генерира много прост модел, който може дори да не улови важни закономерности в данните. Така че трябва да намерим сладко място между пристрастие и дисперсия, за да направим оптимален модел.
Следователно, на Компромисът между отклонение и отклонение е свързан с намирането на най-доброто място за постигане на баланс между грешките на отклонението и отклонението.