Į , modelio veikimas pagrįstas jo prognozėmis ir tuo, kaip gerai jis apibendrina nematytus, nepriklausomus duomenis. Vienas iš būdų įvertinti modelio tikslumą yra atsižvelgimas į modelio šališkumą ir dispersiją. Šiame straipsnyje sužinosime, kaip šališkumas-dispersija vaidina svarbų vaidmenį nustatant modelio autentiškumą. Šiame straipsnyje aptariamos šios temos:
- Neištrinama klaida
- Kas yra šališkumas mokantis mašinoje?
- Mašinų mokymosi modelio skirtumai?
- Kaip tai veikia mašininio mokymosi modelį?
- Šališkumo ir variacijos kompromisas
- Bendra klaida
Neištrinama klaida
Bet koks modelis yra vertinamas remiantis naujo nepriklausomo, nematyto duomenų rinkinio prognozavimo paklaida. Klaida yra ne kas kita, kaip skirtumas tarp faktinės ir numatomos išvesties. Norėdami apskaičiuoti paklaidą, mes darome redukuojamos ir negaunamos klaidos, ty šališkumo ir dispersijos skaidymo, sumavimą.
Negrįžtama klaida yra ne kas kita, o tos klaidos, kurių negalima sumažinti, neatsižvelgiant į jokias kurį naudojate modelyje. Tai lemia neįprasti kintamieji, kurie daro tiesioginę įtaką išėjimo kintamajam. Taigi, kad jūsų modelis būtų efektyvus, mums lieka sumažinama klaida, kurią turime optimizuoti bet kokia kaina.
kas yra pojo klasė java su pavyzdžiu
Sumažinamą klaidą sudaro du komponentai - Šališkumas ir dispersija , šališkumas ir dispersija daro įtaką modelio tikslumui keliais būdais, pavyzdžiui per daug, per mažai ir kt.Pažvelkime į šališkumą ir dispersiją, kad suprastume, kaip elgtis su sumažinta klaida .
Kas yra šališkumas mokantis mašinoje?
Šališkumas iš esmės yra tai, kiek mes numatėme vertę iš faktinės vertės. Mes sakome, kad šališkumas yra per didelis, jei vidutinės prognozės yra toli nuo faktinių verčių.
Dėl didelio šališkumo algoritmas praleis dominuojantį modelį arba ryšį tarp įvesties ir išvesties kintamųjų. Kai šališkumas yra per didelis, daroma prielaida, kad modelis yra gana paprastas ir nesuvokia duomenų rinkinio sudėtingumo, kad būtų galima nustatyti ryšį, taigisukeldamas nepakankamą aprūpinimą.
Mašinų mokymosi modelio skirtumai?
Nepriklausomame, nematytame duomenų rinkinyje arba patvirtinimo rinkinyje. Kai modelis veikia ne taip gerai, kaip su apmokytais duomenų rinkiniais, yra tikimybė, kad modelis turi dispersiją. Iš esmės pasakojama, kaip numatytos vertės yra išsibarstę iš tikrųjų verčių.
Didelis duomenų rinkinio dispersija reiškia, kad modelis treniravosi naudodamas daug triukšmo ir nesusijusių duomenų. Taip sukeldamas modelio perteklių. Kai modelis turi didelę dispersiją, jis tampa labai lankstus ir neteisingai prognozuoja naujus duomenų taškus. Nes ji sureguliavo treniruočių rinkinio duomenų taškus.
Pabandykime matematiškai suprasti ir šališkumo dispersijos sąvoką. Tegul kintamasis, kurį mes prognozuojame, yra Y, o kiti nepriklausomi kintamieji - X. Tarkime, kad tarp dviejų kintamųjų yra ryšys, toks:
Y = f (X) + e
Pirmiau pateiktoje lygtyje Čia yra yra apskaičiuota paklaida su vidutine verte 0. Kai klasifikatorių padarysime naudodami tokius algoritmus tiesinė regresija , , ir tt, laukiama kvadrato paklaida x taške bus:
klaida (x) = šališkumas2+ Dispersija + neskaidoma klaida
Taip pat supraskime, kaip šališkumas-dispersija paveiks a Mašininis mokymasis modelio pasirodymą.
didžiųjų duomenų analizės programos
Kaip tai veikia mašininio mokymosi modelį?
Santykį tarp šališkumo ir dispersijos galime suskirstyti į keturias toliau išvardytas kategorijas:
- Didelė variacija - didelis šališkumas - modelis yra nenuoseklus ir vidutiniškai netikslus
- Mažas dispersija - didelis šališkumas - modeliai yra nuoseklūs, tačiau vidutiniškai nedideli
- Didelis dispersijos lygis - mažas šališkumas - šiek tiek tikslus, bet nenuoseklus atsižvelgiant į vidurkius
- Mažas dispersijos lygis - mažas šališkumas - tai idealus scenarijus, modelis vidutiniškai yra nuoseklus ir tikslus.
Nors nustatyti modelio šališkumą ir dispersiją yra gana akivaizdu. Modelyje su dideliu dispersija bus maža treniruočių klaida ir didelė patvirtinimo klaida. Esant dideliam šališkumui, modelyje bus didelė treniruočių klaida, o patvirtinimo klaida yra tokia pati kaip treniruotės klaida.
Nors aptikti atrodo lengva, tikroji užduotis yra jį sumažinti iki minimumo. Tokiu atveju galime atlikti šiuos veiksmus:
- Pridėkite daugiau įvesties funkcijų
- Sudėtingesnis įvedant daugianario ypatybes
- Sumažinti įteisinimo terminą
- Gaunate daugiau treniruočių duomenų
Dabar, kai žinome, kas yra šališkumas ir dispersija ir kaip tai veikia mūsų modelį, pažvelkime į šališkumo ir dispersijos kompromisą.
Šališkumo ir variacijos kompromisas
Tinkamos pusiausvyros tarp modelio šališkumo ir dispersijos radimas vadinamas „Bias-Variance“ kompromisu. Iš esmės tai yra būdas įsitikinti, kad bet kokiu atveju modelis nėra nei per didelis, nei per mažas.
Jei modelis yra per paprastas ir turi labai mažai parametrų, jis nukentės nuo didelio šališkumo ir mažo dispersijos. Kita vertus, jei modelis turi daug parametrų, jis turės didelį dispersiją ir mažą šališkumą. Dėl šio kompromiso turėtų atsirasti visiškai subalansuoti judviejų santykiai. Idealiu atveju bet kurio mašininio mokymosi modelio tikslas yra mažas šališkumas ir maža dispersija.
Bendra klaida
Bet kuriame mašininio mokymosi modelyje gera pusiausvyros ir dispersijos pusiausvyra yra puikus scenarijus, susijęs su prognozuojamu tikslumu ir išvengiant perpildymo, per mažo aprūpinimo. Optimali pusiausvyros ir dispersijos pusiausvyra, kalbant apie algoritmo sudėtingumą, užtikrins, kad modelis niekada nebūtų per daug ar per mažai įrengtas.
Vidutinė kvadratinė paklaida statistiniame modelyje laikoma kvadratinio šališkumo ir paklaidos bei dispersijos suma. Visa tai gali būti įtraukta į bendrą klaidą, kai mes turime šališkumą, dispersiją ir neskaidomą klaidą modelyje.
Supraskime, kaip praktiškai įgyvendinant galime sumažinti bendrą klaidą.
Mes sukūrėme a tiesinės regresijos klasifikatorius viduje Linijinė regresija mokantis mašinoje Straipsnis apie „Edureka“, naudojant duomenų rinkinį apie diabetą scikit mokytis biblioteka.
Įvertinę vidutinę klasifikatoriaus paklaidą kvadrate, gavome bendrą paklaidą apie 2500.
Kad sumažintume bendrą paklaidą, klasifikatoriui pateikėme daugiau duomenų, o mainais vidutinė kvadrato paklaida buvo sumažinta iki 2000.
ar konstruktorius gali buti privatus
Tai paprastas bendros klaidos sumažinimas įgyvendinant modelio daugiau mokymo duomenų. Panašiai galime taikyti kitas technikas, kad sumažintume klaidą ir išlaikytume pusiausvyrą tarp šališkumo ir dispersijos, kad galėtume efektyviai atlikti mašininio mokymosi modelį.
Tai atvedė mus į šio straipsnio pabaigą, kur mes išmokome „Mach“ šališkumąmokymasis su jo įgyvendinimu ir panaudojimu. Tikiuosi, kad jums aišku viskas, kas buvo pasidalinta su jumis šioje pamokoje.
Jei jums pasirodė aktualus šis straipsnis „Mašininio mokymosi šališkumas“, patikrinkite patikima internetinė mokymosi įmonė, turinti daugiau nei 250 000 patenkintų besimokančiųjų tinklą, pasklido po visą pasaulį.
Mes norime jums padėti kiekviename žingsnyje ir parengti mokymo programą, skirtą studentams ir specialistams, norintiems būti . Kursas yra skirtas suteikti jums pažangą pradedant programuoti „Python“ ir išmokyti jus naudotis pagrindinėmis ir pažangiomis „Python“ koncepcijomis bei įvairiomis Kaip , ir kt.
Jei kyla klausimų, nedvejodami užduokite visus klausimus komentarų skiltyje „Mašininio mokymosi šališkumas“ ir mūsų komanda mielai atsakys.