Controlul glisant
De învățare automată.
Culisarea control sau de validare încrucișată sau validarea încrucișată (cross-validare, CV) - o procedură empirică algoritmi de evaluare capabilitate generalizare, antrenat de precedentele.
Fixed un set de partiții ale eșantionului original în două subeșantioane: de învățare și de control. Pentru fiecare partiție, configurați algoritmul de pe setul de antrenare, atunci se estimează eroarea medie a obiectelor de control subprobă. Evaluarea cross-validare se numește media pe toate partițiile de pe amploarea subeșantioane de control al erorilor.
În cazul în care proba este independentă, eroarea medie de validare încrucișată prevede evaluarea obiectivă a probabilității de eroare. Acest lucru îl diferențiază de eroarea medie de pe platoul de filmare de formare, care poate fi ectopică (scăzut optimist) estimează probabilitatea de eroare, care este asociat cu fenomenul de overfitting.
Controlul glisant este o metoda standard de testare și compararea algoritmilor de clasificare. Regresia și prognoză.
Definiții și notații
Să - mai multe descrieri ale obiectelor - setul de răspunsuri posibile.
precedente de eșantionare predeterminate finale.
Set algoritm de învățare - arată că orice utilizare probă finite cazuri în funcția (algoritmul).
Calitatea algoritmului este evaluată pe cazuri de utilizare eșantion aleatoriu folosind calități funcționale. Pentru procedura de validare încrucișată, indiferent de modul în care se calculează această funcționalitate. Ca o regulă, este aditiv pe eșantion obiecte:
în care (a (x_i), y_i) „> - funcția de pierdere nenegativ returnează o valoare algoritm de răspuns de eroare cu răspunsul corect ..
Procedura de validare încrucișată
Proba este împărțită în diferite moduri în două sub-eșantion disjuncte, unde - lungimea setului de formare m. - lungimea de control al subeșantion - numărul partiției.
Pentru fiecare partiție algoritmul de n și se calculează din valoarea de calitate funcțională. Aritmetice valorile medii peste toate partițiile se numește o estimare a controlului de alunecare.
Diferite versiuni ale glisante de control diferite tipuri de calități funcționale și modalități ale probei de separare.
evaluarea activelor
În plus, valoarea medie a calității pentru controlul construi intervale de încredere.
Estimarea neparametric intervalului de încredere. Construit un număr de variație de valori:
Adoptare 1. În cazul în care descompunerea au fost efectuate în mod aleatoriu, independent și la fel de probabil, variabila aleatoare cu o valoare de probabilitate nu depășește „>.
Corolar 1. Valoarea variabilei aleatoare nu este mai mare decât „> cu probabilitate.
În particular, limita superioară pentru o fiabilitate de 95% este suficient pentru a lua partiții.
Revendicarea 2. Dacă descompunerea au fost efectuate în mod aleatoriu, independent și la fel de probabile, probabilitatea ca valoarea variabilei aleatoare este în limitele intervalului de încredere.
Corolar 2. Valoarea variabilei aleatoare este în limitele unui număr de variante cu probabilitate.
În special, pentru estimarea cu două fețe, cu fiabilitatea de 95% este suficient pentru a lua partiții.
stratificare
proba Stratificarea - este o modalitate de a reduce variația (dispersie) rating de control glisante, producând astfel o intervale de încredere mai înguste și mai precise (strâns) limite superioare.
Stratificarea este împărțirea probei în părți predeterminate (straturi), iar lungimea de formare partiție m lungime k și control pentru a se asigura că fiecare strat este partajată între instruire și control în aceeași proporție.
Stratificarea claselor în clasificarea sarcinilor înseamnă că fiecare clasă este împărțită între formare și supraveghere în proporție.
Stratificarea pe o bază reală. obiecte eșantion sortate în funcție de unele criterii, de exemplu, una dintre caracteristicile ascendente. Apoi proba este partiționat în k straturi succesive egale (până la 1), de lungime. La formarea probelor de control ale fiecărui strat un obiect este selectat, sau cu un număr de secvență dată în cadrul straturilor, sau la întâmplare.
Varietate de validare încrucișată
Diferite variante de realizare a controlului de alunecare diferite moduri de probă partiție.
Full cross-validare (CV complet)
Evaluarea de validare încrucișată se bazează pe toate partițiile. În funcție de (lungimea probei de învățare) se disting:
S-a arătat (Li, 1987). că controlul obiect separat este asimptotic optim în anumite condiții [1]. și anume:
partiții aleatoare
Partițiile sunt selectate în mod aleatoriu, în mod independent și cu o probabilitate egală dintr-o multitudine de partiții. Acesta este, în acest caz, având în vedere mai sus sunt valabile de evaluare a intervalelor de încredere. În practică, aceste estimări sunt, de obicei transferate neschimbate la alte moduri de partiționare a probei.
Datele de monitorizare privind în așteptare (hold-out CV)
Evaluarea de validare încrucișată se bazează pe o partiție aleatoare ,.
Această metodă are dezavantaje semnificative:
- Trebuie să părăsească prea multe obiecte în subeșantionul de control. Reducerea lungimii Subeșantionare de formare conduce la estimarea ectopică (umflate pesimistă) a probabilității de eroare.
- Evaluarea depinde în mod esențial de partiție, în timp ce este de dorit ca acesta este caracterizat prin algoritm numai de învățare.
- Calificarea are o dispersie ridicată, care poate fi redus prin medierea peste partiții.
În cazul în care distinge alunecare de date de control amânat și de control al probei de testat. În cazul în care, în al doilea caz, probabilitatea de eroare estimat pentru clasificatorul construite din setul de antrenare, în primul caz - la clasificatorul construit din proba completă (de exemplu, rata de eroare nu este calculată pentru clasificator, care este emisă ca urmare a rezolvării problemei).
Controlul obiectelor individuale (lăsați-one-out CV)
Acesta este un caz special al unui plin de validare încrucișată atunci când, respectiv ,. Aceasta este probabil varianta cea mai comuna a unui control de alunecare.
Avantajele Loo ca obiect fiecare doar o singură dată implicat în controlul, precum și durata de formare subeșantioane este doar una mai mică decât lungimea întregului eșantion.
Closet dezavantaj este un consum mare de resurse, după cum este necesar pentru a învăța din nou. Unele metode de predare permit să reconfigureze rapid parametrii interni ai algoritmului atunci când înlocuirea unui obiect de învățare cu o alta. În aceste cazuri, calculul reușește să LOO accelerat semnificativ.
Blocuri de regulare q (q CV ori mai mare)
Prelevări împărțit în mod aleatoriu în blocuri disjuncte de egale (sau aproape egale) lungimi q:
Fiecare bloc, la rândul său devine subeșantionul de referință, învățarea se realizează pentru blocurile rămase. Un criteriu este definit ca eroarea medie în subeșantionul de control:
Acesta este un compromis între Loo, țineți-out și partițiile aleatoare. Pe de o parte, învățarea se realizează doar o singură dată în loc de q L. Pe de altă parte, lungimea de formare subeșantioane egale cu q „> cu rotunjire, nu în mod semnificativ diferită de lungimea eșantionului integral L. în mod tipic, proba este împărțit în mod aleatoriu 10 sau 20 de blocuri.
Controlul pentru r x blocuri q (r × CV q ori mai mare)
Blocuri de regulare q (q CV) este repetată de ori mai mare ori r. De fiecare dată când Prelevări împărțit aleatoriu în blocuri disjuncte q. Această metodă moștenește toate avantajele q CV-ul ori mai mare, în timp ce o oportunitate suplimentară de a crește numărul de partiții.
Această opțiune este un control de alunecare cu stratificarea claselor, este o metodă standard de testare și compararea algoritmilor de clasificare. În special, este utilizat în sistemele WEKA și „algoritmi poligon.“
Alunecare de control în probleme de prognozare
În sarcini de prognoză. dinamic de învățare. învățare și de armare precedente de învățare activă inițial ordonate liniar de momentul apariției lor. În acest caz, opțiunile de control glisante nu sunt atât de variate.
Controlul când creșterea duratei de formare
subeșantion de formare se formează toate obiectele anterioare. subsample Controlul format toate obiectele viitoare, în care: - valoarea de predicție zederzhki (de obicei). Moment „în timp real» n «alunecare“, în eșantionul de date:
în cazul în care - lungimea minimă a eșantionului de formare necesară pentru funcționarea normală a algoritmului de învățare.
Având în vedere că durata formării crește cu timpul, precizia predicțiilor poate îmbunătăți treptat. Acest efect secundar nedorit este atunci când comanda de diapozitive este utilizat pentru evaluarea calității algoritmului de învățare.
De control pentru o lungime fixă de studiu
Acesta diferă de cea precedentă numai prin faptul că m lungime de formare este stabilită prin limitarea numărului de precedente recente m :. Se crede.
Dezavantajele cross-validare
- Obiectivele de învățare trebuie să fie rezolvate de N ori, care implică costuri de calcul considerabile.
- Evaluarea cross-validare sugerează că algoritmul de învățare este deja setat. Aceasta nu spune nimic despre ce proprietăți ar trebui să aibă un „bun“ algoritmi de învățare, și cum să le construiască. Acest tip de sfaturi dat, de exemplu, estimările teoretice ale capacității de generalizare.
- Încercarea de a utiliza un control de alunecare pentru învățare, deoarece criteriul optimizat conduce la faptul că acesta își pierde proprietatea echidistantă, și din nou, există riscul de reconversie profesională.
- Alunecare punct de control oferă o imparțial, dar nu un interval de evaluare a riscului. În prezent, nu există metode de construcție bazate pe intervale de încredere exacte validarea încrucișată pentru riscul, adică, așteptarea pierderilor (în special, probabilitatea de clasificare eronată).
validarea încrucișată a aplicației
În practică, validarea încrucișată este utilizată pentru a optimiza anumiți parametri critici tind să determine structura și complexitatea algoritmului utilizat de model, și având un număr relativ mic de valori posibile.