Metodologia pentru sistemele de testare pe calculator 2018 eșantion

Vă mulțumim pentru sprijinul acordat!

Tehnici de măsurare a performanței sistemelor informatice în diferite sarcini noi, de obicei, documentarea în detaliu, dar procesul în sine a utilizării lor în practică - nu întotdeauna. Cu toate acestea, după cum sa dovedit, în unele cazuri, este nevoie de o explicație detaliată - ceea ce este și modul în care puteți utiliza rezultatele. În viitor, să nu se întoarcă la astfel de probleme, acum încercăm să dea răspunsuri complete pentru ei. În orice caz, în partea care se referă la ceea ce se numește în mod tradițional „CPU-uri de testare.“ Prin modul în care - de la numele și începe.

Cum de a măsura ceva ce nu există?

titlu Provocatoare, cu toate acestea, să dezvăluie în totalitate problema. Într-adevăr - ce „performanță“? Caracteristicile cantitative ale vitezei de execuție a anumitor operațiuni. Ceea ce urmează imediat după încheierea de bază - nu există nici o „performanta procesorului“. Spre deosebire, de exemplu, performanța computerului. Pur și simplu pentru că acesta din urmă este o unitate completă, în practică, capacitatea de a efectua orice calcule și tot ce vine la ei. Desigur, mult depinde de operațiunile, care este măsurată de viteza, care este, software-ul. Ceea ce, de asemenea, funcționează numai pe anumite sisteme de operare, care restrânge și mai mult zona de subiect. Cu toate acestea, alegerea sistemului de operare și a programelor, putem ajunge la hardware-ul sistemului la unele rezultate mai mult sau mai puțin semnificative. Și chiar pentru a compara diferite sisteme de performanță pe un set selectat de software.

Dar dacă te duci la un nivel inferior, și anume du-te de la dispozitive complete pentru componente, conceptul de performanță este, evident, dispare pur și simplu, ca orice utilizare individuală, acestea nu sunt adecvate. Mai precis, într-o oarecare - poate, dar nu la țintă. Hard drive poate fi folosit ca un jug cu varză aluat, și procesor - să lase cercurile pe apă, dar „performanța“ lor în îndeplinirea unor astfel de „operațiuni“, nimeni nu îi pasă. Și cel care interesele poate fi măsurată numai în contextul unui sistem complet. Și, la rândul său, va fi influențată de alte componente.

De ce, în acest caz, puteți totuși vorbi despre „performanța procesorului“? Deoarece configurația de test poate duce la mai mult sau mai puțin același stat. În mod ideal - pentru a se asigura că acestea vor fi diferite numai procesoare. Acest lucru este posibil, de exemplu, în cazul în care cele testate două dispozitive pentru aceeași platformă - fiind montat pe aceeași placă de sistem și sunt prevăzute cu aceeași „periferie“ (de la RAM la unitățile de disc), acestea vor funcționa la un dependent rată numai prin ele însele și / sau a altor componente limitate în același mod. Această din urmă problemă nu este de netrecut dacă există flexibilitate în configurația - factori „rele“ pot fi eliminate după detectare. Cu toate acestea, în acest caz, noi nu măsura performanța procesorului și performanța sistemului în ansamblu.

În anumite condiții, acest lucru poate fi neglijată. De exemplu, se poate argumenta că într-un singur procesor platformă este mai rapid decât celălalt ori și jumătate - în cazul în care viteza setului de teste cu înlocuirea unuia la alte schimbări în aceste jumătate. Aici sunt alte caracteristici (de multe ori, nu mai puțin interesant), trebuie să fie foarte atent. De exemplu, nu are sens încercarea de a fi luate în considerare „raportul preț / performanță“, concentrându-se doar pe procesoare de preț. Într-adevăr, în cazul în care X model funcționează într-un an și jumătate ori mai rapid decât Y, și costă de două ori mai mult, s-ar părea, raportul notoriu este mult mai rău. Dar, dacă ne amintim că, de fapt, putem obține numai performanța sistemului, am ajuns la concluzia că necesitatea de a lua în considerare prețul său. Este obligatoriu - chiar dacă unul este același. De exemplu, în cazul în care X are un pret de $ 50, Y - 100 $, și toate celelalte echipamente utilizate în testele - $ 450, aceasta înseamnă o creștere a productivității de 50% are loc atunci când prețul de doar 10%, astfel încât un procesor mai scump este de fapt mai mult chilipir. Și ce se va întâmpla atunci când se compară aceleași două procesor atunci când „mediu“ a cheltuit 250 $ sau $ la 750? Strict vorbind, noi nu știm. Unul testat în condiții specifice nu dă un răspuns la ceva, în acest caz, performanța se va schimba. Se poate dovedi că sistemul prea ieftin va duce la aceleași rezultate pentru ambele procesoare și creșterea (diferența de preț real va scădea) la mai scumpe o diferență, poate invers (de fapt, nu), și poate că nimic nu se va schimba - informații insuficiente.

Deci, după cum puteți vedea, chiar și în aceeași platformă cu posibilitatea de a egaliza complet condițiile de testare nu sunt atât de simplu pe cât pare. Dar, doar o astfel de comparație cel mai puțin interesant, deoarece rezultatele lor sunt prea previzibile. Mult mai multe beneficii din compararea procesoare pentru platforme diferite, un singur furnizor (beneficiul oricăror actualizate periodic) sau chiar diferite - furnizori diferite de aplicații pentru diferite. În acest caz, pentru a atinge aceleași condiții de testare este pur și simplu imposibil - nu contează cât de greu încercați. Cu toate că, în cazul în care numai pentru că plăcile de bază sunt diferite prin definiție. Influența lor asupra performanței sistemului a fost mult timp practic inexistentă, dar numai atunci când totul merge „dreapta“, ne-am întâlnit deja situația opusă.

Ca urmare, nu are nici un sens pentru a încerca și să aducă toate destul de la „numitor comun.“ În unele cazuri - și nu este necesar chiar și atunci când este posibil, ca este un test „rafinat“, „într-un vid“ se va corela slab cu condițiile reale. Tot ceea ce este necesar - pentru a încerca să se asigure caracteristici comparabile platforme de testare, nu fără a lua în considerare caracteristicile specifice ale acestora. Și, prin urmare, este bine să se precizeze în condiții de testare. Puteți compara chiar și rezultatele semnificativ diferite sisteme - în cazul în care nu există nici o altă opțiune. Sensul de bază, de fapt, doar prin comparație, este mai precisă decât condițiile de testare mai aproape, dar un anumit sens, este de asemenea, atunci când aceasta nu funcționează (care este deosebit de comună în sistemele puternic integrate compacte, „rupe“, din care un procesor și a pus pe o altă platformă este pur și simplu imposibil). Dar, în ciuda acestui fapt, vom continua să numim aceste teste „procesor“, fără a uita despre nuanțele - pur și simplu pentru că nu există alte „teste de procesoare“ în acest moment nu este și nu poate.

configuraţiile brazerul

Deci, așa cum sa menționat mai sus, această întrebare este importantă, pentru că într-un fel sau altul poate afecta rezultatele, ceea ce poate fi combătută, încercând să facă mediul o mai egal posibil. nu este întotdeauna posibil, dar nu prea dificil pentru procesoarele „desktop“ pentru testarea sistemelor finite.

În primul rând, sistemul de operare și aplicațiile de testare definite în mod rigid metodologia nostru de testare. Întotdeauna - chiar dacă diferitele sisteme, să nu mai vorbim de aceleași platforme scop. În al doilea rând, unitatea de sistem, putem, de asemenea, fixat rigid. Ne-am oprit la Sandisk Extreme Pro 480 GB pentru mai multe motive: compatibilitate ridicată cu diferite sisteme (prin utilizarea de „normale» SATA-interfață), capacitate mare (în clasă), suficientă pentru toată capacitatea de software necesare. După cum arată sondajul nostru. răspândirea valorilor de performanță atunci când se utilizează mai multe SSD-urile în metodologia actuală nu depășește 10%, ceea ce este destul de potrivit si am ales modelul. SSD Mai repede poate crește ușor evaluarea globală, dar hard disk - mult să-l reducă, care ar trebui să fie luate în considerare prin studierea rezultatelor testelor (și amintiți-vă ce a fost spus mai sus doar despre „preț / performanță“).

Consumul de energie și eficiența energetică

Începând cu acest an, suntem capabili de a obține rezultate, nu numai performanța desktop-ul, dar, de asemenea, pentru a determina exact - cum să primească le-a luat puterea. Mini-PC și platforme similare necesită o abordare separată (și un pic mai limitată), dar aici totul merge mai mult succes, așa că ar fi greșit să nu-l folosească pentru procesoare desktop.

Este clar faptul că setul de date rezultată este prea vastă pentru a fi incluse în articol - în special având în vedere faptul că fiecare dintre ele este reprezentat de mai mult de o persoană. Prin urmare, vom continua cu el ca de obicei - Prelevarea de probe și o medie de tehnici. Dintre toate obținute la testarea capacității. am ales minime și maxime, precum și media pentru toate testele. Aceste date, în opinia noastră, au cea mai mare importanță practică, deoarece acestea permit compararea directă a diferitelor platforme. Și pentru acest lucru, nu vom lua „procesorul“ (adică, așa cum este măsurată prin linia 12 în conectorul EPS12V) și „total“ de putere. În primul rând, pentru că o parte din sistem și în acest moment, „mananca“ doar un singur conector - Bay Trail și Braswell, de exemplu. În al doilea rând, pentru că în celălalt circuit de distribuție a energiei pe liniile de unități diferite pot fi diferite. Mai mult, pentru a determina cerințele pentru sistemul de răcire al întregului calculator (în loc de CPU cooler) consumul restante și energie de memorie sau chipset, iar pierderile reale MOSFET: oricum este toată căldura rezultată necesară pentru a elimina din organism, și nu numai că Ea cade pe cota procesorului. În acest sens, ca timpul este foarte importantă putere maximă (nu este un vârf, iar media pentru unele sarcini „grele“) - ca „încărcare“ platformă și consumă / oferi. Mai mult decât atât, în aplicațiile reale, și nu special optimizat pentru maxim „cald“ (care, de altfel, nu se realizează întotdeauna la consumul maxim de putere), teste de stres. Valoarea minimă mai mare interes pentru comparațiile între platforme în sarcina „lumină“ - din nou, nu inactiv, și la decizia de sarcini practic utile.

În ceea ce privește puterea medie, și inițial a produs ca o medie a mediei, este, în multe privințe, parametrul este sintetic, deși interesant. Dar, așa cum mulți nu sunt interesați de economia în sine, și în anexa la soluționarea problemelor practice, am introdus o platformă de caracterizare și mai sintetică - „eficiență energetică“. El a determinat cât de multe puncte indexul de performanță integrală sau că sistemul este capabil să producă per watt (respectiv, vom împărți pur și simplu, performanța finală la testele de putere medie). Puteți, desigur, complica abordarea și să lucreze cu puterile în ceea ce privește domeniile de aplicare a sistemului informatic (beneficiul cererii pe care le folosim defalcate cu succes pe grupe), dar pentru o primă experiență, nu ne-am decis să crească detaliu peste măsură :) Și care este acumulat în procesul de rezultatele testelor deja permit timp pentru a înțelege - în ce direcție este cel mai bine pentru a merge mai departe.

Totul este clar cu sisteme modulare. Și ce să fac cu un mini-PC-uri și altele asemenea, în cazul în care conexiunea la standul de încercare este dificil sau chiar imposibil? În acest scop, avem o monitorizare Metoda de putere, temperatură și de încărcare. în care ne bazăm în întregime pe senzor încorporat. În principiu, pentru Intel Haswell din momentul în care sunt destul de „pot fi de încredere“, și că comparația noastră practică a celor două metode de măsurare a relevat, dar aplicabilitatea acestei tehnici pentru alte sisteme - o întrebare deschisă. În plus, în acest caz, trebuie să ne limităm la doar procesorul, dar nu platforma, ceea ce nu este de dorit. Și senzori de sondaj regulate - sarcină de fond nedorite, invizibil pentru sistemele de top, dar capacitatea de a afecta performanța pe care un procesoare surogat. Prin urmare, această tehnică va fi utilizată în principal, atunci când alte opțiuni nu sunt posibile. Și utilizarea în testele, „CPU“ Vom putere numai. Ca mai sus - minimă, maximă și medie pe testele. Introducem de asemenea, (în același mod) în parametrii „eficiență energetică“, dar nu platforma, și CPU.

O mică notă despre sarcina suplimentară în timpul măsurării. Ca primul nostru de test, în prezent, în general, ambele tehnici prezintă rezultate consistente, și impactul acestora asupra performanței dacă există, în limitele erorii de măsurare. Cu toate acestea, încă ne-am petrecut prea mic test pentru a fi siguri de menținerea acestei tendințe. Prin urmare, (pentru a evita excesele) această performanță an și măsurători de putere vor fi efectuate separat una de cealaltă. Acest lucru duce la creșterea costurilor de reasigurare de timp, dar avem tendința să credem că este destul de justificată. Și apoi - a se vedea acumularea de rezultate.

Metodă de măsurare a performanței în jocurile descrise în mod normal, în detaliu, într-un articol separat. Singura schimbare pe care am decis să introducă în acest an - utilizarea a două teste diferite în joc Grid 2, care vor fi măsurate în performanța sa și pe procesoare fără sprijinul set de instrucțiuni AVX. Pentru care, de fapt, este destul de simplu, în ceea ce privește jocul modern este la doar cele mai relevante :) Nu există alte modificări, așa că aici vom vorbi doar despre metodele de aplicare a acestei tehnici, precum și simplificate și complicații în comparație cu „de bază“.

De asemenea, nu toate sistemele pot face față cu nici un joc, chiar și în această formă, pentru a evita aglomerarea articolelor diagrame lipsite de sens le-am luat, de asemenea, decizii discreționare: în cazul în care jocul în oricare dintre cele două moduri nu a fost în măsură să se ocupe de oricare dintre testele comparative ale eroilor, acest lucru joc al articolului corespunzător este eliminat. În orice caz, în mod explicit - dar implicit este prezent. Ceea ce se înțelege prin „dreptul“? Criteriile pentru aceasta sunt subiective - cineva pretinde că el și 20 de cadre pe secundă, suficient (dacă numai stabilă), și unele mai puțin de 50 nu este de acord. În consecință, avem (ca înainte) va fi considerat un „jucabilitatea de frontieră“ de 30 de cadre pe secundă. Și astfel încât să puteți, fără a fi nevoie să învețe o grămadă de diagrame, compara aproximativ diferitele sisteme (inclusiv de la diferite articole) pe baza acestui criteriu, suntem, de asemenea, începând cu acest an introduce „integrat rezultat de joc.“ Acesta va fi afișat numai dacă sistemul prezintă rezultatul de mai sus 30 FPS la o rezoluție de 1366 × 768, primește un punct, și pentru același într-o rezoluție de 1920 × 1080, două puncte. Astfel, având în vedere că jocurile pe care le avem 13, punctajul maxim poate fi de 39 de puncte - aceasta nu înseamnă că sistemul este un joc, dar este, cel puțin, face față cu 100% din testele noastre de jocuri. Este pentru rezultatul maxim va fi normalizat, iar restul: puncte calculat, înmulțit cu 100, împărțit la 39 - acesta va fi „rezultate de jocuri integrate.“ nu este necesar de a face sisteme de joc, pentru că există deja tot mai interesat de nuanțe, și pentru a evalua „universal“ - destul. Sa dovedit mai mult de 50 - astfel încât în ​​ceva ce se poate juca, uneori, mai mult sau mai puțin confortabil, aproximativ 30 - nu va ajuta chiar declin permisiunea, dar în cazul în 10-20 de puncte (să nu mai vorbim de zero), apoi jocurile cu 3D mai mult sau mai puțin, -Graphics nu chiar mai bine bâlbâi.