Jevgenij Kasperski: Uporedni testovi antivirusa nisu jevanđelja

Tekstovi o zaštiti, 24.10.2011, 08:02 AM

Jevgenij Kasperski, osnivač i direktor Kaspersky Laboratorije, objavio je nedavno na svom ličnom blogu dva teksta o svom viđenju testiranja antivirusnih programa koja su izazvala veliko komešanje u industriji antivirusnog softvera. S obzirom da je Kaspersky antivirusni softver jedan od najcenjenijih antivirusa, nema mesta pretpostavkama da je kritika Kasperskog motivisana poretkom antivirusnih proizvoda u rezultatima testova koje je sproveo PassMark, a koji su bili predmet pažnje Jevgenija Kasperskog. U svakom slučaju, kada jedan tako respektabilan proizvođač antivirusa kritikuje način na koji ovakvi testovi sprovode, to je reakcija vredna pažnje.

Kasperski je u tekstu objavljenom 30. septembra ukazao na određene slabosti u testovima upoređivanja antivirusnih programa koje je sproveo PassMark.

“Mnogo je nedostataka u današnjim metodologijama testiranja, što znači da testovi pružaju samo presek testiranih proizvoda bez uvida u sliku u celini. A celovita slika je upravo ono što je potrebno korisnicima,” kaže Kasperski. Na žalost, većina testova još uvek koristi zastarele postupke testiranja (kao što je testiranje na zahtev (on-demand) sa zastarelom kolekcijom malware-a), koji ne odražavaju stvarne potrebe korisnika i realno moguć scenario.

Izražavajući poštovanje za dosadašnji rad PassMark-a, Kasperski je ukazao na činjenicu da poslednje testiranje koje je sprovela ova organizacija ima najmanje jednu slabost - činjenicu da je Symantec finansirao ovo testiranje i da je testiranje sprovedeno primenom metodologije jednog od ocenjivanih učesnika. Reč je opet o kompaniji Symantec.

Testiranjem PassMark-a obuhvaćeni su antivirusni proizvodi pet proizvođača koji su već objavili verzije svojih programa za 2012. godinu. Testirani su anntivirusi kompanija Avast, G-Data, Kaspersky Lab, Panda i Symantec. Na testiranju, na kome je Kaspersky antivirusni softver zauzeo treće mesto, prvoplasirani je Symantec, a drugo mesto zauzeo je Avast. Situacija sa sponzorom i pobednikom testova PassMark se ponavlja iz godine u godinu, počev od 2008. godine.

Ipak, uprkos tome, kada ovakve rezultate objavi neko respektabilan kao što je PassMark onda to nije za potcenjivanje, smatra Kasperski, a za pobednika sve izgleda dobro, i pobeda koju oglašava na sva zvona, i aplauzi publike ali i činjenica da će se njegovi proizvodi više kupovati.

I gde je onda problem?

Za PassMark istu težinu ima svaki od zadatih kriterijuma po kojima se ocenjuje neki antivirusni softver. Neki od manje značajnih parametara vrednuju se istim brojem poena kao i parametri koji su od vitalnog značaja za jedan antivirusni program.

Testirano je ukupno 17 performansi svakog proizvoda (vreme potrebno za pokretanje AV programa, kao i ono potrebno za pokretanje Internet Explorer-a, otvaranje fajla i kopiranje, itd.). Svaki od proizvoda je dobio ocenu za svaki parametar pojedinačno, a onda su ocene sabrane i onaj koji je imao najveće ocene na kraju je odneo pobedu.

Pretpostavka je da je za korisnika od podjednakog značaja vreme potrebno za instaliranje proizvoda kao i mrežni protok ili brzina pakovanja i raspakivanja arhiva. Kasperski kaže da je to pogrešna pretpostavka.

On je, prema subjektivnoj oceni važnosti svakog od zadatih kriterijuma testiranja, sproveo novo testiranje i dobio nešto drugačije rezultate.

Svakom od zadatih kriterijuma PassMark-a Kasperski je dodelio određeni broj poena (0, 1, 2, 5, 10 i 20 poena) u zavisnosti od toga koliko je neki kriterijum relevantan za realno korisničko iskustvo kao i od toga kolika je učestalost izvođenja neke aktivnosti (0 - irelevantno; 1 - retko izvođena aktivnost, ne više od jednom godišne; 2 - jednom ili dva puta nedeljno; 5 - za aktivnosti koje se izvode jednom, dva ili tri puta dnevno; 10 - za učestalu aktivnost; 20 - za najvažnije aktivnosti)

Rezultati testova sada izgledaju ovako (kliknite na sliku za više detalja):

Na kraju, Kasperski naglašava da su rezultati koje vidite u tabeli rezultat njegovih ličnih preferenci. Svako ima svoje prioritete, smatra Kasperski.

“Ne uzimajte kao jevanđelje sve što pročitate u testovima, naročito njihove rezultate,” zaključuje Kasperski. U svom poznatom šaljivom tonu on dodaje: “Praktično svi uporedni testovi se ne bave težinom kriterijuma, već stavljaju jabuke i narandže, kruške i breskve i banane i hrčkove na gomilu - kao da je sve to isto.”

Njegov savet je da se ne oslanjate samo na jedan test, već da razmotrite nekoliko opcija, a preporuka Kasperskog su AV-Test, AV-Comparatives, Anti-Malware Test Lab, Virus Bulletin i Matousec.

Nastavak sutra u tekstu: “Sveti Gral AV testova i zašto nikada neće biti pronađen”.