Rechercher
Contactez-nous Suivez-nous sur Twitter En francais English Language
 











Abonnez-vous gratuitement à notre NEWSLETTER

Newsletter FR

Newsletter EN

Vulnérabilités

Se désabonner

ESET : Pourquoi des résultats de tests d’éfficacité d’antivirus peuvent être trompeurs

décembre 2012 par ESET

C’est déjà arrivé dans le passé, cela arrive encore aujourd’hui et cela se reproduira inévitablement dans l’avenir. Certaines sociétés qui ont besoin d’obtenir une couverture médiatique ou de la notoriété, publieront d’autres déclarations sur l’inutilité des antivirus, en fonction de leurs propres tests de dysfonctionnement.

Pour ce "test", Imperva s’est fondé sur le service VirusTotal. Ce service a certainement de l’intérêt, mais ne permet en aucun cas de servir de base pour un test de performances d’antivirus. En premier lieu, VirusTotal utilise uniquement les scanners en ligne gratuits des solutions des différents éditeurs du marché. Même si une nouvelle menace n’est pas détectée par le scanner en ligne, cela ne signifie pas qu’elle ne serait pas arrêtée par une autre fonctionnalité intégrée à la solution complète de sécurité. Aujourd’hui, il n’existe pas de fournisseur traditionnel qui offre uniquement à ses clients, la fonction d’analyse en ligne. Toutes les solutions modernes proposées sur le marché sont des suites de sécurité qui associent de nombreux composants supplémentaires, tels que l’Anti-Phishing, Anti-Rootkit, Anti-Spam, IDS, (H)IPS, etc. Ainsi, tous les types de technologies de sécurité ne se reflètent pas dans le résultat de VirusTotal.

En outre, certaines des solutions incluses dans VirusTotal sont configurées selon les paramètres demandés par l’éditeur, avec un niveau plus agressif dans l’analyse heuristique que dans la configuration par défaut officiellement proposée à l’utilisateur final. Cela peut conduire à une détection erronée, alors que la configuration par défaut n’aurait jamais permis de détecter la menace, de sorte que l’usage de VirusTotal peut s’avérer réellement trompeur pour comparer les performances entre les solutions.

Le fait d’employer différentes solutions qui opèrent avec des paramètres différents, entraîne inévitablement différents niveaux de traitement heuristique contradictoires. C’est une pratique courante au cours de tests anti-malwares, mais par la suite, ces paramètres différents sont le résultat de l’utilisation de ce qu’on appelle les configurations « out-of-the-box ». En d’autres termes, les éditeurs qui les ont définis les considèrent comme la meilleure configuration utilisateur. Il n’est pas déraisonnable de tester de cette manière, à la condition qu’il soit clair pour le public que ce qui est testé n’est pas un critère de détection absolue, mais une méthode de configuration. Une meilleure façon de tester globalement la détection est de modifier pour chaque solution le niveau d’analyse heuristique afin qu’il soit équivalent entre les différentes solutions.

Cependant, peaufiner certaines solutions plutôt que d’autres, revient à obtenir des résultats qui équivalent à comparer des pommes et des oranges. VirusTotal est impropre à la comparaison des solutions, car pour l’essentiel, c’est ce qu’il fait. Mais ceci est bien entendu, logique puisque VirusTotal n’a pas été conçu pour réaliser des comparatifs.

L’importance de comparer des choses comparables dans un environnement de tests a déjà été décrite en 2008, dans un guide sur les principes fondamentaux de tests, édité dans un document de l’AMTSO (Anti-Malware Testing Standards Organization). http://www.amtso.org/documents.html

Par ailleurs, il n’est absolument pas correct de comparer les versions grands public avec celles qui sont dédiées aux entreprises. Imperva invite effectivement les entreprises à utiliser notamment le logiciel gratuit Avast. Bien qu’il n’y ait aucun mal à employer Avast, la version gratuite est exclusivement destinée à un usage privé et non aux entreprises. La plupart des versions gratuites spécifient clairement, lors de l’acceptation des conditions d’usage du logiciel pendant l’installation, que le logiciel ne doit pas être employé dans un cadre professionnel.
En effet, dans un environnement professionnel, les solutions antivirus sont notamment gérées à travers une console d’administration centralisée afin de pouvoir disposer d’un système de configuration et de reporting à l’échelle de l’entreprise.

D’autre part, dans les environnements d’entreprise, les seuils d’analyse heuristique peuvent être plus élevés que dans les versions gratuites dédiées au grand public. En d’autres termes, la détection heuristique dans un environnement d’entreprise est susceptible d’être moins agressif, afin de réduire le risque de faux positifs. Un faux positif dans un environnement d’entreprise peut rendre inopérant l’ensemble du réseau et causer des dommages préjudiciables ou provoquer parfois une gêne passagère qui peut être coûteuse. La plupart du temps, les seuils heuristiques sont beaucoup plus faibles pour les antivirus gratuits. Un faux positif est généralement considéré comme ayant un impact très faible, en revanche il apporte une information précieuse sur le degré de vulnérabilité pour la version professionnelle.

David Harley, chercheur chez ESET, a publié un document qui analyse en détail les problèmes qui apparaissent avec un test qui fait preuve d’une certaine incohérence entre l’objectif du test décrit et la méthode utilisée.

http://www.smallblue?greenworld.co.uk/AV_comparative_guide.pdf
http://go.eset.com/us/resources/white-papers/cfet2011_multiscanning_paper.pdf

Julio Canto de VirusTotal / Hispasec Sistema et David Harley d’ESET ont écrit un article sur ce sujet, intitulé « Man, Myth, and Multi-Malware Scanning » . Dans cet article apparaît la remarque suivante : « VirusTotal n’a pas été conçu comme un outil permettant d’effectuer des analyses comparatives d’antivirus, mais pour vérifier des échantillons suspects avec plusieurs moteurs de détection, et pour aider les laboratoires d’antivirus en leur transmettant les malwares qu’ils ont échoués à détecter. »

« Pourquoi ne pas utiliser VirusTotal : Ce service agrège un groupe de moteurs de détection très hétérogènes. Ainsi, les solutions d’antivirus peuvent implémenter des fonctionnalités à peu près équivalentes mais de manière extrêmement différentes, et VirusTotal n’exerce pas toutes les couches de fonctionnalités qui peuvent être présentes dans une solution moderne de sécurité. VirusTotal emploie la version de scan en ligne qui affecte également le contexte d’exécution, ce qui peut expliquer pourquoi la solution ne parvient pas à détecter une menace, alors qu’elle permettrait de la détecter dans un contexte plus réaliste. Il utilise les paramètres proposés par les éditeurs d’antivirus. Si l’on considère cela comme un (pseudo) test, alors cela signifie que l’on teste la manière employée par les éditeurs pour définir la configuration par défaut et, dans ce cas, l’objectif du test n’est pas la performance. Certains produits sont destinés à des passerelles qui sont configurées en fonction de présomptions très différentes de celles qui régissent la configuration des postes de travail. »

Conclusion

VirusTotal se décrit lui-même comme un outil et non comme une solution. Son fournisseur est une entreprise hautement collaborative, permettant à l’industrie et aux utilisateurs de s’entraider. Comme avec n’importe quels autres outils (en particulier ceux provenant de sites publiques qui proposent des multi-scans), il est mieux adapté à certains contextes que d’autres. Il peut être utilisé pour une recherche utile ou être utilisé à des fins pour lesquelles il n’a jamais été destiné, et le lecteur doit avoir un minimum de connaissances et de compréhension pour interpréter correctement les résultats. Avec des outils qui sont moins impartiaux à l’origine, et / ou moins largement documenté, le risque de malentendus et de mauvaise utilisation est encore plus grand.

Ce ne sont que quelques exemples illustrant pourquoi l’utilisation de VirusTotal pour un test d’antivirus est une mauvaise idée. Nos collègues de l’équipe de développement de la solution PrevX ont également lancé une discussion à ce sujet sur leur blog :
http://www.prevx.com/blog/106/Why-using-VirusTotal-for-AV-testing-is-a-bad-idea.html


Voir les articles précédents

    

Voir les articles suivants