Les scanners de sécurité sont tous très différents. Et parce que les fonctions pour lesquelles ils sont destinés, et en raison de leur «double» utilisation (« Protection » et «l’Attaque»), aussi parce que, chaque instrument véhicule la pensée de son créateur (Un Hacker).
1- Introduction
Une approche fondée sur la comparaison a été adopté «sur des objectifs», donc, les résultats ne peuvent être jugés, que si un outil est adapté à ses objectifs. Par exemple, un scanner de sécurité de réseau peut être utilisé:
- Pour l’inventaire des ressources du réseau;
- Au cours de «tests de pénétration»;
- Dans le processus de contrôle de la conformité des systèmes avec diverses exigences.
Ce document (en russe ) présent les résultats de la comparaison des scanners de sécurité réseau au cours des testes de pénétration dans un périmètre prédéfini .
On calcule :
- Le nombre de vulnérabilités découvertes
- Le nombre de faux positifs
- Le nombre de passes (faux négatifs)
- Motifs passe
- L’exhaustivité des contrôles (dans le cadre de la tâche)
- La qualité de l’inventaire des machines et la version du logiciel
- La précision du scanner (dans le cadre de la tâche)
Ces critères caractérisent collectivement «la vivacité » d’un scanner, est l’automatisation de la routine des actions dans l’audit de la sécurité du périmètre réseau.
2–Sondage
Avant de commencer à comparer les scanneurs le portail Securitylab.ru à fait un sondage, dont le but était de recueillir des données sur les scanner et les tâches pour lesquelles ils sont utilisés.
Les Répondant aux questions sur l’utilisation des scanners de sécurité spécialisés déclarent qu’ils les utilisent comme des outils d’analyse Web (68%), scanners des SGBD (30%) et en troisième position (2%) pour les analyses de la sécurité des systèmes d’information
Les résultats ont montré que la plupart des organismes préfèrent utiliser le produit XSpider de positifs Technologies (31%) et Nessus (17%)
suivie de shadow Security scanner ,Retina , GFI languard , en dernière position Qualys avec 2 % .
A partir de ces données les chercheurs ont choisi 6 applications pour les tests de comparaison :
Nom | Version | Lien |
Nessus | 3.2.1 | http://www.nessus.org/download |
MaxPatrol | 8.0 (Build 1178) | http://www.ptsecurity.ru/maxpatrol.asp |
Internet Scanner | 7.2.58 | http://www-935.ibm.com/services/us/index.wss/offering/iss/a1027208 |
Retina Network Security Scanner | 5.10.2.1389 | http://www.eeye.com/html/products/retina/index.html |
Shadow Security Scanner (SSS) | 7,141 (Build 262) | http://www.safety-lab.com/en/products/securityscanner.htm |
NetClarity Auditor | 6.1 | http://netclarity.com/branch-nacwall.html |
3 -Identification des services et des applications
Le score le plus élevé (108) MaxPatrol, un peu moins de (98) pour Nessus. En effet, ces deux scanners ont des procédures d’identification de services et d’applications de très haute qualité.
Viennent ensuite Retina (80 points) et Shadow Security Scanner (79 points), ils ont «échoué» à identification des services et des applications. Vien ensuite IBM Internet Scanner, son mauvais résultat se comprennent, car, Internet Scanner est axé sur l’usage des ports pour les applications standard. Enfin, les pires performances et celle du scanner NetClarity.
2 – Identification des vulnérabilités
La figure 6 montre le nombre total des vulnérabilités trouvées par les scanners et le nombre de faux positifs. Le plus grand nombre de vulnérabilités ont été découvertes par MaxPatrol . Nessus en deuxième position (avec déjà une grande marge). Shadow Security Scanner. Le chef de fil des faux positifs.
Au Total et sur les 16 sites audités les scanners devaient trouvés 225 vulnérabilités. 155 sur 225 possible – ont été trouvé par MaxPatrol . Nessus, internet scanner , puis NetClarity.
Les causes pour lesquelles les scanneurs on « laissez-passer » des vulnérabilités ont été séparés en deux 2 partie :
ceux qui ont été omise en raison d’un manque de Signatures dans leur base de données. Et ceux omis à causes des scanners de vulnérabilités eux même.
Cette figure représente le nombre de faux positifs par rapport au nombre total des vulnérabilités découvertes, ce qui donne, la précision du scanner. C’est très important Pour l’utilisateur, car il se base principalement la liste de vulnérabilités découvertes et tout dépend de l’exactitude de cette liste,
Ce graphique montre que la plus grande précision (95%) a été réalisée par le scanner MaxPatrol. Même avec un nombre de faux positifs, le taux de précision est atteint avec un grand nombre de vulnérabilités découvertes. Suivie par Internet Scanner qui a révélée le plus petit nombre de faux positifs. Le résultat le plus bas et celui de SSS, sans surprise, avec un si grand nombre de faux positifs réalisée pendant la comparaison.
Une autre évaluation – celle de l’exhaustivité . Est calculé sur la base du nombre de vulnérabilités découvertes correctement sur le nombre total de vulnérabilités et décrit l’ampleur de «passe».
3. Résumé
Tableau 2. Les résultats définitifs des audits
Indicateur | MaxPatrol | Internet Scanner | Retina | Nessus | Shadow Security Scanner | Net Clarity Auditor |
Identification des services et des applications, des dizaines | 108 | 66 | 80 | 98 | 79 | 54 |
nombre Trouvé de vulnérabilités | 163 | 51 | 38 | 81 | 69 | 57 |
faux positifs | 8 | 3 | 4 | 7 | 36 | 14 |
Vulnérabilité Trouvé correctement (sur 225 possible) |
155 | 48 | 34 | 74 | 33 | 43 |
Nombre de Saut (faux négatifs) |
70 | 177 | 191 | 151 | 192 | 182 |
en raison de l’absence d’une base de données | 63 | 170 | 165 | 59 | 150 | 179 |
De ceux causés par la nécessité d’authentifier | 0 | 6 | 16 | 36 | 0 | 0 |
Pour d’autres raisons | 7 | 1 | 10 | 56 | 42 | 3 |
4. Conclusion
4.1 Les gagnants MaxPatrol et Nessus pourquoi ?
En premier lieu tous les critères de comparaison on élu MaxPatrol en premier position, et en deuxième lieu Nessus , les résultats des autres scanners sont sensiblement plus faible.
Il est pertinent de rappeler que l’un des documents préparés par l’Institut national des normes et de la technologie des Etats-Unis (NIST), «Guideline on Network Security Testing» stipule que lors du contrôle des systèmes informatiques, l’utilisation de deux des meilleurs scanners de sécurité est recommandé.
Dans les résultats : rien d’inattendu ou surprenant. Ce n’est pas par hasard que les scanners XSpider (MaxPatrol) et Nessus sont populaires parmi les experts en sécurité, ainsi que parmi les « hacker ». Cela est confirmé par les résultats ci-dessus.
Essayons d’analyser les raisons de l’apparente supériorité de MaxPatrol,nessus ainsi que les raisons «d’infériorité » des autres scanners.Les Résultat des contrôles sont fondées sur l’exactitude de la collecte d’informations. Ainsi l’identification des services et des applications dans MaxPatrol est pratiquement porté à la perfection.
La deuxième raison du succès de MaxPatrol – est basé sur son exhaustivité et sa pertinence par rapport à la tâche . Car la base de données des contrôles dans MaxPatrol est considérablement large et détaillé, avec une «banque» pour la partie web et l’extensions des inspections dans d’autres domaines, par exemple, on a été impressionné par les résultats de la recherche, par rapport au routeur Cisco.
La troisième raison – une analyse qualitative en tenant compte de la version des systèmes d’exploitation, les distributions Linux et les différentes «branches». Vous pouvez également ajouter et utiliser une variété de sources (base de données de vulnérabilités, des avis et des bulletins «fournisseurs»).
Les manques et les «faiblesses».
Puisque MaxPatrol a été le 1er, les critiques contre lui seraient «maximales».
Tout d’abord, il soufre du syndrome du «perdu dans le détail». Avec une très haute qualité du moteur, il est important d’offrir des services supplémentaires, tels que des outils pour exécuter des taches manuellement pour trouver des vulnérabilités, MaxPatrol marche sur l’idéologie du «clique et travaille». D’une part, ce n’est pas mauvais, d’autre part –ça limite les testes «méticuleux».
Deuxièmement, dans certains cas, l’absence de base de comparaisons entre deux informations : Par exemple, le système d’exploitation host4 a été identifié comme Windows, mais «le vendeur» du service PPTP comme Linux : La conclusion?
troisiemment, La description des contrôles laisse beaucoup à désirer. Mais il faut dire que traduction en russe de toutes les descriptions est une tâche très laborieuse.
La principale raison du retard de Nessus –est le manque de vulnérabilités, mais pas à cause de manque de contrôles dans la base, comme la plupart des autres scanners, mais à la nature de la mise en œuvre. Le scanner Nessus est développé pour des Scan dans le «local», impliquant un lien avec votre compte. Deuxièmement, le scanner Nessus représentait une source d’information moindre sur les vulnérabilités. Comme le scanner SSS, basé principalement sur la base de SecurityFocus
5. Limites de cette comparaison
Les scanners ont été testées dans le cadre d’une seul problématique – l’étude du périmètre le d’un réseau et sa résistance à la piraterie. Mais il existe d’autres tâches: Dans un avenir proche, est prévu de procéder à une comparaison des scanners en traitant de questions telles que:
- Conduite d’audit de l’usage de votre compte
- L’évaluation de la conformité des exigences de PCI DSS
- Windows-scanning systèmes
Il est également prévu de procéder à une comparaison des scanners sur des critères formels.
Au cours de cette comparaison seul le «moteur» été testé. Il est possible de tester d’autres services (rapports, enregistrer des informations du scan, etc.) .
Aussi, on n’a pas évalué les risques et les opportunités pour l’exploitation des vulnérabilités découvertes. Certains scanners ont identifié des vulnérabilités «mineur» à faible risque, tandis que d’autres ont identifié des vulnérabilités « critiques » pour avoir accès au système.
Bonne article, très intéressant. Merci de nous en avoir fait part, à nous pour qui la langue russe est étrangère. Dommage que des prétendants comme Qualys n’aient pas été pris en compte. Les plus utilisés ne sont pas forcément les meilleurs… D’autre part on peut se poser la question de l’objectivité. C’est étrange que le produit national se retrouve si en avant dans tout les domaines ;).
Une petite remarque quand à votre article : vous dites « Les causes pour lesquelles les scanneurs on « laissez-passer » des vulnérabilités ont été séparés en deux 2 partie », or je constate trois voir quatre couleurs différente sur le graphique. Quel couleur correspond à quoi ?
Merci pour ce travail !
Merci pour ton commentaire , pour les couleurs ça inclus les faux positive et les vrai négatifs. Pour Qualys il n’est pas consideré comme « Application Security Vulnerability Scanners » d’ailleurs dans le rapport de garthner de 2006 : http://www.gartner.com/DisplayDocument?doc_cd=138676 il n’y est pas non plus mais on peux le trouver en tête de liste dans les « Vulnerability Assessment » http://mediaproducts.gartner.com/reprints/qualys/156038.html qui est une catégorie plus globale .