I.E8 meilleur que Firefox, Chrome… : tests bidons ou bidonnés?

Partager sur Viadeo | | 

Internet, Logiciels, Réseaux, Sécurité, Tests

Par : edouard - Jeudi 26 mars 2009 à 20:48

Depuis quelques jours, toute la presse IT se fait le relais de tests de résistance des navigateurs. Microsoft I.E.8 arrive en tête. Devinez pourquoi…Il suffit de s’appeler “Labs quelque chose” et ça marche - n’oubliez pas le “s”, car ça fait plus riche encore. Prenez par exemple SSS Labs - cela évoque “Science, Secret, Special Services”.  ou avec un N, ca pourrait donner “National secret service”.  Parfait! Proposez de comparer les performances de nouvelles versions de logiciels. Choisissez de préférence quelque chose d’attractif, quelque chose qui se ‘customize’ (on s’y attache, on a des partis pris) - comme les navigateurs sur Internet.
Allez trouver les directeurs marketing/pub des éditeurs qui comptent sur la planète (les 5 doigts de la main vous suffiront) et proposer-leur de payer votre étude comparative.
Si vous en avez 4 qui financent le même montant, bonne chance pour les classer. Mais vous y pourrez y arriver: vous ferez deux ex-aequo, deux deuxièmes encore  ex-aequo. Et comme il faut bien un dernier, vous avez le 5è, tout trouvé - c’est celui qui n’a pas encore réglé l’avance de 30% et et qui risque de pas payer du tout, pardi!
Si vous avez deux sponsors principaux seulement, l’exercice est plus corsé! Vous allez vous fâcher avec l’un des deux, vous allez choisir celui que vous risquez de ne pas revoir de sitôt, parce qu’il n’acceptera pas d’avoir été classé 2ème, compte tenu du prix qu’il a payé!

Mais il y a un moyen d’éviter ce genre de déconvenue. Ne perdez pas de temps! Allez directement trouver le plus riche, le plus puissant de ces éditeurs de logiciels - pas difficile de le désigner - et mettez-lui tout simplement le marché entre les mains: “Vous êtes l’unique sponsor, cela vous coûte un peu, mais vous avez la garantie d’être classé… premier!”

Cela ressemble fort à la situation qu’aurait peut-être vécu un labo de tests -NSS Labs, aux Etats-Unis. Il vient de publier un test de robustesse mettant en compétition Internet Explorer 8 RC1, Internet Explorer 7, Mozilla Firefox 3.07, Apple Safari 3, Google  Chrome 1.0.154 et Opera 9.64.
Il aurait conduit la bagatelle de 141 tests, représentant 282 heures de test (toutes les 2 heures pendant 12 jours!). Le verdict est tombé: I.E8 arrive largement en tête: il reçoit le titre de “navigateur le plus sécurisé” de la planète. On serait prêt à y croire: autant de labeur, autant de journées à tester, à re-tester - ce ne peut être que du solide.
Ne finassons pas sur le fait que le labo n’ait pas testé des sites qui attaquent les navigateurs sans intervention de l’utilisateur… - une pratique pourtant très courue chez les ‘hackers’ qui s’insinuent lors de téléchargements de simples ‘players’.
Ne nous demandons pas non plus  pourquoi, quelques jours auparavant, un concours de ‘hackers’, à l’occasion de la convention CanSec qui réunit des invétérés de la sécu, a classé Chrome de Google comme “le plus sûr”, devant IE8 et devant Firefox. Une seule vulnérabilité aurait été découverte sur le navigateur de Google, mais aucun “expert hacker” n’est parvenu à l’exploiter.

Non, ne pinaillons pas. La fin de l’histoire se suffit à elle-même. Notre respectable et respecté confrère Computerworld, rendant compte de ces classements, a découvert que le test de NSS Labs, ayant élu I.E.8 au dessus de la mêlée, a été sponsorisé par un seul généreux donateur: Microsoft soi-même!
Pour se justifier les responsables de  NSS Labs ont expliqué que, habituellement, ils ont plusieurs “contributeurs financiers” mais qu’effectivement dans le cas de ce test, le sponsor était unique. Sans plus de commentaires.

Un peu circonspect, bien que de nationalité américaine, un consultant du Gartner group, tout en admettant que le NSS labs avait jusque là plutôt bonne réputation, avertit: “Vous devez lire ces résultats d’un mauvais oeil ['jaundiced eye']“.  Et d’expliquer aussi que la méthodologie du test pose question car elle est “éloignée des usages courants des navigateurs par les utilisateurs“. Selon lui, les résultats de ce genre de tests ne peuvent qu’être très proches les uns des autres, car les modules anti-malwares de Firefox, Chrome et Safari, par exemple, interrogent les mêmes bases de données de ‘blacklisting’… (comme Google’s SafeBrowsing API).
Interrogé sur ce point, le responsable du labo a invoqué des “implémentations certainement différentes”… Et à propos du poids encombrant de ce sponsor unique, le même responsable du NSS labs a répondu : “It was not a comfortable feeling…” Ah, tiens, quelques scrupules.

Fâcheux, n’est-ce pas ? A vous dégoûter à tout jamais de lire des tests de labos!
Cela dit, on pourra toujours nous prouver à nouveau qu’effectivement I.E.8, dernière version, est efficace, car doté, tout récemment et tout justement, du module “SmartScreen filter” qui filtre précisément presque tous les ‘malwares’, surtout les plus récents, et pas seulement le ‘phishing‘ (hameçonnage) -ce que la plupart des autres font. Firefox a introduit un module équivalent mais il date de juin dernier.
Bref, nous ne douterons pas qu’IE8 ait été capable de bloquer 69% des 492 sites infestés, contre seulement 30% pour Firefox, et 24% seulement pour Safari (ce qui est déjà pas si mal, car il n’y avait pas de module rapporté).  Et on nous expliquera sans doute que  si Chrome n’obtient que 16%, cela tient à sa jeunesse, à son immaturité bien excusable, n’est-ce pas?

Non, nous ne douterons pas. Mais nous tenterons une autre hypothèse. Pourquoi ne pas imaginer l’inverse? Le labo a mené ces tests avec la toute dernière version, la plus récente, la mieux pourvue d’I.E8, et sur une certaine liste de sites web, et est donc, naturellement, elle est effectivement arrivée en tête. Et c’est alors que Microsoft aurait pu être sollicité, donc a posteriori, par le labo: “Tenez voici les résultats: excellents pour vous! Ils ne sont pas encore publiés. Seriez-vous susceptibles de participer aux frais ?”
Allez savoir - en période de crise… C’est l’une ou l’autre version. Au fait, à quand le prochain test d’I.E.8?..

Partager sur Viadeo | | 

• Accueil
• Imprimer
• Commentaire sur cet article