Regardons les choses autrement : comment évaluez-vous la performance et les capacités d’un joueur de baseball ?

Auparavant, les entraîneurs étaient responsables d’échanger, d’acheter ou de vendre les joueurs en fonction de leur intuition, de la force du joueur et de ses RBI (points produits). Malgré les millions de dollars en jeu, pendant plus de 100 ans, l’évaluation des joueurs était un jeu de devinettes.

Si vous connaissez Moneyball, le best-seller de Michael Lewis sorti en 2003, vous savez déjà que l’évaluation d’un joueur repose davantage sur une science empirique que sur un jeu de devinettes astucieux. Son analyse de l’utilisation, par le baseball de la Ligue majeure des États-Unis, d’une méthode statistique appelée sabermétrie prouve que, pour mesurer avec précision la performance d’un joueur, de nombreux indicateurs complexes doivent être analysés et décortiqués. Bien que cette méthode ne soit pas parfaite, elle est beaucoup plus fiable, ce qui est crucial lorsque quelque chose implique d’importantes sommes d’argent. Tout comme dans le sport, en matière de sécurité, et en particulier de phishing, il y a beaucoup d’argent en jeu. C’est pour cette raison que chez CybeReady, nous aimerions vous présenter quelques informations obtenues alors que nous développions « La sabermétrie du phishing », qui permet à nos clients de voir leur performance réelle (le risque que leur organisation subisse des attaques de phishing et l’amélioration réelle permise par la formation).

Mesurer la réussite de la sensibilisation au phishing

Comment évaluez-vous la réussite d’un programme de sensibilisation au phishing ?
Bien sûr, le taux de clic est un outil qui permet de faire des comparaisons pour voir si un programme de formation fonctionne ou non et pour connaître le niveau de menace actuel de l’organisation. Mais qu’est-ce qu’il nous dit réellement ? Le taux de clic, utilisé comme unique indicateur, permet-il de mieux comprendre les risques associés au comportement de vos employés ? Ou alors, utilisons-nous autant la subjectivité que les équipes de baseball pendant des décennies ? Le fait de se limiter à un seul indicateur en pensant que celui-ci apportera des informations simples et immédiates ne nous permet pas de mieux comprendre les choses.

Explication du faux raisonnement derrière le taux de clic

Pour illustrer cela, analysons deux organisations : la société A et la société B. Chacune compte 100 employés. Dans chaque société, 10 employés tombent dans le piège des simulations de phishing chaque mois ; chaque société a donc un taux de clic constant de 10 %. Ce taux indique qu’il n’y a aucune amélioration au sein de ces sociétés.

Mais voilà, au sein de la société A, ce sont toujours les 10 mêmes employés qui cliquent sur les liens et qui tombent dans le piège de la simulation. Cela signifie que 90 employés connaissaient l’existence des e-mails de phishing et étaient prêts ; en revanche, 10 employés n’ont pas progressé, ce qui est évident lorsque l’on analyse le taux de clic. Par contre, au sein de la société B, ce sont toujours des personnes différentes qui tombent dans le piège. La différence est la suivante : aucun employé ne tombe dans le piège plus d’une fois.
Pour la société B, le résultat apporté par la formation est très bon, mais nous ne pouvons arriver à cette conclusion en regardant uniquement le taux de clic. Bien que le taux de clic des deux sociétés soit resté le même, le niveau d’apprentissage et d’assimilation du message du programme est complètement différent.

Aller au-delà du taux de clic

Alors, si vous ne pouvez faire confiance au taux de clic, utilisé comme unique indicateur, comment pouvez-vous mesurer correctement la réussite ? Quels indicateurs pourriez-vous utiliser en plus du taux de clic pour bien comprendre si votre programme de formation atteint ses objectifs ou non ? Comment pouvez-vous déterminer si la capacité de vos employés à éviter les tentatives de phishing à chaque fois qu’elles se présentent s’est améliorée ?
Pour déterminer cela de manière précise, vous devrez évaluer la période, la variété des e-mails et la population ayant reçu les e-mails afin de bien comprendre la situation. Voyons comment, en utilisant chacun de ces indicateurs, il est possible de mieux comprendre la performance de votre propre équipe.

Période :
Par exemple, comparez les résultats de la 7ème simulation avec ceux de la 3ème simulation. Cela permettra de déterminer si vos employés assimilent de mieux en mieux le message de la formation.

Variété :
Comme dans la réalité, aucune arnaque de phishing se ressemble, vous devez déterminer comment les employés se défendent face à une grande variété d’e-mails, plutôt que face aux mêmes modèles d’e-mails. Par exemple, ils ont peut-être tendance à être plus prudents lorsqu’il s’agit de messages portant sur des avantages perçus, comme « Cliquez ici pour bénéficier d’un voyage gratuit à Cancun ! » En revanche, les e-mails de menace qui semblent provenir du PDG, du service informatique ou d’agences d’application de la loi ont tendance à provoquer des réponses et réactions différentes.

Population :
Les employés changent. Il est donc important de déterminer si vous analysez le même groupe de personnes ou s’il y a de nouveaux employés à prendre en compte. Les nouveaux employés n’ont pas la même capacité d’apprentissage. Il n’est donc pas raisonnable d’attendre le même niveau de maturité dans l’apprentissage des nouveaux employés que de ceux qui sont dans un processus de simulation depuis plus longtemps.
Ces indicateurs n’en sont qu’à leurs débits. D’autres doivent être analysés pour comprendre en profondeur les risques et les réussites de votre entreprise. Mais le fait de savoir que le taux de clic, utilisé comme unique indicateur, n’est pas suffisant est la première étape pour obtenir cette clarté.

Utiliser les indicateurs corrects pour changer les choses

Nombre de nos clients nous ont posé la même question concernant les mesures. CybeReady permet aux entreprises de transformer leur culture de la sécurité en garantissant la préparation cybernétique continue des organisations contre les menaces de phishing. Notre solution de préparation au phishing propose une formation sur la sécurité et le phishing dans toute l’organisation à travers une variété de simulations adaptées en plus de 35 langues et automatisées. Mais les défis posés par les données nous ont invités à prendre des résolutions. C’est pour cela que nous avons créé le système d’indicateurs de CybeReady : un nouvel algorithme qui traite le big data tout en utilisant l’indicateur du taux de clic comme un indicateur parmi tant d’autres pour quantifier le niveau de risque de phishing au sein de l’organisation et exposer l’apprentissage réel caché de l’organisation.

L’utilisation de la sabermétrie a permis de faire en sorte que les classements au baseball soient basés sur la science plutôt que sur l’intuition. Ce processus a permis de changer le visage de ce sport. Lorsqu’il s’agit d’aider votre organisation à éviter des attaques de phishing, vous avez aussi besoin de la science pour guider vos efforts plutôt que de l’intuition. Il est maintenant temps d’arrêter de faire une fixation sur le taux de clic et de commencer à comprendre si vos efforts de sensibilisation au phishing portent leurs fruits ou pas.