Rechercher
Contactez-nous Suivez-nous sur Twitter En francais English Language
 

De la Théorie à la pratique











Abonnez-vous gratuitement à notre NEWSLETTER

Newsletter FR

Newsletter EN

Vulnérabilités

Se désabonner

Renaud Lifchitz : Quid de l’objectivité et l’image de la qualification PASSI en France ?

février 2020 par Marc Jacob

Le PASSI « Prestataire d’Audit de la Sécurité des Systèmes d’Information qualifié » est une qualification proposée par l’ANSSI pour qualifier les prestataires sérieux de conseil en sécurité des systèmes d’information, notamment dans le cadre de missions sensibles dans les ministères ou chez les OIV (« Opérateurs d’Importance Vitale », les structures publiques ou privées indispensables au bon fonctionnement de l’État) en France. Un seul organisme le LSTI est aujourd’hui habilité à faire passer cette qualification. Cette qualification est nominative mais en cas de changement d’employeur doit être repassée par l’expert qui l’a demande. Renaud Lifchitz, un expert en sécurité bien connu dans le monde de la SSI, s’est vu recaler en 2016 à cette examen alors qu’un an auparavant en 2015 il l’avait obtenu. Depuis, il n’arrive pas à obtenir la justification de son recalage. Il explique dans cette interview exclusive ses tribulations face au LSTI et à tous les intervenants concernés.

GS Mag : Pouvez-vous nous expliquez à quoi sert d’obtenir une qualification PASSI ?

Renaud Lifchitz : Le PASSI (pour « Prestataire d’Audit de la Sécurité des Systèmes d’Information qualifié ») est une qualification proposée par l’ANSSI pour qualifier les prestataires sérieux de conseil en sécurité des systèmes d’information, notamment dans le cadre de missions sensibles dans les ministères ou chez les OIV (« Opérateurs d’Importance Vitale », les structures publiques ou privées indispensables au bon fonctionnement de l’État) en France.

Le PASSI nécessite pour les prestataires l’adoption de politiques de sécurité physiques et logiques strictes, et pour plusieurs de ses consultants cybersécurité, une connaissance détaillée de la mise en œuvre d’audits (standard ISO 19011) et de connaissances opérationnelles poussées autour du RGS (« Référentiel Général de Sécurité », https://www.ssi.gouv.fr/administrat...) et des audits techniques et/ou organisationnels de cybersécurité. Avec l’explosion du marché de la cybersécurité ces 15 dernières années, c’est un gage de sérieux dans le choix d’un prestataire de qualité qui est de plus en plus demandé dans les appels d’offres, là où même le PASSI n’est pas obligatoire.

GS Mag : Vous avez publié une lettre ouverte sur les réseaux pour expliquer vos échanges avec le LSTI, pouvez-vous nous résumer les faits ? Vous avez dénoncé plusieurs irrégularités dans l’examen du PASSI qui aurait posé des problèmes non seulement à vous, mais à d’autres candidats, quelles sont-elles ?

Renaud Lifchitz : Tout à fait. J’ai eu l’occasion de passer la qualification PASSI chez mon ancien employeur en 2015, puis chez mon actuel en 2016, la qualification étant attachée à l’employeur du candidat. Le passage de la qualification PASSI repose en 2 étapes : un examen écrit et un examen oral par un jury, si l’écrit de la portée correspondante est validé. À chaque fois, j’ai décroché toutes mes portées à l’écrit, qui ne m’a pas beaucoup posé de problèmes avec alors 12 ans d’expérience dans le métier (15 ans aujourd’hui). Par ailleurs, l’écrit est bien cadré, avec des questions fermées et ouvertes sur toutes les portées, et un barème clair (bien que le candidat ne connaisse jamais ses notes, mais simplement s’il a eu chaque portée ou non, ce qui manque de transparence…). Les problèmes ont par contre été multiples et totalement aberrants pour ces passages des oraux suivants :
- Des questions totalement hors-sujet sur le PASSI (des questions sur mon étude sur les cartes bancaires sans contact, des questions sur l’inforensique à la place de questions sur les tests d’intrusion, …).
- Des membres du jury qui ont toujours eu moins d’années d’expérience professionnelle que moi sur les sujets, et qui sont censés juger de mon expérience.
- Des conflits d’intérêts avec ces membres de jury (je suis tombé sur un client et un sur un de mes stagiaires que j’avais moi-même formé…), sans parler que beaucoup d’entre eux sont… des concurrents ! (qui n’ont évidemment aucun intérêt à certifier davantage de concurrents)
- Des incohérences de résultats de cet examen avec l’expérience professionnelle du candidat : pourquoi certifier un candidat sur toutes les portées car il « justifie d’une grande expérience », puis 1 an après lui dire « qu’il manque d’expérience » ? Pourquoi les 2 seules dernières portées qui m’ont été accordées sont celles où j’ai effectué le moins de missions et que je maîtrise les moins ? Si l’objectif du PASSI est de refléter les connaissances et la méthodologie du candidat, c’est complètement raté.
- Des jurés qui posent des questions parfois peu claires et sans préciser la portée examinée (mon dernier oral a été un challenge pour essayer de comprendre les questions et là où les jurés voulaient en venir tant les questions étaient à plusieurs sens). Mes réponses étaient en grande majorité cohérentes mais pas celles attendues et j’ai été durement sanctionné, en grande partie car les jurés n’ont pas su se faire comprendre…
- Des procédures de recours inexistantes ou volontairement impossibles à mettre en œuvre : LSTI fait signer au candidat une charte de confidentialité qui lui empêche de parler à quiconque du contenu des examens et exige que ce ne soit pas lui, mais son employeur qui exerce d’éventuels recours. Hors l’employeur n’est présent ni témoin à aucun des ces examens et ne pas être informé de son contenu par le candidat, il n’a donc pas le moindre élément pour constituer son recours…
- Plusieurs infractions au RGPD ont lieu durant ces oraux.
- Une portée orale payée par mon employeur n’a jamais été examinée par le jury en raison d’un retard et « d’un manque de temps ». La loi est très claire sur le sujet, LSTI doit procéder au remboursement de cette prestation payée, mais non réalisée.

En conclusion, l’oral du PASSI organisé par LSTI souffre de nombreuses lacunes avec un processus à chaque fois mal ficelé, et des résultats tout aussi arbitraires, et ce, pour de nombreux candidats. L’oral devrait servir à être complémentaire à l’écrit, à traiter les sujets non couverts ou non compris par le candidat, pas à lui retirer des écrits qu’il a parfaitement réussis en raison d’une mauvaise organisation de ces oraux !

Après une lettre recommandée adressée à la présidente de LSTI le 15 mai 2019 et restée sans la moindre réponse ni réaction pendant 2 mois et demi, puis une relance, s’en sont suivis de nombreux échanges par e-mail directement avec elle. Malheureusement, ces échanges sont restés totalement stériles, avec une volonté et une assurance affichée par écrit de ne traiter ma réclamation ni sur le fond ni sur la forme, j’ai décidé d’en informer la communauté cybersécurité, de recueillir des témoignages similaires, et de prendre à bras-le-corps le sujet qui touche nombre de mes confrères cybersécurité.

Aussi, j’ai rédigé une lettre ouverte qui a réuni, tous réseaux sociaux confondus, une cinquantaine de commentaires et témoignages écrits et une vingtaine d’autres témoignages oraux de dysfonctionnements (collègues, anciens collégues, fondateurs d’entreprises cybersécurité, concurrents, RSSI de sociétés du CAC40, et même juristes...). Chacun est encouragé à témoigner (anonymement ou non), et remonter les difficultés et irrégularités rencontrées pendant leur processus de passage de la qualification PASSI (et je parle de l’oral car à l’écrit les choses se passent plutôt bien).

La totalité de ma lettre ouverte est accessible ici : https://www.mesopinions.com/petitio...

GS Mag : LSTI vous a adressé une mise en demeure pour diffamation, quelle est votre réponse à cette mise en demeure ?

Renaud Lifchitz : Tout d’abord, par souci de transparence et d’objectivité, j’ai publié ce courrier dans son intégralité pour montrer à quel point la démarche de LSTI est pernicieuse.
Je l’ai commenté au vu du contexte, en tordant notamment le cou à quelques contre-vérités exprimées par LSTI (notamment que ma procédure était soi-disant liée à un échec personnel là où j’ai respecté et attendu la fin de validité de mes qualifications pour engager des procédures et que je dénonce tout autant des irrégularités dans les oraux où on m’a attribué absolument toutes les portées du PASSI !). J’ai aussi balayé les accusations de diffamation en montrant que j’ai engagé en amont de la moindre communication publique sur le sujet de très longs échanges privés avec LSTI et le COFRAC pour tenter une conciliation, demandes qui sont restées ignorées, tant sur leur fond que sur leur forme (officiellement, LSTI ne s’en est jamais saisi et ne les traite donc toujours pas, en violation de toutes les normes visant les organismes de certification comme l’ISO 17065, sur les volets traitant de l’impartialité et de l’obligation de gestion des plaintes). Enfin, il est ahurissant qu’avant de m’envoyer ce courrier de soi-disant diffamation, LSTI avait publié une lettre ouverte me diffamant publiquement sur son profil LinkedIn officiel, lettre qui a miraculeusement disparu il y a quelques jours et que j’ai republiée pour appuyer mes dires. LSTI a aussi choisi de participer volontairement à une interview pour LeMagIT et donc alimenté et communiqué médiatiquement sur des contenus qu’elle me demande aujourd’hui de faire retirer, et dont pour certains je ne suis ni l’auteur ni le responsable éditorial ! On voit donc là toute la mauvaise foi et l’absurdité de leurs démarches.

Pour ce qui est de ma lettre ouverte originale, craignant et anticipant une censure arbitraire et des pressions exercées, je l’avais de toute façon ancrée sur une blockchain publique bien avant, précisément le 18 novembre 2019, elle est par conséquent ineffaçable par moi comme par n’importe qui d’autre !

Par ailleurs, plutôt que de s’acharner sur moi alors que les problèmes rencontrés ne sont pas mon apanage, LSTI ferait mieux de régler ces problèmes à le source, et perdrait moins de temps et d’argent à le faire, pour le bénéfice de toute la communauté cybersécurité, tout en anticipant de nouveaux problèmes futurs.

Pour toutes ces raisons, la demande de retrait de LSTI est donc à la fois non fondée ainsi que techniquement non réalisable. Ma réponse complète est accessible ici : https://www.linkedin.com/pulse/oral...

GS Mag : Vous venez de demander votre dernier procès-verbal d’oral d’examen PASSI à LSTI. Que pouvez-nous nous en dire ?

Renaud Lifchitz : Malgré le risque réputationnel que je prends, mais vu les enjeux qui sont bien plus importants, je dévoile aujourd’hui en toute transparence ce document pour Global Security Mag. La totalité des commentaires est constituée d’uniquement 3 remarques expéditives, dont pas la moindre étayée factuellement des questions-réponses de l’oral, sur un document qui n’est même pas daté, et qui m’a été fait signer à blanc… :

Voici les commentaires retranscrits dans leur intégralité, que je commente :
- « Relecture nécessaire du référentiel PASSI » :

Sur la forme : La mention par excellence qu’il faudrait proscrire tant elle peut s’appliquer à n’importe quelle décision défavorable et à n’importe quel candidat, quelles que soient les raisons. Textuellement, c’est une conséquence de la décision, pas une cause, donc certainement pas un justificatif. Il est exigé une« justification obligatoire » sur le document de LSTI.

Sur le fond : À mes deux oraux PASSI, lors de réponses aux questions du jury j’ai décrit des dispositions du référentiel RGS que les examinateurs ne connaissaient pas. La première fois ils ont vérifié mes dires, la seconde ils n’ont pas souhaité… De là à dire que je ne connais pas mon PASSI là où des examinateurs qui interrogent des dizaines de candidats n’en connaissent pas certaines dispositions ? De qui se moque-t-on ?

- « Manque de pratique et de méthodologie sur les pentests, nécessité de renforcer les compétences techniques hors usage des outils packagés » :

Sur la forme : il n’est pas acceptable que des jurés ayant moins d’expérience que le candidat statuent sur son expérience, ce qui m’est arrivé à chaque oral !

Sur le fond : La partie la plus significative de mon expérience professionnelle repose sur mes travaux de recherche sur la sécurité des protocoles. En effet, je publie depuis 15 ans des travaux originaux sur des protocoles variés : sécurité des cartes bancaires, contrôle d’accès (Vigik), protocoles réseaux (Sigfox, LoRaWAN, MQTT, ZigBee), et la grande majorité est mis à disposition publique ici : https://speakerdeck.com/rlifchitz/. Sur des travaux de recherche concernant des technologies émergentes, les outils de cybersécurité sont inexistants ou tellement à l’état embryonnaire qu’ils en sont inconnus ou difficilement utilisables en pratique. Il est alors aberrant qu’on me reproche de ne pas avoir assez de « compétences techniques hors usage des outils packagés ». Le jury LSTI n’a-t-il alors à peu près rien compris à mon expérience professionnelle, ce pour quoi il est mandaté et payé ? Comment LSTI peut-elle écrire une telle remarque, facilement démontée par des documents écrits publics, nombreux et répétés ? Le comble du comble c’est que mes travaux sur les cartes bancaires et les techniques de cassage de clés RSA sont maintenant repris dans plusieurs outils largement répandus… Bon, et sinon cela fait 15 ans que je fais des « pentests » de toute nature, mais c’est sans doute un détail là aussi insignifiant pour le jury de LSTI, et pas assez pour justifier d’une expérience professionnelle...
- « Approfondir les principes de défense en profondeur et les fonctions de chaque brique des composants d’architecture » : Sur le fond : Pendant 5 ans, de 2008 à 2012, j’ai co-écrit et dispensé presque tous les mois une formation de 2 jours à un total cumulé de 800 personnes dans le secteur banque-assurance sur les principes de défense en profondeur. Tout ça est sur mon CV. Pas besoin d’en dire beaucoup plus pour remarquer les incohérences répétées des remarques portées sur mon procès-verbal.

Globalement :

- LSTI juge qu’un candidat est compétent sur toutes les portées PASSI présentées en 2015, mais même plus sur la moitié des portées 1 an après en 2016, quand bien même la durée de validité de la qualification est de 3 ans…
- Le procès-verbal ne fait pas la moindre allusion à des éléments factuels ou précis abordés à l’oral : ni questions posées, ni réponses fausses ou incomplètes que le candidat aurait apportées, rien...
- Les commentaires sont parfois en contradiction avec le profil du candidat, ce qui est inexcusable quand on présume juger de son expérience. Le jury doit regarder un minimum le CV du candidat pour ne pas écrire n’importe quoi.
- Les lois dites "informatique et libertés" (en particulier l’article 40 de la loi 78-17 du 6 janvier 1978 modifiée), reprises depuis par le RGPD depuis mai 2018, interdisent la collecte d’informations à caractère personnel subjectives ou relevant du jugement de valeur, et autorisent le candidat à un entretien à faire corriger ou supprimer toutes informations qui seraient « inexactes, incomplètes, équivoques ». A minima le deuxième commentaire porté sur mon dossier est personnel et subjectif, et relève du jugement de valeur, ce qui constitue la 4ème violation du RGPD que j’ai remontée à LSTI. Ceci n’arriverait pas si les commentaires portaient uniquement des faits (questions posées par le jury et réponses fausses ou incomplètes apportées par le candidat).

Nous sommes donc sur des commentaires illicites en plus d’être incohérents avec l’expérience du candidat, et pouvant conduire à des décisions arbitraires. Dès lors, j’invite tous les candidats aux oraux du PASSI organisés par LSTI à demander leur procès-verbal (comme il s’agit de données à caractère personnel, aucun accord de l’employeur n’est nécessaire, et la demande peut être adressée directement à LSTI comme je l’ai fait). Aucun commentaire ne doit être subjectif ou ambigu, sinon les candidats sont en droit de faire modifier et supprimer ces commentaires, et donc totalement remettre en cause les justifications du jury et le résultat de leurs qualifications. Il est crucial de faire respecter la licéité de la collecte de données par LSTI.

Pour un organisme qui assure faire de la conformité son métier, c’est un échec total, et cela mériterait à mon sens de fortes sanctions tant ce cumul de négligences (ne serait-ce que sur le RGPD) est excessif et laxiste.

GS Mag : Quels sont les préjudices occasionnés par la perte du PASSI pour vous et votre entreprise ?

Renaud Lifchitz : Je ne répondrai qu’à titre individuel, mes employeurs et ex-employeurs concernés souhaitant sans doute rester neutres (ce qui est compréhensible pour des raisons d’image) dans ce débat pour le moment.
Durant l’année 2019, je n’ai pu être auditeur que très partiellement sur 3 audits PASSI et plusieurs audits m’étaient simplement interdits en raison des portées ou activités mises en œuvre. En 2018, je n’ai pas le souvenir d’avoir pu participer au moindre audit PASSI.
Le prix d’un audit PASSI est très variable selon son périmètre, mais débute en moyenne autour de 10k€, le manque à gagner est donc tout à fait caractérisé, conséquent et assez facile à chiffrer (plusieurs dizaines de milliers d’euros par an pour ma part), tout comme l’a été le temps pour écrire les dizaines de correspondances avec LSTI, le COFRAC (Comité français d’accréditation) et l’ANSSI pour porter à leur connaissance les faits et effectuer les différentes demandes et démarches administratives nécessaires à la régularisation d’une situation ubuesque et malheureusement largement commune...
Le préjudice moral est lui aussi là : non atteinte d’objectifs professionnels, écartement d’une partie du marché du travail, dévalorisation de mon profil professionnel et diffamation de la part de LSTI.
Si LSTI reste dans le déni et n’agit pas concrètement sur ce dossier, il n’est pas exclu que je mène des poursuites judiciaires pour obtenir réparation sur la base de ces nombreux préjudices, en plus de choix que feraient indépendamment mon employeur s’il le souhaitait car plusieurs de mes collègues m’ont directement rapporté des faits similaires de grande gravité.

GS Mag : Comment envisagez-vous votre avenir par rapport au renouvellement de votre agrément PASSI ?

Renaud Lifchitz : Pour l’instant, ma position est très claire, tant que LSTI n’a pas considérablement amélioré sa transparence, son objectivité, et accepte enfin à minima de traiter les réclamations sur les passages des oraux du PASSI, comme ses agréments l’en obligent, je boycotte cet organisme et je conseille à tous mes confrères de faire de même, pour exercer une pression constructive pour l’objectivité et l’image de la qualification PASSI en France. Pour l’instant, aucune de ces garanties n’est là comme le montrent les faits longuement présentés et les témoignages très récents (jusqu’à janvier 2020) et parfois écrits de nombreuses personnes de mon entourage. À l’heure actuelle, vu les conditions de passage des qualifications par LSTI, la qualification PASSI a perdu énormément de valeur aux yeux de beaucoup d’entre nous. Nous sommes nombreux à dénoncer l’arbitraire actuel de l’obtention de cette qualification publique d’État, qui devrait pourtant être la seule indépendante d’intérêts pécuniaires et monopolistiques d’une seule société qui viole en plus impunément la loi.




Voir les articles précédents

    

Voir les articles suivants