Actu
Sophos s’attend à voir des cyberattaques faisant appel à l’IA et prépare leur détection
décembre 2023 par Sophos
Sophos publie deux études concernant l’utilisation de l’intelligence artificielle par la cybercriminalité. La première, intitulée The Dark Side of AI : Large-Scale Scam Campaigns Made Possible by Generative AI, montre comment, à l’avenir, les cyberescrocs pourraient faire appel à des technologies telles que ChatGPT pour mener des fraudes à une échelle massive, moyennant des compétences techniques minimales. Cependant, une seconde étude, intitulée Cybercriminals Can’t Agree on GPTs, révèle qu’en dépit du potentiel de l’IA, plutôt que d’adopter des modèles LLM (Large Language Model) à l’exemple de ChatGPT, certains cybercriminels se montrent sceptiques, voire inquiets, quant à l’utilisation de l’IA pour leurs attaques.
Le côté obscur de l’IA
En se servant d’un simple template d’e-commerce et d’outils LLM tels que GPT-4, Sophos X-Ops est parvenu à créer un site web entièrement fonctionnel, comportant des images, des messages audio et des descriptions de produits générés par IA. Ils ont également créé de fausses pages de connexion via Facebook et de paiement d’achat, destinées à dérober les identifiants et les coordonnées bancaires des utilisateurs. La création et l’exploitation de ce site ne nécessitaient qu’un minimum de connaissances techniques. Au moyen du même outil, Sophos X-Ops a pu créer des centaines de sites web similaires en quelques minutes et quelques clics sur un bouton.
« Il est naturel – et attendu – que les cybercriminels se tournent vers de nouvelles technologies pour automatiser leurs attaques. La création des premiers e-mails de spam avait constitué une étape cruciale en faisant franchir aux techniques d’escroquerie un nouveau palier en termes d’échelle. De nouvelles IA s’apprêtent à faire de même : s’il existe une technologie d’IA capable de créer des menaces entièrement automatisées, elle finira par être exploitée à cette fin. Nous avons d’ailleurs déjà observé l’intégration de textes ou de photos générés par IA pour servir d’appâts dans des escroqueries classiques », commente Ben Gelman, Senior Data Scientist chez Sophos.
« Cependant, la réalisation de notre étude a été en partie motivée par la volonté de prendre une longueur d’avance sur les cybercriminels. La création d’un système pour la production de sites web frauduleux à grande échelle, plus avancé que les outils aujourd’hui employés par les cybercriminels, nous offre une opportunité unique d’analyser cette menace et de nous y préparer avant qu’elle ne prolifère. »
Les cybercriminels ne sont pas tous d’accord face aux IA génératives
Pour étudier les attitudes des cyberattaquants envers l’IA, Sophos X-Ops a passé en revue les discussions au sujet des LLM sur quatre des principaux forums du Dark Web. Si l’utilisation de l’IA dans la cybercriminalité paraît encore n’en être qu’à ses débuts, les acteurs malveillants débattent de son potentiel en matière d’ingénierie sociale. Sophos X-Ops a ainsi déjà été témoin du recours à l’IA dans des arnaques de type CryptoRom.
En outre, Sophos X-Ops a découvert que les messages postés étaient liés en majorité au piratage de comptes ChatGPT dans le but de les revendre et d’effectuer des « jailbreaks », c’est-à-dire de contourner les protections intégrées aux LLM, afin que des cybercriminels puissent détourner ceux-ci à des fins malveillantes. Sophos X-Ops a également trouvé une dizaine de dérivés de ChatGPT qui, d’après leurs créateurs, pourraient servir au lancement de cyberattaques et au développement de malwares. Toutefois, les cybercriminels présentent des réactions mitigées face à ces dérivés et aux autres applications malveillantes des LLM, nombre d’entre eux craignant que les imitateurs de ChatGPT ne tentent de les escroquer.
« Tandis que d’importantes préoccupations se sont fait jour concernant l’utilisation abusive de l’IA et des LLM par des cybercriminels depuis le lancement de ChatGPT, notre étude révèle que, jusqu’ici, les acteurs malveillants font preuve de plus de scepticisme que d’enthousiasme. Sur deux des quatre forums que nous avons parcourus sur le Dark Web, nous n’avons qu’une centaine de messages parlant de l’IA, contre un millier à propos des cryptomonnaies au cours de la même période. »
« Nous avons bien vu des cybercriminels tenter de créer des malwares ou des outils d’attaque au moyen de LLM mais les résultats sont rudimentaires et souvent accueillis avec scepticisme par les autres utilisateurs. Dans l’un des cas, un acteur malveillant, dans sa hâte de démontrer le potentiel de ChatGPT, a dévoilé par inadvertance des informations trahissant sa véritable identité. Nous avons même lu un grand nombre de “réflexions” à propos des effets potentiellement néfastes de l’IA sur la société et les conséquences de son utilisation sur le plan éthique. Autrement dit, du moins pour l’instant, il semble que les cybercriminels nourrissent les mêmes débats sur les LLM que le reste de la population », conclut Christopher Budd, directeur de recherche pour Sophos X-Ops.
