La genèse de la recherche de Vulcan Cyber sur ChatGPT
L’année dernière, des millions de personnes ont commencé à utiliser ChatGPT pour leurs activités professionnelles, constatant qu’il peut considérablement alléger leur charge de travail quotidienne. Cela dit, il y a quelques lacunes.
Nous avons vu ChatGPT générer des URL, des références et même des bibliothèques de code et des fonctions qui n’existent pas réellement. Ces hallucinations LLM (large language model) ont déjà été signalées et peuvent être le résultat de vieilles données d’entraînement.
Si ChatGPT fabrique des bibliothèques de code (paquets), les pirates pourraient utiliser ces hallucinations pour diffuser des programmes malveillants sans recourir à des techniques familières telles que le typosquattage ou l’usurpation d’identité.
Ces techniques sont suspectes et déjà détectables. Mais si un pirate peut créer un logiciel qui remplace les "faux" logiciels recommandés par ChatGPT, il pourrait être en mesure d’amener une victime à le télécharger et à l’utiliser.
L’impact de ce problème devient évident si l’on considère qu’alors qu’auparavant les développeurs cherchaient des solutions de codage en ligne (par exemple, sur Stack Overflow), beaucoup se tournent maintenant vers ChatGPT pour obtenir des réponses, créant ainsi une opportunité majeure pour les pirates.

La technique d’attaque - utiliser ChatGPT pour diffuser des programmes malveillants
Vulcan Cyber a identifié une nouvelle technique de diffusion de logiciels malveillants que nous appelons "AI package hallucination" (hallucination des logiciels d’IA).
Cette technique repose sur le fait que ChatGPT, et probablement d’autres plateformes d’IA générative, répond parfois à des questions avec des sources, des liens, des blogs et des statistiques imaginaires. Elle génère même des correctifs douteux pour les CVE et, dans ce cas précis, propose des liens vers des bibliothèques de codage qui n’existent pas en réalité.
En utilisant cette technique, un pirate commence par formuler une question demandant à ChatGPT un logiciel qui résoudra un problème de codage. ChatGPT répond alors en proposant plusieurs programmes, dont certains n’existent peut-être pas. C’est là que les choses deviennent dangereuses : lorsque ChatGPT recommande des logiciels qui ne sont pas publiés dans un dépôt de logiciels légitime (par exemple, npmjs, Pypi, etc.).
Lorsque le pirate trouve une recommandation pour un logiciel non publié, il peut publier son propre logiciel malveillant à la place. La prochaine fois qu’un utilisateur pose une question similaire, il peut recevoir une recommandation de ChatGPT pour utiliser le programme malveillant existant.
Vulcan Cyber a ainsi recréé ce scénario spécifique en utilisant chatGPT 3.5.