Lorsque les grands modèles linguistiques (LLM) réduiront en taille et gagneront en performances, la vitesse des réseaux deviendra le goulot d’étranglement en termes d’adoption par les clients et d’interactions fluides avec l’IA. Le réseau mondialement distribué de Cloudflare contribue à minimiser la latence réseau. Il se place donc à part des autres réseaux, généralement composés de ressources concentrées dans un nombre limité de datacenters. Workers AI, la plateforme d’inférence serverless de Cloudflare, dispose désormais de GPU dans plus de 180 villes à travers le monde. En outre, elle a été spécialement conçue à des fins d’accessibilité mondiale, afin de proposer un temps de latence faible aux utilisateurs finaux, où qu’ils se trouvent. Grâce à ce réseau de GPU, Workers AI présente l’une des plus larges empreintes internationales parmi les plateformes IA et peut exécuter des tâches d’inférence IA aussi près que possible de l’utilisateur, tout en permettant de conserver les données des clients au plus proche.

Cloudflare lance également de nouvelles fonctionnalités qui en font la plateforme la plus simple à utiliser pour développer des applications IA :

• Performances améliorées et prise en charge de modèles de plus grande taille : Cloudflare renforce désormais son réseau mondial à l’aide de GPU plus puissants afin que Workers AI puissent bénéficier de meilleures performances en termes d’inférence IA et exécute des tâches d’inférence sur des modèles de plus grande taille, comme Llama 3.1 70B, mais aussi la collection de modèles Llama 3.2 avec les versions 1B, 3B et 11B (et bientôt 90B). Grâce à la prise en charge de modèles de plus grande taille, à des temps de réponse plus rapide et à des fenêtres de contexte plus vastes, les applications IA développées sur la plateforme Workers AI de Cloudflare peuvent traiter des tâches plus complexes avec une meilleure efficacité afin de donner lieu à une expérience naturelle et fluide pour l’utilisateur final.

• Surveillance améliorée et optimisation de l’utilisation de l’IA grâce aux journaux persistants : les nouveaux journaux persistants d’AI Gateway, disponibles en bêta ouverte, permettent aux développeurs de stocker les invites (prompts) des utilisateurs et les réponses des modèles pendant de longues périodes afin de leur permettre de mieux analyser et comprendre la manière dont leur application se comporte. Grâce aux journaux persistants, les développeurs peuvent bénéficier d’informations plus détaillées sur l’expérience de leurs utilisateurs, notamment en termes de coût et de durée des requêtes, afin de les aider à affiner leur application. Plus de deux millions de requêtes ont transité par AI Gateway depuis son lancement l’année dernière.

• Requêtes plus rapides et plus abordables : les bases de données vectorielles permettent aux modèles de se souvenir plus facilement des entrées précédentes, afin d’autoriser l’usage de l’apprentissage automatique (Machine Learning) dans les scénarios d’utilisation de recherche avancée, de recommandations et de génération de texte. Vectorize, la base de données vectorielle de Cloudflare, est désormais en disponibilité générale et prend désormais en charge, depuis août 2024, les index de jusqu’à cinq millions de vecteurs chacun, contre 20 000 précédemment. La latence médiane des requêtes est désormais réduite à 31 millisecondes (ms) par rapport aux 549 ms précédentes. Ces améliorations permettent aux applications IA de trouver rapidement des informations pertinentes au prix d’un traitement de données moindre, une caractéristique qui ouvre également la porte à des applications IA plus abordables.