Snowflake annonce l’hébergement de la collection Llama 3.1
juillet 2024 par Marc Jacob
Snowflake annonce l’hébergement de la collection Llama 3.1 de grands modèles de langage (LLM) multilingues open source dans Snowflake Cortex AI. Ceci offre aux entreprises la possibilité de créer et d’exploiter facilement des applications d’intelligence artificielle puissantes et évolutives. Cette initiative comprend le plus grand et le plus performant LLM open source de Meta, le modèle Llama 3.1 405B, avec Snowflake qui développe et rend en open source la stack du système d’inférence pour permettre une inférence en temps réel et à haut débit, démocratisant ainsi les applications de traitement et de génération de langage naturel.
L’équipe de recherche en intelligence artificielle de Snowflake a optimisé Llama 3.1 405B pour l’inférence et le fine-tuning, prenant en charge une fenêtre de contexte massive de 128K dès le premier jour. Cette optimisation permet une inférence en temps réel avec une latence jusqu’à 3x plus faible et un débit 1,4 fois plus élevé que les solutions open source existantes. De plus, il est possible de mettre en place un fine-tuning de ce modèle massif en utilisant un seul nœud GPU, réduisant les coûts et la complexité pour les développeurs et utilisateurs dans le cadre de Cortex AI.
En s’associant avec Meta, Snowflake propose à ses clients des moyens simples, efficaces et fiables d’accéder, d’affiner et de déployer les nouveaux modèles de Meta dans le Data Cloud IA, avec une sécurité et une confiance intégrées dès la conception.
L’équipe de recherche en IA de Snowflake débloque l’inférence et le fine-tuning open source les plus rapides et les plus efficaces en termes de mémoire. Parallèlement au lancement de Llama 3.1 405B, Snowflake met en open source sa stack d’optimisation d’inférence Massive LLM Inference et de Fine-Tuning System, en collaboration avec DeepSpeed, Hugging Face, vLLM et d’autres acteurs de la communauté de l’intelligence artificielle. Cette avancée établit un nouvel état de l’art pour les systèmes d’inférence et de fine-tuning open source pour des modèles comportant plusieurs centaines de milliards de paramètres.
Snowflake Cortex AI continue de renforcer son engagement de fournir une IA de confiance et responsable. La sécurité de l’intelligence artificielle étant primordiale, Snowflake met à disposition Snowflake Cortex Guard pour protéger contre les contenus nuisibles dans toute application LLM ou tout actif construit dans Cortex AI (soit en utilisant les derniers modèles de Meta, soit les LLM disponibles auprès d’autres fournisseurs tels que Google, Mistral AI et Snowflake lui-même parmi d’autres. Cortex Guard s’appuie sur le Llama Guard 2 de Meta, assurant ainsi que les modèles utilisés par les entreprises sont sûrs.