Malgré un démarrage tardif dans le domaine de l’intelligence artificielle, Apple est désormais pleinement engagé après la conférence des développeurs de la Worldwide Developer Conference. L’Apple Intelligence proposera des solutions IA pour presque tous les produits Apple, et l’entreprise ne s’arrête pas là. Apple se tourne désormais vers les modèles de langage IA.
Lancement de DCLM-Baseline-7B
Jeudi dernier, Apple a lancé DCLM-Baseline-7B, un modèle de langage de 7 milliards de paramètres, sur Hugging Face. Ce modèle fait partie du benchmark DataComp for Language Models (DCLM), une initiative visant à améliorer la qualité des ensembles de données d’entraînement pour les modèles de langage.
Performances et Ouverture
Avec ses 7 milliards de paramètres, ce modèle est comparable à des modèles populaires tels que Llama 2 et Gemma. Lors des tests sur le benchmark Massive Multitask Language Understanding (MMLU), le DCLM-Baseline-7B a montré des performances compétitives, surpassant même le Mistral 7B. Un des points forts de ce modèle est qu’il est vraiment open-source, avec des « données ouvertes, des modèles de poids ouverts, et un code d’entraînement ouvert », comme l’a souligné Vaishaal Shankar, un chercheur chez Apple.
Formation et Utilisation
Apple a formé le modèle sur les données DCLM-BASELINE, combinées avec les données de StarCoder et ProofPile2, pour atteindre une compétence dans des tâches telles que le codage et les mathématiques. Apple a également inclus une version puissante de 1,4 milliard de paramètres dans le package.
Précédents Modèles et Compétition
Ce n’est pas la première incursion d’Apple dans les modèles IA. L’entreprise a déjà lancé des modèles comme Ferret-UI, un modèle de langage multimodal (MLLM), et Reference Resolution As Language Modeling (ReALM), un système de conversation IA.
Cet automne, avec la disponibilité de iOS 18 et Apple Intelligence, nous pourrons mieux évaluer le succès potentiel des efforts d’Apple en matière d’IA.
