Le successeur du modèle de langage multimodal général Idefics1, disponible sous Apache V2, voit notamment ses capacités OCR renforcées et fait maintenant jeu égal avec LLava-Next-34B et MM1-30B-chat.
Hugging Face lance le petit frère d’Idefics1. La plateforme franco américaine d’outils IA vient de présenter Idefics2, un modèle de langage multimodal général dédié au traitement de séquences arbitraires de textes et d'images capable de générer ensuite des réponses textuelles. Disponible en Open Source sous Apache V2 avec des paramètres 8B et des capacités de reconnaissance optique des caractères (OCR), Idefics2 devrait, selon Hugging Face, faciliter le travail des équipes travaillant sur la multimodalité.
Idefics2 a été entraîné sur des ensembles variés de données accessibles librement tels que des documents Web entrelacés, des paires image-légende, des données OCR ou encore des données image-code. Ses principales améliorations par rapport à Idefics1 concernent ainsi les capacités OCR qui ont considérablement été affinées. Sur les différents benchmark réalisés, Idefics2 fait ainsi jeu égal, si ce n’est mieux, que d’autres langages similaires comme LLava-Next-34B et MM1-30B-chat.