Writer, un spécialiste des LLM qui avance à rebours d'OpenAI

Retour au Jdn Journaldunet.com Menu https://www.journaldunet.com/intelligence-artificielle/1538263-writer-cette-societe-qui-avance-dans-l-ombre-d-openai/ Intelligence artificielle

Antoine Crochet-Damais JDN 20/01/25 14:46 Partager LinkedIn Facebook Whatsapp Email Writer, un spécialiste des LLM qui avance à rebours d'OpenAIEgalement basée à San Francisco, elle commercialise des modèles de langue verticaux aux côtés d'une plateforme pour les gérer de bout en bout.

Editeur d'une plateforme de modèles de langue, l'américain Writer a levé pas moins de 326 millions de dollars depuis sa création en 2020. Basée à San Francisco, cette société qui se déploie depuis peu en Europe, se démarque en développant des LLM verticaux, notamment dans le retail, la finance, la santé ou encore le support client. En parallèle, elle a également mis au point un modèle de vision par ordinateur permettant de générer du contenu visuel.

En créant des LLM spécialisés, Writer parvient à des résultats qui se veulent plus performants que ceux de GPT4-o. Comment la société a-t-elle procédé ? Elle a d'abord créé son propre LLM qu'elle a ensuite décliné par domaines. Baptisé Palmyra, le modèle en question compte 20 milliards de paramètres et a été entraîné sur 800 milliards de tokens. Un data set créé à partir de données synthétiques générées par d'autres IA. Permettant de passer outre la coûteuse phase de labellisation manuelle des informations d'entraînement, ce tour de passe-passe a permis à Writer de limiter les dépenses de la phase de learning à seulement 700 000 dollars. Une goutte d'eau, comparé aux 100 millions de dollars dépensés pour l'entraînement de GPT-4.

“Créer un LLM qui coûte plus cher que ce qu'il rapporte n'a aucun sens”, tacle Kev Chung, en faisant clairement référence à ChatGPT. Le chief strategy officer de Writer ajoute : “Au-delà du prix, il y a évidemment, aussi, la question de l'efficience et de la précision des résultats.” Une problématique que la société résout via sa stratégie de verticalisation, mais pas seulement.

Des données synthétiques en coulisses Pour développer ses LLM, Writer s'adosse aussi à des données d'entraînement sous licences. Ce qui lui permet d'aboutir à des réponses pertinentes et maîtrisées en limitant au maximum le risque d'hallucinations.

Autre levier utilisé : des modèles auto-évolutifs. Contrairement aux modèles traditionnels qui restent statiques jusqu'à leur mise à jour manuelle, ces derniers intègrent de nouvelles informations au fur et à mesure de leur cycle de vie, améliorant ainsi leur précision et leur pertinence au fil du temps. Leur fonctionnement repose sur trois éléments : une mémoire intégrée, capable de stocker et de rappeler des informations pertinentes, un apprentissage basé sur l'identification des incertitudes pour traiter les données non familières, et un processus autonome de mise à jour des connaissances qui fusionne les nouvelles données avec les informations déjà acquises.

“A travers les agents, les modèles se connectent à de multiples applications tierces pour former des workflows”

Pour affiner encore la qualité des résultats, Writer développe par ailleurs un mécanisme de génération augmentée de récupération (RAG) orienté graph. Il lui permet d'améliorer le degré de précision des réponses générées à partir des bases documentaires de ses clients. Grâce aux relations sémantiques de son graph, Writer est capable de réaliser des analyses robustes et très rapides.

Pour Writer, les LLM deviendront à terme une commodité. D'où le choix de la société de proposer une plateforme qui permette de personnaliser les modèles de langue avec des données spécifiques aux clients.

Writer surveille par ailleurs le mouvement de la révolution agentique. “A travers les agents, les modèles se connectent à de multiples applications tierces pour former des workflows”, explique Kev Chung. “Par exemple dans le domaine du marketing, je pourrai, à travers un agent, créer un nouveau produit, avec tous les contenus associés. Puis pousser l'ensemble dans une plateforme de CRM basée sur Salesforce par exemple, mais aussi dans d'autres applications tierces. Le tout de manière automatisée”, pointe Kev Chung. Il s'agit là de la vision de Writer à moyen terme, les process permettant de la réaliser n'étant, pour l'heure, pas encore implémentés.

L'Oréal parmi ses clients Quelle est la feuille de route de Writer en matière de R&D ? Sans surprise, l'acteur prévoit des développements agentiques dans l'optique de parvenir à concrétiser sa vision de workflow automation. “L'objectif est d'intégrer notre plateforme aux applications utilisées par nos clients, au premier rang desquelles les logiciels de Salesforce, d'Adobe, de Microsoft, de Workday, notamment”, indique Kev Chung. “Nous souhaitons également continuer à investir dans les modèles auto-évolutifs pour les rendre encore plus efficaces et précis.”

Comptant 500 salariés, Writer se répartit pour l'heure sur trois implantations aux côtés de son siège de San Francisco : New York, Londres et Singapour. La société revendique en outre plusieurs centaines de clients, dont 40% issus du Fortune 500. Parmi les principaux d'entre eux figurent Accenture, Goldman Sachs, Jaguar Land Rover (JLR), Nvidia, Salesforce ou Uber. Sans oublier le français L'Oréal qui déploie Writer sur l'ensemble de ses géographies.

CONTENUS SPONSORISÉS

“Autant crever !” : Emmanuel Macron, cet homme de droite qu’il ne voulait surtout pas au gouvernementPublicité “Autant crever !” : Emmanuel Macron, cet homme de droite qu’il ne voulait surtout pas au gouvernement Gala Mutuelle : 7 retraités sur 10 ne connaissent pas cette astucePublicité Mutuelle : 7 retraités sur 10 ne connaissent pas cette astuce Ma Santé Pratique Publicité Les meilleures offres d’hiver sur les produits Dyson vous attendent ! Offres d'Hiver Dyson. Jusqu'à 300€ de réduction Dyson Publicité Animaux Stars : des compagnons célèbres et leurs aventures ! Animaux Stars vous plonge dans l'univers de célèbres animaux et de leurs propriétaires. Découvrez leurs aventures fascinantes. Chipstime Il ne faut pas décrocher si ces trois chiffres s'affichent sur votre téléphone, c'est une arnaque Il ne faut pas décrocher si ces trois chiffres s'affichent sur votre téléphone, c'est une arnaque Publicité -60% sur une sélection d’articles Mode & Maison. Nouvelle démarque : Jusqu'à -60% sur une sélection Mode, Maison & Loisirs ! Monoprix

Newsletter IA News

Entrer son email pour s'abonner Voir un exemple LES PODCASTS DU JDN

Vu sur les réseaux sociaux Télétravailler un jour par semaine réduit considérablement votre empreinte carbone Des économies au chaud ! Impossible de faire construire une maison en France Critiquer votre patron par SMS peut vous coûter cher Ce frein inattendu à votre projet immobilier Ces radars pourraient bientôt verbaliser 3 nouvelles infractions Une nouvelle technologie contre la fraude aux caisses automatiques Cette région française compte 2 jours fériés en plus Qui sommes-nous ? L'équipe Notre société Publicité Contact Recrutement Mentions légales Données personnelles Paramétrer les cookies Tous les articles RSS Corrections © 2023 CCM Benchmark CCM Benchmark Group Journal des femmes CCM Linternaute Droit-finances.net Copains d'avant Viadeo JDN Jeux gratuits Ariase Phonandroid