Dream Labs a levé 90 millions de dollars en amorçage et ouvert l'accès public à Dream API, une interface qui transforme le flux vidéo de la caméra d'un robot et une simple instruction en anglais en commandes moteur. La start-up basée à San Francisco affirme que l'API fonctionne sur des robots qu'elle n'a encore jamais vus. B Capital et Kindred Ventures ont mené le tour de table.
Parmi les autres participants figurent A.Capital, Unusual Ventures, SV Angel, Wing VC, Scribble VC et Adrian Aoun. L'entreprise prévoit de consacrer ces fonds principalement à la puissance de calcul, afin d'élargir la gamme de tâches et de robots que ses modèles peuvent prendre en charge et d'augmenter sa capacité d'accueil pour davantage d'utilisateurs.
Le problème que cible Dream Labs
Dream Labs met en avant un fossé entre le matériel robotique et le logiciel. Les usines du monde entier exploitent désormais un nombre record de 5 millions de robots industriels, mais presque tous sont programmés pour une seule tâche. La plupart ne peuvent pas transmettre ce qu'ils ont appris à d'autres machines.
La baisse des prix des robots a creusé cet écart. Des modèles d'entrée de gamme se vendent désormais quelques milliers de dollars, mais sont livrés sans aucune intelligence embarquée. Selon l'entreprise, apprendre une tâche à un robot peut demander des mois à des spécialistes, et une nouvelle tâche ou un nouveau matériel obligent souvent à tout recommencer.
Joel Jang, cofondateur et PDG de Dream Labs, décrit le problème comme celui d'une couche manquante. « Le matériel est prêt. Ce qui manquait, c'est un cerveau que n'importe quel robot peut utiliser », a-t-il déclaré. Il compare cette approche au fait de monter dans une voiture de location : le conducteur n'a pas à réapprendre à conduire, il repère les commandes et s'appuie sur son expérience.
Comment fonctionne Dream-1
Dream-1 est le modèle phare de l'entreprise. Entraîné sur des vidéos de personnes accomplissant des tâches du quotidien, il prédit ce qui va se passer ensuite dans une scène et en déduit l'action que le robot doit réaliser. Dream Labs explique que, comme le modèle apprend à partir de vidéos plutôt qu'à partir d'une machine précise, ses capacités se transposent à des matériels de fabricants différents.
L'entreprise affirme que Dream-1 peut piloter n'importe quel robot équipé de pinces « prêt à l'emploi », grâce à l'apprentissage zero-shot, c'est-à-dire sans données spécifiques à la tâche issues de la nouvelle machine. Il n'a besoin d'aucune donnée supplémentaire pour piloter un robot à deux bras avec pinces parallèles. Selon Joel Jang, un nouveau robot peut accomplir un travail utile en quelques minutes plutôt qu'en plusieurs mois.
Le modèle gère actuellement des tâches sur plan de travail, comme saisir et déposer des objets ou plier du linge. La prise en charge des robots mobiles à roues et des mains dextres est prévue, mais pas encore disponible.
Ce que les développeurs peuvent utiliser dès aujourd'hui
Dream API est disponible dès maintenant. Les développeurs s'inscrivent, connectent un robot équipé de pinces, et le robot exécute la tâche demandée. Dream Labs fait tourner ses modèles dans des centres de données répartis dans le monde entier afin que les robots réagissent rapidement où qu'ils se trouvent.
L'entreprise propose aussi le fine-tuning (ajustement fin) en tant que service. Les développeurs et fabricants de robots qui utilisent un matériel non pris en charge, ou qui ont besoin de nouvelles capacités, peuvent soumettre un petit lot de données de démonstration et recevoir un modèle adapté en quelques heures.
Un « playground » robotique accessible depuis le navigateur complète l'offre. Chacun peut saisir des commandes pour un robot situé dans les bureaux de Dream Labs à San Francisco et le voir réagir en direct, sans montage, sans avoir à acheter de robot. Joel Jang affirme que l'objectif est de donner aux gens un modèle fonctionnel qu'ils peuvent tester eux-mêmes, erreurs comprises, plutôt que des démonstrations montées.
Partenaires matériels et premiers utilisateurs
Dream Labs prend en charge des robots coûtant environ 2 000 à 10 000 dollars. L'entreprise travaille avec plus de 20 partenaires matériels et, pour eux, va plus loin que le modèle de base en affinant le modèle pour chaque robot afin qu'il offre ses meilleures performances.
Ryan Chan, cofondateur et PDG de MakerMods, qui vend des bras robotisés bimanuels à 2 000 dollars, explique que le robot de son entreprise était opérationnel en quelques minutes avec Dream-1. Il a tenté des tâches que son équipe n'avait jamais programmées, selon lui. Ryan Chan ajoute que son entreprise peut désormais se concentrer sur l'amélioration du matériel, tandis que ses clients bénéficient d'une intelligence qui ne cesse de progresser.
Daisy Cai, associée gérante chez B Capital, estime qu'un bras robotisé performant est passé du prix d'une voiture de luxe à celui d'un ordinateur portable haut de gamme, et que ce qui lui manque désormais, c'est l'intelligence. Elle indique que l'équipe de Dream Labs a réalisé certains des travaux fondateurs de l'apprentissage robotique chez NVIDIA.
Ce que cela change, et ce qui reste à prouver
Ce qui compte dans cette annonce, c'est le modèle de distribution, pas le montant levé. Dream API traite le pilotage de robots comme un service hébergé qu'un développeur appelle avec une image et une phrase. C'est un schéma différent de la norme actuelle décrite dans l'annonce, où chaque robot est programmé par des spécialistes pour une seule mission. Si le service fonctionne comme annoncé, un petit fabricant de matériel pourrait livrer un robot doté de comportements exploitables sans constituer sa propre équipe logicielle. Le témoignage de MakerMods va dans ce sens, même s'il ne s'agit que d'un seul client.
Les affirmations sont aussi étroites par endroits. La promesse du zero-shot concerne les robots équipés de pinces, et la seule configuration citée comme ne nécessitant aucune donnée supplémentaire est un robot à deux bras avec pinces parallèles. Dream Labs affine par ailleurs le modèle pour ses plus de 20 partenaires matériels et propose du fine-tuning pour le matériel non pris en charge. L'ensemble laisse penser que les performances sur une nouvelle machine peuvent dépendre d'un travail supplémentaire, même si le modèle de base fonctionne sans. L'entreprise n'a pas précisé dans quelle mesure un modèle affiné surpasse la version prête à l'emploi.
Plusieurs indicateurs manquent. Aucun taux de réussite, temps d'exécution des tâches ni donnée sur les échecs n'accompagne ces affirmations. Il n'y a pas non plus de comparaison avec des robots programmés de manière classique. Le playground public est une avancée utile, puisque des observateurs extérieurs peuvent voir un comportement en direct et sans montage. Mais il montre un seul robot dans un seul bureau, et non la diversité de matériels que le modèle est censé servir.
La portée compte aussi pour l'industrie. Dream-1 traite aujourd'hui des tâches sur plan de travail. Les 5 millions de robots industriels cités par l'entreprise sont pour la plupart fixés à des tâches uniques en usine, et l'entreprise n'a pas indiqué quand elle comptait les servir. Les bases mobiles et les mains dextres, toutes deux annoncées comme futures prises en charge, élargiraient considérablement le champ du modèle. D'ici là, le marché réaliste reste celui des bras à bas coût et des développeurs qui les achètent.
Le pari de l'entreprise est que l'apprentissage à partir de vidéos humaines se généralise d'un corps robotique à l'autre. Dream API donne aux développeurs un moyen de tester eux-mêmes ce pari, et leurs résultats dans les mois à venir diront s'il tient au-delà des tâches démontrées.