Comment repousser les frontières de l'IA avec Microsoft Research?

Les nouvelles frontières passionnantes de l'intelligence artificielle

• Je suis Ashley Loren avec la recherche Microsoft. Mon équipe travaille à la jonction de la recherche et du produit pour incuber des technologies émergentes et mener des programmes qui connectent notre recherche chez Microsoft à la communauté de recherche plus large. J'ai discuté avec les leaders de la recherche AJ Kamar, Amed Aalah et Sebastian Bubeck pour explorer certaines des nouvelles frontières les plus passionnantes de l'IA. Nous avons discuté de leurs aspirations pour l'IA, des orientations de recherche sur lesquelles ils parient pour y parvenir, et de la manière dont leur équipe travaille différemment pour saisir ce moment. Plongeons donc dans le sujet... Nous vivons un point d'inflexion dans la technologie humaine où les machines, dans leur ensemble, commencent à manifester les étincelles d'une intelligence générale, et il est difficile d'échapper à l'enthousiasme, même si vous le vouliez. En tant que chercheurs, nous sommes aussi sceptiques. Nous cherchons à comprendre les limites de la technologie ainsi que ses capacités, car ce sont vraiment ces limites qui mettent en lumière et définissent les frontières que nous voulons repousser. J'aimerais donc commencer par esquisser un peu ces frontières avec vous. J'aimerais entendre une aspiration que vous avez pour l'IA et pourquoi la technologie ne peut pas le faire aujourd'hui. Ensuite, nous reviendrons sur les orientations de recherche sur lesquelles vous pariez pour combler ces lacunes. Alors, Amed, quelle aspiration avez-vous pour l'IA et pourquoi la technologie ne peut-elle pas le faire aujourd'hui ?

Les nouvelles frontières passionnantes de l'intelligence artificielle

L'importance cruciale de la qualité des manuels pour la formation des modèles d'IA

• Les manuels sont tout ce dont vous avez besoin, les manuels sont tout ce dont vous avez besoin. C'est bien sûr un jeu de mots sur l'article le plus célèbre de tous les temps en matière d'apprentissage automatique, 'Attention is All You Need', qui introduit le mécanisme d'attention pour l'architecture Transformer. Ainsi, dans les manuels, notre besoin est clairement défini. Lorsque nous travaillons avec les données et que nous parvenons à obtenir des données de qualité manuels, nous obtenons des gains exponentiels, jusqu'à X mille, en termes de puissance de calcul totale nécessaire pour atteindre un certain niveau en matière d'intelligence de référence, etc. Alors, qu'est-ce que cette qualité 'manuels' mystérieuse ? Eh bien, la façon dont je voudrais le formuler est la suivante : ce qui compte vraiment dans un texte, lorsque vous le donnez à ces Transformateurs pour leur apprendre un concept, c'est le niveau de raisonnement présent dans le texte et le type de concept que vous pouvez en extraire si vous deviez prédire le mot suivant dans ce texte. Ce que nous voulons, c'est un texte dense en raisonnement, et vous savez, comme les romans, ne sont pas vraiment denses en raisonnement. Parfois, vous devez raisonner un peu pour comprendre, par exemple, comment les personnages sont liés, pourquoi ils pensent ou agissent comme ils le font, mais où trouvez-vous un texte vraiment dense en raisonnement ? Dans les manuels. C'est en quelque sorte le secret de base.

L'importance cruciale de la qualité des manuels pour la formation des modèles d'IA

Propulsion de l'intelligence artificielle avec orchestration multi-agent

• Dans un modèle de bibliothèque, l'équipe Orca s'attelle à améliorer la spécialisation des modèles de base en ajustant les capacités, les domaines et les contraintes pour les rendre plus performants dans différents domaines. Cette approche, appelée 'autogen', repose sur l'orchestration multi-agent. Concrètement, cette orchestration divise des tâches complexes en plus petites attribuées à différents agents dotés de capacités distinctes. Ce concept, en complément des travaux sur les modèles eux-mêmes, ouvre de nouvelles perspectives. De plus, l'intégration d'une boucle de rétroaction d'apprentissage dans ces modèles intelligents est cruciale pour leur évolution et leur adaptation dans des environnements réels. Enfin, repenser l'évaluation des modèles vers une approche plus holistique est essentiel pour mieux comprendre l'évolution des capacités des systèmes d'intelligence artificielle.

Propulsion de l'intelligence artificielle avec orchestration multi-agent

Repousser les frontières de l'IA avec Microsoft Research

• De mon point de vue, comme vous l'avez dit, il s'agit vraiment du moment où nous nous trouvons actuellement. Bien sûr, je n'ai pas été chez Microsoft Research pendant 30 ans, mais j'y suis depuis au moins la moitié de cette période. Personnellement, je n'ai jamais connu un moment aussi excitant qu'aujourd'hui pour être chercheur en IA et travailler en tant que tel chez Microsoft. Pensez-y, c'est l'entreprise qui construit les technologies IA de pointe entre les mains de millions de personnes, et le fait à une vitesse incroyable qui me surprend, bien que je travaille pour cette entreprise depuis les 13 dernières années. Nous voyons une vitesse d'innovation incroyable ici, une ambition sans précédent pour réaliser un travail d'IA exceptionnel. En tant que chercheurs au sein de Microsoft, nous sommes également capables de voir où se situent les lacunes, de recevoir beaucoup de retours sur ce qui fonctionne et ce qui ne fonctionne pas, et cela nous donne des signaux forts sur les domaines à privilégier. En fait, les directions de recherche dont nous parlons ne viennent pas de nulle part, elles découlent de notre collaboration avec différents groupes de produits, de nos expériences et de nos essais. Tout cela nous pousse à repenser ce que signifie la recherche en IA à l'ère de l'IA. Nous devons créer un niveau d'ambition aussi élevé que ce que la situation actuelle nous demande d'être : nous devons être à la pointe du monde de l'IA, impacter les systèmes d'IA dans le monde réel et avancer dans cette pyramide intelligente qui exige que nous coordonnions nos efforts autour d'une mission bien définie et que nous y allions avec conviction, rapidité et agilité. C'est ce que nous faisons au sein de notre nouvelle organisation appelée FR AI Frontiers, un laboratoire dédié à la mission d'élargir les frontières des capacités de l'IA. Nous nous concentrons sur un certain nombre de directions clés tout en ayant l'agilité et l'esprit d'équipe pour réévaluer constamment nos actions et nous demander si ce sont les problèmes les plus importants sur lesquels travailler actuellement, ou si le monde évolue et nécessite une réflexion, la création de nouvelles orientations ou la fin de certaines existantes. C'est, je crois, l'un des aspects les plus importants de notre époque dans le domaine de l'IA : nous ne travaillons pas sur des idées hypothétiques, nous rêvons certes, prenons des risques, ne faisons pas que des choses incrementales, mais même pour les idées à long terme et plus risquées, nous ne pourrons apprendre qu'en les construisant, en les partageant avec la communauté et en tirant des enseignements de ces retours. Voilà les fondements de notre nouvelle organisation.

Repousser les frontières de l'IA avec Microsoft Research

L'importance de la responsabilité de l'IA et de l'innovation

• Nous avons réalisé quelque chose d'intéressant que nous voulions partager avec la communauté de la recherche. Cependant, nous n'avions pas encore défini un récit pour ce que cela signifiait afin de le diffuser en toute sécurité. Nous avons donc pris du recul et travaillé avec le reste de l'entreprise pour mettre en place un processus très rigoureux. Avant de publier quoi que ce soit, cela devait passer par ce processus. Nous travaillons encore sur l'évaluation, la mesure et la signification de la sécurité. Il ne s'agit pas simplement d'une case à cocher que nous avons cochée. Il y a un effort continu de la part de nombreuses équipes au sein de l'entreprise, tant dans les produits que dans la recherche, pour affiner ces processus. Il est essentiel d'avancer dans notre compréhension de la publication sécurisée de ces modèles et de mettre en place les bons processus et systèmes pour nous assurer que tout ce que nous diffusons passe par ce processus. Il y a des défis très intéressants à relever, notamment en ce qui concerne la multimodalité par rapport à l'évaluation et à la sécurité. En outre, dans le domaine de l'IA et de la société, il est important de rester ancré dans des perspectives extérieures à ce Laboratoire. Microsoft Research, AJ, souligne l'importance cruciale de la recherche responsable en IA et de la contribution significative de MSR à cet égard, ouvrant de nouvelles voies pour que l'innovation se fasse de manière responsable à une plus grande échelle. Ils accordent une grande importance au partage de leur travail avec la communauté académique et des développeurs en open source. En mettant à disposition des modèles, architectures et bibliothèques, ils permettent à l'innovation de se faire avec responsabilité et ouvrent la voie à de meilleures pratiques de construction. Travailler chez Microsoft signifie également apprendre des cas d'utilisation réels et rester ancré dans le monde réel. Il est essentiel de collaborer avec la communauté pour partager les enseignements et innover ensemble dans la construction d'une IA responsable.

L'importance de la responsabilité de l'IA et de l'innovation

Conclusion:

Les efforts de recherche en intelligence artificielle chez Microsoft ouvrent la voie à des avancées passionnantes. En repoussant les frontières de l'IA, l'équipe cherche à relever les défis actuels et à façonner l'avenir de cette technologie révolutionnaire.

Q & A