Der Aufstieg der KI-Forschung: Panel-Diskussion über innovative Algorithmen

Die aufregenden Zukunftsaussichten von KI

• Ich bin Ashley Loren von Microsoft Research. Mein Team arbeitet an der Schnittstelle von Forschung und Produktentwicklung, um aufstrebende Technologien zu fördern und Programme durchzuführen, die unsere Forschung bei Microsoft mit der breiteren Forschungsgemeinschaft verbinden. Ich habe mich mit Forschungsleitern AJ Kamar, Akmed Aalah und Sebastian Bubeck zusammengesetzt, um einige der aufregendsten neuen Grenzen in der KI zu erkunden. Wir diskutieren ihre Bestrebungen für die KI, die Forschungsrichtungen, auf die sie setzen, um diese zu erreichen, und wie ihr Team anders arbeitet, um diesen Moment zu nutzen. Lassen Sie uns eintauchen. Wir erleben einen Wendepunkt in der menschlichen Technologie, an dem Maschinen im weitesten Sinne beginnen, die Funken der allgemeinen Intelligenz zu zeigen, und es ist schwer, der Begeisterung zu entgehen, selbst wenn Sie wollten. Aber als Forscher sind wir auch Skeptiker. Wir versuchen, die Grenzen der Technologie zu verstehen, sowie die Fähigkeiten, denn es sind wirklich diese Grenzen, die die Grenzen definieren, auf die wir vorstoßen möchten. Ich möchte hier damit beginnen, diese Grenzen mit Ihnen ein wenig zu skizzieren. Ich würde gerne von Ihnen hören, welche Aspiration Sie für KI haben und warum die Technologie das heute nicht kann. Dann werden wir zu den Forschungsrichtungen zurückkehren, auf die Sie setzen, um diese Lücken zu schließen. Also, Amed, was denken Sie? Welche Aspiration haben Sie für KI und warum kann die Technologie das heute nicht?

Die aufregenden Zukunftsaussichten von KI

Die Bedeutung von hochwertigen Lehrbüchern in der KI-Forschung

• Lehrbücher sind alles, was Sie brauchen - so lautet eine clevere Anspielung auf das berühmteste Papier aller Zeiten im Maschinenlernen: 'Attention is all you need', das den Aufmerksamkeitsmechanismus für die Transformer-Architektur vorstellte. Wenn es um Lehrbücher geht, sind sie unerlässlich. Wenn Sie jedoch mit den Daten spielen und daten von Lehrbuchqualität erstellen, können Sie enorme Gewinne erzielen - um ein Vielfaches des Gesamtberechnungsaufwands, den Sie benötigen, um ein bestimmtes Niveau in Bezug auf Benchmark-Intelligenz etc. zu erreichen. Doch was bedeutet diese mysteriöse Lehrbuchqualität? Die Essenz von Text, die für Transformer von Bedeutung ist, liegt in ihrem argumentativen Gehalt und der Fähigkeit, aus dem Text Konzepte abzuleiten. Wir möchten Texte, die reich an Argumentation sind und aus denen man mithilfe von Vorhersagen den nächsten Wort ableiten kann. Und wo finden wir solch argumentativ dichte Texte? In Lehrbüchern. Dies ist im Grunde genommen das Geheimnis. Auf kürzlich geführte Gespräche über verschiedene Vorabtrainingsmethoden - wie beispielsweise reasoningsbasierte Token, sowie den gesamten Bereich der Post-Training-Methoden, und wie viel noch in diesem Bereich zu entdecken ist. Welche sind deine Forschungsinteressen und in welche Richtung treibst du die Forschung voran? Was haben wir noch nicht über Vorabtraining vs. Post-Training besprochen?

Die Bedeutung von hochwertigen Lehrbüchern in der KI-Forschung

Die Evolution der KI-Modelle: Eine neue Ära des Lernens und der Evaluation

• In einem Modellbibliothek-Setup wird die Arbeit des Orca-Teams nun in einer Schicht zusammengeführt, die sich um Feinabstimmungsspezialisierung dreht. Dabei geht es um die Optimierung von Fähigkeiten, Domänen und Einschränkungen, um Basismodelle noch besser für verschiedene Anwendungsgebiete anzupassen. Dies markiert den zweiten Schritt der intelligenten Pyramide, die wir aufbauen. Durch interessante Demonstrationen und die Entwicklung eines Experimentierbereichs namens Autogen mit unserer Entwickler-Community haben wir wertvolle Einblicke erhalten. Es wird klar, dass zur Erweiterung der Anwendungsmöglichkeiten und zur Überwindung der Grenzen der einfachen Befehlseingabe, die Orchestrierung und Multi-Agenten-Orchestrierung eine zentrale Rolle spielen. Wir erkennen, dass dieser Ansatz Teilaufgaben in kleine Stücke zerlegt und verschiedenen Agenten zuweist, die unterschiedliche Modelle mit verschiedenen Strategien und Persönlichkeiten nutzen. Dieser Schritt zur Multi-Agenten-Orchestrierung öffnet neue Horizonte im Bereich der KI. Darüber hinaus betonen wir die Notwendigkeit eines Lernrückkopplungssystems, um KI-Systeme kontinuierlich zu verbessern. Auch die Evaluation von KI-Modellen und der Einsatz neuer Evaluationsstrategien sind Schwerpunkte unserer Forschung, um die Fortschritte und Richtung in der KI-Entwicklung zu verstehen.

Die Evolution der KI-Modelle: Eine neue Ära des Lernens und der Evaluation

Die aufregende Welt der KI-Forschung bei Microsoft

• Aus Ihrer Perspektive erscheint es so, als ob dies wirklich der Moment ist, in dem wir uns gerade befinden. Natürlich bin ich nicht seit 30 Jahren bei Microsoft Research, aber zumindest die Hälfte davon war ich hier. Persönlich gab es für mich noch nie einen so aufregenden Moment wie jetzt, KI-Forscher bei Microsoft zu sein. Denken Sie darüber nach: Dies ist das Unternehmen, das die modernsten KI-Technologien entwickelt und sie in die Hände von Millionen von Menschen legt – und das in einer unglaublichen Geschwindigkeit, die mich überrascht, obwohl ich seit 13 Jahren Mitarbeiter dieses Unternehmens bin. Denken Sie über das Innovationsniveau nach, das wir hier sehen. Denken Sie über das Ambitionsniveau dieses Unternehmens nach, wenn es darum geht, großartige KI-Arbeit zu leisten. Natürlich sehen wir durch die Forschung innerhalb von Microsoft auch, wo die Lücken liegen. Wir erhalten viel Feedback darüber, was funktioniert und was nicht funktioniert, und das gibt uns starke Signale, wohin wir steuern müssen. Diese Forschungsrichtungen, über die wir sprechen, entstehen nicht aus dem Nichts. Sie entstehen aus der Zusammenarbeit mit verschiedenen Produktgruppen, dem Lernen aus ihren Erfahrungen und dem eigenen Ausprobieren. Das motiviert uns alle dazu, neu zu überlegen, was KI-Forschung in diesem neuen KI-Zeitalter bedeutet.

Die aufregende Welt der KI-Forschung bei Microsoft

Die Bedeutung von verantwortungsbewusster KI in der Forschungsgemeinschaft

• Als wir etwas Interessantes getan haben, wollten wir es veröffentlichen, weil wir es mit der Forschungsgemeinschaft teilen und diese darauf aufbauen wollten. Doch wir hatten keine klare Vorstellung davon, was das bedeutet, um es sicher freizugeben. Deshalb haben wir uns Zeit genommen, um mit dem Rest des Unternehmens zusammenzuarbeiten und einen sehr rigorosen Prozess zu entwickeln. Bevor wir etwas veröffentlichen konnten, musste es diesen Prozess durchlaufen. Ich denke jedoch, dass wir immer noch lernen, wie wir Sicherheit bewerten und messen können und was es bedeutet, Sicherheit zu messen. Es ist also nicht einfach wie ein Kästchen, das wir ankreuzen, wir haben es herausgefunden und das war es. Das ist es, was wir tun und wir sind zuversichtlich in diesen Prozess. Es gibt eine kontinuierliche Anstrengung von einer sehr großen Anzahl von Teams im Unternehmen in Produkten und Forschung, um diese Prozesse kontinuierlich zu verfeinern. Dadurch stellen wir sicher, dass wir unser Verständnis davon, wie man Modelle sicher freigibt, vorantreiben und sicherstellen, dass wir die richtigen Prozesse und Systeme haben, um sicherzustellen, dass alles, was wir veröffentlichen, diesen Prozess durchläuft. Es gibt interessante Entwicklungen im Bereich der Multimodalität in Bezug auf Evaluation und Sicherheit, über die wir bereits zu Beginn des Gesprächs gesprochen haben, dass KI in der realen Welt agiert, nicht nur als Chatbot, sondern als Handelnder, der Maßnahmen in der realen Welt ergreift. Es ist großartig zu sehen, dass wir dies in dieser Phase so ernst nehmen, da es meiner Meinung nach mit zunehmender Komplexität und Bedeutung noch komplizierter wird, wenn wir voranschreiten. Warum reden wir nicht einen Moment über KI und Gesellschaft? Eine der für mich wichtigen Dinge, wenn ich über meine eigene Forschung und meine Reise hier nachdenke, ist es, durch Perspektiven außerhalb dieses Labors und außerhalb des SPH, in dem wir uns befinden, geerdet zu bleiben. Wir bekommen einen Teil davon an unseren Esstischen, richtig? Ich habe persönlich die Möglichkeit, mit Gemeinschaften, Gemeindeorganisationen und sogar Politikern in Kontakt zu treten. Aber ich interessiere mich wirklich dafür, wie ihr alle außerhalb dieser Welt hier bei Microsoft Research AJ, verbunden bleibt. Einer der wichtigen Aspekte bei der Diskussion um KI in der Gesellschaft und verantwortungsbewusste KI ist, dass ein erheblicher Teil unserer Organisation aus Forschern und Ingenieuren besteht, die in den letzten zehn Jahren maßgeblich zur Arbeit beigetragen haben, die Microsoft im Bereich verantwortungsbewusste KI geleistet hat. Eine Sache, auf die ich am stolzesten bin, was meine persönliche Zeit bei MSR betrifft, ist, wie viel MSR dazu beigetragen hat, dass Microsoft verantwortungsbewusste KI betreibt. Dies geschah, weil wir tatsächlich die Realitäten der KI-Entwicklung sahen und die Leidenschaft hatten, Innovationen im Bereich des verantwortungsbewussten KI-Aufbaus voranzutreiben. Ich denke, dies ist eine Chance für uns, dies in größerem Umfang zu tun, da wir koordiniertere Anstrengungen haben, um die Grenzen der KI in dieser neuen Organisation und bei MSR insgesamt zu erweitern. Es gibt einige Möglichkeiten, wie wir dies derzeit tun, und dann komme ich zu deinem Punkt in Bezug auf die Community. Eines der Dinge, die uns sehr am Herzen liegen, ist die Weitergabe unserer Arbeit an die akademische Gemeinschaft und die Entwicklergemeinschaft durch Open Source. Alle Arbeiten wie Fi, Orca, Autogen und andere werden veröffentlicht, und tatsächlich ist das Besondere an der kleinen Sprachmodellklasse, dass sie viele praktische Forschungsarbeiten ermöglichen, die ohne diese Modellfamilie möglicherweise nicht möglich wären. Denn viele andere Modelle mit vergleichbaren Fähigkeiten wie Fi und Orca waren viel größer und undurchsichtiger für die Forschungsgemeinschaft. Jetzt, da wir diese Modelle unter MIT-Lizenz veröffentlichen, heißen wir die akademische Gemeinschaft herzlich willkommen, sich mit diesen Modellen zu befassen, um herauszufinden, wie sie in der Schlussfolgerung besser werden und die Frage zu stellen, wie wir bessere Kontrollen in Fi und Orca haben, wie wir die Schulungsdaten verbessern können, um einige der Voreingenommenheiten, Zuverlässigkeitsprobleme und Toxizität zu verringern. Eine Sache, an die ich persönlich sehr glaube, ist, dass es keine Lager geben kann, die KI stoppen, versus so schnell wie möglich vorantreiben. Es geht wirklich darum, KI verantwortungsbewusst aufzubauen und sicherzustellen, dass unsere Innovationen auch in Verantwortung geschehen, was ein wesentlicher Teil dieser Innovation ist. Unter Berücksichtigung dieser Überlegungen halten wir es für so wichtig, der akademischen Gemeinschaft Modelle, Architekturen, Agentenbibliotheken zur Verfügung zu stellen, damit die Innovation in Bezug auf die Entwicklung verantwortungsbewusster KI aus der ganzen Welt kommt, und nicht nur aus dem Bereich, der Zugang zu solchen Modellen hat. Und wenn ich kurz zum Fi-Modell auf Hugging Face kommen darf, wir haben bereits fast eine Million Downloads erreicht, also es ist wirklich real, dass dies jetzt von fast einer Million Menschen genutzt wird. Hinzu kommt, dass wir auch bei Autogen viel von der Community lernen, da man mit Autogen viele Modelle verwenden kann und es eine große Entwicklergemeinschaft darum geschaffen hat. Wir haben unglaublich viel von ihnen gelernt, nicht nur in Bezug darauf, wie sie es verwenden, sondern auch in vielen innovativen Ideen, wie man es sogar nutzen kann, um die Anwendung sicherer zu machen oder zuverlässiger zu machen, da das Framework es ermöglicht, verschiedene Rollen zu definieren und die Leute kommen mit sehr interessanten Ideen, vielleicht einen Sicherheitsagenten hinzuzufügen, um sicherzustellen, dass das, was das Agententeam tut, tatsächlich bestimmte Sicherheitskriterien erfüllt, oder andere Agenten hinzuzufügen, die sicherstellen, dass die Erfüllung der Aufgabe mit der ursprünglichen menschlichen Absicht übereinstimmt. Wir befinden uns in einem frühen Stadium und ermöglichen der Community die Verwendung dessen, was wir in der Open Source tun, hilft uns dabei, gemeinsam bessere Möglichkeiten für den Aufbau dieser Dinge auf eine viel bessere und sichere Weise zu entwickeln. Und auf der Grundlage der Arbeit, die wir hoffentlich für die akademische Gemeinschaft ermöglichen, gibt es auch etwas darüber, in einem Unternehmen wie Microsoft zu arbeiten und von Echtwelt-Anwendungsfällen zu lernen. Verantwortungsbewusste KI geht wirklich um die reale Welt, und wir möchten sicherstellen, dass wir im Laufe der Zeit über Möglichkeiten nachdenken, möglicherweise sogar mit dir, Ashley, und deinem Team zusammenzuarbeiten, um unsere Erkenntnisse darüber, wie die reale Welt aussieht, welche realen Anforderungen es gibt, mit einer viel größeren Gemeinschaft zu teilen, damit wir gemeinsam all diese Überlegungen anstellen und gemeinsam innovieren können, um KI verantwortungsbewusst aufzubauen. Die globale Forschungsgemeinschaft, über die wir viel sprechen, ist meiner Meinung nach umfangreicher, als sie es je war, zumindest was die Informatik-Forschung betrifft, und die Vielzahl der verschiedenen Disziplinen, die derzeit in die Informatik-Forschung einbezogen sind. Einige Computerwissenschaftler spielen gerade mit Fi herum und nutzen Autogen, auf der anderen Seite gibt es Rechtswissenschaftler, Politikforscher, medizinische Praktiker und die globale Forschungsgemeinschaft ist einfach umfangreicher als je zuvor. Es war großartig, in der Lage zu sein, Microsoft als Plattform zu nutzen, um in einem breiteren Rahmen zu interagieren. Es hat mir wirklich viel Spaß gemacht, mit euch allen täglich zu sprechen, aber heute war eine besonders faszinierende Diskussion. Vielen Dank, Ashley.

Die Bedeutung von verantwortungsbewusster KI in der Forschungsgemeinschaft

Conclusion:

Die Diskussion über die Entwicklung der KI und innovative Forschungsrichtungen bei Microsoft Research bietet tiefe Einblicke in die fortschreitende Technologie und zukünftige Perspektiven. Bleiben Sie dran, um mehr über die spannenden Entwicklungen auf dem Gebiet der KI zu erfahren.

Q & A