AIフロンティア：未来の展望を探る

AIの未来への展望

• 私はMicrosoft ResearchのAshley Lorenです。私たちのチームは研究と製品の両方で活動し、新興テクノロジーを育成し、Microsoftの研究を広範な研究コミュニティに接続するプログラムを実施しています。研究リーダーのAJ Kamar、Aahad aalah、Sebastian bubeckと一緒に座り、AIの最もエキサイティングな新しいフロンティアについて探求しました。彼らのAIに対する期待、目指している研究の方向、そのギャップを埋めるためにチームが異なる方法で取り組んでいることについて話し合いました。

AIの未来への展望

最新のAI研究動向について

• 教科書はすべてあります。だから教科書だけが必要です。これはもちろん、機械学習の史上最も有名な論文である『注意はすべてです』をもじったものです。これはTransformersアーキテクチャ向けの注意機構を紹介したものです。教科書が未成ですか。私たちが言いたいことは、データを使って遊び、教科書の品質のデータを考え出すことができると、何倍もの成長が見込めます。この教科書の品質データを作成すると、特定のベンチマーク知能レベルに到達するために必要な合計計算量を見ると、成長が1000倍になります。では、この教科書の品質とは何でしょうか。この謎めいた品質ですが、テキストを与えたときに重要なのは、テキストがどれだけ推論されるか、次の単語を予測する必要がある場合、どのような概念が抽出できるかです。私たちが望むのは、推論を凝集したテキストであり、小説のようなものは実際には推論があまりないです。時々、文字がどのように関連しているか、なぜそう考えて行動しているのかを理解するために少し推論する必要がありますが、本当に推論密度の高いテキストは教科書にあります。これが基本的に秘密です。また、最近、Universeでさまざまな事前トレーニング方法について話し合ったことがあり、教科書のような推論トークンなど、そしてポストトレーニング方法の全体的な分野にまで話が及んでいます。あなたの研究関心に入っていただき、そのフロンティアでどこに進んでいるか、事前トレーニングとポストトレーニングという観点で、まだお話ししていないことについてお聞かせいただけますか

最新のAI研究動向について

AIの進化：知性ピラミッドを構築する新たな展望

• AIの世界では、モデルライブラリ内に共存するのは、オルカチームが行っている細かい調整の作業についての一層の高度な特化です。ある能力、ドメイン、制約を取り、異なるドメインと能力に対してそれらのベースモデルをどのようにさらに向上させるか、そしてモデルがどのようなものを生成するかについてより多くの制御を持ちたいと考えています。これが、私たちが構築している知性ピラミッドの第二段階になります。また、私たちは興味深いデモンストレーションを行い、チームでビルディングしています。オーケストレーションがその知性ピリットでどのような役割を果たすのかを検討しています。単純に、ベースモデルや専門モデルを使って作業を行う一番シンプルな方法は、指示して何かを行わせるだけですが、それがこれらのモデルをどのように建築していくのかの終着点となるのでしょうか。答えはノーです。実際、私たちのチームが共同で行っている作業の一つに「オートジェン」というものがあり、これは開発コミュニティで非常に人気を博したライブラリです。GitHubで1か月未満で15,000スターに到達したと思うのですが、この実験的なライブラリに対する開発者コミュニティからの反応を見ていると楽しくなります。人々がこれらのモデルで行いたいと考える作業の種類は、能力の境界を拡張したいとき、より堅牢な実行をしたいとき、本当に指示やモデル戦略の脆弱性を乗り越えたいとき、実際にはオーケストレーションに向かい、さらにはマルチエージェントオーケストレーションに向かうことになります。マルチエージェントオーケストレーションとは、単純なタスクを思い通りに行うことができない複雑なタスクを想定する場合、我々が持っている最高のモデルであっても単にプロンプトだけでは頼りにならないことがあるため、実際には人間のように複雑な問題を小さな部分に分割し、異なる能力を持つ異なる人々に異なる部分を割り当てる仕組みです。これがオートアンフレームワークの動作原理です。複雑なタスクを小さなパーツに分割し、異なるエージェントに異なるパーツを割り当てることができるということです。つまり、異なる戦略やペルソナを持つ異なるモデルにプロンプトをかけてうまく連携することができるということです。私たちが見ているのは、この非常にシンプルなアイデアであるマルチエージェントオーケストレーションがモデリング側で行っているすべての素晴らしい作業の上にある別のレイヤーであり、この知性の限界を本当に押し進める可能性があるということです。私たちの組織で行っていることの一つは、これらの関連性を理解することです。FIとOrca、オートジェンはどのように関係しているのかを理解することです。私は、これが今後非常に重要になると考えています。これらのシステムが現実世界の一部になるにつれて、Ahmedの提唱するように、私たちは現在非常に強く推進している領域があります。いまから10年後には、我々が取り組んでいる研究アイデアのうちの最後のものは、実際にはスタック全体を横断して非常に統一的なものです。AIの進歩は今日どのように見えるか、すべての素晴らしい作業を行っているが、AIシステムや構築しているモデルの能力がどのように進化しているのか、これはモデルがスケールアップし、より多くのデータが得られるにつれてどのように進化しているかについての疑問です。これは評価と理解に関する質問になっています。非常に速い変化する環境でアジャイルな作業を行っているときに、私たちが必要とするのは、進行方向を確認し、どれくらい進歩したかを見るためのヘッドライトです。このため、研究の方向性として非常に強く推進している分野の一つは、既存のベンチマークや既存の評価戦略だけに頼らず、評価全体についての考え方を本当に革新することです。知性スタックの革新が、研究者がモデルを理解し、評価する新しいアプローチを考え出すことをどのように可能にするかについて話しています。モデルの理解や評価をどのようにすれば、いち早く見通しが立つかに焦点を当てています。

AIの進化：知性ピラミッドを構築する新たな展望

AIフロンティアという新しい挑戦

• 現在の状況を考えると、これは本当にその瞬間についてのものですね。もちろん、私は30年間Microsoft Researchに在籍していませんが、少なくともその半分の期間ここにいました。個人的には、AIリサーチャーであり、それもMicrosoftの中でAIリサーチャーであるという今が、これまでで最もエキサイティングな瞬間だと感じています。考えてみてください。何百万人もの手に最先端のAI技術を提供している会社です。そして、そのスピードには驚かされます。私は過去13年間この会社の従業員であるにもかかわらず、イノベーションのスピードを考えると驚きます。私たちがここで見ているイノベーションのスピードを考えてみてください。この会社の野心レベルがどこにあるのかを考えると、素晴らしいAIの仕事をする際の野心のレベルがどこにあるのかを考えてみてください。もちろん、Microsoft内での研究を行うことで、我々はどこにギャップがあるのかを見ることができます。何がうまくいっていて、何がうまくいっていないのかについて多くのフィードバックを得ることができます。これにより、どこに進出すべきかについての強力なシグナルをたくさん得られるわけです。実際には、私たちが話している研究方向は、空中からやってくるものではありません。これは、さまざまな製品グループと協力して、彼らの経験から学んだり、自分たちでも試したりすることから生まれています。これらすべてが、新しいAI時代におけるAIリサーチの意味を再考するように私たちを刺激しています。現在の状況が要求するような野心のレベルを作り出しているとすると、つまり、AIの世界の最先端に立つこと、現実世界のAIシステムに影響を与えること、そしてこの知的ピラミッドで前進することを要求されているとすれば、非常によく定義されたミッションに基づいて、堅実に、スピーディに、そして機敏に進む必要があります。それが、新しい組織FR AI Frontiersで行なっていることです。これは、ミッションに焦点を当てたAIラボで、私たちのミッションは、AIの能力のフロンティアを拡大することです。これを達成するために、私たちはいくつかの重要な方向に焦点を当てるだけでなく、柔軟性とチームワークを持ち、常に自分自身を再評価し、「今最も重要な問題はこれか」「世界が変わっているので、方向性を再考すべきか」「新しい方向を作るべきか」「方向を変えるべきか」という問いかけを行います。これが、今のAIの世界が直面している最も重要な点の1つだと思います。もちろん、私たちは仮説的なアイデアに取り組んでいるわけではありませんが、夢を見てリスクを取っているわけです。それによって、従来のやり方だけでなく、先の見通しを持ったアイデアについても成長していくことができるわけです。コミュニティと共有し、そのフィードバックから学ぶことができるのは、私たちが新しい組織のために築いている基盤です。

AIフロンティアという新しい挑戦

AIによる責任ある革新を推進する方法

• 興味深いことを行った際、それを共有したいという気持ちから、研究コミュニティと共有したいという思いがありました。しかし、安全にリリースするためのストーリーがなかったため、会社全体と協力して非常に厳格なプロセスを立ち上げることに時間を費やしました。何かをリリースする前には、そのプロセスを経る必要がありました。それでも、安全性を評価し、測定方法を学んでいる最中であり、簡単なチェックボックスで解決するものではありません。常に多くのチームが、製品や研究の両面でこれらのプロセスを洗練させるために努力しており、モデルの安全なリリースにどう進むべきかを常に理解し、正しいプロセスやシステムを持っていることを確認しています。非常に興味深いフロンティアがあり、特に評価と安全性に関する多様性は非常に面白いフロンティアです。AIが実世界で相互作用することについても話し合いましたが、それは単なるチャットボットではなく、実際の世界でアクションを起こすエージェントとして相互作用するものでもあります。この段階でそれを真剣に取り組んでいるのは素晴らしいことであり、今後ますます複雑になると思われるため、より重要であると考えています。

AIによる責任ある革新を推進する方法

Conclusion:

AIの未来への展望やフロンティアについてのディスカッションは、AI研究の方向性や進化についての重要な洞察を提供しています。AI技術の今後の展開に注目が集まる中、AIフロンティアでの新たな挑戦に期待が高まります。

Q & A