optimize_anything:あらゆるテキストパラメータを最適化する汎用API

#Tech

optimize_anything:あらゆるテキストパラメータを最適化する汎用API AI汎用最適化フレームワーク

本研究は、一つのLLMベースの最適化システムが、異なるドメインの多様な問題に対応できることを示しました。

このシステムは、最適化問題をスコアリング関数による評価を受ける「テキストアーティファクトの改善」として定式化しています。

開発された最適化フレームワークは、エージェントアーキテクチャの精度向上やクラウドコスト40%削減など、6つの多様なタスクで最先端の結果を達成しました。

特に、クロスプロブレム転移を伴うマルチタスク検索は、独立した最適化よりも高い効果を発揮することが確認されています。

これにより、LLMベースのテキスト最適化が、従来のドメイン固有アルゴリズムを統合する汎用的な問題解決パラダイムであることを初めて証明しました。

AIの最適化手法が、特定の分野に特化せず、あらゆる問題に応用できる汎用性を獲得しつつある。今回、研究チームは「optimize_anything」という新しいAIベースの最適化システムを発表した。これは、あらゆる種類の最適化問題を「テキストの改善」として捉え直し、単一のAIシステムで解決を目指す画期的な試みだ。

単一AIによる多領域問題解決

このシステムは、最適化問題を「スコアリング関数によって評価されるテキストアーティファクトの改善」として定式化している。これにより、AIは単一のフレームワーク内で、非常に多様なタスクを処理できるようになった。例えば、Gemini FlashのARC-AGI精度を約3倍に高めるエージェントアーキテクチャの発見や、クラウドコストを40%削減するスケジューリングアルゴリズムの発見などが報告されている。これは、これまでドメイン固有の専門的なアルゴリズムが必要とされていたタスクを統合する試みだ。

性能向上の鍵となる情報設計

研究では、最適化のプロセスにおいて「アクション可能なサイド情報」を提供することが、スコアのみのフィードバックを与える場合よりも、収束を早め、最終的なスコアを大幅に向上させることが示された。また、複数のタスクを同時に扱う「マルチタスク検索」は、個別の最適化を行う場合と比較して、タスク間の知識転移(クロス・タスク・トランスファー)によって優位性を示すことが確認された。関連性の高いタスクが増えるほど、このメリットは拡大するようだ。

汎用性の証明とオープンソース化

本研究は、LLM(大規模言語モデル)ベースの検索を用いたテキスト最適化が、汎用的な問題解決パラダイムとなり得ることを初めて実証した。CUDAカーネルの生成において、生成されたコードの87%がPyTorchのコードと同等かそれ以上の性能を達成した点も注目される。この「optimize_anything」はオープンソースとして公開されており、GEPAプロジェクトの一部として複数のバックエンドに対応しているとのことだ。

まとめ

本システムは、AIが特定の専門分野に縛られず、広範な問題解決に貢献できる可能性を示した。テキストを介した最適化というアプローチは、今後のAI技術の汎用化と応用範囲の拡大に大きく寄与すると見られている。

原文の冒頭を表示(英語・3段落のみ)

Authors:Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis, Matei Zaharia

View PDF

HTML (experimental)

※ 著作権に配慮し、引用は冒頭3段落までです。続きは元記事をご覧ください。

元記事を読む ↗