生成AIの初期はホスト型API中心だったが、Qwen系列やGLM-5のようなオープンウェイトモデルがApache 2.0などで公開され、vLLM/SGLangといったOSSエンジンで直接ロードできるようになった。Stanford AI Index 2026では、クローズド最上位モデルとオープン最上位モデルのArenaスコア差は3.3％（2026年3月時点）にまで縮まっている。
本稿は、CI修正エージェントを例に、推論・ファインチューニング・強化学習・エージェント実行を一つのループとしてとらえ、KAITO・KubeRay・Kueue・Agent Substrate・Kata・Hyperlight・DRAといったOSSプロジェクトでレイヤ化して構成する道筋を示す。別々の基盤を3つ建てるのではなく、宣言的な状態同期を共通の制御平面に載せる発想である。
Salt Lake CityでのKubeCon 2026に向け、企業は推論コストだけでなく、ループ全体のスループットとセキュリティ境界の設計を評価軸に上げるべきだと結論づけている。