Googleの「Geminiモデル」などと連携した生成AI機能のAPI「αU on cloud」を提供開始～共創プログラムMUGENLABOを通じてスタートアップの生成AI開発を支援～

KDDIは2024年7月25日から、メタバース・Web3サービス「αU (アルファユー)」の機能（Googleの「Geminiモデル」と連携した生成AIなど）を、企業が自社製品やサービスへ組み込み、高度化することが可能なAPIサービス「αU on cloud」を提供開始。2024年2月に発表した「αU on cloud」は、バーチャルショッピングサービス「αU place」など、KDDIサービスへの導入から開始しましたが、このたび、スタートアップ企業を中心に一般提供を開始。

利用を希望する企業は、スタートアップと大企業の生成AIを活用する共創プログラム「MUGENLABO 生成AI活用支援プログラム」を通じて申し込みが可能です。開発支援のほか、機能詳細やユースケースなどの情報提供する。

これにより、たとえば生成AIによる対話型サービスやコンテンツ制作支援ツールの構築が可能。活用事例の第1弾として、世界的に著名な電子音楽プロデューサー「deadmau5」などがプロデュースする音楽生成AI「KORUS」、およびARプラットフォーム「palanAR」と連携し、生成AIによる「音楽制作/楽曲にあわせた画像制作/楽曲・画像を組み合わせたAR空間での体験提供」が可能なシステムを開発。

ユースケース公開にあたって、著名な音楽アーティストでもあるPixelynx共同創業者2名は次のように述べている。

バーチャルの芸術性とインタラクティブなパフォーマンスにおいて、日本は常に最先端を走ってきました。 KDDIのαU on cloud、palanARを通じKORUSを日本のファンに届けられることに、とても興奮しています。

Pixelynx 共同創業者 deadmau5（デッドマウス）氏

KORUSがKDDIのαU on cloud、palanARとタッグを組み、共に限界に挑戦し、バーチャルアバターとインタラクティブな音楽ストリームを融合させ、パフォーマンスの未来を探求できることを非常に嬉しく思います。

Pixelynx 共同創業者 Richie Hawtin（リッチー・ホウティン）氏

KDDIは今後、「αU on cloud」を活用したユースケースをスタートアップとともに創出していき、一般のお客さまが身近に生成AIを体験できるサービスを提供していきます。

αU on cloudについて

概要

・KDDIは、メタバース/ライブ配信/バーチャルショッピングなど、現実と仮想を軽やかに行き来する新しい世代に寄り添ったメタバース・Web3サービス「αU」を提供。
・「αU on cloud」は、「αU」の機能（生成AIやクラウドレンダリングなど）を、企業が自社製品やサービスへ組み込み、高度化することが可能なAPIサービス。
・例えば、服の画像1枚から体形に沿った試着イメージを生成し、店舗に訪れなくても自分が着たイメージを確認できるショッピング体験や、音楽ライブ映像の空間演出をリアルタイムに生成可能なエンタメ体験など、身近な生成AI体験を提供が可能。
「αU on cloud」は、Googleの高性能な生成AIモデル「Gemini Proモデル」やGoogle Cloudのクラウドレンダリング「Immersive Stream for XR」などをはじめとする最先端技術と連携しており、KDDIの「αU」と組み合わさることで、革新的な体験の創出を可能とする。
「αU」における、生成AIに関する取り組み事例はこちら、クラウドレンダリングに関する取り組み事例はこちらを参照。

提供機能

・大規模言語モデル（LLM）や合成音声（TTS）などの生成AIによる対話API
・画像や音楽などのコンテンツ生成による各種クリエイティブ支援API
・高精細なAR・VR表現を実現するクラウドレンダリングなどのXR技術提供

対象者

スタートアップ企業

利用方法

「MUGENLABO 生成AI活用支援プログラム」特設サイトからお申し込みください。詳細情報を順次ご案内します。
https://www.kddi.com/open-innovation-program/mugenlabo/generative-ai/

αU on cloudの活用実証（生成AIによる音楽制作からXRコンテンツ制作を一気通貫で）

概要

「αU on cloud」を活用し、生成AIによる「音楽制作/楽曲にあわせた画像制作/楽曲・画像を組み合わせたAR空間での体験提供」を、一気通貫で利用できるシステムを開発。

（1）生成AIで音楽制作
世界的に著名な電子音楽プロデューサー「deadmau5」などがプロデュースする音楽生成AI「KORUS」と連携し、専門知識がなくともAIが音楽制作をサポート。

（2）生成AIで楽曲にあわせたビジュアル制作
歌詞や音楽のテーマを入力するだけで、楽曲に沿ったビジュアルの制作が可能。2D画像だけでなく360度の全天球画像も作れるため、最新のヘッドマウンドディスプレイで臨場感溢れるVR体験が可能。

（3）生成AIでXRコンテンツ提供
音楽と360度空間が出来上がった後は、その空間内で動き出すアバターの制作が可能。例えば、生成AIに歌詞を入力し、感情に合わせたモーションを再生することも可能。なお、アバターはVR体験だけでなく、スマートフォンをかざすことで現実世界と融合するAR体験も可能。