KDDI、palan、Pixelynxが連携——AIが生み出す新たな音楽XR体験をAWEで初披露

KDDI 下桐希: 先端技術統括本部先端技術企画本部先端技術戦略部エキスパート

palan 齋藤瑛史: CEO

palan 佐々木彩花: 共同創業者 CDO

Pixelynx CEO: Inder Phull

2024年6月、アメリカ・ロングビーチで開催された世界的なARカンファレンス「AWE USA 2024」において、KDDI、palan、Pixelynxの3社がそれぞれが持つ技術やプラットフォームを連携させたシステムのデモを披露しました。このデモは、ARコンテンツ制作の世界に新たな可能性をもたらすものとして注目を集めています。

このシステムは、PixelynxのAI搭載音楽プラットフォーム「KORUS」の機能をKDDIの「αU on cloud」を介してpalanのAR作成プラットフォーム「palanAR」に連携することで実現しました。これにより、専門的なコーディング知識がなくても、高品質な音楽XR体験をユーザーは簡単に生成することが可能になります。

注目すべきは、この取り組みが「αU on cloud」の初めての提供事例となる点です。この取り組みの立役者である、KDDI 先端技術統括本部先端技術企画本部先端技術戦略部エキスパートの下桐希氏、palanのCEO齋藤瑛史氏と共同創業者でCDOの佐々木彩花氏、Pixelynx CEOのInder Phull氏に話を伺いました。

αU on cloud とは何か

AWE USA 2024で出展したブース。左からpalan 齋藤瑛史氏、KDDI 下桐希氏

KDDIは今年2月「αU on cloud」を発表しました。これは従来から提供しているメタバース・Web3サービス「αU」とさまざまな最先端の生成AIモデルを連携し、企業むけに提供するものです。αU on cloudでは、例えば、服の画像1枚から試着イメージを生成するショッピング体験や、音楽ライブ映像の空間演出をリアルタイムに生成するエンタメ体験などが可能になります。

KDDIはこのサービスを通じて、企業のXR体験創出を支援し、生成AI技術の活用を促進することを目指しており、スタートアップには「KDDI ∞ Labo」を通じ、大企業とのマッチングや開発支援も提供されます。

ノーコードARプラットフォーム「palanAR（パラナル）」

今回、αU on cloud と組むことになったpalanは、2016年に創業したARに特化したスタートアップです。Webのサイトやシステムの受託開発や運営のほか、自社サービスとして、コードを書かずにWebARを作成できる「palanAR（パラナル）」を提供しています。

palanは、ARのリテラシーがない人でもARに参加できる素晴らしい方法を提供しています。WebARだけでなく、ARデバイスでもコンテンツを公開することができます。

palanARが他のサービスと決定的に違うのは、ノーコードだということです。ユーザーはARを使ったことがない人ばかりですが、オンラインでpalanARを利用するだけで、AR体験できることに驚くのです。

佐々木氏

palan 佐々木彩花氏

私たちは、世界中の人々がARを使って自己表現をし、そのコンテンツが日本中、世界中どこでも閲覧できる環境を作ろうとしています。この取り組みの中で、コンテンツを配置できるユースケースを強化していきたいと考えています。

ユースケースの一つとして、観光用途を拡大していきたいと考えています。そのために、自治体や一般クリエイター方がARコンテンツを制作する際の障壁を下げることが重要です。今回の取り組みによって、この障壁がさらに低くなることを期待しています。

齋藤氏

Pixelynxの音楽IP管理と新しい表現方法

Pixelynxは、音楽IPの管理とクリエイターのための新しい表現方法を提供するツール「KORUS」を開発しています。音楽業界に造詣の深いCEOの Inder Phull氏は2020年にPixelynxを創業し、その後、2022年12月に世界的なWeb3企業Animoca Brandsに買収されました。

私たちはAnimoca Brandsのエコシステムの一部であり、クリエイターが新しい方法で自分自身を表現し、ファンと共に成長できるような製品やツールのエコシステムを構築しています。

この会社は、私のほかに、アーティストのdeadmau5（発音はデッドマウス、本名Joel Thomas Zimmerman氏）、Richie Hawtin氏、そして彼ら両アーティストのマネージメントチームによって設立されました。つまり、アーティストのための、アーティストによる、クリエイターを守り、新しいテクノロジーを使って新しい表現形式を解き放つことに焦点を当てた会社なんです。

Phull氏

Pixelynxの技術がαU on cloudに連携されることで、権利クリア済みの音楽をARコンテンツに簡単に組み込むことが可能になり、将来的にはバーチャルライブコンサートなどの新しい形式のコンテンツ配信が実現できる可能性があります。Phull氏は、今回の連携によって期待される未来について、次のように語っています。

私たちは、バーチャルアーティストのためのツールや、ブラウザ上のフォーマットとしての「VRM（Virtual Reality Model）」を開発しています。KDDI、その他のパートナーと一緒に、これらのバーチャルライブコンサートのいくつかを、例えばpalanのようなエコシステムにどのように配信できるかを考えています。

Phull氏

3つの仕組みが繋がることで実現できること

ロサンゼルスにあるPixelynxのオフィスで談笑する、KDDI 下桐希氏、palan 齋藤瑛史氏、Pixelynx Inder Phull氏

メタバース・Web3サービス × 生成 AI のプラットフォームである「αU on cloud」、AR のプラットフォームである palan、そして、音楽IPプラットフォームのPixelynxは、なぜ手を結ぶことになったのでしょうか。

KDDIの下桐氏は、この取り組みでpalanのプラットフォームで何ができるか、αU on cloudを使うと何ができるかを、同時に体験できる機会を作りたかったと言います。その話しっぷりには、ARを新しい技術の紹介としてだけでなく、実際の日常的に役立つサービスに昇華させていきたい、という意気込みが感じられました。

XRコンテンツの制作には元々困難さがあります。その理由は、制作者自身が多くの素材を用意しなければならないからです。3Dキャラクターや3Dモデルなどのメイン素材は比較的容易に用意できますが、背景画像やその他の様々な素材の準備が課題となっています。

特に背景素材や音楽の用意が難しいです。音楽に関しては、素材集から購入して使用することも可能ですが、それをカスタマイズしたり、自分の作品に合わせようとすると、適切なものを見つけるのが困難です。このように、XRコンテンツ制作では、必要な素材を全て自分で用意する必要があり、それが大きな課題となっています。palan、そして、Pixelynxと組んだことで、こうしたハードルを乗り越えやすくなります。

下桐氏