1月8日、本日のアリババクラウド「通義」スマートハードウェア展示会において、同社は新たにマルチモーダル対話開発キットを発表しました
このキットは、Qwen、Wanxiang、Bailinの三つの通義基礎大モデルを統合し、生活・レジャーから業務効率化に至る十数種類のエージェントやMCPツールをあらかじめ搭載しています音声を聞き、視覚情報を理解するだけでなく、思考し、物理世界と相互作用することも可能で、AIメガネ、学習機、ペットトイ、スマートロボットなどのハードウェアデバイスに活用できます
アリババクラウドのマルチモーダル対話開発キットは、ハードウェア企業やソリューションプロバイダーに対し、低い開発障壁、高速な応答、豊富なシナリオ対応を実現するプラットフォームを提供すると謳っていますその主な特長は以下の通りです
30種類以上の端末向けチップに対応し、ハードウェアの迅速な接続を実現
チップレベルでは、主流のARM、RISC‑V、MIPSアーキテクチャを採用する30種類以上の端末向けチッププラットフォームに対応しており、市販のほとんどのハードウェアデバイスが迅速に導入できるようになっています
今後、通義大モデルは玄鉄RISC‑Vとソフト・ハードの全フローにわたる協調最適化を実現し、RISC‑Vアーキテクチャ上での通義大モデルファミリーの高効率な展開と推論性能の向上を目指します
通義大モデルを統合し、AIハードウェア向けの専用対話モデルを組み合わせ
モデル最適化の面では、通義モデルファミリーに加え、多数のマルチモーダル対話シーンを分析して、AIハードウェア向けの専用モデルを新たに投入全二重音声、映像、画像・テキストなど多様な対話方式を包括的にサポートし、エンドツーエンドの音声対話遅延はわずか1秒、映像対話の遅延は15秒まで短縮されています
MCPツールとエージェントをあらかじめ搭載し、百煉プラットフォームのエコシステムへ接続
さらに、このキットには生活・仕事・娯楽・教育など幅広いシーンに対応した十数種類のMCPツールやエージェントが標準装備されていますたとえば、あらかじめ搭載された移動計画エージェントを利用すれば、経路案内、旅行ガイド、飲食・観光スポットの探索といった機能を直接呼び出すことができます
また、このキットはアリババクラウドの百煉プラットフォームのエコシステムにも接続されており、他の開発者が提供するMCPやエージェントのテンプレートを追加できるほか、A2Aプロトコルによりサードパーティ製エージェントとも互換性を確保これによりアプリケーションの可能性を大きく拡張し、企業がビジネスシーンを柔軟に構築できるよう支援します
会場では、アリババクラウドはスマートウェアラブルデバイス、介護ロボット、身体知能型ロボットなど各分野向けのソリューションも展示しました
たとえば、AIメガネの分野では、Qwen VLやBailin CosyVoiceなどのモデルを基盤に、感知層・計画層・実行層に加え長期記憶機能を備えた完全な対話フローを構築同時通訳、写真による翻訳、マルチモーダルメモ、録音の文字起こしなどをワンストップで実現できます
家庭用介護ロボットのシーンでは、Qwenモデルとマルチモーダル対話キットをベースにしたソリューションにより、異常状態をリアルタイムで監視し、速やかに警報通知を送信できるほか、キーワード検索や映像の位置特定、ロボットとの対話や各種デバイスの操作も可能です
