mouth2mouth

作品情報
作品番号	021
作品タイトル	mouth2mouth
作品URL	https://www.figma.com/deck/NO4puh1NiFUj69g1NngwyE/majikitchen-mouth2mouth?node-id=4001-68&node-type=slide&viewport=198%2C62%2C0.42&t=lSxpyIrto9mGAe50-1&scaling=min-zoom&content-scaling=fixed&page-id=0%3A1
完成年月日	2024/09/22
作品の別コンテスト応募・受賞歴	なし
応募作品の概要	mouth2mouthはあなたの「話す」を再発明するAIアプリです。ボイスクローニングとリップシンクにより、あなたのスマホがもう一つの口となり、あらゆる言葉の壁を打ち破ります。決められた時間内での完璧なプレゼン、多言語での案内･説明から言語障害者のコミュニケーション支援まで。生成AI技術が、あなたの口を進化させます。
テーマへのアプローチ方法	「笑顔」や「感動」は、ハリウッド映画のプロットデザインを筆頭に長年の感情デザイン研究と実践によってある程度のパターンが明らかになっており、トレーニングデータを用いたモデル化が可能なテーマであると考えた。しかし、映画やテレビ、Youtubeなどの映像コンテンツ制作者のためのAIはハリウッドやNetflixなどを中心に技術開発が進んでいるものの、人々の日常コミュニケーション、特に対面コミュニケーションの改善という視点でのAI活用は進んでいない。この日常対面コミュニケーションに介入することで、情報伝達・意思疎通のコミュニケーションをよりスムーズするだけでなく、感情デザインのモデルを用いた発話言語生成、イントネーション･抑揚、スピードなどを制御することによる、相手への伝わりやすさ、誤解の回避、楽しい・笑い・感動など、受け取り手の脳内で生み出される認知･感情をデザイン可能にすることを目指す。
デザインが生まれた理由／背景	以前にface to faceという箱型顔面対話インターフェイスを作成したことがあり、遠隔地の他人が使用することで、まるでその場にいて対話しているかのような体験を実現した。この作品は、ビデオ通話技術によってテレプレゼンスを達成できるかというチャレンジであった。 LLMや生成AIが実用可能になり、パンデミックを経て再び対面コミュニケーションの日常に戻った今、改めてコミュニケーション上の課題を考えた時に、人前でのプレゼンへの不慣れ、パワハラやセクハラなどの失言･誤解リスク、インバウンドを筆頭にした多言語会話など、AIによってアシスト･アップグレード可能な部分が多くあると考えた。しかし、スマホを手に持って相手に見せながら使用することは対話中断につながり、コミュニケーションを阻害してしまう。そこでスマホを第二の口としてインターフェイス化することに取り組むに至った。
利用したAIツール・アプリケーション名	・Anthropic API ・ElevenLabs API (Text to Speech, Voice Cloning) ・HeyGen API (Avatar Video)
自由記述欄	クリエイティブユニット majikitchen（https://majikitchen.com)