キャラクター操作システム及びプログラム並びに方法
【課題】観察者に親しみを与える腹話術型のキャラクター操作システムを実現する。
【解決手段】本発明の一態様のキャラクター操作システム１は、操作者発声モードかキャラクター発声モードかの設定を受けるモード制御手段４と、操作者２の音声データを入力する音声入力手段５と、操作者２の画像データを入力する画像入力手段８と、操作者２の音声データが入力されていないと判断された場合に、画像入力手段８によって入力された操作者２の画像データを操作者の無発声状態の画像データとして記憶する記憶手段９と、キャラクター発声モードが設定されている場合に、操作者の無発声状態の画像データをキャラクター１３側に出力し、操作者発声モードが設定されている場合に、画像入力手段８によって入力された操作者２の画像データをキャラクター１３側に出力する画像出力手段１５と、音声入力手段５によって入力された操作者２の音声データを、キャラクター１３側に出力する音声出力手段１４とを具備する。
【解決手段】本発明の一態様のキャラクター操作システム１は、操作者発声モードかキャラクター発声モードかの設定を受けるモード制御手段４と、操作者２の音声データを入力する音声入力手段５と、操作者２の画像データを入力する画像入力手段８と、操作者２の音声データが入力されていないと判断された場合に、画像入力手段８によって入力された操作者２の画像データを操作者の無発声状態の画像データとして記憶する記憶手段９と、キャラクター発声モードが設定されている場合に、操作者の無発声状態の画像データをキャラクター１３側に出力し、操作者発声モードが設定されている場合に、画像入力手段８によって入力された操作者２の画像データをキャラクター１３側に出力する画像出力手段１５と、音声入力手段５によって入力された操作者２の音声データを、キャラクター１３側に出力する音声出力手段１４とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばロボットなどのキャラクターを操作者が操作するキャラクター操作システム及びプログラム並びに方法に関する。
【背景技術】
【０００２】
ロボット作業現場に存在するロボットを、操作者が遠隔操作する技術が広く用いられている。
【０００３】
また、操作者自身の顔画像を操作者の分身（アバタ）としてロボットの顔部分に表示する技術が検討されている（非特許文献１参照）。
【非特許文献１】Susumu Tachi, “Telexistence and Retro-reflective Projection Technology (RPT)”, Proceedings of the 5th Virtual Reality International Conference (VRIC2003), 2003年5月, pp.69/1-69/9
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の非特許文献１において、操作者の現実の顔画像とロボットの機械的なボディとを調和した状態で組み合わせることは困難であり、ロボットの観察者が操作者の顔画像とロボットのボディとのギャップから違和感を持つ場合がある。
【０００５】
したがって、操作者自身の顔画像をロボットの顔部分に表示した場合においては、ロボットの観察者に、親しみを持たせることが困難である。
【０００６】
本発明は、以上のような実情に鑑みてなされたもので、観察者に親しみを与える腹話術型のキャラクター操作システム及びプログラム並びに方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係るキャラクター操作システムは、キャラクターを操作する操作者による発声を行う操作者発声モードかキャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、操作者の音声データを入力する操作者側音声入力手段と、操作者の画像データを入力する操作者側画像入力手段と、操作者の音声データが入力されているか否か判断し、操作者の音声データが入力されていないと判断された場合に、操作者側画像入力手段によって入力された操作者の画像データを操作者の無発声状態の画像データとして記憶する記憶手段と、キャラクター発声モードが設定されている場合に、操作者の無発声状態の画像データをキャラクター側に出力し、操作者発声モードが設定されている場合に、操作者側画像入力手段によって入力された操作者の画像データをキャラクター側に出力するキャラクター側画像出力手段と、操作者側音声入力手段によって入力された操作者の音声データを、キャラクター側に出力するキャラクター側音声出力手段とを具備する。
【０００８】
これにより、キャラクターが発声している場合に操作者の画像は無発声の状態とすることができ、腹話術型のキャラクター操作を行うことができる。
【０００９】
上記キャラクター操作システムにおいて、キャラクター発声モードが設定されている場合に、記憶手段に記憶されている操作者の無発声状態の画像データをキャラクター側画像出力手段に提供し、操作者発声モードが設定されている場合に、操作者側画像入力手段によって入力された操作者の画像データをキャラクター側画像出力手段に提供する画像スイッチをさらに具備するとしてもよい。
【００１０】
上記キャラクター操作システムにおいて、キャラクター発声モードが設定されている場合に、操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、キャラクター側音声出力手段は、キャラクター発声モードが設定されている場合に、キャラクター用の音声データをキャラクター側に出力し、操作者発声モードが設定されている場合に、操作者側音声入力手段によって入力された操作者の音声データをキャラクター側に出力するとしてもよい。
【００１１】
これにより、キャラクターにあった声により腹話術型のキャラクター操作を行うことができる。
【００１２】
このキャラクター操作システムにおいて、キャラクター発声モードが設定されている場合に、操作者側音声入力手段によって入力された操作者の音声データを音声変換手段に提供し、操作者発声モードが設定されている場合に、操作者側音声入力手段によって入力された操作者の音声データをキャラクター側音声出力手段に提供する音声スイッチをさらに具備するとしてもよい。
【００１３】
上記キャラクター操作システムにおいて、キャラクター側の状態を撮影した画像データを操作者側に出力する操作者側画像出力手段と、キャラクター側の音の状態を測定した音データを操作者側に出力する操作者側音出力手段とをさらに具備するとしてもよい。
【００１４】
これにより、操作者はキャラクター側の反応を観察しつつ、腹話術型のキャラクター操作を行うことができる。
【００１５】
本発明の第２の態様に係るキャラクター操作装置は、キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とに接続され、操作者による発声を行う操作者発声モードかキャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、操作者側音声入力装置によって操作者の音声データが入力されているか否か判断し、操作者の音声データが入力されていないと判断された場合に、操作者側画像入力装置によって入力された操作者の画像データを操作者の無発声状態の画像データとして記憶する記憶手段と、キャラクター発声モードが設定されている場合に、記憶手段に記憶されている操作者の無発声状態の画像データをキャラクター側画像出力装置に提供し、操作者発声モードが設定されている場合に、操作者側画像入力装置によって入力された操作者の画像データをキャラクター側画像出力装置に提供する画像スイッチと、操作者側音声入力装置によって入力された操作者の音声データを、キャラクター側音声出力装置に提供する提供手段とを具備する。
【００１６】
これにより、キャラクターが発声している場合に操作者の画像は無発声の状態とすることができ、腹話術型のキャラクター操作を行うことができる。
【００１７】
上記キャラクター操作装置において、キャラクター発声モードが設定されている場合に、操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、提供手段は、キャラクター発声モードが設定されている場合に、操作者側音声入力装置によって入力された前記操作者の音声データを音声変換手段経由でキャラクター側音声出力装置に提供し、操作者発声モードが設定されている場合に、操作者側音声入力装置によって入力された操作者の音声データをキャラクター側音声出力装置に提供する音声スイッチであり、キャラクター側音声出力装置は、キャラクター発声モードが設定されている場合に、キャラクター用の音声データをキャラクター側に出力し、操作者発声モードが設定されている場合に、操作者側音声入力装置によって入力された操作者の音声データをキャラクター側に出力するとしてもよい。
【００１８】
これにより、キャラクターにあった声により腹話術型のキャラクター操作を行うことができる。
【００１９】
なお、上記の態様はシステム又は装置として表現されている。しかしながら、これに限らず、上記の態様は、方法、プログラム、コンピュータ読み取り可能な記憶媒体などで表現されるとしてもよい。
【発明の効果】
【００２０】
本発明により、観察者に親しみを与える腹話術型のキャラクター操作システム及びプログラム並びに方法を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同一の部分については同一の符号を付して説明を省略する。
【００２２】
本実施の形態では、操作者とキャラクターとで簡単に腹話術を行うことができるキャラ
クター操作システムについて説明する。
【００２３】
なお、以下においては、キャラクターがロボットの場合を例に説明する。しかしながら、このキャラクターは、例えばコンピュータ画面に表示されるバーチャルのキャラクター（例えば動物、人間、仮想的生物、創作された生物）でもよい。
【００２４】
図１は、本実施の形態に係るキャラクター操作システムの構成の例を示すブロック図である。
【００２５】
本実施の形態に係るキャラクター操作システム１は、操作者２側の装置として、ロボットモーション操作インタフェース３、腹話術モード制御部４、操作者側音声入力装置（例えばマイク）５、音声スイッチ６、ボイスチェンジャー７、操作者側画像入力装置（例えばカメラ）８、画像リングバッファ（無声画像記憶部）９、画像スイッチ１０、操作者側画像出力装置（例えばディスプレイ）１１、操作者側音出力装置（例えばスピーカ）１２を具備する。
【００２６】
また、キャラクター操作システム１は、ロボット１３側の装置として、ロボット側音声出力装置１４、ロボット側画像出力装置１５、ロボット側画像入力装置１６、ロボット側音入力装置１７を具備する。なお、このロボット１３側の各種装置のうち少なくとも一つは、ロボット１３に内蔵されていてもよい。特に、ロボット側音声出力装置１４のうちロボット１３としての声を出力する部分については、ロボット１３に内蔵されていることが望ましい。
【００２７】
また、キャラクター操作システム１は、操作者２側の装置とロボット１３側の装置との間でデータを送受信可能とする伝送部１８を具備する。
【００２８】
まず、操作者２側の装置について説明する。
【００２９】
ロボットモーション操作インタフェース３は、操作者２によるロボット１３の操作指令を受け付け、この指令内容を示す操作データを伝送部１８経由でロボット１３に送信する。
【００３０】
腹話術モード制御部４は、操作者２からロボット発声モードか操作者発声モードかを指定するモード指定を受け付け、このモードの設定（選択）にしたがって、音声スイッチ６、画像スイッチ１０を切り換えるとともに、画像リングバッファ９に記憶されている画像データの出力状態を制御する。
【００３１】
ここで、ロボット発声モードは、ロボット１３側において、操作者２の音声をロボット１３の音声として出力する場合に選択される。一方、操作者発声モードは、ロボット１３側において、操作者２の音声をそのまま操作者２の音声として出力する場合に選択される。
【００３２】
音声スイッチ６は、操作者側音声入力装置５から操作者２の音声データを受け付ける。
【００３３】
そして、音声スイッチ６は、腹話術モード制御部４においてロボット発声モードが設定されている場合、操作者２の音声データをボイスチェンジャー７に提供する。
【００３４】
一方、音声スイッチ６は、腹話術モード制御部４において操作者発声モードが設定されている場合、操作者２の音声データを伝送部１８経由でロボット側音声出力装置１４に提供する。
【００３５】
ボイスチェンジャー７は、腹話術モード制御部４においてロボット発声モードが設定されている場合に、操作者側音声入力装置５から音声スイッチ６経由で操作者２の音声データを受け付ける。
【００３６】
そして、ボイスチェンジャー７は、受け付けた操作者２の音声データをロボット用の音声データに変換し、ロボット用の音声データを伝送部１８経由でロボット側音声出力装置１４に提供する。
【００３７】
画像リングバッファ９は、操作者側画像入力装置８から操作者２の画像データを受け付けるとともに、画像リングバッファ９は、操作者側音声入力装置５によって操作者２の音声データが入力状態か否か判断する。
【００３８】
画像リングバッファ９は、操作者２の音声データが入力されていない状態の場合に、操作者側画像入力装置８から受け付けた操作者２の無発声状態の画像データを記憶する。例えば、画像リングバッファ９は、受け付けた操作者２の音声データのレベルが所定のしきい値以下の場合には、操作者２が無発声状態であると判断する。
【００３９】
さらに、画像リングバッファ９は、腹話術モード制御部４においてロボット発声モードが設定されている場合、記憶されている操作者２の無発声状態の画像データを、画像スイッチ１０、伝送部１８経由で、ロボット側画像出力装置１５に提供する。
【００４０】
ここで、操作者の無発生状態の画像データは動画データでもよく、静止画データでもよい。
【００４１】
画像スイッチ１０は、腹話術モード制御部４においてロボット発声モードが設定されている場合、画像リングバッファ９から受け付けた操作者２の無発声状態の画像データを、伝送部１８経由でロボット側画像出力装置１５に提供する。
【００４２】
一方、腹話術モード制御部４において操作者発声モードが設定されている場合、画像スイッチ１０は、操作者側画像入力装置８から受け付けた操作者２の画像データを、伝送部１８経由でロボット側画像出力装置１５に提供する。
【００４３】
操作者側画像出力装置１１は、ロボット側画像入力装置１６によって撮影されたロボット１３又は観察者１９周辺の画像データを伝送部１８経由で受け付け、ロボット１３又は観察者１９周辺の画像データの内容を表示する。
【００４４】
操作者側音出力装置１２は、ロボット側音入力装置１７からロボット１３又は観察者１９周辺の音データを伝送部１８経由で受け付け、ロボット１３又は観察者１９周辺の音データを出力する。
【００４５】
操作者側画像出力装置１１と操作者側音出力装置１２からの出力により、操作者２は観察者の反応を知ることができる。
【００４６】
次に、ロボット１３側の装置について説明する。
【００４７】
ロボット１３は、ロボットモーション操作インタフェース３から伝送部１８経由で受け付けた操作データにしたがって動作する。
【００４８】
ロボット側音声出力装置１４は、腹話術モード制御部４においてロボット発声モードが設定されている場合、ボイスチェンジャー７によって得られたロボット用の音声データを、伝送部１８経由で受け付け、ロボット用の音声データの内容を音声出力する。
【００４９】
一方、ロボット側音声出力装置１４は、腹話術モード制御部４において操作者発声モードが設定されている場合、操作者側音声入力装置５から、音声スイッチ６、伝送部１８経由で、操作者２の音声データを受け付け、操作者２の音声データの内容を音声出力する。
【００５０】
なお、ロボット側音声出力装置１４においては、ロボット用の音声データを出力する部分と操作者２の音声データを出力する部分とを具備し、ロボット用の音声データを出力する部分はロボット１３に内蔵されるとする。
【００５１】
ロボット側画像出力装置１５は、腹話術モード制御部４においてロボット発声モードが設定されている場合、画像リングバッファ９に記憶されている操作者２の無発声状態の画像データを、画像スイッチ１０、伝送部１８経由で受け付け、操作者２の無発声状態の画像データを表示する。
【００５２】
一方、ロボット側画像出力装置１５は、腹話術モード制御部４において操作者発声モードが設定されている場合、操作者側画像入力装置８によって入力された操作者２の画像データを、画像スイッチ１０、伝送部１８経由で受け付け、操作者２の画像データを表示する。
【００５３】
ロボット側画像入力装置１６は、ロボット１３又は観察者１９周辺の画像データを伝送部１８経由で操作者側画像出力装置１１に提供する。
【００５４】
ロボット側音入力装置１７は、ロボット１３又は観察者１９周辺の音データを伝送部１８経由で操作者側音出力装置１２に提供する。
【００５５】
以上のような構成を持つ本実施の形態に係るキャラクター操作システム１は、操作者２自身の姿を、ロボット１３近傍のロボット側画像出力装置１５の画面上に表示する。操作者２は、ロボット１３を操作しつつ、自分自身をロボット作業現場に登場させることができる。
【００５６】
操作者２がロボット１３として言葉を発する場合、無声状態の操作者の画像が観察者１９に提供される。一方、操作者２が自分自身で言葉を発する場合、この言葉を発している操作者２の画像が観察者１９に提供される。したがって、観察者１９は、画面上の操作者２とロボット１３とで腹話術がなされているように感じる。
【００５７】
本実施の形態のように、ロボット１３を遠隔操作する操作者２のリアリティと、ロボット１３の人口的な面白み及び可愛らしさのそれぞれの特徴を生かし、操作者２とロボット１３という２つのアイデンティティが同一の現場に現れることで、特殊な演出効果を生み出すことができる。
【００５８】
このような腹話術型のキャラクター操作システム１を構築するために、本実施の形態では、操作者発声モードとロボット発声モードとの切り替えが行われる。
【００５９】
ロボット発声モードが設定されている場合、操作者２の声がボイスチェンジャー７により変換され、変換後の声がロボット１３の声としてロボット１３側に出力される。ボイスチェンジャー７は、操作者２の声をロボット１３のキャラクターにふさわしい声色に変化させる。
【００６０】
操作者発声モードが設定されている場合、操作者２の声がそのままロボット１３側に出力される。
【００６１】
画像リングバッファ９には、操作者２が声を発していない状態の画像データが常に録画される。ロボット発声モードが設定されている場合、画像リングバッファ９に記憶されている最新の画像データが出力され、操作者２が声を発していない状態の画像がダミー画像として表示される。
【００６２】
この結果、ロボット１３の声が出力されている場合には、操作者２の唇の動きが観察者１９に見えない。
【００６３】
図２は、画像リングバッファ９の動作例を示すフローチャートである。
【００６４】
ステップＳ１において、画像リングバッファ９は、操作者側音声入力装置５によって操作者２が発声状態か否か判断する。操作者２が発声状態の場合、画像リングバッファ９の更新は行われない。例えば、入力される操作者３の音声データのレベルが所定のしきい値以下の場合、無発生状態であると判断する。
【００６５】
操作者２が発声状態でない場合、ステップＳ２において、画像リングバッファ９は、操作者側画像入力装置８から入力される操作者２の無発声状態の画像データを記憶する。
【００６６】
ステップＳ３において、画像リングバッファ９は動作終了まで上記ステップＳ１以下の処理を繰り返す。
【００６７】
図３は、本実施の形態に係るキャラクター操作システム１による腹話術型サービスの提供処理の例を示すフローチャートである。
【００６８】
ステップＴ１において、画像リングバッファ９は、上記図２の処理により、操作者２が声を発していない無発声状態の画像データをダミー画像データとして記憶する。
【００６９】
ステップＴ２において、腹話術モード制御部４は、操作者２に設定されたモードの種別を判断する。
【００７０】
操作者２により操作者発声モードが設定された場合、ステップＴ３において、ロボット側音声出力装置１４は、操作者２のオリジナルの音声データを出力し、ロボット側画像出力装置１５は、操作者２のリアルの画像データを出力する。
【００７１】
一方、操作者２によりロボット発声モードが設定された場合、ステップＴ４において、ロボット側音声出力装置１４は、ボイスチェンジャー９によって変換された音声データを出力し、画像リングバッファ９に記憶されている操作者２の無発声状態の画像データ（ダミー画像データ）を出力する。
【００７２】
ステップＴ５において、画像リングバッファ９は動作終了まで上記ステップＴ１以下の処理を繰り返す。
【００７３】
図４は、本実施の形態に係るキャラクター操作システム１の利用例を示す図である。
【００７４】
ロボット１３や観察者１９の存在する現場と操作者２の存在するコールセンタ２０とは、ネットワーク２１で接続されている。操作者２は遠隔でロボット１３を操作する。操作者２の画像はロボット側画像出力装置１５から出力される。観察者１９は、画面に表示されている操作者２とロボット１３とのやり取りに興味を持つ。ロボット１３は、キャラクター（バーチャルエージェント）として画面上に表示されていてもよい。操作者２は、観察者１９の反応を確かめながら、腹話術型サービスを実施する。
【００７５】
以上説明した本実施の形態では、観察者１９に親しみを与える腹話術型のキャラクター操作システム１を実現できる。操作者２は、ロボット１３を操作しつつ、簡単にロボット１３を用いた腹話術を行うことができる。
【００７６】
本実施の形態では、ロボット１３と操作者２との語り合いから、操作者２の人格を観察者１９に通知することができ、親しみを持ってもらうことができる。
【００７７】
本実施の形態に係るキャラクター操作システム１は、例えば宣伝広告に用いることができる。
【００７８】
なお、本実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００７９】
例えば、図５に示すように、操作者２側とロボット１３側との間の音データ又は音声データの伝送などのような音データ又は音声データに関する処理は、操作者２側の双方向音処理部２２ａ及びロボット１３側の双方向音処理部２２ｂによって実行されるとしてもよい。
【００８０】
また、ロボットモーション操作インタフェース３からの操作データは、操作者２側のロボット遠隔操作処理部２３によって処理され、ロボット１３側のロボット制御部２４がロボット遠隔操作処理部２３から受け付けた操作データに基づいて、ロボット１３を制御するとしてもよい。
【００８１】
また、操作者２側とロボット１３側との間の画像データの伝送などのような画像データに関する処理は、操作者２側の双方向画像処理部２５ａ及びロボット１３側の双方向画像処理部２５ｂによって実行されるとしてもよい。
【００８２】
ここで、本実施の形態に係るキャラクター操作システム１の構成要素のうち、腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０を、コンピュータとソフトウェアとを用いて実現する場合について説明する。
【００８３】
図６は、本実施の形態に係る腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図である。
【００８４】
コンピュータ２６は、プロセッサ２７、例えば内部メモリなどの記憶装置２８、内部バス２９を具備する。プロセッサ２７と記憶装置２８とは、内部バス２９経由で接続されている。
【００８５】
記憶媒体３０に記憶されているプログラム３１は、コンピュータ２６に読み込まれ、プロセッサ２７により実行される。これにより、コンピュータ２６は、上記腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０としての機能を実現する。記憶装置２８は、例えば画像リングバッファ９として機能する。
【００８６】
本実施の形態において、プログラム３１は、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体３０に書き込んで、腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０として動作するコンピュータ２６に適用可能である。また、上記プログラム３１は、通信媒体により伝送してコンピュータ２６に適用することも可能である。コンピュータ２６は、上記プログラム３１を読み込み、このプログラム３１によって動作が制御されることにより、腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０としての機能を実現する。プログラム３１は、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
【産業上の利用可能性】
【００８７】
本発明は、例えばロボットなどのキャラクターの遠隔操作分野に有効である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態に係るキャラクター操作システムの構成の例を示すブロック図。
【図２】画像リングバッファの動作例を示すフローチャート。
【図３】同実施の形態に係るキャラクター操作システムによる腹話術型サービスの提供処理の例を示すフローチャート。
【図４】同実施の形態に係るキャラクター操作システムの利用例を示す図。
【図５】同実施の形態に係るキャラクター操作システムの変形例を示すブロック図。
【図６】同実施の形態に係る音声スイッチ、画像スイッチ、画像リングバッファ、腹話術モード制御部を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図。
【符号の説明】
【００８９】
１…キャラクター操作システム、２…操作者、３…ロボットモーション操作インタフェース、４…腹話術モード制御部、５…操作者側音声入力装置、６…音声スイッチ、７…ボイスチェンジャー、８…操作者側画像入力装置、９…画像リングバッファ、１０…画像スイッチ、１１…操作者側画像出力装置、１２…操作者側音出力装置、１３…ロボット、１４…ロボット側音声出力装置、１５…ロボット側画像出力装置、１６…ロボット側画像入力装置、１７…ロボット側音入力装置、１８…伝送部、１９…観察者、２０…コールセンタ、２１…ネットワーク、２６…コンピュータ、２７…プロセッサ、２８…記憶装置、２９…内部バス、３０…記憶媒体、３１…プログラム
【技術分野】
【０００１】
本発明は、例えばロボットなどのキャラクターを操作者が操作するキャラクター操作システム及びプログラム並びに方法に関する。
【背景技術】
【０００２】
ロボット作業現場に存在するロボットを、操作者が遠隔操作する技術が広く用いられている。
【０００３】
また、操作者自身の顔画像を操作者の分身（アバタ）としてロボットの顔部分に表示する技術が検討されている（非特許文献１参照）。
【非特許文献１】Susumu Tachi, “Telexistence and Retro-reflective Projection Technology (RPT)”, Proceedings of the 5th Virtual Reality International Conference (VRIC2003), 2003年5月, pp.69/1-69/9
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の非特許文献１において、操作者の現実の顔画像とロボットの機械的なボディとを調和した状態で組み合わせることは困難であり、ロボットの観察者が操作者の顔画像とロボットのボディとのギャップから違和感を持つ場合がある。
【０００５】
したがって、操作者自身の顔画像をロボットの顔部分に表示した場合においては、ロボットの観察者に、親しみを持たせることが困難である。
【０００６】
本発明は、以上のような実情に鑑みてなされたもので、観察者に親しみを与える腹話術型のキャラクター操作システム及びプログラム並びに方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係るキャラクター操作システムは、キャラクターを操作する操作者による発声を行う操作者発声モードかキャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、操作者の音声データを入力する操作者側音声入力手段と、操作者の画像データを入力する操作者側画像入力手段と、操作者の音声データが入力されているか否か判断し、操作者の音声データが入力されていないと判断された場合に、操作者側画像入力手段によって入力された操作者の画像データを操作者の無発声状態の画像データとして記憶する記憶手段と、キャラクター発声モードが設定されている場合に、操作者の無発声状態の画像データをキャラクター側に出力し、操作者発声モードが設定されている場合に、操作者側画像入力手段によって入力された操作者の画像データをキャラクター側に出力するキャラクター側画像出力手段と、操作者側音声入力手段によって入力された操作者の音声データを、キャラクター側に出力するキャラクター側音声出力手段とを具備する。
【０００８】
これにより、キャラクターが発声している場合に操作者の画像は無発声の状態とすることができ、腹話術型のキャラクター操作を行うことができる。
【０００９】
上記キャラクター操作システムにおいて、キャラクター発声モードが設定されている場合に、記憶手段に記憶されている操作者の無発声状態の画像データをキャラクター側画像出力手段に提供し、操作者発声モードが設定されている場合に、操作者側画像入力手段によって入力された操作者の画像データをキャラクター側画像出力手段に提供する画像スイッチをさらに具備するとしてもよい。
【００１０】
上記キャラクター操作システムにおいて、キャラクター発声モードが設定されている場合に、操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、キャラクター側音声出力手段は、キャラクター発声モードが設定されている場合に、キャラクター用の音声データをキャラクター側に出力し、操作者発声モードが設定されている場合に、操作者側音声入力手段によって入力された操作者の音声データをキャラクター側に出力するとしてもよい。
【００１１】
これにより、キャラクターにあった声により腹話術型のキャラクター操作を行うことができる。
【００１２】
このキャラクター操作システムにおいて、キャラクター発声モードが設定されている場合に、操作者側音声入力手段によって入力された操作者の音声データを音声変換手段に提供し、操作者発声モードが設定されている場合に、操作者側音声入力手段によって入力された操作者の音声データをキャラクター側音声出力手段に提供する音声スイッチをさらに具備するとしてもよい。
【００１３】
上記キャラクター操作システムにおいて、キャラクター側の状態を撮影した画像データを操作者側に出力する操作者側画像出力手段と、キャラクター側の音の状態を測定した音データを操作者側に出力する操作者側音出力手段とをさらに具備するとしてもよい。
【００１４】
これにより、操作者はキャラクター側の反応を観察しつつ、腹話術型のキャラクター操作を行うことができる。
【００１５】
本発明の第２の態様に係るキャラクター操作装置は、キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とに接続され、操作者による発声を行う操作者発声モードかキャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、操作者側音声入力装置によって操作者の音声データが入力されているか否か判断し、操作者の音声データが入力されていないと判断された場合に、操作者側画像入力装置によって入力された操作者の画像データを操作者の無発声状態の画像データとして記憶する記憶手段と、キャラクター発声モードが設定されている場合に、記憶手段に記憶されている操作者の無発声状態の画像データをキャラクター側画像出力装置に提供し、操作者発声モードが設定されている場合に、操作者側画像入力装置によって入力された操作者の画像データをキャラクター側画像出力装置に提供する画像スイッチと、操作者側音声入力装置によって入力された操作者の音声データを、キャラクター側音声出力装置に提供する提供手段とを具備する。
【００１６】
これにより、キャラクターが発声している場合に操作者の画像は無発声の状態とすることができ、腹話術型のキャラクター操作を行うことができる。
【００１７】
上記キャラクター操作装置において、キャラクター発声モードが設定されている場合に、操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、提供手段は、キャラクター発声モードが設定されている場合に、操作者側音声入力装置によって入力された前記操作者の音声データを音声変換手段経由でキャラクター側音声出力装置に提供し、操作者発声モードが設定されている場合に、操作者側音声入力装置によって入力された操作者の音声データをキャラクター側音声出力装置に提供する音声スイッチであり、キャラクター側音声出力装置は、キャラクター発声モードが設定されている場合に、キャラクター用の音声データをキャラクター側に出力し、操作者発声モードが設定されている場合に、操作者側音声入力装置によって入力された操作者の音声データをキャラクター側に出力するとしてもよい。
【００１８】
これにより、キャラクターにあった声により腹話術型のキャラクター操作を行うことができる。
【００１９】
なお、上記の態様はシステム又は装置として表現されている。しかしながら、これに限らず、上記の態様は、方法、プログラム、コンピュータ読み取り可能な記憶媒体などで表現されるとしてもよい。
【発明の効果】
【００２０】
本発明により、観察者に親しみを与える腹話術型のキャラクター操作システム及びプログラム並びに方法を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同一の部分については同一の符号を付して説明を省略する。
【００２２】
本実施の形態では、操作者とキャラクターとで簡単に腹話術を行うことができるキャラ
クター操作システムについて説明する。
【００２３】
なお、以下においては、キャラクターがロボットの場合を例に説明する。しかしながら、このキャラクターは、例えばコンピュータ画面に表示されるバーチャルのキャラクター（例えば動物、人間、仮想的生物、創作された生物）でもよい。
【００２４】
図１は、本実施の形態に係るキャラクター操作システムの構成の例を示すブロック図である。
【００２５】
本実施の形態に係るキャラクター操作システム１は、操作者２側の装置として、ロボットモーション操作インタフェース３、腹話術モード制御部４、操作者側音声入力装置（例えばマイク）５、音声スイッチ６、ボイスチェンジャー７、操作者側画像入力装置（例えばカメラ）８、画像リングバッファ（無声画像記憶部）９、画像スイッチ１０、操作者側画像出力装置（例えばディスプレイ）１１、操作者側音出力装置（例えばスピーカ）１２を具備する。
【００２６】
また、キャラクター操作システム１は、ロボット１３側の装置として、ロボット側音声出力装置１４、ロボット側画像出力装置１５、ロボット側画像入力装置１６、ロボット側音入力装置１７を具備する。なお、このロボット１３側の各種装置のうち少なくとも一つは、ロボット１３に内蔵されていてもよい。特に、ロボット側音声出力装置１４のうちロボット１３としての声を出力する部分については、ロボット１３に内蔵されていることが望ましい。
【００２７】
また、キャラクター操作システム１は、操作者２側の装置とロボット１３側の装置との間でデータを送受信可能とする伝送部１８を具備する。
【００２８】
まず、操作者２側の装置について説明する。
【００２９】
ロボットモーション操作インタフェース３は、操作者２によるロボット１３の操作指令を受け付け、この指令内容を示す操作データを伝送部１８経由でロボット１３に送信する。
【００３０】
腹話術モード制御部４は、操作者２からロボット発声モードか操作者発声モードかを指定するモード指定を受け付け、このモードの設定（選択）にしたがって、音声スイッチ６、画像スイッチ１０を切り換えるとともに、画像リングバッファ９に記憶されている画像データの出力状態を制御する。
【００３１】
ここで、ロボット発声モードは、ロボット１３側において、操作者２の音声をロボット１３の音声として出力する場合に選択される。一方、操作者発声モードは、ロボット１３側において、操作者２の音声をそのまま操作者２の音声として出力する場合に選択される。
【００３２】
音声スイッチ６は、操作者側音声入力装置５から操作者２の音声データを受け付ける。
【００３３】
そして、音声スイッチ６は、腹話術モード制御部４においてロボット発声モードが設定されている場合、操作者２の音声データをボイスチェンジャー７に提供する。
【００３４】
一方、音声スイッチ６は、腹話術モード制御部４において操作者発声モードが設定されている場合、操作者２の音声データを伝送部１８経由でロボット側音声出力装置１４に提供する。
【００３５】
ボイスチェンジャー７は、腹話術モード制御部４においてロボット発声モードが設定されている場合に、操作者側音声入力装置５から音声スイッチ６経由で操作者２の音声データを受け付ける。
【００３６】
そして、ボイスチェンジャー７は、受け付けた操作者２の音声データをロボット用の音声データに変換し、ロボット用の音声データを伝送部１８経由でロボット側音声出力装置１４に提供する。
【００３７】
画像リングバッファ９は、操作者側画像入力装置８から操作者２の画像データを受け付けるとともに、画像リングバッファ９は、操作者側音声入力装置５によって操作者２の音声データが入力状態か否か判断する。
【００３８】
画像リングバッファ９は、操作者２の音声データが入力されていない状態の場合に、操作者側画像入力装置８から受け付けた操作者２の無発声状態の画像データを記憶する。例えば、画像リングバッファ９は、受け付けた操作者２の音声データのレベルが所定のしきい値以下の場合には、操作者２が無発声状態であると判断する。
【００３９】
さらに、画像リングバッファ９は、腹話術モード制御部４においてロボット発声モードが設定されている場合、記憶されている操作者２の無発声状態の画像データを、画像スイッチ１０、伝送部１８経由で、ロボット側画像出力装置１５に提供する。
【００４０】
ここで、操作者の無発生状態の画像データは動画データでもよく、静止画データでもよい。
【００４１】
画像スイッチ１０は、腹話術モード制御部４においてロボット発声モードが設定されている場合、画像リングバッファ９から受け付けた操作者２の無発声状態の画像データを、伝送部１８経由でロボット側画像出力装置１５に提供する。
【００４２】
一方、腹話術モード制御部４において操作者発声モードが設定されている場合、画像スイッチ１０は、操作者側画像入力装置８から受け付けた操作者２の画像データを、伝送部１８経由でロボット側画像出力装置１５に提供する。
【００４３】
操作者側画像出力装置１１は、ロボット側画像入力装置１６によって撮影されたロボット１３又は観察者１９周辺の画像データを伝送部１８経由で受け付け、ロボット１３又は観察者１９周辺の画像データの内容を表示する。
【００４４】
操作者側音出力装置１２は、ロボット側音入力装置１７からロボット１３又は観察者１９周辺の音データを伝送部１８経由で受け付け、ロボット１３又は観察者１９周辺の音データを出力する。
【００４５】
操作者側画像出力装置１１と操作者側音出力装置１２からの出力により、操作者２は観察者の反応を知ることができる。
【００４６】
次に、ロボット１３側の装置について説明する。
【００４７】
ロボット１３は、ロボットモーション操作インタフェース３から伝送部１８経由で受け付けた操作データにしたがって動作する。
【００４８】
ロボット側音声出力装置１４は、腹話術モード制御部４においてロボット発声モードが設定されている場合、ボイスチェンジャー７によって得られたロボット用の音声データを、伝送部１８経由で受け付け、ロボット用の音声データの内容を音声出力する。
【００４９】
一方、ロボット側音声出力装置１４は、腹話術モード制御部４において操作者発声モードが設定されている場合、操作者側音声入力装置５から、音声スイッチ６、伝送部１８経由で、操作者２の音声データを受け付け、操作者２の音声データの内容を音声出力する。
【００５０】
なお、ロボット側音声出力装置１４においては、ロボット用の音声データを出力する部分と操作者２の音声データを出力する部分とを具備し、ロボット用の音声データを出力する部分はロボット１３に内蔵されるとする。
【００５１】
ロボット側画像出力装置１５は、腹話術モード制御部４においてロボット発声モードが設定されている場合、画像リングバッファ９に記憶されている操作者２の無発声状態の画像データを、画像スイッチ１０、伝送部１８経由で受け付け、操作者２の無発声状態の画像データを表示する。
【００５２】
一方、ロボット側画像出力装置１５は、腹話術モード制御部４において操作者発声モードが設定されている場合、操作者側画像入力装置８によって入力された操作者２の画像データを、画像スイッチ１０、伝送部１８経由で受け付け、操作者２の画像データを表示する。
【００５３】
ロボット側画像入力装置１６は、ロボット１３又は観察者１９周辺の画像データを伝送部１８経由で操作者側画像出力装置１１に提供する。
【００５４】
ロボット側音入力装置１７は、ロボット１３又は観察者１９周辺の音データを伝送部１８経由で操作者側音出力装置１２に提供する。
【００５５】
以上のような構成を持つ本実施の形態に係るキャラクター操作システム１は、操作者２自身の姿を、ロボット１３近傍のロボット側画像出力装置１５の画面上に表示する。操作者２は、ロボット１３を操作しつつ、自分自身をロボット作業現場に登場させることができる。
【００５６】
操作者２がロボット１３として言葉を発する場合、無声状態の操作者の画像が観察者１９に提供される。一方、操作者２が自分自身で言葉を発する場合、この言葉を発している操作者２の画像が観察者１９に提供される。したがって、観察者１９は、画面上の操作者２とロボット１３とで腹話術がなされているように感じる。
【００５７】
本実施の形態のように、ロボット１３を遠隔操作する操作者２のリアリティと、ロボット１３の人口的な面白み及び可愛らしさのそれぞれの特徴を生かし、操作者２とロボット１３という２つのアイデンティティが同一の現場に現れることで、特殊な演出効果を生み出すことができる。
【００５８】
このような腹話術型のキャラクター操作システム１を構築するために、本実施の形態では、操作者発声モードとロボット発声モードとの切り替えが行われる。
【００５９】
ロボット発声モードが設定されている場合、操作者２の声がボイスチェンジャー７により変換され、変換後の声がロボット１３の声としてロボット１３側に出力される。ボイスチェンジャー７は、操作者２の声をロボット１３のキャラクターにふさわしい声色に変化させる。
【００６０】
操作者発声モードが設定されている場合、操作者２の声がそのままロボット１３側に出力される。
【００６１】
画像リングバッファ９には、操作者２が声を発していない状態の画像データが常に録画される。ロボット発声モードが設定されている場合、画像リングバッファ９に記憶されている最新の画像データが出力され、操作者２が声を発していない状態の画像がダミー画像として表示される。
【００６２】
この結果、ロボット１３の声が出力されている場合には、操作者２の唇の動きが観察者１９に見えない。
【００６３】
図２は、画像リングバッファ９の動作例を示すフローチャートである。
【００６４】
ステップＳ１において、画像リングバッファ９は、操作者側音声入力装置５によって操作者２が発声状態か否か判断する。操作者２が発声状態の場合、画像リングバッファ９の更新は行われない。例えば、入力される操作者３の音声データのレベルが所定のしきい値以下の場合、無発生状態であると判断する。
【００６５】
操作者２が発声状態でない場合、ステップＳ２において、画像リングバッファ９は、操作者側画像入力装置８から入力される操作者２の無発声状態の画像データを記憶する。
【００６６】
ステップＳ３において、画像リングバッファ９は動作終了まで上記ステップＳ１以下の処理を繰り返す。
【００６７】
図３は、本実施の形態に係るキャラクター操作システム１による腹話術型サービスの提供処理の例を示すフローチャートである。
【００６８】
ステップＴ１において、画像リングバッファ９は、上記図２の処理により、操作者２が声を発していない無発声状態の画像データをダミー画像データとして記憶する。
【００６９】
ステップＴ２において、腹話術モード制御部４は、操作者２に設定されたモードの種別を判断する。
【００７０】
操作者２により操作者発声モードが設定された場合、ステップＴ３において、ロボット側音声出力装置１４は、操作者２のオリジナルの音声データを出力し、ロボット側画像出力装置１５は、操作者２のリアルの画像データを出力する。
【００７１】
一方、操作者２によりロボット発声モードが設定された場合、ステップＴ４において、ロボット側音声出力装置１４は、ボイスチェンジャー９によって変換された音声データを出力し、画像リングバッファ９に記憶されている操作者２の無発声状態の画像データ（ダミー画像データ）を出力する。
【００７２】
ステップＴ５において、画像リングバッファ９は動作終了まで上記ステップＴ１以下の処理を繰り返す。
【００７３】
図４は、本実施の形態に係るキャラクター操作システム１の利用例を示す図である。
【００７４】
ロボット１３や観察者１９の存在する現場と操作者２の存在するコールセンタ２０とは、ネットワーク２１で接続されている。操作者２は遠隔でロボット１３を操作する。操作者２の画像はロボット側画像出力装置１５から出力される。観察者１９は、画面に表示されている操作者２とロボット１３とのやり取りに興味を持つ。ロボット１３は、キャラクター（バーチャルエージェント）として画面上に表示されていてもよい。操作者２は、観察者１９の反応を確かめながら、腹話術型サービスを実施する。
【００７５】
以上説明した本実施の形態では、観察者１９に親しみを与える腹話術型のキャラクター操作システム１を実現できる。操作者２は、ロボット１３を操作しつつ、簡単にロボット１３を用いた腹話術を行うことができる。
【００７６】
本実施の形態では、ロボット１３と操作者２との語り合いから、操作者２の人格を観察者１９に通知することができ、親しみを持ってもらうことができる。
【００７７】
本実施の形態に係るキャラクター操作システム１は、例えば宣伝広告に用いることができる。
【００７８】
なお、本実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００７９】
例えば、図５に示すように、操作者２側とロボット１３側との間の音データ又は音声データの伝送などのような音データ又は音声データに関する処理は、操作者２側の双方向音処理部２２ａ及びロボット１３側の双方向音処理部２２ｂによって実行されるとしてもよい。
【００８０】
また、ロボットモーション操作インタフェース３からの操作データは、操作者２側のロボット遠隔操作処理部２３によって処理され、ロボット１３側のロボット制御部２４がロボット遠隔操作処理部２３から受け付けた操作データに基づいて、ロボット１３を制御するとしてもよい。
【００８１】
また、操作者２側とロボット１３側との間の画像データの伝送などのような画像データに関する処理は、操作者２側の双方向画像処理部２５ａ及びロボット１３側の双方向画像処理部２５ｂによって実行されるとしてもよい。
【００８２】
ここで、本実施の形態に係るキャラクター操作システム１の構成要素のうち、腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０を、コンピュータとソフトウェアとを用いて実現する場合について説明する。
【００８３】
図６は、本実施の形態に係る腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図である。
【００８４】
コンピュータ２６は、プロセッサ２７、例えば内部メモリなどの記憶装置２８、内部バス２９を具備する。プロセッサ２７と記憶装置２８とは、内部バス２９経由で接続されている。
【００８５】
記憶媒体３０に記憶されているプログラム３１は、コンピュータ２６に読み込まれ、プロセッサ２７により実行される。これにより、コンピュータ２６は、上記腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０としての機能を実現する。記憶装置２８は、例えば画像リングバッファ９として機能する。
【００８６】
本実施の形態において、プログラム３１は、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体３０に書き込んで、腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０として動作するコンピュータ２６に適用可能である。また、上記プログラム３１は、通信媒体により伝送してコンピュータ２６に適用することも可能である。コンピュータ２６は、上記プログラム３１を読み込み、このプログラム３１によって動作が制御されることにより、腹話術モード制御部４、音声スイッチ６、画像リングバッファ９、画像スイッチ１０としての機能を実現する。プログラム３１は、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
【産業上の利用可能性】
【００８７】
本発明は、例えばロボットなどのキャラクターの遠隔操作分野に有効である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態に係るキャラクター操作システムの構成の例を示すブロック図。
【図２】画像リングバッファの動作例を示すフローチャート。
【図３】同実施の形態に係るキャラクター操作システムによる腹話術型サービスの提供処理の例を示すフローチャート。
【図４】同実施の形態に係るキャラクター操作システムの利用例を示す図。
【図５】同実施の形態に係るキャラクター操作システムの変形例を示すブロック図。
【図６】同実施の形態に係る音声スイッチ、画像スイッチ、画像リングバッファ、腹話術モード制御部を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図。
【符号の説明】
【００８９】
１…キャラクター操作システム、２…操作者、３…ロボットモーション操作インタフェース、４…腹話術モード制御部、５…操作者側音声入力装置、６…音声スイッチ、７…ボイスチェンジャー、８…操作者側画像入力装置、９…画像リングバッファ、１０…画像スイッチ、１１…操作者側画像出力装置、１２…操作者側音出力装置、１３…ロボット、１４…ロボット側音声出力装置、１５…ロボット側画像出力装置、１６…ロボット側画像入力装置、１７…ロボット側音入力装置、１８…伝送部、１９…観察者、２０…コールセンタ、２１…ネットワーク、２６…コンピュータ、２７…プロセッサ、２８…記憶装置、２９…内部バス、３０…記憶媒体、３１…プログラム
【特許請求の範囲】
【請求項１】
操作者がキャラクターを操作するキャラクター操作システムにおいて、
前記操作者による発声を行う操作者発声モードか前記キャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、
前記操作者の音声データを入力する操作者側音声入力手段と、
前記操作者の画像データを入力する操作者側画像入力手段と、
前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力手段によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶する記憶手段と、
前記キャラクター発声モードが設定されている場合に、前記操作者の無発声状態の画像データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力手段によって入力された前記操作者の画像データを前記キャラクター側に出力するキャラクター側画像出力手段と、
前記操作者側音声入力手段によって入力された前記操作者の音声データを、前記キャラクター側に出力するキャラクター側音声出力手段と
を具備することを特徴とするキャラクター操作システム。
【請求項２】
請求項１記載のキャラクター操作システムにおいて、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力手段に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力手段によって入力された前記操作者の画像データを前記キャラクター側画像出力手段に提供する画像スイッチをさらに具備することを特徴とするキャラクター操作システム。
【請求項３】
請求項１又は請求項２記載のキャラクター操作システムにおいて、
前記キャラクター発声モードが設定されている場合に、前記操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、
前記キャラクター側音声出力手段は、前記キャラクター発声モードが設定されている場合に、前記キャラクター用の音声データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力手段によって入力された前記操作者の音声データを前記キャラクター側に出力する
ことを特徴とするキャラクター操作システム。
【請求項４】
請求項３記載のキャラクター操作システムにおいて、
前記キャラクター発声モードが設定されている場合に、前記操作者側音声入力手段によって入力された前記操作者の音声データを前記音声変換手段に提供し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力手段によって入力された前記操作者の音声データを前記キャラクター側音声出力手段に提供する音声スイッチをさらに具備することを特徴とするキャラクター操作システム。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載のキャラクター操作システムにおいて、
前記キャラクター側の状態を撮影した画像データを前記操作者側に出力する操作者側画像出力手段と、
前記キャラクター側の音の状態を測定した音データを前記操作者側に出力する操作者側音出力手段と
をさらに具備することを特徴とするキャラクター操作システム。
【請求項６】
キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、前記キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とに接続されるキャラクター操作装置において、
前記操作者による発声を行う操作者発声モードか前記キャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、
前記操作者側音声入力装置によって前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶する記憶手段と、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記キャラクター側画像出力装置に提供する画像スイッチと、
前記操作者側音声入力装置によって入力された前記操作者の音声データを、前記キャラクター側音声出力装置に提供する提供手段と
を具備することを特徴とするキャラクター操作装置。
【請求項７】
請求項６記載のキャラクター操作装置において、
前記キャラクター発声モードが設定されている場合に、前記操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、
前記提供手段は、前記キャラクター発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記音声変換手段経由で前記キャラクター側音声出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側音声出力装置に提供する音声スイッチであり、
前記キャラクター側音声出力装置は、前記キャラクター発声モードが設定されている場合に、前記キャラクター用の音声データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側に出力する
ことを特徴とするキャラクター操作装置。
【請求項８】
キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、前記キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とに接続されるコンピュータを、
前記操作者による発声を行う操作者発声モードか前記キャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段、
前記操作者側音声入力装置によって前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶する記憶手段、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記キャラクター側画像出力装置に提供する画像スイッチ、
前記操作者側音声入力装置によって入力された前記操作者の音声データを、前記キャラクター側音声出力装置に提供する提供手段
として機能させるためのプログラム。
【請求項９】
請求項８記載のプログラムにおいて、
前記コンピュータを、前記キャラクター発声モードが設定されている場合に、前記操作者の音声データをキャラクター用の音声データに変換する音声変換手段として機能させ、
前記提供手段は、前記キャラクター発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記音声変換手段経由で前記キャラクター側音声出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側音声出力装置に提供する音声スイッチとして機能し、
前記キャラクター側音声出力装置は、前記キャラクター発声モードが設定されている場合に、前記キャラクター用の音声データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側に出力する
ことを特徴とするプログラム。
【請求項１０】
キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、前記キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とを具備するシステムによるキャラクター操作方法において、
前記操作者側音声入力装置によって前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶し、
前記操作者による発声を行う操作者発声モードが設定されているか前記キャラクターによる発声を行うキャラクター発声モードが設定されているかを判断し、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記キャラクター側画像出力装置に提供するとともに、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側音声出力装置に提供する
ことを特徴とするキャラクター操作方法。
【請求項１】
操作者がキャラクターを操作するキャラクター操作システムにおいて、
前記操作者による発声を行う操作者発声モードか前記キャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、
前記操作者の音声データを入力する操作者側音声入力手段と、
前記操作者の画像データを入力する操作者側画像入力手段と、
前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力手段によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶する記憶手段と、
前記キャラクター発声モードが設定されている場合に、前記操作者の無発声状態の画像データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力手段によって入力された前記操作者の画像データを前記キャラクター側に出力するキャラクター側画像出力手段と、
前記操作者側音声入力手段によって入力された前記操作者の音声データを、前記キャラクター側に出力するキャラクター側音声出力手段と
を具備することを特徴とするキャラクター操作システム。
【請求項２】
請求項１記載のキャラクター操作システムにおいて、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力手段に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力手段によって入力された前記操作者の画像データを前記キャラクター側画像出力手段に提供する画像スイッチをさらに具備することを特徴とするキャラクター操作システム。
【請求項３】
請求項１又は請求項２記載のキャラクター操作システムにおいて、
前記キャラクター発声モードが設定されている場合に、前記操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、
前記キャラクター側音声出力手段は、前記キャラクター発声モードが設定されている場合に、前記キャラクター用の音声データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力手段によって入力された前記操作者の音声データを前記キャラクター側に出力する
ことを特徴とするキャラクター操作システム。
【請求項４】
請求項３記載のキャラクター操作システムにおいて、
前記キャラクター発声モードが設定されている場合に、前記操作者側音声入力手段によって入力された前記操作者の音声データを前記音声変換手段に提供し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力手段によって入力された前記操作者の音声データを前記キャラクター側音声出力手段に提供する音声スイッチをさらに具備することを特徴とするキャラクター操作システム。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載のキャラクター操作システムにおいて、
前記キャラクター側の状態を撮影した画像データを前記操作者側に出力する操作者側画像出力手段と、
前記キャラクター側の音の状態を測定した音データを前記操作者側に出力する操作者側音出力手段と
をさらに具備することを特徴とするキャラクター操作システム。
【請求項６】
キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、前記キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とに接続されるキャラクター操作装置において、
前記操作者による発声を行う操作者発声モードか前記キャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段と、
前記操作者側音声入力装置によって前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶する記憶手段と、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記キャラクター側画像出力装置に提供する画像スイッチと、
前記操作者側音声入力装置によって入力された前記操作者の音声データを、前記キャラクター側音声出力装置に提供する提供手段と
を具備することを特徴とするキャラクター操作装置。
【請求項７】
請求項６記載のキャラクター操作装置において、
前記キャラクター発声モードが設定されている場合に、前記操作者の音声データをキャラクター用の音声データに変換する音声変換手段をさらに具備し、
前記提供手段は、前記キャラクター発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記音声変換手段経由で前記キャラクター側音声出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側音声出力装置に提供する音声スイッチであり、
前記キャラクター側音声出力装置は、前記キャラクター発声モードが設定されている場合に、前記キャラクター用の音声データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側に出力する
ことを特徴とするキャラクター操作装置。
【請求項８】
キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、前記キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とに接続されるコンピュータを、
前記操作者による発声を行う操作者発声モードか前記キャラクターによる発声を行うキャラクター発声モードかの設定を受け付けるモード制御手段、
前記操作者側音声入力装置によって前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶する記憶手段、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記キャラクター側画像出力装置に提供する画像スイッチ、
前記操作者側音声入力装置によって入力された前記操作者の音声データを、前記キャラクター側音声出力装置に提供する提供手段
として機能させるためのプログラム。
【請求項９】
請求項８記載のプログラムにおいて、
前記コンピュータを、前記キャラクター発声モードが設定されている場合に、前記操作者の音声データをキャラクター用の音声データに変換する音声変換手段として機能させ、
前記提供手段は、前記キャラクター発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記音声変換手段経由で前記キャラクター側音声出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側音声出力装置に提供する音声スイッチとして機能し、
前記キャラクター側音声出力装置は、前記キャラクター発声モードが設定されている場合に、前記キャラクター用の音声データを前記キャラクター側に出力し、前記操作者発声モードが設定されている場合に、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側に出力する
ことを特徴とするプログラム。
【請求項１０】
キャラクターを操作する操作者側に備えられる操作者側音声入力装置及び操作者側画像入力装置と、前記キャラクター側に備えられるキャラクター側画像出力装置及びキャラクター側音声出力装置とを具備するシステムによるキャラクター操作方法において、
前記操作者側音声入力装置によって前記操作者の音声データが入力されているか否か判断し、前記操作者の音声データが入力されていないと判断された場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記操作者の無発声状態の画像データとして記憶し、
前記操作者による発声を行う操作者発声モードが設定されているか前記キャラクターによる発声を行うキャラクター発声モードが設定されているかを判断し、
前記キャラクター発声モードが設定されている場合に、前記記憶手段に記憶されている前記操作者の無発声状態の画像データを前記キャラクター側画像出力装置に提供し、前記操作者発声モードが設定されている場合に、前記操作者側画像入力装置によって入力された前記操作者の画像データを前記キャラクター側画像出力装置に提供するとともに、前記操作者側音声入力装置によって入力された前記操作者の音声データを前記キャラクター側音声出力装置に提供する
ことを特徴とするキャラクター操作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−２５５１４７（Ｐ２００６−２５５１４７Ａ）
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願番号】特願２００５−７６４８８（Ｐ２００５−７６４８８）
【出願日】平成１７年３月１７日（２００５．３．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願日】平成１７年３月１７日（２００５．３．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]