ロボット
【課題】ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供する。
【解決手段】カメラ手段６，７によって撮影した顔画像を入力されて記憶するカード型メモリ１と、カード型メモリ１に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示するプロジェクタ９とを備える本発明のロボット１００は、カメラ手段６，７より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録機能３１と、予め登録された複数の感情状態の顔画像とカメラ手段６，７より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断機能３３とを備えるＣＰＵ４とを有しており、顔画像状態判断機能３３によって判断された感情状態に応じて、プロジェクタ９から前記表示面に複数の投射画像の何れか１つを投射表示する。
【解決手段】カメラ手段６，７によって撮影した顔画像を入力されて記憶するカード型メモリ１と、カード型メモリ１に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示するプロジェクタ９とを備える本発明のロボット１００は、カメラ手段６，７より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録機能３１と、予め登録された複数の感情状態の顔画像とカメラ手段６，７より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断機能３３とを備えるＣＰＵ４とを有しており、顔画像状態判断機能３３によって判断された感情状態に応じて、プロジェクタ９から前記表示面に複数の投射画像の何れか１つを投射表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホームユースやパーソナルユースに適したロボットに関するものであり、特に、人間とのコミュニケーションを行うのに好適なコミュニケーション用ロボットに関するものである。
【背景技術】
【０００２】
近年、ヒューマノイド型ロボットやペット型ロボットが開発され、一般家庭内においても使用されるように普及が進んでいる。
上記ヒューマノイド型ロボットとしては、ＣＣＤカメラと、マイクロホンと、タッチセンサ等の外部センサと、バッテリセンサおよび加速度センサ等の内部センサとを搭載し、上記外部センサおよび内部センサの出力信号に基づいてロボットの外部の状態および内部の状態を認識し、認識結果に基づいて自立的に行動し得るように構成されたヒューマノイド型ロボットが提案されている（例えば特許文献１参照）。また、上記ペット型ロボットとしては、離れた場所にいる人間とロボットの周囲にいる人間とが、画像を介して情報交換できるように構成したロボットが提案されている（例えば特許文献２参照）。これらのヒューマノイド型ロボットやペット型ロボットは、外部環境の撮影データを入力するカメラと画像投射を行うプロジェクタとを頭部に備えている。
【０００３】
【特許文献１】特開２００５−５９１８６号公報
【特許文献２】特開２００４−１６７６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来のヒューマノイド型ロボットやペット型ロボットは、ロボット頭部の前面にカメラおよびプロジェクタを備えているため、ユーザである人間と対話的にコミュニケーションを行うことができなかった。
また、上記従来のヒューマノイド型ロボットやペット型ロボットは、自立型の構成を採用しているため、各種センサやアクチュエータが多数必要となってしまい、コスト高となるという問題があった。
【０００５】
本発明は、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の第１発明は、カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示する画像投射手段とを備えるロボットであって、前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とを設け、前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか１つを投射表示することを特徴とする。
【０００７】
請求項２に記載の第２発明は、ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のＯＮ／ＯＦＦおよび画像投射の開始／停止の少なくとも一方を行うことを特徴とする。
【０００８】
請求項３に記載の第３発明は、前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生することを特徴とする。
【０００９】
請求項４に記載の第４発明は、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の１つを前記投射画像として前記表示面に投射表示することを特徴とする。
【００１０】
請求項５に記載の第５発明は、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の１つを前記音声日記として再生することを特徴とする。
【発明の効果】
【００１１】
第１発明によれば、カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示する画像投射手段とを備える本発明のロボットは、前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とが設けられており、前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか１つを投射表示するから、ユーザである人間に対して表示面に投射表示した投射画像によって癒し効果を生じさせて、人間とロボットとのコミュニケーション能力を向上させることができるので、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することができる。
【００１２】
第２発明によれば、ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のＯＮ／ＯＦＦおよび画像投射の開始／停止の少なくとも一方を行うから、ユーザによる前記ロボットの電源のＯＮ／ＯＦＦや画像投射の開始／停止のための操作は不必要になり、ロボットの使い勝手が向上する。
【００１３】
第３発明によれば、前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生するから、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
【００１４】
第４発明によれば、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の１つを前記投射画像として前記表示面に投射表示するから、ロボットにカメラ手段を内蔵する構成とする代わりに、ロボットとは別に用意したカメラ手段を前記外部入力インタフェース手段を介してロボットに接続する構成とすることによって、ロボットの構成の簡素化およびコストダウンを図ることができる。
【００１５】
第５発明によれば、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の１つを前記音声日記として再生するから、例えば前記ロボットにネットワークインターフェースを設けて、該ネットワークインターフェースに接続したインターネット等から前記音声日記となる音声を取得する構成の代わりに、ロボットとは別に用意したＩＣレコーダ等の録音手段を前記外部入力インタフェース手段を介してロボットに接続する構成とすることによって、ロボットの構成の簡素化およびコストダウンを図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
【００１７】
［第１実施形態］
図１は本発明の第１実施形態のロボットのハードウエア構成を示すブロック図であり、図２（ａ），（ｂ）はそれぞれ、第１実施形態のロボットを正面および裏面から見た状態を示す外観図である。本実施形態のロボットのハードウエアは図１に示すように構成されており、ロボット全体の各種制御を行う制御プログラムやユーザデータ（カメラ手段によって撮影したユーザの顔画像や投射画像を含む各種画像のデータ）を記憶するカード型メモリ１と、カード型メモリ１に対し入出力制御を行うカード型メモリインタフェース（カード型メモリＩ／Ｆ）２と、制御プログラムをロードされて作業メモリとして動作する主記憶メモリ３と、カードメモリ１から制御プログラムを主記憶メモリ３にロードしてロボット本体のシステム全体の制御を行うＣＰＵ４と、主要なプログラムやユーザデータを記憶するＥＰＲＯＭ５と、ユーザの顔画像を含む各種画像を撮影するカメラ手段（本実施形態では、カラー表示またはモノクロ表示のデジタルカメラ（ＣＣＤカメラまたはＣＭＯＳカメラ）を用いる）６，７と、カメラ手段６，７によって撮影した顔画像データを含む各種画像データの入力制御を行うカメラインタフェース（カメラＩ／Ｆ）８と、ユーザの感情状態に応じた投射画像を所定の表示面（例えばロボット外部の壁または専用スクリーン）に投射表示するプロジェクタ（本実施形態ではＬＥＤプロジェクタを用いる）９と、プロジェクタ９の出力制御を行うプロジェクタインタフェース（プロジェクタＩ／Ｆ）１０と、操作メニューや動作確認用情報等を表示するＬＣＤ表示部（本実施形態ではＬＣＤを用いているが、代わりに有機ＥＬを用いてもよい）１１と、ＬＣＤ表示部１１の表示入力制御を行うＬＣＤインタフェース（ＬＣＤ Ｉ／Ｆ）１２と、ロボット本体の左右の前足先端に内蔵されるタッチセンサ１３Ｌ，１３Ｒと、タッチセンサ１３Ｌ，１３Ｒからの情報の入力制御を行うタッチセンサインタフェース（タッチセンサーＩ／Ｆ）１４と、音声日記（代わりに音声付き画像ファイルを用いてもよい）を出力するスピーカ１５と、スピーカ１５への音声出力制御を行う音声インタフェース（音声Ｉ／Ｆ）１６と、インターネットまたはホームネットワーク等に接続するためのネットワークインタフェース（ネットワークＩ／Ｆ、例えばＬＡＮインターフェース）１７と、電源として用いる、ニッカド電池、リチウムイオン、ニッケル水素電池等の二次電池１８と、二次電池１８の電源制御を行う電源インタフェース（電源Ｉ／Ｆ）１９と、ロボット本体とは別に用意した、デジタルカメラまたは画像記憶装置（フォトストレージ装置）やＩＣレコーダ等を接続するための外部入力インタフェース（外部入力Ｉ／Ｆ）２０と、電源スイッチ２１等を具備して成る。上記において、カード型メモリ１は、ロボットを複数人のユーザで共用する際には、人数分用意して、各ユーザが自分専用のカード型メモリ１を使用するものとする。上記ＩＣレコーダには、ＩＣレコーダ機能を有している携帯情報端末（ＰＤＡ）やＩＣレコーダ機能を有している携帯電話機も含まれる。
【００１８】
本実施形態のロボットは、図２（ａ），（ｂ）に示すようにネコ型の癒し系ロボットとして構成されており、ネコ型ロボット本体（以下、単にロボットともいう）１００のネコの左右眼球に相当する箇所にそれぞれカメラ手段６およびカメラ手段７を備え、ネコのお腹の部分にＬＣＤ表示部１１を備え、ネコの後頭部分にプロジェクタ９を備えるとともに、ネコのお尻の部分にネットワークインタフェース１７、外部入力インタフェース２０および電源スイッチ２１を備えている。
【００１９】
図３は本実施形態のロボットのＣＰＵの機能ブロック図である。本実施形態のロボットに用いるＣＰＵ４は、カメラ手段６およびカメラ手段７の少なくとも一方から入力されたユーザの顔画像を予め登録する顔画像登録機能３１と、カメラ手段６およびカメラ手段７の少なくとも一方から入力された顔画像を記憶する顔画像記憶機能３２と、カメラ手段６およびカメラ手段７の少なくとも一方から入力された顔画像と予め登録された顔画像とを比較して、入力された顔画像の感情状態が複数の感情状態（例えば、「通常」、「喜び」、「怒り」、「悲しみ」）の何れに該当するかを判断する顔画像感情状態判断機能３３と、判断された顔画像の感情状態に応じて所定の投射画像の投射を行う画像投射機能３４と、カード型メモリ１に登録された複数の音声日記の何れか１つを再生する音声日記再生機能３５と、ネットワークに接続されたコンピュータ（図示せず）内に登録された画像や音声日記に自動的にアクセスして所望の画像や音声日記を主記憶メモリ３にダウンロードする自動ネットワーク接続機能３６とを具備して成る。
【００２０】
［顔画像登録処理］
次に、本実施形態のロボットにおける顔画像登録処理を説明する。
図４は第１実施形態のロボットにおいて実施する顔画像登録処理プログラムを示すフローチャートであり、この顔画像登録処理プログラムは、電源スイッチ２１のＯＮによって起動する。まず、電源スイッチ２１のＯＮに同期して、ＬＣＤ表示部１１に「ユーザ登録してください」等のユーザ登録メッセージを表示する（ステップ４０１）。次に、上記電源ＯＮによってカメラが撮影可能状態になったときに、「撮影準備ＯＫ！」等の登録準備完了メッセージを表示する（ステップ４０２）。次に、登録すべきユーザが型ロボット１００のカメラ手段６，７の撮影範囲に入るようにＬＣＤ表示部１１の表示画像を見ながら撮影領域を調整し（ステップ４０３）、その後、ユーザの顔画像撮影を行う（ステップ４０４）。
【００２１】
次に、上記ステップ４０４で撮影したユーザの顔画像データに基づきユーザの感情状態が通常か否かの感情状態判定処理を行う（ステップ４０５）。この感情状態判定処理は、公知の顔画像認証技術を用いて、ユーザの顔画像を「通常」、「通常ではない」のどちらかに分類し、「通常ではない」に分類した場合にはさらに「喜び」、「怒り」、「悲しみ」の何れかに分類するものであり、上記特許文献１の公報の［００３８］に記載された顔認証技術（１８種類の感情状態を用いている）に比べて、システムの簡素化およびコストダウンが図られている。ステップ４０５がＹＥＳの場合には、通常（初期値）の顔画像として登録し（ステップ４０６）、ＮＯの場合には、「喜び」、「怒り」、「悲しみ」の中のどの感情状態に該当するかを判断し（ステップ４０７）、「喜び」と判断された場合には「喜び」の顔画像として登録処理を行い（ステップ４０８）、「怒り」と判断された場合には「怒り」の顔画像として登録処理を行い（ステップ４０９）、「悲しみ」と判断された場合には「悲しみ」の顔画像として登録処理を行う（ステップ４１０）。
【００２２】
［画像テーブルの構成］
図５は第１実施形態のロボットにおいて投射画像として用いる画像を集めた画像テーブルを例示する図であり、この画像テーブルはカード型メモリ１の所定の記憶エリアに登録（記憶）するものとする。図５に例示する画像テーブルは、初期値フィールド、喜びフィールド、怒りフィールド、悲しみフィールド等に領域が区分されており、初期値フィールドは初期値となる顔画像（図示例の場合、顔画像Ｘ，顔画像Ｙ，・・）を収容するフィールドであり、喜びフィールドはユーザの感情状態が喜びであると判断された場合の顔画像（図示例の場合、顔画像Ａ，顔画像Ｂ，・・）を収容するフィールドであり、怒りフィールドはユーザの感情状態が怒りであると判断された場合の顔画像（図示例の場合、顔画像Ｃ，顔画像Ｄ，・・）を収容するフィールドであり、悲しみフィールドはユーザの感情状態が悲しみであると判断された場合の顔画像（図示例の場合、顔画像Ｅ，顔画像Ｆ，・・）を収容するフィールドであり、各フィールドには複数の顔画像を登録可能となっている。なお、この画像テーブルを構成するフィールドは上述したフィールドに限定されるものではなく、上述したフィールドとは異なるフィールドに置き換えたり、述したフィールドに他のフィールドを加えたりしてもよい。
【００２３】
本実施形態のロボット１００は、ユーザとの関係で所定位置に置かれるものとする。例えば、図示しない机の上やダイニングテーブルの上や鏡台等の上に置かれ、その場所でユーザの顔画像撮影を行う際には、顔画像の向きを考慮した顔画像データを登録するものとする。また、部屋の照明については、朝、昼、夕方等で室内照明をＯＮ、ＯＦＦした顔画像データを登録しておく。簡略化のため、ロボット１００のカメラ手段６，７とユーザとの位置関係は、一定の距離を保つものとし、その距離に合わせてカメラ手段６，７のフォーカス調整を行っておくものとする。なお、カメラ手段６，７としてはマニュアルフォーカス調整タイプ、オートフォーカス調整タイプの何れも使用することができ、コストダウンの要求があるときにはマニュアルフォーカス調整タイプのカメラ手段を使用するものとする。
【００２４】
［プロジェクタによる投射画像の投射表示処理］
図６は第１実施形態のロボットのプロジェクタによって実施する投射画像の投射表示処理プログラムを示すフローチャートであり、この投射表示処理プログラムはユーザがロボット１００のカメラ手段６，７の撮影エリア内に入ったときに自動的に起動される。まず、ユーザがロボット１００のカメラ手段６，７の撮影エリア内に入ったときに、カメラ手段６，７の撮影によりユーザの顔画像データ入力を行う（ステップ６０１）。次に、入力されたユーザの顔画像と予め登録された複数の感情状態に対応する顔画像とを比較して、ユーザの顔画像がどの感情状態に対応するかを判断する顔画像感情状態判断処理を行う（ステップ６０２、ステップ６０３）。この顔画像感情状態判断処理は、公知の顔画像照合方法（例えば、日経バイト２００５年１０月号Ｐ３８、３９に記載された、顔全体を照合する方法、局所を照合する方法、特徴点を照合する方法）等を用いることができる。この顔画像感情状態判断処理を用いて、ステップ６０３でユーザの顔画像と登録済みの顔画像とを比較した結果、通常状態（初期値）と判断された場合には、ロボット１００の内部または外部に設けた画像データベース（図示せず）からランダムに選択した画像を、プロジェクタ９から所定の表示面（例えばスクリーンや壁または画像が認識できる程度の反射率の紙）に投射する（ステップ６０４）。一方、通常状態ではないと判断された場合（例えばユーザの顔画像が当該ユーザの初期値として登録された顔画像と一致しなかった場合）には、「喜び」の場合は、上記画像データベース内のユーザの感情状態が「喜び」のときに適した画像であるハッピーな画像（例えば旅行の思い出の画像）をプロジェクタ９から所定の表示面に投射し（ステップ６０６）、「怒り」の場合は、上記画像データベース内のユーザの感情状態が「怒り」のときに適した画像である感情を落ち着かせる画像（例えば風景画像）をプロジェクタ９から所定の表示面に投射し（ステップ６０７）、「悲しみ」の場合は、上記画像データベース内のユーザの感情状態が「悲しみ」のときに適した画像であるユーザを楽しくさせる画像（例えばコンテストに優勝したときの画像）をプロジェクタ９から所定の表示面に投射する（ステップ６０８）。
【００２５】
本実施形態のロボットによれば、予め登録された複数の感情状態の顔画像とカメラ手段６，７より入力されたユーザの顔画像とを比較して、当該ユーザの顔画像が対応する感情状態を判断し、判断結果の感情状態が「通常」、「喜び」、「怒り」、「悲しみ」の場合にそれぞれの感情状態に適した投射画像をプロジェクタ９から表示面に投射表示するので、ユーザである人間に対して表示面に投射表示した投射画像によって癒し効果を生じさせて、人間とロボットとのコミュニケーション能力を向上させることができる。したがって、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することができる。
【００２６】
［第２実施形態］
本発明の第２実施形態のロボットは、図示を省略するが、第１実施形態のロボットに対して図２（ｂ）に示す電源スイッチ２１を省略して、代わりにユーザがカメラ手段６，７の撮影エリアに入ったか否かを検出するエリアセンサを設け、以下の電源制御および画像投射制御を行うように構成されている。
すなわち、本実施形態のロボットは、ユーザがカメラ手段６，７の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入った」である場合にロボットの電源のＯＮおよび画像投射の開始の少なくとも一方（本実施形態では両方）を行う電源制御および画像投射制御を実施するとともに、ユーザがカメラ手段６，７の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入っていない」である場合にロボットの電源のＯＦＦおよび画像投射の停止の少なくとも一方（本実施形態では両方）を行う電源制御および画像投射制御を実施するように構成されている。
【００２７】
本実施形態のロボットによれば、ユーザによるロボットの電源のＯＮ／ＯＦＦや画像投射の開始／停止のための操作は不必要になり、ロボットの使い勝手が向上する。
【００２８】
［第３実施形態］
図７は本発明の第３実施形態のロボットを含むシステムの全体構成を例示する図である。本実施形態のロボットを含むシステムは、第１実施形態のロボットと同一構成のロボット（ネコ型ロボット本体１００）を含んでおり、例えばユーザの宅内に設置したネコ型ロボット本体１００のネットワークインターフェース（ネットワークＩ／Ｆ、例えばＬＡＮインターフェースや無線ＬＡＮインターフェース）１７には、コンピュータまたはネットワーク対応デジタルテレビ１１０が接続されており、コンピュータまたはネットワーク対応デジタルテレビ１１０のネットワークインターフェース（ネットワークＩ／Ｆ、例えばＬＡＮインターフェースや無線ＬＡＮインターフェース）１２０にはインターネットまたはブロードバンド１３０が接続されている。
【００２９】
図８は本発明の第３実施形態のロボットにおいて投射画像の投射表示と同期して再生する音声日記ファイルの構成を例示する図である。図７に示す音声日記ファイル１４０は、カード型メモリ１に予め登録しておくものであり、西暦年／月／日のデータと、音声日記データと、感情状態（「通常」、「喜び」、「怒り」、「悲しみ」の何れか１つ）とが関連付けられて、複数の音声日記データ（図示例では音声日記データ１〜音声日記データＮ）が収容されている。なお、感情状態は、音声日記データのキーワード検索により、上記感情状態の何れか１つを自動的に付与しておくものとする。
【００３０】
［音声日記の再生方法１；ロボット単体で音声日記を再生する場合］
ロボット１００において、投射画像の投射表示に同期して、カード型メモリ１に予め登録されている音声日記の何れか１つを再生する。具体的には、第１実施形態と同様の投射画像の投射表示を行う際に、ユーザの感情状態が通常であると判断された場合には、カード型メモリ１内の音声日記データをランダムに再生し、ユーザの感情状態が通常ではないと判断された場合には、判断された感情状態に適した音声日記、言い換えればユーザの感情を癒す作用を有する音声日記を再生するように動作する。例えば、ユーザの感情状態が「悲しみ」や「怒り」の場合には、「喜び」に対応する音声日記を再生するように構成する。これにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
【００３１】
［音声日記の再生方法２；ネットワーク経由で音声日記を再生する場合］
まず、事前準備として、ロボット１００のＣＰＵ４の自動ネットワーク接続機能３６を用いて、ネコ型ロボット本体１００のネットワークインタフェース１７を介して接続されたコンピュータまたはネットワーク対応デジタルテレビ１１０に登録された音声日記１５０へ自動的にアクセスして、所望の音声日記をネコ型ロボット本体１００の主記憶メモリ３にダウンロードしておく。なお、音声日記１５０は、コンピュータまたはネットワーク対応デジタルテレビ１１０のネットワークインターフェース１２０に接続されたインターネットまたはブロードバンド１３０内に存在する所望の音声日記１６０をコンピュータまたはネットワーク対応デジタルテレビ１１０内にダウンロードすることにより作成する。以後の動作は、ロボット単体で再生する場合と同様な処理により投射画像に同期して音声日記を再生すればよい。
【００３２】
本実施形態のロボットによれば、ネットワーク上に存在する音声日記データを有効に活用して、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
【００３３】
［第４実施形態］
図９は本発明の第４実施形態のロボットの概略構成を示すブロック図である。本実施形態においては、ネコ型ロボット本体１００に外部入力インタフェース２０を介してデジタルカメラ等のカメラ手段２２およびＩＣレコーダ等の録音手段２３（あるいは、携帯情報端末やカメラ付き携帯情報端末）を接続する。
【００３４】
本実施形態のロボットによれば、ロボットに接続したカメラ手段２２に登録（記憶）された画像を投射画像としてプロジェクタ９から表示面に投射表示すると同時に、ロボットに接続した録音手段２３に登録（記憶）された音声を音声日記として再生することにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。さらに、本実施形態のロボットによれば、ネットワーク等を使用しないので、簡略化されたシステム構成で、人間とロボットとのコミュニケーションを図ることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施形態のロボットのハードウエア構成を示すブロック図である。
【図２】（ａ），（ｂ）はそれぞれ、第１実施形態のロボットを正面および裏面から見た状態を示す外観図である。
【図３】本実施形態のロボットのＣＰＵの機能ブロック図である。
【図４】第１実施形態のロボットにおいて実施する顔画像登録処理プログラムを示すフローチャートである。
【図５】第１実施形態のロボットにおいて投射画像として用いる画像を集めた画像テーブルを例示する図である。
【図６】第１実施形態のロボットのプロジェクタによって実施する投射画像の投射表示処理プログラムを示すフローチャートである。
【図７】本発明の第３実施形態のロボットを含むシステムの全体構成を例示する図である。
【図８】本発明の第３実施形態のロボットにおいて投射画像の投射表示と同期して再生する音声日記ファイルの構成を例示する図である。
【図９】本発明の第４実施形態のロボットの概略構成を示すブロック図である。
【符号の説明】
【００３６】
１ カード型メモリ
２ カード型メモリインタフェース（カード型メモリＩ／Ｆ）
３ 主記憶メモリ
４ ＣＰＵ
５ ＥＰＲＯＭ
６，７ カメラ手段（デジタルカメラ；ＣＣＤカメラまたはＣＭＯＳカメラ）
８ カメラインタフェース（カメラＩ／Ｆ）
９ プロジェクタ
１０ プロジェクタインタフェース（プロジェクタＩ／Ｆ）
１１ ＬＣＤ表示部
１２ ＬＣＤインタフェース（ＬＣＤ Ｉ／Ｆ）
１３Ｌ，１３Ｒ タッチセンサ
１４ タッチセンサインタフェース（タッチセンサーＩ／Ｆ）
１５ スピーカ
１６ 音声インタフェース（音声Ｉ／Ｆ）
１７ ネットワークインタフェース（ネットワークＩ／Ｆ）
１８ 二次電池
１９ 電源インタフェース（電源Ｉ／Ｆ）
２０ 外部入力インタフェース（外部入力Ｉ／Ｆ）
２１ 電源スイッチ
２２ カメラ手段
２３ 録音手段
１００ ネコ型ロボット本体（ロボット）
【技術分野】
【０００１】
本発明は、ホームユースやパーソナルユースに適したロボットに関するものであり、特に、人間とのコミュニケーションを行うのに好適なコミュニケーション用ロボットに関するものである。
【背景技術】
【０００２】
近年、ヒューマノイド型ロボットやペット型ロボットが開発され、一般家庭内においても使用されるように普及が進んでいる。
上記ヒューマノイド型ロボットとしては、ＣＣＤカメラと、マイクロホンと、タッチセンサ等の外部センサと、バッテリセンサおよび加速度センサ等の内部センサとを搭載し、上記外部センサおよび内部センサの出力信号に基づいてロボットの外部の状態および内部の状態を認識し、認識結果に基づいて自立的に行動し得るように構成されたヒューマノイド型ロボットが提案されている（例えば特許文献１参照）。また、上記ペット型ロボットとしては、離れた場所にいる人間とロボットの周囲にいる人間とが、画像を介して情報交換できるように構成したロボットが提案されている（例えば特許文献２参照）。これらのヒューマノイド型ロボットやペット型ロボットは、外部環境の撮影データを入力するカメラと画像投射を行うプロジェクタとを頭部に備えている。
【０００３】
【特許文献１】特開２００５−５９１８６号公報
【特許文献２】特開２００４−１６７６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来のヒューマノイド型ロボットやペット型ロボットは、ロボット頭部の前面にカメラおよびプロジェクタを備えているため、ユーザである人間と対話的にコミュニケーションを行うことができなかった。
また、上記従来のヒューマノイド型ロボットやペット型ロボットは、自立型の構成を採用しているため、各種センサやアクチュエータが多数必要となってしまい、コスト高となるという問題があった。
【０００５】
本発明は、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の第１発明は、カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示する画像投射手段とを備えるロボットであって、前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とを設け、前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか１つを投射表示することを特徴とする。
【０００７】
請求項２に記載の第２発明は、ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のＯＮ／ＯＦＦおよび画像投射の開始／停止の少なくとも一方を行うことを特徴とする。
【０００８】
請求項３に記載の第３発明は、前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生することを特徴とする。
【０００９】
請求項４に記載の第４発明は、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の１つを前記投射画像として前記表示面に投射表示することを特徴とする。
【００１０】
請求項５に記載の第５発明は、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の１つを前記音声日記として再生することを特徴とする。
【発明の効果】
【００１１】
第１発明によれば、カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示する画像投射手段とを備える本発明のロボットは、前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とが設けられており、前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか１つを投射表示するから、ユーザである人間に対して表示面に投射表示した投射画像によって癒し効果を生じさせて、人間とロボットとのコミュニケーション能力を向上させることができるので、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することができる。
【００１２】
第２発明によれば、ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のＯＮ／ＯＦＦおよび画像投射の開始／停止の少なくとも一方を行うから、ユーザによる前記ロボットの電源のＯＮ／ＯＦＦや画像投射の開始／停止のための操作は不必要になり、ロボットの使い勝手が向上する。
【００１３】
第３発明によれば、前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生するから、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
【００１４】
第４発明によれば、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の１つを前記投射画像として前記表示面に投射表示するから、ロボットにカメラ手段を内蔵する構成とする代わりに、ロボットとは別に用意したカメラ手段を前記外部入力インタフェース手段を介してロボットに接続する構成とすることによって、ロボットの構成の簡素化およびコストダウンを図ることができる。
【００１５】
第５発明によれば、前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の１つを前記音声日記として再生するから、例えば前記ロボットにネットワークインターフェースを設けて、該ネットワークインターフェースに接続したインターネット等から前記音声日記となる音声を取得する構成の代わりに、ロボットとは別に用意したＩＣレコーダ等の録音手段を前記外部入力インタフェース手段を介してロボットに接続する構成とすることによって、ロボットの構成の簡素化およびコストダウンを図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
【００１７】
［第１実施形態］
図１は本発明の第１実施形態のロボットのハードウエア構成を示すブロック図であり、図２（ａ），（ｂ）はそれぞれ、第１実施形態のロボットを正面および裏面から見た状態を示す外観図である。本実施形態のロボットのハードウエアは図１に示すように構成されており、ロボット全体の各種制御を行う制御プログラムやユーザデータ（カメラ手段によって撮影したユーザの顔画像や投射画像を含む各種画像のデータ）を記憶するカード型メモリ１と、カード型メモリ１に対し入出力制御を行うカード型メモリインタフェース（カード型メモリＩ／Ｆ）２と、制御プログラムをロードされて作業メモリとして動作する主記憶メモリ３と、カードメモリ１から制御プログラムを主記憶メモリ３にロードしてロボット本体のシステム全体の制御を行うＣＰＵ４と、主要なプログラムやユーザデータを記憶するＥＰＲＯＭ５と、ユーザの顔画像を含む各種画像を撮影するカメラ手段（本実施形態では、カラー表示またはモノクロ表示のデジタルカメラ（ＣＣＤカメラまたはＣＭＯＳカメラ）を用いる）６，７と、カメラ手段６，７によって撮影した顔画像データを含む各種画像データの入力制御を行うカメラインタフェース（カメラＩ／Ｆ）８と、ユーザの感情状態に応じた投射画像を所定の表示面（例えばロボット外部の壁または専用スクリーン）に投射表示するプロジェクタ（本実施形態ではＬＥＤプロジェクタを用いる）９と、プロジェクタ９の出力制御を行うプロジェクタインタフェース（プロジェクタＩ／Ｆ）１０と、操作メニューや動作確認用情報等を表示するＬＣＤ表示部（本実施形態ではＬＣＤを用いているが、代わりに有機ＥＬを用いてもよい）１１と、ＬＣＤ表示部１１の表示入力制御を行うＬＣＤインタフェース（ＬＣＤ Ｉ／Ｆ）１２と、ロボット本体の左右の前足先端に内蔵されるタッチセンサ１３Ｌ，１３Ｒと、タッチセンサ１３Ｌ，１３Ｒからの情報の入力制御を行うタッチセンサインタフェース（タッチセンサーＩ／Ｆ）１４と、音声日記（代わりに音声付き画像ファイルを用いてもよい）を出力するスピーカ１５と、スピーカ１５への音声出力制御を行う音声インタフェース（音声Ｉ／Ｆ）１６と、インターネットまたはホームネットワーク等に接続するためのネットワークインタフェース（ネットワークＩ／Ｆ、例えばＬＡＮインターフェース）１７と、電源として用いる、ニッカド電池、リチウムイオン、ニッケル水素電池等の二次電池１８と、二次電池１８の電源制御を行う電源インタフェース（電源Ｉ／Ｆ）１９と、ロボット本体とは別に用意した、デジタルカメラまたは画像記憶装置（フォトストレージ装置）やＩＣレコーダ等を接続するための外部入力インタフェース（外部入力Ｉ／Ｆ）２０と、電源スイッチ２１等を具備して成る。上記において、カード型メモリ１は、ロボットを複数人のユーザで共用する際には、人数分用意して、各ユーザが自分専用のカード型メモリ１を使用するものとする。上記ＩＣレコーダには、ＩＣレコーダ機能を有している携帯情報端末（ＰＤＡ）やＩＣレコーダ機能を有している携帯電話機も含まれる。
【００１８】
本実施形態のロボットは、図２（ａ），（ｂ）に示すようにネコ型の癒し系ロボットとして構成されており、ネコ型ロボット本体（以下、単にロボットともいう）１００のネコの左右眼球に相当する箇所にそれぞれカメラ手段６およびカメラ手段７を備え、ネコのお腹の部分にＬＣＤ表示部１１を備え、ネコの後頭部分にプロジェクタ９を備えるとともに、ネコのお尻の部分にネットワークインタフェース１７、外部入力インタフェース２０および電源スイッチ２１を備えている。
【００１９】
図３は本実施形態のロボットのＣＰＵの機能ブロック図である。本実施形態のロボットに用いるＣＰＵ４は、カメラ手段６およびカメラ手段７の少なくとも一方から入力されたユーザの顔画像を予め登録する顔画像登録機能３１と、カメラ手段６およびカメラ手段７の少なくとも一方から入力された顔画像を記憶する顔画像記憶機能３２と、カメラ手段６およびカメラ手段７の少なくとも一方から入力された顔画像と予め登録された顔画像とを比較して、入力された顔画像の感情状態が複数の感情状態（例えば、「通常」、「喜び」、「怒り」、「悲しみ」）の何れに該当するかを判断する顔画像感情状態判断機能３３と、判断された顔画像の感情状態に応じて所定の投射画像の投射を行う画像投射機能３４と、カード型メモリ１に登録された複数の音声日記の何れか１つを再生する音声日記再生機能３５と、ネットワークに接続されたコンピュータ（図示せず）内に登録された画像や音声日記に自動的にアクセスして所望の画像や音声日記を主記憶メモリ３にダウンロードする自動ネットワーク接続機能３６とを具備して成る。
【００２０】
［顔画像登録処理］
次に、本実施形態のロボットにおける顔画像登録処理を説明する。
図４は第１実施形態のロボットにおいて実施する顔画像登録処理プログラムを示すフローチャートであり、この顔画像登録処理プログラムは、電源スイッチ２１のＯＮによって起動する。まず、電源スイッチ２１のＯＮに同期して、ＬＣＤ表示部１１に「ユーザ登録してください」等のユーザ登録メッセージを表示する（ステップ４０１）。次に、上記電源ＯＮによってカメラが撮影可能状態になったときに、「撮影準備ＯＫ！」等の登録準備完了メッセージを表示する（ステップ４０２）。次に、登録すべきユーザが型ロボット１００のカメラ手段６，７の撮影範囲に入るようにＬＣＤ表示部１１の表示画像を見ながら撮影領域を調整し（ステップ４０３）、その後、ユーザの顔画像撮影を行う（ステップ４０４）。
【００２１】
次に、上記ステップ４０４で撮影したユーザの顔画像データに基づきユーザの感情状態が通常か否かの感情状態判定処理を行う（ステップ４０５）。この感情状態判定処理は、公知の顔画像認証技術を用いて、ユーザの顔画像を「通常」、「通常ではない」のどちらかに分類し、「通常ではない」に分類した場合にはさらに「喜び」、「怒り」、「悲しみ」の何れかに分類するものであり、上記特許文献１の公報の［００３８］に記載された顔認証技術（１８種類の感情状態を用いている）に比べて、システムの簡素化およびコストダウンが図られている。ステップ４０５がＹＥＳの場合には、通常（初期値）の顔画像として登録し（ステップ４０６）、ＮＯの場合には、「喜び」、「怒り」、「悲しみ」の中のどの感情状態に該当するかを判断し（ステップ４０７）、「喜び」と判断された場合には「喜び」の顔画像として登録処理を行い（ステップ４０８）、「怒り」と判断された場合には「怒り」の顔画像として登録処理を行い（ステップ４０９）、「悲しみ」と判断された場合には「悲しみ」の顔画像として登録処理を行う（ステップ４１０）。
【００２２】
［画像テーブルの構成］
図５は第１実施形態のロボットにおいて投射画像として用いる画像を集めた画像テーブルを例示する図であり、この画像テーブルはカード型メモリ１の所定の記憶エリアに登録（記憶）するものとする。図５に例示する画像テーブルは、初期値フィールド、喜びフィールド、怒りフィールド、悲しみフィールド等に領域が区分されており、初期値フィールドは初期値となる顔画像（図示例の場合、顔画像Ｘ，顔画像Ｙ，・・）を収容するフィールドであり、喜びフィールドはユーザの感情状態が喜びであると判断された場合の顔画像（図示例の場合、顔画像Ａ，顔画像Ｂ，・・）を収容するフィールドであり、怒りフィールドはユーザの感情状態が怒りであると判断された場合の顔画像（図示例の場合、顔画像Ｃ，顔画像Ｄ，・・）を収容するフィールドであり、悲しみフィールドはユーザの感情状態が悲しみであると判断された場合の顔画像（図示例の場合、顔画像Ｅ，顔画像Ｆ，・・）を収容するフィールドであり、各フィールドには複数の顔画像を登録可能となっている。なお、この画像テーブルを構成するフィールドは上述したフィールドに限定されるものではなく、上述したフィールドとは異なるフィールドに置き換えたり、述したフィールドに他のフィールドを加えたりしてもよい。
【００２３】
本実施形態のロボット１００は、ユーザとの関係で所定位置に置かれるものとする。例えば、図示しない机の上やダイニングテーブルの上や鏡台等の上に置かれ、その場所でユーザの顔画像撮影を行う際には、顔画像の向きを考慮した顔画像データを登録するものとする。また、部屋の照明については、朝、昼、夕方等で室内照明をＯＮ、ＯＦＦした顔画像データを登録しておく。簡略化のため、ロボット１００のカメラ手段６，７とユーザとの位置関係は、一定の距離を保つものとし、その距離に合わせてカメラ手段６，７のフォーカス調整を行っておくものとする。なお、カメラ手段６，７としてはマニュアルフォーカス調整タイプ、オートフォーカス調整タイプの何れも使用することができ、コストダウンの要求があるときにはマニュアルフォーカス調整タイプのカメラ手段を使用するものとする。
【００２４】
［プロジェクタによる投射画像の投射表示処理］
図６は第１実施形態のロボットのプロジェクタによって実施する投射画像の投射表示処理プログラムを示すフローチャートであり、この投射表示処理プログラムはユーザがロボット１００のカメラ手段６，７の撮影エリア内に入ったときに自動的に起動される。まず、ユーザがロボット１００のカメラ手段６，７の撮影エリア内に入ったときに、カメラ手段６，７の撮影によりユーザの顔画像データ入力を行う（ステップ６０１）。次に、入力されたユーザの顔画像と予め登録された複数の感情状態に対応する顔画像とを比較して、ユーザの顔画像がどの感情状態に対応するかを判断する顔画像感情状態判断処理を行う（ステップ６０２、ステップ６０３）。この顔画像感情状態判断処理は、公知の顔画像照合方法（例えば、日経バイト２００５年１０月号Ｐ３８、３９に記載された、顔全体を照合する方法、局所を照合する方法、特徴点を照合する方法）等を用いることができる。この顔画像感情状態判断処理を用いて、ステップ６０３でユーザの顔画像と登録済みの顔画像とを比較した結果、通常状態（初期値）と判断された場合には、ロボット１００の内部または外部に設けた画像データベース（図示せず）からランダムに選択した画像を、プロジェクタ９から所定の表示面（例えばスクリーンや壁または画像が認識できる程度の反射率の紙）に投射する（ステップ６０４）。一方、通常状態ではないと判断された場合（例えばユーザの顔画像が当該ユーザの初期値として登録された顔画像と一致しなかった場合）には、「喜び」の場合は、上記画像データベース内のユーザの感情状態が「喜び」のときに適した画像であるハッピーな画像（例えば旅行の思い出の画像）をプロジェクタ９から所定の表示面に投射し（ステップ６０６）、「怒り」の場合は、上記画像データベース内のユーザの感情状態が「怒り」のときに適した画像である感情を落ち着かせる画像（例えば風景画像）をプロジェクタ９から所定の表示面に投射し（ステップ６０７）、「悲しみ」の場合は、上記画像データベース内のユーザの感情状態が「悲しみ」のときに適した画像であるユーザを楽しくさせる画像（例えばコンテストに優勝したときの画像）をプロジェクタ９から所定の表示面に投射する（ステップ６０８）。
【００２５】
本実施形態のロボットによれば、予め登録された複数の感情状態の顔画像とカメラ手段６，７より入力されたユーザの顔画像とを比較して、当該ユーザの顔画像が対応する感情状態を判断し、判断結果の感情状態が「通常」、「喜び」、「怒り」、「悲しみ」の場合にそれぞれの感情状態に適した投射画像をプロジェクタ９から表示面に投射表示するので、ユーザである人間に対して表示面に投射表示した投射画像によって癒し効果を生じさせて、人間とロボットとのコミュニケーション能力を向上させることができる。したがって、ユーザである人間と対話的にコミュニケーションを行う能力を向上させたロボットを低コストで提供することができる。
【００２６】
［第２実施形態］
本発明の第２実施形態のロボットは、図示を省略するが、第１実施形態のロボットに対して図２（ｂ）に示す電源スイッチ２１を省略して、代わりにユーザがカメラ手段６，７の撮影エリアに入ったか否かを検出するエリアセンサを設け、以下の電源制御および画像投射制御を行うように構成されている。
すなわち、本実施形態のロボットは、ユーザがカメラ手段６，７の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入った」である場合にロボットの電源のＯＮおよび画像投射の開始の少なくとも一方（本実施形態では両方）を行う電源制御および画像投射制御を実施するとともに、ユーザがカメラ手段６，７の撮影エリアに入ったか否かを検出するエリアセンサの検出結果が「撮影エリアに入っていない」である場合にロボットの電源のＯＦＦおよび画像投射の停止の少なくとも一方（本実施形態では両方）を行う電源制御および画像投射制御を実施するように構成されている。
【００２７】
本実施形態のロボットによれば、ユーザによるロボットの電源のＯＮ／ＯＦＦや画像投射の開始／停止のための操作は不必要になり、ロボットの使い勝手が向上する。
【００２８】
［第３実施形態］
図７は本発明の第３実施形態のロボットを含むシステムの全体構成を例示する図である。本実施形態のロボットを含むシステムは、第１実施形態のロボットと同一構成のロボット（ネコ型ロボット本体１００）を含んでおり、例えばユーザの宅内に設置したネコ型ロボット本体１００のネットワークインターフェース（ネットワークＩ／Ｆ、例えばＬＡＮインターフェースや無線ＬＡＮインターフェース）１７には、コンピュータまたはネットワーク対応デジタルテレビ１１０が接続されており、コンピュータまたはネットワーク対応デジタルテレビ１１０のネットワークインターフェース（ネットワークＩ／Ｆ、例えばＬＡＮインターフェースや無線ＬＡＮインターフェース）１２０にはインターネットまたはブロードバンド１３０が接続されている。
【００２９】
図８は本発明の第３実施形態のロボットにおいて投射画像の投射表示と同期して再生する音声日記ファイルの構成を例示する図である。図７に示す音声日記ファイル１４０は、カード型メモリ１に予め登録しておくものであり、西暦年／月／日のデータと、音声日記データと、感情状態（「通常」、「喜び」、「怒り」、「悲しみ」の何れか１つ）とが関連付けられて、複数の音声日記データ（図示例では音声日記データ１〜音声日記データＮ）が収容されている。なお、感情状態は、音声日記データのキーワード検索により、上記感情状態の何れか１つを自動的に付与しておくものとする。
【００３０】
［音声日記の再生方法１；ロボット単体で音声日記を再生する場合］
ロボット１００において、投射画像の投射表示に同期して、カード型メモリ１に予め登録されている音声日記の何れか１つを再生する。具体的には、第１実施形態と同様の投射画像の投射表示を行う際に、ユーザの感情状態が通常であると判断された場合には、カード型メモリ１内の音声日記データをランダムに再生し、ユーザの感情状態が通常ではないと判断された場合には、判断された感情状態に適した音声日記、言い換えればユーザの感情を癒す作用を有する音声日記を再生するように動作する。例えば、ユーザの感情状態が「悲しみ」や「怒り」の場合には、「喜び」に対応する音声日記を再生するように構成する。これにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
【００３１】
［音声日記の再生方法２；ネットワーク経由で音声日記を再生する場合］
まず、事前準備として、ロボット１００のＣＰＵ４の自動ネットワーク接続機能３６を用いて、ネコ型ロボット本体１００のネットワークインタフェース１７を介して接続されたコンピュータまたはネットワーク対応デジタルテレビ１１０に登録された音声日記１５０へ自動的にアクセスして、所望の音声日記をネコ型ロボット本体１００の主記憶メモリ３にダウンロードしておく。なお、音声日記１５０は、コンピュータまたはネットワーク対応デジタルテレビ１１０のネットワークインターフェース１２０に接続されたインターネットまたはブロードバンド１３０内に存在する所望の音声日記１６０をコンピュータまたはネットワーク対応デジタルテレビ１１０内にダウンロードすることにより作成する。以後の動作は、ロボット単体で再生する場合と同様な処理により投射画像に同期して音声日記を再生すればよい。
【００３２】
本実施形態のロボットによれば、ネットワーク上に存在する音声日記データを有効に活用して、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。
【００３３】
［第４実施形態］
図９は本発明の第４実施形態のロボットの概略構成を示すブロック図である。本実施形態においては、ネコ型ロボット本体１００に外部入力インタフェース２０を介してデジタルカメラ等のカメラ手段２２およびＩＣレコーダ等の録音手段２３（あるいは、携帯情報端末やカメラ付き携帯情報端末）を接続する。
【００３４】
本実施形態のロボットによれば、ロボットに接続したカメラ手段２２に登録（記憶）された画像を投射画像としてプロジェクタ９から表示面に投射表示すると同時に、ロボットに接続した録音手段２３に登録（記憶）された音声を音声日記として再生することにより、ユーザである人間に対して投射画像の投射表示およびそれと同期した音声日記の再生によって癒し効果の相乗効果を生じさせて、人間とロボットとのコミュニケーション能力をさらに向上させることができる。さらに、本実施形態のロボットによれば、ネットワーク等を使用しないので、簡略化されたシステム構成で、人間とロボットとのコミュニケーションを図ることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施形態のロボットのハードウエア構成を示すブロック図である。
【図２】（ａ），（ｂ）はそれぞれ、第１実施形態のロボットを正面および裏面から見た状態を示す外観図である。
【図３】本実施形態のロボットのＣＰＵの機能ブロック図である。
【図４】第１実施形態のロボットにおいて実施する顔画像登録処理プログラムを示すフローチャートである。
【図５】第１実施形態のロボットにおいて投射画像として用いる画像を集めた画像テーブルを例示する図である。
【図６】第１実施形態のロボットのプロジェクタによって実施する投射画像の投射表示処理プログラムを示すフローチャートである。
【図７】本発明の第３実施形態のロボットを含むシステムの全体構成を例示する図である。
【図８】本発明の第３実施形態のロボットにおいて投射画像の投射表示と同期して再生する音声日記ファイルの構成を例示する図である。
【図９】本発明の第４実施形態のロボットの概略構成を示すブロック図である。
【符号の説明】
【００３６】
１ カード型メモリ
２ カード型メモリインタフェース（カード型メモリＩ／Ｆ）
３ 主記憶メモリ
４ ＣＰＵ
５ ＥＰＲＯＭ
６，７ カメラ手段（デジタルカメラ；ＣＣＤカメラまたはＣＭＯＳカメラ）
８ カメラインタフェース（カメラＩ／Ｆ）
９ プロジェクタ
１０ プロジェクタインタフェース（プロジェクタＩ／Ｆ）
１１ ＬＣＤ表示部
１２ ＬＣＤインタフェース（ＬＣＤ Ｉ／Ｆ）
１３Ｌ，１３Ｒ タッチセンサ
１４ タッチセンサインタフェース（タッチセンサーＩ／Ｆ）
１５ スピーカ
１６ 音声インタフェース（音声Ｉ／Ｆ）
１７ ネットワークインタフェース（ネットワークＩ／Ｆ）
１８ 二次電池
１９ 電源インタフェース（電源Ｉ／Ｆ）
２０ 外部入力インタフェース（外部入力Ｉ／Ｆ）
２１ 電源スイッチ
２２ カメラ手段
２３ 録音手段
１００ ネコ型ロボット本体（ロボット）
【特許請求の範囲】
【請求項１】
カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示する画像投射手段とを備えるロボットであって、
前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、
予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とを設け、
前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか１つを投射表示することを特徴とするロボット。
【請求項２】
ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のＯＮ／ＯＦＦおよび画像投射の開始／停止の少なくとも一方を行うことを特徴とする請求項１記載のロボット。
【請求項３】
前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生することを特徴とする請求項１または２記載のロボット。
【請求項４】
前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の１つを前記投射画像として前記表示面に投射表示することを特徴とする請求項１〜３記載のロボット。
【請求項５】
前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の１つを前記音声日記として再生することを特徴とする請求項３または４記載のロボット。
【請求項１】
カメラ手段によって撮影した顔画像を入力されて記憶する記憶手段と、該記憶手段に予め記憶しておいた複数の投射画像の何れか１つを表示面に投射表示する画像投射手段とを備えるロボットであって、
前記カメラ手段より撮影されたユーザの複数の感情状態の顔画像を予め登録する顔画像登録手段と、
予め登録された複数の感情状態の顔画像と前記カメラ手段より入力された顔画像とを比較して、当該顔画像が対応する感情状態を判断する顔画像状態判断手段とを設け、
前記顔画像状態判断手段によって判断された感情状態に応じて、前記画像投射手段から前記表示面に複数の投射画像の何れか１つを投射表示することを特徴とするロボット。
【請求項２】
ユーザが前記カメラ手段の撮影エリアに入ったか否かを検出するエリアセンサを設け、該エリアセンサの検出結果に基づいて前記ロボットの電源のＯＮ／ＯＦＦおよび画像投射の開始／停止の少なくとも一方を行うことを特徴とする請求項１記載のロボット。
【請求項３】
前記ロボットは、投射画像の投射表示に同期して、記憶手段に予め記憶しておいた複数の感情状態に対応する音声日記の中の、前記顔画像状態判断手段によって判断された感情状態に対応する音声日記を再生することを特徴とする請求項１または２記載のロボット。
【請求項４】
前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続されたカメラ手段に保存された顔画像を前記顔画像登録手段によって前記記憶手段に記憶することにより、前記カメラ手段に保存された顔画像の１つを前記投射画像として前記表示面に投射表示することを特徴とする請求項１〜３記載のロボット。
【請求項５】
前記ロボットは、外部入力インタフェース手段を有しており、この外部入力インタフェース手段を介して接続された録音手段に録音された音声を前記記憶手段に記憶して前記複数の感情状態に関連付けておくことにより、前記録音手段に録音された音声の１つを前記音声日記として再生することを特徴とする請求項３または４記載のロボット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１５５３５１（Ｐ２００８−１５５３５１Ａ）
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願番号】特願２００６−３５０１７９（Ｐ２００６−３５０１７９）
【出願日】平成１８年１２月２６日（２００６．１２．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願日】平成１８年１２月２６日（２００６．１２．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]