ロボット、音声変更方法及び音声変更プログラム
【課題】ユーザから提示される物体を視覚で認識して言葉を覚えるロボットを提供する。
【解決手段】ロボットはまず、ある対象を想定してそれを示すランダムな音声を発する。ユーザはそれに対して物体を提示し、提示された物体が想定した対象であるならば、ロボットは歓喜の声をあげ、ユーザはその物体が望みの物体であることを知る。次に、ロボットは、同じ言葉を発するが、その言葉がユーザが対象としてふさわしくない場合は物体を提示しない。するとロボットは別の言葉を発し、ユーザが言葉が希望する言葉に近づいたと判断した場合に物体を提示する。これを繰り返すことで、望みの言葉に近づける。そして最終的に２回連続する同じ言葉に対して物体を提示することで言葉を確定させる。
【解決手段】ロボットはまず、ある対象を想定してそれを示すランダムな音声を発する。ユーザはそれに対して物体を提示し、提示された物体が想定した対象であるならば、ロボットは歓喜の声をあげ、ユーザはその物体が望みの物体であることを知る。次に、ロボットは、同じ言葉を発するが、その言葉がユーザが対象としてふさわしくない場合は物体を提示しない。するとロボットは別の言葉を発し、ユーザが言葉が希望する言葉に近づいたと判断した場合に物体を提示する。これを繰り返すことで、望みの言葉に近づける。そして最終的に２回連続する同じ言葉に対して物体を提示することで言葉を確定させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットに関し、特にユーザとのコミュニケーションにより言葉を覚えるロボットに関する。
【背景技術】
【０００２】
近年、アミューズメントの一環として、アミューズメントロボットの開発販売が盛んに行われている。そのようなアミューズメントロボットは、ユーザのストレスを解消し、心を癒すためのコミュニケーションツールとしての一面を有する。
それらのロボットの中には、例えば触覚センサを備えてユーザに撫でてもらったら喜んだり、あるいは、顔認識センサを備えて複数のユーザの中から自機が相対しているユーザが誰なのかを認識して名前を呼んだりするものもある（例えば特許文献１参照）。
【０００３】
また、コミュニケーションツールとしては、画面上にキャラクタを表示して所定のアルゴリズムに基づきユーザとのコミュニケーションがとれるものがある。そういったアプリケーションプログラムには、アプリケーションプログラムの入力インターフェースを通じて、単語と、その単語がどのような分類のもので、どのような場所で、どのように使われるかといった内容をユーザが入力して教え、それ以降からアプリケーションプログラム上で所定の判断基準に基づいてアプリケーションプログラム上のキャラクタが、ユーザが教えた言葉を適切と思われる場面で使用するといったアプリケーションプログラムもある。
【特許文献１】特開２００５−２２０６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザがアミューズメントロボットに求めるものとしては、前述のように、癒しの効果が大きな要素を占めているが、これは主にユーザとロボットとがコミュニケーションをとることにより得られるものである。そのコミュニケーションの一手法として、上記にあげたアプリケーションプログラムのように、ユーザが、一つの言葉と、その意味を教えたりする方法があり、ロボットが当該アプリケーションプログラムの内容を実行して、言葉を憶え、その言葉を使用するといった場面が想定できる。
【０００５】
しかし、本発明においては、上述のようなアプリケーションプログラムのようにユーザが全ての内容を教えるのではなく、ロボットからの要求に対して、ロボットが知らない言葉を、ユーザとのコミュニケーションにより、物体に対応する名前を覚えるロボットを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係るロボットは、映像を撮像する撮像手段と、自機内部で決定する基本信号を生成する基本信号生成手段と、前記基本信号に基づき出力音を定めて発声する発声手段と、前記発声を行った後に、所定時間内において、前記撮像手段によって得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出手段と、前記発声手段に、前記検出手段で前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御手段とを備えることを特徴としている。
【発明の効果】
【０００７】
上述のような構成によって、ロボットは、ユーザが望む言葉になるまで、言葉を繰り返し変えて発声するので、いつかはユーザが望む言葉になる。その時にユーザが物体をロボットに対して提示してやれば、ロボットは、その物体のユーザの望む呼称を認識することができる。
また、前記ロボットは、更に、前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていないことを認識して、前記発声手段に否定を意味する音声を発声させる否定音生成手段とを備え、前記音声制御手段は、前記認識手段における認識がなされた後に、音声の制御を行うこととしてよい。
【０００８】
これにより、ロボットは所望の物体を提示された場合には、不満の声をあげるので、ユーザは、間違った物体を提示していることを認識する。よって、この動作を繰り返すことで、ロボットとユーザとの間で、ロボットが何を所望しており、何の言葉を覚えたいのかをユーザは知ることができる。
前記ロボットは、更に、前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、前記認識手段で、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていることを認識して、前記発声手段に肯定を意味する音声を発声させる肯定音生成手段とを備え、前記音声制御手段は、前記認識手段における認識がなされ、前記肯定音声製手段により、前記発声手段に肯定を意味する音声が発声された後に、音声の制御を行うこととしてよい。
【０００９】
これにより、ロボットは所望の物体を提示された場合には、肯定を意味する音声をあげるので、ロボットとユーザとの間で、ロボットが何を所望しており、何の言葉を覚えたいのかをユーザは知ることができる。
また、ロボットに発生させるための音声を変更する音声変更方法であって、映像を撮像する撮像ステップと、自機内部で決定する基本信号を生成する基本信号生成ステップと、前記基本信号に基づき出力音を定めて発声する発声ステップと、前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含むことを特徴とする。
【００１０】
また、ロボットのコンピュータに、ロボットが発生する音声を変更させるための処理手順を示した音声変更プログラムであって、前記書手順は、映像を撮像する撮像ステップと、自機内部で決定する基本信号を生成する基本信号生成ステップと、前記基本信号に基づき出力音を定めて発声する発声ステップと、前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含むことを特徴とする。
【００１１】
この方法、あるいは、プログラムを実行することで、ロボットは発生する言葉を変えていき、やがて、ユーザの望む音声を発するようになる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態であるロボットについて図面を用いて説明する。
＜構成＞
図１は、ロボットの外観の一例を示した外観図である。
図１にあるように、ロボット１００は少なくとも、物体を認識するためのカメラ１１０と、音声を発するためのスピーカ１２０とを備え、また、ＬＥＤ群１３０を備えていても良い。
【００１３】
カメラ１１０は、ユーザから提示される物体を認識するものであり、ここでは色を認識する機能を有する。
スピーカ１２０は、各種音声を発するための機能を有する。
ＬＥＤ群１３０は、ロボット１００の表情を表示するためのものであり、表示内容を替えて喜怒哀楽を表現する機能を有する。ここでは、目を表示して喜怒哀楽を表現する。具体的には図２に示すように、点灯するＬＥＤを替えることで、喜怒哀楽を表現する。図２に示したのは、その一例であり、図２（ａ）は、喜び、（ｂ）は、怒り、（ｃ）は悲しみを表現したＬＥＤの点灯例を示している。なお、図１に示した外観図にはＬＥＤ群１３０にはカバーをかけたような図を示している。
【００１４】
図３は、ロボットの機能構成を示したブロック図である。
図３に示すように、ロボット１００は、カメラ１１０と、スピーカ１２０と、ＬＥＤ群１３０と、検出部３０１、３０２、３０３と、累積部３１１、３１２、３１３と、ランダム信号生成部３２０、３２１と、ＯＲ回路３３０と、喜び信号生成部３４０と、G-net３５０と、応答音生成部３６０と、ＬＥＤ制御部３７０と、音節生成部３８０とを含んで構成される。
【００１５】
各検出部３０１、３０２、３０３は、カメラ１１０の映像データを受けて、当該映像データに自検出部が検出すべき色の成分があるかどうかを検出する機能を有する。ここでは検出部３０１は、映像成分に赤色が含まれるかどうかを検出する。また、検出部３０２は、映像成分に緑色が含まれるかどうか、検出部３０３は、映像成分に青色が含まれるかどうかを検出する。検出部３０１、３０２、３０３それぞれは、担当する色の成分が含まれていると認識した場合において、認識信号v1、v2、v3を出力する機能も有する。
【００１６】
累積部３１１、３１２、３１３はそれぞれ、ランダム信号生成部３２０から受けたランダム信号ｓ1、ｓ2、ｓ3を蓄積し、ランダム信号ｓ1、ｓ2、ｓ3を受けたタイミングにおいて蓄積されたランダム信号の数の合計値を蓄積信号ｚ1、ｚ2、ｚ3として出力する機能を有する。また、それぞれ対応する検出部３０１、３０２、３０３からの認識信号v1、v2、v3を受けた場合には、蓄積していた信号値をリセットして０にする機能も有する。
【００１７】
ランダム信号生成部３２０は、ランダムなタイミングでランダム信号ｓ1、ｓ2、ｓ3を累積部３１１、３１２、３１３に出力する機能を有する。なお、ランダム信号は一度に、一つだけ出力される。
ランダム信号生成部３２１は、ランダムなタイミングでランダム信号をG-net３５０に出力する機能を有する。但し、ランダム信号生成部３２０とは異なり、ＯＲ回路３３０から供給される信号ｑの値が０以上でないと生成しない。
【００１８】
ＯＲ回路３３０は、累積部３１１、３１２、３１３のいずれかから出力される蓄積信号ｚ1、ｚ2、ｚ3を受けて、当該信号を信号ｑとして、ランダム信号生成部３２１に出力する機能を有する。
喜び信号生成部３４０は、累積部３１１、３１２、３１３のいずれかから出力される蓄積信号ｚ1、ｚ2、ｚ3を受け取って、喜び信号ｐを生成して出力する機能を有する。喜び信号ｐは次の式[数１]にて定義される。
【００１９】
【数１】
【００２０】
ここで、ptは、時刻ｔにおける喜び信号ｐのことで、０以上１以下の値で示される。また、Nは、累積部の数を示しており、ここでは３となる。ｔは、最後に累積部においてリセットが行われたタイミングからの経過時間を示している。a並びにＴauは、パラメータであり、それぞれの初期値は、０．００１と０に設定されているがこれらのパラメータの値はロボットの設計者により自由に設定できる値でロボットの制御によって変化することはない。
【００２１】
G-net３５０は、ニューラルネットワークであり、自己内のセル同士の結合を組み換えて、ロボットが発生する３つの音節を生成するためのデータを生成する機能を有する。一般的に、ニューラルネットワークとは脳神経系をモデルにした情報処理システムのことをいう。
G-net３５０は、図３に示すように、１０個のセルc0 〜c9と３個の出力セルc10 〜c12を含む構成をとっている。このG-net３５０を解説するにあたり、まず、G-net３５０に係る各種のパラメータの初期値について説明し、その後にG-net３５０がニューラルネットワークとして成長する演算式について説明する。
【００２２】
まず、[数２]を用いて各種パラメータについて説明する。
【００２３】
【数２】
【００２４】
Pは、喜び信号ｐに対応するセルc０の指標を示す。RSは、ランダム信号生成部３２１からの信号を受けるランダム信号セルc1、c2、c3の指標の集合を示す。Qは、累積部３１１、３１２、３１３からの蓄積信号を受ける入力セルc4、c5、c6で示される入力セルの集合を示す。Vは、入力セルc7、c8、c9の集合を示す。Eは、出力セルc10、c11、c12の集合を示す。αjiは、i番目の入力セルからj番目の出力セルへの結合力を示す。Cjは、i番目の入力セルの受信信号の集合を示す。NIは、セットＩの要素数を示す。Sjは、j番目の出力セルに対して信号を送信する入力セルを示す。
【００２５】
次に、G-net３５０が、成長していくためのロジックを説明する。ここに[数３]で示す式は各セルを更新するための演算式である。
【００２６】
【数３】
【００２７】
なお、上記[数３]におけるいくつかのパラメータで、以下の[数４]の左辺に示す形式で記述したパラメータについては、本文中においては、以下の[数４]の右辺に示すように記述することとする。
【００２８】
【数４】
【００２９】
まず、ここまでで説明していないパラメータについて説明する。
yi,tは、時刻ｔにおけるi番目の入力セルの値を示す。uj,tは、時刻ｔにおけるｊ番目の出力セルへの入力信号を示す。セルの更新は、上記[数３]に示した公式に従い、jがＰに含まれるかどうかに応じて各セルは更新されることになる。
次にG-net３５０の成長手順について説明しておく。G-net３５０は、以下のの手順を踏むことで成長する。
【００３０】
１）まず、G-net３５０の各セルyi,t（i＝０〜９）のステータスを更新する。更新の方法は上記[数３]に示す公式に基づく。
２）そして、Ｐに含まれるｐについて、時刻ｔ−１におけるypが０であり、かつ、時刻ｔにおけるypが０よりも大きい場合に、全てのＱ及びＶに含まれる０以上の値を有するセルについて、パラメータは次のようになる。ｊは、ＮΩ、即ち、全てのセルの合計数で更新される。Cjは、前回のCjにｊを足した値で更新される。またαjiとαpjとは１に更新される。
【００３１】
３）そして全てのEに含まれる入力セルであってyk,t-1＞０を満たすkについて、j’をNΩ、即ち、全てのセルの合計数で更新される。Skは、Sk又は、j’のうち値の高いほうで更新される。また、αj’jは、yk,t-1で更新し、αkj’を１にする。
次に、制御セルyi,tを昇順に更新し、実行セルyi,tも更新する。
以上１）〜３）に記述した手順を繰り返すことにより、G-net３５０は成長する。なお、成長するとは、自己のセルを変更し、セル間の接続状態を変えていくことをいう。
【００３２】
応答音生成部３６０は、歓喜の声、若しくは不満の声をスピーカに出力させるための音声信号を、入力された信号に基づいて生成して出力する機能を有する。具体的には応答音生成部３６０と同様の判断機構を有し、喜び信号ｐと、認識信号v1、v2、v3のいずれかを受けて発声する音声を決定する。信号ｐが０よりも大きい場合には歓喜の声を示す音声信号をスピーカ１２０に出力する。信号ｐが０でかつ、認識信号v1、v2、v3のいずれか一つでも０より大きい場合には、不満の声を示す音声信号をスピーカ１２０に出力する。この音声信号は予め応答音生成部３６０に登録されている。登録されている音声でないとユーザがその声が歓喜の声か不満の声であるのかが認識できないからである。
【００３３】
ＬＥＤ制御部３７０は、ＬＥＤ群１３０を制御して各種表情を表現するために、点灯するＬＥＤとそうでないＬＥＤを選択して、点灯させる機能を有し、各種表情を表現するためのＬＥＤを予め記憶している。喜びの表情を表現するのか、あるいは怒りや悲しみを表現するのかは、入力された信号に基づく。具体的には応答音生成部３６０と同様の判断機構を有し、信号ｐと、認識信号v1、v2、v3のいずれかを受けて点灯させるＬＥＤを決定する。信号ｐが０よりも大きい場合には歓喜の表情になるようにＬＥＤを図２（ａ）のように点灯させる。信号ｐが０でかつ、認識信号v1、v2、v3のいずれか一つでも０より大きい場合には、怒り、あるいは悲しみの表情を表現するようにＬＥＤを図２（ｂ）や（ｃ）のように点灯させる。
【００３４】
音節生成部３８０は、G-net３５０の出力セルc10、c11、c12からの出力信号h1、h2、h3に基づいて３音節の合成音声を生成して、スピーカ１２０に出力する機能を有する。
＜動作＞
次に、本実施の形態におけるロボットの動作を図４及び図５に示すフローチャートを用いて説明する。そして、その後に図７及び図８に示す説明図を用いて、ロボットが、言葉を覚えるための諸手順を具体例で示す。
【００３５】
図４は、まず、ロボットとユーザとの間で、ロボットが何の言葉を覚えたいのかを、互いに対象を確認するために、ロボットが行う動作を示したフローチャートである。以降、ユーザがロボットの所望する対象を認識するための段階を第１ステージという。
ロボットのランダム信号生成部３２０は、ランダムなタイミングでランダム信号のいずれかを生成し、累積部に出力する。累積部に蓄積された信号は、信号ｚとして出力される。出力された蓄積信号ｚに基づいてOR回路３８０から信号ｑが出力される。信号ｑに基づいてランダム信号生成部３２１から、ランダム信号k1 、k2、k3が出力されたタイミングで、出力された信号ｚに基づいてG-net３５０は、３音節の音声を生成し（ステップＳ４０１）、ロボット１００のスピーカ１２０は、その音声を発声する（ステップＳ４０３）。
【００３６】
ロボット１００が音声を発したのを聞いたユーザは、ロボット１００が何かの対象を望んでいると判断し、何かの物体を、ロボット１００のカメラ１１０の前に提示してやる。
提示された物体の映像を各検出部３０１〜３０３でそれぞれが担当する色成分を検出し（ステップS４０５）、その物体が所望する色の成分を含んでいなかったならば（ステップS４０７のNO）、ロボットは、不満の声をあげ、怒りあるいは悲しみの表示を行う（ステップS４０９）。具体的にいうと、各検出部は、それぞれ所望の成分があった場合に、認識信号ｖを出力する。所望の物体を担当する累積部がその信号を受け取った場合には蓄積していたカウントを０にして、蓄積信号ｚ（＝０）を出力する。この場合、各累積部は、自累積部が信号ｚを出力していた場合には、認識信号ｖを受け取った場合に、カウントを０にするが、出力していない場合で、かつ、認識信号ｖを受け取った場合には、カウントをプラスする。カウントが０になった場合には、喜び信号生成部３４０に所望の物体が提示されたことを示す信号として「０」を意味する信号が出力される。カウントがプラスされた場合には意図する物体が提示されなかったこ とを示す信号としてそのときの累積部に蓄積されるカウンタの値と同値である信号が出力される。出力された信号を受けて応答音生成部は、「０」を意味する蓄積信号ｚがないことを受けて不満の声をあげる。また、同じ信号を受けてLED制御部３７０は、LED群１３０を怒り、又は悲しみの表情で点灯させる。どちらを選択するかはランダムに決まる。なお、ここでは、検出部と、認識信号ｖ、蓄積信号ｚについては一般化して記述した。
【００３７】
そして、不満の声を上げたロボット１００のG-net３５０は、もう一度同じ音声を発声するための音声信号を音節生成部３８０に出力し、スピーカに音声を出力させ（ステップS４１１）、ステップS４０５に戻り、以降の処理を実行する。
一方、所望の物体を検知した場合（ステップS４１１のYES）には、所望の色成分を担当する検出部のカウンタが０にリセットされ、「０」を意味する蓄積信号ｚが出力される。当該信号を受けて、応答音生成部３６０は、喜びの声をあげ、LED制御部３７０は喜びの表情になるようにLED群を点灯させる（ステップS４１３）。
【００３８】
この段階で、ユーザは、発生された音声に対して、ロボット１００が所望した物体を提示できたことを認識する。
次に、ユーザがロボット１００に対して物体の提示の有無により、言葉を変えていく手順を図５のフローチャートを用いて説明する。以降、この言葉を変えていく過程を第２ステージという。
【００３９】
図５は、ユーザがロボットが言葉を覚えたい対象が何であるかを認識した後に、その対象の言葉を正しく覚えさせるためにロボットが行う動作を示したフローチャートである。なお、対象の認識に関しては図４のフローチャートに示した場合と同様なので、詳細は割愛する。
まず、ロボット１００は、前回と同様の音声を発声する。この音声を聞いたユーザは、ロボットが物体を所望していることを認識している。その時点においてユーザが、聞いた音声が物体の呼称として正しくない、若しくは近づいていないと判断した場合には、物体をロボット１００のカメラ１３０の前に提示しない。音声を発声してから所定時間内（例えば３０秒）に物体をカメラで検知できなかった場合に、ロボット１００のG-net３５０はそのニューラルネットワークとしての内部構成を変え、発声した音声とは異なる３音節の音声を生成して、発声する。内部構成の変更は、検出部から前回出力された信号のうち、０になっている信号がなく、検出部からの信号に変化があった場合に、実行される。
【００４０】
こうしてロボット１００は、ユーザから、連続して同じ音声の発声に対して物体の提示がない場合には、発声する音声をどんどん替えていくので最終的には目的の言葉にたどりつく。発声する音声をユーザの望む呼称に近づけるためにロボット１００はG-net３５０を搭載しており、G-net３５０は、ニューラルネットワークで経験により、成長する回路なので、蓄積されたデータに基づいて、言葉を近づけることが可能である。
【００４１】
図５のフローチャートに示した上記動作を具体的な回路動作で示すと次のようになる。
まず、G-net３５０の指示に基づく音声信号により音声を発声する。
発声後、自機内部のタイマ（図示せず）を用いて３０秒をカウントする。この３０秒の間、検出部が所望の物体を検出するかどうかでG-net３５０の振る舞いが変わる。
まず、この発声が前回と同じ発生であった場合で、検出部が所望の色の物体を検出した場合、つまり検出部が信号ｖを出力してきた場合には、その発声が所望の色の呼称であると認識する。検出部が所望の色の物体を検出しなかった場合、つまり検出部が３０秒の間信号を出力してこなかった場合には、その発声が間違っていると判断し、G-net３５０は、自己のセルと各セル間の結合荷重とを更新し、新たな３音節の音声を発声させる。
【００４２】
発声した音声が前回と異なるものである場合には、３０秒の間に検出部で所望の色の物体を検出した場合、つまり検出部が信号を出力してきた場合には、前回の発声よりも、今回の発生が所望の色のユーザの望む発声に近いという経験を蓄積する。そして再度同じ発声を行わせる。逆に３０秒の間に検出部で所望の色の物体を検出しなかった、つまり検出部が信号を出力してこなかった場合には、前回の発声よりも、今回の発生は近づいていない若しくは遠ざかったという経験を蓄積し、G-net３５０は再度自己のセル及びセル間の結びつきを変化させる。そして新たな発声を行わせる。
【００４３】
ロボット１００は、第２ステージにおいて、2回連続で物体を提示されると、自機が発した音声が正しい音声であると認識する。
次に具体例を挙げて、上述した第１ステージ及び第２ステージの事例をユーザとロボット１００との具体的なやり取りを用いて説明する。
図６は、ロボット１００とユーザ間の具体的なやり取りの事例を示した説明図である。また、図６に示す説明図は、図４に示したフローチャートの内容の一部を示す具体例であり、ユーザが、ロボット１００が所望する物体を提示しなかったときの流れを示している。
【００４４】
まず、ロボット１００は、図６（ａ）のように何かの物体を所望する。ここでは青い物体を所望したとする。するとロボットは、図６（ｂ）のように所望した物体を想定したランダムに音節を組み合わせた言葉を発声する。ここでは「は、せ、あ」と発声している。この発声を聞いたユーザが何らかの物体をロボットが所望しているのだと認識し、図６（ｃ）のように、ロボットのカメラの前に、適当な物体を提示してやる。提示された物体を見て、それが所望の対象でない場合に、不満の声をあげる。ここでは「ブー！！」と文句をいい、またそれにあわせてＬＥＤを怒りを示すような表示に変える。そして、ロボットは、図６（ｄ）のように再度、物体を求めて、同じ発声「は、せ、あ」を行う。
【００４５】
次に、ユーザがロボットが求めていた物体を提示できたときの流れについて図７を用いて説明する。
図７は、ロボット１００とユーザ間の具体的なやり取りの事例を示した説明図である。また、図７に示す説明図は、図４に示したフローチャートの内容の一部の具体例であり、ユーザが、ロボットが所望する物体を提示したときの流れを示している。
【００４６】
ロボット１００は、図７（ａ）のように、何かの物体を想定し、図７（ｂ）のように、物体を求めて、ランダムに音節を組み合わせた言葉を発声する。ここでは、青い物体を想定し、それを求める言葉として、「はーせーあ」と発声する。その発声を聞いたユーザは、何らかの物体をロボットが所望しているのだと認識し、図７（ｃ）のように、ロボットの前に、適当な物体を提示してやる。提示された物体が所望のものと一致するのを確認する。すると、ロボットは歓喜の声を、「ワーイ！！」とあげ、また、表情も喜びの表情に変える。この時点でユーザは自分が提示した物体がロボットが所望していた物体であると認識する。こうして、ユーザはロボットの所望する物体を認識する。
【００４７】
次に、ユーザがロボットが所望する物体を認識した後に、その物体の呼び名を教える方法の具体例を示す。
図８は、ロボットとユーザ間の具体的なやり取りの事例を示した説明図である。また、図８に示す説明図は、図５に示したフローチャートの内容の具体例であり、ユーザが、ロボット１００が発声した言葉が対象の呼称として間違っていると判断したときの流れを示している。
【００４８】
ユーザが、正しい物体を提示できた後、図８（ａ）に示すように、ロボットは再び、同じ言葉を発声し、同じ物体を要求する。このとき、ユーザが、その言葉が対象の呼称として正しいと思わなかった場合、所定時間の間、図８（ｂ）に示したように物体を提示しない。所定時間、物体を提示してもらえなかったロボットは、言葉が正しくなかったのだと判断し、G-net３５０の働きにより新たな言葉を生成して発生する。図８（ｃ）を例に取れば、ロボット１００は、最初の発声後３０秒経過して「はせあ」は正しくなかったと判断するので、それを変えて、新たに「ほせあ」と発声している。
【００４９】
また、近づいていると判断した場合でも、ユーザは、その物体を提示する。物体を提示されたら、ロボットは、同じ言葉を発声する。その段階において、ユーザからの物体の提示がなかった場合には、発声した言葉は、前回のものよりもユーザの望む方向に修正されていたものの、まだ、正しいものではないことを認識する。するとロボットは言葉を変えて発声する。
＜補足＞
上記実施の形態に基づいて本発明に係るロボットに説明してきたが、本発明のロボットの実施の形態はこれに限定されるものではない。以下、その変形例について説明していく。
（１）上記実施の形態は、本願の実施形態の一例にしかすぎず、視覚情報を得て、その認識を元に言葉を覚えるロボットであればよい。
（２）上記実施の形態においては、説明を簡易にするためにロボットは色に関する言葉を覚えるものとしたが、ロボットが覚える言葉は色に限定されるものではない。例えば、各累積部が物体の形状、例えば、円形、四角形などに対応していてもよく、その場合には物体の形状に関する言葉を覚える。また、予め言葉を知らなくても映像データを保持しているロボットがその映像で示される物体の言葉を覚えることとしてもよい。
（３）上記実施の形態においては、ロボットがユーザとのやり取りの経験を元に正しいと思われる言葉を導き出すための回路にG-net３５０を用いたが、これは必ずしもG-netである必要はなく、ユーザからの物体の提示により自機が発した言葉がどのように近づいたかを認識し、ユーザの希望する言葉に更に近づけるかを推測するアルゴリズムを有する回路、あるいはコンピュータが実行するプログラムであってもよい。
【００５０】
例えば、日本語の場合においては、５０音表をロボットが記憶しており、ロボットは３音節のうちの１音のみを替え、その音が近づいたとユーザに判断され、物体の提示があったとする。そのときに、その替えた音に関して５０音表上においてそのベクトル方向であっており、次にユーザに提示されない場合には、その音に関しては、そのベクトル方向に沿うように音を選出して、新たな言葉を生成し発音してもよい。
（４）上記実施の形態において、ロボットが発生する音声は、もともと記憶しておいても良いし、音声を生成するための基本となる音をデータとして記憶し、それに基づいて新たに生成することとしてもよい。
（５）上記実施の形態において、ロボットの検出部は、ただ単に、赤色、緑色、青色を検出するとのみ記述したが、この色は、ある程度の範囲をもってよく、例えば、赤色で彩度や明度がどの範囲にあるものを検出するかを指定できても良い。また、各累積部の蓄積した信号の度合いをその時点その時点で発することでいろんな種類の色に対応する言葉を覚えられるようにしてもよい。
（６）上記実施の形態においては、G-netに関しては簡単に記述したが、この内容は、Juan Liu and Andrzej Buller(2005)“Self-development of motor abilities resulting from the growth of a neural network reinforced by pleasure and tensions”で２００５年６月に大阪にて開かれた4th IEEE International Conference on Development and Learningにおいて提示された。当該論文に関してはウェブ上の、http://www.gabri.pl/download/P03.pdf にて掲載されている。G-netの詳細に関してはそちらも参照されたい。
（７）上記実施の形態おいては、３音節の音声を発することとしたが、これは３音節である必要はなく、例えば４音節であってもよい。こうすることでロボットが発生できる言葉の種類が増える。
（８）上記実施の形態においては、ロボットがユーザによって物体を提示されるまで待機する時間を３０秒としたが、これはロボットが発生してから物体を提示するのに、その物体を持ってくるために十分な時間があればよく、例えば１分とかであってもよい。
（９）上記実施の形態におけるロボットの各機能部は、１又は複数のＬＳＩ、ＶＬＳＩによって構成されてもよく、また、１のＬＳＩが複数の機能を有する構成としてもよい。
（１０）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。 また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【００５１】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【００５２】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【００５３】
本発明に係るロボットは、言葉を視覚から覚えるロボットとしてアミューズメントの分野で活用することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明に係るロボットの外観図である。
【図２】本発明に係るロボットのＬＥＤを用いた喜怒哀楽の表現例を示した図である。
【図３】本発明に係るロボットの機能構成を示したブロック図である。
【図４】本発明に係るロボットとユーザ間で、ロボットが想定しているものをユーザが認識するまでの過程を示したフローチャートである。
【図５】本発明に係るロボットにユーザが言葉を教える過程を示したフローチャートである。
【図６】ユーザが、ロボットが所望する物体を正しく提示できなかった場合の具体例を示した図である。
【図７】ユーザが、ロボットが所望する物体を正しく提示できた場合の具体例を示した図である。
【図８】ロボットが言葉を変える流れの具体例を示した図である。
【符号の説明】
【００５５】
１００ ロボット
１１０ カメラ
１２０ スピーカ
１３０ ＬＥＤ群
３０１、３０２、３０３ 検出部
３１１、３１２、３１３ 累積部
３２０、３２１ ランダム信号生成部
３３０ ＯＲ回路
３４０ 喜び信号生成部
３５０ G-net
３６０ 応答音生成部
３７０ ＬＥＤ制御部
３８０ 音節生成部
【技術分野】
【０００１】
本発明は、ロボットに関し、特にユーザとのコミュニケーションにより言葉を覚えるロボットに関する。
【背景技術】
【０００２】
近年、アミューズメントの一環として、アミューズメントロボットの開発販売が盛んに行われている。そのようなアミューズメントロボットは、ユーザのストレスを解消し、心を癒すためのコミュニケーションツールとしての一面を有する。
それらのロボットの中には、例えば触覚センサを備えてユーザに撫でてもらったら喜んだり、あるいは、顔認識センサを備えて複数のユーザの中から自機が相対しているユーザが誰なのかを認識して名前を呼んだりするものもある（例えば特許文献１参照）。
【０００３】
また、コミュニケーションツールとしては、画面上にキャラクタを表示して所定のアルゴリズムに基づきユーザとのコミュニケーションがとれるものがある。そういったアプリケーションプログラムには、アプリケーションプログラムの入力インターフェースを通じて、単語と、その単語がどのような分類のもので、どのような場所で、どのように使われるかといった内容をユーザが入力して教え、それ以降からアプリケーションプログラム上で所定の判断基準に基づいてアプリケーションプログラム上のキャラクタが、ユーザが教えた言葉を適切と思われる場面で使用するといったアプリケーションプログラムもある。
【特許文献１】特開２００５−２２０６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザがアミューズメントロボットに求めるものとしては、前述のように、癒しの効果が大きな要素を占めているが、これは主にユーザとロボットとがコミュニケーションをとることにより得られるものである。そのコミュニケーションの一手法として、上記にあげたアプリケーションプログラムのように、ユーザが、一つの言葉と、その意味を教えたりする方法があり、ロボットが当該アプリケーションプログラムの内容を実行して、言葉を憶え、その言葉を使用するといった場面が想定できる。
【０００５】
しかし、本発明においては、上述のようなアプリケーションプログラムのようにユーザが全ての内容を教えるのではなく、ロボットからの要求に対して、ロボットが知らない言葉を、ユーザとのコミュニケーションにより、物体に対応する名前を覚えるロボットを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係るロボットは、映像を撮像する撮像手段と、自機内部で決定する基本信号を生成する基本信号生成手段と、前記基本信号に基づき出力音を定めて発声する発声手段と、前記発声を行った後に、所定時間内において、前記撮像手段によって得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出手段と、前記発声手段に、前記検出手段で前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御手段とを備えることを特徴としている。
【発明の効果】
【０００７】
上述のような構成によって、ロボットは、ユーザが望む言葉になるまで、言葉を繰り返し変えて発声するので、いつかはユーザが望む言葉になる。その時にユーザが物体をロボットに対して提示してやれば、ロボットは、その物体のユーザの望む呼称を認識することができる。
また、前記ロボットは、更に、前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていないことを認識して、前記発声手段に否定を意味する音声を発声させる否定音生成手段とを備え、前記音声制御手段は、前記認識手段における認識がなされた後に、音声の制御を行うこととしてよい。
【０００８】
これにより、ロボットは所望の物体を提示された場合には、不満の声をあげるので、ユーザは、間違った物体を提示していることを認識する。よって、この動作を繰り返すことで、ロボットとユーザとの間で、ロボットが何を所望しており、何の言葉を覚えたいのかをユーザは知ることができる。
前記ロボットは、更に、前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、前記認識手段で、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていることを認識して、前記発声手段に肯定を意味する音声を発声させる肯定音生成手段とを備え、前記音声制御手段は、前記認識手段における認識がなされ、前記肯定音声製手段により、前記発声手段に肯定を意味する音声が発声された後に、音声の制御を行うこととしてよい。
【０００９】
これにより、ロボットは所望の物体を提示された場合には、肯定を意味する音声をあげるので、ロボットとユーザとの間で、ロボットが何を所望しており、何の言葉を覚えたいのかをユーザは知ることができる。
また、ロボットに発生させるための音声を変更する音声変更方法であって、映像を撮像する撮像ステップと、自機内部で決定する基本信号を生成する基本信号生成ステップと、前記基本信号に基づき出力音を定めて発声する発声ステップと、前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含むことを特徴とする。
【００１０】
また、ロボットのコンピュータに、ロボットが発生する音声を変更させるための処理手順を示した音声変更プログラムであって、前記書手順は、映像を撮像する撮像ステップと、自機内部で決定する基本信号を生成する基本信号生成ステップと、前記基本信号に基づき出力音を定めて発声する発声ステップと、前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含むことを特徴とする。
【００１１】
この方法、あるいは、プログラムを実行することで、ロボットは発生する言葉を変えていき、やがて、ユーザの望む音声を発するようになる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態であるロボットについて図面を用いて説明する。
＜構成＞
図１は、ロボットの外観の一例を示した外観図である。
図１にあるように、ロボット１００は少なくとも、物体を認識するためのカメラ１１０と、音声を発するためのスピーカ１２０とを備え、また、ＬＥＤ群１３０を備えていても良い。
【００１３】
カメラ１１０は、ユーザから提示される物体を認識するものであり、ここでは色を認識する機能を有する。
スピーカ１２０は、各種音声を発するための機能を有する。
ＬＥＤ群１３０は、ロボット１００の表情を表示するためのものであり、表示内容を替えて喜怒哀楽を表現する機能を有する。ここでは、目を表示して喜怒哀楽を表現する。具体的には図２に示すように、点灯するＬＥＤを替えることで、喜怒哀楽を表現する。図２に示したのは、その一例であり、図２（ａ）は、喜び、（ｂ）は、怒り、（ｃ）は悲しみを表現したＬＥＤの点灯例を示している。なお、図１に示した外観図にはＬＥＤ群１３０にはカバーをかけたような図を示している。
【００１４】
図３は、ロボットの機能構成を示したブロック図である。
図３に示すように、ロボット１００は、カメラ１１０と、スピーカ１２０と、ＬＥＤ群１３０と、検出部３０１、３０２、３０３と、累積部３１１、３１２、３１３と、ランダム信号生成部３２０、３２１と、ＯＲ回路３３０と、喜び信号生成部３４０と、G-net３５０と、応答音生成部３６０と、ＬＥＤ制御部３７０と、音節生成部３８０とを含んで構成される。
【００１５】
各検出部３０１、３０２、３０３は、カメラ１１０の映像データを受けて、当該映像データに自検出部が検出すべき色の成分があるかどうかを検出する機能を有する。ここでは検出部３０１は、映像成分に赤色が含まれるかどうかを検出する。また、検出部３０２は、映像成分に緑色が含まれるかどうか、検出部３０３は、映像成分に青色が含まれるかどうかを検出する。検出部３０１、３０２、３０３それぞれは、担当する色の成分が含まれていると認識した場合において、認識信号v1、v2、v3を出力する機能も有する。
【００１６】
累積部３１１、３１２、３１３はそれぞれ、ランダム信号生成部３２０から受けたランダム信号ｓ1、ｓ2、ｓ3を蓄積し、ランダム信号ｓ1、ｓ2、ｓ3を受けたタイミングにおいて蓄積されたランダム信号の数の合計値を蓄積信号ｚ1、ｚ2、ｚ3として出力する機能を有する。また、それぞれ対応する検出部３０１、３０２、３０３からの認識信号v1、v2、v3を受けた場合には、蓄積していた信号値をリセットして０にする機能も有する。
【００１７】
ランダム信号生成部３２０は、ランダムなタイミングでランダム信号ｓ1、ｓ2、ｓ3を累積部３１１、３１２、３１３に出力する機能を有する。なお、ランダム信号は一度に、一つだけ出力される。
ランダム信号生成部３２１は、ランダムなタイミングでランダム信号をG-net３５０に出力する機能を有する。但し、ランダム信号生成部３２０とは異なり、ＯＲ回路３３０から供給される信号ｑの値が０以上でないと生成しない。
【００１８】
ＯＲ回路３３０は、累積部３１１、３１２、３１３のいずれかから出力される蓄積信号ｚ1、ｚ2、ｚ3を受けて、当該信号を信号ｑとして、ランダム信号生成部３２１に出力する機能を有する。
喜び信号生成部３４０は、累積部３１１、３１２、３１３のいずれかから出力される蓄積信号ｚ1、ｚ2、ｚ3を受け取って、喜び信号ｐを生成して出力する機能を有する。喜び信号ｐは次の式[数１]にて定義される。
【００１９】
【数１】
【００２０】
ここで、ptは、時刻ｔにおける喜び信号ｐのことで、０以上１以下の値で示される。また、Nは、累積部の数を示しており、ここでは３となる。ｔは、最後に累積部においてリセットが行われたタイミングからの経過時間を示している。a並びにＴauは、パラメータであり、それぞれの初期値は、０．００１と０に設定されているがこれらのパラメータの値はロボットの設計者により自由に設定できる値でロボットの制御によって変化することはない。
【００２１】
G-net３５０は、ニューラルネットワークであり、自己内のセル同士の結合を組み換えて、ロボットが発生する３つの音節を生成するためのデータを生成する機能を有する。一般的に、ニューラルネットワークとは脳神経系をモデルにした情報処理システムのことをいう。
G-net３５０は、図３に示すように、１０個のセルc0 〜c9と３個の出力セルc10 〜c12を含む構成をとっている。このG-net３５０を解説するにあたり、まず、G-net３５０に係る各種のパラメータの初期値について説明し、その後にG-net３５０がニューラルネットワークとして成長する演算式について説明する。
【００２２】
まず、[数２]を用いて各種パラメータについて説明する。
【００２３】
【数２】
【００２４】
Pは、喜び信号ｐに対応するセルc０の指標を示す。RSは、ランダム信号生成部３２１からの信号を受けるランダム信号セルc1、c2、c3の指標の集合を示す。Qは、累積部３１１、３１２、３１３からの蓄積信号を受ける入力セルc4、c5、c6で示される入力セルの集合を示す。Vは、入力セルc7、c8、c9の集合を示す。Eは、出力セルc10、c11、c12の集合を示す。αjiは、i番目の入力セルからj番目の出力セルへの結合力を示す。Cjは、i番目の入力セルの受信信号の集合を示す。NIは、セットＩの要素数を示す。Sjは、j番目の出力セルに対して信号を送信する入力セルを示す。
【００２５】
次に、G-net３５０が、成長していくためのロジックを説明する。ここに[数３]で示す式は各セルを更新するための演算式である。
【００２６】
【数３】
【００２７】
なお、上記[数３]におけるいくつかのパラメータで、以下の[数４]の左辺に示す形式で記述したパラメータについては、本文中においては、以下の[数４]の右辺に示すように記述することとする。
【００２８】
【数４】
【００２９】
まず、ここまでで説明していないパラメータについて説明する。
yi,tは、時刻ｔにおけるi番目の入力セルの値を示す。uj,tは、時刻ｔにおけるｊ番目の出力セルへの入力信号を示す。セルの更新は、上記[数３]に示した公式に従い、jがＰに含まれるかどうかに応じて各セルは更新されることになる。
次にG-net３５０の成長手順について説明しておく。G-net３５０は、以下のの手順を踏むことで成長する。
【００３０】
１）まず、G-net３５０の各セルyi,t（i＝０〜９）のステータスを更新する。更新の方法は上記[数３]に示す公式に基づく。
２）そして、Ｐに含まれるｐについて、時刻ｔ−１におけるypが０であり、かつ、時刻ｔにおけるypが０よりも大きい場合に、全てのＱ及びＶに含まれる０以上の値を有するセルについて、パラメータは次のようになる。ｊは、ＮΩ、即ち、全てのセルの合計数で更新される。Cjは、前回のCjにｊを足した値で更新される。またαjiとαpjとは１に更新される。
【００３１】
３）そして全てのEに含まれる入力セルであってyk,t-1＞０を満たすkについて、j’をNΩ、即ち、全てのセルの合計数で更新される。Skは、Sk又は、j’のうち値の高いほうで更新される。また、αj’jは、yk,t-1で更新し、αkj’を１にする。
次に、制御セルyi,tを昇順に更新し、実行セルyi,tも更新する。
以上１）〜３）に記述した手順を繰り返すことにより、G-net３５０は成長する。なお、成長するとは、自己のセルを変更し、セル間の接続状態を変えていくことをいう。
【００３２】
応答音生成部３６０は、歓喜の声、若しくは不満の声をスピーカに出力させるための音声信号を、入力された信号に基づいて生成して出力する機能を有する。具体的には応答音生成部３６０と同様の判断機構を有し、喜び信号ｐと、認識信号v1、v2、v3のいずれかを受けて発声する音声を決定する。信号ｐが０よりも大きい場合には歓喜の声を示す音声信号をスピーカ１２０に出力する。信号ｐが０でかつ、認識信号v1、v2、v3のいずれか一つでも０より大きい場合には、不満の声を示す音声信号をスピーカ１２０に出力する。この音声信号は予め応答音生成部３６０に登録されている。登録されている音声でないとユーザがその声が歓喜の声か不満の声であるのかが認識できないからである。
【００３３】
ＬＥＤ制御部３７０は、ＬＥＤ群１３０を制御して各種表情を表現するために、点灯するＬＥＤとそうでないＬＥＤを選択して、点灯させる機能を有し、各種表情を表現するためのＬＥＤを予め記憶している。喜びの表情を表現するのか、あるいは怒りや悲しみを表現するのかは、入力された信号に基づく。具体的には応答音生成部３６０と同様の判断機構を有し、信号ｐと、認識信号v1、v2、v3のいずれかを受けて点灯させるＬＥＤを決定する。信号ｐが０よりも大きい場合には歓喜の表情になるようにＬＥＤを図２（ａ）のように点灯させる。信号ｐが０でかつ、認識信号v1、v2、v3のいずれか一つでも０より大きい場合には、怒り、あるいは悲しみの表情を表現するようにＬＥＤを図２（ｂ）や（ｃ）のように点灯させる。
【００３４】
音節生成部３８０は、G-net３５０の出力セルc10、c11、c12からの出力信号h1、h2、h3に基づいて３音節の合成音声を生成して、スピーカ１２０に出力する機能を有する。
＜動作＞
次に、本実施の形態におけるロボットの動作を図４及び図５に示すフローチャートを用いて説明する。そして、その後に図７及び図８に示す説明図を用いて、ロボットが、言葉を覚えるための諸手順を具体例で示す。
【００３５】
図４は、まず、ロボットとユーザとの間で、ロボットが何の言葉を覚えたいのかを、互いに対象を確認するために、ロボットが行う動作を示したフローチャートである。以降、ユーザがロボットの所望する対象を認識するための段階を第１ステージという。
ロボットのランダム信号生成部３２０は、ランダムなタイミングでランダム信号のいずれかを生成し、累積部に出力する。累積部に蓄積された信号は、信号ｚとして出力される。出力された蓄積信号ｚに基づいてOR回路３８０から信号ｑが出力される。信号ｑに基づいてランダム信号生成部３２１から、ランダム信号k1 、k2、k3が出力されたタイミングで、出力された信号ｚに基づいてG-net３５０は、３音節の音声を生成し（ステップＳ４０１）、ロボット１００のスピーカ１２０は、その音声を発声する（ステップＳ４０３）。
【００３６】
ロボット１００が音声を発したのを聞いたユーザは、ロボット１００が何かの対象を望んでいると判断し、何かの物体を、ロボット１００のカメラ１１０の前に提示してやる。
提示された物体の映像を各検出部３０１〜３０３でそれぞれが担当する色成分を検出し（ステップS４０５）、その物体が所望する色の成分を含んでいなかったならば（ステップS４０７のNO）、ロボットは、不満の声をあげ、怒りあるいは悲しみの表示を行う（ステップS４０９）。具体的にいうと、各検出部は、それぞれ所望の成分があった場合に、認識信号ｖを出力する。所望の物体を担当する累積部がその信号を受け取った場合には蓄積していたカウントを０にして、蓄積信号ｚ（＝０）を出力する。この場合、各累積部は、自累積部が信号ｚを出力していた場合には、認識信号ｖを受け取った場合に、カウントを０にするが、出力していない場合で、かつ、認識信号ｖを受け取った場合には、カウントをプラスする。カウントが０になった場合には、喜び信号生成部３４０に所望の物体が提示されたことを示す信号として「０」を意味する信号が出力される。カウントがプラスされた場合には意図する物体が提示されなかったこ とを示す信号としてそのときの累積部に蓄積されるカウンタの値と同値である信号が出力される。出力された信号を受けて応答音生成部は、「０」を意味する蓄積信号ｚがないことを受けて不満の声をあげる。また、同じ信号を受けてLED制御部３７０は、LED群１３０を怒り、又は悲しみの表情で点灯させる。どちらを選択するかはランダムに決まる。なお、ここでは、検出部と、認識信号ｖ、蓄積信号ｚについては一般化して記述した。
【００３７】
そして、不満の声を上げたロボット１００のG-net３５０は、もう一度同じ音声を発声するための音声信号を音節生成部３８０に出力し、スピーカに音声を出力させ（ステップS４１１）、ステップS４０５に戻り、以降の処理を実行する。
一方、所望の物体を検知した場合（ステップS４１１のYES）には、所望の色成分を担当する検出部のカウンタが０にリセットされ、「０」を意味する蓄積信号ｚが出力される。当該信号を受けて、応答音生成部３６０は、喜びの声をあげ、LED制御部３７０は喜びの表情になるようにLED群を点灯させる（ステップS４１３）。
【００３８】
この段階で、ユーザは、発生された音声に対して、ロボット１００が所望した物体を提示できたことを認識する。
次に、ユーザがロボット１００に対して物体の提示の有無により、言葉を変えていく手順を図５のフローチャートを用いて説明する。以降、この言葉を変えていく過程を第２ステージという。
【００３９】
図５は、ユーザがロボットが言葉を覚えたい対象が何であるかを認識した後に、その対象の言葉を正しく覚えさせるためにロボットが行う動作を示したフローチャートである。なお、対象の認識に関しては図４のフローチャートに示した場合と同様なので、詳細は割愛する。
まず、ロボット１００は、前回と同様の音声を発声する。この音声を聞いたユーザは、ロボットが物体を所望していることを認識している。その時点においてユーザが、聞いた音声が物体の呼称として正しくない、若しくは近づいていないと判断した場合には、物体をロボット１００のカメラ１３０の前に提示しない。音声を発声してから所定時間内（例えば３０秒）に物体をカメラで検知できなかった場合に、ロボット１００のG-net３５０はそのニューラルネットワークとしての内部構成を変え、発声した音声とは異なる３音節の音声を生成して、発声する。内部構成の変更は、検出部から前回出力された信号のうち、０になっている信号がなく、検出部からの信号に変化があった場合に、実行される。
【００４０】
こうしてロボット１００は、ユーザから、連続して同じ音声の発声に対して物体の提示がない場合には、発声する音声をどんどん替えていくので最終的には目的の言葉にたどりつく。発声する音声をユーザの望む呼称に近づけるためにロボット１００はG-net３５０を搭載しており、G-net３５０は、ニューラルネットワークで経験により、成長する回路なので、蓄積されたデータに基づいて、言葉を近づけることが可能である。
【００４１】
図５のフローチャートに示した上記動作を具体的な回路動作で示すと次のようになる。
まず、G-net３５０の指示に基づく音声信号により音声を発声する。
発声後、自機内部のタイマ（図示せず）を用いて３０秒をカウントする。この３０秒の間、検出部が所望の物体を検出するかどうかでG-net３５０の振る舞いが変わる。
まず、この発声が前回と同じ発生であった場合で、検出部が所望の色の物体を検出した場合、つまり検出部が信号ｖを出力してきた場合には、その発声が所望の色の呼称であると認識する。検出部が所望の色の物体を検出しなかった場合、つまり検出部が３０秒の間信号を出力してこなかった場合には、その発声が間違っていると判断し、G-net３５０は、自己のセルと各セル間の結合荷重とを更新し、新たな３音節の音声を発声させる。
【００４２】
発声した音声が前回と異なるものである場合には、３０秒の間に検出部で所望の色の物体を検出した場合、つまり検出部が信号を出力してきた場合には、前回の発声よりも、今回の発生が所望の色のユーザの望む発声に近いという経験を蓄積する。そして再度同じ発声を行わせる。逆に３０秒の間に検出部で所望の色の物体を検出しなかった、つまり検出部が信号を出力してこなかった場合には、前回の発声よりも、今回の発生は近づいていない若しくは遠ざかったという経験を蓄積し、G-net３５０は再度自己のセル及びセル間の結びつきを変化させる。そして新たな発声を行わせる。
【００４３】
ロボット１００は、第２ステージにおいて、2回連続で物体を提示されると、自機が発した音声が正しい音声であると認識する。
次に具体例を挙げて、上述した第１ステージ及び第２ステージの事例をユーザとロボット１００との具体的なやり取りを用いて説明する。
図６は、ロボット１００とユーザ間の具体的なやり取りの事例を示した説明図である。また、図６に示す説明図は、図４に示したフローチャートの内容の一部を示す具体例であり、ユーザが、ロボット１００が所望する物体を提示しなかったときの流れを示している。
【００４４】
まず、ロボット１００は、図６（ａ）のように何かの物体を所望する。ここでは青い物体を所望したとする。するとロボットは、図６（ｂ）のように所望した物体を想定したランダムに音節を組み合わせた言葉を発声する。ここでは「は、せ、あ」と発声している。この発声を聞いたユーザが何らかの物体をロボットが所望しているのだと認識し、図６（ｃ）のように、ロボットのカメラの前に、適当な物体を提示してやる。提示された物体を見て、それが所望の対象でない場合に、不満の声をあげる。ここでは「ブー！！」と文句をいい、またそれにあわせてＬＥＤを怒りを示すような表示に変える。そして、ロボットは、図６（ｄ）のように再度、物体を求めて、同じ発声「は、せ、あ」を行う。
【００４５】
次に、ユーザがロボットが求めていた物体を提示できたときの流れについて図７を用いて説明する。
図７は、ロボット１００とユーザ間の具体的なやり取りの事例を示した説明図である。また、図７に示す説明図は、図４に示したフローチャートの内容の一部の具体例であり、ユーザが、ロボットが所望する物体を提示したときの流れを示している。
【００４６】
ロボット１００は、図７（ａ）のように、何かの物体を想定し、図７（ｂ）のように、物体を求めて、ランダムに音節を組み合わせた言葉を発声する。ここでは、青い物体を想定し、それを求める言葉として、「はーせーあ」と発声する。その発声を聞いたユーザは、何らかの物体をロボットが所望しているのだと認識し、図７（ｃ）のように、ロボットの前に、適当な物体を提示してやる。提示された物体が所望のものと一致するのを確認する。すると、ロボットは歓喜の声を、「ワーイ！！」とあげ、また、表情も喜びの表情に変える。この時点でユーザは自分が提示した物体がロボットが所望していた物体であると認識する。こうして、ユーザはロボットの所望する物体を認識する。
【００４７】
次に、ユーザがロボットが所望する物体を認識した後に、その物体の呼び名を教える方法の具体例を示す。
図８は、ロボットとユーザ間の具体的なやり取りの事例を示した説明図である。また、図８に示す説明図は、図５に示したフローチャートの内容の具体例であり、ユーザが、ロボット１００が発声した言葉が対象の呼称として間違っていると判断したときの流れを示している。
【００４８】
ユーザが、正しい物体を提示できた後、図８（ａ）に示すように、ロボットは再び、同じ言葉を発声し、同じ物体を要求する。このとき、ユーザが、その言葉が対象の呼称として正しいと思わなかった場合、所定時間の間、図８（ｂ）に示したように物体を提示しない。所定時間、物体を提示してもらえなかったロボットは、言葉が正しくなかったのだと判断し、G-net３５０の働きにより新たな言葉を生成して発生する。図８（ｃ）を例に取れば、ロボット１００は、最初の発声後３０秒経過して「はせあ」は正しくなかったと判断するので、それを変えて、新たに「ほせあ」と発声している。
【００４９】
また、近づいていると判断した場合でも、ユーザは、その物体を提示する。物体を提示されたら、ロボットは、同じ言葉を発声する。その段階において、ユーザからの物体の提示がなかった場合には、発声した言葉は、前回のものよりもユーザの望む方向に修正されていたものの、まだ、正しいものではないことを認識する。するとロボットは言葉を変えて発声する。
＜補足＞
上記実施の形態に基づいて本発明に係るロボットに説明してきたが、本発明のロボットの実施の形態はこれに限定されるものではない。以下、その変形例について説明していく。
（１）上記実施の形態は、本願の実施形態の一例にしかすぎず、視覚情報を得て、その認識を元に言葉を覚えるロボットであればよい。
（２）上記実施の形態においては、説明を簡易にするためにロボットは色に関する言葉を覚えるものとしたが、ロボットが覚える言葉は色に限定されるものではない。例えば、各累積部が物体の形状、例えば、円形、四角形などに対応していてもよく、その場合には物体の形状に関する言葉を覚える。また、予め言葉を知らなくても映像データを保持しているロボットがその映像で示される物体の言葉を覚えることとしてもよい。
（３）上記実施の形態においては、ロボットがユーザとのやり取りの経験を元に正しいと思われる言葉を導き出すための回路にG-net３５０を用いたが、これは必ずしもG-netである必要はなく、ユーザからの物体の提示により自機が発した言葉がどのように近づいたかを認識し、ユーザの希望する言葉に更に近づけるかを推測するアルゴリズムを有する回路、あるいはコンピュータが実行するプログラムであってもよい。
【００５０】
例えば、日本語の場合においては、５０音表をロボットが記憶しており、ロボットは３音節のうちの１音のみを替え、その音が近づいたとユーザに判断され、物体の提示があったとする。そのときに、その替えた音に関して５０音表上においてそのベクトル方向であっており、次にユーザに提示されない場合には、その音に関しては、そのベクトル方向に沿うように音を選出して、新たな言葉を生成し発音してもよい。
（４）上記実施の形態において、ロボットが発生する音声は、もともと記憶しておいても良いし、音声を生成するための基本となる音をデータとして記憶し、それに基づいて新たに生成することとしてもよい。
（５）上記実施の形態において、ロボットの検出部は、ただ単に、赤色、緑色、青色を検出するとのみ記述したが、この色は、ある程度の範囲をもってよく、例えば、赤色で彩度や明度がどの範囲にあるものを検出するかを指定できても良い。また、各累積部の蓄積した信号の度合いをその時点その時点で発することでいろんな種類の色に対応する言葉を覚えられるようにしてもよい。
（６）上記実施の形態においては、G-netに関しては簡単に記述したが、この内容は、Juan Liu and Andrzej Buller(2005)“Self-development of motor abilities resulting from the growth of a neural network reinforced by pleasure and tensions”で２００５年６月に大阪にて開かれた4th IEEE International Conference on Development and Learningにおいて提示された。当該論文に関してはウェブ上の、http://www.gabri.pl/download/P03.pdf にて掲載されている。G-netの詳細に関してはそちらも参照されたい。
（７）上記実施の形態おいては、３音節の音声を発することとしたが、これは３音節である必要はなく、例えば４音節であってもよい。こうすることでロボットが発生できる言葉の種類が増える。
（８）上記実施の形態においては、ロボットがユーザによって物体を提示されるまで待機する時間を３０秒としたが、これはロボットが発生してから物体を提示するのに、その物体を持ってくるために十分な時間があればよく、例えば１分とかであってもよい。
（９）上記実施の形態におけるロボットの各機能部は、１又は複数のＬＳＩ、ＶＬＳＩによって構成されてもよく、また、１のＬＳＩが複数の機能を有する構成としてもよい。
（１０）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。 また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【００５１】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。
【００５２】
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【００５３】
本発明に係るロボットは、言葉を視覚から覚えるロボットとしてアミューズメントの分野で活用することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明に係るロボットの外観図である。
【図２】本発明に係るロボットのＬＥＤを用いた喜怒哀楽の表現例を示した図である。
【図３】本発明に係るロボットの機能構成を示したブロック図である。
【図４】本発明に係るロボットとユーザ間で、ロボットが想定しているものをユーザが認識するまでの過程を示したフローチャートである。
【図５】本発明に係るロボットにユーザが言葉を教える過程を示したフローチャートである。
【図６】ユーザが、ロボットが所望する物体を正しく提示できなかった場合の具体例を示した図である。
【図７】ユーザが、ロボットが所望する物体を正しく提示できた場合の具体例を示した図である。
【図８】ロボットが言葉を変える流れの具体例を示した図である。
【符号の説明】
【００５５】
１００ ロボット
１１０ カメラ
１２０ スピーカ
１３０ ＬＥＤ群
３０１、３０２、３０３ 検出部
３１１、３１２、３１３ 累積部
３２０、３２１ ランダム信号生成部
３３０ ＯＲ回路
３４０ 喜び信号生成部
３５０ G-net
３６０ 応答音生成部
３７０ ＬＥＤ制御部
３８０ 音節生成部
【特許請求の範囲】
【請求項１】
映像を撮像する撮像手段と、
自機内部で決定する基本信号を生成する基本信号生成手段と、
前記基本信号に基づき出力音を定めて発声する発声手段と、
前記発声を行った後に、所定時間内において、前記撮像手段によって得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出手段と、
前記発声手段に、前記検出手段で前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御手段とを備える
ことを特徴とするロボット。
【請求項２】
前記ロボットは、更に、
前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、
前記認識手段で、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていないことを認識して、前記発声手段に否定を意味する音声を発声させる否定音生成手段とを備え、
前記音声制御手段は、前記認識手段における認識がなされた後に、音声の制御を行う
ことを特徴とする請求項１記載のロボット。
【請求項３】
前記ロボットは、更に、
前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、
前記認識手段で、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていることを認識して、前記発声手段に肯定を意味する音声を発声させる肯定音生成手段とを備え、
前記音声制御手段は、前記認識手段における認識がなされ、前記肯定音声製手段により、前記発声手段に肯定を意味する音声が発声された後に、音声の制御を行う
ことを特徴とする請求項１記載のロボット。
【請求項４】
ロボットに発生させるための音声を変更する音声変更方法であって、
映像を撮像する撮像ステップと、
自機内部で決定する基本信号を生成する基本信号生成ステップと、
前記基本信号に基づき出力音を定めて発声する発声ステップと、
前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、
前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含む
ことを特徴とする音声変更方法。
【請求項５】
ロボットのコンピュータに、ロボットが発生する音声を変更させるための処理手順を示した音声変更プログラムであって、前記書手順は、
映像を撮像する撮像ステップと、
自機内部で決定する基本信号を生成する基本信号生成ステップと、
前記基本信号に基づき出力音を定めて発声する発声ステップと、
前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、
前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含む
ことを特徴とする音声変更プログラム。
【請求項１】
映像を撮像する撮像手段と、
自機内部で決定する基本信号を生成する基本信号生成手段と、
前記基本信号に基づき出力音を定めて発声する発声手段と、
前記発声を行った後に、所定時間内において、前記撮像手段によって得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出手段と、
前記発声手段に、前記検出手段で前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御手段とを備える
ことを特徴とするロボット。
【請求項２】
前記ロボットは、更に、
前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、
前記認識手段で、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていないことを認識して、前記発声手段に否定を意味する音声を発声させる否定音生成手段とを備え、
前記音声制御手段は、前記認識手段における認識がなされた後に、音声の制御を行う
ことを特徴とする請求項１記載のロボット。
【請求項３】
前記ロボットは、更に、
前記撮像手段で撮像される映像成分に前記所望映像成分が含まれることを認識する認識手段と、
前記認識手段で、所定時間内において前記撮像手段で撮像される映像成分に前記所望映像成分が含まれていることを認識して、前記発声手段に肯定を意味する音声を発声させる肯定音生成手段とを備え、
前記音声制御手段は、前記認識手段における認識がなされ、前記肯定音声製手段により、前記発声手段に肯定を意味する音声が発声された後に、音声の制御を行う
ことを特徴とする請求項１記載のロボット。
【請求項４】
ロボットに発生させるための音声を変更する音声変更方法であって、
映像を撮像する撮像ステップと、
自機内部で決定する基本信号を生成する基本信号生成ステップと、
前記基本信号に基づき出力音を定めて発声する発声ステップと、
前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、
前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含む
ことを特徴とする音声変更方法。
【請求項５】
ロボットのコンピュータに、ロボットが発生する音声を変更させるための処理手順を示した音声変更プログラムであって、前記書手順は、
映像を撮像する撮像ステップと、
自機内部で決定する基本信号を生成する基本信号生成ステップと、
前記基本信号に基づき出力音を定めて発声する発声ステップと、
前記発声を行った後に、所定時間内において、前記撮像ステップで得られた所定の映像成分に、前記基本信号により特定される所定範囲の所望映像成分が含まれるかどうかを検出する検出ステップと、
前記発声ステップにおいて、前記検出ステップで前記所望映像成分がないと検出された場合に、前記出力音を換えて、新たな出力音を発声させる音声制御ステップとを含む
ことを特徴とする音声変更プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２６７７６０（Ｐ２００７−２６７７６０Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９３４６４（Ｐ２００６−９３４６４）
【出願日】平成１８年３月３０日（２００６．３．３０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「人間情報コミュニケーションの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３０日（２００６．３．３０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「人間情報コミュニケーションの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]