説明

コミュニケーションロボット及びその制御方法

【課題】対象者に応じて適切な発話を行うことができるコミュニケーションロボットを提供する。
【解決手段】対象者と会話によってコミュニケーションを図るコミュニケーションロボットであって、対象者の年齢及び反応に応じて発話信号の音量及び/又は周波数を制御する。コミュニケーションロボットは、対象者の年齢を判定する年齢判定部と、年齢判定部によって判定された前記対象者の年齢を入力する年齢入力部と、対象者の反応を判定する反応判定部と、反応判定部によって判定された前記対象者の反応を入力する反応入力部と、年齢入力部に入力された前記対象者の年齢及び反応入力部に入力された対象者の反応に応じて発話信号の音量及び/又は周波数を制御する発話制御部と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会話によって対象者とコミュニケーションを図るコミュニケーションロボット及びその制御方法に関する。
【背景技術】
【0002】
近年、人間と共生するロボットとして、対象者と会話によってコミュニケーションを図るコミュニケーションロボットが開発され、注目を集めている。
【0003】
特許文献1には、対象者の年齢層に関する情報を含む外部情報を取得し、取得した外部情報に基づいてロボットの発話を制御することが開示されている。
【0004】
特許文献2には、対象者から離れた場所にある電気機器が発する報知音を検知して、対象者に対して検知した報知音に対応した情報を発話する報知音変換装置が開示されている。また、特許文献2には、報知音を知らせる対象者が高齢者である場合には、高齢者にとって聞き取りやすい周波数帯や音量で発話することが開示されている。
【特許文献1】特開2005−313308号公報
【特許文献2】特開2004−020817号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載されたロボットの制御方法では、年齢や個人差によって異なる聴力を有する不特定の対象者の聴力に応じて発話制御を行うことができない。また、特許文献2に記載された報知変換装置では、高齢者に対して一律に高齢者向けの発話制御を実行する。そのため、高齢者であっても聴力が衰えていない対象者にあっては、大きな音量でロボットが発話するため、対象者に不快な思いを与えてしまうおそれがある。本発明は、このようなコミュニケーションロボットにおいて、対象者に応じて発話制御を行うことで、適切な発話を行うことができるコミュニケーションロボットを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様によるコミュニケーションロボットは、対象者と会話によってコミュニケーションを図るコミュニケーションロボットであって、前記対象者の年齢及び反応に応じて発話信号の音量及び/又は周波数を制御する。対象者の年齢及び反応に応じて発話信号を制御することで、年齢や個人差によって異なる聴力を有する不特定の対象者と会話する場合であっても、それぞれの対象者に応じた音量及び音域で発話することができる。
【0007】
本発明の第2の態様によるコミュニケーションロボットは、前記対象者の年齢を判定する年齢判定部と、前記対象者の反応を判定する反応判定部と、前記年齢判定部によって判定された前記対象者の年齢及び前記反応判定部によって判定された前記対象者の反応に応じて前記発話信号の音量及び/又は周波数を制御する発話制御部と、を有する。年齢判定部によって対象者の年齢を判定すると共に、反応判定部によって対象者の反応を判定することにより、年齢や個人差によって異なる聴力を有する不特定の対象者と会話する場合であっても、それぞれの対象者に応じた音量及び音域で発話することができる。
【0008】
本発明の第3の態様によるコミュニケーションロボットは、前記年齢判定部及び前記反応判定部は、マイク及び/又はカメラによって取得された前記対象者の音声情報及び/又は画像情報に基づいて前記対象者の年齢及び反応を判定する。マイク及びカメラのいずれか一方によって取得された音声情報及び/又は画像情報を解析することによって、対象者の年齢や反応を検知することができる。
【0009】
本発明の第4の態様によるコミュニケーションロボットは、前記年齢判定部が前記対象者が高齢者であると判定した場合及び/又は前記反応判定部が前記対象者が前記発話信号を聞き取れていないと判定した場合、前記発話制御部は、前記発話信号の音量を通常の音量より上げる。発話信号の音量を上げることで、発話信号が聞き取れなかった対象者や高齢の対象者が聞き取りやすい音量で発話することができる。
【0010】
本発明の第5の態様によるコミュニケーションロボットは、前記年齢判定部が前記対象者が高齢者であると判定した場合及び/又は前記反応判定部が前記対象者が前記発話信号を聞き取れていないと判定した場合、前記発話制御部は、前記発話信号の周波数を通常の発話信号の周波数より下げる。発話信号の周波数を下げることで、発話信号が聞き取れなかった対象者や高齢の対象者が聞き取りやすい低音域の音声で発話することができる。
【0011】
本発明の第6の態様によるコミュニケーションロボットは、前記年齢判定部が前記対象者が高齢者であると判定した場合及び/又は前記反応判定部が前記対象者が前記発話信号を聞き取れていないと判定した場合、前記発話信号のうち高音域の音素の音量を上げる。聞き取りにくい発話信号の高音域の音素の音量を上げることで、発話信号が聞き取れなかった対象者や高齢の対象者が聞き取りやすい音量で発話することができる。
【0012】
本発明の第7の態様によるコミュニケーションロボットの制御方法は、対象者と会話によってコミュニケーションを図るコミュニケーションロボットの制御方法であって、前記対象者の年齢及び反応に応じて、発話信号の音量及び/又は周波数を制御する。対象者の年齢及び反応に応じて発話信号を制御することで、年齢や個人差によって異なる聴力を有する不特定の対象者と会話する場合であっても、それぞれの対象者に応じた音量及び音域で発話することができる。
【発明の効果】
【0013】
本発明に係るコミュニケーションロボット及びその制御方法によれば、対象者に応じて発話制御を行うことができる。
【発明を実施するための最良の形態】
【0014】
以下、添付した図面を参照して本発明の実施の形態に係るコミュニケーションロボット及びその制御方法について説明する。
【0015】
図1は、本発明の実施形態に係るコミュニケーションロボット10の全体構成を示す図である。このコミュニケーションロボット10は、対象者30と会話する機能を備えている。コミュニケーションロボット10は、スピーカ11、制御部12、カメラ13、及びマイク14を備えている。スピーカ11は、制御部12によって音量や音域が制御される発話信号を対象者30に対して出力するよう構成されている。スピーカ11は、例えば、コミュニケーションロボット10の口周辺に設置されている。制御部12は、スピーカ11から出力される発話信号の音量及び周波数を制御することにより、コミュニケーションロボット10の発話の音量や音域を調整する。
【0016】
カメラ13は、コミュニケーションロボット10の周囲の映像を撮像することにより、コミュニケーションロボットの外部環境を画像情報として取得する。制御部12は、カメラ13によって撮像された対象者30の表情や仕草などに基づいて、対象者30の表情や感情を認識することができる。カメラ13は、例えばCCD(Charge Coupled Device)カメラによって構成することができる。マイク14は、コミュニケーションロボット10の外部環境を音声情報として取得する。制御部12は、マイク14によって取得された音声情報を解析することにより、対象者30の発する声や、その会話の内容を認識することができる。マイク14は、例えばコミュニケーションロボット10の両側の耳に設置されている。
【0017】
図2は、本発明の実施形態に係るコミュニケーションロボット10の制御部12の構成を示すブロック図である。制御部12は、年齢判定部15、年齢入力部16、反応判定部17、反応入力部18及び発話制御部19を備えている。
【0018】
年齢判定部15には、カメラ13によって撮像された画像情報が入力される。年齢判定部15は、カメラ13から入力された画像情報を解析することにより対象者30の年齢を判定する。例えば、入力された画像情報から特徴点を抽出することで年齢を推定することができる。また、年齢判定部15には、マイク14によって取得された音声情報が入力される。年齢判定部15は、マイク14によって取得された音声情報を解析することにより対象者の年齢を判定する。例えば、取得された音声信号の特徴点を抽出し、抽出された特徴点を解析することにより対象者の年齢を判定することができる。
【0019】
なお、本実施形態では、画像情報及び音声情報の両方の情報に基づいて対象者30の年齢を判定するように構成されているが、本発明はこれに限定されるものではない。例えば、対象者30の年齢は、画像情報又は音声情報のいずれか一方のみに基づいて判定することように構成することもできる。また、年齢判定部15によって判定される年齢は、10歳、41歳、75歳・・・といった具体的な年齢でもよく、10代、40代、70代といった年齢層であってもよい。
【0020】
年齢入力部16には、このように年齢判定部15によって判定された対象者30の年齢が入力される。年齢入力部16に入力された対象者30の年齢は、発話制御部19に出力される。
【0021】
反応判定部17には、カメラ13によって撮像された画像情報が入力される。反応判定部17は、カメラ13から入力された画像情報を解析することにより対象者30の反応を判定する。また、反応判定部17には、マイク14によって取得された音声情報が入力される。反応判定部17は、マイク14によって取得された音声情報を解析することにより対象者30の反応を判定する。
【0022】
ここで、対象者30の反応とは、コミュニケーションロボット10が発話した直後の対象者30の表情や発した言葉である。具体的には、対象者30の反応は、コミュニケーションロボット10が発話した発話信号が聞き取れない場合の対象者30の困っている表情や、「聞こえない」などの対象者30からコミュニケーションロボット10に対して発せられた言葉である。また、他の対象者30の反応は、逆に発話信号の音量が大きすぎる場合の対象者30の不快な表情や、「うるさすぎる」などの対象者30からコミュニケーションロボット10に対して発せられた言葉である。反応判定部17は、このような対象者30の表情や言葉を検知することで、対象者30が直前の発話信号を聞き取れたか否か、また、対象者30が直前の発話信号の音量を大きすぎると感じているか否かを判定する。
【0023】
なお、本実施形態では、画像情報及び音声情報の両方の情報に基づいて対象者30の反応を判定するように構成されているが、本発明はこれに限定されるものではない。例えば、画像情報又は音声情報のいずれか一方のみを判定することにより対象者30の反応を判定するようにしてもよい。
【0024】
発話制御部19には、年齢入力部16を介して対象者30の年齢が入力される。同様に、発話制御部19には、反応入力部18を介して対象者30の反応が入力される。具体的には、反応入力部18から、対象者30が直前の発話信号を聞き取れたか否か、また、対象者30が直前の発話信号の音量を大きすぎると感じているか否か、といった情報が入力される。発話制御部19は、年齢入力部16から入力された対象者30の年齢及び反応入力部18から入力された対象者30の反応に基づいて発話信号の音量や音域を制御する。発話制御部19は、コンテンツ20の中から選択された出力情報を抽出する。
【0025】
発話制御部19は、入力された対象者30の年齢や反応に応じて、選択されたコンテンツ20に対応する発話信号の音量や周波数を調整する。発話制御部19は、ミキサ21、アンプ(図示せず)、及びイコライザ(図示せず)等の発話調整装置に接続されている。ミキサ21は、発話信号の周波数を変換する。アンプは、発話信号の音量を調整する。イコライザは、発話信号のうち特定の音域の音素の音量を調整する。発話制御部19は、ミキサ21、アンプ、及びイコライザを制御することにより、対象者30の年齢や反応に応じた発話信号を生成しスピーカ11から出力する。
【0026】
なお、上記の説明では、ミキサ21、アンプ及びイコライザを用いて発話信号を調整することとしているが、発話信号の音量や周波数の調整は、例えば音声合成装置を用いることによっても実施することができる。発話合成装置は、フロントエンドとバックエンドを備えて構成される。フロントエンドでは、コミュニケーションロボット10が発話する内容を発音記号に変換する。バックエンドでは、フロントエンドによって生成された発話記号に基づいてコミュニケーションロボット10に発話させる際に、韻律、強調する単語や音素や対象者にとって自然に発話されるように調整を行う。判定された対象者の年齢を発話合成装置のバックエンドの調整パラメータとして利用することで、容易に対象者の年齢に応じた発話制御を行うことができる。
【0027】
次に、このように構成されたコミュニケーションロボット10のフローチャートについて説明する。図3は、本発明の実施形態に係るコミュニケーションロボット10のフローチャートである。はじめに、対象者30とコミュニケーションロボット10との会話をする際には、年齢判定部15によって判定された対象者30の年齢が発話制御部19に入力される(S1)。発話制御部19は、年齢入力部16から入力された年齢に基づいて、対象者30が高齢者であるか否かを判定する(S2)。具体的には、入力された年齢がしきい値の年齢以上であれば、高齢者であると判断する。また、入力された年齢がしきい値の年齢よりも低ければ高齢者ではないと判断する。
【0028】
ステップS2において、対象者30が高齢者でないと判断した場合には(N)、発話制御部19は、ミキサ21、アンプ、及びイコライザを制御して、通常の音量、音域に設定する。そして、設定された音量及び音域で選択されたコンテンツ20に対応する発話信号を出力することで発話する(S3)。これにより、コミュニケーションロボット10は、高齢でない対象者30に対して、通常の音量及び音域で発話する。なお、発話制御は、前述したように、発話信号の音量や周波数を音声合成装置によって調整するように構成してもよい。
【0029】
続いて、図4に示すように、対象者40が高齢者である場合について説明する。対象者40が高齢者である場合には、図3のフローチャートにおいて、ステップS2で対象者40が高齢者であると判定される。対象者40が高齢者である場合には(Y)、発話制御部19は点線で囲まれた高齢者向けの発話制御(S100)を実行する。具体的には、アンプを制御して発話信号の音量を上げる(S12)。そして、ミキサ21を制御して発話信号の周波数を下げる(S13)。更に、イコライザを制御して発話信号の高音域の音素の音量を上げる(S14)。
【0030】
このように、ミキサ21、アンプ、イコライザを制御することにより、高齢者向けの音量、周波数、及び高音域の音素の音量に設定される。ステップS12〜S14によって設定が完了すると、ステップS3に進み、設定された音量、音域によって発話する。これにより、コミュニケーションロボット10は、高齢の対象者40が聞き取りやすい音声で発話する。なお、高齢者向けの発話制御(S100)は、ステップS12〜14を全て有している必要はない。ステップS12〜14のうち少なくとも1つの発話制御を実行すれば、通常の発話信号よりも高齢者が聞き取り安い音声が出力することができる。
【0031】
そして、発話信号を出力した直後の対象者30の表情や言葉をカメラ13やマイク14によって取得する。反応判定部17は、カメラ13やマイク14によって取得された画像情報や音声情報を解析し、発話信号の音量や音域が対象者30にとって適切であるか否か判断する(S4)。例えば、音量が小さすぎる場合の対象者30、40の困惑した表情や、「聞こえない」といった音声を認識することで、発話信号の音量や音域が対象者30にとって適切であるか否か判断する。また、逆に音量が大きすぎる場合の、対象者30、40の不快な表情や、「うるさすぎる」といった音声を認識することで、発話信号の音量や音域が対象者30にとって適切であるか否か判断する。
【0032】
ステップS4において、出力した音声信号が対象者30にとって適切であると判断された場合には(Y)、次に出力するコンテンツ20があるか否かを判定することで、対象者30、40との会話を終了するか否かを判定する(S5)。次に出力するコンテンツ20がなく、会話をする場合には(Y)、音声等の制御を終了する。一方、次に出力するコンテンツがあり、会話が続行する場合には(N)、ステップS3に戻って前回設定された音量、音域で次に出力するコンテンツ20に対応する発話信号を出力する。以降では、会話が終了するまでステップS3〜5を繰り返す。
【0033】
一方、ステップS4において、出力した音声信号が適切な音量及び音域でないと判断した場合には(N)、続いて対象者30、40にとって音量が大きすぎるか否かを判定する(S6)。音量が大きすぎる場合には(Y)、ステップS12〜14と逆の制御(S200)を行う。具体的には、アンプを制御して発話信号の音量を下げる(S7)。そして、ミキサ21を制御して発話信号の周波数を下げる(S8)。更に、イコライザを制御して発話信号のうち高音域の音素の音量を下げる(S9)。なお、対象者30、40とって音量が大きいと判定された場合の制御は、これに限られるものではない。例えば、ステップS12〜14のうちいずれか1つの発話制御を実行するように構成することもできる。そして、設定が終了すると、ステップS3に戻り、設定された音量、音域でコンテンツ20に対応する発話信号を出力する。
【0034】
ステップS6において、対象者30、40の反応に基づいて、発話信号の音量が大きすぎると感じていない判断された場合には(N)、再度同じ音量及び音域で、直前に発話した同じ内容の発話信号を出力する(S10)。これは、発話信号の音量や音域が対象者30、40に合っていたとしても、対象者30、40が聞き逃してしまうことがあるため、このような場合には音量や音域を変更してしまうと返って対象者30、40が不快に感じるためである。そして、再度同じ音量及び音域で発話信号を出力した直後の対象者30、40の反応をカメラ13及びマイク14によって検出する。このカメラ13及びマイク14によって取得した画像情報及び音声情報に基づいて、対象者30、40が発話信号を聞き取れているか否かを判定する(S11)。ステップS11において、対象者30、40が発話信号を聞き取れている場合には(Y)、ステップS5に進み、会話が終了するまでステップS3〜S5を繰り返す。
【0035】
一方、ステップS11において、対象者30、40が発話信号を聞き取れていないと判定された場合には(N)、ステップS12に進み、高齢者向けの音声制御と同様の制御を実行する。すなわち、ステップS12において、前回設定された発話信号の音量よりも音量を大きくする。また、ステップS13において、前回設定された発話信号の周波数よりも周波数を小さくする。また、ステップS14において、前回設定された高音域の音素の音量をより大きくする。そして、ステップS3において、再設定された音量及び音域によって発話を行う。
【0036】
このように、本実施形態に係るコミュニケーションロボット10によれば、会話する対象者30、40の年齢に応じて発話制御を行うことにより、聴力が衰えた高齢者に対しても適切な音量及び周波数によって発話信号を出力することができる。また、反応判定部17によって発話信号を出力した直後の対象者30、40の反応を判定することで、対象者30、40の反応に応じて発話制御を行うことができる。例えば、同じ年齢の高齢者であっても聴力の衰えには個人差があり、大きな音量を不快に感じる高齢者もいる。また、高齢者でない対象者であっても、周囲の雑音が大きければ通常の音量では発話信号が聞き取れない可能性もある。本実施形態においては、このような場合においても、対象者の年齢のみならず、対象者30、40の反応を検知することで、状況や個人差に応じた音量及び周波数で発話信号を出力することができる。このように、本実施形態に係るコミュニケーションロボット10によれば、対象者の年齢及び対象者の反応を窺いながら発話信号を制御することにより、対象者にとって適切な音量及び音域で会話をすることができる。
【0037】
図5は、本発明の実施形態に係るコミュニケーションロボット10の一部の変形例を示すブロック図である。前述したコミュニケーションロボットでは、カメラ13によって撮像された画像やマイク14によって集音された音声情報を解析することにより対象者の年齢を判定していたが、この変形例は、対象者の識別情報を記憶したRFID(Radio Frequency IDentification)タグを対象者に持たせ、コミュニケーションロボット10に設置されたRFIDリーダによってRFIDタグに記憶された識別情報を読取ることにより対象者の年齢を取得するよう構成されている。
【0038】
図5に示すように、対象者に識別情報が記憶されたRFIDタグ50を予め所持させる。コミュニケーションロボット10は、RFIDタグ50から識別情報を読取るためのRFIDリーダ51が設けられている。RFIDリーダ51は、RFIDタグ50から受信された無線データを解析することにより対象者の識別情報を取得する。コミュニケーションロボット10は、RFIDリーダ51によって取得された対象者の識別情報から、対象者の年齢を取得する。
【0039】
例えば、コミュニケーションロボット10に、対象者の識別情報と対象者の年齢情報とが対応付けられたテーブル(図示せず)を設け、このテーブルを参照することにより対象者の年齢情報を取得するように構成することができる。対象者の識別情報と対象者の年齢情報とが対応付けられたテーブルは、コミュニケーションロボット10の外部に設けられていてもよい。この場合、コミュニケーションロボット10は、対象者の識別情報を取得すると、対象者の識別情報と対象者の年齢情報とが対応付けられた外部のデータベースにアクセスし、対象者の年齢を取得するよう構成すればよい。年齢入力部16は、識別情報に基づいて取得された年齢情報に基づいて、前述したような発話制御を実行する。このように、RFIDタグを用いて対象者の年齢情報を取得し、対象者の年齢に応じた発話制御を行うこともできる。
【0040】
本発明は、本実施形態の構成に限られるものではなく、いわゆる当業者によって種々設計変更することができる。
【図面の簡単な説明】
【0041】
【図1】本発明の実施形態に係るコミュニケーションロボット10の全体構造を示す図である。
【図2】本発明の実施形態に係るコミュニケーションロボット10の制御部12の構成を示すブロック図である。
【図3】本発明の実施形態に係るコミュニケーションロボット10のフローチャートである。
【図4】本発明の実施形態に係るコミュニケーションロボット10の他の制御状態を示す図である。
【図5】本発明の実施形態に係るコミュニケーションロボット10の変形例を示すブロック図である。
【符号の説明】
【0042】
10 コミュニケーションロボット
11 スピーカ
12 制御部
13 カメラ
14 マイク
15 年齢判定部
16 年齢入力部
17 反応判定部
18 反応入力部
19 発話制御部
20 コンテンツ
21 ミキサ
30 対象者
40 対象者
50 RFIDタグ
51 RFIDリーダ

【特許請求の範囲】
【請求項1】
対象者と会話によってコミュニケーションを図るコミュニケーションロボットであって、
前記対象者の年齢及び反応に応じて発話信号の音量及び/又は周波数を制御する
コミュニケーションロボット。
【請求項2】
前記対象者の年齢を判定する年齢判定部と、
前記対象者の反応を判定する反応判定部と、
前記年齢判定部によって判定された前記対象者の年齢及び前記反応判定部によって判定された前記対象者の反応に応じて前記発話信号の音量及び/又は周波数を制御する発話制御部と、を有する
請求項1記載のコミュニケーションロボット。
【請求項3】
前記年齢判定部及び前記反応判定部は、マイク及び/又はカメラによって取得された前記対象者の音声情報及び/又は画像情報に基づいて前記対象者の年齢及び反応を判定する
請求項1又は2記載のコミュニケーションロボット。
【請求項4】
前記年齢判定部が前記対象者が高齢者であると判定した場合及び/又は前記反応判定部が前記対象者が前記発話信号を聞き取れていないと判定した場合、
前記発話制御部は、前記発話信号の音量を通常の音量より上げる
請求項1乃至3のうちいずれか1項に記載のコミュニケーションロボット。
【請求項5】
前記年齢判定部が前記対象者が高齢者であると判定した場合及び/又は前記反応判定部が前記対象者が前記発話信号を聞き取れていないと判定した場合、
前記発話制御部は、前記発話信号の周波数を通常の発話信号の周波数より下げる
請求項1乃至4のうちいずれか1項に記載のコミュニケーションロボット。
【請求項6】
前記年齢判定部が前記対象者が高齢者であると判定した場合及び/又は前記反応判定部が前記対象者が前記発話信号を聞き取れていないと判定した場合、
前記発話信号のうち高音域の音素の音量を上げる
請求項1乃至5のうちいずれか1項に記載のコミュニケーションロボット。
【請求項7】
対象者と会話によってコミュニケーションを図るコミュニケーションロボットの制御方法であって、
前記対象者の年齢及び反応に応じて、発話信号の音量及び/又は周波数を制御する
コミュニケーションロボットの制御方法。
【請求項8】
前記対象者が高齢者である場合及び/又は前記対象者が前記発話信号を聞き取れていない場合には、前記発話信号の音量を通常の音量より上げる
請求項7記載のコミュニケーションロボットの制御方法。
【請求項9】
前記対象者が高齢者である場合及び/又は前記対象者が前記発話信号を聞き取れていない場合には、前記発話信号の周波数を通常の周波数より下げる
請求項7又は8に記載のコミュニケーションロボットの制御方法。
【請求項10】
前記対象者が高齢者である場合及び/又は前記対象者が前記発話信号を聞き取れていない場合には、前記発話信号のうち高音域の音素の音量を上げる
請求項7乃至9のうちいずれか1項に記載のコミュニケーションロボットの制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2009−178783(P2009−178783A)
【公開日】平成21年8月13日(2009.8.13)
【国際特許分類】
【出願番号】特願2008−18118(P2008−18118)
【出願日】平成20年1月29日(2008.1.29)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】