カメラシステムおよびその制御方法
【課題】高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することができないという問題を解決することが可能なカメラシステムを提供する。
【解決手段】画像処理部１６は、カメラ１１で撮像された撮像画像に対して、その撮像画像内の所定領域を加工する画像処理を行って、加工画像を生成する。表示部は、加工画像を表示する。操作部は、カメラの向きを示す操作コマンドを受け付ける。モータ制御部１８は、操作コマンドに応じてカメラ１１の向きを調整する。
【解決手段】画像処理部１６は、カメラ１１で撮像された撮像画像に対して、その撮像画像内の所定領域を加工する画像処理を行って、加工画像を生成する。表示部は、加工画像を表示する。操作部は、カメラの向きを示す操作コマンドを受け付ける。モータ制御部１８は、操作コマンドに応じてカメラ１１の向きを調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステムおよびその制御方法に関し、特には、遠隔地に配置されたロボット装置を用いたカメラシステムおよびその制御方法に関する。
【背景技術】
【０００２】
近年、伝染病によるパンデミック対策、ＣＯ2削減および経費節減などのために、移動が制限されることが多くなっていることに伴って、遠隔地にいる人とコミュニケーションを行う遠隔地コミュニケーションのニーズが高まっている。
【０００３】
遠隔地コミュニケーションを行うための手段としては、電話装置のような音声でコミュニケーションを行う音声デバイスや、音声および画像でコミュニケーションを行うＴＶ会議システムなどが利用されている。しかしながら、音声デバイスだけでは、表情や振る舞いなどのような、言語に依存しないノンバーバルコミュニケーションを行うことができないため、正確な意図が伝わらないミスコミュニケーションが多くなる。また、ＴＶ会議システムの場合、ある程度のノンバーバルコミュニケーションを行うことができるが、ＴＶ会議の参加者同士の視線が合わないことが多く、情報が誰に向かって発せられたのかが明確ではなく、参加者に違和感を与えることがある。
【０００４】
これに対して、音声デバイスとロボットを用いることで、音声を使用したコミュニケーションとノンバーバルコミュニケーションとを両立することが可能なロボットシステムが提案されている。ロボットシステムは、ノンバーバルコミュニケーションの中でも重要とされる、視線の向きや頷きなどをロボットに再生させることで、ＴＶ会議システムを使用するコミュニケーションよりも正確なコミュニケーションを目指している。
【０００５】
ロボットシステムでは、通常、ロボットとは別の場所にいる遠隔地利用者が、ロボットに備わったカメラで撮像された映像を見ながらロボットを操作する（特許文献１参照）。このようなロボットシステムにおいて、人型のロボットの頭部にカメラが設けられていれば、遠隔地利用者は、ロボットの頭部の向きを動かして、自身の注目箇所にカメラを向けることで、ロボットの視線を注目箇所に向けることができる。このため、注目箇所をロボットの視線（ロボットの頭部の向き）を通じて対話相手に把握させることができる。
【０００６】
しかしながら、ロボットに備わったカメラで撮像した映像と、実際にロボットの場所にいる人間の目に映る映像とには、見え方に差異があり、その差異がロボットの操作に影響を与え、正確な意図がロボットを通じて対話相手に伝わらないことがある。
【０００７】
例えば、通常、ロボットの操作性を高くするためにカメラの視野角は広くなっているので、カメラで撮像された映像は、人間の目にはぼやけて映ったり、または映らなかったりする端の方まで鮮明に見えてしまう。このため、遠隔地利用者がロボットの視線が向いていない箇所に注目してしまうことがある。この場合、対話相手は遠隔地利用者の注目箇所が分からないので、遠隔地利用者の意図を把握できず、ミスコミュニケーションが発生することがある。
【０００８】
これに対して特許文献２には、遠隔地利用者がカメラの視野角を調整することができるロボット装置が記載されている。このロボット装置を用いて、カメラで撮像した映像と人間の目に映る映像とが一致するように視野角が調整されれば、遠隔地利用者がロボットの視線が向いていない箇所に注目することを軽減することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−２５５５５２号公報
【特許文献２】特開２００２−４６０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献２に記載のロボット装置を用いてカメラの視野角が調整されて狭くなると、遠隔地利用者は視野角外の状況を把握することが困難になるため、ロボットの操作性が低くなるという問題がある。このため、高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することができない。
【００１１】
本発明の目的は、上記の課題である、高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することができないという問題を解決することが可能なカメラシステムおよびその制御方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明によるカメラシステムは、カメラと、前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行った加工画像を生成する画像処理部と、前記加工画像を表示する表示部と、前記カメラの向きを示すコマンドを受け付ける操作部と、前記コマンドに応じて前記カメラの向きを調整する調整部と、を有する。
【００１３】
本発明によるカメラシステムの制御方法は、カメラを備えたカメラシステムの制御方法であって、前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行った加工画像を生成し、前記加工画像を表示し、前記カメラの向きを示すコマンドを受け付け、前記コマンドに応じて前記カメラの向きを調整する。
【発明の効果】
【００１４】
本発明によれば、高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態のカメラシステムを示す図である。
【図２】ロボットの外形の一例を示す正面図である。
【図３】ロボットの機能的な構成の一例を示す図である。
【図４】ユーザ端末の機能的な構成の一例を示す図である。
【図５】カメラシステムの動作の一例を説明するためのフローチャートである。
【図６】元画像と加工画像とを比較するための図である。
【図７】カメラシステムの動作の他の例を説明するためのフローチャートである。
【図８】ロボットの機能的な構成の他の例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。
【００１７】
図１は、本発明の第１の実施形態のカメラシステムを示す図である。図１において、カメラシステムは、ロボット１と、ユーザ端末２とを有する。また、ロボット１およびユーザ端末２は、インターネットなどの通信網３を介して相互に通信可能に接続されている。
【００１８】
ロボット１は、人型のロボット装置であり、図２で示すように、回転可能な頭部１０を有し、カメラ１１の向きがロボット１の視線の向きと一致するように、頭部１０の目に当たる箇所にカメラ１１が設けられている。なお、頭部１０は、胴体部１０’の上に設けられている。
【００１９】
ユーザ端末２は、ロボット１を操作するための端末装置である。
【００２０】
以下では、ロボット１は、会議室に配置され、ユーザ端末２は、会議室で行われる会議の遠隔参加者であるユーザ４の自宅に配置されているものとする。また、ユーザ４は、ユーザ端末２を用いてロボット１を操作して、会議の室内参加者である複数人（図１では３人）の対話相手５〜７とコミュニケーションを行うものとする。
【００２１】
図３は、ロボット１の機能的な構成を示す図である。図３において、ロボット１は、頭部１０と、カメラ１１と、モータ１２と、頭角度検出部１３と、メモリ書き込み制御部１４と、画像メモリ１５と、画像処理部１６と、情報送受信部１７と、モータ制御部１８とを有する。
【００２２】
頭部１０は、所定の軸を中心として回転可能な回転動作体である。所定の軸は、特に限定されない。本実施形態では、所定の軸は、頭部１０から胴体部１０’に向かう方向に延伸された軸であるとする。この場合、頭部１０は左右に動作することになる。
【００２３】
カメラ１１は、周囲を撮像する撮像部である。なお、カメラ１１としては、視野角の広い広角カメラが使用されているものとする。
【００２４】
モータ１２は、頭部１０を回転させる駆動部である。モータ１２が頭部１０を回転させると、その回転に応じてカメラ１１の向きが変化する。
【００２５】
頭角度検出部１３は、ロボット１の頭部１０の回転角度を検出する。
【００２６】
メモリ書き込み制御部１４は、カメラ１１で撮像された撮像画像に、頭角度検出部１３で検出された回転角度を付加して画像メモリ１５に記録する。
【００２７】
画像処理部１６は、画像メモリ１５に記録された撮像画像に対して、その撮像画像内の所定領域を加工する画像処理を行って、撮像画像から加工画像を生成する。所定領域は、撮像画像の中央部を除いた左右の領域や、撮像画像の中央部を除いた左右および上下の領域などである。
【００２８】
画像処理としては、例えば、所定領域の鮮明度を下げて所定領域内をぼやかす処理や、所定領域に半透明のマスクを合成する処理などが挙げられる。
【００２９】
また、画像処理は、所定領域に対して画像認識処理を行い、所定領域内の予め定められた対象物（例えば、人間など）を特定し、その対象物を変化させる処理でもよい。対象物を変化させる処理としては、例えば、対象物を輪郭のみにする処理や、対象物をデフォルメまたは抽象化する処理などが挙げられる。また、対象物のデフォルメまたは抽象化する方法としては、対象物の輪郭の曲線部を直線で近似する方法などが挙げられる。
【００３０】
さらに、画像処理は、所定領域内の対象物の位置を示す位置情報を作成し、所定領域内に位置情報のみを示すようにする処理などでもよい。また、画像処理は、上記の例を組み合わせたものでもよい。
【００３１】
情報送受信部１７は、画像処理部１６にて生成された加工画像をユーザ端末２に送信する。また、情報送受信部１７は、ユーザ端末２から、ロボットを操作するための操作コマンドを受信する。操作コマンドは、より具体的には、頭部１０の回転角度、つまり、カメラ１１の向きを示す。
【００３２】
モータ制御部１８は、情報送受信部１７が受信した操作コマンドに応じて、頭部１０を回転させてカメラ１１の向き（ロボット１の視線）を調整する。より具体的には、モータ制御部１８は、操作コマンドが示す回転角度だけ頭部１０が回転するようにモータ１２を駆動して、カメラ１１の向きを調整する。したがって、モータ１２およびモータ制御部１８は、操作コマンドに応じてカメラ１１の向きを調整する調整部を構成することになる。
【００３３】
図４は、ユーザ端末２の機能的な構成を示す図である。図４において、ユーザ端末２は、情報送受信部２１と、表示処理部２２と、表示部２３と、操作部２４と、入力処理部２５とを有する。
【００３４】
情報送受信部２１は、ロボット１から加工画像を受信する。
【００３５】
表示処理部２２は、情報送受信部２１が受信した加工画像を表示部２３に表示する。
【００３６】
操作部２４は、ユーザから操作コマンドを受け付ける。
【００３７】
入力処理部２５は、操作部２４が受け付けた操作コマンドを、情報送受信部２１を介してロボット１に送信する。
【００３８】
次に動作を説明する。
【００３９】
図５は、カメラ１１で撮像された撮像画像を表示部２３に表示する際のカメラシステムの動作の一例を説明するためのフローチャートである。
【００４０】
先ず、ロボット１の頭部１０に備わったカメラ１１が周囲を撮像して撮像画像を取得し、その撮像画像をメモリ書込み制御部１４に出力する（ステップＳ５１）。
【００４１】
メモリ書込み制御部１４は、撮像画像を受け付けると、頭部１０の回転角度を頭角度検出部１３から取得して撮像画像に付加し、その回転角度が付加された撮像画像を画像メモリ１５に書き込む（ステップＳ５２）。
【００４２】
画像処理部１６は、画像メモリ１５に撮像画像が書き込まれたことを検出し、画像メモリ１５から撮像画像を取得する。画像処理部１６は、その撮像画像に対して画像処理を行い、その画像処理を行った撮像画像である加工画像を情報送受信部１７に出力する（ステップＳ５３）。
【００４３】
図６は、画像処理前の撮像画像である元画像と、画像処理後の撮像画像である加工画像との一例を示す図である。なお、画像処理としては、所定領域に半透明のマスクを付加する処理が用いられている。
【００４４】
図６で示したように、元画像６１では、横に並んだ対話相手５〜７が全て鮮明に映されているが、加工画像６２では、対話相手５〜７のうち、中央にいる対話相手６は鮮明に映っているが、所定領域６３内に映っている対話相手５および７は、ぼやけている。
【００４５】
図５の説明に戻る。情報送受信部１７は、加工画像を受け付けると、その加工画像を通信網３を介してユーザ端末２の情報送受信部２１に送信する（ステップＳ５４）。
【００４６】
情報送受信部２１は、加工画像を受信すると、その加工画像を表示処理部２２に出力する。表示処理部２２は、加工画像を受け付けると、その加工画像を表示部２３に表示する（ステップＳ５５）。
【００４７】
図７は、ロボット１の操作に係るカメラシステムの動作の一例を説明するためのフローチャートである。
【００４８】
先ず、入力処理部２５は、操作部２４に対して操作コマンドの入力操作があったか否かを確認する（ステップＳ７１）。
【００４９】
入力操作があった場合、入力処理部２５は、その操作コマンドを情報送受信部２１に出力する。情報送受信部２１は、操作コマンドを受け付けると、その操作コマンドを通信網３を介してロボット１の情報送受信部１７に送信する（ステップＳ７２）。
【００５０】
情報送受信部１７は、操作コマンドを受信すると、その操作コマンドをモータ制御部１８に出力する。モータ制御部１８は、操作コマンドを受け付けると、その操作コマンドが示す回転角度だけ頭部１０が回転するようにモータ１２を駆動する（ステップＳ７３）。このモータ１２の駆動によって頭部１０が回転し、カメラ１１の向きが変化する（ステップＳ７４）。
【００５１】
以上説明したように本実施形態によれば、画像処理部１６は、カメラ１１で撮像された撮像画像に対して、その撮像画像内の所定領域を加工する画像処理を行って、加工画像を生成する。また、表示部２３は、加工画像を表示する。操作部２４は、カメラの向きを示す操作コマンドを受け付ける。モータ制御部１８は、操作コマンドに応じてカメラ１１の向きを調整する。
【００５２】
したがって、撮像画像内の所定領域が加工された加工画像が表示されるので、ユーザ４が所定領域内に映っている人物の表情などを正確に把握することが困難になる。このため、ユーザ４は、所定領域に映っている人物の表情を見る場合には、操作コマンドを入力してカメラ１１の向きを所定領域内に映っている人物に向ける必要がある。したがって、カメラ１１がユーザ４の注目箇所に向くことになり、対話相手はユーザ４の注目箇所をカメラ１１の向きから把握することが可能になる。このため、ミスコミュニケーションの発生を軽減することができる。
【００５３】
また、光学的なフィルターなどを用いて、カメラ１１の視野角を調整する場合とは異なり、ユーザ４は所定領域内の人間の存在の有無や大まかな動きなどを把握することができる。このため、所定領域が人間の周辺視野のような役割を果たし、所定領域内の変化に合わせてカメラ１１を動かすことなどができるため、高操作性を確保することが可能になる。
【００５４】
また本実施形態では、カメラ１１がロボット１の頭部１０に設けられているので、カメラ１１の向きとロボットの視線とを合わせることができる。このため、対話相手は、容易かつ直感的にユーザ４が注目している箇所を把握することができる。
【００５５】
次に本発明の第２の実施形態について説明する。
【００５６】
図８は、本実施形態のロボット１の機能的な構成を示す図である。図８で示されたロボット１は、図１で示した構成に加えて、音声取得部８１と、音声処理部８２とをさらに有する。
【００５７】
音声取得部８１は、周囲の音声を音声データとして取得する。
【００５８】
音声処理部８２は、音声取得部８１が取得した音声データに基づいて、音声データが示す音声の音源の方向である音源方向を特定する。
【００５９】
例えば、音声取得部８１は複数の位置のそれぞれに設けられた複数のマイクを有し、音声処理部８２は、各マイクで取得された各音声データの時間差を算出し、その時間差に基づいて、音源方向を特定する。
【００６０】
モータ制御部１８は、音声処理部８２で特定された音源方向に応じてモータ１２を駆動させることで、頭部１０を回転させて、カメラ１１の向きを調整する。
【００６１】
例えば、モータ制御部１８は、音源方向と頭部１０の回転角度との対応関係を示すテーブルを予め保持しておく。なお、音源方向と頭部１０の回転角度との対応関係は、カメラ１１の向きが音源方向を向くように決定されているものとする。
【００６２】
そして、モータ制御部１８は、テーブルを用いて、音源方向に対応する回転角度を求め、その回転角度だけ頭部１０が回転するようにモータ１２を駆動して、カメラ１１を音源方向に向ける。
【００６３】
以上説明したように本実施形態では、音源方向に応じてカメラ１１の向きを調整されるので、カメラ１１をユーザ４が注目することが多い発言者の顔などに向けることが可能になる。このため、ユーザ４が操作コマンドを入力しなくても、カメラ１１の向きを調整することができるので、操作性を向上させることが可能になる。
【００６４】
また、画像処理部１６は、撮像画像に対して画像認識処理行い、撮像画像内の予め定められた検出対象物（例えば、人間の顔など）の位置を特定する。そして、モータ制御部１８は、その検出対象物の位置に応じて、モータ１２を駆動させることで頭部１０を回転させて、カメラ１１向きを調整してもよい。
【００６５】
例えば、画像処理部１６は、撮像画像の中心点からの検出対象物までの距離と方向とを検出対象物の位置として示すコマンドをモータ制御部１８に出力する。モータ制御部１８は、そのコマンドが示す距離および方向に基づいて、カメラ１１が検出対象物を向くような回転角度を求め、その回転角度だけ頭部１０が回転するようにモータ１２を駆動して、カメラ１１を検出対象物に向ける。
【００６６】
この場合、検出対象物の位置に応じてカメラの向きが調整されるので、カメラ１１をユーザ４が注目することが多い対話相手の顔などに向けることが可能になる。このため、ユーザ４が操作コマンドを入力しなくても、カメラ１１の向きを調整することができるので、操作性を向上させることが可能になる。
【００６７】
以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００６８】
例えば、カメラ１１は、広角カメラの代わりに、複数のカメラ装置で構成されてもよい。この場合、画像処理部１６は、例えば、各カメラ装置で撮像された複数の撮像画像を合成して大きな画像を生成し、その大きな画像に対して画像処理を行って加工画像を生成する。
【００６９】
また、画像メモリ１５が過去の撮像画像をさらに記録し、画像処理部１６は、画像メモリ１５内の過去の撮像画像と現在の撮像画像を合成してもよい。このとき、撮像画像のみをリアルタイムに更新し、過去の撮像画像は一定にしておいたり、周期的に変更したりしてもよい。
【００７０】
また、画像処理部１６はユーザ端末２に備わっていてもよい。
【符号の説明】
【００７１】
１ ロボット
２ ユーザ端末
３ 通信網
１０ 頭部
１０’ 胴体部
１１ カメラ
１２ モータ
１３ 頭角度検出部
１４ メモリ書き込み制御部
１５ 画像メモリ
１６ 画像処理部
１７、２１ 情報送受信部
１８ モータ制御部
２２ 表示処理部
２３ 表示部
２４ 操作部
２５ 入力処理部
８１ 音声取得部
８２ 音声処理部
【技術分野】
【０００１】
本発明は、カメラシステムおよびその制御方法に関し、特には、遠隔地に配置されたロボット装置を用いたカメラシステムおよびその制御方法に関する。
【背景技術】
【０００２】
近年、伝染病によるパンデミック対策、ＣＯ2削減および経費節減などのために、移動が制限されることが多くなっていることに伴って、遠隔地にいる人とコミュニケーションを行う遠隔地コミュニケーションのニーズが高まっている。
【０００３】
遠隔地コミュニケーションを行うための手段としては、電話装置のような音声でコミュニケーションを行う音声デバイスや、音声および画像でコミュニケーションを行うＴＶ会議システムなどが利用されている。しかしながら、音声デバイスだけでは、表情や振る舞いなどのような、言語に依存しないノンバーバルコミュニケーションを行うことができないため、正確な意図が伝わらないミスコミュニケーションが多くなる。また、ＴＶ会議システムの場合、ある程度のノンバーバルコミュニケーションを行うことができるが、ＴＶ会議の参加者同士の視線が合わないことが多く、情報が誰に向かって発せられたのかが明確ではなく、参加者に違和感を与えることがある。
【０００４】
これに対して、音声デバイスとロボットを用いることで、音声を使用したコミュニケーションとノンバーバルコミュニケーションとを両立することが可能なロボットシステムが提案されている。ロボットシステムは、ノンバーバルコミュニケーションの中でも重要とされる、視線の向きや頷きなどをロボットに再生させることで、ＴＶ会議システムを使用するコミュニケーションよりも正確なコミュニケーションを目指している。
【０００５】
ロボットシステムでは、通常、ロボットとは別の場所にいる遠隔地利用者が、ロボットに備わったカメラで撮像された映像を見ながらロボットを操作する（特許文献１参照）。このようなロボットシステムにおいて、人型のロボットの頭部にカメラが設けられていれば、遠隔地利用者は、ロボットの頭部の向きを動かして、自身の注目箇所にカメラを向けることで、ロボットの視線を注目箇所に向けることができる。このため、注目箇所をロボットの視線（ロボットの頭部の向き）を通じて対話相手に把握させることができる。
【０００６】
しかしながら、ロボットに備わったカメラで撮像した映像と、実際にロボットの場所にいる人間の目に映る映像とには、見え方に差異があり、その差異がロボットの操作に影響を与え、正確な意図がロボットを通じて対話相手に伝わらないことがある。
【０００７】
例えば、通常、ロボットの操作性を高くするためにカメラの視野角は広くなっているので、カメラで撮像された映像は、人間の目にはぼやけて映ったり、または映らなかったりする端の方まで鮮明に見えてしまう。このため、遠隔地利用者がロボットの視線が向いていない箇所に注目してしまうことがある。この場合、対話相手は遠隔地利用者の注目箇所が分からないので、遠隔地利用者の意図を把握できず、ミスコミュニケーションが発生することがある。
【０００８】
これに対して特許文献２には、遠隔地利用者がカメラの視野角を調整することができるロボット装置が記載されている。このロボット装置を用いて、カメラで撮像した映像と人間の目に映る映像とが一致するように視野角が調整されれば、遠隔地利用者がロボットの視線が向いていない箇所に注目することを軽減することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−２５５５５２号公報
【特許文献２】特開２００２−４６０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献２に記載のロボット装置を用いてカメラの視野角が調整されて狭くなると、遠隔地利用者は視野角外の状況を把握することが困難になるため、ロボットの操作性が低くなるという問題がある。このため、高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することができない。
【００１１】
本発明の目的は、上記の課題である、高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することができないという問題を解決することが可能なカメラシステムおよびその制御方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明によるカメラシステムは、カメラと、前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行った加工画像を生成する画像処理部と、前記加工画像を表示する表示部と、前記カメラの向きを示すコマンドを受け付ける操作部と、前記コマンドに応じて前記カメラの向きを調整する調整部と、を有する。
【００１３】
本発明によるカメラシステムの制御方法は、カメラを備えたカメラシステムの制御方法であって、前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行った加工画像を生成し、前記加工画像を表示し、前記カメラの向きを示すコマンドを受け付け、前記コマンドに応じて前記カメラの向きを調整する。
【発明の効果】
【００１４】
本発明によれば、高操作性を確保しつつ、ミスコミュニケーションの発生を軽減することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態のカメラシステムを示す図である。
【図２】ロボットの外形の一例を示す正面図である。
【図３】ロボットの機能的な構成の一例を示す図である。
【図４】ユーザ端末の機能的な構成の一例を示す図である。
【図５】カメラシステムの動作の一例を説明するためのフローチャートである。
【図６】元画像と加工画像とを比較するための図である。
【図７】カメラシステムの動作の他の例を説明するためのフローチャートである。
【図８】ロボットの機能的な構成の他の例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。
【００１７】
図１は、本発明の第１の実施形態のカメラシステムを示す図である。図１において、カメラシステムは、ロボット１と、ユーザ端末２とを有する。また、ロボット１およびユーザ端末２は、インターネットなどの通信網３を介して相互に通信可能に接続されている。
【００１８】
ロボット１は、人型のロボット装置であり、図２で示すように、回転可能な頭部１０を有し、カメラ１１の向きがロボット１の視線の向きと一致するように、頭部１０の目に当たる箇所にカメラ１１が設けられている。なお、頭部１０は、胴体部１０’の上に設けられている。
【００１９】
ユーザ端末２は、ロボット１を操作するための端末装置である。
【００２０】
以下では、ロボット１は、会議室に配置され、ユーザ端末２は、会議室で行われる会議の遠隔参加者であるユーザ４の自宅に配置されているものとする。また、ユーザ４は、ユーザ端末２を用いてロボット１を操作して、会議の室内参加者である複数人（図１では３人）の対話相手５〜７とコミュニケーションを行うものとする。
【００２１】
図３は、ロボット１の機能的な構成を示す図である。図３において、ロボット１は、頭部１０と、カメラ１１と、モータ１２と、頭角度検出部１３と、メモリ書き込み制御部１４と、画像メモリ１５と、画像処理部１６と、情報送受信部１７と、モータ制御部１８とを有する。
【００２２】
頭部１０は、所定の軸を中心として回転可能な回転動作体である。所定の軸は、特に限定されない。本実施形態では、所定の軸は、頭部１０から胴体部１０’に向かう方向に延伸された軸であるとする。この場合、頭部１０は左右に動作することになる。
【００２３】
カメラ１１は、周囲を撮像する撮像部である。なお、カメラ１１としては、視野角の広い広角カメラが使用されているものとする。
【００２４】
モータ１２は、頭部１０を回転させる駆動部である。モータ１２が頭部１０を回転させると、その回転に応じてカメラ１１の向きが変化する。
【００２５】
頭角度検出部１３は、ロボット１の頭部１０の回転角度を検出する。
【００２６】
メモリ書き込み制御部１４は、カメラ１１で撮像された撮像画像に、頭角度検出部１３で検出された回転角度を付加して画像メモリ１５に記録する。
【００２７】
画像処理部１６は、画像メモリ１５に記録された撮像画像に対して、その撮像画像内の所定領域を加工する画像処理を行って、撮像画像から加工画像を生成する。所定領域は、撮像画像の中央部を除いた左右の領域や、撮像画像の中央部を除いた左右および上下の領域などである。
【００２８】
画像処理としては、例えば、所定領域の鮮明度を下げて所定領域内をぼやかす処理や、所定領域に半透明のマスクを合成する処理などが挙げられる。
【００２９】
また、画像処理は、所定領域に対して画像認識処理を行い、所定領域内の予め定められた対象物（例えば、人間など）を特定し、その対象物を変化させる処理でもよい。対象物を変化させる処理としては、例えば、対象物を輪郭のみにする処理や、対象物をデフォルメまたは抽象化する処理などが挙げられる。また、対象物のデフォルメまたは抽象化する方法としては、対象物の輪郭の曲線部を直線で近似する方法などが挙げられる。
【００３０】
さらに、画像処理は、所定領域内の対象物の位置を示す位置情報を作成し、所定領域内に位置情報のみを示すようにする処理などでもよい。また、画像処理は、上記の例を組み合わせたものでもよい。
【００３１】
情報送受信部１７は、画像処理部１６にて生成された加工画像をユーザ端末２に送信する。また、情報送受信部１７は、ユーザ端末２から、ロボットを操作するための操作コマンドを受信する。操作コマンドは、より具体的には、頭部１０の回転角度、つまり、カメラ１１の向きを示す。
【００３２】
モータ制御部１８は、情報送受信部１７が受信した操作コマンドに応じて、頭部１０を回転させてカメラ１１の向き（ロボット１の視線）を調整する。より具体的には、モータ制御部１８は、操作コマンドが示す回転角度だけ頭部１０が回転するようにモータ１２を駆動して、カメラ１１の向きを調整する。したがって、モータ１２およびモータ制御部１８は、操作コマンドに応じてカメラ１１の向きを調整する調整部を構成することになる。
【００３３】
図４は、ユーザ端末２の機能的な構成を示す図である。図４において、ユーザ端末２は、情報送受信部２１と、表示処理部２２と、表示部２３と、操作部２４と、入力処理部２５とを有する。
【００３４】
情報送受信部２１は、ロボット１から加工画像を受信する。
【００３５】
表示処理部２２は、情報送受信部２１が受信した加工画像を表示部２３に表示する。
【００３６】
操作部２４は、ユーザから操作コマンドを受け付ける。
【００３７】
入力処理部２５は、操作部２４が受け付けた操作コマンドを、情報送受信部２１を介してロボット１に送信する。
【００３８】
次に動作を説明する。
【００３９】
図５は、カメラ１１で撮像された撮像画像を表示部２３に表示する際のカメラシステムの動作の一例を説明するためのフローチャートである。
【００４０】
先ず、ロボット１の頭部１０に備わったカメラ１１が周囲を撮像して撮像画像を取得し、その撮像画像をメモリ書込み制御部１４に出力する（ステップＳ５１）。
【００４１】
メモリ書込み制御部１４は、撮像画像を受け付けると、頭部１０の回転角度を頭角度検出部１３から取得して撮像画像に付加し、その回転角度が付加された撮像画像を画像メモリ１５に書き込む（ステップＳ５２）。
【００４２】
画像処理部１６は、画像メモリ１５に撮像画像が書き込まれたことを検出し、画像メモリ１５から撮像画像を取得する。画像処理部１６は、その撮像画像に対して画像処理を行い、その画像処理を行った撮像画像である加工画像を情報送受信部１７に出力する（ステップＳ５３）。
【００４３】
図６は、画像処理前の撮像画像である元画像と、画像処理後の撮像画像である加工画像との一例を示す図である。なお、画像処理としては、所定領域に半透明のマスクを付加する処理が用いられている。
【００４４】
図６で示したように、元画像６１では、横に並んだ対話相手５〜７が全て鮮明に映されているが、加工画像６２では、対話相手５〜７のうち、中央にいる対話相手６は鮮明に映っているが、所定領域６３内に映っている対話相手５および７は、ぼやけている。
【００４５】
図５の説明に戻る。情報送受信部１７は、加工画像を受け付けると、その加工画像を通信網３を介してユーザ端末２の情報送受信部２１に送信する（ステップＳ５４）。
【００４６】
情報送受信部２１は、加工画像を受信すると、その加工画像を表示処理部２２に出力する。表示処理部２２は、加工画像を受け付けると、その加工画像を表示部２３に表示する（ステップＳ５５）。
【００４７】
図７は、ロボット１の操作に係るカメラシステムの動作の一例を説明するためのフローチャートである。
【００４８】
先ず、入力処理部２５は、操作部２４に対して操作コマンドの入力操作があったか否かを確認する（ステップＳ７１）。
【００４９】
入力操作があった場合、入力処理部２５は、その操作コマンドを情報送受信部２１に出力する。情報送受信部２１は、操作コマンドを受け付けると、その操作コマンドを通信網３を介してロボット１の情報送受信部１７に送信する（ステップＳ７２）。
【００５０】
情報送受信部１７は、操作コマンドを受信すると、その操作コマンドをモータ制御部１８に出力する。モータ制御部１８は、操作コマンドを受け付けると、その操作コマンドが示す回転角度だけ頭部１０が回転するようにモータ１２を駆動する（ステップＳ７３）。このモータ１２の駆動によって頭部１０が回転し、カメラ１１の向きが変化する（ステップＳ７４）。
【００５１】
以上説明したように本実施形態によれば、画像処理部１６は、カメラ１１で撮像された撮像画像に対して、その撮像画像内の所定領域を加工する画像処理を行って、加工画像を生成する。また、表示部２３は、加工画像を表示する。操作部２４は、カメラの向きを示す操作コマンドを受け付ける。モータ制御部１８は、操作コマンドに応じてカメラ１１の向きを調整する。
【００５２】
したがって、撮像画像内の所定領域が加工された加工画像が表示されるので、ユーザ４が所定領域内に映っている人物の表情などを正確に把握することが困難になる。このため、ユーザ４は、所定領域に映っている人物の表情を見る場合には、操作コマンドを入力してカメラ１１の向きを所定領域内に映っている人物に向ける必要がある。したがって、カメラ１１がユーザ４の注目箇所に向くことになり、対話相手はユーザ４の注目箇所をカメラ１１の向きから把握することが可能になる。このため、ミスコミュニケーションの発生を軽減することができる。
【００５３】
また、光学的なフィルターなどを用いて、カメラ１１の視野角を調整する場合とは異なり、ユーザ４は所定領域内の人間の存在の有無や大まかな動きなどを把握することができる。このため、所定領域が人間の周辺視野のような役割を果たし、所定領域内の変化に合わせてカメラ１１を動かすことなどができるため、高操作性を確保することが可能になる。
【００５４】
また本実施形態では、カメラ１１がロボット１の頭部１０に設けられているので、カメラ１１の向きとロボットの視線とを合わせることができる。このため、対話相手は、容易かつ直感的にユーザ４が注目している箇所を把握することができる。
【００５５】
次に本発明の第２の実施形態について説明する。
【００５６】
図８は、本実施形態のロボット１の機能的な構成を示す図である。図８で示されたロボット１は、図１で示した構成に加えて、音声取得部８１と、音声処理部８２とをさらに有する。
【００５７】
音声取得部８１は、周囲の音声を音声データとして取得する。
【００５８】
音声処理部８２は、音声取得部８１が取得した音声データに基づいて、音声データが示す音声の音源の方向である音源方向を特定する。
【００５９】
例えば、音声取得部８１は複数の位置のそれぞれに設けられた複数のマイクを有し、音声処理部８２は、各マイクで取得された各音声データの時間差を算出し、その時間差に基づいて、音源方向を特定する。
【００６０】
モータ制御部１８は、音声処理部８２で特定された音源方向に応じてモータ１２を駆動させることで、頭部１０を回転させて、カメラ１１の向きを調整する。
【００６１】
例えば、モータ制御部１８は、音源方向と頭部１０の回転角度との対応関係を示すテーブルを予め保持しておく。なお、音源方向と頭部１０の回転角度との対応関係は、カメラ１１の向きが音源方向を向くように決定されているものとする。
【００６２】
そして、モータ制御部１８は、テーブルを用いて、音源方向に対応する回転角度を求め、その回転角度だけ頭部１０が回転するようにモータ１２を駆動して、カメラ１１を音源方向に向ける。
【００６３】
以上説明したように本実施形態では、音源方向に応じてカメラ１１の向きを調整されるので、カメラ１１をユーザ４が注目することが多い発言者の顔などに向けることが可能になる。このため、ユーザ４が操作コマンドを入力しなくても、カメラ１１の向きを調整することができるので、操作性を向上させることが可能になる。
【００６４】
また、画像処理部１６は、撮像画像に対して画像認識処理行い、撮像画像内の予め定められた検出対象物（例えば、人間の顔など）の位置を特定する。そして、モータ制御部１８は、その検出対象物の位置に応じて、モータ１２を駆動させることで頭部１０を回転させて、カメラ１１向きを調整してもよい。
【００６５】
例えば、画像処理部１６は、撮像画像の中心点からの検出対象物までの距離と方向とを検出対象物の位置として示すコマンドをモータ制御部１８に出力する。モータ制御部１８は、そのコマンドが示す距離および方向に基づいて、カメラ１１が検出対象物を向くような回転角度を求め、その回転角度だけ頭部１０が回転するようにモータ１２を駆動して、カメラ１１を検出対象物に向ける。
【００６６】
この場合、検出対象物の位置に応じてカメラの向きが調整されるので、カメラ１１をユーザ４が注目することが多い対話相手の顔などに向けることが可能になる。このため、ユーザ４が操作コマンドを入力しなくても、カメラ１１の向きを調整することができるので、操作性を向上させることが可能になる。
【００６７】
以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００６８】
例えば、カメラ１１は、広角カメラの代わりに、複数のカメラ装置で構成されてもよい。この場合、画像処理部１６は、例えば、各カメラ装置で撮像された複数の撮像画像を合成して大きな画像を生成し、その大きな画像に対して画像処理を行って加工画像を生成する。
【００６９】
また、画像メモリ１５が過去の撮像画像をさらに記録し、画像処理部１６は、画像メモリ１５内の過去の撮像画像と現在の撮像画像を合成してもよい。このとき、撮像画像のみをリアルタイムに更新し、過去の撮像画像は一定にしておいたり、周期的に変更したりしてもよい。
【００７０】
また、画像処理部１６はユーザ端末２に備わっていてもよい。
【符号の説明】
【００７１】
１ ロボット
２ ユーザ端末
３ 通信網
１０ 頭部
１０’ 胴体部
１１ カメラ
１２ モータ
１３ 頭角度検出部
１４ メモリ書き込み制御部
１５ 画像メモリ
１６ 画像処理部
１７、２１ 情報送受信部
１８ モータ制御部
２２ 表示処理部
２３ 表示部
２４ 操作部
２５ 入力処理部
８１ 音声取得部
８２ 音声処理部
【特許請求の範囲】
【請求項１】
カメラと、
前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行って、加工画像を生成する画像処理部と、
前記加工画像を表示する表示部と、
前記カメラの向きを示すコマンドを受け付ける操作部と、
前記コマンドに応じて前記カメラの向きを調整する調整部と、を有するカメラシステム。
【請求項２】
前記画像処理は、前記所定領域の鮮明度を下げる処理を含む、請求項１に記載のカメラシステム。
【請求項３】
前記画像処理は、前記所定領域に映されている予め定められた対象物を変化させる処理を含む、請求項１または２に記載のカメラシステム。
【請求項４】
前記画像処理は、前記所定領域にマスクを合成する処理を含む、請求項１ないし３のいいずれか１項に記載のカメラシステム。
【請求項５】
胴体部と、前記胴体部の上に設けられた回転可能な頭部と、を有するロボット装置をさらに有し、
前記カメラは、前記頭部に設けられ、
前記調整部は、前記頭部を回転させて前記カメラの向きを調整する、請求項１ないし４のいずれか１項に記載のカメラシステム。
【請求項６】
前記ロボット装置と通信可能な端末装置を更に有し、
前記ロボット装置は、前記調整部および前記画像処理部を有し、
前記端末装置は、前記操作部と前記表示部とを有する、請求項５に記載のカメラシステム。
【請求項７】
前記ロボット装置は、音声取得部と、音声処理部とをさらに有し、
前記音声取得部は、周囲の音声を音声データとして取得し、
前記音声処理部は、前記音声データに基づいて、前記音声の音源の方向を特定し、
前記調整部は、前記音源の方向に応じて、前記カメラの向きを調整する、請求項５または６に記載のカメラシステム。
【請求項８】
前記画像処理部は、前記撮像画像内の予め定められた検出対象物の位置を特定し、
前記調整部は、前記検出対象物の位置に応じて、前記カメラの向きを調整する、請求項１ないし７のいずれか１項に記載のカメラシステム。
【請求項９】
カメラを備えたカメラシステムの制御方法であって、
前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行った加工画像を生成し、
前記加工画像を表示し、
前記カメラの向きを示すコマンドを受け付け、
前記コマンドに応じて前記カメラの向きを調整する、カメラシステムの制御方法。
【請求項１】
カメラと、
前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行って、加工画像を生成する画像処理部と、
前記加工画像を表示する表示部と、
前記カメラの向きを示すコマンドを受け付ける操作部と、
前記コマンドに応じて前記カメラの向きを調整する調整部と、を有するカメラシステム。
【請求項２】
前記画像処理は、前記所定領域の鮮明度を下げる処理を含む、請求項１に記載のカメラシステム。
【請求項３】
前記画像処理は、前記所定領域に映されている予め定められた対象物を変化させる処理を含む、請求項１または２に記載のカメラシステム。
【請求項４】
前記画像処理は、前記所定領域にマスクを合成する処理を含む、請求項１ないし３のいいずれか１項に記載のカメラシステム。
【請求項５】
胴体部と、前記胴体部の上に設けられた回転可能な頭部と、を有するロボット装置をさらに有し、
前記カメラは、前記頭部に設けられ、
前記調整部は、前記頭部を回転させて前記カメラの向きを調整する、請求項１ないし４のいずれか１項に記載のカメラシステム。
【請求項６】
前記ロボット装置と通信可能な端末装置を更に有し、
前記ロボット装置は、前記調整部および前記画像処理部を有し、
前記端末装置は、前記操作部と前記表示部とを有する、請求項５に記載のカメラシステム。
【請求項７】
前記ロボット装置は、音声取得部と、音声処理部とをさらに有し、
前記音声取得部は、周囲の音声を音声データとして取得し、
前記音声処理部は、前記音声データに基づいて、前記音声の音源の方向を特定し、
前記調整部は、前記音源の方向に応じて、前記カメラの向きを調整する、請求項５または６に記載のカメラシステム。
【請求項８】
前記画像処理部は、前記撮像画像内の予め定められた検出対象物の位置を特定し、
前記調整部は、前記検出対象物の位置に応じて、前記カメラの向きを調整する、請求項１ないし７のいずれか１項に記載のカメラシステム。
【請求項９】
カメラを備えたカメラシステムの制御方法であって、
前記カメラで撮像された撮像画像に対して、当該撮像画像内の所定領域を加工する画像処理を行った加工画像を生成し、
前記加工画像を表示し、
前記カメラの向きを示すコマンドを受け付け、
前記コマンドに応じて前記カメラの向きを調整する、カメラシステムの制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１７５１３６（Ｐ２０１２−１７５１３６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３１９４５（Ｐ２０１１−３１９４５）
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]