映像情報処理装置および方法
【課題】 相手の都合を気にして連絡するのを躊躇し、日常的なコミュニケーションのきっかけがない。
【解決手段】 第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、第一の現実空間における第一の事象を認識する。第一の端末とは異なる第二のユーザが存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の現実空間における第二の事象を認識する。第一の事象、及び、第二の事象に基づいて、第一のユーザ及び第二のユーザが第一の事象及び第二の事象を双方向に提示するか否かを判定する。双方向判定工程の判定の結果及び第二の撮影映像に基づいて、第一のユーザに提示する第一の提示映像を生成する。双方向判定工程の判定の結果及び第一の撮影映像に基づいて、第二のユーザに提示する第二の提示映像を生成する。
【解決手段】 第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、第一の現実空間における第一の事象を認識する。第一の端末とは異なる第二のユーザが存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の現実空間における第二の事象を認識する。第一の事象、及び、第二の事象に基づいて、第一のユーザ及び第二のユーザが第一の事象及び第二の事象を双方向に提示するか否かを判定する。双方向判定工程の判定の結果及び第二の撮影映像に基づいて、第一のユーザに提示する第一の提示映像を生成する。双方向判定工程の判定の結果及び第一の撮影映像に基づいて、第二のユーザに提示する第二の提示映像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔コミュニケーションする双方の事象に応じて、適切なコミュニケーションチャンネルを選択し、遠隔コミュニケーションを実施する装置および方法に関する。
【背景技術】
【０００２】
昨今の核家族化や単身赴任などにより、家族間の日常的なコミュニケーションが疎遠になりつつある。相手の都合を気にして連絡を躊躇し、コミュニケーションのきっかけがつかめないなど、互いの生活状況を共有することが難しい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３１４９６３
【特許文献２】特開２００１−１１９７４９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、相手の存在を確認すると、コミュニケーションを開始することが開示されている。しかし、この技術は、知らせたくないプライベートなことまで知られる場合があるという課題があった。
【０００５】
特許文献２には、電車の中や病院の中にいるときに、携帯電話に着信を受けると、留守番電話などの通信タスクに切り替えることが開示されている。この技術は、コミュニケーションの相手が、いつになったらコミュニケーションを開始できる状況になるか判断することができない。このため、コミュニケーションのきっかけをつかむには不十分であるという課題があった。
【０００６】
以上を鑑み、本発明は、お互いの状態を考慮してプライバシーに配慮し、コミュニケーションのタイミング若しくは内容を判断することにより、コミュニケーションをより有用に提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的は、以下の方法によって達成される。
【０００８】
第一の認識手段が、第一の端末が備える第一の撮影手段によって該第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
第二の認識手段が、前記第一の端末とは異なる第二の端末が備える第二の撮影手段によって該第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、該第二の現実空間における第二の事象を認識する第二の認識工程と、
双方向判定手段が、前記第一の事象、及び、前記第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示するか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【０００９】
また、上記の目的は、以下の方法によっても達成される。
【００１０】
第一の認識手段が、第一の端末が備える第一の撮影手段によって該第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
双方向判定手段が、前記第一の事象、及び、
前記第一の端末とは異なる第二の端末が備える第一の撮影手段によって該第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の認識手段が認識する該第二の現実空間における第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示するか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【発明の効果】
【００１１】
本発明は、お互いの状態を考慮してプライバシーに配慮し、コミュニケーションのタイミング若しくは内容を判断することにより、コミュニケーションをより有用に提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第一の実施形態に係る映像情報処理装置の構成を示す図である。
【図２】第一の実施形態に係る映像情報処理装置の一部である双方向判定部の構成例を示す図である。
【図３】第一の実施形態に係る映像情報処理装置の処理を示す図である。
【図４】第二の実施形態に係る映像情報処理装置の構成を示す図である。
【図５】第二の実施形態に係る映像情報処理装置の処理を示す図である。
【図６】第三の実施形態に係る映像情報処理装置の構成を示す図である。
【図７】第三の実施形態に係る映像情報処理装置の処理を示す図である。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明をその好適な実施形態に従って詳細に説明する。
【００１４】
〔第一の実施形態〕
本実施形態に係る映像情報処理装置は、離れた現実空間に二人のユーザの各々が存在し、双方の空間で認識した事象に応じてコミュニケーションを開始する。
【００１５】
ここでの事象は、ユーザ（人物）または環境（空間）に関するものである。例えば、決められた現実空間において人が存在するか否か、存在する人が誰か、人の移動、表示、姿勢、動作、行動などがある。例えば、現実空間の明るさ、温度、物体の移動などがある。
【００１６】
以下、図１を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
図１は、本実施形態に係る映像情報処理装置１００の概略を示す図である。
【００１７】
映像情報処理装置１００は、不図示の第一の端末部１００−１と第二の端末部１００−２から構成される。第一の端末部１００−１は、第一の撮影部１０１、第一の提示部１１０から構成される。第二の端末部１００−２は、第二の撮影部１０２、第二の提示部１１１で構成される。映像情報処理装置１００は、更に、第一の認識部１０３、双方向判定部１０７、第一の生成部１０８、第二の認識部１０４、第二の生成部１０９から構成される。加えて、第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６、第一のデータ入力部１１２、第二のデータ入力部１１３で構成される。
【００１８】
第一の撮影部１０１は、第一のユーザが存在する第一の現実空間を撮影する。例えば、カメラによって第一のユーザが住む家の居間を撮影する。また、第一の撮影部１０１は、天井から吊り下げられていてもよいし、床や台やテレビの上に据え置いてもよいし、テレビなどの家電に内蔵されていてもよい。また、第一の撮影部１０１は、音声を収録するマイクを更に備えてもよい。また、第一の撮影部１０１は、現実空間の事象について計測する人感センサや温度センサなどを合わせて備えてもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力される。また、第一の撮影映像にその他の音声やセンサの計測結果を伴って出力してもよい。
【００１９】
第二の撮影部１０２は、第二のユーザが存在する第二の現実空間を撮影する。例えば、カメラによって第二のユーザが住む家の居間を撮影する。第二の撮影部１０２は、第一の撮影部１０１と同じ種類のものでよい。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力される。
【００２０】
第一の認識部１０３は、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。例えば、第一のユーザの行動（事象）を認識する。具体的には、居る、家族皆で食事をしている、帰宅した、テレビを見ている、テレビを見終わった、誰もいない、じっとしている、うろうろしている、寝ているなどの行動（事象）がある。例えば、事象の認識を実現する方法として、撮影映像から抽出される人物の位置や動きや抽出時間を事前にリスト化したものから見つけることにより、行動を認識してもよい。例えば、事象の認識を実現する方法として、カメラに備えたセンサの計測結果を用いてもよい。例えば、第一の認識部の所在は、第一の撮影部と同じ場所でも、遠隔地サーバのようにネットワーク越しに接続された別の場所に置かれた場所にあってもよい。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力される。
【００２１】
第二の認識部１０４は、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。例えば、第二のユーザの行動（事象）を認識する。第二の認識部１０４は、第一の認識部１０３と同じ種類のものでよい。第一の認識部１０４に認識された第一の事象は、双方向判定部１０７へと出力される。
【００２２】
第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持する。
【００２３】
ここでの提示レベルは、事象を相手に提示するときの、提示する映像の詳細度である。例えば、撮影映像のように多い情報を提示する場合は詳細度が高い提示レベルであり、モザイクをかけた撮影映像や、テキスト表示や、光点灯、音のように少ない情報を提示する場合は詳細度が低い提示レベルである。更に、何も提示しないという提示レベルを用意してもよい。ここでは、撮影映像、モザイクをかけた撮影映像、テキスト表示、光点灯、音のような提示する情報の詳細度の高低に合わせて段階的に順位付けしたものを提示レベルの高低と合わせて用いる。具体的には、提示レベルの高低は、詳細度の高い撮影映像を提示する提示レベルは高く、何も提示しないレベルは低い。なお、提示レベルは、後述の第一の生成部１０８、第二の生成部１０９にて生成できる映像の種類に割り当てられているものとする。
【００２４】
ここでの対応づけを持たせるとは、例えば、単に居るという事象は、テキスト表示を行う提示レベルと対応づけを持たせ、食事をしているという事象は、撮影映像を含む提示レベルと対応づけを持たせることができる。また、帰宅したという事象には、何も提示しないレベルと対応づけを持たせることができる。また、例えば、第一のユーザから第二のユーザには容易に提示してもよいが、第三のユーザには提示しないという条件を、対応づけの各々に更に組み合わせてもよい。また、第一のユーザから他のユーザへ、他のユーザから第一のユーザへ提示する事象の各々に提示レベルとの対応づけを持たせてもよい。
【００２５】
これらの事象と提示レベルの第一の対応づけは、後述の第一のデータ入力手段１１２から入力され、第一のレベルデータ保持部１０５で保持される。また、本発明で処理が実行されている途中でも、動的に変更してもよい。
【００２６】
第一のレベルデータ保持部１０５は、双方向判定部１０７から第一の事象を受け取ることで、第一の事象をもつ第一の対応づけが示す提示レベルを、第一の提示レベルとして、双方向判定部１０７に出力する。
【００２７】
第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持する。第二のレベルデータ保持部１０６は、第一のレベルデータ保持部１０７と同じ種類のものでよい。これらの事象と提示レベルの第二の対応づけは、後述の第二のデータ入力手段１１３から入力され、第二のレベルデータ保持部１０６で保持される。第二のレベルデータ保持部１０６は、双方向判定部１０７から第二の事象を受け取ることで、第二の事象をもつ第二の対応づけが示す提示レベルを、第二の提示レベルとして、双方向判定部１０７に出力する。
【００２８】
双方向判定部１０７は、第一の提示レベルと第二の提示レベルを照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能なコミュニケーションのレベルを判定する。
【００２９】
具体的には、双方向判定部１０７は、第一の認識部１０３から第一の事象を受け取り、第二の認識部１０４から第二の事象を受け取る。また、第一のレベルデータ保持手段１０５と第二のレベルデータ保持手段１０６に、第一の事象と第二の事象を送ることで、第一の提示レベルと第二の提示レベルを取得する。
【００３０】
取得した第一の提示レベルと第二の提示レベルを照らし合わせる。第一の提示レベルと第二の提示レベルが同じときは、その同じ提示レベルを互いに実施可能なコミュニケーションレベルと判定する。
【００３１】
もし、第一の提示レベルが第二の提示レベルよりも詳細度が高いとき、第一のユーザは第二のユーザに高い詳細度で提示してもよい状態だが、第二のユーザは第一のユーザに高い詳細度で提示してもよい状態ではない。逆に、第一の提示レベルが第二の提示レベルよりも詳細度が低いとき、第一のユーザは第二のユーザに高い詳細度で提示してもよい状態ではないが、第二のユーザは第一のユーザに高い詳細度で提示してもよい状態である。
【００３２】
そこで、第一のユーザと第二のユーザが互いに同じ提示レベルで表示する場合は、互いの提示に問題のなく、最も詳細度の高い第二の提示レベルを互いに実施可能な提示レベルとして判定する。第一の提示レベルが第二の提示レベルよりも詳細度が低いとき、互いの提示に問題のなく、最も詳細度の高い第一の提示レベルを実施可能な提示レベルとして判定する。
【００３３】
具体的に例を挙げると、第一の提示レベルが詳細度の高い撮影映像を提示する提示レベルで、第二の提示レベルが詳細度の低いテキスト表示を提示する提示レベルである場合、何も表示しない、又は、双方テキスト表示を提示するレベルで表示する判定を行う。
また、互いに同じレベルにならないときは、互いに何も提示しないレベルを判定してもよい。
【００３４】
判定された結果、第二のユーザが第一のユーザに提示する提示レベルは、第一の生成部１０８に出力される。加えて、第一のユーザが第二のユーザに提示する提示レベルは、第二の生成部１０９に出力される。
【００３５】
ここで、双方向判定部１０７は、図１に示すように、第一の認識部１０３および第二の認識部１０４と直接接続しても良いが、それぞれとネットワーク越しに接続しても良い。また、内部に二つのサブシステムを持つように、双方向判定部１０７を構成しても良い。図２に、構成例を３通り示す。
【００３６】
図２（ａ）では、双方向判定部１０７が、第一の認識部１０３と第一の通信部１１４を介してネットワーク越しに接続する。第二の認識部１０４と、第二の通信部１１５を介してネットワーク越しに接続する。双方向判定部１０７は、第一のユーザおよび第二のユーザが存在する現実空間とは別の場所に置かれたサーバなどの装置上に実現される。第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６も同様である。
【００３７】
図２（ｂ）では、双方向判定部１０７が、第一の認識部１０３と直接接続する。第二の認識部１０４と、第一の通信部１１４を介してネットワーク越しに接続する。第一のレベルデータ保持部１０５および第二のレベルデータ保持部１０６は、第一のユーザが存在する第一の現実空間に置かれた装置上に実現される。第二のユーザが存在する第二の現実空間のほうに配置されても良い。
【００３８】
図２（ｃ）では、双方向判定部１０７が、内部に二つのサブシステムを備える。すなわち、第一の判定部１０７−１と第二の判定部１０７−２とを備える。双方が、第三通信部１１６を介して情報をやり取りする。そして、レベル照合部で、第一の提示レベルと、第二の提示レベルを照らし合わせる。これにより、実施可能なコミュニケーションのレベルを判定する。双方向判定部１０７が、第一のユーザと第二のユーザが存在する現実空間にまたがって配置される。
【００３９】
なお、図２には、双方向判定部１０７に接続する第一の認識部１０３、第二の認識部１０４が記載されている。また、第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６が記載されている。第一のユーザと第二のユーザが存在する現実空間に配置しても、第一のユーザと第二のユーザが存在する現実空間以外の現実空間に配置してもよい。
【００４０】
また、図２には第一の生成部１０８および第二の生成部１０９を示していない。これらが置かれる第一のユーザと第二のユーザが存在する現実空間以外に双方向判定部１０７がある場合の接続を述べる。双方向判定部１０７を、通信部を介して、第一の生成部１０８及び第二の生成部１０９に接続する。
【００４１】
第一の生成部１０８は、第一のユーザに提示する第一の提示映像を生成する。これは、双方向判定部１０７より受け取る第二の提示レベルに従う。また、生成には、第二の撮影部１０２が撮影した第二の撮影映像や第二の事象を用いる。
【００４２】
例えば、提示レベルが撮影映像を表示するとき、第二の撮影映像をそのまま第一の提示映像とする。また、第二の事象が食事中であれば、「食事中」という事象を示す文字を合成した映像を第一の提示映像とする。
【００４３】
例えば、提示レベルがテキスト表示のとき、第二の事象を示す「食事中」という文字や、食事を始めた時刻をテキストとして表示した第一の提示映像を生成する。
【００４４】
例えば、提示レベルが光点灯であったならば、第二の事象から就寝中や食事中や外出中を示す色を点すことができる。
【００４５】
例えば、提示レベルが音であったならば、「音声のみ」をテキストとして表示した第一の提示映像を生成する。
生成された第一の提示映像は、第一の提示部１１０に出力される。
【００４６】
第二の生成部１０９は、第二のユーザに提示する第二の提示映像を生成する。これは、双方向判定部１０７から受け取る第一の提示レベルに従う。また、生成には、第一の撮影部１０１が撮影した第一の撮影映像や第一の事象を用いる。第二の生成部１０９は、第一の生成部１０８と同じ種類のものでよい。生成された第二の提示映像は、第二の提示部１１１に出力される。
【００４７】
第一の提示部１１０は、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示する。例えば、ディスプレイやスピーカーなどの複数のコミュニケーションチャンネルで構成され、ディスプレイやプロジェクタによって提示映像が提示される。例えば、電光掲示板でテキストを提示する。
【００４８】
第二の提示部１１１は、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示する。第二の提示部１１１は、第一の提示部と同じ種類のものでよい。
【００４９】
第一のデータ入力部１１２は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを入力する。例えば、マウスとキーボードからなる。ここでの入力では、対応づけを追加、編集、削除を行う。
【００５０】
第二のデータ入力部１１３は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを示すデータを入力する。
以上が、本実施形態にかかる映像情報処理装置１００に関する構成である。
【００５１】
図３に示したフローチャートを用いて、本実施形態の映像情報処理装置１００が行う処理について説明する。
【００５２】
ステップＳ１０１では、第一の撮影部１０１が、第一のユーザが存在する第一の現実空間を撮影する。このとき、第一の現実空間の音声を収録してもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力され、ステップＳ１０２へ進む。
【００５３】
ステップＳ１０２では、第一の認識部１０３が、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力され、ステップＳ１０３へ進む。
【００５４】
ステップＳ１０３では、双方向判定部１０７が、第一の認識部１０３から第一の事象を受け取る。そして、第一のレベルデータ保持手段１０５に、第一の事象を送ることで、第一の提示レベルを取得し、ステップＳ１０４へ進む。なお、第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持している。また、第一のデータ入力部１１２により、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけが入力されているものとする。
【００５５】
ステップＳ１０４では、第二の撮影部１０２が、第二のユーザが存在する第二の現実空間を撮影する。このとき、第二の現実空間の音声を収録してもよい。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力され、ステップＳ１０５へ進む。
【００５６】
ステップＳ１０５では、第二の認識部１０４が、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第二の認識部１０４に認識された第二の事象は、双方向判定部１０７へと出力され、ステップＳ１０６へ進む。
【００５７】
ステップＳ１０６では、双方向判定部１０７は、第二の認識部１０４から第二の事象を受け取る。そして、第二のレベルデータ保持手段１０６に、第二の事象を送ることで、第二の提示レベルを取得し、ステップＳ１０７へ進む。なお、第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持している。また、第二のデータ入力部１１３により、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけが入力されているものとする。
続いてステップＳ１０７へ進む。
【００５８】
ここで、処理の流れをステップＳ１０１からステップＳ１０６まで順に進むように説明してきたが、必ずしもそうでなくても良い。すなわち、ステップＳ１０１のあとにステップＳ１０２があり、その後にステップＳ１０３があるのであればこの３つのステップは連続でなくても良い。ステップＳ１０４のあとにステップＳ１０５があり、その後にステップＳ１０６があるのであればこの３つのステップは連続でなくても良い。例えば、ステップＳ１０１のあとにステップＳ１０４が割り込んでいても良いし、ステップＳ１０４、Ｓ１０５、Ｓ１０６を終えてからステップＳ１０１、Ｓ１０２、Ｓ１０３を実施しても良い。
【００５９】
ステップＳ１０７では、双方向判定部１０７が、第一の提示レベルと第二の提示レベルを照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能なコミュニケーションのレベルを判定する。判定された結果、第二のユーザが第一のユーザに提示する提示レベルは、第一の生成部１０８に出力される。加えて、第一のユーザが第二のユーザに提示する提示レベルは、第二の生成部１０９に出力される。
【００６０】
ステップＳ１０８では、双方向判定部１０７で、互いに提示可能なコミュニケーションレベルが得られたかを判定する。互いに提示可能なコミュニケーションの提示レベルが得られないときは、ステップＳ１０１に戻る。互いに提示可能なコミュニケーションの提示レベルが得られたときは、ステップＳ１０９へ進む。
【００６１】
ステップＳ１０９では、第一の生成部１０８が、第一のユーザに提示する第一の提示映像を生成する。生成された第一の提示映像は、第一の提示部１１０に出力され、ステップＳ１１０へ進む。
【００６２】
ステップＳ１１０では、第一の提示部１１０が、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示し、ステップＳ１１１へ進む。
【００６３】
ステップＳ１１１では、第二の生成部１０９が、第二のユーザに提示する第二の提示映像を生成する。生成された第二の提示映像は、第二の提示部１１１に出力され、ステップＳ１１２へ進む。
【００６４】
ステップＳ１１２では、第二の提示部１１１が、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示し、Ｓ１０１に戻る。
【００６５】
ここで、処理の流れをステップＳ１０９からステップＳ１１２まで順に進むように説明してきたが、必ずしもそうでなくても良い。すなわち、ステップＳ１０９のあとにステップＳ１１０があるのであればこの２つのステップは連続でなくても良い。ステップＳ１１１のあとにステップＳ１１２があるのであればこの２つのステップは連続でなくても良い。例えば、ステップＳ１０９のあとにステップＳ１１１が割り込んでいても良い。ステップＳ１１１、Ｓ１１２を終えてからステップＳ１０９、Ｓ１１０を実施しても良い。
【００６６】
なお、本実施形態の説明では二人のユーザ間のコミュニケーションに適用する事例を取り上げた。三人以上のユーザ間のコミュニケーションにも適用するときも、二者間で提示すればよい。
【００６７】
以上の処理によって、映像情報処理装置１００は、常に二つの現実空間の撮影映像を認識し、その双方の事象に応じて提示する。それぞれの空間における事象は時々刻々と変更すると、その事象変化に応じて提示レベルも変わる。ユーザの明示的なインタラクションなしに自動的に始まる。例えば、双方とも食事をしている事象では撮影映像を含む提示での事象の提示も受け取りも許可すると、それぞれの食事時間が一致したときに、自動的に提示映像を介して双方の空間がつながる。これにより、離れている二者間での仮想的な食事の団らんが自然に実現する。
【００６８】
本実施形態によれば、例えば、離れている二人ないしそれ以上のユーザは、事前にこの事象の時には、このレベルのコミュニケーションならば実施して良いという条件を指定する。その条件が双方で折り合う場合には、自動的に両者が了解しているレベルのコミュニケーションを始めることができる。このコミュニケーションでは、ユーザ自身がコミュニケーションをしようと思うきっかけがなくてもよい。両者の了解しているレベルに応じたコミュニケーションチャンネルが選ばれるので、相手の都合を気にせずにコミュニケーションを始めることができる。
【００６９】
〔第二の実施形態〕
第一の実施形態では実時間の遠隔コミュニケーションを自動的に開始した。一方、第二の実施形態では時間差のある遠隔コミュニケーションを自動的に開始する。
【００７０】
以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
図４は、本実施形態に係る映像情報処理装置２００の概略を示す図である。図４に示すように、映像情報処理装置２００は、第一の撮影部１０１、第二の撮影部１０２、第一の認識部１０３、第二の認識部１０４で構成される。更に、第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６、双方向判定部１０７で構成される。加えて、第二の生成部１０９、第二の提示部１１１、第一の記録部２０１から構成される。加えて、第一の生成部１０８、第一の提示部１１０、第二の記録部２０２から構成される。図１に示した映像情報処理装置１００と同様の構成には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。
【００７１】
第一の撮影部１０１は、第一のユーザが存在する第一の現実空間を撮影する。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力される。
【００７２】
第二の撮影部１０２は、第二のユーザが存在する第二の現実空間を撮影する。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力される。
【００７３】
第一の認識部１０３は、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力される。
【００７４】
第二の認識部１０４は、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第一の認識部１０４に認識された第一の事象は、双方向判定部１０７へと出力される。
【００７５】
第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持する。第一のレベルデータ保持部１０５は、双方向判定部１０７から第一の事象を受け取ることで、第一の事象をもつ第一の対応づけが示す提示レベルを、第一の提示レベルとして、双方向判定部１０７に出力する。
【００７６】
第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持する。第二のレベルデータ保持部１０６は、双方向判定部１０７から第二の事象を受け取ることで、第二の事象をもつ第二の対応づけが示す提示レベルを、第二の提示レベルとして、双方向判定部１０７に出力する。
【００７７】
双方向判定部１０７は、第一の提示レベルと第二の提示レベルを照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能なコミュニケーションのレベルを判定する。判定された結果、第二のユーザが第一のユーザに提示する提示レベルは、第一の生成部１０８に出力される。加えて、第一のユーザが第二のユーザに提示する提示レベルは、第二の生成部１０９に出力される。
【００７８】
また、判定した結果、互いに実施可能なコミュニケーションレベルが提示しないレベルであった場合、後述の第一の記録部２０１と第二の記録部２０２に、撮影映像及び認識された事象を記録する指示を出力する。記録を開始してから、互いに実施可能なコミュニケーションレベルが提示可能な提示レベルとなったときに、記録された映像情報を元に提示画像を生成するよう第一の生成部１０８と第二の生成部１０９に指示を出力する。提示しないレベルが所定の時間を経過しても変化されないときは、記録されてから所定の時間が経過した撮影映像や事象を削除する指示を、第一の記録部２０１と第二の記録部２０２に出力する。
【００７９】
第一の生成部１０８は、第一のユーザに提示する第一の提示映像を生成する。例えば、第一の提示映像は、ある一時点の撮影映像および事象だけを使って生成してもよい。複数の時点の撮影映像および事象を使って生成してもよい。具体的には、複数時点の撮影映像によるスライドショーや、複数撮影映像から一部ずつを抜き出してつないだダイジェスト映像や、複数の事象の分布表などがある。生成された第一の提示映像は、第一の提示部１１０に出力される。
【００８０】
第二の生成部１０９は、第二のユーザに提示する第二の提示映像を生成する。第二の生成部１０９は、第一の生成部と同じものでよい。生成された第二の提示映像は、第二の提示部１１１に出力される。
【００８１】
第一の提示部１１０は、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示する。
【００８２】
第二の提示部１１１は、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示する。
【００８３】
第一のデータ入力部１１２は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを入力する。
【００８４】
第二のデータ入力部１１３は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを入力する。
【００８５】
第一の記録部２０１は、第一の撮影部１０１から送られてくる第一の撮影映像および第一の認識部１０３から送られてくる第一の事象と記録時間を記録する。例えば、データサーバである。記録してから所定の時間が経過し、記録してから所定の時間を経過したデータを削除する指示を双方向判定部１０７から受け取ると、対象となるデータを削除する。記録された第一の撮影映像、第一の事象、及び、記録時間は、双方向判定部１０７に出力する。
【００８６】
第二の記録部２０２は、第二の撮影部１０２から送られてくる第二の撮影映像および第二の認識部１０４から送られてくる第二の事象と記録時間を記録する。記録してから所定の時間が経過し、記録してから所定の時間を経過したデータを削除する指示を双方向判定部１０７から受け取ると、対象となるデータを削除する。記録された第二の撮影映像、第二の事象、及び、記録時間は、双方向判定部１０７に出力する。
以上が、本実施形態にかかる映像情報処理装置２００に関する構成である。
【００８７】
図５に示したフローチャートを用いて、本実施形態の映像情報処理装置２００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、ＲＡＭやＲＯＭなどのメモリ内に格納され、ＣＰＵなどにより読み出され、実行される。
【００８８】
ステップＳ２０１では、第一の撮影部１０１が、第一のユーザが存在する第一の現実空間を撮影する。このとき、第一の現実空間の音声を収録してもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力され、ステップＳ２０２へ進む。
【００８９】
ステップＳ２０２では、第一の認識部１０３が、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力され、ステップＳ２０３へ進む。
【００９０】
ステップＳ２０３では、双方向判定部１０７が、第一の認識部１０３から第一の事象を受け取る。そして、第一のレベルデータ保持手段１０５に、第一の事象を送ることで、第一の提示レベルを取得し、ステップＳ２０４へ進む。なお、第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持している。また、第一のデータ入力部１１２により、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけが入力されているものとする。
【００９１】
ステップＳ２０４では、双方向判定部１０７が、取得した第一の提示レベルが、第二のユーザに提示可能な提示レベルであるかを判定する。提示しないレベルのとき、ステップＳ２０１へ戻る。提示可能な提示レベルであるとき、ステップＳ２０５へ進む。
【００９２】
ステップＳ２０５では、第一の記録部２０１が、第一の撮影部１０１から送られてくる第一の撮影映像および第一の認識部１０３から送られてくる第一の事象と記録時間を記録し、ステップＳ２０６へ進む。
【００９３】
ステップＳ２０６では、第二の撮影部１０２が、第二のユーザが存在する第二の現実空間を撮影する。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力され、ステップＳ２０７へ進む。
【００９４】
ステップＳ２０７では、第二の認識部１０４が、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第二の認識部１０４に認識された第二の事象は、双方向判定部１０７へと出力され、ステップＳ２０８へ進む。
【００９５】
ステップＳ２０８では、双方向判定部１０７は、第二の認識部１０４から第二の事象を受け取る。そして、第二のレベルデータ保持手段１０６に、第二の事象を送ることで、第二の提示レベルを取得し、ステップＳ２０９へ進む。なお、第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持している。また、第二のデータ入力部１１３により、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけが入力されているものとする。
【００９６】
ステップＳ２０９では、双方向判定部１０７が、取得した第二の提示レベルが、第一のユーザに提示可能な提示レベルであるかを判定する。提示しないレベルのとき、ステップＳ２１０へ進む。提示可能な提示レベルであるとき、ステップＳ２１１へ進む。
【００９７】
ステップＳ２１０では、双方向判定部１０７が、記録してから所定の時間が経過し、記録してから所定の時間を経過したデータを削除する指示を第一の記録部２０１に出力する。出力部２０１が、双方向判定部１０７から任意のデータを削除する指示を受け取ると、対象となるデータを削除し、ステップＳ２０１へ戻る。
【００９８】
ステップＳ２１１では、双方向判定部１０７が、第一の記録部２０１に記録された第一の撮影映像および第一の事象と記録時間を取得する。取得された第一の撮影映像および第一の事象と記録時間は、第二の生成部に出力され、ステップＳ２１２へ進む。
【００９９】
ステップＳ２１２では、第二の生成部１０９が、第二のユーザに提示する第二の提示映像を生成する。生成された第二の提示映像は、第二の提示部１１１に出力され、ステップＳ２１３へ進む。
【０１００】
ステップＳ２１３では、第二の提示部１１１が、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示し、ステップＳ２０１へ戻る。
【０１０１】
以上の処理によって、映像情報処理装置２００は、二つの現実空間の撮影映像を認識し、その双方の事象に応じて提示する。このとき、映像情報処理装置２００は、映像を受け取る方である第二のユーザの都合が悪いときに、映像提示元である第一のユーザの事象を逐次記録する。映像を受け取る方である第二のユーザの都合が良くなったときに、記録しておいた事象の素材も含めて提示することができる。これにより、映像の受け取り手である第二のユーザは、都合が良くなったときに、過去の事象も含めてまとめて第一のユーザの映像を知ることができる。
【０１０２】
なお、本実施形態における第一のユーザから第二のユーザへの提示は、第二のユーザから第一のユーザへの提示も同様に行ってもよい。
【０１０３】
〔第３の実施形態〕
第１の実施形態および第２の実施形態では、双方向判定部１０７が、第一の事象および第二の事象から第一の提示レベルおよび第二の提示レベルを取得していた。第３の実施形態では、提示レベルの取得を行うことなく、判定を行う。具体的には、第一の事象および第二の事象が特定の状況にあるときに、撮影映像を提示することを判定する。
【０１０４】
図６は、本実施形態に係る映像情報処理装置３００の概略を示す図である。図４に示すように、映像情報処理装置３００は、第一の撮影部１０１、第二の撮影部１０２、第一の認識部１０３、第二の認識部１０４、双方向判定部１０７で構成される。加えて、第二の生成部１０９、第二の提示部１１１から構成される。加えて、第一の生成部１０８、第一の提示部１１０から構成される。図１に示した映像情報処理装置１００と同様の構成には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。
【０１０５】
第一の撮影部１０１は、第一のユーザが存在する第一の現実空間を撮影する。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力される。
【０１０６】
第二の撮影部１０２は、第二のユーザが存在する第二の現実空間を撮影する。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力される。
【０１０７】
第一の認識部１０３は、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力される。
【０１０８】
第二の認識部１０４は、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第一の認識部１０４に認識された第一の事象は、双方向判定部１０７へと出力される。
【０１０９】
双方向判定部１０７は、第一の事象と第二の事象を照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能か否かを判定する。例えば、互いに食事中のときのみ互いに提示すると判定する。具体的には、第一のユーザが食事中であり、第二のユーザも同じく食事中であれば、互いに提示する判定を行う。一方、第一のユーザが食事中でも、第二のユーザが食事以外のとき、提示しない判定を行う。判定された結果、第二の撮影映像と第二の事象は、第一の生成部１０８に出力され、第一の撮影映像と第一の事象は、第二の生成部１０９に出力される。
【０１１０】
第一の生成部１０８は、第一のユーザに提示する第一の提示映像を生成する。例えば、第一の提示映像は、第二の撮影映像に、食事のメニューをテキスト合成してもよい。生成された第一の提示映像は、第一の提示部１１０に出力される。
【０１１１】
第二の生成部１０９は、第二のユーザに提示する第二の提示映像を生成する。第二の生成部１０９は、第一の生成部と同じものでよい。生成された第二の提示映像は、第二の提示部１１１に出力される。
【０１１２】
第一の提示部１１０は、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示する。
【０１１３】
第二の提示部１１１は、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示する。
【０１１４】
図７に示したフローチャートを用いて、本実施形態の映像情報処理装置３００が行う処理について説明する。
【０１１５】
ステップＳ３０１では、第一の撮影部１０１が、第一のユーザが存在する第一の現実空間を撮影する。このとき、第一の現実空間の音声を収録してもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力され、ステップＳ３０２へ進む。
【０１１６】
ステップＳ３０２では、第一の認識部１０３が、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部３０３に認識された第一の事象は、双方向判定部１０７へと出力され、ステップＳ１０３へ進む。
【０１１７】
ステップＳ３０３では、第二の撮影部１０２が、第二のユーザが存在する第二の現実空間を撮影する。このとき、第二の現実空間の音声を収録してもよい。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力され、ステップＳ３０４へ進む。
【０１１８】
ステップＳ３０４では、第二の認識部１０４が、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第二の認識部１０４に認識された第二の事象は、双方向判定部１０７へと出力され、ステップＳ３０５へ進む。
【０１１９】
ステップＳ３０５では、双方向判定部１０７が、第一の事象と第二の事象を照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能か否かを判定し、ステップＳ３０６へ進む。
【０１２０】
ステップＳ３０６では、提示しないと判定された場合、ステップＳ３０１へ戻る。互いに提示すると判定された場合、第二の撮影映像と第二の事象は、第一の生成部１０８に出力され、第一の撮影映像と第一の事象は、第二の生成部１０９に出力され、ステップＳ３０７へ進む。
【０１２１】
ステップＳ３０７では、第一の生成部１０８が、第一のユーザに提示する第一の提示映像を生成する。生成された第一の提示映像は、第一の提示部１１０に出力され、ステップＳ３０８へ進む。
【０１２２】
ステップＳ３０８では、第一の提示部１１０が、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示し、ステップＳ３０９へ進む。
【０１２３】
ステップＳ３０９では、第二の生成部１０９が、第二のユーザに提示する第二の提示映像を生成する。生成された第二の提示映像は、第二の提示部１１１に出力され、ステップＳ３１０へ進む。
【０１２４】
ステップＳ３１０では、第二の提示部１１１が、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示し、Ｓ３０１に戻る。
【０１２５】
以上の処理によって、映像情報処理装置３００は、常に二つの現実空間の撮影映像を認識し、その双方の事象に応じて提示する。それぞれの空間における事象は時々刻々と変更すると、ユーザの明示的なインタラクションなしに自動的に始まる。例えば、双方とも食事をしている事象では撮影映像を含む提示での事象の提示も受け取りも許可すると、それぞれの食事時間が一致したときに、自動的に提示映像を介して双方の空間がつながる。これにより、離れている二者間での仮想的な食事の団らんが自然に実現する。
【０１２６】
〔その他の実施形態〕
図６は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク６０７又は各種のコンピュータ読み取り可能な記憶媒体６０２、６０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ６０１（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【産業上の利用可能性】
【０１２７】
遠隔コミュニケーションにて利用できる。
【技術分野】
【０００１】
本発明は、遠隔コミュニケーションする双方の事象に応じて、適切なコミュニケーションチャンネルを選択し、遠隔コミュニケーションを実施する装置および方法に関する。
【背景技術】
【０００２】
昨今の核家族化や単身赴任などにより、家族間の日常的なコミュニケーションが疎遠になりつつある。相手の都合を気にして連絡を躊躇し、コミュニケーションのきっかけがつかめないなど、互いの生活状況を共有することが難しい。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３１４９６３
【特許文献２】特開２００１−１１９７４９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、相手の存在を確認すると、コミュニケーションを開始することが開示されている。しかし、この技術は、知らせたくないプライベートなことまで知られる場合があるという課題があった。
【０００５】
特許文献２には、電車の中や病院の中にいるときに、携帯電話に着信を受けると、留守番電話などの通信タスクに切り替えることが開示されている。この技術は、コミュニケーションの相手が、いつになったらコミュニケーションを開始できる状況になるか判断することができない。このため、コミュニケーションのきっかけをつかむには不十分であるという課題があった。
【０００６】
以上を鑑み、本発明は、お互いの状態を考慮してプライバシーに配慮し、コミュニケーションのタイミング若しくは内容を判断することにより、コミュニケーションをより有用に提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的は、以下の方法によって達成される。
【０００８】
第一の認識手段が、第一の端末が備える第一の撮影手段によって該第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
第二の認識手段が、前記第一の端末とは異なる第二の端末が備える第二の撮影手段によって該第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、該第二の現実空間における第二の事象を認識する第二の認識工程と、
双方向判定手段が、前記第一の事象、及び、前記第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示するか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【０００９】
また、上記の目的は、以下の方法によっても達成される。
【００１０】
第一の認識手段が、第一の端末が備える第一の撮影手段によって該第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
双方向判定手段が、前記第一の事象、及び、
前記第一の端末とは異なる第二の端末が備える第一の撮影手段によって該第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の認識手段が認識する該第二の現実空間における第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示するか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【発明の効果】
【００１１】
本発明は、お互いの状態を考慮してプライバシーに配慮し、コミュニケーションのタイミング若しくは内容を判断することにより、コミュニケーションをより有用に提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第一の実施形態に係る映像情報処理装置の構成を示す図である。
【図２】第一の実施形態に係る映像情報処理装置の一部である双方向判定部の構成例を示す図である。
【図３】第一の実施形態に係る映像情報処理装置の処理を示す図である。
【図４】第二の実施形態に係る映像情報処理装置の構成を示す図である。
【図５】第二の実施形態に係る映像情報処理装置の処理を示す図である。
【図６】第三の実施形態に係る映像情報処理装置の構成を示す図である。
【図７】第三の実施形態に係る映像情報処理装置の処理を示す図である。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明をその好適な実施形態に従って詳細に説明する。
【００１４】
〔第一の実施形態〕
本実施形態に係る映像情報処理装置は、離れた現実空間に二人のユーザの各々が存在し、双方の空間で認識した事象に応じてコミュニケーションを開始する。
【００１５】
ここでの事象は、ユーザ（人物）または環境（空間）に関するものである。例えば、決められた現実空間において人が存在するか否か、存在する人が誰か、人の移動、表示、姿勢、動作、行動などがある。例えば、現実空間の明るさ、温度、物体の移動などがある。
【００１６】
以下、図１を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
図１は、本実施形態に係る映像情報処理装置１００の概略を示す図である。
【００１７】
映像情報処理装置１００は、不図示の第一の端末部１００−１と第二の端末部１００−２から構成される。第一の端末部１００−１は、第一の撮影部１０１、第一の提示部１１０から構成される。第二の端末部１００−２は、第二の撮影部１０２、第二の提示部１１１で構成される。映像情報処理装置１００は、更に、第一の認識部１０３、双方向判定部１０７、第一の生成部１０８、第二の認識部１０４、第二の生成部１０９から構成される。加えて、第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６、第一のデータ入力部１１２、第二のデータ入力部１１３で構成される。
【００１８】
第一の撮影部１０１は、第一のユーザが存在する第一の現実空間を撮影する。例えば、カメラによって第一のユーザが住む家の居間を撮影する。また、第一の撮影部１０１は、天井から吊り下げられていてもよいし、床や台やテレビの上に据え置いてもよいし、テレビなどの家電に内蔵されていてもよい。また、第一の撮影部１０１は、音声を収録するマイクを更に備えてもよい。また、第一の撮影部１０１は、現実空間の事象について計測する人感センサや温度センサなどを合わせて備えてもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力される。また、第一の撮影映像にその他の音声やセンサの計測結果を伴って出力してもよい。
【００１９】
第二の撮影部１０２は、第二のユーザが存在する第二の現実空間を撮影する。例えば、カメラによって第二のユーザが住む家の居間を撮影する。第二の撮影部１０２は、第一の撮影部１０１と同じ種類のものでよい。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力される。
【００２０】
第一の認識部１０３は、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。例えば、第一のユーザの行動（事象）を認識する。具体的には、居る、家族皆で食事をしている、帰宅した、テレビを見ている、テレビを見終わった、誰もいない、じっとしている、うろうろしている、寝ているなどの行動（事象）がある。例えば、事象の認識を実現する方法として、撮影映像から抽出される人物の位置や動きや抽出時間を事前にリスト化したものから見つけることにより、行動を認識してもよい。例えば、事象の認識を実現する方法として、カメラに備えたセンサの計測結果を用いてもよい。例えば、第一の認識部の所在は、第一の撮影部と同じ場所でも、遠隔地サーバのようにネットワーク越しに接続された別の場所に置かれた場所にあってもよい。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力される。
【００２１】
第二の認識部１０４は、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。例えば、第二のユーザの行動（事象）を認識する。第二の認識部１０４は、第一の認識部１０３と同じ種類のものでよい。第一の認識部１０４に認識された第一の事象は、双方向判定部１０７へと出力される。
【００２２】
第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持する。
【００２３】
ここでの提示レベルは、事象を相手に提示するときの、提示する映像の詳細度である。例えば、撮影映像のように多い情報を提示する場合は詳細度が高い提示レベルであり、モザイクをかけた撮影映像や、テキスト表示や、光点灯、音のように少ない情報を提示する場合は詳細度が低い提示レベルである。更に、何も提示しないという提示レベルを用意してもよい。ここでは、撮影映像、モザイクをかけた撮影映像、テキスト表示、光点灯、音のような提示する情報の詳細度の高低に合わせて段階的に順位付けしたものを提示レベルの高低と合わせて用いる。具体的には、提示レベルの高低は、詳細度の高い撮影映像を提示する提示レベルは高く、何も提示しないレベルは低い。なお、提示レベルは、後述の第一の生成部１０８、第二の生成部１０９にて生成できる映像の種類に割り当てられているものとする。
【００２４】
ここでの対応づけを持たせるとは、例えば、単に居るという事象は、テキスト表示を行う提示レベルと対応づけを持たせ、食事をしているという事象は、撮影映像を含む提示レベルと対応づけを持たせることができる。また、帰宅したという事象には、何も提示しないレベルと対応づけを持たせることができる。また、例えば、第一のユーザから第二のユーザには容易に提示してもよいが、第三のユーザには提示しないという条件を、対応づけの各々に更に組み合わせてもよい。また、第一のユーザから他のユーザへ、他のユーザから第一のユーザへ提示する事象の各々に提示レベルとの対応づけを持たせてもよい。
【００２５】
これらの事象と提示レベルの第一の対応づけは、後述の第一のデータ入力手段１１２から入力され、第一のレベルデータ保持部１０５で保持される。また、本発明で処理が実行されている途中でも、動的に変更してもよい。
【００２６】
第一のレベルデータ保持部１０５は、双方向判定部１０７から第一の事象を受け取ることで、第一の事象をもつ第一の対応づけが示す提示レベルを、第一の提示レベルとして、双方向判定部１０７に出力する。
【００２７】
第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持する。第二のレベルデータ保持部１０６は、第一のレベルデータ保持部１０７と同じ種類のものでよい。これらの事象と提示レベルの第二の対応づけは、後述の第二のデータ入力手段１１３から入力され、第二のレベルデータ保持部１０６で保持される。第二のレベルデータ保持部１０６は、双方向判定部１０７から第二の事象を受け取ることで、第二の事象をもつ第二の対応づけが示す提示レベルを、第二の提示レベルとして、双方向判定部１０７に出力する。
【００２８】
双方向判定部１０７は、第一の提示レベルと第二の提示レベルを照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能なコミュニケーションのレベルを判定する。
【００２９】
具体的には、双方向判定部１０７は、第一の認識部１０３から第一の事象を受け取り、第二の認識部１０４から第二の事象を受け取る。また、第一のレベルデータ保持手段１０５と第二のレベルデータ保持手段１０６に、第一の事象と第二の事象を送ることで、第一の提示レベルと第二の提示レベルを取得する。
【００３０】
取得した第一の提示レベルと第二の提示レベルを照らし合わせる。第一の提示レベルと第二の提示レベルが同じときは、その同じ提示レベルを互いに実施可能なコミュニケーションレベルと判定する。
【００３１】
もし、第一の提示レベルが第二の提示レベルよりも詳細度が高いとき、第一のユーザは第二のユーザに高い詳細度で提示してもよい状態だが、第二のユーザは第一のユーザに高い詳細度で提示してもよい状態ではない。逆に、第一の提示レベルが第二の提示レベルよりも詳細度が低いとき、第一のユーザは第二のユーザに高い詳細度で提示してもよい状態ではないが、第二のユーザは第一のユーザに高い詳細度で提示してもよい状態である。
【００３２】
そこで、第一のユーザと第二のユーザが互いに同じ提示レベルで表示する場合は、互いの提示に問題のなく、最も詳細度の高い第二の提示レベルを互いに実施可能な提示レベルとして判定する。第一の提示レベルが第二の提示レベルよりも詳細度が低いとき、互いの提示に問題のなく、最も詳細度の高い第一の提示レベルを実施可能な提示レベルとして判定する。
【００３３】
具体的に例を挙げると、第一の提示レベルが詳細度の高い撮影映像を提示する提示レベルで、第二の提示レベルが詳細度の低いテキスト表示を提示する提示レベルである場合、何も表示しない、又は、双方テキスト表示を提示するレベルで表示する判定を行う。
また、互いに同じレベルにならないときは、互いに何も提示しないレベルを判定してもよい。
【００３４】
判定された結果、第二のユーザが第一のユーザに提示する提示レベルは、第一の生成部１０８に出力される。加えて、第一のユーザが第二のユーザに提示する提示レベルは、第二の生成部１０９に出力される。
【００３５】
ここで、双方向判定部１０７は、図１に示すように、第一の認識部１０３および第二の認識部１０４と直接接続しても良いが、それぞれとネットワーク越しに接続しても良い。また、内部に二つのサブシステムを持つように、双方向判定部１０７を構成しても良い。図２に、構成例を３通り示す。
【００３６】
図２（ａ）では、双方向判定部１０７が、第一の認識部１０３と第一の通信部１１４を介してネットワーク越しに接続する。第二の認識部１０４と、第二の通信部１１５を介してネットワーク越しに接続する。双方向判定部１０７は、第一のユーザおよび第二のユーザが存在する現実空間とは別の場所に置かれたサーバなどの装置上に実現される。第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６も同様である。
【００３７】
図２（ｂ）では、双方向判定部１０７が、第一の認識部１０３と直接接続する。第二の認識部１０４と、第一の通信部１１４を介してネットワーク越しに接続する。第一のレベルデータ保持部１０５および第二のレベルデータ保持部１０６は、第一のユーザが存在する第一の現実空間に置かれた装置上に実現される。第二のユーザが存在する第二の現実空間のほうに配置されても良い。
【００３８】
図２（ｃ）では、双方向判定部１０７が、内部に二つのサブシステムを備える。すなわち、第一の判定部１０７−１と第二の判定部１０７−２とを備える。双方が、第三通信部１１６を介して情報をやり取りする。そして、レベル照合部で、第一の提示レベルと、第二の提示レベルを照らし合わせる。これにより、実施可能なコミュニケーションのレベルを判定する。双方向判定部１０７が、第一のユーザと第二のユーザが存在する現実空間にまたがって配置される。
【００３９】
なお、図２には、双方向判定部１０７に接続する第一の認識部１０３、第二の認識部１０４が記載されている。また、第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６が記載されている。第一のユーザと第二のユーザが存在する現実空間に配置しても、第一のユーザと第二のユーザが存在する現実空間以外の現実空間に配置してもよい。
【００４０】
また、図２には第一の生成部１０８および第二の生成部１０９を示していない。これらが置かれる第一のユーザと第二のユーザが存在する現実空間以外に双方向判定部１０７がある場合の接続を述べる。双方向判定部１０７を、通信部を介して、第一の生成部１０８及び第二の生成部１０９に接続する。
【００４１】
第一の生成部１０８は、第一のユーザに提示する第一の提示映像を生成する。これは、双方向判定部１０７より受け取る第二の提示レベルに従う。また、生成には、第二の撮影部１０２が撮影した第二の撮影映像や第二の事象を用いる。
【００４２】
例えば、提示レベルが撮影映像を表示するとき、第二の撮影映像をそのまま第一の提示映像とする。また、第二の事象が食事中であれば、「食事中」という事象を示す文字を合成した映像を第一の提示映像とする。
【００４３】
例えば、提示レベルがテキスト表示のとき、第二の事象を示す「食事中」という文字や、食事を始めた時刻をテキストとして表示した第一の提示映像を生成する。
【００４４】
例えば、提示レベルが光点灯であったならば、第二の事象から就寝中や食事中や外出中を示す色を点すことができる。
【００４５】
例えば、提示レベルが音であったならば、「音声のみ」をテキストとして表示した第一の提示映像を生成する。
生成された第一の提示映像は、第一の提示部１１０に出力される。
【００４６】
第二の生成部１０９は、第二のユーザに提示する第二の提示映像を生成する。これは、双方向判定部１０７から受け取る第一の提示レベルに従う。また、生成には、第一の撮影部１０１が撮影した第一の撮影映像や第一の事象を用いる。第二の生成部１０９は、第一の生成部１０８と同じ種類のものでよい。生成された第二の提示映像は、第二の提示部１１１に出力される。
【００４７】
第一の提示部１１０は、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示する。例えば、ディスプレイやスピーカーなどの複数のコミュニケーションチャンネルで構成され、ディスプレイやプロジェクタによって提示映像が提示される。例えば、電光掲示板でテキストを提示する。
【００４８】
第二の提示部１１１は、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示する。第二の提示部１１１は、第一の提示部と同じ種類のものでよい。
【００４９】
第一のデータ入力部１１２は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを入力する。例えば、マウスとキーボードからなる。ここでの入力では、対応づけを追加、編集、削除を行う。
【００５０】
第二のデータ入力部１１３は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを示すデータを入力する。
以上が、本実施形態にかかる映像情報処理装置１００に関する構成である。
【００５１】
図３に示したフローチャートを用いて、本実施形態の映像情報処理装置１００が行う処理について説明する。
【００５２】
ステップＳ１０１では、第一の撮影部１０１が、第一のユーザが存在する第一の現実空間を撮影する。このとき、第一の現実空間の音声を収録してもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力され、ステップＳ１０２へ進む。
【００５３】
ステップＳ１０２では、第一の認識部１０３が、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力され、ステップＳ１０３へ進む。
【００５４】
ステップＳ１０３では、双方向判定部１０７が、第一の認識部１０３から第一の事象を受け取る。そして、第一のレベルデータ保持手段１０５に、第一の事象を送ることで、第一の提示レベルを取得し、ステップＳ１０４へ進む。なお、第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持している。また、第一のデータ入力部１１２により、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけが入力されているものとする。
【００５５】
ステップＳ１０４では、第二の撮影部１０２が、第二のユーザが存在する第二の現実空間を撮影する。このとき、第二の現実空間の音声を収録してもよい。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力され、ステップＳ１０５へ進む。
【００５６】
ステップＳ１０５では、第二の認識部１０４が、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第二の認識部１０４に認識された第二の事象は、双方向判定部１０７へと出力され、ステップＳ１０６へ進む。
【００５７】
ステップＳ１０６では、双方向判定部１０７は、第二の認識部１０４から第二の事象を受け取る。そして、第二のレベルデータ保持手段１０６に、第二の事象を送ることで、第二の提示レベルを取得し、ステップＳ１０７へ進む。なお、第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持している。また、第二のデータ入力部１１３により、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけが入力されているものとする。
続いてステップＳ１０７へ進む。
【００５８】
ここで、処理の流れをステップＳ１０１からステップＳ１０６まで順に進むように説明してきたが、必ずしもそうでなくても良い。すなわち、ステップＳ１０１のあとにステップＳ１０２があり、その後にステップＳ１０３があるのであればこの３つのステップは連続でなくても良い。ステップＳ１０４のあとにステップＳ１０５があり、その後にステップＳ１０６があるのであればこの３つのステップは連続でなくても良い。例えば、ステップＳ１０１のあとにステップＳ１０４が割り込んでいても良いし、ステップＳ１０４、Ｓ１０５、Ｓ１０６を終えてからステップＳ１０１、Ｓ１０２、Ｓ１０３を実施しても良い。
【００５９】
ステップＳ１０７では、双方向判定部１０７が、第一の提示レベルと第二の提示レベルを照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能なコミュニケーションのレベルを判定する。判定された結果、第二のユーザが第一のユーザに提示する提示レベルは、第一の生成部１０８に出力される。加えて、第一のユーザが第二のユーザに提示する提示レベルは、第二の生成部１０９に出力される。
【００６０】
ステップＳ１０８では、双方向判定部１０７で、互いに提示可能なコミュニケーションレベルが得られたかを判定する。互いに提示可能なコミュニケーションの提示レベルが得られないときは、ステップＳ１０１に戻る。互いに提示可能なコミュニケーションの提示レベルが得られたときは、ステップＳ１０９へ進む。
【００６１】
ステップＳ１０９では、第一の生成部１０８が、第一のユーザに提示する第一の提示映像を生成する。生成された第一の提示映像は、第一の提示部１１０に出力され、ステップＳ１１０へ進む。
【００６２】
ステップＳ１１０では、第一の提示部１１０が、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示し、ステップＳ１１１へ進む。
【００６３】
ステップＳ１１１では、第二の生成部１０９が、第二のユーザに提示する第二の提示映像を生成する。生成された第二の提示映像は、第二の提示部１１１に出力され、ステップＳ１１２へ進む。
【００６４】
ステップＳ１１２では、第二の提示部１１１が、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示し、Ｓ１０１に戻る。
【００６５】
ここで、処理の流れをステップＳ１０９からステップＳ１１２まで順に進むように説明してきたが、必ずしもそうでなくても良い。すなわち、ステップＳ１０９のあとにステップＳ１１０があるのであればこの２つのステップは連続でなくても良い。ステップＳ１１１のあとにステップＳ１１２があるのであればこの２つのステップは連続でなくても良い。例えば、ステップＳ１０９のあとにステップＳ１１１が割り込んでいても良い。ステップＳ１１１、Ｓ１１２を終えてからステップＳ１０９、Ｓ１１０を実施しても良い。
【００６６】
なお、本実施形態の説明では二人のユーザ間のコミュニケーションに適用する事例を取り上げた。三人以上のユーザ間のコミュニケーションにも適用するときも、二者間で提示すればよい。
【００６７】
以上の処理によって、映像情報処理装置１００は、常に二つの現実空間の撮影映像を認識し、その双方の事象に応じて提示する。それぞれの空間における事象は時々刻々と変更すると、その事象変化に応じて提示レベルも変わる。ユーザの明示的なインタラクションなしに自動的に始まる。例えば、双方とも食事をしている事象では撮影映像を含む提示での事象の提示も受け取りも許可すると、それぞれの食事時間が一致したときに、自動的に提示映像を介して双方の空間がつながる。これにより、離れている二者間での仮想的な食事の団らんが自然に実現する。
【００６８】
本実施形態によれば、例えば、離れている二人ないしそれ以上のユーザは、事前にこの事象の時には、このレベルのコミュニケーションならば実施して良いという条件を指定する。その条件が双方で折り合う場合には、自動的に両者が了解しているレベルのコミュニケーションを始めることができる。このコミュニケーションでは、ユーザ自身がコミュニケーションをしようと思うきっかけがなくてもよい。両者の了解しているレベルに応じたコミュニケーションチャンネルが選ばれるので、相手の都合を気にせずにコミュニケーションを始めることができる。
【００６９】
〔第二の実施形態〕
第一の実施形態では実時間の遠隔コミュニケーションを自動的に開始した。一方、第二の実施形態では時間差のある遠隔コミュニケーションを自動的に開始する。
【００７０】
以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
図４は、本実施形態に係る映像情報処理装置２００の概略を示す図である。図４に示すように、映像情報処理装置２００は、第一の撮影部１０１、第二の撮影部１０２、第一の認識部１０３、第二の認識部１０４で構成される。更に、第一のレベルデータ保持部１０５、第二のレベルデータ保持部１０６、双方向判定部１０７で構成される。加えて、第二の生成部１０９、第二の提示部１１１、第一の記録部２０１から構成される。加えて、第一の生成部１０８、第一の提示部１１０、第二の記録部２０２から構成される。図１に示した映像情報処理装置１００と同様の構成には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。
【００７１】
第一の撮影部１０１は、第一のユーザが存在する第一の現実空間を撮影する。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力される。
【００７２】
第二の撮影部１０２は、第二のユーザが存在する第二の現実空間を撮影する。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力される。
【００７３】
第一の認識部１０３は、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力される。
【００７４】
第二の認識部１０４は、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第一の認識部１０４に認識された第一の事象は、双方向判定部１０７へと出力される。
【００７５】
第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持する。第一のレベルデータ保持部１０５は、双方向判定部１０７から第一の事象を受け取ることで、第一の事象をもつ第一の対応づけが示す提示レベルを、第一の提示レベルとして、双方向判定部１０７に出力する。
【００７６】
第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持する。第二のレベルデータ保持部１０６は、双方向判定部１０７から第二の事象を受け取ることで、第二の事象をもつ第二の対応づけが示す提示レベルを、第二の提示レベルとして、双方向判定部１０７に出力する。
【００７７】
双方向判定部１０７は、第一の提示レベルと第二の提示レベルを照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能なコミュニケーションのレベルを判定する。判定された結果、第二のユーザが第一のユーザに提示する提示レベルは、第一の生成部１０８に出力される。加えて、第一のユーザが第二のユーザに提示する提示レベルは、第二の生成部１０９に出力される。
【００７８】
また、判定した結果、互いに実施可能なコミュニケーションレベルが提示しないレベルであった場合、後述の第一の記録部２０１と第二の記録部２０２に、撮影映像及び認識された事象を記録する指示を出力する。記録を開始してから、互いに実施可能なコミュニケーションレベルが提示可能な提示レベルとなったときに、記録された映像情報を元に提示画像を生成するよう第一の生成部１０８と第二の生成部１０９に指示を出力する。提示しないレベルが所定の時間を経過しても変化されないときは、記録されてから所定の時間が経過した撮影映像や事象を削除する指示を、第一の記録部２０１と第二の記録部２０２に出力する。
【００７９】
第一の生成部１０８は、第一のユーザに提示する第一の提示映像を生成する。例えば、第一の提示映像は、ある一時点の撮影映像および事象だけを使って生成してもよい。複数の時点の撮影映像および事象を使って生成してもよい。具体的には、複数時点の撮影映像によるスライドショーや、複数撮影映像から一部ずつを抜き出してつないだダイジェスト映像や、複数の事象の分布表などがある。生成された第一の提示映像は、第一の提示部１１０に出力される。
【００８０】
第二の生成部１０９は、第二のユーザに提示する第二の提示映像を生成する。第二の生成部１０９は、第一の生成部と同じものでよい。生成された第二の提示映像は、第二の提示部１１１に出力される。
【００８１】
第一の提示部１１０は、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示する。
【００８２】
第二の提示部１１１は、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示する。
【００８３】
第一のデータ入力部１１２は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを入力する。
【００８４】
第二のデータ入力部１１３は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを入力する。
【００８５】
第一の記録部２０１は、第一の撮影部１０１から送られてくる第一の撮影映像および第一の認識部１０３から送られてくる第一の事象と記録時間を記録する。例えば、データサーバである。記録してから所定の時間が経過し、記録してから所定の時間を経過したデータを削除する指示を双方向判定部１０７から受け取ると、対象となるデータを削除する。記録された第一の撮影映像、第一の事象、及び、記録時間は、双方向判定部１０７に出力する。
【００８６】
第二の記録部２０２は、第二の撮影部１０２から送られてくる第二の撮影映像および第二の認識部１０４から送られてくる第二の事象と記録時間を記録する。記録してから所定の時間が経過し、記録してから所定の時間を経過したデータを削除する指示を双方向判定部１０７から受け取ると、対象となるデータを削除する。記録された第二の撮影映像、第二の事象、及び、記録時間は、双方向判定部１０７に出力する。
以上が、本実施形態にかかる映像情報処理装置２００に関する構成である。
【００８７】
図５に示したフローチャートを用いて、本実施形態の映像情報処理装置２００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、ＲＡＭやＲＯＭなどのメモリ内に格納され、ＣＰＵなどにより読み出され、実行される。
【００８８】
ステップＳ２０１では、第一の撮影部１０１が、第一のユーザが存在する第一の現実空間を撮影する。このとき、第一の現実空間の音声を収録してもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力され、ステップＳ２０２へ進む。
【００８９】
ステップＳ２０２では、第一の認識部１０３が、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力され、ステップＳ２０３へ進む。
【００９０】
ステップＳ２０３では、双方向判定部１０７が、第一の認識部１０３から第一の事象を受け取る。そして、第一のレベルデータ保持手段１０５に、第一の事象を送ることで、第一の提示レベルを取得し、ステップＳ２０４へ進む。なお、第一のレベルデータ保持部１０５は、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけを保持している。また、第一のデータ入力部１１２により、第一の認識部が出力しうる第一の事象と、第一の事象に対応する第一の提示レベルとの第一の対応づけが入力されているものとする。
【００９１】
ステップＳ２０４では、双方向判定部１０７が、取得した第一の提示レベルが、第二のユーザに提示可能な提示レベルであるかを判定する。提示しないレベルのとき、ステップＳ２０１へ戻る。提示可能な提示レベルであるとき、ステップＳ２０５へ進む。
【００９２】
ステップＳ２０５では、第一の記録部２０１が、第一の撮影部１０１から送られてくる第一の撮影映像および第一の認識部１０３から送られてくる第一の事象と記録時間を記録し、ステップＳ２０６へ進む。
【００９３】
ステップＳ２０６では、第二の撮影部１０２が、第二のユーザが存在する第二の現実空間を撮影する。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力され、ステップＳ２０７へ進む。
【００９４】
ステップＳ２０７では、第二の認識部１０４が、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第二の認識部１０４に認識された第二の事象は、双方向判定部１０７へと出力され、ステップＳ２０８へ進む。
【００９５】
ステップＳ２０８では、双方向判定部１０７は、第二の認識部１０４から第二の事象を受け取る。そして、第二のレベルデータ保持手段１０６に、第二の事象を送ることで、第二の提示レベルを取得し、ステップＳ２０９へ進む。なお、第二のレベルデータ保持部１０６は、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけを保持している。また、第二のデータ入力部１１３により、第二の認識部が出力しうる第二の事象と、第二の事象に対応する第二の提示レベルとの第二の対応づけが入力されているものとする。
【００９６】
ステップＳ２０９では、双方向判定部１０７が、取得した第二の提示レベルが、第一のユーザに提示可能な提示レベルであるかを判定する。提示しないレベルのとき、ステップＳ２１０へ進む。提示可能な提示レベルであるとき、ステップＳ２１１へ進む。
【００９７】
ステップＳ２１０では、双方向判定部１０７が、記録してから所定の時間が経過し、記録してから所定の時間を経過したデータを削除する指示を第一の記録部２０１に出力する。出力部２０１が、双方向判定部１０７から任意のデータを削除する指示を受け取ると、対象となるデータを削除し、ステップＳ２０１へ戻る。
【００９８】
ステップＳ２１１では、双方向判定部１０７が、第一の記録部２０１に記録された第一の撮影映像および第一の事象と記録時間を取得する。取得された第一の撮影映像および第一の事象と記録時間は、第二の生成部に出力され、ステップＳ２１２へ進む。
【００９９】
ステップＳ２１２では、第二の生成部１０９が、第二のユーザに提示する第二の提示映像を生成する。生成された第二の提示映像は、第二の提示部１１１に出力され、ステップＳ２１３へ進む。
【０１００】
ステップＳ２１３では、第二の提示部１１１が、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示し、ステップＳ２０１へ戻る。
【０１０１】
以上の処理によって、映像情報処理装置２００は、二つの現実空間の撮影映像を認識し、その双方の事象に応じて提示する。このとき、映像情報処理装置２００は、映像を受け取る方である第二のユーザの都合が悪いときに、映像提示元である第一のユーザの事象を逐次記録する。映像を受け取る方である第二のユーザの都合が良くなったときに、記録しておいた事象の素材も含めて提示することができる。これにより、映像の受け取り手である第二のユーザは、都合が良くなったときに、過去の事象も含めてまとめて第一のユーザの映像を知ることができる。
【０１０２】
なお、本実施形態における第一のユーザから第二のユーザへの提示は、第二のユーザから第一のユーザへの提示も同様に行ってもよい。
【０１０３】
〔第３の実施形態〕
第１の実施形態および第２の実施形態では、双方向判定部１０７が、第一の事象および第二の事象から第一の提示レベルおよび第二の提示レベルを取得していた。第３の実施形態では、提示レベルの取得を行うことなく、判定を行う。具体的には、第一の事象および第二の事象が特定の状況にあるときに、撮影映像を提示することを判定する。
【０１０４】
図６は、本実施形態に係る映像情報処理装置３００の概略を示す図である。図４に示すように、映像情報処理装置３００は、第一の撮影部１０１、第二の撮影部１０２、第一の認識部１０３、第二の認識部１０４、双方向判定部１０７で構成される。加えて、第二の生成部１０９、第二の提示部１１１から構成される。加えて、第一の生成部１０８、第一の提示部１１０から構成される。図１に示した映像情報処理装置１００と同様の構成には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。
【０１０５】
第一の撮影部１０１は、第一のユーザが存在する第一の現実空間を撮影する。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力される。
【０１０６】
第二の撮影部１０２は、第二のユーザが存在する第二の現実空間を撮影する。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力される。
【０１０７】
第一の認識部１０３は、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部１０３に認識された第一の事象は、双方向判定部１０７へと出力される。
【０１０８】
第二の認識部１０４は、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第一の認識部１０４に認識された第一の事象は、双方向判定部１０７へと出力される。
【０１０９】
双方向判定部１０７は、第一の事象と第二の事象を照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能か否かを判定する。例えば、互いに食事中のときのみ互いに提示すると判定する。具体的には、第一のユーザが食事中であり、第二のユーザも同じく食事中であれば、互いに提示する判定を行う。一方、第一のユーザが食事中でも、第二のユーザが食事以外のとき、提示しない判定を行う。判定された結果、第二の撮影映像と第二の事象は、第一の生成部１０８に出力され、第一の撮影映像と第一の事象は、第二の生成部１０９に出力される。
【０１１０】
第一の生成部１０８は、第一のユーザに提示する第一の提示映像を生成する。例えば、第一の提示映像は、第二の撮影映像に、食事のメニューをテキスト合成してもよい。生成された第一の提示映像は、第一の提示部１１０に出力される。
【０１１１】
第二の生成部１０９は、第二のユーザに提示する第二の提示映像を生成する。第二の生成部１０９は、第一の生成部と同じものでよい。生成された第二の提示映像は、第二の提示部１１１に出力される。
【０１１２】
第一の提示部１１０は、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示する。
【０１１３】
第二の提示部１１１は、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示する。
【０１１４】
図７に示したフローチャートを用いて、本実施形態の映像情報処理装置３００が行う処理について説明する。
【０１１５】
ステップＳ３０１では、第一の撮影部１０１が、第一のユーザが存在する第一の現実空間を撮影する。このとき、第一の現実空間の音声を収録してもよい。第一の撮影部１０１によって撮影された第一の撮影映像は第一の認識部１０３へと出力され、ステップＳ３０２へ進む。
【０１１６】
ステップＳ３０２では、第一の認識部１０３が、第一の撮影部１０１から第一の撮影映像を受け取り、第一の撮影映像に映る第一の事象を認識する。第一の認識部３０３に認識された第一の事象は、双方向判定部１０７へと出力され、ステップＳ１０３へ進む。
【０１１７】
ステップＳ３０３では、第二の撮影部１０２が、第二のユーザが存在する第二の現実空間を撮影する。このとき、第二の現実空間の音声を収録してもよい。第二の撮影部１０２によって撮影された第二の撮影映像は第二の認識部１０４へと出力され、ステップＳ３０４へ進む。
【０１１８】
ステップＳ３０４では、第二の認識部１０４が、第二の撮影部１０２から第二の撮影映像を受け取り、第二の撮影映像に映る第二の事象を認識する。第二の認識部１０４に認識された第二の事象は、双方向判定部１０７へと出力され、ステップＳ３０５へ進む。
【０１１９】
ステップＳ３０５では、双方向判定部１０７が、第一の事象と第二の事象を照らし合わせることで、第一のユーザと第二のユーザが互いに実施可能か否かを判定し、ステップＳ３０６へ進む。
【０１２０】
ステップＳ３０６では、提示しないと判定された場合、ステップＳ３０１へ戻る。互いに提示すると判定された場合、第二の撮影映像と第二の事象は、第一の生成部１０８に出力され、第一の撮影映像と第一の事象は、第二の生成部１０９に出力され、ステップＳ３０７へ進む。
【０１２１】
ステップＳ３０７では、第一の生成部１０８が、第一のユーザに提示する第一の提示映像を生成する。生成された第一の提示映像は、第一の提示部１１０に出力され、ステップＳ３０８へ進む。
【０１２２】
ステップＳ３０８では、第一の提示部１１０が、第一の生成部１０８から取得した第一の提示映像を、第一の現実空間に提示し、ステップＳ３０９へ進む。
【０１２３】
ステップＳ３０９では、第二の生成部１０９が、第二のユーザに提示する第二の提示映像を生成する。生成された第二の提示映像は、第二の提示部１１１に出力され、ステップＳ３１０へ進む。
【０１２４】
ステップＳ３１０では、第二の提示部１１１が、第二の生成部１０９から取得した第二の提示映像を、第二の現実空間に提示し、Ｓ３０１に戻る。
【０１２５】
以上の処理によって、映像情報処理装置３００は、常に二つの現実空間の撮影映像を認識し、その双方の事象に応じて提示する。それぞれの空間における事象は時々刻々と変更すると、ユーザの明示的なインタラクションなしに自動的に始まる。例えば、双方とも食事をしている事象では撮影映像を含む提示での事象の提示も受け取りも許可すると、それぞれの食事時間が一致したときに、自動的に提示映像を介して双方の空間がつながる。これにより、離れている二者間での仮想的な食事の団らんが自然に実現する。
【０１２６】
〔その他の実施形態〕
図６は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク６０７又は各種のコンピュータ読み取り可能な記憶媒体６０２、６０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ６０１（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【産業上の利用可能性】
【０１２７】
遠隔コミュニケーションにて利用できる。
【特許請求の範囲】
【請求項１】
第一の認識手段が、第一の撮影手段によって第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
第二の認識手段が、第二の撮影手段によって前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、該第二の現実空間における第二の事象を認識する第二の認識工程と、
双方向判定手段が、前記第一の事象、及び、前記第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【請求項２】
第一の生成手段が、前記通信が開始された場合に、前記双方向判定工程の判定の結果及び前記第二の撮影映像に基づいて、前記第一の提示手段に提示する第一の提示映像を生成する第一の生成工程と、
第二の生成手段が、前記通信が開始された場合に、前記双方向判定工程の判定の結果及び前記第一の撮影映像に基づいて、前記第二の提示手段に提示する第二の提示映像を生成する第二の生成工程と、
を有することを特徴とする請求項１に記載の映像情報処理方法。
【請求項３】
前記双方向判定工程では、
第一の判定手段が、前記第一の現実空間を前記第二の端末に提示するか否かを判定する第一の判定工程と、
第二の判定手段が、前記第二の現実空間を前記第一の端末に提示するか否かを判定する第二の判定工程と、
照合手段が、前記第一の判定工程の判定の結果、及び、前記第二の判定工程の判定の結果を照らし合わせて、前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示するか否かを判定する照合工程と、
ことを特徴とする請求項１又は請求項２に記載の映像情報処理方法。
【請求項４】
前記第一の判定工程では、
前記第一の事象を前記第二の端末に提示できる第一の提示レベルを判定し、
前記第二の判定工程では、
前記第二の事象を前記第一の端末に提示できる第二の提示レベルを判定し、
前記第一の生成工程では、
前記双方向判定工程の判定の結果、及び、第二の提示レベル、及び、前記第二の撮影映像に基づいて、第一の端末に提示する第一の提示映像を生成し、
前記第二の生成工程では、
前記双方向判定工程の判定の結果、及び、第一の提示レベル、及び、前記第一の撮影映像に基づいて、第二の端末に提示する第二の提示映像を生成する
ことを特徴とする請求項３に記載の映像情報処理方法。
【請求項５】
第一のレベルデータ保持手段が、前記第一の認識工程で認識できる事象の各々に、前記第一の提示レベルを対応づける第一の対応づけ情報を保持する第一のレベルデータ保持工程と、
第二のレベルデータ保持手段が、前記第二の認識工程で認識できる事象の各々に、前記第二の提示レベルを対応づける第二の対応づけ情報を保持する第二のレベルデータ保持工程と、
を更に有することを特徴とする請求項４に記載の映像情報処理方法。
【請求項６】
前記第一の判定工程では、
前記第一の事象に基づいて、当該第一の事象が、前記第一の対応づけ情報に対応づけられた第一の提示レベルを判定し、
前記第二の判定工程では、
前記第二の事象に基づいて、当該第二の事象が、前記第二の対応づけ情報に対応づけられた第二の提示レベルを判定し、
前記照合工程では、
前記第一の提示レベル及び前記第二の提示レベルとが所定の組み合わせになるまで、第一の提示手段及び第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できないと判定する
ことを特徴とする請求項５に記載の映像情報処理方法。
【請求項７】
前記所定の組み合わせなるまで所定の時間を経過した場合に、
前記第一の記録工程では、
前記第一の撮影映像及び前記第一の事象を削除し、
前記第二の記録工程では、
前記第二の撮影映像及び前記第二の事象を削除する
ことを特徴とする請求項６に記載の映像情報処理方法。
【請求項８】
データ入力手段が、前記第一の対応づけの情報及び前記第二の対応づけの情報を入力するデータ入力工程
を更に有することを特徴とする請求項５乃至請求項７の何れか１項に記載の映像情報処理方法。
【請求項９】
第一の認識手段が、第一の撮影手段によって該第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
双方向判定手段が、前記第一の事象、及び、
第二の撮影手段によって前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の認識手段が認識する該第二の現実空間における第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【請求項１０】
請求項１乃至請求項９の何れか１項に記載の映像情報処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
第一の撮影手段によって第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識手段と、
前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、該第二の現実空間における第二の事象を認識する第二の認識手段と、
前記第一の事象、及び、前記第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定手段と、
前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信手段と、
を備えることを特徴とする映像情報処理装置。
【請求項１２】
第一の撮影手段によって第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識手段と、
前記第一の事象、及び、
第二の撮影手段によって前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の認識手段が認識する該第二の現実空間における第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定手段と、
前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信手段と、
を備えることを特徴とする映像情報処理装置。
【請求項１】
第一の認識手段が、第一の撮影手段によって第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
第二の認識手段が、第二の撮影手段によって前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、該第二の現実空間における第二の事象を認識する第二の認識工程と、
双方向判定手段が、前記第一の事象、及び、前記第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【請求項２】
第一の生成手段が、前記通信が開始された場合に、前記双方向判定工程の判定の結果及び前記第二の撮影映像に基づいて、前記第一の提示手段に提示する第一の提示映像を生成する第一の生成工程と、
第二の生成手段が、前記通信が開始された場合に、前記双方向判定工程の判定の結果及び前記第一の撮影映像に基づいて、前記第二の提示手段に提示する第二の提示映像を生成する第二の生成工程と、
を有することを特徴とする請求項１に記載の映像情報処理方法。
【請求項３】
前記双方向判定工程では、
第一の判定手段が、前記第一の現実空間を前記第二の端末に提示するか否かを判定する第一の判定工程と、
第二の判定手段が、前記第二の現実空間を前記第一の端末に提示するか否かを判定する第二の判定工程と、
照合手段が、前記第一の判定工程の判定の結果、及び、前記第二の判定工程の判定の結果を照らし合わせて、前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示するか否かを判定する照合工程と、
ことを特徴とする請求項１又は請求項２に記載の映像情報処理方法。
【請求項４】
前記第一の判定工程では、
前記第一の事象を前記第二の端末に提示できる第一の提示レベルを判定し、
前記第二の判定工程では、
前記第二の事象を前記第一の端末に提示できる第二の提示レベルを判定し、
前記第一の生成工程では、
前記双方向判定工程の判定の結果、及び、第二の提示レベル、及び、前記第二の撮影映像に基づいて、第一の端末に提示する第一の提示映像を生成し、
前記第二の生成工程では、
前記双方向判定工程の判定の結果、及び、第一の提示レベル、及び、前記第一の撮影映像に基づいて、第二の端末に提示する第二の提示映像を生成する
ことを特徴とする請求項３に記載の映像情報処理方法。
【請求項５】
第一のレベルデータ保持手段が、前記第一の認識工程で認識できる事象の各々に、前記第一の提示レベルを対応づける第一の対応づけ情報を保持する第一のレベルデータ保持工程と、
第二のレベルデータ保持手段が、前記第二の認識工程で認識できる事象の各々に、前記第二の提示レベルを対応づける第二の対応づけ情報を保持する第二のレベルデータ保持工程と、
を更に有することを特徴とする請求項４に記載の映像情報処理方法。
【請求項６】
前記第一の判定工程では、
前記第一の事象に基づいて、当該第一の事象が、前記第一の対応づけ情報に対応づけられた第一の提示レベルを判定し、
前記第二の判定工程では、
前記第二の事象に基づいて、当該第二の事象が、前記第二の対応づけ情報に対応づけられた第二の提示レベルを判定し、
前記照合工程では、
前記第一の提示レベル及び前記第二の提示レベルとが所定の組み合わせになるまで、第一の提示手段及び第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できないと判定する
ことを特徴とする請求項５に記載の映像情報処理方法。
【請求項７】
前記所定の組み合わせなるまで所定の時間を経過した場合に、
前記第一の記録工程では、
前記第一の撮影映像及び前記第一の事象を削除し、
前記第二の記録工程では、
前記第二の撮影映像及び前記第二の事象を削除する
ことを特徴とする請求項６に記載の映像情報処理方法。
【請求項８】
データ入力手段が、前記第一の対応づけの情報及び前記第二の対応づけの情報を入力するデータ入力工程
を更に有することを特徴とする請求項５乃至請求項７の何れか１項に記載の映像情報処理方法。
【請求項９】
第一の認識手段が、第一の撮影手段によって該第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識工程と、
双方向判定手段が、前記第一の事象、及び、
第二の撮影手段によって前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の認識手段が認識する該第二の現実空間における第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定工程と、
通信手段が、前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信工程と、
を有することを特徴とする映像情報処理方法。
【請求項１０】
請求項１乃至請求項９の何れか１項に記載の映像情報処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
第一の撮影手段によって第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識手段と、
前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、該第二の現実空間における第二の事象を認識する第二の認識手段と、
前記第一の事象、及び、前記第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定手段と、
前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信手段と、
を備えることを特徴とする映像情報処理装置。
【請求項１２】
第一の撮影手段によって第一の端末が存在する第一の現実空間を予め撮影した第一の撮影映像に基づいて、該第一の現実空間における第一の事象を認識する第一の認識手段と、
前記第一の事象、及び、
第二の撮影手段によって前記第一の端末とは異なる第二の端末が存在する第二の現実空間を予め撮影した第二の撮影映像に基づいて、第二の認識手段が認識する該第二の現実空間における第二の事象に基づいて、
前記第一の端末が備える第一の提示手段及び前記第二の端末が備える第二の提示手段の各々が前記第二の現実空間及び前記第一の現実空間の各々を双方向に提示できるか否かを判定する双方向判定手段と、
前記双方向判定工程にて提示できると判定された場合に、前記第一の端末と前記第二の端末とで、映像を用いた双方向の通信を開始する通信手段と、
を備えることを特徴とする映像情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１３０２０２（Ｐ２０１１−１３０２０２Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８６８９２（Ｐ２００９−２８６８９２）
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]