説明

情報処理装置および情報処理方法

【課題】コンテンツの表示と通信画像の表示とを並行して行う際に、コンテンツの表示と通信画像の表示とを適切に行うことができる情報処理装置を提供する。
【解決手段】情報処理装置200は、他の情報処理装置からの撮像画像から他の情報処理装置のユーザの顔を含む顔領域を検出して、検出した顔領域の情報に基づいて、他の情報処理装置のユーザの人数を把握し、情報処理装置200のユーザが視る表示画面におけるコンテンツの表示領域と撮像画像の表示領域との表示比率の情報に基づいて、表示画面においてコンテンツの表示領域と撮像画像の表示領域とを設定して、検出した顔領域の情報と、他の情報処理装置のユーザの人数の把握の結果と、設定した撮像画像の表示領域の情報とに基づいて、撮像画像から撮像画像の表示領域に表示する表示画像を生成して、表示画面における第2の表示領域に、生成した表示画像を表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
従来、遠隔地にいるユーザ同士の交流に用いる装置として、電話、いわゆるテレビ電話、ビデオ会議システムなどが存在する。また、パーソナルコンピュータなどを用いてインターネットに接続し、テキストチャット、映像と音声を伴うビデオチャットなどを行う方法もある。
【0003】
このような中、電子機器などの装置の高機能化や多機能化がますます進み、例えば、テレビジョン受像機では、ネットワーク通信機能を備え、放送局から番組の映像および音声コンテンツを受信して表示するのみならず、他の受像機との間で各種情報をやりとりすることが可能となっている。
【0004】
例えば、特許文献1には、テレビジョン受像機においてユーザがテレビジョン放送の番組コンテンツを視聴する際に、登録された他のユーザに関する情報(例えば、他のユーザのサムネイル画像、他のユーザが視聴しているコンテンツの名称、チャンネル、映像など)を、番組コンテンツと並行して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−50370号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、テレビジョン受像機などの表示装置においては、例えば、コンテンツの表示と、外部からネットワーク通信により受信した画像(以下、「通信画像」という。)の表示とを並行して行う際には、PIP(Picture in Picture)表示やPOP(Picture on Picture)表示などの手法を用いるのが一般的である。
【0007】
しかしながら、PIP表示やPOP表示などの手法では、コンテンツの表示の一部が通信画像の表示によって隠れてしまい、コンテンツが見難くなってしまうという問題があった。さらに、通常、表示画面における通信画像の表示領域は制限されているため、表示画面に表示される通信画像は画像サイズを縮小したものとなる。このため、例えば、通信画像に写っている他のユーザの画像サイズが小さくなって、当該他のユーザを判別し難くなったり、通信画像の画質が劣化したりするという問題があった。
【0008】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コンテンツの表示と通信画像の表示とを並行して行う際に、コンテンツの表示と通信画像の表示とを適切に行うことが可能な、新規かつ改良された情報処理装置および情報処理方法を提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明のある観点によれば、通信対象装置からの撮像画像を受信する受信部と、前記受信部が受信した撮像画像から前記通信対象装置のユーザの顔を含む顔領域を検出する検出部と、前記検出部が検出した顔領域の情報に基づいて、前記通信対象装置のユーザの人数を把握する把握部と、情報処理装置のユーザが視る表示画面における第1の表示領域と第2の表示領域との表示比率の情報に基づいて、前記表示画面において前記第1の表示領域と前記第2の表示領域とを設定する設定部と、前記検出部が検出した顔領域の情報と、前記把握部による前記通信対象装置のユーザの人数の把握の結果と、前記設定部が設定した前記第2の表示領域の情報とに基づいて、前記撮像画像から前記第2の表示領域に表示する表示画像を生成する生成部と、前記表示画面における前記第2の表示領域に、前記生成部が生成した表示画像を表示させる制御部と、を備える、情報処理装置が提供される。
【0010】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、少なくとも前記通信対象装置のユーザの顔の特徴的な部分が前記表示画像に含まれるように、前記撮像画像を切り出して、前記表示画像を生成してもよい。
【0011】
前記生成部は、前記把握部による前記通信対象装置のユーザの人数の把握の結果、前記通信対象装置のユーザの人数が複数であるときは、前記表示画面における前記第2の表示領域において横方向に前記通信対象装置の複数のユーザの顔が並ぶように、前記撮像画像を切り出して、前記表示画像を生成してもよい。
【0012】
前記生成部は、前記把握部による前記通信対象装置のユーザの人数の把握の結果、前記通信対象装置のユーザの人数が複数であるときは、前記表示画面における前記第2の表示領域において縦方向に前記通信対象装置の複数のユーザの顔が並ぶように、前記撮像画像を切り出して、前記表示画像を生成してもよい。
【0013】
前記生成部は、前記把握部による前記通信対象装置のユーザの人数の把握の結果、前記通信対象装置のユーザの人数が複数であるときは、前記表示画面における前記第2の表示領域においてマトリックス状に前記通信対象装置の複数のユーザの顔が並ぶように、前記撮像画像を切り出して、前記表示画像を生成してもよい。
【0014】
前記制御部は、前記表示画面における前記第1の表示領域に、画像サイズが縮小されたコンテンツを表示させてもよい。
【0015】
前記検出部は、さらに、前記表示画面を有する表示部または表示装置の表示方向における被写体を撮像可能な撮像部または撮像装置により得られた他の撮像画像から前記情報処理装置のユーザの顔を含む顔領域を検出し、前記把握部は、さらに、前記検出部が検出した前記情報処理装置のユーザの顔を含む顔領域の情報に基づいて、前記情報処理装置のユーザの人数を把握し、前記生成部は、さらに、前記検出部が検出した前記情報処理装置のユーザの顔を含む顔領域の情報と、前記把握部による前記情報処理装置のユーザの人数の把握の結果とに基づいて、前記撮像画像および前記他の撮像画像から前記第2の表示領域に表示する表示画像を生成してもよい。
【0016】
前記受信部が前記通信対象装置からの撮像画像、および当該撮像画像から検出された前記通信対象装置のユーザの顔を含む顔領域の情報を受信した場合には、前記検出部は、前記受信部が受信した撮像画像から前記通信対象装置のユーザの顔を含む顔領域の検出を行わず、前記把握部は、前記受信部が受信した顔領域の情報に基づいて、前記通信対象装置のユーザの人数を把握し、前記生成部は、前記検出部が検出した顔領域の情報に代えて前記受信部が受信した顔領域の情報に基づいて、前記表示画像を生成してもよい。
【0017】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、無駄な領域としての無効領域が前記表示画像に含まれないように、前記撮像画像を切り出して、前記表示画像を生成してもよい。
【0018】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、同一な画像が表示される同一領域が前記表示画像に含まれないように、前記撮像画像を切り出して、前記表示画像を生成してもよい。
【0019】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、前記撮像画像において複数のユーザが近い位置に存在する場合には、前記複数のユーザを1人のユーザと見做して、前記表示画像を生成してもよい。
【0020】
また、上記課題を解決するために、本発明の別の観点によれば、通信対象装置からの撮像画像を受信する受信ステップと、前記受信ステップで受信した撮像画像から前記通信対象装置のユーザの顔を含む顔領域を検出する検出ステップと、前記検出ステップで検出した顔領域の情報に基づいて、前記通信対象装置のユーザの人数を把握する把握ステップと、情報処理装置のユーザが視る表示画面における第1の表示領域と第2の表示領域との表示比率の情報に基づいて、前記表示画面において前記第1の表示領域と前記第2の表示領域とを設定する設定ステップと、前記検出ステップで検出した顔領域の情報と、前記把握ステップでの前記通信対象装置のユーザの人数の把握の結果と、前記設定ステップで設定した前記第2の表示領域の情報とに基づいて、前記撮像画像から前記第2の表示領域に表示する表示画像を生成する生成ステップと、前記表示画面における前記第2の表示領域に、前記生成ステップで生成した表示画像を表示させる制御ステップと、を有する、情報処理方法が提供される。
【発明の効果】
【0021】
以上説明したように本発明によれば、コンテンツの表示と通信画像の表示とを並行して行う際に、コンテンツの表示と通信画像の表示とを適切に行うことができる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態における表示システムの一例を説明するための説明図である。
【図2】本発明の第1の実施の形態に係る情報処理装置の機能構成の一例を説明するための説明図である。
【図3】図2における情報処理装置のハードウェア構成の一例を説明するための説明図である。
【図4】図2における情報処理装置が実行する表示処理のフローチャートである。
【図5】図4の表示処理におけるステップS108で実行される並列表示処理のフローチャートである。
【図6】他の表示システムにおいて撮像された撮像画像を説明するための説明図である。
【図7】(A)〜(D)は、表示装置の表示画面に並列表示されたコンテンツと他の情報処理装置からの撮像画像とを説明するための説明図である。
【図8】(A)は、他の表示システムのユーザが2人である場合に、他の表示システムにおいて撮像された撮像画像を説明するための説明図であり、(B)は、他の表示システムのユーザが1人であって、他の表示システムのユーザが1人である場合に、他の表示システムにおいて撮像された撮像画像を説明するための説明図である。
【図9】(A)〜(D)は、表示装置の表示画面に並列表示されたコンテンツと他の情報処理装置からの撮像画像とを説明するための説明図である。
【図10】(A)は、他の表示システムのユーザが3人である場合に、他の表示システムにおいて撮像された撮像画像を説明するための説明図であり、(B)は、他の表示システムのユーザが2人であって、他の表示システムのユーザが1人である場合に、他の表示システムにおいて撮像された撮像画像を説明するための説明図であり、(C)は、他の表示システムのユーザが1人であって、他の表示システムのユーザが1人であり、他の表示システムのユーザが1人である場合に、他の表示システムにおいて撮像された撮像画像を説明するための説明図である。
【図11】(A)〜(D)は、表示装置の表示画面に並列表示されたコンテンツと他の情報処理装置からの撮像画像とを説明するための説明図である。
【図12】(A)〜(D)は、表示装置の表示画面に並列表示されたコンテンツと他の情報処理装置からの撮像画像とを説明するための説明図である。
【図13】本発明の第2の実施の形態に係る情報処理装置の機能構成の一例を説明するための説明図である。
【図14】(A)〜(C)は、本発明の第4の実施例について説明するための説明図である。
【図15】(A)〜(D)は、本発明の第5の実施例について説明するための説明図である。
【図16】(A)〜(F)は、本発明の第6の実施例について説明するための説明図である。
【発明を実施するための形態】
【0023】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0024】
なお、説明は以下の順序で行うものとする。
1.表示システム
2.情報処理装置の機能構成(第1の実施の形態)
3.情報処理装置のハードウェア構成
4.表示処理
5.実施例
6.情報処理装置の機能構成(第2の実施の形態)
【0025】
[1.表示システム]
まず、本発明の実施の形態における表示システムについて説明する。図1は、本実施の形態における表示システムの一例を説明するための説明図である。図1は、表示システムを正面から見た正面図である。
【0026】
図1において、表示システム100は、例えば、表示装置102と、撮像装置104とを備える。
【0027】
表示装置102は、本発明の表示装置の一例であり、駆動信号に基づいて静止画像または動画像を表示することができる。例えば、表示装置102は、液晶によって静止画像または動画像を表示する。なお、表示装置102は、有機EL(エレクトロルミネセンス)のような自発光型の表示デバイスによって静止画像または動画像を表示してもよい。
【0028】
撮像装置104は、本発明の撮像装置の一例であり、表示装置102の上方中央部に設けられていて、表示装置102の表示方向における被写体を撮像することができる。撮像装置104は、CCD(Charge Coupled Device)イメージセンサによって静止画像または動画像の撮像を行うものであってもよく、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサによって静止画像または動画像の撮像を行うものであってもよい。
【0029】
なお、本実施の形態では、撮像装置104が表示装置102の上方中央部に設けられているが、撮像装置104が設けられる場所は表示装置102の上方中央部に限られない。例えば、撮像装置104は、表示装置102の下方中央部などに設けられてもよい。また、本実施の形態では、撮像装置104が1つだけ設けられているが、撮像装置104の数は1つに限られない。例えば、撮像装置104は、2つ以上設けられてもよい。また、本実施の形態では、表示装置102と撮像装置104とが一体となっているが、表示装置102と撮像装置104とは別体となってもよい。
【0030】
なお、表示システム100には、表示装置102の前方のユーザの有無を検知するセンサ(図示しない)や、リモートコントローラ(図示しない)からの赤外線や無線等による制御信号を受信可能な信号受信部(図示しない)が設けられていてもよい。また、上記センサは、表示装置102と表示装置102の前方のユーザとの間の距離を検出できるものであってもよい。
【0031】
本実施の形態における表示装置102は、後述するように、静止画像または動画像のコンテンツと、図2における他の情報処理装置500,700からの撮像画像とを並列表示することができる。例えば、表示装置102は、表示画面におけるコンテンツの表示領域に静止画像または動画像のコンテンツを表示し、他の情報処理装置500,700からの撮像画像の表示領域に他の情報処理装置500,700からの撮像画像を表示することができる。コンテンツの表示領域は、本発明の第1の表示領域の一例である。他の情報処理装置500,700からの撮像画像の表示領域は、本発明の第2の表示領域の一例である。
【0032】
また、本実施の形態における撮像装置104は、図2における表示装置102の表示画面を見ているユーザAの静止画像または動画像を撮像することができる。
【0033】
[2.情報処理装置の機能構成(第1の実施の形態)]
次に、本発明の第1の実施の形態に係る情報処理装置の機能構成について説明する。図2は、本実施の形態に係る情報処理装置の機能構成の一例を説明するための説明図である。なお、図2には、本実施の形態に係る情報処理装置としての情報処理装置200へ撮像画像を伝達し、また情報処理装置200から表示装置102を駆動するための信号を受信する表示システム100と、表示システム100および情報処理装置200のユーザとしてのユーザAとが示されている。さらに、図2には、情報処理装置200が接続可能な通信ネットワーク800と、通信ネットワーク800に接続可能な通信サーバ300や他の情報処理装置500,700と、他の情報処理装置500へ撮像画像を伝達し、また他の情報処理装置500から信号を受信する他の表示システム400と、他の表示システム400および他の情報処理装置500のユーザとしてのユーザB,Cと、他の情報処理装置700へ撮像画像を伝達し、また他の情報処理装置700から信号を受信する他の表示システム600と、他の表示システム600および他の情報処理装置700のユーザとしてのユーザDとが示されている。他の表示システム400,600は、表示システム100と同様の構成を有するため、詳細な説明は省略する。また、他の情報処理装置500,700は、情報処理装置200と同様の構成を有するため、詳細な説明は省略する。他の情報処理装置500,700は、本発明の通信対象装置の一例である。
【0034】
図2において、情報処理装置200は、例えば、入力部202と、検出部204と、人数把握部206と、設定部208と、表示画像生成部210と、通信部212と、出力部214と、表示制御部216とを備える。
【0035】
入力部202は、撮像装置104が撮像により生成した撮像画像を受信する。撮像装置104が撮像により生成した撮像画像は、本発明の他の撮像画像の一例である。そして、入力部202は、受信した(入力された)撮像画像を通信部212へ伝達する。なお、入力部202は、受信した撮像画像を検出部204や表示画像生成部210へ伝達してもよい。また、入力部202は、例えば、ユーザAによる表示装置102の表示画面におけるコンテンツの表示領域と他の情報処理装置500,700からの撮像画像の表示領域との表示比率の設定入力を受け付ける。なお、入力部202は、例えば、ユーザAによる表示装置102の表示画面におけるコンテンツの表示領域と情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域との表示比率の設定入力を受け付けてもよい。そして、入力部202は、受け付けた表示比率の設定入力の情報を設定部208へ伝達する。情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域は、本発明の第2の表示領域の一例である。
【0036】
検出部204は、本発明の検出部の一例であり、通信部212が受信した他の情報処理装置500,700からの撮像画像を受信して、受信した撮像画像からユーザB,CおよびユーザDの顔を含む顔領域を検出する。そして、検出部204は、検出結果としての顔領域の情報を人数把握部206、表示画像生成部210へ伝達する。なお、検出部204は、入力部202からの撮像画像を受信して、受信した撮像画像からユーザAの顔を含む顔領域を検出してもよい。そして、検出部204は、検出結果としてのユーザAの顔を含む顔領域の情報を人数把握部206や表示画像生成部210、通信部212へ伝達してもよい。検出部204が撮像画像に対して施す顔領域の検出については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることができる。以下、顔領域の検出について簡単に説明する。
【0037】
撮像画像から例えばユーザAの顔を検出するには、まず伝達された撮像画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして、切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分(顔特徴位置)、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、AAM(Active Appearance Models)と呼ばれる方法を適用して、顔特徴位置を検出するようにすることができる。
【0038】
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、撮像部104で撮像された撮像画像から顔の識別が可能となる。顔の識別方法については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることができるので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、伝達された撮像画像に写っている顔が男性であるか女性であるか、またユーザが何歳くらいであるのかを判別することも可能である。また、予め顔の情報を記憶しておくことで、伝達された撮像画像に写っているユーザを記憶された顔の中から探し出して、個人を特定することが可能である。
【0039】
人数把握部206は、本発明の把握部の一例であり、検出部204が検出したユーザB,CおよびユーザDの顔を含む顔領域の情報を受信する。そして、人数把握部206は、受信した顔領域の情報に基づいて、他の情報処理装置500,700のユーザの人数を把握する。そして、人数把握部206は、他の情報処理装置500,700のユーザの人数の把握の結果を表示画像生成部210に伝達する。なお、人数把握部206は、検出部204が検出したユーザAの顔を含む顔領域の情報を受信して、受信したユーザAの顔を含む顔領域の情報に基づいて、情報処理装置200のユーザの人数を把握してもよい。そして、人数把握部206は、情報処理装置200のユーザの人数の把握の結果を表示画像生成部210や表示制御部216に伝達してもよい。さらに、人数把握部206は、通信部212が他の表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報や、他の表示システム600において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を受信した場合には、それらの顔領域の情報を受信して、受信した顔領域の情報に基づいて、他の情報処理装置500,700のユーザの人数を把握してもよい。この場合、上述した検出部204は、他の情報処理装置500,700からの撮像画像からユーザB,CおよびユーザDの顔を含む顔領域の検出を行わなくてもよい。
【0040】
設定部208は、本発明の設定部の一例であり、入力部202から表示比率の設定入力の情報を受信して、受信した表示比率の設定入力の情報に基づいて、表示装置102の表示画面においてコンテンツの表示領域と他の情報処理装置500,700からの撮像画像の表示領域とを設定する。また、設定部208は、受信した表示比率の設定入力の情報に基づいて、表示装置102の表示画面においてコンテンツの表示領域と情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域とを設定してもよい。そして、設定部208は、設定した撮像画像の表示領域の情報を表示画像生成部210および表示制御部216へ伝達し、設定したコンテンツの表示領域の情報を表示制御部216へ伝達する。例えば、設定部208は、表示装置102の表示画面においてコンテンツの表示領域のサイズと他の情報処理装置500,700からの撮像画像の表示領域のサイズとを設定して、設定したコンテンツの表示領域のサイズの情報や撮像画像の表示領域のサイズの情報を伝達するようにする。
【0041】
表示画像生成部210は、本発明の生成部の一例であり、検出部204からユーザB,CおよびユーザDの顔を含む顔領域の情報を受信し、人数把握部206から他の情報処理装置500,700のユーザの人数の把握の結果を受信し、設定部208から他の情報処理装置500,700からの撮像画像の表示領域の情報を受信し、通信部212が受信した他の表示システム400において撮像された撮像画像や他の表示システム600において撮像された撮像画像を受信する。そして、表示画像生成部210は、受信したユーザB,CおよびユーザDの顔を含む顔領域の情報と、受信した他の情報処理装置500,700のユーザの人数の把握の結果と、他の情報処理装置500,700からの撮像画像の表示領域の情報とに基づいて、他の表示システム400において撮像された撮像画像や他の表示システム600において撮像された撮像画像から表示装置102の表示画面における他の情報処理装置500,700からの撮像画像の表示領域に表示する表示画像を生成する。そして、表示画像生成部210は、生成した表示画像を表示制御部216へ伝達する。
【0042】
例えば、表示画像生成部210は、ユーザBの顔を含む顔領域の情報と、他の情報処理装置500,700のユーザの人数の把握の結果、すなわちユーザの人数が3人との情報と、他の情報処理装置500,700からの撮像画像の表示領域の情報、例えば表示領域のサイズの情報とに基づいて、少なくともユーザBの顔の特徴的な部分が含まれるように、撮像画像の表示領域の3等分のサイズだけ他の表示システム400において撮像された撮像画像を切り出す。また、表示画像生成部210は、ユーザCの顔を含む顔領域の情報と、他の情報処理装置500,700のユーザの人数が3人との情報と、他の情報処理装置500,700からの撮像画像の表示領域のサイズの情報とに基づいて、少なくともユーザCの顔の特徴的な部分が含まれるように、撮像画像の表示領域の3等分のサイズだけ他の表示システム400において撮像された撮像画像を切り出す。また、表示画像生成部210は、ユーザDの顔を含む顔領域の情報と、他の情報処理装置500,700のユーザの人数が3人との情報と、他の情報処理装置500,700からの撮像画像の表示領域のサイズの情報とに基づいて、少なくともユーザDの顔の特徴的な部分が含まれるように、撮像画像の表示領域の3等分のサイズだけ他の表示システム600において撮像された撮像画像を切り出す。そして、表示画像生成部210は、それぞれ切り出した撮像画像を、表示装置102の表示画面における他の情報処理装置500,700からの撮像画像の表示領域において他の情報処理装置500,700のユーザの顔が横方向、縦方向またはマトリックス状に並ぶように並べて、上述した表示画像を生成する。
【0043】
なお、表示画像生成部210は、入力部202から表示システム100において撮像された撮像画像を受信し、検出部204からユーザAの顔を含む顔領域の情報やユーザB,CおよびユーザDの顔を含む顔領域の情報を受信し、人数把握部206から情報処理装置200のユーザの人数の把握の結果や他の情報処理装置500,700のユーザの人数の把握の結果を受信し、設定部208から情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域の情報を受信し、通信部212が受信した他の表示システム400において撮像された撮像画像や他の表示システム600において撮像された撮像画像を受信した場合には、受信したユーザA、ユーザB,CおよびユーザDの顔を含む顔領域の情報と、受信した情報処理装置200および他の情報処理装置500,700のユーザの人数の把握の結果と、情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域の情報とに基づいて、表示システム100において撮像された撮像画像、他の表示システム400において撮像された撮像画像や他の表示システム600において撮像された撮像画像から表示装置102の表示画面における情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域に表示する表示画像を生成してもよい。
【0044】
この場合、例えば、表示画像生成部210は、ユーザAの顔を含む顔領域の情報と、情報処理装置200および他の情報処理装置500,700のユーザの人数の把握の結果、すなわちユーザの人数が4人との情報と、情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域の情報、例えば表示領域のサイズの情報とに基づいて、少なくともユーザAの顔の特徴的な部分が含まれるように、撮像画像の表示領域の4等分のサイズだけ表示システム100において撮像された撮像画像を切り出す。また、ユーザBの顔を含む顔領域の情報と、情報処理装置200および他の情報処理装置500,700のユーザの人数が4人との情報と、情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域のサイズの情報とに基づいて、少なくともユーザBの顔の特徴的な部分が含まれるように、撮像画像の表示領域の4等分のサイズだけ他の表示システム400において撮像された撮像画像を切り出す。また、表示画像生成部210は、ユーザCの顔を含む顔領域の情報と、情報処理装置200および他の情報処理装置500,700のユーザの人数が4人との情報と、情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域のサイズの情報とに基づいて、少なくともユーザCの顔の特徴的な部分が含まれるように、撮像画像の表示領域の4等分のサイズだけ他の表示システム400において撮像された撮像画像を切り出す。また、表示画像生成部210は、ユーザDの顔を含む顔領域の情報と、情報処理装置200および他の情報処理装置500,700のユーザの人数が4人との情報と、情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域のサイズの情報とに基づいて、少なくともユーザDの顔の特徴的な部分が含まれるように、撮像画像の表示領域の4等分のサイズだけ他の表示システム600において撮像された撮像画像を切り出す。そして、表示画像生成部210は、それぞれ切り出した撮像画像を、表示装置102の表示画面における情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域において情報処理装置200および他の情報処理装置500,700のユーザの顔が横方向、縦方向またはマトリックス状に並ぶように並べて、上述した表示画像を生成する。
【0045】
なお、表示画像生成部210は、通信部212が他の表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報や、他の表示システム600において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を受信した場合には、それらの顔領域の情報を受信して、検出部204が検出した顔領域の情報に代えて通信部212から受信したそれらの顔領域の情報に基づいて、表示画像を生成するようにしてもよい。
【0046】
また、表示画像生成部210は、受信した顔領域の情報に基づいて、無駄な領域としての無効領域が表示画像に含まれないように、撮像画像を切り出して、表示画像を生成するようにしてもよい。また、表示画像生成部210は、受信した顔領域の情報に基づいて、同一な画像が表示される同一領域が表示画像に含まれないように、撮像画像を切り出して、表示画像を生成するようにしてもよい。また、表示画像生成部210は、受信した顔領域の情報に基づいて、撮像画像において複数のユーザが近い位置に存在する場合には、当該複数のユーザを1人のユーザと見做して、表示画像を生成するようにしてもよい。
【0047】
通信部212は、本発明の受信部の一例であり、通信サーバ300から通信ネットワーク800を経由して他の表示システム400において撮像された撮像画像を受信する。また、通信部212は、通信サーバ300から通信ネットワーク800を経由して他の表示システム600において撮像された撮像画像を受信する。なお、通信部212は、他の表示システム400において撮像された撮像画像を他の情報処理装置500から通信ネットワーク800を経由して直接的に受信することもできる。同様に、通信部212は、他の表示システム600において撮像された撮像画像を他の情報処理装置700から通信ネットワーク800を経由して直接的に受信することもできる。
【0048】
また、通信部212は、入力部202からの撮像画像を受信し、受信した撮像画像を通信ネットワーク800を経由して通信サーバ300に送信してもよい。さらに、通信部212は、検出部204から表示システム100において撮像された撮像画像から検出されたユーザAの顔を含む顔領域の情報を受信し、受信した顔領域の情報を通信ネットワーク800を経由して通信サーバ300に送信してもよい。なお、通信部212は、受信した撮像画像や顔領域の情報を通信ネットワーク800を経由して他の情報処理装置500,700に直接的に送信することもできる。
【0049】
また、通信部212は、通信サーバ300から通信ネットワーク800を経由して他の表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報や、他の表示システム600において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を受信してもよい。なお、通信部212は、他の表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報を他の情報処理装置500から通信ネットワーク800を経由して直接的に受信することもできる。同様に、通信部212は、他の表示システム700において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を他の情報処理装置700から通信ネットワーク800を経由して直接的に受信することもできる。
【0050】
出力部214は、表示制御部216から表示装置102を駆動するための信号を受信し、受信した信号を表示装置102に伝達する。
【0051】
表示制御部216は、本発明の制御部の一例であり、設定部208からコンテンツの表示領域の情報や他の情報処理装置500,700からの撮像画像の表示領域の情報を受信し、表示画像生成部210から表示画像を受信する。また、表示制御部216には静止画像または動画像のコンテンツが供給される。そして、表示制御部216は、表示装置102の表示画面における他の情報処理装置500,700からの撮像画像の表示領域に、表示画像生成部210が生成した表示画像を表示させる信号を出力部214に伝達する。また、表示制御部216は、表示装置102の表示画面におけるコンテンツの表示領域に、画像サイズが縮小されたコンテンツを表示させる信号を出力部214に伝達する。
【0052】
なお、表示制御部216は、設定部208からコンテンツの表示領域の情報や情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域の情報を受信し、表示画像生成部210から表示画像を受信した場合には、表示装置102の表示画面における情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域に、表示画像生成部210が生成した表示画像を表示させる信号を出力部214に伝達してもよい。
【0053】
[3.情報処理装置のハードウェア構成]
次に、図2における情報処理装置200のハードウェア構成について説明する。図3は、図2における情報処理装置200のハードウェア構成の一例を説明するための説明図である。
【0054】
図3において、情報処理装置200は、例えば、MPU230と、ROM232と、RAM234と、記録媒体236と、入出力インタフェース238と、操作入力デバイス240と、表示デバイス242と、通信インタフェース244とを備える。また、情報処理装置200は、例えば、データの伝送路としてのバス246で各構成要素間を接続する。
【0055】
MPU230は、MPU(Micro Processing Unit)や、画像処理などの各種機能を実現するための複数の回路が集積された集積回路などで構成され、情報処理装置200全体を制御する制御部(図示しない)として機能する。また、MPU230は、情報処理装置200において、検出部204、人数把握部206、設定部208、表示画像生成部210および表示制御部216としての役目を果たす。
【0056】
ROM232は、MPU230が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM234は、例えば、MPU230により実行されるプログラムなどを一時的に記憶する。
【0057】
記録媒体236は、例えば、アプリケーションなどを記憶する。ここで、記録媒体236としては、例えば、ハードディスクなどの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリ(nonvolatile memory)が挙げられる。また、情報処理装置200は、情報処理装置200から着脱可能な記録媒体236を備えることもできる。
【0058】
入出力インタフェース238は、例えば、操作入力デバイス240や、表示デバイス242を接続する。また、入出力インタフェース238は、入力部202および出力部214としての役目を果たすこともできる。操作入力デバイス240は、操作部(図示しない)として機能し、また、表示デバイス242は、後述する図13における表示部254として機能する。ここで、入出力インタフェース238としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス240は、例えば、情報処理装置200上に備えられ、情報処理装置200の内部で入出力インタフェース238と接続される。操作入力デバイス240としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス242は、例えば、情報処理装置200上に備えられ、情報処理装置200の内部で入出力インタフェース238と接続される。表示デバイス242としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、入出力インタフェース238が、情報処理装置200の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイス(例えば、表示装置102などの外部表示デバイス)、撮像デバイス(例えば、撮像装置104など)などの外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス242は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【0059】
通信インタフェース244は、情報処理装置200が備える通信手段であり、ネットワーク800を経由して(あるいは、直接的に)、例えば通信サーバ300や、他の情報処理装置500,700などの外部装置と無線/有線で通信を行うための通信部212として機能する。ここで、通信インタフェース244としては、例えば、通信アンテナおよびRF回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN端子および送受信回路(有線通信)などが挙げられる。
【0060】
なお、本実施の形態に係る情報処理装置200のハードウェア構成は、図3に示す構成に限られない。例えば、情報処理装置200は、音声出力部(図示しない)の役目を果たす、DSP(Digital Signal Processor)と、増幅器(アンプ)やスピーカなどから構成される音声出力デバイスとを備えてもよい。
【0061】
また、情報処理装置200は、例えば、図13における撮像部252の役目を果たす、レンズ/撮像素子と信号処理回路とから構成される撮像デバイスを備えていてもよい。上記の場合には、情報処理装置200は、自装置が生成した撮像画像を処理することができる。ここで、レンズ/撮像素子は、例えば、光学系のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、補間処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理、およびコーディング処理などが挙げられる。
【0062】
また、情報処理装置200は、例えば、図3に示す操作入力デバイス240や表示デバイス242を備えない構成であってもよい。
【0063】
[4.表示処理]
次に、図2における情報処理装置200が実行する表示処理について説明する。図4は、図2における情報処理装置200が実行する表示処理のフローチャートである。
【0064】
図4において、まず、情報処理装置200において、例えば、ユーザAによりユーザAが所望するコンテンツの表示装置102への表示が指示されると、表示制御部216は、表示装置102の表示画面にユーザAが所望するコンテンツを表示させる信号を出力部214に伝達して、出力部214は、受信した信号を表示装置102に伝達する。これにより、表示装置102の表示画面には、ユーザAが所望するコンテンツが表示される(ステップS100)。
【0065】
次いで、情報処理装置200において、例えば、ユーザAによりユーザB,CやユーザDとのネットワーク接続が指示されると、通信部212は、通信ネットワーク800を経由して通信サーバ300と通信可能な状態となる(ステップS102)。なお、ステップS102では、通信部212は、通信ネットワーク800を経由して直接的に他の情報処理装置500,700と通信可能な状態となってもよい。
【0066】
次いで、通信部212は、入力部202を経由して受信した表示システム100における撮像装置104が撮像により生成した撮像画像を通信ネットワーク800を経由して通信サーバ300に送信する(ステップS104)。なお、ステップS104では、通信部212は、検出部204から受信したユーザAの顔を含む顔領域の情報を通信ネットワーク800を経由して通信サーバ300に送信してもよい。また、ステップS104では、通信部212は、撮像画像や顔領域の情報を通信ネットワーク800を経由して直接的に他の情報処理装置500,700に送信してもよい。
【0067】
次いで、通信部212は、他の情報処理装置500から送信された、表示システム400において撮像された撮像画像を通信サーバ300から受信する。さらに、通信部212は、他の情報処理装置700から送信された、表示システム600において撮像された撮像画像を通信サーバ300から受信する(ステップS106)。なお、ステップS106では、他の情報処理装置500から送信された、表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報や、他の情報処理装置700から送信された、表示システム600において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を通信サーバ300から受信してもよい。また、ステップS106では、通信部212は、撮像画像や顔領域の情報を通信ネットワーク800を経由して直接的に他の情報処理装置500,700から受信してもよい。
【0068】
次いで、情報処理装置200は、後述する図5の並列表示処理を実行して(ステップS108)、表示装置102の表示画面に、ユーザAが所望するコンテンツと他の情報処理装置500,700からの撮像画像とが並列表示されるようにして、本処理を終了する。
【0069】
図5は、図4の表示処理におけるステップS108で実行される並列表示処理のフローチャートである。
【0070】
図5において、まず、人数把握部206は、検出部204が検出したユーザB,CおよびユーザDの顔を含む顔領域の情報に基づいて、他の情報処理装置500,700のユーザの人数を把握する(ステップS200)。なお、ステップS200では、人数把握部206は、検出部204が検出したユーザAの顔を含む顔領域の情報に基づいて、情報処理装置200のユーザの人数を把握してもよい。また、ステップS200では、通信部212が他の表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報や、他の表示システム600において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を受信した場合には、それらの顔領域の情報に基づいて、他の情報処理装置500,700のユーザの人数を把握してもよい。
【0071】
次いで、設定部208は、ユーザAによる表示装置102の表示画面におけるコンテンツの表示領域と他の情報処理装置500,700からの撮像画像の表示領域との表示比率の設定入力の情報に基づいて、表示装置102の表示画面においてコンテンツの表示領域と他の情報処理装置500,700からの撮像画像の表示領域とを設定する(ステップS202)。なお、ステップS202では、設定部208は、ユーザAによる表示装置102の表示画面におけるコンテンツの表示領域と情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域との表示比率の設定入力の情報に基づいて、表示装置102の表示画面においてコンテンツの表示領域と情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域とを設定してもよい。
【0072】
次いで、表示画像生成部210は、検出部204から受信したユーザB,CおよびユーザDの顔を含む顔領域の情報と、人数把握部206から受信した他の情報処理装置500,700のユーザの人数の把握の結果と、設定部208から受信した他の情報処理装置500,700からの撮像画像の表示領域の情報とに基づいて、通信部212が受信した他の表示システム400において撮像された撮像画像や他の表示システム600において撮像された撮像画像を切り出して(ステップS204)、表示装置102の表示画面における他の情報処理装置500,700からの撮像画像の表示領域に表示する表示画像を生成する(ステップS206)。
【0073】
なお、ステップS204およびステップS206では、表示画像生成部210は、検出部204から受信したユーザAの顔を含む顔領域の情報やユーザB,CおよびユーザDの顔を含む顔領域の情報と、人数把握部206から受信した情報処理装置200のユーザの人数の把握の結果や他の情報処理装置500,700のユーザの人数の把握の結果と、設定部208から受信した情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域の情報とに基づいて、表示システム100において撮像された撮像画像、他の表示システム400において撮像された撮像画像や他の表示システム600において撮像された撮像画像を切り出して、表示装置102の表示画面における情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域に表示する表示画像を生成してもよい。
【0074】
また、ステップS204およびステップS206では、表示画像生成部210は、通信部212が他の表示システム400において撮像された撮像画像から検出されたユーザB,Cの顔を含む顔領域の情報や、他の表示システム600において撮像された撮像画像から検出されたユーザDの顔を含む顔領域の情報を受信した場合には、検出部204が検出した顔領域の情報に代えて通信部212から受信したそれらの顔領域の情報に基づいて、表示画像を生成するようにしてもよい。
【0075】
次いで、表示制御部216は、設定部208から受信したコンテンツの表示領域の情報に基づいて、表示装置102の表示画面におけるコンテンツの表示領域に、画像サイズが縮小されたユーザAが所望するコンテンツを表示させる信号を出力部214に伝達する。これにより、表示装置102の表示画面には、コンテンツの表示領域に画像サイズが縮小されたユーザAが所望するコンテンツが表示される(ステップS208)。
【0076】
次いで、表示制御部216は、設定部208から受信した他の情報処理装置500,700からの撮像画像の表示領域の情報に基づいて、表示装置102の表示画面における他の情報処理装置500,700からの撮像画像の表示領域に、表示画像生成部210が生成した表示画像を表示させる信号を出力部214に伝達する。これにより、表示装置102の表示画面には、撮像画像の表示領域に表示画像生成部210が生成した表示画像が表示されて、ユーザAが所望するコンテンツと他の情報処理装置500,700からの撮像画像とが並列表示される(ステップS210)。そして、本処理を終了する。
【0077】
なお、ステップS210では、表示制御部216は、設定部208から受信した情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域の情報に基づいて、表示装置102の表示画面における情報処理装置200および他の情報処理装置500,700からの撮像画像の表示領域に、表示画像生成部210が生成した表示画像を表示させる信号を出力部214に伝達してもよい。この場合、表示装置102の表示画面には、撮像画像の表示領域に表示画像生成部210が生成した表示画像が表示されて、ユーザAが所望するコンテンツと情報処理装置200および他の情報処理装置500,700からの撮像画像とが並列表示される。
【0078】
図4の表示処理によれば、表示装置102の表示画面には、撮像画像の表示領域に表示画像生成部210が生成した表示画像が表示されて、コンテンツの表示領域に画像サイズが縮小されたユーザAが所望するコンテンツが表示される。撮像画像の表示領域に表示される表示画像は、顔領域の情報と、ユーザの人数の把握の結果と、撮像画像の表示領域の情報、例えば表示領域のサイズの情報とに基づいて、撮像画像を切り出して生成されたものである。このため、撮像画像の表示領域のサイズが小さい場合においては、撮像画像の表示領域に表示される表示画像は、撮像画像において、ユーザの判別において不要な部分、例えば背景の大部分が切り抜かれたものとなる。このため、撮像画像の表示領域のサイズが小さい場合においても、撮像画像の表示領域には、ユーザの判別において必要な部分、例えばユーザの顔の特徴的な部分が写った撮像画像が表示されるため、ユーザを判別し難くなることはない。また、表示画像は画質が劣化したものとはならない。さらに、コンテンツ表示領域に表示されるコンテンツは、画像サイズが縮小されるため、一部が表示画像の表示によって隠れてしまうことはない。したがって、コンテンツの表示と撮像画像の表示とを並行して行う際に、コンテンツの表示と撮像画像の表示とを適切に行うことができる。
【0079】
[5.実施例]
次に、本発明の実施例について説明する。図6および図7(A)〜図7(D)は、本発明の第1の実施例について説明するための説明図である。本第1の実施例では、図2における表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400において撮像された撮像画像とが並列表示される場合について説明する。なお、本第1の実施例では、他の表示システム400のユーザが1人である場合について説明する。
【0080】
図6は、他の表示システム400において撮像された撮像画像を説明するための説明図である。図6において、他の表示システム400において撮像された撮像画像IM1は、上述したように情報処理装置200における検出部204に送信されて、検出部204において他の表示システム400のユーザの顔を含む顔領域FA1が検出される。
【0081】
図7(A)〜図7(D)は、表示装置102の表示画面に並列表示されたコンテンツと他の情報処理装置500からの撮像画像とを説明するための説明図である。
【0082】
図7(A)は、表示システム100のユーザによる表示装置102の表示画面におけるコンテンツの表示領域と他の情報処理装置500からの撮像画像の表示領域との表示比率の設定入力において、コンテンツの表示領域の比率がA1と、撮像画像の表示領域の表示比率がB1(B1=0)と入力された場合であり、図7(B)は、コンテンツの表示領域の比率がA2と、撮像画像の表示領域の表示比率がB2(B2<A2)と入力された場合であり、図7(C)は、コンテンツの表示領域の比率がA3と、撮像画像の表示領域の表示比率がB3(B3=A3)と入力された場合であり、図7(D)は、コンテンツの表示領域の比率がA4(A4=0)と、撮像画像の表示領域の表示比率がB4と入力された場合である。
【0083】
図7(B)および図7(C)に示すように、表示装置102の表示画面には、撮像画像の表示領域に撮像画像IM1を切り出して生成された表示画像IM2,IM4が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM3,IM5が表示される。これにより、表示システム100のユーザは、所望するコンテンツIM3,IM5をその一部が隠されることなく視ることができ、また、撮像画像に写っている他の表示システム400のユーザを容易に判別することができるようになる。
【0084】
図8(A)および図9(A)〜図9(D)は、本発明の第2の実施例について説明するための説明図である。本第2の実施例では、図2における表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400において撮像された撮像画像とが並列表示される場合について説明する。なお、本第2の実施例では、他の表示システム400のユーザが2人である場合について説明する。
【0085】
図8(A)は、他の表示システム400のユーザが2人である場合に、他の表示システム400において撮像された撮像画像を説明するための説明図である。図8(A)において、他の表示システム400において撮像された撮像画像IM6は、上述したように情報処理装置200における検出部204に送信されて、検出部204において他の表示システム400の2人のユーザの顔をそれぞれ含む顔領域FA2,FA3が検出される。
【0086】
図9(A)〜図9(D)は、表示装置102の表示画面に並列表示されたコンテンツと他の情報処理装置500からの撮像画像とを説明するための説明図である。
【0087】
図9(A)は、表示システム100のユーザによる表示装置102の表示画面におけるコンテンツの表示領域と他の情報処理装置500からの撮像画像の表示領域との表示比率の設定入力において、コンテンツの表示領域の比率がA5と、撮像画像の表示領域の表示比率がB5(B5=0)と入力された場合であり、図9(B)は、コンテンツの表示領域の比率がA6と、撮像画像の表示領域の表示比率がB6(B6<A6)と入力された場合であり、図9(C)は、コンテンツの表示領域の比率がA7と、撮像画像の表示領域の表示比率がB7(B7=A7)と入力された場合であり、図9(D)は、コンテンツの表示領域の比率がA8(A8=0)と、撮像画像の表示領域の表示比率がB8と入力された場合である。
【0088】
図9(B)および図9(C)に示すように、表示装置102の表示画面には、撮像画像の表示領域に撮像画像IM6を切り出して生成された表示画像IM9,IM11が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM10,IM12が表示される。これにより、表示システム100のユーザは、所望するコンテンツIM10,IM12をその一部が隠されることなく視ることができ、また、撮像画像に写っている他の表示システム400の2人のユーザを容易に判別することができるようになる。
【0089】
なお、図8(B)に示すように、他の表示システム400のユーザが1人であって、他の表示システム600のユーザが1人である場合に、表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400,600において撮像された撮像画像IM7,IM8とが並列表示される場合についても、図9(A)〜図9(D)(正確には図9(B)および図9(C))に示すように、表示装置102の表示画面に、ユーザが所望するコンテンツと、他の表示システム400,600において撮像された撮像画像とを並列表示させることができる。
【0090】
図10(A)および図11(A)〜図11(D)は、本発明の第3の実施例について説明するための説明図である。なお、図10(A)以降の図面においては、顔領域を示す枠については図示を省略する。本第3の実施例では、図2における表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400において撮像された撮像画像とが並列表示される場合について説明する。なお、本第3の実施例では、他の表示システム400のユーザが3人である場合について説明する。
【0091】
図10(A)は、他の表示システム400のユーザが3人である場合に、他の表示システム400において撮像された撮像画像を説明するための説明図である。図10(A)において、他の表示システム400において撮像された撮像画像IM13は、上述したように情報処理装置200における検出部204に送信されて、検出部204において他の表示システム400の3人のユーザの顔をそれぞれ含む顔領域(図示しない)が検出される。
【0092】
図11(A)〜図11(D)は、表示装置102の表示画面に並列表示されたコンテンツと他の情報処理装置500からの撮像画像とを説明するための説明図である。
【0093】
図11(A)は、表示システム100のユーザによる表示装置102の表示画面におけるコンテンツの表示領域と他の情報処理装置500からの撮像画像の表示領域との表示比率の設定入力において、コンテンツの表示領域の比率がA9と、撮像画像の表示領域の表示比率がB9(B9=0)と入力された場合であり、図11(B)は、コンテンツの表示領域の比率がA10と、撮像画像の表示領域の表示比率がB10(B10<A10)と入力された場合であり、図11(C)は、コンテンツの表示領域の比率がA11と、撮像画像の表示領域の表示比率がB11(B11=A11)と入力された場合であり、図11(D)は、コンテンツの表示領域の比率がA12(A12=0)と、撮像画像の表示領域の表示比率がB12と入力された場合である。
【0094】
図11(B)および図11(C)に示すように、表示装置102の表示画面には、撮像画像の表示領域に撮像画像IM13を切り出して生成された表示画像IM19,IM21が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM20,IM22が表示される。これにより、表示システム100のユーザは、所望するコンテンツIM20,IM22をその一部が隠されることなく視ることができ、また、撮像画像に写っている他の表示システム400の3人のユーザを容易に判別することができるようになる。
【0095】
なお、図10(B)に示すように、他の表示システム400のユーザが2人であって、他の表示システム600のユーザが1人である場合に、表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400,600において撮像された撮像画像IM14,IM15とが並列表示される場合についても、図11(A)〜図11(D)(正確には図11(B)および図11(C))に示すように、表示装置102の表示画面に、ユーザが所望するコンテンツと、他の表示システム400,600において撮像された撮像画像とを並列表示させることができる。同様に、図10(C)に示すように、他の表示システム400のユーザが1人であって、他の表示システム600のユーザが1人であり、他の表示システム(図示しない)のユーザが1人である場合に、表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400,600や他の表示システム(図示しない)において撮像された撮像画像IM16,IM17,IM18とが並列表示される場合についても、図11(A)〜図11(D)(正確には図11(B)および図11(C))に示すように、表示装置102の表示画面に、ユーザが所望するコンテンツと、他の表示システム400,600や他の表示システム(図示しない)において撮像された撮像画像とを並列表示させることができる。
【0096】
また、図12(A)〜図12(D)(正確には図12(B)および図12(C))に示すように、他の表示システム400などのユーザが4人である場合においても、同様に、表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400などにおいて撮像された撮像画像(図示しない)とを並列表示させることができる。
【0097】
図14(A)〜図14(C)は、本発明の第4の実施例について説明するための説明図である。本第4の実施例では、図2における表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400において撮像された撮像画像とが並列表示される場合について説明する。なお、本第4の実施例では、他の表示システム400のユーザが1人であって、他の表示システム400において撮像された撮像画像においてユーザが端に位置する場合について説明する。
【0098】
図14(A)は、他の表示システム400において撮像された撮像画像を説明するための説明図である。図14(A)において、他の表示システム400において撮像された撮像画像IM23は、上述したように情報処理装置200における検出部204に送信されて、検出部204において他の表示システム400のユーザの顔を含む顔領域FA4が検出される。
【0099】
図14(B)および図14(C)は、表示装置102の表示画面に並列表示されたコンテンツと他の情報処理装置500からの撮像画像とを説明するための説明図である。
【0100】
図14(B)に示すように、表示装置102の表示画面には、撮像画像の表示領域に撮像画像IM23を切り出して生成された表示画像IM24が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM25が表示される。
【0101】
図14(B)に示すように、撮像画像においてユーザが端に位置する場合に、顔領域FA4を中心として撮像画像IM23を切り出して表示画像IM24を生成すると、撮像画像の表示領域には無駄な領域としての無効領域R1を含む表示画像IM24が表示される。
【0102】
そこで、本第4の実施例では、撮像画像においてユーザが端に位置する場合には、撮像画像の表示領域に無効領域R1が表示されないように撮像画像IM23を切り出して表示画像IM26を生成する。例えば、図14(A)に示すように、撮像画像においてユーザが右端に位置する場合には、撮像画像IM23の右側の縁を基準として撮像画像IM23を切り出して表示画像IM26を生成する。この場合、図14(C)に示すように、表示装置102の表示画面には、撮像画像の表示領域に無効領域R1を含まない表示画像IM26が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM27が表示される。これにより、表示システム100のユーザに違和感や不快感などを与えることを防止することができるようになる。
【0103】
図15(A)〜図15(D)は、本発明の第5の実施例について説明するための説明図である。本第5の実施例では、図2における表示装置102の表示画面に、表示システム100のユーザが所望するコンテンツと、他の表示システム400において撮像された撮像画像とが並列表示される場合について説明する。なお、本第5の実施例では、他の表示システム400のユーザが2人であって、他の表示システム400において撮像された撮像画像において2人のユーザが近い位置に存在する場合について説明する。
【0104】
図15(A)は、他の表示システム400のユーザが2人である場合に、他の表示システム400において撮像された撮像画像を説明するための説明図である。図15(A)において、他の表示システム400において撮像された撮像画像IM28は、上述したように情報処理装置200における検出部204に送信されて、検出部204において他の表示システム400の2人のユーザの顔をそれぞれ含む顔領域FA5,FA6が検出される。
【0105】
図15(B)〜図15(D)は、表示装置102の表示画面に並列表示されたコンテンツと他の情報処理装置500からの撮像画像とを説明するための説明図である。
【0106】
図15(B)に示すように、表示装置102の表示画面には、撮像画像の表示領域に撮像画像IM28を切り出して生成された表示画像IM29が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM30が表示される。
【0107】
図15(B)に示すように、撮像画像において2人のユーザが近い位置に存在する場合に、顔領域FA5,FA6をそれぞれ中心として撮像画像IM28を切り出して表示画像IM29を生成すると、撮像画像の表示領域には同一な画像が表示される同一領域R2を含む表示画像IM29が表示される。
【0108】
そこで、本第5の実施例では、撮像画像において2人のユーザが近い位置に存在する場合には、撮像画像の表示領域に同一領域R2が表示されないように撮像画像IM28を切り出して表示画像IM31を生成する。この場合、図15(C)に示すように、表示装置102の表示画面には、撮像画像の表示領域に同一領域R2を含まない表示画像IM31が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM32が表示される。これにより、表示システム100のユーザに違和感や不快感などを与えることを防止することができるようになる。
【0109】
また、本第5の実施例では、撮像画像において2人のユーザが近い位置に存在する場合には、他の表示システム400のユーザが1人であると見做して、少なくとも当該2人のユーザの顔の特徴的な部分が含まれるように、撮像画像IM28を切り出して表示画像IM33を生成してもよい。この場合においても、図15(D)に示すように、表示装置102の表示画面には、撮像画像の表示領域に同一領域R2を含まない表示画像IM33が表示されて、コンテンツの表示領域に画像サイズが縮小された表示システム100のユーザが所望するコンテンツIM34が表示される。図15(C)における表示画像IM31は2つの画像が並べられて生成された画像であるが、図15(D)における表示画像IM33は1つの画像、すなわち上述した2つの画像が統合されている画像である。これにより、表示システム100のユーザに違和感や不快感などを与えることを防止することができるようになる。
【0110】
図16(A)〜図16(F)は、本発明の第6の実施例について説明するための説明図である。本第6の実施例では、撮像画像における切り出し領域の設定について説明する。図16(A)〜図16(F)は、撮像画像における切り出し領域の設定について説明するための説明図である。
【0111】
本第6の実施例では、図16(A)〜図16(C)に示すように、撮像画像IM35において、ユーザの顔の中心を通る縦軸VAを基準として切り出し領域CA1,CA2,CA3を設定するようにする。
【0112】
また、本第6の実施例では、図16(C)〜図16(F)に示すように、撮像画像IM35において、ユーザの顔の中心を通る縦軸VA、および例えばユーザの顔の両目を通る横軸HAを基準として切り出し領域CA4,CA5,CA6を設定するようにしてもよい。
【0113】
[6.情報処理装置の機能構成(第2の実施の形態)]
次に、本発明の第2の実施の形態に係る情報処理装置の機能構成について説明する。図13は、本実施の形態に係る情報処理装置の機能構成の一例を説明するための説明図である。本実施の形態における情報処理装置としての情報処理装置250は、撮像部252と、表示部254とを備えている点が、上述した第1の実施の形態と異なるのみであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。
【0114】
なお、図13には、情報処理装置250のユーザとしてのユーザAと、情報処理装置250が接続可能な通信ネットワーク800と、通信ネットワーク800に接続可能な通信サーバ300や他の情報処理装置550,750と、他の情報処理装置550のユーザとしてのユーザB,Cと、他の情報処理装置750のユーザとしてのユーザDとが示されている。他の情報処理装置550,750は、情報処理装置250と同様の構成を有するため、詳細な説明は省略する。
【0115】
図13において、情報処理装置250は、例えば、撮像部252と、検出部204と、人数把握部206と、設定部208と、表示画像生成部210と、通信部212と、表示部254と、表示制御部216とを備える。
【0116】
撮像部252は、本発明の撮像部の一例であり、表示部254の表示画面を見ているユーザAの静止画像または動画像を撮像することができる。そして、撮像部252は、撮像により生成した撮像画像を通信部212や、検出部204、表示画像生成部210に伝達することができる。
【0117】
表示部254は、本発明の表示部の一例であり、静止画像または動画像のコンテンツと、他の情報処理装置550,750からの撮像画像とを並列表示することができる。例えば、表示部254は、表示画面におけるコンテンツの表示領域に静止画像または動画像のコンテンツを表示し、他の情報処理装置550,750からの撮像画像の表示領域に他の情報処理装置550,750からの撮像画像を表示することができる。
【0118】
本実施の形態によれば、情報処理装置250が上述した図4の表示処理を実行することにより、上述した第1の実施の形態と同様の効果を奏することができる。さらに、本実施の形態によれば、例えば、図2に示す表示システム100を別途用意する必要をなくすことができ、簡易に実施することができるようになる。
【0119】
また、本発明の目的は、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【0120】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した各実施の形態の機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0121】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW等の光ディスク、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【0122】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれる。
【0123】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれる。
【0124】
以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0125】
例えば、通信サーバ300において、他の情報処理装置500,700からの撮像画像から他の情報処理装置500,700のユーザの顔を含む顔領域を検出するようにしてもよい。
【0126】
また、情報処理装置200は、ユーザAが所望するコンテンツを他の情報処理装置500,700に送信して、ユーザ間でコンテンツを共有するようにしてもよい。
【符号の説明】
【0127】
100 表示システム
102 表示装置
104 撮像装置
200 情報処理装置
202 入力部
204 検出部
206 人数把握部
208 設定部
210 表示画像生成部
212 通信部
214 出力部
216 表示制御部
300 通信サーバ
400,600 他の表示システム
500,700 他の情報処理装置
800 通信ネットワーク



【特許請求の範囲】
【請求項1】
通信対象装置からの撮像画像を受信する受信部と、
前記受信部が受信した撮像画像から前記通信対象装置のユーザの顔を含む顔領域を検出する検出部と、
前記検出部が検出した顔領域の情報に基づいて、前記通信対象装置のユーザの人数を把握する把握部と、
情報処理装置のユーザが視る表示画面における第1の表示領域と第2の表示領域との表示比率の情報に基づいて、前記表示画面において前記第1の表示領域と前記第2の表示領域とを設定する設定部と、
前記検出部が検出した顔領域の情報と、前記把握部による前記通信対象装置のユーザの人数の把握の結果と、前記設定部が設定した前記第2の表示領域の情報とに基づいて、前記撮像画像から前記第2の表示領域に表示する表示画像を生成する生成部と、
前記表示画面における前記第2の表示領域に、前記生成部が生成した表示画像を表示させる制御部と、
を備える、情報処理装置。
【請求項2】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、少なくとも前記通信対象装置のユーザの顔の特徴的な部分が前記表示画像に含まれるように、前記撮像画像を切り出して、前記表示画像を生成する、請求項1に記載の情報処理装置。
【請求項3】
前記生成部は、前記把握部による前記通信対象装置のユーザの人数の把握の結果、前記通信対象装置のユーザの人数が複数であるときは、前記表示画面における前記第2の表示領域において横方向に前記通信対象装置の複数のユーザの顔が並ぶように、前記撮像画像を切り出して、前記表示画像を生成する、請求項2に記載の情報処理装置。
【請求項4】
前記生成部は、前記把握部による前記通信対象装置のユーザの人数の把握の結果、前記通信対象装置のユーザの人数が複数であるときは、前記表示画面における前記第2の表示領域において縦方向に前記通信対象装置の複数のユーザの顔が並ぶように、前記撮像画像を切り出して、前記表示画像を生成する、請求項2に記載の情報処理装置。
【請求項5】
前記生成部は、前記把握部による前記通信対象装置のユーザの人数の把握の結果、前記通信対象装置のユーザの人数が複数であるときは、前記表示画面における前記第2の表示領域においてマトリックス状に前記通信対象装置の複数のユーザの顔が並ぶように、前記撮像画像を切り出して、前記表示画像を生成する、請求項2に記載の情報処理装置。
【請求項6】
前記制御部は、前記表示画面における前記第1の表示領域に、画像サイズが縮小されたコンテンツを表示させる、請求項1に記載の情報処理装置。
【請求項7】
前記検出部は、さらに、前記表示画面を有する表示部または表示装置の表示方向における被写体を撮像可能な撮像部または撮像装置により得られた他の撮像画像から前記情報処理装置のユーザの顔を含む顔領域を検出し、
前記把握部は、さらに、前記検出部が検出した前記情報処理装置のユーザの顔を含む顔領域の情報に基づいて、前記情報処理装置のユーザの人数を把握し、
前記生成部は、さらに、前記検出部が検出した前記情報処理装置のユーザの顔を含む顔領域の情報と、前記把握部による前記情報処理装置のユーザの人数の把握の結果とに基づいて、前記撮像画像および前記他の撮像画像から前記第2の表示領域に表示する表示画像を生成する、請求項1に記載の情報処理装置。
【請求項8】
前記受信部が前記通信対象装置からの撮像画像、および当該撮像画像から検出された前記通信対象装置のユーザの顔を含む顔領域の情報を受信した場合には、前記検出部は、前記受信部が受信した撮像画像から前記通信対象装置のユーザの顔を含む顔領域の検出を行わず、
前記把握部は、前記受信部が受信した顔領域の情報に基づいて、前記通信対象装置のユーザの人数を把握し、
前記生成部は、前記検出部が検出した顔領域の情報に代えて前記受信部が受信した顔領域の情報に基づいて、前記表示画像を生成する、請求項1に記載の情報処理装置。
【請求項9】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、無駄な領域としての無効領域が前記表示画像に含まれないように、前記撮像画像を切り出して、前記表示画像を生成する、請求項2に記載の情報処理装置。
【請求項10】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、同一な画像が表示される同一領域が前記表示画像に含まれないように、前記撮像画像を切り出して、前記表示画像を生成する、請求項2に記載の情報処理装置。
【請求項11】
前記生成部は、前記検出部が検出した顔領域の情報に基づいて、前記撮像画像において複数のユーザが近い位置に存在する場合には、前記複数のユーザを1人のユーザと見做して、前記表示画像を生成する、請求項1に記載の情報処理装置。
【請求項12】
通信対象装置からの撮像画像を受信する受信ステップと、
前記受信ステップで受信した撮像画像から前記通信対象装置のユーザの顔を含む顔領域を検出する検出ステップと、
前記検出ステップで検出した顔領域の情報に基づいて、前記通信対象装置のユーザの人数を把握する把握ステップと、
情報処理装置のユーザが視る表示画面における第1の表示領域と第2の表示領域との表示比率の情報に基づいて、前記表示画面において前記第1の表示領域と前記第2の表示領域とを設定する設定ステップと、
前記検出ステップで検出した顔領域の情報と、前記把握ステップでの前記通信対象装置のユーザの人数の把握の結果と、前記設定ステップで設定した前記第2の表示領域の情報とに基づいて、前記撮像画像から前記第2の表示領域に表示する表示画像を生成する生成ステップと、
前記表示画面における前記第2の表示領域に、前記生成ステップで生成した表示画像を表示させる制御ステップと、
を有する、情報処理方法。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2012−95258(P2012−95258A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2010−289780(P2010−289780)
【出願日】平成22年12月27日(2010.12.27)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】