画像処理装置、画像処理システム、画像処理方法、ならびに、プログラム
【課題】複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにする。
【解決手段】画像処理装置４００において、決定部４０７は全体画像内の第１領域の位置と第２領域の位置を決定する。第１抽出部４０１は全体画像内の第１領域を第１画像として抽出し、第２抽出部４０２は全体画像内の第２領域を第２画像として抽出する。第１表示部４０３は第１画像を第１ディスプレイに表示する。第２表示部４０４は第２画像を第２ディスプレイに表示する。撮影部４０５は第２ディスプレイの背面方向を撮影する。推定部４０６は撮影画像に映っている第１画像に対応する部分と全体画像とに基づいて第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。また、決定部４０７は第１領域の位置と推定された相対的な位置とに基づいて第２領域の位置を決定する。
【解決手段】画像処理装置４００において、決定部４０７は全体画像内の第１領域の位置と第２領域の位置を決定する。第１抽出部４０１は全体画像内の第１領域を第１画像として抽出し、第２抽出部４０２は全体画像内の第２領域を第２画像として抽出する。第１表示部４０３は第１画像を第１ディスプレイに表示する。第２表示部４０４は第２画像を第２ディスプレイに表示する。撮影部４０５は第２ディスプレイの背面方向を撮影する。推定部４０６は撮影画像に映っている第１画像に対応する部分と全体画像とに基づいて第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。また、決定部４０７は第１領域の位置と推定された相対的な位置とに基づいて第２領域の位置を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
複数のプレイヤーが１つの画面を共有して一緒にプレイできるゲームがある。例えば、特許文献１には、２人のプレイヤーが対戦するサッカーゲームが開示されており、ディスプレイにはボールがほぼ中央に位置するように制御されるゲーム画像が表示される。また、特許文献１では、一方のプレイヤーの指示対象であるキャラクターがボールをキープしているときに、味方であって視野外にいるキャラクターの配置が分かるように、ゲーム画面のマーク表示エリアに上下左右の矢印が描かれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４４５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１によれば、一方のボールをキープしている側のプレイヤーは自分のチームのキャラクターが視野外のどこにいるのかを知ることができるものの、他方のプレイヤーにとっては自分のチームのキャラクターが視野外のどこにいるのかを知ることはできないため、両方のプレイヤーが共に意向に添った画面を見ることはできなかった。
【０００５】
本発明はこのような課題を解決するものであり、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
【０００７】
本発明の第１の観点に係る画像処理装置は、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部を備える。
決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
撮影部は、第２ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。
【０００８】
本発明の画像処理装置が扱う全体画像は、例えば、仮想空間内で行われるゲームの画像である。ただし、全体画像は、ゲームの画像に限らず、映画、テレビジョン放送、ライブカメラ映像などでもよい。また、動画像でもよいし、静止画像でもよい。
【０００９】
全体画像内には、第１ディスプレイに表示される第１画像の領域である第１領域と、第２ディスプレイに表示される第２画像の領域である第２領域とが設定される。例えば、第１ディスプレイは、複数の視聴者が同時に視聴することを前提とする第１画像を表示し、第２ディスプレイは、画像処理装置のユーザーだけが視聴することを前提とする第２画像を表示する。画像処理装置のユーザーは、第１ディスプレイに表示されていない周囲を見たいときには、画像処理装置を見たい方向に向ければ、第１ディスプレイに表示されていない周囲を見ることができる。
【００１０】
すなわち、画像処理装置にはカメラが取り付けられており、カメラによる撮影画像に第１ディスプレイに表示されている第１画像がどのように映っているかによって、第１ディスプレイと第２ディスプレイの相対的な位置関係が推定され、その推定結果に基づき、第１画像とは異なった第２画像が第２ディスプレイに表示される。画像処理装置のユーザー以外の視聴者は、第１ディスプレイに表示される標準的な第１画像を大勢で一緒に見ることができる。一方、画像処理装置のユーザーは、標準的な第１画像を見たいときには第１ディスプレイを見ればよいし、第１画像とは違ったアングルで映し出された第２画像を見たいときには、画像処理装置に備え付けられたカメラを違う向きに変えて第２ディスプレイを見ればよい。本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
【００１１】
第１表示部は、所定位置に基準マークを重畳した第１画像を前記第１ディスプレイに表示してもよい。
そして、推定部は、撮影画像に基準マークが映っている場合、撮影画像に映っている基準マークの位置から、撮影画像内の第１画像に対応する部分を判別し、当該判別結果と全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定してもよい。
【００１２】
すなわち、第１ディスプレイには、基準マークが重畳された第１画像が表示され、カメラによる撮影画像の中には基準マークも写り込むことになり、基準マークの写り込み具合によって、第１ディスプレイと第２ディスプレイの相対的な位置関係が推定されるのである。本発明によれば、画像処理装置は、より効率的に第１ディスプレイに対する第２ディスプレイの相対的な位置を推定できるようになる。
【００１３】
決定部は、
（ａ）第２ディスプレイの背面が第１ディスプレイに正対していると推定される場合、もしくは、撮影画像に基準マークが映っていない場合、第２領域の中心の位置を第１領域の中心の位置と一致させ、
（ｂ）撮影画像に基準マークが映っており、且つ、第２ディスプレイの背面が第１ディスプレイに正対していないと推定される場合、第２領域の中心の位置を、第１ディスプレイに対して第２ディスプレイが偏っている方向へ移動してもよい。
【００１４】
すなわち、カメラは第２ディスプレイの背面に固定されており、第１ディスプレイと第２ディスプレイの相対的な位置関係の推定の結果、第２ディスプレイの背面が第１ディスプレイに正対しているときには、第１画像と第２画像は共に同じ位置を中心とした画像になる。また、第２ディスプレイの背面が第１ディスプレイに正対していないときには、第２画像には第１画像には含まれていない“続きの部分”も含まれる。ただし、基準マークが映り込まない程度まで違う方向にカメラが向いているときには、第１画像と第２画像は共に同じ位置を中心とした画像になる。本発明によれば、第１ディスプレイと第２ディスプレイの相対的な位置関係によって的確に第２画像を切り替えることができる。
【００１５】
決定部は、撮影画像に映っている基準マークの重心から撮影画像の中心へと結ぶベクトルの向きに、第２領域の位置を移動してもよい。
【００１６】
すなわち、画像処理装置のユーザーは、第１画像の“続き”が見たいときには、見たい方向にカメラを向ければよい。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。
【００１７】
決定部は、撮影画像に基準マークが映っており、且つ、第２ディスプレイが第１ディスプレイに正対していないと推定される場合、第２ディスプレイが第１ディスプレイに正対していると仮定した際に映っているべき基準マークの位置と、撮影画像に映っている基準マークの位置と、の差異が大きいほど、第２領域の位置の移動量を大きくしてもよい。
【００１８】
すなわち、第２ディスプレイが第１ディスプレイに正対しているときの向きと異なっている量が大きいほど、第２領域が移動する量が大きくなる。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。
【００１９】
決定部は、全体画像内での位置が可変の所定のオブジェクトが第１領域の中心位置になるように、第１領域の位置を決定してもよい。
【００２０】
すなわち、所定のオブジェクトが第１画像の中心にくるように第１領域が設定される。一方、第２領域は第１ディスプレイと第２ディスプレイの相対的な位置関係によって移動する。本発明によれば、プレイヤーは、所定のオブジェクトを追いかけるような画像を見ることができ、且つ、自分の意向に添った画像を見ることもできる。
【００２１】
本発明のその他の観点に係る画像処理システムは、第１の画像処理装置と複数の第２の画像処理装置とを有する画像処理システムであって、第１の画像処理装置は、決定部、抽出部、第１表示部、画像送信部を備える。
決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
抽出部は、全体画像内の第１領域を第１画像として抽出し、第２の画像処理装置ごとに全体画像内の第２領域を第２画像として抽出する。
第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
画像送信部は、抽出された第２画像を複数の第２の画像処理装置のそれぞれに送信する。
複数の第２の画像処理装置のそれぞれは、画像受信部、第２表示部、撮影部、推定部を備える。
画像受信部は、第２画像を第１の画像処理装置から受信する。
第２表示部は、受信した第２画像を第２ディスプレイに表示する。
撮影部は、第２ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定し、推定結果を第１の画像処理装置に送信する。
また、第１の画像処理装置の決定部は、複数の第２の画像処理装置のそれぞれから推定結果を受信し、第２の画像処理装置ごとに、全体画像内における第１領域の位置と受信した推定結果とに基づいて、全体画像内における第２領域の位置を決定する。
そして、第１の画像処理装置の抽出部は、第２の画像処理装置ごとに、決定された第２領域の位置に基づいて、全体画像内の第２領域を第２画像として抽出する。
【００２２】
本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーのそれぞれの意向に添ったゲーム画面も閲覧できるようになる。
【００２３】
本発明のその他の観点に係る画像処理方法は、決定部と第１抽出部と第２抽出部と第１表示部と第２表示部と撮影部と推定部とを有する画像処理装置にて行われる画像処理方法であって、決定ステップ、第１抽出ステップ、第２抽出ステップ、第１表示ステップ、第２表示ステップ、撮影ステップ、推定ステップを備える。
決定ステップでは、決定部が、全体画像内における第１領域の位置と第２領域の位置を決定する。
第１抽出ステップでは、第１抽出部が、全体画像内の第１領域を第１画像として抽出する。
第２抽出ステップでは、第２抽出部が、全体画像内の第２領域を第２画像として抽出する。
第１表示ステップでは、第１表示部が、抽出された第１画像を第１ディスプレイに表示する。
第２表示ステップでは、第２表示部が、抽出された第２画像を第２ディスプレイに表示する。
撮影ステップでは、撮影部が、第２ディスプレイの背面方向を撮影する。
推定ステップでは、推定部が、撮影ステップにおいて撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
そして、決定ステップでは、決定部が、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。
【００２４】
本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
【００２５】
本発明のその他の観点に係るプログラムは、コンピュータを、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部として機能させる。
決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
撮影部は、第２ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。
【００２６】
本発明によれば、コンピュータを上述のように動作する画像処理装置として機能させることができる。
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリー等のコンピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００２７】
本発明によれば、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明のゲーム装置が実現される典型的な情報処理装置のハードウェア構成を表す図である。
【図２】情報処理装置の外観を表す図である。
【図３】情報処理装置と外部ディスプレイ（第１ディスプレイ）とを表す図である。
【図４】画像処理装置の機能的な構成を表す図である。
【図５】全体画像を表す図である。
【図６】撮影画像を表す図である。
【図７】第１画像と第２画像を表す図である。
【図８】撮影画像を表す図である。
【図９】第１画像と第２画像を表す図である。
【図１０】全体画像と第１領域と第２領域を表す図である。
【図１１】撮影画像を表す図である。
【図１２】第１画像と第２画像を表す図である。
【図１３】全体画像と第１領域と第２領域を表す図である。
【図１４】画像処理を説明するためのフローチャートである。
【図１５】画像処理システムの構成を表す図である。
【図１６】外部機器のハードウェア構成を表す図である。
【図１７】第１の画像処理装置と第２の画像処理装置の機能的な構成を表す図である。
【図１８】画像処理を説明するためのフローチャートである。
【図１９】（ａ）撮影画像を表す図である。（ｂ）基準マークの分布の偏りを表す図である。（ｃ）全体画像と第１領域と第２領域を表す図である。
【図２０】基準マークを重畳した第１画像の構成例を表す図である。
【図２１】基準マークを重畳した第１画像の構成例を表す図である。
【発明を実施するための形態】
【００２９】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００３０】
（実施形態１）
図１は、プログラムを実行することにより、本実施形態に係る画像処理装置の機能を果たす典型的な情報処理装置１００のハードウェア構成を示す模式図である。
【００３１】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ １０２、ＲＡＭ（Random Access Memory）１０３、インターフェース１０４、第１タッチパネル１０５、第２タッチパネル１０６、外部メモリー１０７、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８、画像処理部１０９、ディスプレイ１１０、音声処理部１１１、ＮＩＣ（Network Interface Card）１１２、カメラ１１３を備える。
【００３２】
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態に係る画像処理装置が実現される。
【００３３】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスター（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサーを備えて実現するものがある。
【００３４】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００３５】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスターに格納してからレジスターに対して演算を行ったりして、演算結果をメモリーに書き戻す、などの処理を行う。
【００３６】
インターフェース１０４を介して接続された２つのタッチパネル（第１タッチパネル１０５と第２タッチパネル１０６）は、プレイヤーがゲームをプレイする際に行う操作入力を受け付ける。図２に示すように、第１タッチパネル１０５はディスプレイ１１０に重畳して設置されている。第１タッチパネル１０５とディスプレイ１１０を合わせてタッチスクリーンとも呼ぶ。第１タッチパネル１０５上の各点は、ディスプレイ１１０上の各点に１対１に対応している。第２タッチパネル１０６はディスプレイ１１０とは反対の面に設置されている。第１タッチパネル１０５を前面タッチパネル、第２タッチパネル１０６を背面タッチパネルともいう。なお、情報処理装置１００は、プレイヤーからの入力を受け付ける入力装置として、第１タッチパネル１０５と第２タッチパネル１０６のほかに、ボタン等を備えたいわゆる"コントローラー"と呼ばれる入力装置を備えていてもよい。
【００３７】
インターフェース１０４を介して着脱自在に接続された外部メモリー１０７には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。プレイヤーは、第１タッチパネル１０５や第２タッチパネル１０６を介して指示入力を行うことにより、これらのデータを適宜外部メモリー１０７に記録することができる。
【００３８】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを行うためのプログラムとゲームに付随する画像データや音声データなどが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出す。読み出されたプログラムやデータはＲＡＭ １０３等に一時的に記憶される。
【００３９】
画像処理部１０９は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０９が備える画像演算プロセッサー（図示せず）によって加工処理した後、これを画像処理部１０９が備えるフレームメモリー（図示せず）に記録する。フレームメモリーに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０９に接続されるディスプレイ１１０へ出力される。これにより、各種の画像表示が可能となる。
【００４０】
画像演算プロセッサーは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００４１】
また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャー情報が付加されたポリゴン情報を、Ｚバッファー法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ見たレンダリング画像を得る演算の高速実行も可能である。
【００４２】
さらに、ＣＰＵ １０１と画像演算プロセッサーが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリーへ描画したり、各ポリゴン表面へ描画したりすることが可能である。
【００４３】
音声処理部１１１は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカーから出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカーから出力させる。
【００４４】
音声処理部１１１では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカーに出力することにより、音声出力が可能となる。
【００４５】
さらに、情報処理装置１００にはマイクを接続することができる。この場合、マイクからのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ（Analog/Digital）変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１１でのミキシング等の処理ができるようにする。
【００４６】
ＮＩＣ １１２は、情報処理装置１００をインターネットやＬＡＮ（Local Area Network）等のコンピューター通信網（図示せず）に接続する。例えば、ＮＩＣ １１２は、ＬＡＮを構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがう仕様で構成される。あるいは、ＮＩＣ １１２は、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデムなどから構成されてもよい。
【００４７】
カメラ１１３は、ＣＰＵ １０１もしくはプレイヤーからの指示に従い、撮影する。撮影されて得られる画像は、ＣＰＵ １０１もしくは画像処理部１０９によって画像処理され、ディスプレイ１１０に表示されたり外部メモリー１０７に保存されたりする。本実施形態の情報処理装置１００においては、図２に示すようにカメラ１１３のレンズはディスプレイ１１０と反対側の面に取り付けられており、図３に示すようにプレイヤーは被写体に情報処理装置１００の背面を向け且つディスプレイ１１０に表示された映像を見ながら撮影することができる。例えば、プレイヤーは、ＮＩＣ １１２により通信可能であって外部機器３２０に接続されているディスプレイ３１０を含むアングルで撮影することができる。なお、後述するように、撮影画像の中にディスプレイ３１０に表示された画像がどのように写り込んでいるかに応じて、ディスプレイ１１０に表示される画像が変化する。
【００４８】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリー１０７、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００４９】
以上で説明した情報処理装置１００は、いわゆる「コンシューマー向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話機、携帯ゲーム機器、一般的なビジネス用コンピューターやパーソナルコンピューターなど、種々の計算機上で本発明を実現することが可能である。
【００５０】
次に、上記構成を有する情報処理装置１００により実現される、本実施形態の画像処理装置４００の機能的な構成について説明する。図４は、画像処理装置４００の機能的な構成を示す図である。画像処理装置４００は、第１抽出部４０１、第１表示部４０２、第２抽出部４０３、第２表示部４０４、撮影部４０５、推定部４０６、決定部４０７を備える。
【００５１】
画像処理装置４００は外部機器３２０と通信が可能であり、外部機器３２０に画像データを送信する。画像処理装置４００は、外部機器３２０を介して、外部機器３２０に接続されている外部モニター３１０に画像を表示させることができる。あるいは、画像処理装置４００は、外部モニター３１０に直接画像データを送信して画像を表示させてもよい。
【００５２】
第１抽出部４０１は、全体画像内の第１領域を第１画像として抽出する。第１領域は、後述する決定部４０７により決定される。全体画像については後述する。ＣＰＵ １０１が第１抽出部４０１として機能する。
【００５３】
第２抽出部４０２は、全体画像内の第２領域を第２画像として抽出する。第２領域は、後述する決定部４０７により決定される。ＣＰＵ １０１が第２抽出部４０２として機能する。
【００５４】
第１表示部４０３は、第１抽出部４０１により抽出された第１画像を外部ディスプレイ３１０に表示する。ＣＰＵ １０１と画像処理部１０９が協働して第１表示部４０３として機能する。
【００５５】
第２表示部４０４は、第２抽出部４０２により抽出された第２画像を、画像処理装置４００が備えるディスプレイ１１０に表示する。ＣＰＵ １０１と画像処理部１０９が協働して第２表示部４０４として機能する。
【００５６】
以下の説明において、第１画像が表示される外部ディスプレイ３１０を「第１ディスプレイ」と呼び、第２画像が表示され且つ画像処理装置４００が備えるディスプレイ１１０を「第２ディスプレイ」と呼ぶ。一般には、第１ディスプレイは複数のプレイヤーが同時に眺めることができる共有のディスプレイであり、第２ディスプレイは画像処理装置４００を所有するプレイヤー１人のみが手元で見るディスプレイである。
【００５７】
ここで、画像処理装置４００が扱う画像について、図５を用いて説明する。上記全体画像５００は、画像処理装置４００によってゲームが行われる仮想空間の全体を表す画像である。例えばサッカーゲームにおいて、全体画像５００にはサッカーコート全体が含まれる。ＣＰＵ １０１は、画像処理部１０９を制御して、仮想空間内におけるキャラクターオブジェクト（以下、単に「オブジェクト」という。）の位置や形状などをプレイヤーからの指示に基づいて変化させ、全体画像５００を生成する。
【００５８】
上述したように、全体画像５００内には、第１領域５１０と第２領域５２０がＣＰＵ １０１によって設定される。第１領域５１０と第２領域５２０は共に位置が可変であり、形状と大きさは固定である。全体画像５００のうち第１領域５１０に含まれる部分が第１画像であり、全体画像５００のうち第２領域５２０に含まれる部分が第２画像である。第１画像は第１ディスプレイ（外部ディスプレイ３１０）に表示され、第２画像は第２ディスプレイ（ディスプレイ１１０）に表示される。第１領域５１０の位置は、第２領域５２０の位置と一致するとは限らず、そのため第１ディスプレイに表示される第１画像と第２ディスプレイに表示される第２画像が異なることがある。
【００５９】
本実施形態では、ＣＰＵ １０１は、サッカーゲームにおけるサッカーボールの位置が第１領域５１０の中心位置になるように第１領域５１０を設定する。ゲームの進行に応じてサッカーボールの位置が変化するので、第１ディスプレイには、サッカーボールを常に追いかけるようなカメラワークで、ゲーム画像が表示される。一方、ＣＰＵ １０１は、カメラ１１３によって撮影された画像（撮影画像）に応じて、第２領域５２０の位置を変化させる。したがって、第２ディスプレイに表示される第２画像の表示範囲となる第２領域５２０の中心位置は、第１領域５１０の中心位置と一致するとは限らず、第１領域５１０に含まれない部分が第２領域５２０に含まれることがある。言い換えれば、全体画像５００のうち第１ディスプレイに表示されず第２ディスプレイに表示される部分が存在することがある。第２領域５２０の位置の変化の詳細については後述する。
【００６０】
撮影部４０５は、ディスプレイ１１０（第２ディスプレイ）の背面方向を撮影する。なお、ディスプレイ１１０と第１タッチパネル１０５が配置されている面が画像処理装置４００のオモテ（正面）であり、第２タッチパネル１０６が配置されている面が画像処理装置４００のウラ（背面）である。ＣＰＵ １０１とカメラ１１３が協働して撮影部４０５として機能する。
【００６１】
カメラ１１３のレンズは、第２タッチパネル１０６が配置されている側、すなわち画像処理装置４００の背面側に固定されている。プレイヤーが画像処理装置４００の背面を被写体に向けると、背面に配置されたレンズが被写体に向くことになるので、プレイヤーは、画像処理装置４００を一般的なデジタルカメラのように構えて被写体を撮影することが可能である。
【００６２】
図６に、カメラ１１３によって撮影された撮影画像６００の例を示す。ＣＰＵ １０１は、カメラ１１３を制御して、リアルタイムで動画撮影する。本図の撮影画像６００では、外部ディスプレイ３１０がほぼ中央に収まっている。画像処理装置４００は、ゲームの実行中ではゲーム画像（サッカーゲームにおいては、サッカーゲームの様子を表す画像）をディスプレイ１１０に表示し、ゲームの実行と並行して動画撮影する。動画撮影で得られた映像は、ディスプレイ１１０等には表示されないが、後述するように全体画像５００中の第２領域５２０の位置を決定するために用いられる。
【００６３】
推定部４０６は、撮影部４０５により撮影された撮影画像に基づいて、第１ディスプレイ（ディスプレイ１１０）に対する第２ディスプレイ（外部ディスプレイ３１０）の相対的な位置を推定する。ＣＰＵ １０１と画像処理部１０９が協働して、推定部４０６として機能する。
【００６４】
決定部４０７は、全体画像５００内における第１領域５１０の位置を決定する。例えば、決定部４０７は、上述したように、サッカーゲームにおけるサッカーボールの位置が第１領域５１０の中心位置になるように第１領域５１０の位置を決定する。また、決定部４０７は、第１領域５１０の位置と、推定部４０６により推定された、第１ディスプレイに対する第２ディスプレイの相対的な位置とに基づいて、全体画像５００内における第２領域５２０の位置を決定する。ＣＰＵ １０１と画像処理部１０９が協働して、決定部４０７として機能する。
【００６５】
ここで、第１ディスプレイに対する第２ディスプレイの相対位置の推定と、推定結果に基づく第２領域５２０の位置の決定について、詳しく説明する。ＣＰＵ １０１は、撮影画像６００のうち第１画像に対応する部分６５０を判別する。そして、ＣＰＵ １０１は、第１画像に対応する部分６５０が全体画像５００のどこに相当するのかを判別する。
【００６６】
すなわち、ＣＰＵ １０１は、撮影画像６００のうち第１画像に対応する部分６５０と、全体画像５００とをパターンマッチングすることにより、全体画像５００中における、第１画像に対応する部分６５０の位置を判別する。すなわち、全体画像５００のうちカメラ１１３によって撮影されている部分が判別される。そして、ＣＰＵ １０１は、判別結果から、第１ディスプレイに対する第２ディスプレイの相対位置を推定する。
【００６７】
例えば、ＣＰＵ １０１は、全体画像５００の中に配置されている所定の注目オブジェクト（目印となるオブジェクト）の位置と、撮影画像６００のうち第１画像に対応する部分６５０の中に写り込んでいるオブジェクトの位置とをマッチングすることにより、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。注目オブジェクトは任意であり、典型的には、サッカーゲームにおける選手や審判を表すオブジェクト、サッカーボールを表すオブジェクトが用いられる。あるいは、サッカーコートに描かれているラインの位置、芝生の模様などが目印に用いられてもよい。
【００６８】
あるいは、ＣＰＵ １０１は、撮影画像６００のうち第１画像に対応する部分６５０の位置と形状に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。例えば、撮影画像６００が図６に示されるものである場合、第１ディスプレイの全体が撮影画像６００のほぼ中央に映っており、第１画像に対応する部分６５０の形状が歪んでおらずほぼ長方形であることから、ＣＰＵ １０１は、図７に示すように、第２ディスプレイが第１ディスプレイの正面に平行に配置されている、言い換えれば、第２ディスプレイの背面が第１ディスプレイに正対している、と推定してもよい。
【００６９】
さらに、ＣＰＵ １０１は、図７に示すように、第１画像７１０に所定の基準マーク７５０（図７では７５０Ａ，７５０Ｂ，７５０Ｃ，７５０Ｄの４つ）を重畳した画像を第１ディスプレイに表示することとし、撮影画像６００の中の基準マーク７５０の配置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。
【００７０】
より詳細には、ＣＰＵ １０１は、撮影画像６００の中に４つの基準マーク７５０Ａ〜７５０Ｄのすべてが含まれている場合には、第２ディスプレイの正面に第１ディスプレイが配置されていると推定する。一方、ＣＰＵ １０１は、撮影画像６００の中に４つの基準マーク７５０Ａ〜７５０Ｄのうちいずれか１つ以上が含まれていない場合には、撮影画像６００の中に含まれている基準マークの分布に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する。そして、ＣＰＵ １０１は、推定結果に基づいて、第２領域５２０の位置を決定する。
【００７１】
例えば図８に示すように、撮影画像８００の中に、各コーナーに配置された４つの基準マーク７５０Ａ〜７５０Ｄのうち右側の２つの基準マーク７５０Ｃ，７５０Ｄだけが含まれている場合、ＣＰＵ １０１は、第２ディスプレイが第１ディスプレイに正対しておらず、図９に示すように第２ディスプレイが第１ディスプレイよりも相対的に右側に偏っていると推定する。つまり、画像処理装置４００のプレイヤーは画像処理装置４００の背面を第１ディスプレイの右寄りに向けていると推定され、全体画像５００のうち第１画像よりも右側を見たいと思っていると推定される。
【００７２】
そこで、ＣＰＵ １０１は、図１０に示すように、全体画像５００における第２領域５２０を、第２ディスプレイが第１ディスプレイよりも偏っている方向、つまり第１領域５１０よりも右側へ（Ｘ軸の正の向きへ）、移動量ΔＬだけ移動する。その結果、例えば図１０においては、第２領域５２０は第１領域５１０の外へはみ出ており、はみ出た部分１０００は第２ディスプレイに表示されるが第１ディスプレイには表示されない。
【００７３】
第２領域５２０の移動量ΔＬの大きさは任意であるが、例えばＣＰＵ １０１は、撮影画像８００における基準マーク７５０の位置が、第２ディスプレイが第１ディスプレイの正面にあると仮定したときにおける基準マーク７５０の位置よりも、どの程度ずれているかに基づいて、移動量ΔＬを決定してもよい。ＣＰＵ １０１は、この基準マーク７５０の位置のずれが大きいほど、移動量ΔＬを大きくしてもよい。
【００７４】
図８〜１０では、第２ディスプレイが第１ディスプレイよりも右側にずれているケースについて説明されているが、左側、上側、下側にずれているケースにおいても、ＣＰＵ １０１は、同様の処理によって第２領域５２０の位置を左側、上側、もしくは下側に移動する。
【００７５】
例えば図１１に示すように、撮影画像１１００の中に４つの基準マーク７５０Ａ〜７５０Ｄのすべてが含まれているものの、これらが右上方へ偏っている場合、ＣＰＵ １０１は、図１２に示すように、第２ディスプレイが第１ディスプレイよりも相対的に左下側にあると推定する。つまり、画像処理装置４００のプレイヤーは画像処理装置４００の背面を第１ディスプレイの左下寄りに向けていると推定され、全体画像５００のうち第１画像よりも左下側を見たいと思っていると推定される。
【００７６】
そこで、ＣＰＵ １０１は、図１３に示すように、全体画像５００における第２領域５２０を、第１領域５１０よりも左下側へ（Ｘ軸の負の向き且つＹ軸の正の向きへ）移動する。例えばＣＰＵ １０１は、第２ディスプレイが第１ディスプレイの真正面にある場合に検出されるべき基準マークの位置１１５０Ａ〜１１５０Ｄと、撮影画像１１００内の基準マーク７５０Ａ〜７５０Ｄの位置と、のＸ成分の差異が大きいほど、移動量のＸ成分ΔＬＸを大きくする。同様に、ＣＰＵ １０１は、第２ディスプレイが第１ディスプレイの真正面にある場合に検出されるべき基準マークの位置１１５０Ａ〜１１５０Ｄと、撮影画像１１００内の基準マーク７５０Ａ〜７５０Ｄの位置と、のＹ成分の差異が大きいほど、移動量のＹ成分ΔＬＹを大きくする。
【００７７】
なお、撮影画像８００の中に、各コーナーに配置された４つの基準マーク７５０Ａ〜７５０Ｄがすべて含まれていない場合には、ＣＰＵ １０１は、第２領域５２０の中心位置を第１領域５１０の中心位置と一致させることする。つまり、基準マーク７５０が一つも入らないようなアングルで撮影されている場合には、プレイヤーは第１ディスプレイを閲覧しない（閲覧できない）と判断し、第１領域５１０の中に第２領域５２０のすべてが含まれるようにする。第１領域５１０と第２領域５２０の大きさと形状が共に同じであれば、第１ディスプレイと同じゲーム画像が第２ディスプレイにも表示されることになる。
【００７８】
次に、画像処理装置４００が行う画像処理について、図１４のフローチャートを用いて説明する。ここでは、仮想空間内におけるサッカーゲームが画像処理装置４００によって実行されるものとして説明する。１人のプレイヤーが画像処理装置４００を用いてＮＰＣ（Non Player Character）を相手にサッカーゲームをプレイする。プレイヤーは、第１ディスプレイに表示される第１画像を見ることができるし、手元の第２ディスプレイに表示される第２画像を見ることもできる。ゲームのプレイヤー以外の他の観戦者は、通常、第１ディスプレイに表示される第１画像を見ることになる。また、サッカーゲームが行われている間、画像処理装置４００は、ゲーム処理と並行して、カメラ１１３を制御して画像処理装置４００の背面側を撮影する。
【００７９】
ゲームを開始すると、ＣＰＵ １０１は、全体画像５００内の初期位置に第１領域５１０を設定する（ステップＳ１４０１）。第１領域５１０の初期位置は、例えば全体画像５００の中心位置や、注目オブジェクトの位置である。注目オブジェクトは、例えばサッカーボールを表すオブジェクトである。
【００８０】
ＣＰＵ １０１は、全体画像５００内の初期位置に第２領域５２０を設定する（ステップＳ１４０２）。本実施形態では、第２領域５２０の初期位置は、第１領域５１０の中心位置と同じ位置である。つまり、初期状態では、第１ディスプレイと第２ディスプレイには、同じ位置を中心とした画像が表示される。
【００８１】
ＣＰＵ １０１は、全体画像５００から第１領域５１０に含まれる第１画像を抽出し、全体画像５００から第２領域５２０に含まれる第２画像を抽出する（ステップＳ１４０３）。
【００８２】
ＣＰＵ １０１は、抽出した第１画像を第１ディスプレイに表示し、抽出した第２画像を第２ディスプレイに表示する（ステップＳ１４０４）。なお、第１ディスプレイには、第１画像に上述の基準マーク７５０を重畳した画像が表示される。
【００８３】
ＣＰＵ １０１は、注目オブジェクトの位置の変化に応じて、全体画像５００内における第１領域５１０の位置を変化させる（ステップＳ１４０５）。例えば、サッカーボールを注目オブジェクトとするとき、第１ディスプレイには、サッカーボールを常に追いかけるようなゲーム画面が表示される。
【００８４】
ＣＰＵ １０１は、カメラ１１３によって撮影された撮影画像の中に基準マーク７５０が含まれているか否かを判別する（ステップＳ１４０６）。
【００８５】
撮影画像の中に基準マーク７５０が含まれていないと判別した場合（ステップＳ１４０６；ＮＯ）、ＣＰＵ １０１は、ステップＳ１４０２に戻り、第２領域５２０を初期位置（第１領域５１０の中心位置）に設定する。つまり、画像処理装置４００のカメラ１１３によって第１ディスプレイが撮影されていない場合には、第２ディスプレイには第１ディスプレイと同じゲーム画像が表示される。
【００８６】
一方、撮影画像の中に基準マーク７５０が含まれていると判別した場合（ステップＳ１４０６；ＹＥＳ）、ＣＰＵ １０１は、撮影画像を解析し、撮影画像に含まれる基準マーク７５０の位置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する（ステップＳ１４０７）。つまり、画像処理装置４００によって第１ディスプレイの全部又は一部が撮影されている場合には、第１ディスプレイに対する第２ディスプレイの相対位置が推定される。
【００８７】
ＣＰＵ １０１は、ステップＳ１４０７で推定された第１ディスプレイに対する第２ディスプレイの相対位置の変化に応じて、全体画像５００内における第２領域５２０の位置を変化させる（ステップＳ１４０８）。例えば、第２ディスプレイが第１ディスプレイの左側に偏って配置されていると推定されれば、第２領域５２０も左寄りに移動し、第２ディスプレイには第１画像よりも左側であって第１ディスプレイには映っていない“続きの部分”も表示される。第２ディスプレイが第１ディスプレイの右側に偏って配置されていると推定されれば、第２領域５２０も右寄りに移動し、第２ディスプレイには第１画像よりも右側であって第１ディスプレイには映っていない“続きの部分”も表示される。
【００８８】
ＣＰＵ １０１は、ゲームを終了するか否かを判別する（ステップＳ１４０９）。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、ＣＰＵ １０１はゲームを終了すると判別する。
【００８９】
ゲームを終了しないと判別した場合（ステップＳ１４０９；ＮＯ）、ＣＰＵ １０１は、ステップＳ１４０２〜Ｓ１４０９の処理を繰り返す。ゲームを終了すると判別した場合（ステップＳ１４０９；ＹＥＳ）、ＣＰＵ １０１は、画像処理を終了する。
【００９０】
例えば、ＮＰＣを相手に１人のプレイヤーがゲームをプレイしており、そのゲームの様子を観戦者が第１ディスプレイで観戦する状況において、観戦者は、まるでテレビ中継を大勢で一緒に見るかのように、プレイヤーのプレイを邪魔することなく第１ディスプレイで観戦できる。また、プレイヤーは、観戦者に邪魔されることなく第１ディスプレイと第２ディスプレイを見ながらゲームをプレイできる。プレイヤーは、注目オブジェクト（例えばサッカーボール）を中心としたゲーム画像を見たいときには第１ディスプレイを見ればよいし、第１ディスプレイに映っていない周囲を見たいときには続きを見たい向きに画像処理装置４００を向けて第２ディスプレイを見ればよい。
【００９１】
例えば、サッカーゲームにおいて、プレイヤーは、パスをどの方向へ繋げればよいかを考えるとき、画像処理装置４００の向きを変えて第２ディスプレイを見れば、第１ディスプレイに映っていない周囲を見ることができる。第２ディスプレイはプレイヤーの手元にあるので、観戦者が第１ディスプレイでなく第２ディスプレイを見ることは容易ではない。そのため、ゲームのプレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、観戦者には分からない。このように、本実施形態によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
【００９２】
（実施形態２）
次に、本発明のその他の実施形態について説明する。本実施形態では、複数のプレイヤーが同じゲームに参加できる。そして、各プレイヤーが互いに異なった第２画像を見ることができる。
【００９３】
図１５は、本実施形態の画像処理システム１５００の構成を示す図である。画像処理システム１５００には、第１の画像処理装置１５１０と、第１の画像処理装置１５１０に接続された第１ディスプレイ１５３０と、複数の第２の画像処理装置１５２０（本図では、１５２０Ａ，１５２０Ｂの２つ）と、が含まれる。ゲームシステム１５００に含まれる第２の画像処理装置１５２０の数は２つでなくてもよく、３つ以上でもよい。プレイヤー１人につき、第２の画像処理装置１５２０が１台割り当てられる。
【００９４】
第１の画像処理装置１５１０は、各プレイヤーからの指示入力を第２の画像処理装置１５２０Ａ，１５２０Ｂから受信し、仮想空間内におけるゲームを実行し、ゲームの進捗状況などを第２の画像処理装置１５２０Ａ，１５２０Ｂへ送信する。また、第１の画像処理装置１５１０は、全体画像５００を生成し、第１画像を第１ディスプレイ１５３０に表示する。さらに、第１の画像処理装置１５１０は、第２画像を第２の画像処理装置１５２０Ａ，１５２０Ｂへ送信する。送信された第２画像は第２の画像処理装置１５２０Ａ，１５２０Ｂが有する第２ディスプレイ１５２１Ａ，１５２１Ｂに表示される。
【００９５】
図１６は、第１の画像処理装置１５１０のハードウェア構成を示す図である。第１の画像処理装置１５１０は、制御部１６０１、記憶部１６０２、表示部１６０３、通信部１６０４を備える。
【００９６】
制御部１６０１は、ＣＰＵや画像演算プロセッサーなどから構成され、第１の画像処理装置１５１０の全体を制御する。制御部１６０１は、第２の画像処理装置１５２０Ａ，１５２０Ｂから送信された指示入力に基づいてゲームを進行させる処理（ゲーム処理）を実行する。また、制御部１６０１は、全体画像５００から第１領域５１０内の第１画像を抽出し、全体画像５００から第２領域５２０内の第２画像を抽出する。
【００９７】
記憶部１６０２には、ＲＯＭ、ＲＡＭ、ハードディスクなどから構成され、ゲームの進捗状況やキャラクターの属性パラメーターなどといったゲームデータのほか、全体画像５００、第１画像５１０、第２画像５２０が記憶される。
【００９８】
表示部１６０３は、第１画像に基準マークを重畳した画像を第１ディスプレイ１５３０に表示する。
【００９９】
通信部１６０４は、第２の画像処理装置１５２０Ａ，１５２０Ｂと通信する。例えば、通信部１６０４は、第２の画像処理装置１５２０Ａからプレイヤーによる指示入力や撮影画像（もしくは第１ディスプレイ１５３０に対する第２ディスプレイ１５２１Ａの相対位置を示すデータ）を受信し、第２画像を第２の画像処理装置１５２０Ａに送信する。同様に、通信部１６０４は、第２の画像処理装置１５２０Ｂからプレイヤーによる指示入力や撮影画像（もしくは第１ディスプレイ１５３０に対する第２ディスプレイ１５２１Ｂの相対位置を示すデータ）を受信し、第２画像を第２の画像処理装置１５２０Ｂに送信する。
【０１００】
これらの構成を有する第１の画像処理装置１５１０は、いわゆるゲームサーバーの役割を果たす。本実施形態では、第１の画像処理装置１５１０は２つの第２の画像処理装置１５２０Ａ，１５２０Ｂと並行して通信するが、３つ以上の第２の画像処理装置１５２０と並行して通信してもよい。
【０１０１】
なお、第２の画像処理装置１５２０Ａ，１５２０Ｂのハードウェア構成については、実施形態１に記載した画像処理装置４００と同一であるので、詳しい説明は省略する。
【０１０２】
次に、画像処理システム１５００の機能的な構成について、図１７を用いて説明する。第１の画像処理装置１５１０は、抽出部１７０１、第１表示部１７０２、画像送信部１７０３、決定部１７０８を備える。第２の画像処理装置１５２０のそれぞれは、画像受信部１７０４、第２表示部１７０５、撮影部１７０６、推定部１７０７を備える。なお、説明の簡略化のため、本図には第１の画像処理装置１５１０が１つしか記載されていないが、画像処理システム１５００には、複数の第１の画像処理装置１５１０が含まれている。
【０１０３】
抽出部１７０１は、全体画像５００内の第１領域５１０を第１画像として抽出し、第２の画像処理装置１５２０ごとに、全体画像５００内の第２領域５２０を第２画像として抽出する。抽出部１７０１は、第２の画像処理装置１５２０ごとに、後述する決定部１７０８により決定された第２領域５２０の位置に基づいて、全体画像５００内の第２領域５２０を第２画像として抽出する。制御部１６０１が抽出部１７０１として機能する。
【０１０４】
第１表示部１７０２は、抽出部１７０１により抽出された第１画像を第１ディスプレイに表示する。制御部１６０１と表示部１６０３が協働して、第１表示部１７０２として機能する。
【０１０５】
画像送信部１７０３は、抽出部１７０１により抽出された第２画像を、第２の画像処理装置１５２０のそれぞれに送信する。制御部１６０１と通信部１６０４が協働して、画像送信部１７０３として機能する。
【０１０６】
画像受信部１７０４は、第２画像を第１の画像処理装置１５１０から受信する。ＣＰＵ １０１とＮＩＣ １１２が協働して、画像受信部１７０４として機能する。
【０１０７】
第２表示部１７０５は、画像受信部１７０４が受信した第２画像を第２ディスプレイに表示する。ＣＰＵ １０１と画像処理部１０９が協働して、第２表示部１７０５として機能する。
【０１０８】
撮影部１７０６は、第２ディスプレイの背面方向を撮影する。ＣＰＵ １０１とカメラ１１３が協働して、撮影部１７０６として機能する。
【０１０９】
推定部１７０７は、撮影部１７０６により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。そして、推定部１７０７は、推定結果を第１の画像処理装置１５１０に送信する。ＣＰＵ １０１とＮＩＣ １１２が協働して、推定部１７０７として機能する。
【０１１０】
決定部１７０８は、第２の画像処理装置１５２０のそれぞれについて、第１領域５１０の位置と、第２の画像処理装置１５２０から受信した推定結果とに基づいて、第２領域５２０の位置を決定する。決定部１７０８は、第２の画像処理装置１５２０のそれぞれから推定結果を受信し、第２の画像処理装置１５２０ごとに、第１領域５１０の位置と受信した推定結果とに基づいて、第２領域５２０の位置を決定する。制御部１６０１が決定部１７０８として機能する。
【０１１１】
次に、第１の画像処理装置１５１０と第２の画像処理装置１５２０が行う画像処理について、図１８のフローチャートを用いて説明する。第２の画像処理装置１５２０は１つだけでなく複数でもよいが、説明の簡略化のため、ここでは１つの第２の画像処理装置１５２０が画像処理システム１５００に含まれるものとする。
【０１１２】
ゲームを開始すると、ＣＰＵ １０１は、全体画像５００内の初期位置に第１領域５１０を設定する（ステップＳ１８０１）。
【０１１３】
ＣＰＵ １０１は、全体画像５００内の初期位置に第２領域５２０を設定する（ステップＳ１８０２）。本実施形態では、第２領域５２０の初期位置は、第１領域５１０の中心位置と同じ位置である。
【０１１４】
ＣＰＵ １０１は、全体画像５００から第１領域５１０に含まれる第１画像を抽出し、全体画像５００から第２領域５２０に含まれる第２画像を抽出する（ステップＳ１８０３）。
【０１１５】
第１の画像処理装置１５１０のＣＰＵ １０１は、抽出した第２画像を第２の画像処理装置１５２０に送信する（ステップＳ１８０４）。第２の画像処理装置１５２０の制御部１６０１は、第２の画像処理装置１５２０から第２の画像を受信する（ステップＳ１８０５）。
【０１１６】
ＣＰＵ １０１は、抽出した第１画像を第１ディスプレイに表示する（ステップＳ１８０６）。ＣＰＵ １０１は、第１画像に上述の基準マーク７５０を重畳した画像を第１ディスプレイに表示する。
【０１１７】
ＣＰＵ １０１は、注目オブジェクトの位置の変化に応じて、全体画像５００内における第１領域５１０の位置を変化させる（ステップＳ１８０７）。
【０１１８】
一方、第２画像を受信した第２の画像処理装置１５２０の制御部１６０１は、受信した第２画像を第２ディスプレイに表示する（ステップＳ１８０８）。
【０１１９】
制御部１６０１は、カメラ１１３によって撮影された撮影画像の中に基準マーク７５０が含まれているか否かを判別する（ステップＳ１８０９）。
【０１２０】
撮影画像の中に基準マーク７５０が含まれていないと判別した場合（ステップＳ１８０９；ＮＯ）、制御部１６０１は、ステップＳ１８０２に戻り、第２領域５２０を初期位置（第１領域５１０の中心位置）に設定する。つまり、画像処理装置４００のカメラ１１３によって第１ディスプレイが撮影されていない場合には、第２ディスプレイには第１ディスプレイと同じゲーム画像が表示される。
【０１２１】
一方、撮影画像の中に基準マーク７５０が含まれていると判別した場合（ステップＳ１８０９；ＹＥＳ）、制御部１６０１は、撮影画像を解析し、撮影画像に含まれる基準マーク７５０の位置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する（ステップＳ１８１０）。つまり、第２の画像処理装置１５２０によって第１ディスプレイの全部又は一部が撮影されている場合には、第１ディスプレイに対する第２ディスプレイの相対位置が推定される。
【０１２２】
具体的には、制御部１６０１は、図１９（ａ）に示す撮影画像１９００の中に含まれる基準マーク７５０Ａ〜７５０Ｄの分布の偏りを解析する。制御部１６０１は、図１９（ｂ）に示すように、撮影画像の中から基準マーク７５０Ａ〜７５０Ｄを抽出し、抽出した基準マーク７５０の重心１９２０と、撮影画像の中心１９１０とを求める。制御部１６０１は、基準マーク７５０の重心１９２０から撮影画像の中心１９１０へと結ぶベクトル１９３０の長さが所定値以上の場合、基準マーク７５０Ａ〜７５０Ｄの分布に有意の偏りがあると判別する。制御部１６０１は、第１ディスプレイを基準に、第２ディスプレイがベクトル１９３０の示す分だけずれて配置されていると推定する。
【０１２３】
第２の画像処理装置１５２０の制御部１６０１は、ステップＳ１８１０での推定結果を第１の画像処理装置１５１０へ送信する（ステップＳ１８１１）。第１の画像処理装置１６０１のＣＰＵ １０１は、推定結果を第２の画像処理装置１５２０から受信する（ステップＳ１８１２）。
【０１２４】
ＣＰＵ １０１は、ステップＳ１８１２で受信した推定結果に応じて、全体画像５００内における第２領域５２０の位置を変化させる（ステップＳ１８１３）。例えば、図１９（ｃ）に示すように、ベクトル１９３０と方向が同じベクトル１９４０を求め、ベクトル１９４０の向きへ第２領域５２０を移動する。第２領域５２０の移動量は所定値でもよいし、ベクトル１９３０又はベクトル１９４０の長さに比例した値でもよい。
【０１２５】
ＣＰＵ １０１は、ゲームを終了するか否かを判別する（ステップＳ１８１４）。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、ＣＰＵ １０１はゲームを終了すると判別する。
【０１２６】
ゲームを終了しないと判別した場合（ステップＳ１８１４；ＮＯ）、第１の画像処理装置１５１０と第２の画像処理装置１５２０は、ステップＳ１８０２〜Ｓ１８１４の処理を繰り返す。ゲームを終了すると判別した場合（ステップＳ１８１４；ＹＥＳ）、ＣＰＵ １０１は、画像処理を終了する。
【０１２７】
画像処理システム１５００に複数の第２の画像処理装置１５２０が含まれる場合には、以上のステップＳ１８０１〜Ｓ１８１４の処理が第２の画像処理装置１５２０ごとに行われる。したがって、第２の画像処理装置１５２０のプレイヤーのそれぞれは、１つのゲーム画面（第１ディスプレイ）を共有しつつ、プレイヤーの意向に添ったゲーム画面（第２ディスプレイ）も閲覧できる。
【０１２８】
例えば、２人のプレイヤー同士が対戦するサッカーゲームにおいて、プレイヤーのそれぞれは、パスをどの方向へ繋げればよいかを考えるとき、自分が操作する第２の画像処理装置１５２０の向きを変えて第２ディスプレイを見れば、第１ディスプレイに映っていない周囲を見ることができる。第２ディスプレイは各プレイヤーの手元にあるので、プレイヤーが他人の操作する第２の画像処理装置１５２０の第２ディスプレイを見ることは容易ではない。そのため、プレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、対戦相手プレイヤーに知られることはない。
【０１２９】
（実施形態３）
次に、本発明のその他の実施形態について説明する。本実施形態は、基準マークの数、配置、形状等の変形例である。
【０１３０】
図２０は、基準マーク２０００（本図では２０００１，２０００２などと記載。）が重畳された第１画像の構成例を表す図である。本図では、基準マーク２０００は円形であり、第１画像の周縁部に３０個配置されている。基準マーク２０００の数を増やすことにより、撮影画像の中に基準マーク２０００が写り込みやすくなる。従って、第１ディスプレイと第２ディスプレイの相対的な位置関係を推測する精度が向上する。
【０１３１】
あるいは、図２１に示すように、基準マーク２１００を１つのみにし、且つ、第１画像を取り囲むような縁状にしてもよい。このように基準マーク２０００の数を増やさなくても、形状を変えることにより、撮影画像の中に基準マーク２０００が写り込みやすくなる。
【０１３２】
また、ＣＰＵ １０１は、基準マーク２０００，２１００を所定の時間間隔で点滅させたり、色を所定の時間間隔で変化させたりしてもよい。点滅あるいは色の変化により、第１ディスプレイと第２ディスプレイの相対的な位置関係を推測する精度がさらに向上する。
【０１３３】
本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。
【０１３４】
上述の各実施形態では、画像処理装置４００もしくは画像処理システム１５００は仮想空間内の様子を表す全体画像５００を扱っているが、ストリーミングで配信される映像など、現実空間の様子を表す画像を第１ディスプレイと第２ディスプレイに表示する際に本発明を適用することも可能である。勿論、配信されるコンテンツはストリーミング型でもよいし、ダウンロード型であってもよい。
【０１３５】
具体的には、現実に行われるスポーツの番組などの放送に本発明を適用する場合、放送事業者は、第１ディスプレイの表示サイズよりも広めの全体画像５００を外部機器３２０に配信する。放送形態は無線でも有線でもよい。外部機器３２０は、配信された全体画像５００内に全体画像５００よりも小さいサイズの第１領域５１０を設定し、第１画像を第１ディスプレイに表示する。また、外部装置３２０は、全体画像５００内に第２領域５２０を設定し、第２画像を画像処理装置４００に送信する。ここで、画像処理装置４００のユーザーは、画像処理装置４００のカメラ１１３の向きを動かすことにより、第１ディスプレイに映っている第１画像とは異なった第２画像を視聴することも可能である。画像処理装置４００のユーザーは、第１ディスプレイに映っていない部分を見たいとき、カメラ１１３を好みの向きに変えれば、第１画像の周辺部分まで視聴することができる。例えば、画像処理装置４００のユーザーは、第１画像よりもっと左側を見たい場合には、カメラ１１３を左側に向ければ、全体画像５００の範囲内で第１画像よりもっと左側を視聴することができる。画像処理装置４００は、第１画像を複数の視聴者が集まって一緒に視聴することを前提とする標準的な画像として提供し、第２画像をユーザーごとに異なった好みに対応するためのオプション的な画像として提供するわけである。画像処理装置４００は、視聴者の多種多様な好みに適した映像を提供することができる。
【０１３６】
上記の画像処理装置４００の全部又は一部としてコンピュータを動作させるためのプログラムを、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０１３７】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【０１３８】
以上説明したように、本発明によれば、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１３９】
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ 第１タッチパネル
１０６ 第２タッチパネル
１０７ 外部メモリー
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ 画像処理部
１１０ ディスプレイ（第２ディスプレイ）
１１１ 音声処理部
１１２ ＮＩＣ
１１３ カメラ
３１０ ディスプレイ（第１ディスプレイ）
４００ 画像処理装置
４０１ 第１抽出部
４０２ 第１表示部
４０３ 第２抽出部
４０４ 第２表示部
４０５ 撮影部
４０６ 推定部
４０７ 決定部
５００ 全体画像
５１０ 第１領域
５２０ 第２領域
６００，８００ 撮影画像
７５０，７５０Ａ〜７５０Ｄ 基準マーク
１５００ 画像処理システム
１５１０ 第１の画像処理装置
１５２０ 第２の画像処理装置
１５２１Ａ，１５２１Ｂ 第２ディスプレイ
１５３０ 第１ディスプレイ
１６０１ 制御部
１６０２ 記憶部
１６０３ 表示部
１６０４ 通信部
１７０１ 抽出部
１７０２ 第１表示部
１７０３ 画像送信部
１７０４ 画像受信部
１７０５ 第２表示部
１７０６ 撮影部
１７０７ 推定部
１７０８ 決定部
１９００ 撮影画像
１９１０ 撮影画像の中心
１９２０ 基準マークの分布の重心
１９３０，１９４０ ベクトル
２０００，２１００ 基準マーク
【技術分野】
【０００１】
本発明は、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
複数のプレイヤーが１つの画面を共有して一緒にプレイできるゲームがある。例えば、特許文献１には、２人のプレイヤーが対戦するサッカーゲームが開示されており、ディスプレイにはボールがほぼ中央に位置するように制御されるゲーム画像が表示される。また、特許文献１では、一方のプレイヤーの指示対象であるキャラクターがボールをキープしているときに、味方であって視野外にいるキャラクターの配置が分かるように、ゲーム画面のマーク表示エリアに上下左右の矢印が描かれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４４５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１によれば、一方のボールをキープしている側のプレイヤーは自分のチームのキャラクターが視野外のどこにいるのかを知ることができるものの、他方のプレイヤーにとっては自分のチームのキャラクターが視野外のどこにいるのかを知ることはできないため、両方のプレイヤーが共に意向に添った画面を見ることはできなかった。
【０００５】
本発明はこのような課題を解決するものであり、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。
【０００７】
本発明の第１の観点に係る画像処理装置は、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部を備える。
決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
撮影部は、第２ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。
【０００８】
本発明の画像処理装置が扱う全体画像は、例えば、仮想空間内で行われるゲームの画像である。ただし、全体画像は、ゲームの画像に限らず、映画、テレビジョン放送、ライブカメラ映像などでもよい。また、動画像でもよいし、静止画像でもよい。
【０００９】
全体画像内には、第１ディスプレイに表示される第１画像の領域である第１領域と、第２ディスプレイに表示される第２画像の領域である第２領域とが設定される。例えば、第１ディスプレイは、複数の視聴者が同時に視聴することを前提とする第１画像を表示し、第２ディスプレイは、画像処理装置のユーザーだけが視聴することを前提とする第２画像を表示する。画像処理装置のユーザーは、第１ディスプレイに表示されていない周囲を見たいときには、画像処理装置を見たい方向に向ければ、第１ディスプレイに表示されていない周囲を見ることができる。
【００１０】
すなわち、画像処理装置にはカメラが取り付けられており、カメラによる撮影画像に第１ディスプレイに表示されている第１画像がどのように映っているかによって、第１ディスプレイと第２ディスプレイの相対的な位置関係が推定され、その推定結果に基づき、第１画像とは異なった第２画像が第２ディスプレイに表示される。画像処理装置のユーザー以外の視聴者は、第１ディスプレイに表示される標準的な第１画像を大勢で一緒に見ることができる。一方、画像処理装置のユーザーは、標準的な第１画像を見たいときには第１ディスプレイを見ればよいし、第１画像とは違ったアングルで映し出された第２画像を見たいときには、画像処理装置に備え付けられたカメラを違う向きに変えて第２ディスプレイを見ればよい。本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
【００１１】
第１表示部は、所定位置に基準マークを重畳した第１画像を前記第１ディスプレイに表示してもよい。
そして、推定部は、撮影画像に基準マークが映っている場合、撮影画像に映っている基準マークの位置から、撮影画像内の第１画像に対応する部分を判別し、当該判別結果と全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定してもよい。
【００１２】
すなわち、第１ディスプレイには、基準マークが重畳された第１画像が表示され、カメラによる撮影画像の中には基準マークも写り込むことになり、基準マークの写り込み具合によって、第１ディスプレイと第２ディスプレイの相対的な位置関係が推定されるのである。本発明によれば、画像処理装置は、より効率的に第１ディスプレイに対する第２ディスプレイの相対的な位置を推定できるようになる。
【００１３】
決定部は、
（ａ）第２ディスプレイの背面が第１ディスプレイに正対していると推定される場合、もしくは、撮影画像に基準マークが映っていない場合、第２領域の中心の位置を第１領域の中心の位置と一致させ、
（ｂ）撮影画像に基準マークが映っており、且つ、第２ディスプレイの背面が第１ディスプレイに正対していないと推定される場合、第２領域の中心の位置を、第１ディスプレイに対して第２ディスプレイが偏っている方向へ移動してもよい。
【００１４】
すなわち、カメラは第２ディスプレイの背面に固定されており、第１ディスプレイと第２ディスプレイの相対的な位置関係の推定の結果、第２ディスプレイの背面が第１ディスプレイに正対しているときには、第１画像と第２画像は共に同じ位置を中心とした画像になる。また、第２ディスプレイの背面が第１ディスプレイに正対していないときには、第２画像には第１画像には含まれていない“続きの部分”も含まれる。ただし、基準マークが映り込まない程度まで違う方向にカメラが向いているときには、第１画像と第２画像は共に同じ位置を中心とした画像になる。本発明によれば、第１ディスプレイと第２ディスプレイの相対的な位置関係によって的確に第２画像を切り替えることができる。
【００１５】
決定部は、撮影画像に映っている基準マークの重心から撮影画像の中心へと結ぶベクトルの向きに、第２領域の位置を移動してもよい。
【００１６】
すなわち、画像処理装置のユーザーは、第１画像の“続き”が見たいときには、見たい方向にカメラを向ければよい。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。
【００１７】
決定部は、撮影画像に基準マークが映っており、且つ、第２ディスプレイが第１ディスプレイに正対していないと推定される場合、第２ディスプレイが第１ディスプレイに正対していると仮定した際に映っているべき基準マークの位置と、撮影画像に映っている基準マークの位置と、の差異が大きいほど、第２領域の位置の移動量を大きくしてもよい。
【００１８】
すなわち、第２ディスプレイが第１ディスプレイに正対しているときの向きと異なっている量が大きいほど、第２領域が移動する量が大きくなる。本発明によれば、より直感的な操作でプレイヤーの意向に添った画像を閲覧できるようになる。
【００１９】
決定部は、全体画像内での位置が可変の所定のオブジェクトが第１領域の中心位置になるように、第１領域の位置を決定してもよい。
【００２０】
すなわち、所定のオブジェクトが第１画像の中心にくるように第１領域が設定される。一方、第２領域は第１ディスプレイと第２ディスプレイの相対的な位置関係によって移動する。本発明によれば、プレイヤーは、所定のオブジェクトを追いかけるような画像を見ることができ、且つ、自分の意向に添った画像を見ることもできる。
【００２１】
本発明のその他の観点に係る画像処理システムは、第１の画像処理装置と複数の第２の画像処理装置とを有する画像処理システムであって、第１の画像処理装置は、決定部、抽出部、第１表示部、画像送信部を備える。
決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
抽出部は、全体画像内の第１領域を第１画像として抽出し、第２の画像処理装置ごとに全体画像内の第２領域を第２画像として抽出する。
第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
画像送信部は、抽出された第２画像を複数の第２の画像処理装置のそれぞれに送信する。
複数の第２の画像処理装置のそれぞれは、画像受信部、第２表示部、撮影部、推定部を備える。
画像受信部は、第２画像を第１の画像処理装置から受信する。
第２表示部は、受信した第２画像を第２ディスプレイに表示する。
撮影部は、第２ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定し、推定結果を第１の画像処理装置に送信する。
また、第１の画像処理装置の決定部は、複数の第２の画像処理装置のそれぞれから推定結果を受信し、第２の画像処理装置ごとに、全体画像内における第１領域の位置と受信した推定結果とに基づいて、全体画像内における第２領域の位置を決定する。
そして、第１の画像処理装置の抽出部は、第２の画像処理装置ごとに、決定された第２領域の位置に基づいて、全体画像内の第２領域を第２画像として抽出する。
【００２２】
本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーのそれぞれの意向に添ったゲーム画面も閲覧できるようになる。
【００２３】
本発明のその他の観点に係る画像処理方法は、決定部と第１抽出部と第２抽出部と第１表示部と第２表示部と撮影部と推定部とを有する画像処理装置にて行われる画像処理方法であって、決定ステップ、第１抽出ステップ、第２抽出ステップ、第１表示ステップ、第２表示ステップ、撮影ステップ、推定ステップを備える。
決定ステップでは、決定部が、全体画像内における第１領域の位置と第２領域の位置を決定する。
第１抽出ステップでは、第１抽出部が、全体画像内の第１領域を第１画像として抽出する。
第２抽出ステップでは、第２抽出部が、全体画像内の第２領域を第２画像として抽出する。
第１表示ステップでは、第１表示部が、抽出された第１画像を第１ディスプレイに表示する。
第２表示ステップでは、第２表示部が、抽出された第２画像を第２ディスプレイに表示する。
撮影ステップでは、撮影部が、第２ディスプレイの背面方向を撮影する。
推定ステップでは、推定部が、撮影ステップにおいて撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
そして、決定ステップでは、決定部が、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。
【００２４】
本発明によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
【００２５】
本発明のその他の観点に係るプログラムは、コンピュータを、決定部、第１抽出部、第２抽出部、第１表示部、第２表示部、撮影部、推定部として機能させる。
決定部は、全体画像内における第１領域の位置と第２領域の位置を決定する。
第１抽出部は、全体画像内の第１領域を第１画像として抽出する。
第２抽出部は、全体画像内の第２領域を第２画像として抽出する。
第１表示部は、抽出された第１画像を第１ディスプレイに表示する。
第２表示部は、抽出された第２画像を第２ディスプレイに表示する。
撮影部は、第２ディスプレイの背面方向を撮影する。
推定部は、撮影部により撮影された撮影画像に映っている第１画像に対応する部分と、全体画像とに基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。
そして、決定部は、全体画像内における第１領域の位置と推定された相対的な位置とに基づいて、全体画像内における第２領域の位置を決定する。
【００２６】
本発明によれば、コンピュータを上述のように動作する画像処理装置として機能させることができる。
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリー等のコンピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００２７】
本発明によれば、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明のゲーム装置が実現される典型的な情報処理装置のハードウェア構成を表す図である。
【図２】情報処理装置の外観を表す図である。
【図３】情報処理装置と外部ディスプレイ（第１ディスプレイ）とを表す図である。
【図４】画像処理装置の機能的な構成を表す図である。
【図５】全体画像を表す図である。
【図６】撮影画像を表す図である。
【図７】第１画像と第２画像を表す図である。
【図８】撮影画像を表す図である。
【図９】第１画像と第２画像を表す図である。
【図１０】全体画像と第１領域と第２領域を表す図である。
【図１１】撮影画像を表す図である。
【図１２】第１画像と第２画像を表す図である。
【図１３】全体画像と第１領域と第２領域を表す図である。
【図１４】画像処理を説明するためのフローチャートである。
【図１５】画像処理システムの構成を表す図である。
【図１６】外部機器のハードウェア構成を表す図である。
【図１７】第１の画像処理装置と第２の画像処理装置の機能的な構成を表す図である。
【図１８】画像処理を説明するためのフローチャートである。
【図１９】（ａ）撮影画像を表す図である。（ｂ）基準マークの分布の偏りを表す図である。（ｃ）全体画像と第１領域と第２領域を表す図である。
【図２０】基準マークを重畳した第１画像の構成例を表す図である。
【図２１】基準マークを重畳した第１画像の構成例を表す図である。
【発明を実施するための形態】
【００２９】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００３０】
（実施形態１）
図１は、プログラムを実行することにより、本実施形態に係る画像処理装置の機能を果たす典型的な情報処理装置１００のハードウェア構成を示す模式図である。
【００３１】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ １０２、ＲＡＭ（Random Access Memory）１０３、インターフェース１０４、第１タッチパネル１０５、第２タッチパネル１０６、外部メモリー１０７、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８、画像処理部１０９、ディスプレイ１１０、音声処理部１１１、ＮＩＣ（Network Interface Card）１１２、カメラ１１３を備える。
【００３２】
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態に係る画像処理装置が実現される。
【００３３】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスター（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサーを備えて実現するものがある。
【００３４】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００３５】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスターに格納してからレジスターに対して演算を行ったりして、演算結果をメモリーに書き戻す、などの処理を行う。
【００３６】
インターフェース１０４を介して接続された２つのタッチパネル（第１タッチパネル１０５と第２タッチパネル１０６）は、プレイヤーがゲームをプレイする際に行う操作入力を受け付ける。図２に示すように、第１タッチパネル１０５はディスプレイ１１０に重畳して設置されている。第１タッチパネル１０５とディスプレイ１１０を合わせてタッチスクリーンとも呼ぶ。第１タッチパネル１０５上の各点は、ディスプレイ１１０上の各点に１対１に対応している。第２タッチパネル１０６はディスプレイ１１０とは反対の面に設置されている。第１タッチパネル１０５を前面タッチパネル、第２タッチパネル１０６を背面タッチパネルともいう。なお、情報処理装置１００は、プレイヤーからの入力を受け付ける入力装置として、第１タッチパネル１０５と第２タッチパネル１０６のほかに、ボタン等を備えたいわゆる"コントローラー"と呼ばれる入力装置を備えていてもよい。
【００３７】
インターフェース１０４を介して着脱自在に接続された外部メモリー１０７には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。プレイヤーは、第１タッチパネル１０５や第２タッチパネル１０６を介して指示入力を行うことにより、これらのデータを適宜外部メモリー１０７に記録することができる。
【００３８】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを行うためのプログラムとゲームに付随する画像データや音声データなどが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出す。読み出されたプログラムやデータはＲＡＭ １０３等に一時的に記憶される。
【００３９】
画像処理部１０９は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０９が備える画像演算プロセッサー（図示せず）によって加工処理した後、これを画像処理部１０９が備えるフレームメモリー（図示せず）に記録する。フレームメモリーに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０９に接続されるディスプレイ１１０へ出力される。これにより、各種の画像表示が可能となる。
【００４０】
画像演算プロセッサーは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００４１】
また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャー情報が付加されたポリゴン情報を、Ｚバッファー法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ見たレンダリング画像を得る演算の高速実行も可能である。
【００４２】
さらに、ＣＰＵ １０１と画像演算プロセッサーが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリーへ描画したり、各ポリゴン表面へ描画したりすることが可能である。
【００４３】
音声処理部１１１は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカーから出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカーから出力させる。
【００４４】
音声処理部１１１では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカーに出力することにより、音声出力が可能となる。
【００４５】
さらに、情報処理装置１００にはマイクを接続することができる。この場合、マイクからのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ（Analog/Digital）変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１１でのミキシング等の処理ができるようにする。
【００４６】
ＮＩＣ １１２は、情報処理装置１００をインターネットやＬＡＮ（Local Area Network）等のコンピューター通信網（図示せず）に接続する。例えば、ＮＩＣ １１２は、ＬＡＮを構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがう仕様で構成される。あるいは、ＮＩＣ １１２は、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデムなどから構成されてもよい。
【００４７】
カメラ１１３は、ＣＰＵ １０１もしくはプレイヤーからの指示に従い、撮影する。撮影されて得られる画像は、ＣＰＵ １０１もしくは画像処理部１０９によって画像処理され、ディスプレイ１１０に表示されたり外部メモリー１０７に保存されたりする。本実施形態の情報処理装置１００においては、図２に示すようにカメラ１１３のレンズはディスプレイ１１０と反対側の面に取り付けられており、図３に示すようにプレイヤーは被写体に情報処理装置１００の背面を向け且つディスプレイ１１０に表示された映像を見ながら撮影することができる。例えば、プレイヤーは、ＮＩＣ １１２により通信可能であって外部機器３２０に接続されているディスプレイ３１０を含むアングルで撮影することができる。なお、後述するように、撮影画像の中にディスプレイ３１０に表示された画像がどのように写り込んでいるかに応じて、ディスプレイ１１０に表示される画像が変化する。
【００４８】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリー１０７、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００４９】
以上で説明した情報処理装置１００は、いわゆる「コンシューマー向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話機、携帯ゲーム機器、一般的なビジネス用コンピューターやパーソナルコンピューターなど、種々の計算機上で本発明を実現することが可能である。
【００５０】
次に、上記構成を有する情報処理装置１００により実現される、本実施形態の画像処理装置４００の機能的な構成について説明する。図４は、画像処理装置４００の機能的な構成を示す図である。画像処理装置４００は、第１抽出部４０１、第１表示部４０２、第２抽出部４０３、第２表示部４０４、撮影部４０５、推定部４０６、決定部４０７を備える。
【００５１】
画像処理装置４００は外部機器３２０と通信が可能であり、外部機器３２０に画像データを送信する。画像処理装置４００は、外部機器３２０を介して、外部機器３２０に接続されている外部モニター３１０に画像を表示させることができる。あるいは、画像処理装置４００は、外部モニター３１０に直接画像データを送信して画像を表示させてもよい。
【００５２】
第１抽出部４０１は、全体画像内の第１領域を第１画像として抽出する。第１領域は、後述する決定部４０７により決定される。全体画像については後述する。ＣＰＵ １０１が第１抽出部４０１として機能する。
【００５３】
第２抽出部４０２は、全体画像内の第２領域を第２画像として抽出する。第２領域は、後述する決定部４０７により決定される。ＣＰＵ １０１が第２抽出部４０２として機能する。
【００５４】
第１表示部４０３は、第１抽出部４０１により抽出された第１画像を外部ディスプレイ３１０に表示する。ＣＰＵ １０１と画像処理部１０９が協働して第１表示部４０３として機能する。
【００５５】
第２表示部４０４は、第２抽出部４０２により抽出された第２画像を、画像処理装置４００が備えるディスプレイ１１０に表示する。ＣＰＵ １０１と画像処理部１０９が協働して第２表示部４０４として機能する。
【００５６】
以下の説明において、第１画像が表示される外部ディスプレイ３１０を「第１ディスプレイ」と呼び、第２画像が表示され且つ画像処理装置４００が備えるディスプレイ１１０を「第２ディスプレイ」と呼ぶ。一般には、第１ディスプレイは複数のプレイヤーが同時に眺めることができる共有のディスプレイであり、第２ディスプレイは画像処理装置４００を所有するプレイヤー１人のみが手元で見るディスプレイである。
【００５７】
ここで、画像処理装置４００が扱う画像について、図５を用いて説明する。上記全体画像５００は、画像処理装置４００によってゲームが行われる仮想空間の全体を表す画像である。例えばサッカーゲームにおいて、全体画像５００にはサッカーコート全体が含まれる。ＣＰＵ １０１は、画像処理部１０９を制御して、仮想空間内におけるキャラクターオブジェクト（以下、単に「オブジェクト」という。）の位置や形状などをプレイヤーからの指示に基づいて変化させ、全体画像５００を生成する。
【００５８】
上述したように、全体画像５００内には、第１領域５１０と第２領域５２０がＣＰＵ １０１によって設定される。第１領域５１０と第２領域５２０は共に位置が可変であり、形状と大きさは固定である。全体画像５００のうち第１領域５１０に含まれる部分が第１画像であり、全体画像５００のうち第２領域５２０に含まれる部分が第２画像である。第１画像は第１ディスプレイ（外部ディスプレイ３１０）に表示され、第２画像は第２ディスプレイ（ディスプレイ１１０）に表示される。第１領域５１０の位置は、第２領域５２０の位置と一致するとは限らず、そのため第１ディスプレイに表示される第１画像と第２ディスプレイに表示される第２画像が異なることがある。
【００５９】
本実施形態では、ＣＰＵ １０１は、サッカーゲームにおけるサッカーボールの位置が第１領域５１０の中心位置になるように第１領域５１０を設定する。ゲームの進行に応じてサッカーボールの位置が変化するので、第１ディスプレイには、サッカーボールを常に追いかけるようなカメラワークで、ゲーム画像が表示される。一方、ＣＰＵ １０１は、カメラ１１３によって撮影された画像（撮影画像）に応じて、第２領域５２０の位置を変化させる。したがって、第２ディスプレイに表示される第２画像の表示範囲となる第２領域５２０の中心位置は、第１領域５１０の中心位置と一致するとは限らず、第１領域５１０に含まれない部分が第２領域５２０に含まれることがある。言い換えれば、全体画像５００のうち第１ディスプレイに表示されず第２ディスプレイに表示される部分が存在することがある。第２領域５２０の位置の変化の詳細については後述する。
【００６０】
撮影部４０５は、ディスプレイ１１０（第２ディスプレイ）の背面方向を撮影する。なお、ディスプレイ１１０と第１タッチパネル１０５が配置されている面が画像処理装置４００のオモテ（正面）であり、第２タッチパネル１０６が配置されている面が画像処理装置４００のウラ（背面）である。ＣＰＵ １０１とカメラ１１３が協働して撮影部４０５として機能する。
【００６１】
カメラ１１３のレンズは、第２タッチパネル１０６が配置されている側、すなわち画像処理装置４００の背面側に固定されている。プレイヤーが画像処理装置４００の背面を被写体に向けると、背面に配置されたレンズが被写体に向くことになるので、プレイヤーは、画像処理装置４００を一般的なデジタルカメラのように構えて被写体を撮影することが可能である。
【００６２】
図６に、カメラ１１３によって撮影された撮影画像６００の例を示す。ＣＰＵ １０１は、カメラ１１３を制御して、リアルタイムで動画撮影する。本図の撮影画像６００では、外部ディスプレイ３１０がほぼ中央に収まっている。画像処理装置４００は、ゲームの実行中ではゲーム画像（サッカーゲームにおいては、サッカーゲームの様子を表す画像）をディスプレイ１１０に表示し、ゲームの実行と並行して動画撮影する。動画撮影で得られた映像は、ディスプレイ１１０等には表示されないが、後述するように全体画像５００中の第２領域５２０の位置を決定するために用いられる。
【００６３】
推定部４０６は、撮影部４０５により撮影された撮影画像に基づいて、第１ディスプレイ（ディスプレイ１１０）に対する第２ディスプレイ（外部ディスプレイ３１０）の相対的な位置を推定する。ＣＰＵ １０１と画像処理部１０９が協働して、推定部４０６として機能する。
【００６４】
決定部４０７は、全体画像５００内における第１領域５１０の位置を決定する。例えば、決定部４０７は、上述したように、サッカーゲームにおけるサッカーボールの位置が第１領域５１０の中心位置になるように第１領域５１０の位置を決定する。また、決定部４０７は、第１領域５１０の位置と、推定部４０６により推定された、第１ディスプレイに対する第２ディスプレイの相対的な位置とに基づいて、全体画像５００内における第２領域５２０の位置を決定する。ＣＰＵ １０１と画像処理部１０９が協働して、決定部４０７として機能する。
【００６５】
ここで、第１ディスプレイに対する第２ディスプレイの相対位置の推定と、推定結果に基づく第２領域５２０の位置の決定について、詳しく説明する。ＣＰＵ １０１は、撮影画像６００のうち第１画像に対応する部分６５０を判別する。そして、ＣＰＵ １０１は、第１画像に対応する部分６５０が全体画像５００のどこに相当するのかを判別する。
【００６６】
すなわち、ＣＰＵ １０１は、撮影画像６００のうち第１画像に対応する部分６５０と、全体画像５００とをパターンマッチングすることにより、全体画像５００中における、第１画像に対応する部分６５０の位置を判別する。すなわち、全体画像５００のうちカメラ１１３によって撮影されている部分が判別される。そして、ＣＰＵ １０１は、判別結果から、第１ディスプレイに対する第２ディスプレイの相対位置を推定する。
【００６７】
例えば、ＣＰＵ １０１は、全体画像５００の中に配置されている所定の注目オブジェクト（目印となるオブジェクト）の位置と、撮影画像６００のうち第１画像に対応する部分６５０の中に写り込んでいるオブジェクトの位置とをマッチングすることにより、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。注目オブジェクトは任意であり、典型的には、サッカーゲームにおける選手や審判を表すオブジェクト、サッカーボールを表すオブジェクトが用いられる。あるいは、サッカーコートに描かれているラインの位置、芝生の模様などが目印に用いられてもよい。
【００６８】
あるいは、ＣＰＵ １０１は、撮影画像６００のうち第１画像に対応する部分６５０の位置と形状に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。例えば、撮影画像６００が図６に示されるものである場合、第１ディスプレイの全体が撮影画像６００のほぼ中央に映っており、第１画像に対応する部分６５０の形状が歪んでおらずほぼ長方形であることから、ＣＰＵ １０１は、図７に示すように、第２ディスプレイが第１ディスプレイの正面に平行に配置されている、言い換えれば、第２ディスプレイの背面が第１ディスプレイに正対している、と推定してもよい。
【００６９】
さらに、ＣＰＵ １０１は、図７に示すように、第１画像７１０に所定の基準マーク７５０（図７では７５０Ａ，７５０Ｂ，７５０Ｃ，７５０Ｄの４つ）を重畳した画像を第１ディスプレイに表示することとし、撮影画像６００の中の基準マーク７５０の配置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定してもよい。
【００７０】
より詳細には、ＣＰＵ １０１は、撮影画像６００の中に４つの基準マーク７５０Ａ〜７５０Ｄのすべてが含まれている場合には、第２ディスプレイの正面に第１ディスプレイが配置されていると推定する。一方、ＣＰＵ １０１は、撮影画像６００の中に４つの基準マーク７５０Ａ〜７５０Ｄのうちいずれか１つ以上が含まれていない場合には、撮影画像６００の中に含まれている基準マークの分布に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する。そして、ＣＰＵ １０１は、推定結果に基づいて、第２領域５２０の位置を決定する。
【００７１】
例えば図８に示すように、撮影画像８００の中に、各コーナーに配置された４つの基準マーク７５０Ａ〜７５０Ｄのうち右側の２つの基準マーク７５０Ｃ，７５０Ｄだけが含まれている場合、ＣＰＵ １０１は、第２ディスプレイが第１ディスプレイに正対しておらず、図９に示すように第２ディスプレイが第１ディスプレイよりも相対的に右側に偏っていると推定する。つまり、画像処理装置４００のプレイヤーは画像処理装置４００の背面を第１ディスプレイの右寄りに向けていると推定され、全体画像５００のうち第１画像よりも右側を見たいと思っていると推定される。
【００７２】
そこで、ＣＰＵ １０１は、図１０に示すように、全体画像５００における第２領域５２０を、第２ディスプレイが第１ディスプレイよりも偏っている方向、つまり第１領域５１０よりも右側へ（Ｘ軸の正の向きへ）、移動量ΔＬだけ移動する。その結果、例えば図１０においては、第２領域５２０は第１領域５１０の外へはみ出ており、はみ出た部分１０００は第２ディスプレイに表示されるが第１ディスプレイには表示されない。
【００７３】
第２領域５２０の移動量ΔＬの大きさは任意であるが、例えばＣＰＵ １０１は、撮影画像８００における基準マーク７５０の位置が、第２ディスプレイが第１ディスプレイの正面にあると仮定したときにおける基準マーク７５０の位置よりも、どの程度ずれているかに基づいて、移動量ΔＬを決定してもよい。ＣＰＵ １０１は、この基準マーク７５０の位置のずれが大きいほど、移動量ΔＬを大きくしてもよい。
【００７４】
図８〜１０では、第２ディスプレイが第１ディスプレイよりも右側にずれているケースについて説明されているが、左側、上側、下側にずれているケースにおいても、ＣＰＵ １０１は、同様の処理によって第２領域５２０の位置を左側、上側、もしくは下側に移動する。
【００７５】
例えば図１１に示すように、撮影画像１１００の中に４つの基準マーク７５０Ａ〜７５０Ｄのすべてが含まれているものの、これらが右上方へ偏っている場合、ＣＰＵ １０１は、図１２に示すように、第２ディスプレイが第１ディスプレイよりも相対的に左下側にあると推定する。つまり、画像処理装置４００のプレイヤーは画像処理装置４００の背面を第１ディスプレイの左下寄りに向けていると推定され、全体画像５００のうち第１画像よりも左下側を見たいと思っていると推定される。
【００７６】
そこで、ＣＰＵ １０１は、図１３に示すように、全体画像５００における第２領域５２０を、第１領域５１０よりも左下側へ（Ｘ軸の負の向き且つＹ軸の正の向きへ）移動する。例えばＣＰＵ １０１は、第２ディスプレイが第１ディスプレイの真正面にある場合に検出されるべき基準マークの位置１１５０Ａ〜１１５０Ｄと、撮影画像１１００内の基準マーク７５０Ａ〜７５０Ｄの位置と、のＸ成分の差異が大きいほど、移動量のＸ成分ΔＬＸを大きくする。同様に、ＣＰＵ １０１は、第２ディスプレイが第１ディスプレイの真正面にある場合に検出されるべき基準マークの位置１１５０Ａ〜１１５０Ｄと、撮影画像１１００内の基準マーク７５０Ａ〜７５０Ｄの位置と、のＹ成分の差異が大きいほど、移動量のＹ成分ΔＬＹを大きくする。
【００７７】
なお、撮影画像８００の中に、各コーナーに配置された４つの基準マーク７５０Ａ〜７５０Ｄがすべて含まれていない場合には、ＣＰＵ １０１は、第２領域５２０の中心位置を第１領域５１０の中心位置と一致させることする。つまり、基準マーク７５０が一つも入らないようなアングルで撮影されている場合には、プレイヤーは第１ディスプレイを閲覧しない（閲覧できない）と判断し、第１領域５１０の中に第２領域５２０のすべてが含まれるようにする。第１領域５１０と第２領域５２０の大きさと形状が共に同じであれば、第１ディスプレイと同じゲーム画像が第２ディスプレイにも表示されることになる。
【００７８】
次に、画像処理装置４００が行う画像処理について、図１４のフローチャートを用いて説明する。ここでは、仮想空間内におけるサッカーゲームが画像処理装置４００によって実行されるものとして説明する。１人のプレイヤーが画像処理装置４００を用いてＮＰＣ（Non Player Character）を相手にサッカーゲームをプレイする。プレイヤーは、第１ディスプレイに表示される第１画像を見ることができるし、手元の第２ディスプレイに表示される第２画像を見ることもできる。ゲームのプレイヤー以外の他の観戦者は、通常、第１ディスプレイに表示される第１画像を見ることになる。また、サッカーゲームが行われている間、画像処理装置４００は、ゲーム処理と並行して、カメラ１１３を制御して画像処理装置４００の背面側を撮影する。
【００７９】
ゲームを開始すると、ＣＰＵ １０１は、全体画像５００内の初期位置に第１領域５１０を設定する（ステップＳ１４０１）。第１領域５１０の初期位置は、例えば全体画像５００の中心位置や、注目オブジェクトの位置である。注目オブジェクトは、例えばサッカーボールを表すオブジェクトである。
【００８０】
ＣＰＵ １０１は、全体画像５００内の初期位置に第２領域５２０を設定する（ステップＳ１４０２）。本実施形態では、第２領域５２０の初期位置は、第１領域５１０の中心位置と同じ位置である。つまり、初期状態では、第１ディスプレイと第２ディスプレイには、同じ位置を中心とした画像が表示される。
【００８１】
ＣＰＵ １０１は、全体画像５００から第１領域５１０に含まれる第１画像を抽出し、全体画像５００から第２領域５２０に含まれる第２画像を抽出する（ステップＳ１４０３）。
【００８２】
ＣＰＵ １０１は、抽出した第１画像を第１ディスプレイに表示し、抽出した第２画像を第２ディスプレイに表示する（ステップＳ１４０４）。なお、第１ディスプレイには、第１画像に上述の基準マーク７５０を重畳した画像が表示される。
【００８３】
ＣＰＵ １０１は、注目オブジェクトの位置の変化に応じて、全体画像５００内における第１領域５１０の位置を変化させる（ステップＳ１４０５）。例えば、サッカーボールを注目オブジェクトとするとき、第１ディスプレイには、サッカーボールを常に追いかけるようなゲーム画面が表示される。
【００８４】
ＣＰＵ １０１は、カメラ１１３によって撮影された撮影画像の中に基準マーク７５０が含まれているか否かを判別する（ステップＳ１４０６）。
【００８５】
撮影画像の中に基準マーク７５０が含まれていないと判別した場合（ステップＳ１４０６；ＮＯ）、ＣＰＵ １０１は、ステップＳ１４０２に戻り、第２領域５２０を初期位置（第１領域５１０の中心位置）に設定する。つまり、画像処理装置４００のカメラ１１３によって第１ディスプレイが撮影されていない場合には、第２ディスプレイには第１ディスプレイと同じゲーム画像が表示される。
【００８６】
一方、撮影画像の中に基準マーク７５０が含まれていると判別した場合（ステップＳ１４０６；ＹＥＳ）、ＣＰＵ １０１は、撮影画像を解析し、撮影画像に含まれる基準マーク７５０の位置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する（ステップＳ１４０７）。つまり、画像処理装置４００によって第１ディスプレイの全部又は一部が撮影されている場合には、第１ディスプレイに対する第２ディスプレイの相対位置が推定される。
【００８７】
ＣＰＵ １０１は、ステップＳ１４０７で推定された第１ディスプレイに対する第２ディスプレイの相対位置の変化に応じて、全体画像５００内における第２領域５２０の位置を変化させる（ステップＳ１４０８）。例えば、第２ディスプレイが第１ディスプレイの左側に偏って配置されていると推定されれば、第２領域５２０も左寄りに移動し、第２ディスプレイには第１画像よりも左側であって第１ディスプレイには映っていない“続きの部分”も表示される。第２ディスプレイが第１ディスプレイの右側に偏って配置されていると推定されれば、第２領域５２０も右寄りに移動し、第２ディスプレイには第１画像よりも右側であって第１ディスプレイには映っていない“続きの部分”も表示される。
【００８８】
ＣＰＵ １０１は、ゲームを終了するか否かを判別する（ステップＳ１４０９）。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、ＣＰＵ １０１はゲームを終了すると判別する。
【００８９】
ゲームを終了しないと判別した場合（ステップＳ１４０９；ＮＯ）、ＣＰＵ １０１は、ステップＳ１４０２〜Ｓ１４０９の処理を繰り返す。ゲームを終了すると判別した場合（ステップＳ１４０９；ＹＥＳ）、ＣＰＵ １０１は、画像処理を終了する。
【００９０】
例えば、ＮＰＣを相手に１人のプレイヤーがゲームをプレイしており、そのゲームの様子を観戦者が第１ディスプレイで観戦する状況において、観戦者は、まるでテレビ中継を大勢で一緒に見るかのように、プレイヤーのプレイを邪魔することなく第１ディスプレイで観戦できる。また、プレイヤーは、観戦者に邪魔されることなく第１ディスプレイと第２ディスプレイを見ながらゲームをプレイできる。プレイヤーは、注目オブジェクト（例えばサッカーボール）を中心としたゲーム画像を見たいときには第１ディスプレイを見ればよいし、第１ディスプレイに映っていない周囲を見たいときには続きを見たい向きに画像処理装置４００を向けて第２ディスプレイを見ればよい。
【００９１】
例えば、サッカーゲームにおいて、プレイヤーは、パスをどの方向へ繋げればよいかを考えるとき、画像処理装置４００の向きを変えて第２ディスプレイを見れば、第１ディスプレイに映っていない周囲を見ることができる。第２ディスプレイはプレイヤーの手元にあるので、観戦者が第１ディスプレイでなく第２ディスプレイを見ることは容易ではない。そのため、ゲームのプレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、観戦者には分からない。このように、本実施形態によれば、複数のプレイヤーが１つのゲーム画面を共有しつつ、プレイヤーの意向に添ったゲーム画面も閲覧できるようになる。
【００９２】
（実施形態２）
次に、本発明のその他の実施形態について説明する。本実施形態では、複数のプレイヤーが同じゲームに参加できる。そして、各プレイヤーが互いに異なった第２画像を見ることができる。
【００９３】
図１５は、本実施形態の画像処理システム１５００の構成を示す図である。画像処理システム１５００には、第１の画像処理装置１５１０と、第１の画像処理装置１５１０に接続された第１ディスプレイ１５３０と、複数の第２の画像処理装置１５２０（本図では、１５２０Ａ，１５２０Ｂの２つ）と、が含まれる。ゲームシステム１５００に含まれる第２の画像処理装置１５２０の数は２つでなくてもよく、３つ以上でもよい。プレイヤー１人につき、第２の画像処理装置１５２０が１台割り当てられる。
【００９４】
第１の画像処理装置１５１０は、各プレイヤーからの指示入力を第２の画像処理装置１５２０Ａ，１５２０Ｂから受信し、仮想空間内におけるゲームを実行し、ゲームの進捗状況などを第２の画像処理装置１５２０Ａ，１５２０Ｂへ送信する。また、第１の画像処理装置１５１０は、全体画像５００を生成し、第１画像を第１ディスプレイ１５３０に表示する。さらに、第１の画像処理装置１５１０は、第２画像を第２の画像処理装置１５２０Ａ，１５２０Ｂへ送信する。送信された第２画像は第２の画像処理装置１５２０Ａ，１５２０Ｂが有する第２ディスプレイ１５２１Ａ，１５２１Ｂに表示される。
【００９５】
図１６は、第１の画像処理装置１５１０のハードウェア構成を示す図である。第１の画像処理装置１５１０は、制御部１６０１、記憶部１６０２、表示部１６０３、通信部１６０４を備える。
【００９６】
制御部１６０１は、ＣＰＵや画像演算プロセッサーなどから構成され、第１の画像処理装置１５１０の全体を制御する。制御部１６０１は、第２の画像処理装置１５２０Ａ，１５２０Ｂから送信された指示入力に基づいてゲームを進行させる処理（ゲーム処理）を実行する。また、制御部１６０１は、全体画像５００から第１領域５１０内の第１画像を抽出し、全体画像５００から第２領域５２０内の第２画像を抽出する。
【００９７】
記憶部１６０２には、ＲＯＭ、ＲＡＭ、ハードディスクなどから構成され、ゲームの進捗状況やキャラクターの属性パラメーターなどといったゲームデータのほか、全体画像５００、第１画像５１０、第２画像５２０が記憶される。
【００９８】
表示部１６０３は、第１画像に基準マークを重畳した画像を第１ディスプレイ１５３０に表示する。
【００９９】
通信部１６０４は、第２の画像処理装置１５２０Ａ，１５２０Ｂと通信する。例えば、通信部１６０４は、第２の画像処理装置１５２０Ａからプレイヤーによる指示入力や撮影画像（もしくは第１ディスプレイ１５３０に対する第２ディスプレイ１５２１Ａの相対位置を示すデータ）を受信し、第２画像を第２の画像処理装置１５２０Ａに送信する。同様に、通信部１６０４は、第２の画像処理装置１５２０Ｂからプレイヤーによる指示入力や撮影画像（もしくは第１ディスプレイ１５３０に対する第２ディスプレイ１５２１Ｂの相対位置を示すデータ）を受信し、第２画像を第２の画像処理装置１５２０Ｂに送信する。
【０１００】
これらの構成を有する第１の画像処理装置１５１０は、いわゆるゲームサーバーの役割を果たす。本実施形態では、第１の画像処理装置１５１０は２つの第２の画像処理装置１５２０Ａ，１５２０Ｂと並行して通信するが、３つ以上の第２の画像処理装置１５２０と並行して通信してもよい。
【０１０１】
なお、第２の画像処理装置１５２０Ａ，１５２０Ｂのハードウェア構成については、実施形態１に記載した画像処理装置４００と同一であるので、詳しい説明は省略する。
【０１０２】
次に、画像処理システム１５００の機能的な構成について、図１７を用いて説明する。第１の画像処理装置１５１０は、抽出部１７０１、第１表示部１７０２、画像送信部１７０３、決定部１７０８を備える。第２の画像処理装置１５２０のそれぞれは、画像受信部１７０４、第２表示部１７０５、撮影部１７０６、推定部１７０７を備える。なお、説明の簡略化のため、本図には第１の画像処理装置１５１０が１つしか記載されていないが、画像処理システム１５００には、複数の第１の画像処理装置１５１０が含まれている。
【０１０３】
抽出部１７０１は、全体画像５００内の第１領域５１０を第１画像として抽出し、第２の画像処理装置１５２０ごとに、全体画像５００内の第２領域５２０を第２画像として抽出する。抽出部１７０１は、第２の画像処理装置１５２０ごとに、後述する決定部１７０８により決定された第２領域５２０の位置に基づいて、全体画像５００内の第２領域５２０を第２画像として抽出する。制御部１６０１が抽出部１７０１として機能する。
【０１０４】
第１表示部１７０２は、抽出部１７０１により抽出された第１画像を第１ディスプレイに表示する。制御部１６０１と表示部１６０３が協働して、第１表示部１７０２として機能する。
【０１０５】
画像送信部１７０３は、抽出部１７０１により抽出された第２画像を、第２の画像処理装置１５２０のそれぞれに送信する。制御部１６０１と通信部１６０４が協働して、画像送信部１７０３として機能する。
【０１０６】
画像受信部１７０４は、第２画像を第１の画像処理装置１５１０から受信する。ＣＰＵ １０１とＮＩＣ １１２が協働して、画像受信部１７０４として機能する。
【０１０７】
第２表示部１７０５は、画像受信部１７０４が受信した第２画像を第２ディスプレイに表示する。ＣＰＵ １０１と画像処理部１０９が協働して、第２表示部１７０５として機能する。
【０１０８】
撮影部１７０６は、第２ディスプレイの背面方向を撮影する。ＣＰＵ １０１とカメラ１１３が協働して、撮影部１７０６として機能する。
【０１０９】
推定部１７０７は、撮影部１７０６により撮影された撮影画像に映っている第１画像に対応する部分に基づいて、第１ディスプレイに対する第２ディスプレイの相対的な位置を推定する。そして、推定部１７０７は、推定結果を第１の画像処理装置１５１０に送信する。ＣＰＵ １０１とＮＩＣ １１２が協働して、推定部１７０７として機能する。
【０１１０】
決定部１７０８は、第２の画像処理装置１５２０のそれぞれについて、第１領域５１０の位置と、第２の画像処理装置１５２０から受信した推定結果とに基づいて、第２領域５２０の位置を決定する。決定部１７０８は、第２の画像処理装置１５２０のそれぞれから推定結果を受信し、第２の画像処理装置１５２０ごとに、第１領域５１０の位置と受信した推定結果とに基づいて、第２領域５２０の位置を決定する。制御部１６０１が決定部１７０８として機能する。
【０１１１】
次に、第１の画像処理装置１５１０と第２の画像処理装置１５２０が行う画像処理について、図１８のフローチャートを用いて説明する。第２の画像処理装置１５２０は１つだけでなく複数でもよいが、説明の簡略化のため、ここでは１つの第２の画像処理装置１５２０が画像処理システム１５００に含まれるものとする。
【０１１２】
ゲームを開始すると、ＣＰＵ １０１は、全体画像５００内の初期位置に第１領域５１０を設定する（ステップＳ１８０１）。
【０１１３】
ＣＰＵ １０１は、全体画像５００内の初期位置に第２領域５２０を設定する（ステップＳ１８０２）。本実施形態では、第２領域５２０の初期位置は、第１領域５１０の中心位置と同じ位置である。
【０１１４】
ＣＰＵ １０１は、全体画像５００から第１領域５１０に含まれる第１画像を抽出し、全体画像５００から第２領域５２０に含まれる第２画像を抽出する（ステップＳ１８０３）。
【０１１５】
第１の画像処理装置１５１０のＣＰＵ １０１は、抽出した第２画像を第２の画像処理装置１５２０に送信する（ステップＳ１８０４）。第２の画像処理装置１５２０の制御部１６０１は、第２の画像処理装置１５２０から第２の画像を受信する（ステップＳ１８０５）。
【０１１６】
ＣＰＵ １０１は、抽出した第１画像を第１ディスプレイに表示する（ステップＳ１８０６）。ＣＰＵ １０１は、第１画像に上述の基準マーク７５０を重畳した画像を第１ディスプレイに表示する。
【０１１７】
ＣＰＵ １０１は、注目オブジェクトの位置の変化に応じて、全体画像５００内における第１領域５１０の位置を変化させる（ステップＳ１８０７）。
【０１１８】
一方、第２画像を受信した第２の画像処理装置１５２０の制御部１６０１は、受信した第２画像を第２ディスプレイに表示する（ステップＳ１８０８）。
【０１１９】
制御部１６０１は、カメラ１１３によって撮影された撮影画像の中に基準マーク７５０が含まれているか否かを判別する（ステップＳ１８０９）。
【０１２０】
撮影画像の中に基準マーク７５０が含まれていないと判別した場合（ステップＳ１８０９；ＮＯ）、制御部１６０１は、ステップＳ１８０２に戻り、第２領域５２０を初期位置（第１領域５１０の中心位置）に設定する。つまり、画像処理装置４００のカメラ１１３によって第１ディスプレイが撮影されていない場合には、第２ディスプレイには第１ディスプレイと同じゲーム画像が表示される。
【０１２１】
一方、撮影画像の中に基準マーク７５０が含まれていると判別した場合（ステップＳ１８０９；ＹＥＳ）、制御部１６０１は、撮影画像を解析し、撮影画像に含まれる基準マーク７５０の位置に基づいて、第１ディスプレイに対する第２ディスプレイの相対位置を推定する（ステップＳ１８１０）。つまり、第２の画像処理装置１５２０によって第１ディスプレイの全部又は一部が撮影されている場合には、第１ディスプレイに対する第２ディスプレイの相対位置が推定される。
【０１２２】
具体的には、制御部１６０１は、図１９（ａ）に示す撮影画像１９００の中に含まれる基準マーク７５０Ａ〜７５０Ｄの分布の偏りを解析する。制御部１６０１は、図１９（ｂ）に示すように、撮影画像の中から基準マーク７５０Ａ〜７５０Ｄを抽出し、抽出した基準マーク７５０の重心１９２０と、撮影画像の中心１９１０とを求める。制御部１６０１は、基準マーク７５０の重心１９２０から撮影画像の中心１９１０へと結ぶベクトル１９３０の長さが所定値以上の場合、基準マーク７５０Ａ〜７５０Ｄの分布に有意の偏りがあると判別する。制御部１６０１は、第１ディスプレイを基準に、第２ディスプレイがベクトル１９３０の示す分だけずれて配置されていると推定する。
【０１２３】
第２の画像処理装置１５２０の制御部１６０１は、ステップＳ１８１０での推定結果を第１の画像処理装置１５１０へ送信する（ステップＳ１８１１）。第１の画像処理装置１６０１のＣＰＵ １０１は、推定結果を第２の画像処理装置１５２０から受信する（ステップＳ１８１２）。
【０１２４】
ＣＰＵ １０１は、ステップＳ１８１２で受信した推定結果に応じて、全体画像５００内における第２領域５２０の位置を変化させる（ステップＳ１８１３）。例えば、図１９（ｃ）に示すように、ベクトル１９３０と方向が同じベクトル１９４０を求め、ベクトル１９４０の向きへ第２領域５２０を移動する。第２領域５２０の移動量は所定値でもよいし、ベクトル１９３０又はベクトル１９４０の長さに比例した値でもよい。
【０１２５】
ＣＰＵ １０１は、ゲームを終了するか否かを判別する（ステップＳ１８１４）。例えば、サッカーゲームにおいて、規定のゲーム時間が終了した場合や、プレイヤーからゲームを終了する旨の指示が入力された場合に、ＣＰＵ １０１はゲームを終了すると判別する。
【０１２６】
ゲームを終了しないと判別した場合（ステップＳ１８１４；ＮＯ）、第１の画像処理装置１５１０と第２の画像処理装置１５２０は、ステップＳ１８０２〜Ｓ１８１４の処理を繰り返す。ゲームを終了すると判別した場合（ステップＳ１８１４；ＹＥＳ）、ＣＰＵ １０１は、画像処理を終了する。
【０１２７】
画像処理システム１５００に複数の第２の画像処理装置１５２０が含まれる場合には、以上のステップＳ１８０１〜Ｓ１８１４の処理が第２の画像処理装置１５２０ごとに行われる。したがって、第２の画像処理装置１５２０のプレイヤーのそれぞれは、１つのゲーム画面（第１ディスプレイ）を共有しつつ、プレイヤーの意向に添ったゲーム画面（第２ディスプレイ）も閲覧できる。
【０１２８】
例えば、２人のプレイヤー同士が対戦するサッカーゲームにおいて、プレイヤーのそれぞれは、パスをどの方向へ繋げればよいかを考えるとき、自分が操作する第２の画像処理装置１５２０の向きを変えて第２ディスプレイを見れば、第１ディスプレイに映っていない周囲を見ることができる。第２ディスプレイは各プレイヤーの手元にあるので、プレイヤーが他人の操作する第２の画像処理装置１５２０の第２ディスプレイを見ることは容易ではない。そのため、プレイヤーが何を考えているのか、どの向きにパスを通そうと考えているのかが、対戦相手プレイヤーに知られることはない。
【０１２９】
（実施形態３）
次に、本発明のその他の実施形態について説明する。本実施形態は、基準マークの数、配置、形状等の変形例である。
【０１３０】
図２０は、基準マーク２０００（本図では２０００１，２０００２などと記載。）が重畳された第１画像の構成例を表す図である。本図では、基準マーク２０００は円形であり、第１画像の周縁部に３０個配置されている。基準マーク２０００の数を増やすことにより、撮影画像の中に基準マーク２０００が写り込みやすくなる。従って、第１ディスプレイと第２ディスプレイの相対的な位置関係を推測する精度が向上する。
【０１３１】
あるいは、図２１に示すように、基準マーク２１００を１つのみにし、且つ、第１画像を取り囲むような縁状にしてもよい。このように基準マーク２０００の数を増やさなくても、形状を変えることにより、撮影画像の中に基準マーク２０００が写り込みやすくなる。
【０１３２】
また、ＣＰＵ １０１は、基準マーク２０００，２１００を所定の時間間隔で点滅させたり、色を所定の時間間隔で変化させたりしてもよい。点滅あるいは色の変化により、第１ディスプレイと第２ディスプレイの相対的な位置関係を推測する精度がさらに向上する。
【０１３３】
本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。
【０１３４】
上述の各実施形態では、画像処理装置４００もしくは画像処理システム１５００は仮想空間内の様子を表す全体画像５００を扱っているが、ストリーミングで配信される映像など、現実空間の様子を表す画像を第１ディスプレイと第２ディスプレイに表示する際に本発明を適用することも可能である。勿論、配信されるコンテンツはストリーミング型でもよいし、ダウンロード型であってもよい。
【０１３５】
具体的には、現実に行われるスポーツの番組などの放送に本発明を適用する場合、放送事業者は、第１ディスプレイの表示サイズよりも広めの全体画像５００を外部機器３２０に配信する。放送形態は無線でも有線でもよい。外部機器３２０は、配信された全体画像５００内に全体画像５００よりも小さいサイズの第１領域５１０を設定し、第１画像を第１ディスプレイに表示する。また、外部装置３２０は、全体画像５００内に第２領域５２０を設定し、第２画像を画像処理装置４００に送信する。ここで、画像処理装置４００のユーザーは、画像処理装置４００のカメラ１１３の向きを動かすことにより、第１ディスプレイに映っている第１画像とは異なった第２画像を視聴することも可能である。画像処理装置４００のユーザーは、第１ディスプレイに映っていない部分を見たいとき、カメラ１１３を好みの向きに変えれば、第１画像の周辺部分まで視聴することができる。例えば、画像処理装置４００のユーザーは、第１画像よりもっと左側を見たい場合には、カメラ１１３を左側に向ければ、全体画像５００の範囲内で第１画像よりもっと左側を視聴することができる。画像処理装置４００は、第１画像を複数の視聴者が集まって一緒に視聴することを前提とする標準的な画像として提供し、第２画像をユーザーごとに異なった好みに対応するためのオプション的な画像として提供するわけである。画像処理装置４００は、視聴者の多種多様な好みに適した映像を提供することができる。
【０１３６】
上記の画像処理装置４００の全部又は一部としてコンピュータを動作させるためのプログラムを、メモリカード、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０１３７】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【０１３８】
以上説明したように、本発明によれば、複数のプレイヤーが１つの画面を共有しつつ、プレイヤーの意向に添った画面も閲覧できるようにするために好適な画像処理装置、画像処理システム、画像処理方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１３９】
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ 第１タッチパネル
１０６ 第２タッチパネル
１０７ 外部メモリー
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ 画像処理部
１１０ ディスプレイ（第２ディスプレイ）
１１１ 音声処理部
１１２ ＮＩＣ
１１３ カメラ
３１０ ディスプレイ（第１ディスプレイ）
４００ 画像処理装置
４０１ 第１抽出部
４０２ 第１表示部
４０３ 第２抽出部
４０４ 第２表示部
４０５ 撮影部
４０６ 推定部
４０７ 決定部
５００ 全体画像
５１０ 第１領域
５２０ 第２領域
６００，８００ 撮影画像
７５０，７５０Ａ〜７５０Ｄ 基準マーク
１５００ 画像処理システム
１５１０ 第１の画像処理装置
１５２０ 第２の画像処理装置
１５２１Ａ，１５２１Ｂ 第２ディスプレイ
１５３０ 第１ディスプレイ
１６０１ 制御部
１６０２ 記憶部
１６０３ 表示部
１６０４ 通信部
１７０１ 抽出部
１７０２ 第１表示部
１７０３ 画像送信部
１７０４ 画像受信部
１７０５ 第２表示部
１７０６ 撮影部
１７０７ 推定部
１７０８ 決定部
１９００ 撮影画像
１９１０ 撮影画像の中心
１９２０ 基準マークの分布の重心
１９３０，１９４０ ベクトル
２０００，２１００ 基準マーク
【特許請求の範囲】
【請求項１】
全体画像内における第１領域の位置と第２領域の位置を決定する決定部と、
前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部と、
前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部と、
前記抽出された第１画像を第１ディスプレイに表示する第１表示部と、
前記抽出された第２画像を第２ディスプレイに表示する第２表示部と、
前記第２ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第１画像に対応する部分に基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部と、
を備え、
前記決定部は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第１表示部は、所定位置に基準マークを重畳した前記第１画像を前記第１ディスプレイに表示し、
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第１画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する、
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記決定部は、
（ａ）前記第２ディスプレイの背面が前記第１ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第２領域の中心の位置を前記第１領域の中心の位置と一致させ、
（ｂ）前記撮影画像に前記基準マークが映っており、且つ、前記第２ディスプレイの背面が前記第１ディスプレイに正対していないと推定される場合、前記第２領域の中心の位置を、前記第１ディスプレイに対して前記第２ディスプレイが偏っている方向へ移動する、
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記決定部は、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第２領域の位置を移動する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像処理装置であって、
前記決定部は、前記撮影画像に前記基準マークが映っており、且つ、前記第２ディスプレイが前記第１ディスプレイに正対していないと推定される場合、前記第２ディスプレイが前記第１ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第２領域の位置の移動量を大きくする、
ことを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像処理装置であって、
前記決定部は、前記全体画像内での位置が可変の所定のオブジェクトが前記第１領域の中心位置になるように、前記第１領域の位置を決定する、
ことを特徴とする画像処理装置。
【請求項７】
第１の画像処理装置と複数の第２の画像処理装置とを有する画像処理システムであって、
前記第１の画像処理装置は、
全体画像内における第１領域の位置と第２領域の位置を決定する決定部と、
前記全体画像内の前記第１領域を第１画像として抽出し、第２の画像処理装置ごとに前記全体画像内の前記第２領域を第２画像として抽出する抽出部と、
前記抽出された第１画像を第１ディスプレイに表示する第１表示部と、
前記抽出された第２画像を前記複数の第２の画像処理装置のそれぞれに送信する画像送信部と、
を備え、
前記複数の第２の画像処理装置のそれぞれは、
前記第２画像を前記第１の画像処理装置から受信する画像受信部と、
前記受信した第２画像を第２ディスプレイに表示する第２表示部と、
前記第２ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第１画像に対応する部分に基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定し、推定結果を前記第１の画像処理装置に送信する推定部と、
を備え、
前記決定部は、前記複数の第２の画像処理装置のそれぞれから前記推定結果を受信し、前記第２の画像処理装置ごとに、前記全体画像内における前記第１領域の位置と前記受信した推定結果とに基づいて、前記全体画像内における前記第２領域の位置を決定し、
前記抽出部は、前記第２の画像処理装置ごとに、前記決定された前記第２領域の位置に基づいて、前記全体画像内の前記第２領域を第２画像として抽出する、
ことを特徴とする画像処理システム。
【請求項８】
決定部と第１抽出部と第２抽出部と第１表示部と第２表示部と撮影部と推定部とを有する画像処理装置にて行われる画像処理方法であって、
前記決定部が、全体画像内における第１領域の位置と第２領域の位置を決定する決定ステップと、
前記第１抽出部が、前記全体画像内の前記第１領域を第１画像として抽出する第１抽出ステップと、
前記第２抽出部が、前記全体画像内の前記第２領域を第２画像として抽出する第２抽出ステップと、
前記第１表示部が、前記抽出された第１画像を第１ディスプレイに表示する第１表示ステップと、
前記第２表示部が、前記抽出された第２画像を第２ディスプレイに表示する第２表示ステップと、
前記撮影部が、前記第２ディスプレイの背面方向を撮影する撮影ステップと、
前記推定部が、前記撮影ステップにおいて撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定ステップと、
を備え、
前記決定ステップでは、前記決定部が、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
ことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
全体画像内における第１領域の位置と第２領域の位置を決定する決定部、
前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部、
前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部、
前記抽出された第１画像を第１ディスプレイに表示する第１表示部、
前記抽出された第２画像を第２ディスプレイに表示する第２表示部、
前記第２ディスプレイの背面方向を撮影する撮影部、
前記撮影部により撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部、
として機能させ、
前記決定部は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
ことを特徴とするプログラム。
【請求項１】
全体画像内における第１領域の位置と第２領域の位置を決定する決定部と、
前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部と、
前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部と、
前記抽出された第１画像を第１ディスプレイに表示する第１表示部と、
前記抽出された第２画像を第２ディスプレイに表示する第２表示部と、
前記第２ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第１画像に対応する部分に基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部と、
を備え、
前記決定部は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第１表示部は、所定位置に基準マークを重畳した前記第１画像を前記第１ディスプレイに表示し、
前記推定部は、前記撮影画像に前記基準マークが映っている場合、前記撮影画像に映っている前記基準マークの位置から、前記撮影画像内の前記第１画像に対応する部分を判別し、当該判別結果と前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する、
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記決定部は、
（ａ）前記第２ディスプレイの背面が前記第１ディスプレイに正対していると推定される場合、もしくは、前記撮影画像に前記基準マークが映っていない場合、前記第２領域の中心の位置を前記第１領域の中心の位置と一致させ、
（ｂ）前記撮影画像に前記基準マークが映っており、且つ、前記第２ディスプレイの背面が前記第１ディスプレイに正対していないと推定される場合、前記第２領域の中心の位置を、前記第１ディスプレイに対して前記第２ディスプレイが偏っている方向へ移動する、
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置であって、
前記決定部は、前記撮影画像に映っている前記基準マークの重心から前記撮影画像の中心へと結ぶベクトルの向きに、前記第２領域の位置を移動する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像処理装置であって、
前記決定部は、前記撮影画像に前記基準マークが映っており、且つ、前記第２ディスプレイが前記第１ディスプレイに正対していないと推定される場合、前記第２ディスプレイが前記第１ディスプレイに正対していると仮定した際に映っているべき前記基準マークの位置と、前記撮影画像に映っている前記基準マークの位置と、の差異が大きいほど、前記第２領域の位置の移動量を大きくする、
ことを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像処理装置であって、
前記決定部は、前記全体画像内での位置が可変の所定のオブジェクトが前記第１領域の中心位置になるように、前記第１領域の位置を決定する、
ことを特徴とする画像処理装置。
【請求項７】
第１の画像処理装置と複数の第２の画像処理装置とを有する画像処理システムであって、
前記第１の画像処理装置は、
全体画像内における第１領域の位置と第２領域の位置を決定する決定部と、
前記全体画像内の前記第１領域を第１画像として抽出し、第２の画像処理装置ごとに前記全体画像内の前記第２領域を第２画像として抽出する抽出部と、
前記抽出された第１画像を第１ディスプレイに表示する第１表示部と、
前記抽出された第２画像を前記複数の第２の画像処理装置のそれぞれに送信する画像送信部と、
を備え、
前記複数の第２の画像処理装置のそれぞれは、
前記第２画像を前記第１の画像処理装置から受信する画像受信部と、
前記受信した第２画像を第２ディスプレイに表示する第２表示部と、
前記第２ディスプレイの背面方向を撮影する撮影部と、
前記撮影部により撮影された撮影画像に映っている前記第１画像に対応する部分に基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定し、推定結果を前記第１の画像処理装置に送信する推定部と、
を備え、
前記決定部は、前記複数の第２の画像処理装置のそれぞれから前記推定結果を受信し、前記第２の画像処理装置ごとに、前記全体画像内における前記第１領域の位置と前記受信した推定結果とに基づいて、前記全体画像内における前記第２領域の位置を決定し、
前記抽出部は、前記第２の画像処理装置ごとに、前記決定された前記第２領域の位置に基づいて、前記全体画像内の前記第２領域を第２画像として抽出する、
ことを特徴とする画像処理システム。
【請求項８】
決定部と第１抽出部と第２抽出部と第１表示部と第２表示部と撮影部と推定部とを有する画像処理装置にて行われる画像処理方法であって、
前記決定部が、全体画像内における第１領域の位置と第２領域の位置を決定する決定ステップと、
前記第１抽出部が、前記全体画像内の前記第１領域を第１画像として抽出する第１抽出ステップと、
前記第２抽出部が、前記全体画像内の前記第２領域を第２画像として抽出する第２抽出ステップと、
前記第１表示部が、前記抽出された第１画像を第１ディスプレイに表示する第１表示ステップと、
前記第２表示部が、前記抽出された第２画像を第２ディスプレイに表示する第２表示ステップと、
前記撮影部が、前記第２ディスプレイの背面方向を撮影する撮影ステップと、
前記推定部が、前記撮影ステップにおいて撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定ステップと、
を備え、
前記決定ステップでは、前記決定部が、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
ことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
全体画像内における第１領域の位置と第２領域の位置を決定する決定部、
前記全体画像内の前記第１領域を第１画像として抽出する第１抽出部、
前記全体画像内の前記第２領域を第２画像として抽出する第２抽出部、
前記抽出された第１画像を第１ディスプレイに表示する第１表示部、
前記抽出された第２画像を第２ディスプレイに表示する第２表示部、
前記第２ディスプレイの背面方向を撮影する撮影部、
前記撮影部により撮影された撮影画像に映っている前記第１画像に対応する部分と、前記全体画像とに基づいて、前記第１ディスプレイに対する前記第２ディスプレイの相対的な位置を推定する推定部、
として機能させ、
前記決定部は、前記全体画像内における前記第１領域の位置と前記推定された相対的な位置とに基づいて、前記全体画像内における前記第２領域の位置を決定する、
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−７７９７４（Ｐ２０１３−７７９７４Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６５１９（Ｐ２０１１−２１６５１９）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]