説明

画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラム

【課題】人物の顔などのユーザーが特に表示させたい被写体が途切れることがないように、複数のディスプレイを用いて横長又は縦長の画像データを表示する。
【解決手段】元の画像データD0に含まれるいずれかの注目被写体が表示されない事態を回避するために、表示制御部103は個別画像データの再生成を行なう。例えば、元の画像データD0上での各表示領域D1、D2、D3の位置変化、元の画像データD0の拡大、縮小の各方法を挙げることができ、これらのうち2以上を組み合わせるようにしてもよい。但し、いずれの方法においても、各表示領域D1、D2、D3間の幅wd1、wd2、wd3を一定とする。

【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術は、ディジタルカメラなどで撮影した画像を表示する画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラムに係り、特に、本来の縦横比を超えた横長又は縦長の画像データを、複数のディスプレイを用いて表示する画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラムに関する。
【背景技術】
【0002】
ディジタルカメラで撮影した画像データを表示する専用の情報機器として、ディジタル・フォトフレームが知られている。ディジタル・フォトフレームは、一般に、写真立てのような外観を持ち、例えば複数の画像データを一定時間毎に切り替えて表示する「スライドショー」機能など、従来の写真立てにはない利便性を備えている。
【0003】
最近のディジタルカメラは、本来の縦横比を超えた、横長又は縦長のパノラマ写真を撮影する機能を備えている。パノラマ写真は、ディジタル・フォトフレームの縦横比も超えるので、1台のディジタル・フォトフレームでは一部しか表示することができない。そこで、複数台のディジタル・フォトフレームを連携させて、大きなサイズの画像データを表示する方法が想起される。
【0004】
複数の画像表示制御装置を組み合わせて表示内容を制御し、仮想的な単一のディスプレイすなわちマルチディスプレイとして表示する技術は既に存在している。
【0005】
例えば、マルチディスプレイの各画面の配置に応じて、繋ぎ目部分で整合性のとれた画像を生成できるようにする画像生成装置について提案がなされている(例えば、特許文献1を参照のこと)。しかしながら、この画像生成装置によると、ディスプレイ周囲のフレーム部分や画像表示制御装置間の空間のようなディスプレイ以外の画像非表示部については、画像表示制御装置の配置や構成台数を変更しない限り、同じ画像データにおいては常に同じ領域が表示されない状態になる。この画像非表示部にユーザーが特に表示させたい被写体、例えば人物の顔などが重なった場合、スライドショー機能などを起動しても、その顔画像は常に表示されないことになる。
【0006】
他方、人物の顔などが含まれる画像データを拡大する際に、人物の顔がフレームアウトしないように、ディスプレイに表示する領域を変化させる画像表示方法について提案がなされている(例えば、特許文献2を参照のこと)。しかしながら、この画像表示方法は、基本的には単一のディスプレイを用いて画像データを表示することを前提としており、複数のディスプレイを用いて画像データを表示する際に、画像非表示部に重なった人物の顔を表示させることはできない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2003−209769号公報
【特許文献2】特開2006−227038号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本明細書で開示する技術の目的は、本来の縦横比を超えた横長又は縦長の画像データを、複数のディスプレイを用いて好適に表示することができる、優れた画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラムを提供することにある。
【0009】
本明細書で開示する技術のさらなる目的は、人物の顔などのユーザーが特に表示させたい被写体が途切れることがないように、複数のディスプレイを用いて横長又は縦長の画像データを表示することができる、優れた画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【0010】
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
画像データを保持する画像メモリーと、
前記複数のディスプレイの現実の位置情報を管理する位置情報管理部と、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定部と、
画像に含まれる注目被写体検出部と、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上部と、
前記重合度が向上した前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する個別画像データ生成部と、
を具備する画像表示制御装置である。
【0011】
本願の請求項2に記載の技術によれば、請求項1に記載の画像表示制御装置の重合度向上部は、前記画像データに対して前記複数のディスプレイの各表示領域を上下左右に移動させながら、前記画像データ全体に含まれる注目被写体の数と前記複数のディスプレイの各表示領域に含まれる注目被写体の数が一致する移動量、又は、前記複数のディスプレイの各表示領域に含まれる注目被写体の数が最大で且つ最小となる移動量を探索するように構成されている。また、個別画像データ生成部は、前記重合度向上部が見つけ出した移動量のときの前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成するように構成されている。
【0012】
本願の請求項3に記載の技術によれば、請求項1に記載の画像表示制御装置の重合度向上部は、前記画像データに対して前記複数のディスプレイの各表示領域を上下左右に移動させながら、前記画像データ全体に含まれる注目被写体の数と前記複数のディスプレイの各表示領域に含まれる注目被写体の数が一致する移動量、又は、前記複数のディスプレイの各表示領域に含まれる注目被写体の数が最大で且つ最小となる移動量を探索するように構成されている。また、個別画像データ生成部は、前記重合度向上部が見つけ出した移動量のときの前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成するように構成されている。
【0013】
また、本願の請求項4に記載の技術は、
画像データを保持する画像メモリーと、
複数のディスプレイと、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定部と、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上部と、
前記重合度が向上した前記複数のディスプレイの各表示領域で前記複数のディスプレイの各々に表示する個別画像データを生成して、前記複数のディスプレイの各々に出力する出力制御部と、
を具備する画像表示システムある。
【0014】
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【0015】
また、本願の請求項5に記載の技術は、
画像データを入力する画像入力ステップと、
複数のディスプレイの現実の位置情報を管理する位置情報取得ステップと、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定ステップと、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上ステップと、
前記重合度が向上した前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する個別画像データ生成ステップと、
を有する画像表示制御方法である。
【0016】
また、本願の請求項6に記載の技術は、
画像データを保持する画像メモリー、
前記複数のディスプレイの現実の位置情報を管理する位置情報管理部、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定部、
画像に含まれる注目被写体検出部、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上部、
前記重合度が向上した前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する個別画像データ生成部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
【0017】
本願の請求項6に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項6に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項2に係る画像表示制御装置と同様の作用効果を得ることができる。
【発明の効果】
【0018】
本明細書で開示する技術によれば、人物の顔などのユーザーが特に表示させたい被写体が途切れることがないように、複数のディスプレイを用いて横長又は縦長の画像データを表示することができる、優れた画像表示制御装置、画像表示システム、画像表示制御方法、並びにコンピューター・プログラムを提供することができる。
【0019】
本明細書で開示する技術によれば、各ディスプレイの現実の配置に基づいて決定された表示領域の相対位置を維持しながら、各ディスプレイで表示する個別画像データにいずれかの注目被写体が包含されない事態を回避することができる。表示領域の相対位置が保たれることから、画像を観察するユーザーには、窓枠を動かして、窓内部に見える風景を変化させるイメージを与えることができる。
【0020】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0021】
【図1A】図1Aは、複数のディスプレイを用いた画像表示システム100の構成例を模式的に示した図である。
【図1B】図1Bは、マスター・スレーブ形式の画像表示システム100の構成例を模式的に示した図である。
【図2】図2は、画像表示システム100が備える複数のディスプレイ102A…を用いて画像データを表示する方法を説明するための図である。
【図3】図3は、画像表示システム100が備える複数のディスプレイ102A…を用いて画像データを表示する方法を説明するための図である。
【図4】図4は、重合度の向上処理を行なう表示制御部103の機能的構成を模式的に示した図である。
【図5A】図5Aは、表示制御部103で個別画像データと注目被写体との重合度を向上させるために行なう処理手順を示したフローチャートである。
【図5B】図5Bは、表示制御部103で個別画像データと注目被写体との重合度を向上させるために行なう処理手順を示したフローチャートである。
【図6】図6は、表示領域D1、D2、D3の大きさと互いの相対位置を維持したまま画像データを移動させる様子を示した図である。
【図7】図7は、表示領域D1、D2、D3の有意な移動可能範囲を説明するための図である。
【図8】図8は、元の画像データD0を拡大して再生成した画像データD´0上で各表示領域D´1、D´2、D´3を同調して移動し、最適な移動量(u1,v1)を探索する様子を示した図である。
【図9】図9は、元の画像データD0を拡大して再生成した画像データD´0上で各表示領域D´1、D´2、D´3を同調して移動し、最適な移動量(u1,v1)を探索する様子を示した図である。
【図10】図10は、ディスプレイ102Aをマスターとし、他のディスプレイ102B、102Cをスレーブとして、各ディスプレイの画像表示を制御するための通信シーケンス例を示した図である。
【図11】図11は、縦長の画像データを複数のディスプレイで表示する様子を示した図である。
【図12】図12は、各表示領域の相対位置を維持したままで、各ディスプレイの表示画像が変位する様子を示した図である。
【発明を実施するための形態】
【0022】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【0023】
図1Aには、複数のディスプレイを用いた画像表示システム100の構成例を模式的に示している。図示の画像表示システム100は、画像入力部101と、複数のディスプレイ102A、102B、102C、…と、表示制御部103を備えている。図示の例では、説明の便宜上、ディスプレイの台数を3台とするが、本明細書で開示する技術の要旨は特定の台数に限定されない。ディスプレイは2台であっても、4台以上であってもよい。
【0024】
画像入力部101は、各ディスプレイ102A…に表示する画像データを入力する。画像データの供給元は、例えばDVDなどの記録ディアから画像データを再生する画像再生装置や、ディジタルカメラなどの画像生成装置であってもよい。入力される画像データは、パノラマ画像のように、個々のディスプレイの本来の縦横比を超えた横長又は縦長の画像データの場合もある。
【0025】
表示制御部103は、画像入力部101で入力した画像データから、各ディスプレイ102A、102B、102Cの各々に表示する画像(以下では、「個別画像データ」とも言う)を生成し、表示出力の制御を行なう。表示制御部103と各ディスプレイ102A、102B、102C間の通信路は特に限定されない。
【0026】
なお、いずれか1つのディスプレイが表示制御部103を組み込み、このディスプレイがマスターとなって、他のディスプレイをスレーブとして表示制御するように、画像表示システム100を構成することもできる。図1Bには、ディスプレイ102Aをマスターとし、他のディスプレイ102B、102Cをスレーブとした、マスター・スレーブ形式の画像表示システム100の構成例を示している。マスターであるディスプレイ102Aと、スレーブである各ディスプレイ102B、102C間の通信路は特に限定されない。
【0027】
続いて、画像表示システム100が備える複数のディスプレイ102A…を用いて、パノラマ画像など、本来の縦横比を超えた横長又は縦長の画像データを表示する方法について説明する。但し、説明の便宜上、各ディスプレイ102A、102B、102Cの表示画面は同一平面にあるものとする。
【0028】
個々のディスプレイ102A、102B、102Cは、ディジタル・フォトフレームに相当する。複数のディスプレイの配置若しくは相対的な位置関係は固定である。あるいは、位置関係が可変であっても、画像データ表示時の配置若しくは相対的な位置関係は本システムにおいて既知である。
【0029】
本来の縦横比を超えた横長又は縦長の画像データを表示する際、各ディスプレイ102A…の現実の配置に基づいて画像データに対する各ディスプレイの表示領域の相対位置を決定して、元の画像データから各表示領域の個別画像データを自然に切り出して、一斉に表示出力する。図11には、縦長の画像データを複数のディスプレイで表示する様子を示している。また、元の画像データに対する各ディスプレイの表示領域を動かしたときも、図12に示すように、各表示領域の相対位置を維持したままで、各ディスプレイの表示画像が変位する。したがって、画像を観察するユーザーは、縦長の画像データからなる風景を、各ディスプレイの画面に相当する窓を通して眺めているイメージを想起することができる。
【0030】
図11並びに図12からも分かるように、画像表示システム100において、複数のディスプレイ102A…を用いて本来の縦横比を超えた横長又は縦長の画像データを表示する場合、各ディスプレイ102A…の表示領域から外れた非表示領域が存在する。上記のように、各ディスプレイ102A、102B、102Cの現実の配置に基づいて決定した相対位置D1、D2、D3を維持しながら表示領域の切り出しを行なうことを前提にすると、非表示領域にユーザーが特に表示させたい注目被写体が重なった場合、スライドショー機能などを起動しても、その顔画像は常に表示されないことになる。
【0031】
図2には、注目被写体として人物の顔を例にとって説明する。同図において、元の画像データの領域全体をD0、各ディスプレイ102A、102B、102Cの表示領域(すなわち、表示制御部103が生成する個別画像データ)をそれぞれD1、D2、D3とする。表示領域D1、D2、D3は同一平面上にある。図2下に示すように、表示領域D1、D2、D3は、元の画像データのD0の一部を表示することになる。
【0032】
図3には、元の画像データの領域全体D0と、各ディスプレイ102A、102B、102Cの表示領域D1、D2、D3の位置関係を示している。但し、同図では、左上方向から右下方向に増加する仮想の2次元座標系(すなわち、x方向は左から右に増加し、y方向は上から下に増加する)を設定する。
【0033】
元の画像データD0は(x0,y0)を左上、(x0+w0,y0+h0)を右下の座標として定義される幅w0、高さh0の矩形平面とする。ここで幅とはx方向、高さはy方向の長さとする。
【0034】
一方、ディスプレイ102Aの表示領域D1は(x1,y1)から(x1+w1,y1+h1)で囲まれる矩形平面、同様に、ディスプレイ102Bの表示領域D2は(x2,y2)から(x2+w2,y2+h2)で囲まれる矩形平面、ディスプレイ102Cの表示領域D3は(x3,y3)から(x3+w3,y3+h3)で囲まれる矩形平面、とする。ここで、w1、h1はそれぞれ表示領域D1の幅と高さであり、w2、h2はそれぞれ表示領域D2の幅と高さであり、w3、h3はそれぞれ表示領域D3の幅と高さである。各表示領域D1、D2、D3の矩形平面は、ディスプレイ102A、102B、102Cの現実の配置及び画面サイズに対応したものである。
【0035】
また、元の画像データの領域全体D0には、注目被写体として3人の人物の顔F1、F2、F3が含まれている。本実施形態に係る画像表示システム100の表示制御部103は、入力された画像データから、注目被写体としての顔画像の個数とその位置及び大きさを検知する顔検出機能を備えている。この顔検出機能が検出した3つの顔F1、F2、F3の検出幅をそれぞれwf1、wf2、wf3とする。また、表示領域D1、D2、D3の間の幅(言い換えれば、画像非表示領域の幅)をそれぞれwd1、wd2、wd3とする。例えば、本出願人に既に譲渡されている特開2009−53916号公報に開示されている、弱仮説を用いた顔認識技術を用いて、顔検出機能を実現することができる。
【0036】
各表示領域D1、D2、D3の初期状態は、表示領域D1、D2、D3に含まれる元の画像データの面積割合が最大となる状態が望ましい。但し、表示制御部103の設定やその他の要因によって、この限りでなくともよい。
【0037】
図3に示す初期状態では、検出顔F1、F2はそれぞれディスプレイ102A、102Bの表示領域D1、D2に含まれている。他方、検出顔F3は、幅wd3の画像非表示領域と重なっており、ディスプレイ102Cの表示領域D3から外れている。初期状態のままでは、スライドショー機能などを起動しても、顔画像F3は常に表示されないことになる。
【0038】
そこで、表示制御部103は、各ディスプレイ102A、102B、102Cで表示する個別画像データにいずれかの注目被写体が包含されない事態を回避するように、個別画像データの再生成を行なう。但し、再生成処理において、各ディスプレイ102A、102B、102Cの現実の配置に基づいて決定された相対位置を維持しながら、表示領域D1、D2、D3の切り出しを行なうことを前提にする。
【0039】
個別画像データの再生成処理として、例えば、元の画像データD0上での各表示領域D1、D2、D3の位置変化、元の画像データD0の拡大、縮小の各処理によって、元の画像データD0全体に含まれる注目被写体F1、F2、F3と、各表示領域D1、D2、D3に含まれる注目被写体との重合度を向上させる方法を挙げることができる。また、各表示領域D1、D2、D3の位置変化と、元の画像データD0の拡大又は縮小の処理を組み合わせて重合度を向上させるようにしてもよい。但し、いずれの方法においても、各表示領域D1、D2、D3間の幅wd1、wd2、wd3を一定とする。なお、本明細書で言う被写体の「重合度」は、元の画像データD0全体に含まれる注目被写体が、元の画像データD0から切り出される各表示領域D1、D2、D3に重ねて含まれている割合のことを意味する。具体的には、元の画像データD0全体から検出される注目被写体の総数に対する、各表示領域D1、D2、D3からそれぞれ検出される注目被写体の数の合計の割合で、重合度を数値で表わすことができる。
【0040】
図4には、重合度の向上処理を行なう表示制御部103の機能的構成を模式的に示している。
【0041】
画像入力部101に入力された画像データD0は、画像メモリー401内に展開され、一時的に保持される。
【0042】
一方、位置情報管理部403は、各ディスプレイ102A、102B、102Cの現実の位置情報を管理する。例えば、各ディスプレイ102A、102B、102Cがそれぞれ測位機能と通信機能を備えるときには、一時用法管理部403は、各ディスプレイ102A、102B、102Cに位置情報を要求して、位置情報を取得する。あるいは、ユーザーが図示しないユーザー・インターフェースを介して位置情報管理部403に各ディスプレイ102A、102B、102Cの現実の位置情報をマニュアル入力するようにしてもよい。あるいは、画像表示システム100として各ディスプレイ102A、102B、102Cの現実の位置が固定されている場合には、これらの位置情報を不揮発的に保持していてよい。
【0043】
そして、個別画像領域決定部404は、各ディスプレイ102A、102B、102Cの現実の位置情報に基づいて、各ディスプレイ102A、102B、102Cの表示領域D1、D2、D3の相対位置並びに初期位置を決定する。図3に示す例では、個別画像領域決定部404からは、ディスプレイ102Aの表示領域D1は(x1,y1)から(x1+w1,y1+h1)で囲まれる矩形平面、ディスプレイ102Bの表示領域D2は(x2,y2)から(x2+w2,y2+h2)で囲まれる矩形平面、並びに、ディスプレイ102Cの表示領域D3は(x3,y3)から(x3+w3,y3+h3)で囲まれる矩形平面に関する情報が出力される。
【0044】
顔検出部402は、例えば、本出願人に既に譲渡されている特開2009−53916号公報に開示されている、弱仮説を用いた顔認識技術を用いて顔検出処理を行なうことができる。ここでは、顔検出部402は、重合度向上部405から処理済みの画像データD0を受け取ると(但し、初期状態では、元の入力画像データそのものが渡される)、画像データ全体から顔検出して検出顔の個数N0を求めるとともに、各表示領域D1、D2、D3内から顔検出して検出顔の合計数N1を求める。
【0045】
重合度向上部405は、顔検出部402から、画像データ全体の検出顔の個数N0と各表示領域D1、D2、D3内の検出顔の合計数N1を受け取り、N1がN0に満たないと、各ディスプレイ102A、102B、102Cの個別画像データにいずれかの注目被写体が包含されない事態に陥っていると判定して、各検出顔F1、F2、F3の領域と、各表示領域D1、D2、D3の矩形平面の重合度を増大させるための処理を、画像メモリー401から読み出した元の画像データD0に対して実行する。重合度向上部405が重合度向上のために実行する処理は、例えば、元の画像データD0上での各表示領域D1、D2、D3の位置変化、元の画像データD0の拡大、縮小の各処理、又は、これらの処理方法のうち2以上を組み合わせである(後述)。
【0046】
そして、個別画像データ切り出し部406は、重合度向上処理が行なわれた後の画像データD0の表示領域D1、D2、D3からそれぞれ画像データを切り出すことによって、一斉表示用の個別画像データを再生成する。そして、生成された個別画像データを各ディスプレイ102A、102B、102Cに出力する。
【0047】
図5A及び図5Bには、表示制御部103で個別画像データと注目被写体との重合度を向上させるために行なう処理手順をフローチャートの形式で示している。
【0048】
まず、顔検出部402は、画像メモリー401から読み出した元の画像データD0に顔検出処理を行なって、画像データ全体から検出顔の個数N0を求める。また、個別画像領域決定部404は、各ディスプレイ102A、102B、102Cの現実の位置情報に基づいて、各ディスプレイ102A、102B、102Cの初期の表示領域D1、D2、D3の相対位置並びに初期位置を決定する。そして、顔検出部402は、元の画像データD0のうち初期の表示領域D1、D2、D3にそれぞれ顔検出処理を行なって、各表示領域D1、D2、D3に含まれる検出顔N1、N2、N3の合計数ΣNi(=N1+N2+N3)を求める(ステップS501)。
【0049】
次いで、重合度向上部405は、顔検出部402から、画像データ全体の検出顔の個数N0と各表示領域D1、D2、D3内の検出顔N1、N2、N3の合計数ΣNiを受け取ると、これらの値が一致するか否かをチェックする(ステップS502)。
【0050】
ここで、N0とΣNiの値が一致するときには(ステップS502のYes)、画像データD0に含まれるすべての注目被写体がいずれかの表示領域D1、D2、D3で表示されていることが分かるので、本処理ルーチンを終了する。
【0051】
一方、N0とΣNiの値が一致しないときには(ステップS502のNo)、いずれかの注目被写体が表示領域D1、D2、D3に包含されない事態に陥っていると判定される。この場合、重合度向上部405は、画像データに対して表示領域D1、D2、D3を上下左右のいずれかの方向に移動させて、画像データを再生成する。そして、顔検出部402は、移動後の画像データ全体から検出顔の個数N0を求めるとともに、各表示領域D1、D2、D3に含まれる検出顔の合計数ΣNiを再度求める(ステップS503)。
【0052】
ここで、画像データD0に対して表示領域D1、D2、D3を移動させる際の留意点について、説明しておく。
【0053】
表示領域D1、D2、D3を移動させる際には、各ディスプレイ102A、102B、102Cの現実の配置、すなわち画像データ全体に対する表示領域D1、D2、D3の大きさ及び互いの相対位置を維持したままとする。したがって、あたかも(各ディスプレイ102A、102B、102Cの画面に相当する)窓枠を動かして、窓内部に見える風景を変化させるように、各表示領域D1、D2、D3に表示する画像データを再生成することになる。
【0054】
図6には、表示領域D1、D2、D3の大きさと互いの相対位置を維持したまま表示領域D1、D2、D3を移動させる様子を示している。表示領域D1、D2、D3の大きさを維持しているので、移動後の各表示領域D´1は(x´1,y´1)から(x´1+w1,y´1+h1)で囲まれる矩形平面、同様に、移動後の表示領域D´2は(x´2,y´2)から(x´2+w2,y´2+h2)で囲まれる矩形平面、移動後の表示領域D´3は(x´3,y´3)から(x´3+w3,y´3+h3)で囲まれる矩形平面となる。また、表示領域D´1、D´2、D´3の相対位置を維持している。したがって、x´1=x1+v1、y´1=y1+u1、x´2=x2+v2、y‘2=y+u2、x´3=x3+v3、y’3=y3+u3であり、表示領域の移動量のx方向成分はv1=v2=v3、y方向成分はu1=u2=u3とする。
【0055】
表示領域D1、D2、D3の移動可能な範囲は、表示領域D1、D2、D3のいずれかが画僧データ全体D0と一部分でも重複する範囲内とする。但し、例えば右方向への移動では、最も左に位置する顔の領域の左端のx座標をxnとするとき、最も左に位置する表示領域の左端のx座標x´1はxnよりも右に移動する意味が無い(図7を参照のこと)。また、表示領域D1、D2、D3を左、上、下方向のいずれかに移動する場合についても同様である。そこで、重合度向上部405は、x´1≦xnなどあらかじめ有意な移動可能範囲を確定してから、その範囲内に限った移動処理を行なうことで、処理の効率を向上することが可能である。
【0056】
また、1回に表示領域D1、D2、D3を移動する単位は、x方向であれば、画像データ全体D0の顔検出で検出されたN0個の顔領域の幅、及び、各表示領域D1、D2、D3間に存在する画像非表示領域の幅の中で最小のものを基準とすることが望ましい。図3に示した例では、各検出顔の幅wf1、wf2、wf3、及び、画像非表示領域の幅wd1、wd2、wd3、wd4の中で最小であるwf2を基準とし、wf2若しくはこれより長い距離を移動単位とすることで、処理の効率化を実現できる。
【0057】
但し、図3に示した例で、y方向の移動では、画像表示制御装置間の画像非表示領域の高さは0となる。このような場合に備え、画像非表示領域がx方向のみ又はy方向のみに依存する場合を除外する処理が必要となる。勿論、これより短い距離を移動単位として、より細密な検出を行なうようにしてもよい。
【0058】
また、表示領域D1、D2、D3の移動は上下左右いずれから開始してもよい。但し、図3に示す例のように画像非表示領域がx方向のみに依存する場合には、y方向の移動は不要である。また、図示しないが、逆にy方向のみに依存する場合には、x方向の移動は不要である。
【0059】
また、表示領域D1、D2、D3を移動させるときの基準の位置を(x,y)=(x,y)、x方向の移動単位をp、y方向の移動単位をqとしたとき、p<qであれば、(x´,y´)=(x+p,y)、(x−p,y)、(x,y+q)、(x,y1−q)、(x1+p,y1−q)、(x1−p,y1+q)、(x1+p,y1+q)、(x1−p,y1−q)、(x1+p×2,y1)、(x−p×2,y)、…というように、基準の位置からの移動距離が近い順に実施すると、移動前の状態からの表示の変位が比較的小さくなり、見た目の違和感を軽減することが期待できる。
【0060】
再び図5を参照して、処理手順について説明する。
【0061】
表示領域D1、D2、D3を上記のようにして移動させた後に、顔検出部402は移動後の各表示領域D´1、D´2、D´3について顔検出処理を行なう。そして、重合度向上部405は、各表示領域D´1、D´2、D´3にそれぞれ含まれる顔の個数をN´1、N´2、N´3とし、その合計数ΣN´i(=N´1+N´2+N´3)が画像データ全体に含まれる検出顔の個数N0と一致するか否かをチェックする(ステップS504)。
【0062】
0=ΣN´i、すなわちすべての注目被写体がいすれかの表示領域D´1、D´2、D´3に含まれていることが望ましい。N0=ΣN´iであれば(ステップS504のYes)、このときの表示領域の移動量(u1,v1)を最適条件に決定して、本処理ルーチンを終了する。
【0063】
また、N0=ΣN´iでなくても、少なくとも、ΣN´i>ΣNi、すなわち、表示領域を移動させる前よりも、重合度が向上していることが望ましい。本処理ルーチンの終了条件として、N0=ΣN´iに代えて、ΣN´iが最大で、且つ、表示領域の移動量sqrt(v12+u12)が最小となる組を見つけ出すこと、としてもよい。
【0064】
そして、終了条件を満たすまでは(ステップS504のNo)、ステップS503に戻って、有意な移動可能範囲内で、表示領域D1、D2、D3の上下左右の移動を繰り返す(ステップS505のNo)。
【0065】
表示領域D1、D2、D3の有意な移動可能範囲については、図7を参照しながら既に説明した。表示領域の上下左右の移動を繰り返しても、移動可能範囲内では終了条件に達することができなかったときには(ステップS505のYes)、続いて、元の画像データを規定範囲内で拡大並びに縮小してから、上記と同様に画像データに対して表示領域D1、D2、D3を上下左右に移動させながら、重合度が増大する場所を探索する。
【0066】
重合度向上部405は、画像データを所定の倍率だけ拡大又は縮小してから(ステップSX506)、上下左右のいずれかの方向に移動させて、画像データを再生成する(ステップS507)。
【0067】
そして、顔検出部402は、各表示領域D´1、D´2、D´3に含まれる検出顔の合計数ΣN´iを求めて、画像データ全体に含まれる検出顔の個数N0と一致するか否かをチェックする(ステップS508)。
【0068】
図8には、元の画像データD0を拡大して再生成した画像データD´0上で各表示領域D´1、D´2、D´3を同調して移動し、最適な移動量(u1,v1)を探索する様子を示している。拡大率の上限は、例えば、拡大後の検出顔の領域の幅又は高さのいずれかが表示領域の幅又は高さのいずれかより長くなるところに設定すればよい。また、図9には、元の画像データD0を縮小して再生成した画像データD´0上で各表示領域D´1、D´2、D´3を同調して移動し、最適な移動量(u1,v1)を探索する様子を示している。縮小率の上限は、例えば、縮小後の検出顔の領域の幅及び高さのいずれもが顔検出処理に最低限必要な幅及び高さを下回らないところに設定すればよい。なお、表示領域D1、D2、D3を移動させる際の留意点については、上記を参照されたい。
【0069】
0=ΣN´i、すなわちすべての注目被写体がいすれかの表示領域D´1、D´2、D´3に含まれていることが望ましい。N0=ΣN´iであれば(ステップS508のYes)、本処理ルーチンを終了する。あるいは、N0=ΣN´iであることに代えて、ΣN´iが最大、表示領域D1、D2、D3の移動量sqrt(v12+u12)が最小で、且つ、画像データD0の拡大率又は縮小率が最小となる組を見つけ出したときの画像データの拡大率又は縮小率と、表示領域D1、D2、D3の移動量(u1,v1)を最適条件に決定して、本処理ルーチンを終了するようにしてもよい。
【0070】
終了条件を満たすまでは(ステップS508のNo)、ステップS507に戻って有意な移動可能範囲内で、表示領域D1、D2、D3の上下左右の移動を繰り返す(ステップS509のNo)。
【0071】
また、表示領域D1、D2、D3の上下左右の移動を繰り返しても、移動可能範囲内では終了条件に達することができなかったときには(ステップS509のYes)、ステップS506に戻り(ステップS510のNo)、倍率を変えて画像データを拡大又は縮小し、上記と同様に、有意な移動可能範囲内で、表示領域D1、D2、D3の上下左右の移動を繰り返す(ステップS509のNo)。
【0072】
元の画像データを規定範囲内で拡大・縮小処理しても、終了条件に到達することができなかったときには(ステップS510のYes)、当該処理フローを実行中で表示領域D´1、D´2、D´3に含まれる検出顔の合計数ΣN´iが最大となったときの画像データの拡大率又は縮小率と、表示領域D1、D2、D3の移動量(u1,v1)を最適条件に決定して(ステップS511)、本処理ルーチンを終了する。
【0073】
なお、図5に示した処理手順を実施して、個別画像データと注目被写体との重合度を向上させても、いずれのディスプレイの表示領域にも表示できない顔が存在する場合もある。このような場合、各ディスプレイ102A、102B、102Cの表示領域D1、D2、D3を、同調させながら所定の起動で(例えば、右から左へ、左から右へ)経時的に座標移動させるようにしてもよい。このようにすれば、各時刻では必ず表示できない顔が存在するが、すべての顔を少なくともいずれかの表示領域D1、D2、D3でいずれかの時刻で表示するようにすることができる。
【0074】
このように表示領域D1、D2、D3を経時的に座標移動させる場合には、図5中で表示領域D1、D2、D3を移動させながら顔検出するステップS503、S507は不要となる。また、表示領域D1、D2、D3を移動させるときの有意な移動可能範囲は、図7を参照しながら既に説明した通りである。
【0075】
図1Bにも示したように、いずれか1つのディスプレイが表示制御部103を組み込み、このディスプレイがマスターとなって図5に示した処理手順を実行して、他のディスプレイをスレーブとして表示制御することもできる。
【0076】
図10には、ディスプレイ102Aをマスターとし、他のディスプレイ102B、102Cをスレーブとして、各ディスプレイの画像表示を制御するための通信シーケンス例を示している。なお、図示の通信シーケンス例では、スレーブの台数は2台であるが、本明細書で開示する技術の要旨は特定のスレーブ台数に限定されるものではなく、スレーブが1台、あるいは3台以上であってもよい。
【0077】
マスターであるディスプレイ102Aは、入力された画像データを画像メモリー401に展開する。
【0078】
次いで、ディスプレイ102Aは、スレーブである各ディスプレイ102B、102Cに対して位置情報を要求する。これに対し、各ディスプレイ102B、102Cは、自分の位置情報を回答する。各ディスプレイ102B、102Cは、測位機能を装備して、即位して得られた位置情報を回答するようにしてもよい。あるいは、各ディスプレイ102B、102Cの位置情報は固定で、それぞれが位置情報を不揮発的に保持しており、保持した位置情報を回答するようにしてもよい。
【0079】
ディスプレイ102Aは、個別画像領域決定部404により、各102B、102Cから回答された位置情報に基づいて、各ディスプレイ102A、102B、102Cの初期の表示領域D1、D2、D3の位置情報を決定する。
【0080】
次いで、ディスプレイ102Aは、重合度向上部405により、図5に示した処理手順に従って重合度向上処理を実施する。そして、画像データD0に含まれるすべての注目被写体がいずれかの表示領域D1、D2、D3で表示され、若しくは、表示領域D1、D2、D3で表示される注目被写体の数が最大となるような、元の画像データD0の拡大率又は縮小率、並びに最終的な表示領域D1、D2、D3の位置を確定させる。
【0081】
次いで、ディスプレイ102Aは、個別画像データ切り出し部406で、重合度向上処理が行なわれた後の画像データD0の表示領域D2から一斉表示用の個別画像データを切り出して、一斉表示のタイミング情報とともに、スレーブであるディスプレイ102Bに転送する。また、ディスプレイ102Aは、個別画像データ切り出し部406で、重合度向上処理が行なわれた後の画像データD0の表示領域D3から一斉表示用の個別画像データを切り出して、一斉表示のタイミング情報とともに、スレーブであるディスプレイ102Cに転送する。
【0082】
そして、各ディスプレイ102A、102B、102Cは、適宜拡大又は縮小処理された画像データD0の各表示領域D1、D2、D3から切り出された個別画像データを一斉に表示する。
【0083】
なお、図5に示した処理手順を実施して、個別画像データと注目被写体との重合度を向上させても、いずれのディスプレイの表示領域にも表示できない顔が存在する場合もある。図10には図示しないが、各ディスプレイ102A、102B、102Cの表示領域D1、D2、D3を、同調させながら所定の起動で(例えば、右から左へ、左から右へ)経時的に座標移動させるようにしてもよい。このようにすれば、各時刻では必ず表示できない顔が存在するが、すべての顔を少なくともいずれかの表示領域D1、D2、D3でいずれかの時刻で表示するようにすることができる。
【産業上の利用可能性】
【0084】
以上、特定の実施形態を参照しながら、本明細書で開示する技術ついて詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【0085】
本明細書では、複数台のディジタル・フォトフレームからなるシステムに適用した実施形態について説明してきたが、複数のディスプレイで構成されるさまざまなタイプのマルチディスプレイについても、同様に本明細書で開示する技術を適用することができる。
【0086】
本明細書では、横長の画像を複数のディスプレイで表示する実施形態を中心に説明してきたが、縦長の画像を複数のディスプレイで表示する場合も同様に本明細書で開示する技術を適用することができる。
【0087】
本明細書では、注目被写体として人物の顔を扱った実施形態を中心に説明してきたが、人物の顔以外の部位、動物、物品などさまざまな被写体を注目被写体として扱う場合も同様に本明細書で開示する技術を適用することができる。
【0088】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【0089】
100…画像表示システム
101…画像入力部
102A、102B、102C…ディスプレイ
103…表示制御部
401…画像メモリー
402…顔検出部
403…位置情報管理部
404…個別画像領域決定部
405…重合度向上部
406…個別画像データ切り出し部

【特許請求の範囲】
【請求項1】
画像データを保持する画像メモリーと、
前記複数のディスプレイの現実の位置情報を管理する位置情報管理部と、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定部と、
画像に含まれる注目被写体検出部と、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上部と、
前記重合度が向上した前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する個別画像データ生成部と、
を具備する画像表示制御装置。
【請求項2】
前記重合度向上部は、前記画像データに対して前記複数のディスプレイの各表示領域を上下左右に移動させながら、前記画像データ全体に含まれる注目被写体の数と前記複数のディスプレイの各表示領域に含まれる注目被写体の数が一致する移動量、又は、前記複数のディスプレイの各表示領域に含まれる注目被写体の数が最大で且つ最小となる移動量を探索し、
前記個別画像データ生成部は、前記重合度向上部が見つけ出した移動量のときの前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する、
請求項1に記載の画像表示制御装置。
【請求項3】
前記重合度向上部は、前記画像データを拡大又は縮小するとともに、拡大又は縮小した後の前記画像データに対して前記複数のディスプレイの各表示領域を上下左右に移動させながら、前記画像データ全体に含まれる注目被写体の数と前記複数のディスプレイの各表示領域に含まれる注目被写体の数が一致する移動量、又は、前記複数のディスプレイの各表示領域に含まれる注目被写体の数が最大で、且つ、拡大率又は縮小率と移動量が最小となる組を探索し、
前記個別画像データ生成部は、前記重合度向上部が見つけ出した移動量のときの前記複数のディスプレイの各表示領域で、前記重合度向上部が見つけ出した拡大率又は縮小率で拡大又は縮小した後の前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する、
請求項1に記載の画像表示制御装置。
【請求項4】
画像データを保持する画像メモリーと、
複数のディスプレイと、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定部と、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上部と、
前記重合度が向上した前記複数のディスプレイの各表示領域で前記複数のディスプレイの各々に表示する個別画像データを生成して、前記複数のディスプレイの各々に出力する出力制御部と、
を具備する画像表示システム。
【請求項5】
画像データを入力する画像入力ステップと、
複数のディスプレイの現実の位置情報を管理する位置情報取得ステップと、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定ステップと、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上ステップと、
前記重合度が向上した前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する個別画像データ生成ステップと、
を有する画像表示制御方法。
【請求項6】
画像データを保持する画像メモリー、
前記複数のディスプレイの現実の位置情報を管理する位置情報管理部、
前記複数のディスプレイの現実の位置に基づいて、前記画像データを表示するときの前記相対位置を決定する個別画像領域決定部、
画像に含まれる注目被写体検出部、
前記相対位置を維持したまま、前記画像データ全体に含まれる注目被写体が前記複数のディスプレイの各表示領域に重ねて含まれる注目被写体の重合度を増大させる重合度向上部、
前記重合度が向上した前記複数のディスプレイの各表示領域で、前記画像データから前記複数のディスプレイの各々に表示する個別画像データを生成する個別画像データ生成部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。


【図1A】
image rotate

【図1B】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図10】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−226182(P2012−226182A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−94550(P2011−94550)
【出願日】平成23年4月20日(2011.4.20)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】