画像変換装置、画像変換プログラムおよび画像変換方法
【課題】主要な被写体領域をそれ以外の領域よりも拡大された視認性の優れた画像に変換する画像変換装置を提供する。
【解決手段】画像変換装置1は、入力画像Hから所定種別の映像オブジェクトを検出して種別情報Qと位置情報Pとを出力する映像オブジェクト検出手段20と、種別情報Qと位置情報Pとに基づき、検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトとして選定する誇張対象映像オブジェクト選定手段30と、入力画像Hから特定の映像オブジェクトが含まれる部分画像Tを切り出す映像オブジェクト領域切り出し手段40と、入力画像H(全体画像)に対して部分画像Tが相対的に拡大された関係の画像対を生成する全体画像変倍手段10及び部分画像変倍手段50を含む画像変倍手段100と、画像対をなす全体画像と部分画像とを合成する画像合成手段60とを備える。
【解決手段】画像変換装置1は、入力画像Hから所定種別の映像オブジェクトを検出して種別情報Qと位置情報Pとを出力する映像オブジェクト検出手段20と、種別情報Qと位置情報Pとに基づき、検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトとして選定する誇張対象映像オブジェクト選定手段30と、入力画像Hから特定の映像オブジェクトが含まれる部分画像Tを切り出す映像オブジェクト領域切り出し手段40と、入力画像H(全体画像)に対して部分画像Tが相対的に拡大された関係の画像対を生成する全体画像変倍手段10及び部分画像変倍手段50を含む画像変倍手段100と、画像対をなす全体画像と部分画像とを合成する画像合成手段60とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像中の特定の映像オブジェクトを選択的に誇張するように画像変換する画像変換装置、画像変換プログラムおよび画像変換方法に関する。
【背景技術】
【0002】
従来、高解像度画像を低解像度ディスプレイや小型ディスプレイに表示する場合には、高解像度画像の全体がディスプレイの表示領域内に収まるよう、解像度や表示サイズを一定倍率で変換する方法が主流である。
【0003】
また、例えば特許文献1では、画像の重要な領域を推定して切り出し、切り出された領域がディスプレイの表示領域内に収まるよう変換するトリミング手法も提案されている。
【特許文献1】特開2007−6111号公報(段落0020〜段落0023、図1)
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、高解像度画像の全体をディスプレイの表示領域内に収まるよう変換する手法では、特に主要な被写体が小さく撮影されている場合には、画像の縮小により当該被写体の視認性が劣化するため、視聴者に疲労が生じたり画像内容の理解が困難になるという問題があった。
【0005】
例えば、サッカーの試合を撮影した映像において、ボール近傍の比較的広い領域をハイビジョンカメラで撮影された高解像度画像を視聴する場合について考えると、高解像度ディスプレイであるハイビジョンディスプレイを用いたときには、画像中の選手の顔を容易に識別できても、例えば、1セグ放送用テレビのような低解像度の小型ディスプレイに表示するために画像全体を縮小して表示した場合には、個々の選手の顔が小さく誰がプレーしているのか識別が困難となることがあった。
【0006】
特許文献1の手法は、主要な被写体が画像内の一部に偏在する場合には有効な手法であるが、画像全体に主要な被写体が分散して存在する場合には、有効な切り出し範囲を設定することが難しく、広範囲を縮小して表示するため、画像全体を縮小して表示する場合と同様の問題が生じることとなる。
【0007】
そこで本発明では、このような問題点に鑑みて、主要な被写体領域とそれ以外の領域との変倍率を変えて、当該主要な被写体を相対的に拡大して誇張した合成画像に変換する画像変換装置、画像変換プログラムおよび画像変換方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記した目的を達成するために、請求項1に記載の画像変換装置は、入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換装置であって、映像オブジェクト検出手段と、映像オブジェクト選定手段と、部分画像切り出し手段と、画像変倍手段と、画像合成手段と、を備える構成とした。
【0009】
かかる構成によれば、画像変換装置は、映像オブジェクト検出手段によって、入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する。次に、映像オブジェクト選定手段によって、映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトとして選定する。続いて、部分画像切り出し手段によって、入力画像から、選定された特定の映像オブジェクトが含まれる部分画像を切り出し、画像変倍手段によって、入力画像または当該部分画像の少なくとも一方を変倍して、入力画像の全体領域に対して当該部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する。そして、画像合成手段によって、当該画像対をなす全体画像と部分画像とを合成する。
【0010】
これによって、画像変換装置は、入力画像を、特定の映像オブジェクトの画像が選択的に拡大処理されることによって誇張された画像に変換することができる。
【0011】
また、請求項2に記載の画像変換装置は、請求項1に記載の画像変換装置において、画像変倍手段は全体画像変倍手段を有する構成とした。
【0012】
かかる構成によれば、画像変換装置は、画像変倍手段の全体画像変倍手段によって、入力画像の全体を縮小した変倍全体画像を作成する。そして、画像合成手段によって、画像対をなす、この変倍全体画像と、映像オブジェクト部分画像切り出し手段によって切り出された特定の映像オブジェクトの部分画像とを合成する。
これによって、画像変換装置は、入力画像を、入力画像の解像度よりも低解像度の画像表示装置に表示可能であって、特定の映像オブジェクトが誇張された画像に変換することができる。
【0013】
請求項3に記載の画像変換装置は、請求項1または請求項2に記載の画像変換装置において、画像変倍手段は部分画像変倍手段を有する構成とした。
【0014】
かかる構成によれば、画像変換装置は、画像変倍手段の部分画像変倍手段によって、特定の映像オブジェクトの部分画像を、入力画像に対して、もしくは全体画像変倍手段を有する場合には変倍全体画像に対して、相対的に拡大された画像に変倍して変倍部分画像を作成する。そして、画像合成手段によって、画像対をなす全体画像(入力画像もしくは変倍全体画像)と、この変倍部分画像とを合成する。
これによって、画像変換装置は、入力画像を、特定の映像オブジェクトが誇張された画像に変換することができる。さらに、全体画像変倍手段を有する場合には、入力画像を所望の解像度の画像表示装置に適合し、特定の映像オブジェクトが誇張された画像に変換することができる。
【0015】
請求項4に記載の画像変換装置は、請求項3に記載の画像変換装置であって、部分画像変倍手段は非線形変倍を行うとともに、画像合成手段は映像オブジェクト間の接合部を基準点として合成するように構成した。
【0016】
かかる構成によれば、画像変換装置は、部分画像変倍手段によって、選定された特定の映像オブジェクトの部分画像を、画像合成手段によって合成される入力画像中の当該特定の映像オブジェクトでない他の映像オブジェクトとの接合部において、当該他の映像オブジェクトと同じ変倍率とし、当該接合部から遠ざかるほど変倍率が大きくなるように非線形変倍して変倍部分画像を作成する。そして、画像合成手段によって、この非線形変倍された変倍部分画像と画像対をなす全体画像と当該変倍部分画像とを、接合部を基準点として合成する。
これによって、画像変換装置は、入力画像を、特定の映像オブジェクトが非線形変倍によって誇張された画像に変換することができる。
【0017】
請求項5に記載の画像変換装置は、請求項1ないし請求項4の何れか一項に記載の画像変換装置において、映像オブジェクト選定手段は、複数の決定論理手段と、対象選定手段と、を備える構成とした。
【0018】
かかる構成によれば、画像変換装置は、映像オブジェクト選定手段の複数の決定論理手段によって、映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から、それぞれ予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトの候補として決定する。続いて、映像オブジェクト選定手段の対象選定手段によって、これら特定の映像オブジェクトの候補の中から、特定の映像オブジェクトを選定する。そして、画像変倍手段によって、この選定された特定の映像オブジェクトの部分画像を、入力画像に対して、もしくは全体画像変倍手段を有する場合には変倍全体画像に対して、相対的に拡大された画像となるように変倍して変倍部分画像を作成する。そして、画像合成手段によって、画像対をなす全体画像(入力画像もしくは変倍全体画像)と、この変倍部分画像とを合成する。
これによって、画像変換装置は、入力画像を、複数の条件に適合する映像オブジェクトの中から選定した特定の映像オブジェクトが誇張された画像に変換することができる。
【0019】
請求項6に記載の画像変換プログラムは、入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換するために、コンピュータを、映像オブジェクト検出手段、映像オブジェクト選定手段、映像オブジェクト部分画像切り出し手段、画像変倍手段、画像合成手段として機能させることとした。
【0020】
かかる構成によれば、画像変換プログラムは、映像オブジェクト検出手段によって、入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力し、映像オブジェクト選定手段によって、映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトとして選定する。続いて、部分画像切り出し手段によって、入力画像から、選定された特定の映像オブジェクトが含まれる部分画像を切り出し、画像変倍手段によって、入力画像または当該部分画像の少なくとも一方を変倍して、入力画像の全体領域に対して当該部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する。そして、画像合成手段によって、当該画像対をなす全体画像と部分画像とを合成する。
これによって、画像変換プログラムは、入力画像を、特定の映像オブジェクトの画像が選択的に拡大処理されることによって誇張された画像に変換することができる。
【0021】
請求項7に記載の画像変換方法は、入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換方法であって、映像オブジェクト検出ステップと、映像オブジェクト選定ステップと、映像オブジェクト部分画像切り出しステップと、画像変倍ステップと、画像合成ステップと、を含むことを特徴とする。
【0022】
この方法によれば、映像オブジェクト検出ステップにおいて、入力画像から1種類以上の所定種別の映像オブジェクトを映像オブジェクト検出手段により検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力し、映像オブジェクト選定ステップにおいて、映像オブジェクト検出ステップで検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを映像オブジェクト選定手段により特定の映像オブジェクトとして選定する。続いて、部分画像切り出しステップにおいて、入力画像から、選定された特定の映像オブジェクトが含まれる部分画像を部分画像切り出し手段により切り出し、画像変倍ステップにおいて、入力画像または当該部分画像の少なくとも一方を画像変倍手段により変倍して、入力画像の全体領域に対して当該部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する。そして、画像合成ステップにおいて、当該画像対をなす全体画像と部分画像とを画像合成手段により合成する。
これによって、入力画像を、特定の映像オブジェクトの画像が選択的に拡大処理されることによって誇張された画像に変換することができる。
【発明の効果】
【0023】
請求項1、請求項6または請求項7に記載の発明によれば、注目すべき特定の箇所が選択的に誇張されるため、入力画像を視認性の優れた画像に変換することができる。
請求項2に記載の発明によれば、注目すべき特定の箇所が選択的に誇張されるため、入力画像を、視認性の低下が抑制された低解像度の画像に変換することができる。
請求項3に記載の発明によれば、注目すべき特定の箇所を直接に誇張できるため、誇張の度合いを設定して、所望の視認性の画像に変換することができる。
【0024】
請求項4に記載の発明によれば、注目すべき特定の箇所が、その他の領域との連続性を保持したまま誇張されるため、入力画像を、より自然な印象の視認性の優れた画像に変換することができる
請求項5に記載の発明によれば、複数の条件に適合する特定が選択的に誇張されるため、特に注目すべき箇所が複数ある場合に、当該箇所が漏れなく誇張された視認性の優れた画像に変換することができる。
なお、特許請求の範囲の記載において、映像オブジェクトとは、人物やボールなどの被写体(オブジェクト)を撮影した入力画像中の被写体像のことである。
【発明を実施するための最良の形態】
【0025】
以下、本発明の実施形態について適宜図面を参照して詳細に説明する。なお、ここでは、サッカーの試合の様子を撮影した映像に本発明を適用した場合を例として説明する。
【0026】
<第1実施形態>
[画像変換装置の構成]
まず、図1を参照して、本発明の第1実施形態における画像変換装置1の構成について説明する。図1は、本発明の第1実施形態における画像変換装置の構成を示すブロック図である。
【0027】
図1に示した画像変換装置1は、全体画像変倍手段10と部分画像変倍手段50とを含む画像変倍手段100と、映像オブジェクト検出手段20と、誇張対象映像オブジェクト選定手段30と、映像オブジェクト領域切り出し手段40と、画像合成手段60とを含んで構成されている。
画像変換装置1は、画像入力装置2から供給される入力画像Hを入力し、合成画像Gを作成して画像表示装置3に出力する。
【0028】
次に、画像変換装置1の各部の構成について説明する。
画像変倍手段100は、全体画像変倍手段10と部分画像変倍手段50とを含んで構成されており、全体画像変倍手段10と部分画像変倍手段50とが協働して、全体画像である入力画像Hと特定の映像オブジェクトの部分画像Tとを、部分画像Tが相対的に拡大された全体画像(変倍全体画像L)と部分画像(変倍部分画像U)とからなる画像対を生成するものである。
【0029】
画像変倍手段100の全体画像変倍手段10は、画像入力装置2から供給される全体画像である入力画像Hを入力し、この入力画像Hを変倍して画像表示装置3に適合する解像度の変倍全体画像Lを作成し、作成した変倍全体画像Lを画像合成手段60に出力する。
【0030】
入力画像Hを供給する画像入力装置2としては、ハイビジョンカメラなどの撮影装置や、ハードディスクや光ディスクなどの画像記憶装置を利用することができる。全体画像変倍手段10は、このような撮影装置によって撮影された画像や、画像記憶装置から読み出された画像などを、直接にまたは通信回線や放送受信装置などを介して入力画像Hとして入力する。
【0031】
ここで、図2を参照して、入力画像Hについて説明する。図2は、入力画像の例を表す図である。
入力画像Hにおいて、画像座標は左上を原点(0,0)とし、2次元座標の最初の要素を水平座標X(右方向を正とする)、2番目の要素を垂直座標Y(下方向を正とする)とし、それぞれ画素(ピクセル)数単位で計数するものとする。後記する変倍全体画像Lにおける画像座標も同様とする。
【0032】
図2に示した入力画像Hは、サッカーの試合の一場面を示しており、画面右側にボールの映像オブジェクトO3を手にした人物の映像オブジェクトM1と、画面左側に人物の映像オブジェクトM2とが映し出されている。後記するように、本実施形態において、映像オブジェクトの種別として「人物の顔(頭部)」と「ボール」とを検出する場合には、人物の顔の映像オブジェクトO1、人物の顔の映像オブジェクトO2およびボールの映像オブジェクトO3が検出される。そして、それぞれの映像オブジェクトの代表点として重心位置を用いると、それらの画像座標はそれぞれ(f1,g1)、(f2,g2)および(f3,g3)のように表すことができる。
【0033】
図1に戻って説明を続ける。
全体画像変倍手段10は、入力画像Hの全体領域を画像表示装置3の解像度に適合する変倍率で変倍処理(縮小処理または拡大処理)を行い、変倍全体画像Lを作成する。好ましくは、画像表示装置3の解像度に一致する変倍率で変倍処理を行う。作成された変倍全体画像Lは、画像合成手段60に出力される。
【0034】
画像の変倍処理は、入力画像Hの画素値を用いて補間演算し、再標本化することで所望の解像度の変倍全体画像Lを構成する各画素値を得るものである。補間の手法は任意であるが、例えば、最近傍補間法(ニアレストネイバー補間法)、双一次補間法(バイリニア補間法)または三次補間法(キュービックコンボリューション補間法もしくはバイキュービック補間法)を用いることができる。
【0035】
例えば、入力画像Hのサイズが横1920画素、縦1080画素の高精細画像(ハイビジョン画像)であるものを、横320画素、縦180画素の低解像度画像に変換する場合、縦横それぞれ6分の1の画素数に縮小すればよい。入力画像HをH(X,Y)、変倍全体画像LをL(x,y)とおく。ここで、Xは入力画像Hにおける水平方向の画像座標、Yは入力画像Hにおける垂直方向の画像座標、xは変倍全体画像Lにおける水平方向の画像座標、yは変倍全体画像Lにおける垂直方向の画像座標である。H(X,Y)、L(x,y)は、それぞれ画像座標(X,Y)における入力画像Hの輝度値、色度値などの画素値、画像座標(x,y)における変倍全体画像Lの輝度値、色度値などの画素値を示す。
【0036】
入力画像Hの画像サイズが横1920画素、縦1080画素の高精細画像の場合には、X∈{0,1,…,1919}、Y∈{0,1,…,1079}である。また変倍全体画像Lの画像サイズが、横320画素、縦180画素の低解像度画像の場合には、x∈{0,1,…,319}、y∈{0,1,…,179}である。
【0037】
ここで全体画像変倍手段10は、入力画像Hを6分の1に変倍した変倍全体画像Lを得るために、例えば、式(1)に示したように、入力画像Hを縦6画素、横6画素の大きさのブロックに分割し、該ブロック内の平均画素値をもって変倍全体画像Lの1画素の画素値とすることで、縦横それぞれ6分の1の変倍処理(縮小処理)とすることができる。
【0038】
【数1】
【0039】
映像オブジェクト検出手段20は、画像入力装置2から供給される全体画像である入力画像Hを入力し、この入力画像Hの中から、予め定められた種類の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qと位置情報Pとを誇張対象映像オブジェクト選定手段30に出力する。
【0040】
ここで種別情報Qとは、映像オブジェクトの種類、個体、個人を特定する識別子である。種別情報Qおよび位置情報Pは、入力画像Hの中から検出された映像オブジェクトの個数分(K個)だけ出力される。
【0041】
また、出力する種別情報Qおよび位置情報Pの個数に上限を設けてもよい。適用する映像オブジェクト検出の手法が、検出した個々の映像オブジェクトに対して、例えば、後記するViola等の手法のように、映像オブジェクトが正しく検出できたかどうかの信頼度が計算可能な場合には、その信頼度が大きいものから優先して、所定の上限数までの映像オブジェクトに関する種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力するようにしてもよい。
【0042】
ここで、映像オブジェクト検出手段20の出力する種別情報Qに含まれるk番目の映像オブジェクトに関する種別情報をQkとおくと、種別情報Qは、式(2)のように表すことができる。
【0043】
【数2】
【0044】
種別情報Qkは、例えば、「人物の顔」、「人物の脚」、「ボール」などといった種類や、人物の氏名や背番号といった個体や個人を識別する識別子で、文字列で表現してもよいし、数値で表現してもよい。
また、映像オブジェクト検出手段20の出力する位置情報Pに含まれるk番目のオブジェクトに関する位置情報をPkとおくと、位置情報Pは式(3)のように表すことができる。
【0045】
【数3】
【0046】
位置情報Pは、映像オブジェクトの存在範囲に対応する代表点の画像座標(fk,gk)であってもよいし、位置と面的な広がりを表現する数値であってもよい。例えば、代表点として映像オブジェクト領域の重心点を用いることができる。
【0047】
例えば、k番目の映像オブジェクトの存在領域が、入力画像Hの中の領域Dkに対応する場合に、重心点は式(4)によって計算することができる。すなわち、領域Dkに属する全画素の画像座標値の水平方向の平均値と垂直方法の平均値とを算出し、それぞれ位置情報Pkの要素fkおよび要素gkとする。
【0048】
【数4】
【0049】
また、前記した領域Dkのバウンディングボックス(領域Dkを内接する矩形領域)を位置情報Pkとして用いることができる。バウンディングボックスの左上点を(pk,qk)、右下点を(rk,sk)とすると、位置情報Pkは、式(5)のようにして求めることができる。すなわち、領域Dkに属する全画素中の画像座標の水平方向および垂直方向の最小値と、水平方向および垂直方向の最大値とを求め、それぞれ位置情報Pkの要素pk、要素qk、要素rkおよび要素skとする。
【0050】
【数5】
【0051】
なお、バウンディングボックスの表現法としては、式(5)のように左上点と右下点とによる表現のほか、左上点と幅と高さとによる表現、中心点と幅と高さとによる表現など任意の表現法を用いることができる。
さらに、例えば、前記した領域Dkそのもののビットマップ情報を式(6)のように位置情報Pkとして用いてもよい。
【0052】
【数6】
【0053】
映像オブジェクト検出手段20による映像オブジェクト検出を実現する手法としては、例えば、文献「Paul Viola and Michael Jones: “Rapid Object Detection using a Boosted Cascade of Simple Features”, Proceedings of the 2001 IEEE Computer Society Conference on Vision and Pattern Recognition, pp.511-518, (2001).」の手法を用いることができる。
【0054】
本手法は、検出すべき対象物体に現れる特徴に合わせ、統計学習を使って作成した弱識別器と呼ばれる複数の単純な識別器を用い、強識別器と呼ばれる識別器によって、複数の弱識別器による判別結果に重み付けをした和を算出し、その和に基づいて所望の物体かどうかの識別を行う。また、本手法によれば、強識別器によって算出した和の大きさによって、所望の物体を検出したかどうかの信頼度を定義できるため、前記したように、検出した映像オブジェクトに優先順位をつける場合に適している。
【0055】
本手法で用いる識別器を、検出すべき対象物体として人物の顔画像と非顔画像の学習データを用いて予め学習させておくことで、入力画像Hの中からの顔検出を行い、顔の出現位置や大きさを出力することができる。
同様に本手法を、例えば、ボールの画像と非ボール画像の学習データを用いて予め学習させておくことで、入力画像Hの中からのボール検出を行い、ボールの出現位置や大きさを出力することができる。
【0056】
また、映像オブジェクトの検出手法として、クロマキー法を用いることもできる。クロマキー法では、予め指定した色範囲に属する画素を非映像オブジェクト領域、それ以外の領域を映像オブジェクト領域として抽出し、映像オブジェクトのシルエット画像を得ることができる。ここで得られたシルエット画像を連結領域ごとに分割し、各連結領域を前記した領域Dkとし、例えば、前記した式(4)〜式(6)の表現法により位置情報を出力することができる。
【0057】
さらに、例えば、シルエット画像から得た各映像オブジェクト領域に関して平均色を求め、それら平均色が予め設定された、いくつかの代表色のいずれに近いかを判定することで、当該映像オブジェクト領域に属する人物の着衣の色などを色分けすることができ、これを種別情報Qとして用いることができる。
【0058】
誇張対象映像オブジェクト選定手段(映像オブジェクト選定手段)30は、映像オブジェクト検出手段20によって検出されたK個の映像オブジェクトの種別情報Qと位置情報Pとを入力し、この入力されたK個の映像オブジェクトの種別情報Qと位置情報Pとに基づいて、これらの映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを誇張処理すべき映像オブジェクトとして選択し、選択した個数(W個)分の映像オブジェクトの位置情報Πを映像オブジェクト領域切り出し手段40と画像合成手段60とに順次に出力する。
【0059】
例えば、誇張対象映像オブジェクト選定手段30は、ある特定の種別のある映像オブジェクトが、他の映像オブジェクト(群)に対し、予め定められた位置関係を満たしたとき、当該ある特定の種別のある映像オブジェクトに関する位置情報Πを出力する。具体的には、例えば、種別が「人物」のある映像オブジェクトが、種別が「ボール」の映像オブジェクトに所定の距離以内に近接したとき(例えば、重心間の距離が10画素以内のとき)に、当該種別が「人物」の映像オブジェクトの位置情報Πを出力する。
【0060】
次に、図3を参照(適宜図1参照)して映像オブジェクト検出手段20および誇張対象映像オブジェクト選定手段30の詳細な構成について説明する。図3は、本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の構成を示すブロック図である。
【0061】
映像オブジェクト検出手段20は、第1特定映像オブジェクト検出手段211および第2特定映像オブジェクト検出手段212ないし第M特定映像オブジェクト検出手段21Mまで全部でM個(但し、Mは自然数)の特定映像オブジェクト検出手段を含んで構成されている。
【0062】
各第m特定映像オブジェクト検出手段21m(m∈{1,2,…,M})は、画像入力装置2から供給される入力画像Hをそれぞれ入力し、入力した入力画像Hの中から、それぞれ予め定められた特定種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Q(m)と位置情報P(m)を、誇張対象映像オブジェクト選定手段30の第1決定論理311〜第N決定論理31Nに出力する。ここで、Q(m)およびP(m)は、それぞれ第m特定映像オブジェクト検出手段21mが出力した種別情報および位置情報を示す。
【0063】
第m特定映像オブジェクト検出手段21mは、入力画像Hから予め定められた特定の種別Q(m)の映像オブジェクトを順次に検出し、その位置情報P(m)を出力する。ここで、第m特定映像オブジェクト検出手段21mが検出した映像オブジェクトの個数をK(m)とおく。K(m)が1以上のとき、位置情報P(m)に含まれるk番目(k∈{0,1,…,K(m)−1})の映像オブジェクトの位置情報をPk(m)とおき、K(m)=0のときはP(m)=φ(φは空集合)とおくと、位置情報P(m)は式(7)のように表すことができる。
【0064】
【数7】
【0065】
予め定める特定の映像オブジェクトの種別としては、例えば、「人物の顔」や「ボール」、「人物の足」、「ゴール」、「コーナー」、「背番号」、「ユニフォーム」などが挙げられる。具体的には、例えば、第1特定映像オブジェクト検出手段211は、種別が「人物の顔」の映像オブジェクトを検出し、種別「人物の顔」を種別情報Q(1)として出力するとともに、その位置情報P(1)を出力する。また、第2特定映像オブジェクト検出手段212は、種別「ボール」の映像オブジェクトを検出し、種別「ボール」を種別情報Q(2)として出力するとともに、その位置情報P(2)を出力する。なお、一つの種別、例えば「人物の顔」に属する映像オブジェクトが複数検出された場合には、位置情報P(1)は式(7)に示したように、検出されたそれぞれの映像オブジェクトの位置情報に対応する複数の要素から構成される情報となる。
【0066】
誇張対象映像オブジェクト選定手段30は、第1決定論理311および第2決定論理312ないし第N決定論理31Nまでの全部でN個(但し、Nは自然数)の決定論理と、対象選定手段32とを含んで構成されている。
【0067】
各第n決定論理(決定論理手段)31n(n∈{1,2,…,N})は、それぞれ映像オブジェクト検出手段20の第1特定映像オブジェクト211ないし第M特定映像オブジェクト検出手段21Mから出力された種別情報Q(1)ないし種別情報Q(M)および位置情報P(1)ないし位置情報P(M)を入力し、予め定められた、それぞれの決定の論理に従って誇張処理の対象候補となる映像オブジェクトを決定し、決定した映像オブジェクトの位置情報Π(n)を対象選定手段32に出力する。
【0068】
第n決定論理31nは、例えば、特定の一つまたは複数の種別の映像オブジェクトが存在するかどうかや、特定の種別の映像オブジェクトが存在する場合には、当該映像オブジェクトの位置や、映像オブジェクト相互間の位置関係に基づいて、入力された位置情報P(1)〜P(M)に対応する映像オブジェクトの中から、誇張処理の対象候補として出力すべき映像オブジェクトがあるか否かを決定して、誇張処理の対象候補とすべき映像オブジェクトがある場合には、当該映像オブジェクトに対応する位置情報Π(n)を対象選定手段32に出力する。
【0069】
第n決定論理31nが誇張処理の対象候補として決定する映像オブジェクトの個数は0以上の整数個とし、その数をJ(n)とおく。J(n)が1以上のとき、出力する位置情報Π(n)に含まれるj番目(j∈{0,1,…,J(n)−1})の映像オブジェクトの位置情報をΠj(n)とおく。また、J(n)=0のときはΠ(n)=φ(φは空集合)とおくと、位置情報Π(n)は式(8)のように表すことができる。
【0070】
【数8】
【0071】
N個の決定論理である第1決定論理311〜第N決定論理31Nには、入力された映像オブジェクトの種別情報Q(1)〜種別情報Q(M)および位置情報P(1)〜位置情報P(M)に基づいて、それぞれ誇張処理の対象候補とすべき映像オブジェクトを決定する論理が予め定められている。例えば、第1決定論理311は、第1特定映像オブジェクト検出手段211により検出された、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)、および第2特定映像オブジェクト検出手段212により検出された種別情報Q(2)が「ボール」である映像オブジェクトの位置情報P(2)を参照し、「人物の顔」の映像オブジェクトが誇張処理の対象候補とするかどうかを決定し、対象候補と決定した場合には、当該「人物の顔」の映像オブジェクトの位置情報Π(1)を対象選定手段32に出力する。
【0072】
詳細に説明すると、まず、第1決定論理311は、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)に含まれるk番目の位置情報Pk(1)と、種別情報Q(2)が「ボール」である映像オブジェクトの位置情報P(2)に含まれるκ番目の位置情報Pκ(2)との、すべてのkおよびκの組み合わせに関して、人物の顔とボールとの間の距離D(k,κ)を式(9)によって求める。但し、P(1)に含まれる要素数K(1)か、P(2)に含まれる要素数K(2)のいずれか一方もしくはそれらの両方が0である場合には、第1決定論理311は距離D(k,κ)を求めず、また以後の演算および出力を行わないものとする。なお、サッカーのようにボールが1個の球技にあっては、好ましくはボールの要素数K(2)は0または1であるが、誤検出などによりK(2)が1より大きな整数をとる場合を想定しても構わない。
【0073】
【数9】
【0074】
ここで、関数dist(P,P’)は、位置情報Pおよび位置情報P’を有する2つの映像オブジェクト間の距離を表す。例えば、2つの映像オブジェクトそれぞれの重心位置間のユークリッド距離を出力するようにすることができる。
【0075】
続いて、第1決定論理311は、例えば、式(10)に示したように、種別が「ボール」である映像オブジェクトの位置情報P(2)の要素を指す各インデックスκに関して、式(9)に示した距離D(k,κ)を最小化する、種別が「人物の顔」である映像オブジェクトの位置情報P(1)の要素を指すインデックスh(κ)を求める。
このようにして、第1決定論理311は、各ボールと最も近接した人物の顔の映像オブジェクトを誇張処理の対象候補として決定することができる。
【0076】
【数10】
【0077】
最後に、第1決定論理311は、式(10)によって求められた、種別が「人物の顔」の映像オブジェクトの位置情報Ph(κ)(1)を、式(11)に示したように位置情報Π(1)の各要素として対象選定手段32に出力する。
【0078】
【数11】
【0079】
また、例えば、第2決定論理312は、第1特定映像オブジェクト検出手段211により検出された、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)を参照して誇張処理の対象候補として決定し、この決定した「人物の顔」の映像オブジェクトの位置情報Π(2)を対象選定手段32に出力する。
【0080】
詳細に説明すると、まず、第2決定論理312は、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)に含まれるk番目の位置情報Pk(1)を有する映像オブジェクトと、κ番目の位置情報Pκ(1)を有する映像オブジェクトとの間の距離E(k,κ)を式(12)によって求める。ただし、位置情報P(1)に含まれる要素数K(1)が0である場合には、第2決定論理312は距離E(k,κ)を求めず、また以後の演算および出力を行わないものとする。
【0081】
【数12】
【0082】
ここで、関数dist(P,P’)は、式(9)と同様に、位置情報Pおよび位置情報P’を有する2つの映像オブジェクト間の距離であり、例えば、2つの映像オブジェクトそれぞれの重心位置間のユークリッド距離を出力するものとする。
【0083】
続いて、第2決定論理312は、例えば、式(13)に示したように、種別が「人物の顔」である映像オブジェクトの位置情報P(1)の要素を指す各インデックスκに関して、式(12)に示した距離E(k,κ)のkに関する総和を最小化する、種別が「人物の顔」である映像オブジェクトの位置情報P(1)の要素を指すインデックスfを求める。
このようにして、検出された「人物の顔」の映像オブジェクトのうち、最も映像オブジェクトの密集した場所に位置する映像オブジェクトを選択することができる。
【0084】
【数13】
【0085】
最後に、第2決定論理312は、式(13)によって求められた、種別が「人物の顔」の映像オブジェクトの位置情報Pf(1)を、式(14)に示したように位置情報Π(2)の要素として対象選定手段32に出力する。
【0086】
【数14】
【0087】
このように、各第n決定論理31nは、それぞれ「人物の顔」「ボール」などの異種または同種の映像オブジェクト間における位置関係に応じ、検出された特定の種別の映像オブジェクトを誇張処理の対象候補とするかどうかを選択して決定し、決定した映像オブジェクトの位置情報Π(n)を対象選定手段32に出力する。
【0088】
対象選定手段32は、第1決定論理311〜第N決定論理31Nによって出力された位置情報Π(1)〜位置情報Π(N)を入力し、入力された位置情報Π(1)〜位置情報Π(N)に含まれる誇張処理の対象候補として決定された映像オブジェクトの位置情報の要素数を絞り込み、絞り込んだ各要素を位置情報Πとして、映像オブジェクト領域切り出し手段40および画像合成手段60(図1参照)に順次に出力する。
【0089】
対象選定手段32は、例えば、第1決定論理311〜第N決定論理31Nのそれぞれに優先順位を設け、また、出力すべき位置情報Πの個数の上限値Wを定めることにより、優先度の高い第n決定論理31nによって入力された位置情報Π(n)に含まれる要素から順に選定して出力し、出力した要素の総数がWに至るか、入力された位置情報のすべての要素を出力するまで、位置情報Πを順次に出力する。
【0090】
例えば、第1決定論理311よりも第2決定論理312の優先度を高く設定した場合において、第1決定論理311から式(11)に示した位置情報Π(1)が対象選定手段32に入力され、第2決定論理312から式(14)に示した位置情報Π(2)が入力されたときには、以下のように処理をする。
【0091】
出力する位置情報Πの上限値Wが1個のときには、K(2)≧1ならば式(14)に示した位置情報Π(2)の要素Pf(1)のみを出力する。K(2)=0ならば空集合φを出力する。このようにすることで、「人物の顔」の映像オブジェクトが一つでも検出された場合には、最も誇張処理すべき映像オブジェクトとして、検出されたすべての「人物の顔」の映像オブジェクトのうち、最も映像オブジェクトの密集した場所に位置する映像オブジェクトを選定することができる。
【0092】
出力する位置情報Πの上限値Wが、2個以上かつK(1)個以下のときには、式(14)で示した位置情報Π(2)の要素Pf(1)と、式(11)で示した位置情報Π(1)の要素のうちから最大でW−1個とを出力する。W−1個の要素の選び方としては、例えば、式(11)に示した位置情報Π(1)の要素のうちで冒頭のW−1個の要素(K(1)がW−1に満たない場合には、式(11)に示したすべての要素)を、位置情報Πとして順次に出力する。このようにすることで、選択して検出された「人物の顔」のうちの最も映像オブジェクトの密集した場所に位置する映像オブジェクトに加えて、上限値W個を超えない範囲で、各ボールに最近接した人物の顔の映像オブジェクトを選定することができる。例えば、サッカーのようにボールが1個のときはK(2)=1以下であるから、ボールが検出された場合には、最も人物の顔の密集した場所に位置する人物の顔の映像オブジェクトと、ボールに最も近接した人物の顔の映像オブジェクトとが誇張処理の対象として選定され、対応する位置情報がΠとして出力される。
【0093】
図1に戻って画像変換装置1の説明を続ける。
映像オブジェクト領域切り出し手段(部分画像切り出し手段)40は、画像入力装置2から供給される入力画像Hと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πとを入力し、各位置情報Πに対応するW個の部分画像Tを部分画像変倍手段50に順次に出力する。
【0094】
映像オブジェクト領域切り出し手段40は、入力画像Hから、誇張処理の対象として選定された映像オブジェクトの位置情報Πによって特定される映像オブジェクトを含む近傍の局所領域を切り出し、当該映像オブジェクトの部分画像Tとして出力する。
【0095】
部分画像Tの切り出し方としては、例えば、位置情報Πが、代表点(例えば重心点)により映像オブジェクトの位置を表現する場合には、入力画像Hの代表点近傍の領域を切り出し、これを当該映像オブジェクトの部分画像Tとすることがきる。このような近傍の領域としては、例えば、代表点を中心とする半径R(Rは画素数)の円の内部領域とすることができる。
【0096】
ここで、図4を参照(適宜図1参照)して、部分画像の切り出しの例を示す。図4は、本発明の第1実施形態における画像変換装置による画像変換の様子を説明するための図である。
図4に示した例では、入力画像Hにおいて、誇張対象映像オブジェクト選定手段30の出力として、種別情報Qが「人物の顔」である映像オブジェクトO1が誇張処理の対象として選定され、代表点(f1,g1)で示される位置において検出されている。このとき、映像オブジェクト領域切り出し手段40は、入力画像Hにおける点(f1,g1)の付近の画像を切り出し(この例では円形)、それぞれ映像オブジェクトO1の部分画像T1として部分画像変倍手段50に出力する。
【0097】
なお、映像オブジェクトの部分画像Tの形状は、本例のような円形のほか、長方形や多角形、任意形状のいずれによることもできる。例えば、位置情報Pが式(5)に示したバウンディングボックスで表現される場合には、このバウンディングボックスの位置と大きさに合わせて切り出せばよい。また、例えば、位置情報Pが式(6)で示される任意形状の領域で表現される場合には、この領域形状に合わせて切り出すことができる。
【0098】
図1に戻って説明を続ける。
部分画像変倍手段50は、映像オブジェクト領域切り出し手段40によって出力されるW個の部分画像Tを順次に入力し、入力した部分画像Tに変倍処理を行って変倍部分画像Uを作成し、作成した変倍部分画像Uを順次に画像合成手段60に出力する。
【0099】
部分画像変倍手段50は、映像オブジェクト領域切り出し手段40により切り出された映像オブジェクトの部分画像Tを変倍処理して解像度を変換する。この場合、部分画像変倍手段50は、全体画像変倍手段10が入力画像Hを変倍する変倍率よりも大きい変倍率を適用する。すなわち、部分画像変倍手段50によって得られる変倍部分画像Uは、全体画像変倍手段10によって得られる変倍全体画像Lよりも相対的に大きいものとなる。
【0100】
このときの部分画像Tに対する変倍処理は拡大処理に限らず、変倍全体画像Lの縮小率が小さい場合には、等倍か、変倍全体画像Lの縮小率よりも大きな縮小率で縮小処理を行うようにしてもよい。例えば、変倍全体画像Lの縮小率が6分の1の場合に、部分画像Tを2分の1に縮小して変倍部分画像Uを出力するようにすることができる。この場合は、変倍部分画像Uは、変倍全体画像Lに対して相対的に3倍に拡大された画像となる。
【0101】
このように、全体画像変倍手段10と部分画像変倍手段50とからなる画像変倍手段100によって、部分画像が相対的に拡大された全体画像(変倍全体画像L)と部分画像(変倍部分画像U)とからなる画像対を生成することができる。
【0102】
また、入力画像Hは必ずしも変倍処理される必要はなく、入力画像Hをそのままの解像度で変倍全体画像Lとして画像合成手段60に出力するようにしてもよい。全体画像変倍手段10によって入力画像Hを変倍処理しない場合は、部分画像変倍手段50によって部分画像Tを拡大処理して変倍部分画像Uを作成することにより、実質的に入力画像H(全体画像)と変倍部分画像Uからなる画像対を生成することができる。
【0103】
更に、また、全体画像変倍手段10によって入力画像Hを縮小処理して変倍全体画像Lを作成する場合においては、部分画像変倍手段50によって部分画像Tを変倍処理せずに
、部分画像Tをそのままの解像度で変倍部分画像Uとして画像合成手段60に出力するようにしてもよい。この場合は、変倍全体画像Lと、実質的に部分画像Tとからなる画像対を生成することができる。
【0104】
このように、全体画像変倍手段10の変倍率と、部分画像変倍手段50の変倍率とは、入力画像Hの解像度と、画像表示したい画像表示装置3の解像度との関係に応じて任意に設定できるように構成してもよい。
【0105】
なお、部分画像変倍手段50は、映像オブジェクトの部分画像Tを補間し、再標本化することで変倍部分画像Uを得ることができる。映像オブジェクトの部分画像Tが複数存在する場合には、その各々について変倍部分画像Uを作成する。映像オブジェクトの部分画像Tが複数存在する場合の変倍率は、すべての映像オブジェクトにわたって同一の変倍率としてもよいし、複数の異なる変倍率を混在させてもよい。変倍率を混在させる場合には、例えば、部分画像Tを変倍した結果得られる変倍部分画像Uの大きさ(例えば、幅、高さ、または面積)がすべて同一となるよう、部分画像Tごとに変倍率を変化させるようにすることもできる。
【0106】
補間の手法は任意であるが、例えば、最近傍補間法(ニアレストネイバー補間法)、双一次補間法(バイリニア補間法)または、三次補間法(キュービックコンボリューション補間法もしくはバイキュービック補間法)を用いることができる。
【0107】
画像合成手段60は、全体画像変倍手段10から出力される変倍全体画像Lと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πと、部分画像変倍手段50から順次に出力されるW個の変倍部分画像Uとを入力し、合成画像Gを作成して、画像表示装置3に出力する。
【0108】
画像合成手段60は、全体画像変倍手段10から出力された変倍全体画像Lに対して、部分画像変倍手段50から出力される変倍部分画像Uを、変倍部分画像Uに対応して誇張対象映像オブジェクト選定手段30から出力される位置情報Πによって定まる変倍全体画像L上の対応する位置に上書きすることにより、合成画像Gを作成する。変倍部分画像Uが複数入力される場合には、それぞれの変倍部分画像Uに対応する位置情報Πに基づいて、変倍全体画像Lに順次に上書き合成を行う。
【0109】
次に、変倍全体画像Lに変倍部分画像Uを上書き合成する手法について説明する。
まず誇張対象映像オブジェクト選定手段30から出力されるk番目の映像オブジェクトの位置情報をΠk、位置情報Πkに対応する部分画像をTk、部分画像Tkを変倍して得られる変倍部分画像をUkとおく。k番目の変倍部分画像Ukを、入力画像H上の位置情報Πkで示される場所に対応する変倍全体画像L上の位置に合成する場合、例えば、位置情報Πkを代表する点として重心を求め、その画像座標を全体画像変倍手段10による画像変倍処理の変倍率に基づいてスケール変換し、このスケール変換された画像座標に変倍部分画像Ukの重心が一致するように変倍部分画像Ukを配置する。
【0110】
ここで、図4を参照(適宜図1参照)して、変倍全体画像Lに変倍部分画像Uを上書き合成する様子について説明する。図4に示した例では、誇張対象映像オブジェクト選定手段30によって、「人物の顔」の映像オブジェクトO1が誇張対象として選定されているものとする。選定された映像オブジェクトO1の位置情報Π1から求めた部分画像T1の重心の入力画像H上の画像座標を(f1,g1)とする。
【0111】
次に、画像座標(f1,g1)を全体画像変倍手段10の変倍率に基づいてスケール変換する。例えば、水平方向の変倍率がMx、垂直方向の変倍率がMyである場合には、画像座標(f1,g1)のスケール変換後の画像座標、すなわち変倍全体画像L上の画像座標は(Mxf1,Myg1)となる。
そして、変倍全体画像L上の画像座標(Mxf1,Myg1)に、変倍部分画像U1を、その重心が一致するように配置することで、合成画像Gを作成することができる。
【0112】
なお、本例では、誇張対象となる映像オブジェクトが1つの場合について説明したが、誇張処理の対象となる映像オブジェクトは複数であってもよい。誇張対象映像オブジェクト選定手段30から誇張処理の対象となる映像オブジェクトの位置情報Πが複数出力された場合には、そのそれぞれについて位置情報Πをスケール変換し、それぞれの位置に応じて変倍全体画像L上に、対応する変倍部分画像Uを上書き合成する。一方、誇張対象映像オブジェクト選定手段30から位置情報Πが出力されなかった場合、すなわち誇張処理の対象となる映像オブジェクトの個数が0個の場合には、上書き合成動作は行わない。但し、上書き合成動作を行わない場合でも、画像合成手段60から出力する変倍全体画像Lを形成的に合成画像Gと呼称する。
【0113】
また、図4に示した例では、部分画像Tの変倍処理は、一つの部分画像Tの全領域に対して一定の倍率として変倍部分画像Uを作成し、対応する変倍全体画像L上の部分画像の重心が一致するように配置して合成画像Gを作成したが、重心を一致するように変倍部分画像Uを配置することに限らない。
【0114】
例えば、変倍部分画像Uと接合する変倍全体画像L中の他の映像オブジェクトの画像との境界を基準点として変倍部分画像Uを配置し、かつ基準点における変倍全体画像Lと変倍部分画像Uとが滑らかに接合するように、部分画像Tに非線形な変倍処理を行って変倍部分画像Uを作成するようにしてもよい。
【0115】
図5および図6を参照(適宜図4参照)して、部分画像Tを非線形変倍して変倍全体画像Lと合成する例について説明する。図5は、部分画像の非線形変倍の例を説明するための図であり、(a)は部分画像T、(b)は非線形変倍した変倍部分画像Uの様子を示す図である。また、図6は、合成画像の例を示す図であり、(a)は変倍全体画像と線形変倍した変倍部分画像とを合成した合成画像を示し、(b)は変倍全体画像と非線形変倍した変倍部分画像とを合成した合成画像を示す図である。
【0116】
まず、図5(a)に入力画像Hから切り出した部分画像Tの様子を示す。ここで、変倍全体画像Lは縮小処理されるものとする。また、画像合成する際の部分画像Tの基準点は底辺部分中央の○印で示した点とする。
【0117】
このとき変倍部分画像Uは、図5(b)に示したように、○印で示した基準点を含む底辺における水平方向の変倍率を、入力画像Hに対する変倍全体画像Lの変倍率と一致させる。そして、基準点から垂直方向に離れるほど水平方向の変倍率を高める非線形変倍処理を行うことで、台形状の変倍部分画像Uを作成することができる。このような変倍部分画像Uを他の映像オブジェクトとの接合部を基準点として変倍全体画像L上に配置することによって、合成画像G上では変倍部分画像Uの底辺部分における見かけの連続性を保ちつつ、映像オブジェクトの部分画像Tを拡大して誇張提示を行うことができる。
【0118】
図6は、図4に示した入力画像Hの、人物の映像オブジェクトM2について、その頭部の映像オブジェクトO2を誇張処理して変倍全体画像Lと合成して作成した合成画像Gの例である。
【0119】
図6(a)に示した合成画像Gでは、図4に示した例と同様の手法で、頭部の映像オブジェクトO2の部分画像を線形変倍して作成した変倍部分画像U2を、その重心が、変倍全体画像の対応する重心位置(Mxf2,Myg2)に一致するように合成した画像である。
【0120】
それに対して、図6(b)に示した合成画像Gは、本手法を適用し、頭部の映像オブジェクトO2の部分画像を非線形変倍して作成した変倍部分画像U2’を、この頭部の映像オブジェクトO2と人物の映像オブジェクトM2との本来の接合部、すなわち頭部と、頭部以外の他の映像オブジェクトとの境界である頸部位置(画像座標(Mxf2’,Myg2’))を基準点として合成した画像である。なお、f2’およびg2’は、それぞれ入力画像Hにおける人物の映像オブジェクトM2の頸部の水平座標および垂直座標である。
【0121】
図6(b)に示したように、頭部の映像オブジェクトO2の誇張処理において、図5(b)に示した台形状の変倍部分画像Uの底辺部分に相当する人物の頸部を基準点とし、基準点における変倍部分画像Uの水平方向の変倍率を変倍全体画像Lの変倍率に合わせることで、合成画像G上における頸部の連続性を確保し、より自然な印象の合成画像Gを作成することができる。
【0122】
なお、第1実施形態では、誇張処理する映像オブジェクトとして「人物の顔(頭部)」を例にして説明したが、ユニフォームに描かれた「背番号」や「氏名」を誇張処理するようにしてもよく、また入力画像もサッカーの試合に限らず、他のスポーツや監視カメラの映像などに適用することもできる。
【0123】
以上、第1実施形態における画像変換装置1の構成について説明したが、画像変換装置1は、一部またはすべてを専用のハードウェアを作成して実行することができるが、コンピュータプログラムを実行させ、コンピュータ内の演算装置、記憶装置、入力装置、画像表示装置などを動作させることにより実現することもできる。このプログラム(画像変換プログラム)は、通信回線を介して提供することも可能であるし、CD−ROMなどの記録媒体に書き込んで配布することも可能である。可及的速やかに
【0124】
[画像変換装置の動作]
次に、図7を参照(適宜図1参照)して、本発明の第1実施形態における画像変換装置1の動作について説明する。図7は、図1に示した本発明の第1実施形態における画像変換装置の処理の流れを示すフロー図である。
【0125】
画像変換装置1は、まず、映像オブジェクト検出手段20によって、画像入力装置2から供給される入力画像Hから、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力する(ステップS11)。
【0126】
次に、画像変換装置1は、誇張対象映像オブジェクト選定手段30によって、ステップS11で映像オブジェクト検出手段20によって検出された映像オブジェクトの中から誇張処理の対象となる映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを映像オブジェクト領域切り出し手段40と画像合成手段60とに出力する(ステップS12)。
【0127】
次に、画像変換装置1は、映像オブジェクト領域切り出し手段40によって、ステップS12で誇張対象映像オブジェクト選定手段30によって選定された映像オブジェクトの位置情報Πを参照して、画像入力装置2から供給された入力画像Hから、当該映像オブジェクトを含む領域を部分画像Tとして切り出し、画像変倍手段100の部分画像変倍手段50に出力する(ステップS13)。
【0128】
次に、画像変換装置1は、画像変倍手段100の部分画像変倍手段50によって、ステップS13で映像オブジェクト領域切り出し手段40によって切り出された部分画像Tを変倍処理して、後記する変倍全体画像Lよりも相対的に拡大した変倍部分画像Uを作成し、画像合成手段60に出力する(ステップS14)。
【0129】
画像変換装置1は、前記したステップS11からステップS14までの処理をする一方で、画像変倍手段100の全体画像変倍手段10によって、画像入力装置2から供給される入力画像Hの全体を変倍処理し、画像表示装置3の解像度に適合する変倍率で変倍全体画像Lを作成し、画像合成手段60に出力する(ステップS15)。
【0130】
ステップS14の部分画像変倍処理およびステップS15の全体画像変倍処理の両方の処理が完了すると、画像変換装置1は、画像合成手段60によって、ステップS12で誇張対象映像オブジェクト選定手段30によって選定された位置情報Πを参照して、ステップS15で全体画像変倍手段10によって作成された変倍全体画像Lに、ステップS14で部分画像変倍手段50によって作成された変倍部分画像Uを上書き合成して合成画像Gを作成し、画像表示装置3に出力する(ステップS16)。
【0131】
なお、ここでは、ステップS11からステップS14までの処理とステップS15の処理とを並列処理するようにしたが、ステップS16の画像合成処理は、ステップS14の部分画像変倍処理とステップS15の全体画像変倍処理とがともに完了した後に開始される。そのため、ステップS11からステップS14の処理とステップS15の処理とをシーケンシャルに実行するようにしてもよい。このときステップS11からステップS14までの処理とステップS15の処理とは、どちらを先に実行してもよく、ステップS15の処理をステップS11からステップS14までの処理の途中に挿入して実行してもよい。
【0132】
また、誇張処理すべき映像オブジェクトが複数ある場合には、ステップS12で誇張対象映像オブジェクト選定手段30によって誇張処理の対象となる映像オブジェクトに対応する位置情報Πが出力される毎に、ステップS13とステップS14とステップS16とを繰り返し実行する。ここで、変倍全体画像Lは2度作成する必要はないため、ステップS15の実行は1回限りである。ステップS16において、画像合成手段60に2番目以降の誇張対象の映像オブジェクトの変倍部分画像Uが入力されると、画像変換装置1は、画像合成手段60によって、合成画像Gに対して順次に繰り返し変倍部分画像Uを上書き合成する。
【0133】
このようにして、画像変換装置1は、画像入力装置2から供給された入力画像Hを、画像表示装置3に適合する解像度の合成画像Gに変換して出力するため、特定の映像オブジェクトの視認性を損なわないように誇張提示した画像に変換して画像表示装置3に表示することができる。
【0134】
次に、図8を参照(適宜図3、図1および図7参照)して、本発明の第1実施形態における画像変換装置1の映像オブジェクト検出手段20および誇張対象映像オブジェクト選定手段30の詳細な動作について説明する。図8は、図3に示した本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の処理の流れを示すフロー図である。
なお、図8に示しフロー図は、図7に示したフロー図のステップS11およびステップS12に対応する。
【0135】
映像オブジェクト検出手段20は、第1特定映像オブジェクト検出手段211によって、画像入力装置2から供給される入力画像Hの中から、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Q(1)と位置情報P(1)とを誇張対象映像オブジェクト選定手段30の第1決定論理311ないし第N決定論理31Nに出力する(ステップS211)。
【0136】
同様に、映像オブジェクト検出手段20は、ステップS211と並行して、他の第m特定映像オブジェクト検出手段21m(m∈{1,2,…,M})によって、画像入力装置2から供給される入力画像Hの中から、それぞれ予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Q(m)と位置情報P(m)とを誇張対象映像オブジェクト選定手段30の第1決定論理311ないし第N決定論理31Nに出力する(ステップS21m(ステップS212〜ステップS21M))。
【0137】
ここで、ステップS211〜ステップS21Mは、並行して処理を行うようにしたが、それぞれのステップを任意の順番でシーケンシャルに実行するようにしてもよい。
【0138】
ステップS211〜ステップS21Mのすべての処理が完了すると、誇張対象映像オブジェクト選定手段30は、第1決定論理311によって、ステップS211〜ステップS21Mで第1特定映像オブジェクト検出手段211〜第1特定映像オブジェクト検出手段21Mによって出力された映像オブジェクトの種別情報Q(1)〜種別情報Q(M)および位置情報P(1)〜位置情報P(M)を参照して、検出された映像オブジェクトの中から誇張処理の対象候補とすべき映像オブジェクトを決定し、決定した映像オブジェクトの位置情報Π(1)を対象選定手段32に出力する(ステップS221)。
【0139】
同様に、誇張対象映像オブジェクト選定手段30は、ステップS221と並行して、他の第n決定論理31n(n∈{1,2,…,N})によって、ステップS211〜ステップS21Mで第1特定映像オブジェクト検出手段211〜第M特定映像オブジェクト検出手段21Mによって出力された映像オブジェクトの種別情報Q(1)〜種別情報Q(M)および位置情報P(1)〜位置情報P(M)を参照して、検出された映像オブジェクトの中から誇張処理の対象候補とすべき映像オブジェクトを決定し、決定した映像オブジェクトの位置情報Π(n)を対象選定手段32に出力する(ステップS222〜ステップS22N)。
【0140】
ここで、ステップS221〜ステップS22Nは、並行して処理を行うようにしたが、それぞれのステップを任意の順番でシーケンシャルに実行するようにしてもよい。
【0141】
ステップS221〜ステップS22Nのすべての処理が完了すると誇張対象映像オブジェクト選定手段30は、対象選定手段32によって、第1特定映像オブジェクト検出手段211〜第M特定映像オブジェクト検出手段21Mによって誇張処理の対象候補と決定された映像オブジェクトの中から、上限値W個以下の範囲で誇張処理の対象とする映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを順次に映像オブジェクト領域切り出し手段40および画像合成手段60に出力する。
【0142】
このようにして、映像オブジェクト検出手段20と誇張対象映像オブジェクト選定手段30とは連係して、多くの種別の映像オブジェクトの中から誇張処理の対象とすべき特定の条件に適合する映像オブジェクトを選定することができる。
【0143】
以上、説明したように、本発明の第1実施形態における画像変換装置1によれば、多くの種別の、または同一種別であっても多くの特定の映像オブジェクトを入力画像Hから検出し、検出した映像オブジェクト間の位置関係に基づいて誇張処理の対象とすべき映像オブジェクトを選定し、選定した映像オブジェクトに画像拡大などの誇張処理を施すため、入力画像Hを、注目すべき映像オブジェクトが選択的に誇張提示された合成画像Gに、自動的に変換することができる。
【0144】
特に、高解像度の全体画像である入力画像Hを、縮小処理をして低解像度の画像表示装置3に適合した低解像度の変倍全体画像Lに変換する場合において、低解像度の画像表示装置3で高解像度の原画像と同様に画像の全体を表示しながら、注目すべき特定の映像オブジェクトが選択的に誇張提示される視認性に優れた合成画像Gに変換することができる。
【0145】
また、映像オブジェクトの誇張処理の手法として、誇張処理の対象となる映像オブジェクトの部分画像Tを、他の映像オブジェクトとの接合部を基準点として、基準点から離れるほど変倍率を大きくする非線形変倍をすることにより、当該映像オブジェクトを、より自然な印象で誇張提示できる画像に変換することができる。
【0146】
<第2実施形態>
[画像変換装置の構成]
次に、図9を参照して、本発明の第2実施形態における画像変換装置1aの構成について説明する。図9は、本発明の第2実施形態における画像変換装置の構成を示すブロック図である。
【0147】
図9に示した画像変換装置1aは、映像オブジェクト検出手段20と、誇張対象映像オブジェクト選定手段30と、映像オブジェクト領域切り出し手段40と、部分画像変倍手段50を含む画像変倍手段100aと、画像合成手段60とを含んで構成されている。
【0148】
画像変換装置1aは、画像入力装置2から供給される入力画像Hを入力し、合成画像Gを作成して画像表示装置3に出力する。
【0149】
次に、画像変換装置1aの各部の構成について説明する。
図9に示した画像変換装置1aにおいて、図1に示した画像変換装置1と同じ符号を付した構成要素は同様の機能を果たすので、詳細な説明は適宜省略する。
なお、画像変換装置1aは、図1に示した第1実施形態における画像変換装置1の画像変倍手段100から全体画像変倍手段10を除いた構成である。
【0150】
第2実施形態における画像変換装置1aでは、入力画像Hの全体の画像は変倍処理せずに、入力画像Hのまま合成処理するため、画像変倍手段100aの部分画像変倍手段50は、部分画像Tに対する誇張処理として専ら拡大処理を行う。
【0151】
これによって、変倍部分画像Uは、入力画像Hに対して相対的に拡大された画像となり、画像変倍手段100aは部分画像変倍手段50によって、部分画像が相対的に拡大された全体画像(入力画像H)と部分画像(変倍部分画像U)とからなる画像対を生成することができる。
【0152】
画像合成手段60は、画像入力装置2から供給される入力画像Hと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πと、部分画像変倍手段50から順次に出力されるW個の変倍部分画像Uとを入力し、合成画像Gを作成して、画像表示装置3に出力する。
【0153】
画像合成手段60は、画像入力装置2から供給された入力画像Hに対して、画像変倍手段100aの部分画像変倍手段50から出力される変倍部分画像Uを、誇張対象映像オブジェクト選定手段30から出力される位置情報Πに対応する入力画像Hの位置に上書きすることにより、合成画像Gを得る。変倍部分画像Uが複数入力される場合には、それぞれの変倍部分画像Uに対応する位置情報Πに基づいて、入力画像Hに順次に上書き合成を行う。
【0154】
[画像変換装置の動作]
次に、図10を参照(適宜図9参照)して、本発明の第2実施形態における画像変換装置1aの動作について説明する。図10は、図9に示した本発明の第2実施形態における画像変換装置の処理の流れを示すフロー図である。
【0155】
画像変換装置1aは、まず、映像オブジェクト検出手段20によって、画像入力装置2から供給される入力画像Hから、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力する(ステップS31)。
【0156】
次に、画像変換装置1aは、誇張対象映像オブジェクト選定手段30によって、ステップS31で映像オブジェクト検出手段20によって検出された映像オブジェクトの中から誇張処理の対象となる映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを映像オブジェクト領域切り出し手段40と画像合成手段60とに出力する(ステップS32)。
【0157】
次に、画像変換装置1aは、映像オブジェクト領域切り出し手段40によって、ステップS32で誇張対象映像オブジェクト選定手段30によって選定された映像オブジェクトの位置情報Πを参照して、画像入力装置2から供給された入力画像Hから、当該映像オブジェクトを含む領域を部分画像Tとして切り出し、画像変倍手段100aの部分画像変倍手段50に出力する(ステップS33)。
【0158】
次に、画像変換装置1aは、画像変倍手段100aの部分画像変倍手段50によって、ステップS33で映像オブジェクト領域切り出し手段40によって切り出された部分画像Tを変倍処理(拡大処理)して、変倍部分画像Uを作成し、画像合成手段60に出力する(ステップS34)。
【0159】
最後に、画像変換装置1aは、画像合成手段60によって、ステップS32で誇張対象映像オブジェクト選定手段30によって選定された位置情報Πを参照して、画像入力装置2から供給された入力画像Hに、ステップS34で部分画像変倍手段50によって作成された変倍部分画像Uを上書き合成して合成画像Gを作成し、画像表示装置3に出力する(ステップS35)。
【0160】
なお、誇張処理すべき映像オブジェクトが複数ある場合には、ステップS32で誇張対象映像オブジェクト選定手段30によって誇張処理の対象となる映像オブジェクトに対応する位置情報Πが出力される毎に、ステップS33〜ステップS35を繰り返し実行する。ステップS35において、画像合成手段60に2番目以降の誇張対象の映像オブジェクトの変倍部分画像Uが入力されると、画像変換装置1aは、画像合成手段60によって、合成画像Gに対して順次に繰り返し変倍部分画像Uを上書き合成する。
【0161】
以上、説明したように、本発明の第2実施形態における画像変換装置1aによれば、入力画像Hの全体に対しては解像度の変換は行わない場合において、例えば、入力画像Hが広範囲を撮影した映像であるときに、その中に登場する映像オブジェクトが小さくて視認性が悪いときでも、注目すべき特定の映像オブジェクトを選択的に誇張提示する画像に自動的に変換することができる。
【0162】
特に入力画像Hの全体の解像度を変換する必要のない用途に適し、全体画像を変倍する手段を省略できるため経済的に有利であり、コンピュータにプログラムを実行させて実現する場合には、入力画像Hの全体の変倍処理を省略できるため、コンピュータの処理負担を低減することができる。
また、映像オブジェクトの誇張処理の手法として、図5に示した非線形変倍の手法を用いるように構成してもよい。
【0163】
<第3実施形態>
[画像変換装置の構成]
次に、図11を参照して、本発明の第3実施形態における画像変換装置1bの構成について説明する。図11は、本発明の第3実施形態における画像変換装置の構成を示すブロック図である。
【0164】
図11に示した画像変換装置1bは、全体画像変倍手段10を含む画像変倍手段100bと、映像オブジェクト検出手段20と、誇張対象映像オブジェクト選定手段30と、映像オブジェクト領域切り出し手段40と、画像合成手段60とを含んで構成されている。
画像変換装置1bは、画像入力装置2から供給される入力画像Hを入力し、合成画像Gを作成して画像表示装置3に出力する。
【0165】
次に、画像変換装置1bの各部の構成について説明する。
図11に示した画像変換装置1bにおいて、図1に示した画像変換装置1と同じ符号を付した構成要素は同様の機能を果たすので、詳細な説明は適宜省略する。
なお、画像変換装置1bは、図1に示した第1実施形態における画像変換装置1の画像変倍手段100から部分画像変倍手段50を除いた構成である。
【0166】
画像変倍手段100bの全体画像変倍手段10は、画像入力装置2から供給される全体画像を入力画像Hとして入力し、変倍全体画像Lを画像合成手段60に出力する。ここで、全体画像変倍手段10は、入力画像Hを低解像度の画像表示装置3に適合するように、専ら縮小処理を行うものである。
【0167】
第3実施形態における画像変換装置1bでは、前記したように、全体画像変倍手段10は、入力画像Hを専ら縮小処理して、低解像度の画像表示装置3に適合する変倍全体画像Lを作成する。このため、画像変換装置1bは、図1に示した第1実施形態における画像変換装置1のように部分画像変倍手段50によって部分画像Tを変倍処理(拡大処理)を行わずとも、部分画像Tは、変倍全体画像Lに対して相対的に拡大された画像となる。
【0168】
従って、画像変倍手段100bは全体画像変倍手段10によって、部分画像が相対的に拡大された全体画像(変倍全体画像L)と部分画像(部分画像T)とからなる画像対を生成することができる。
【0169】
映像オブジェクト領域切り出し手段(部分画像切り出し手段)40は、画像入力装置2から供給される入力画像Hと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πとを入力し、各位置情報Πに対応するW個の部分画像Tを順次に画像合成手段60に出力する。
【0170】
画像合成手段60は、全体画像変倍手段10から出力される変倍全体画像Lと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πと、映像オブジェクト領域切り出し手段40から順次に出力されるW個の部分画像Tとを入力し、合成画像Gを作成して、画像表示装置3に出力する。
【0171】
画像合成手段60は、全体画像変倍手段10から出力された変倍全体画像Lに対して、映像オブジェクト領域切り出し手段40から出力される部分画像Tを、誇張対象映像オブジェクト選定手段30から出力される位置情報Πに対応する変倍全体画像Lの位置に上書きすることにより、合成画像Gを得る。部分画像Tが複数入力される場合には、それぞれの部分画像Tに対応する位置情報Πに基づいて、変倍全体画像Lに順次に上書き合成を行う。
【0172】
次に、図12を参照(適宜図11参照)して、第3実施形態における画像変換装置1bの動作について説明する。図12は、図11に示した本発明の第3実施形態における画像変換装置の処理の流れを示すフロー図である。
【0173】
[画像変換装置の動作]
画像変換装置1bは、まず、映像オブジェクト検出手段20によって、画像入力装置2から供給される入力画像Hから、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力する(ステップS41)。
【0174】
次に、画像変換装置1bは、誇張対象映像オブジェクト選定手段30によって、ステップS41で映像オブジェクト検出手段20によって検出された映像オブジェクトの中から誇張処理の対象となる映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを順次に映像オブジェクト領域切り出し手段40と画像合成手段60とに出力する(ステップS42)。
【0175】
次に、画像変換装置1bは、映像オブジェクト領域切り出し手段40によって、ステップS42で誇張対象映像オブジェクト選定手段30によって選定された映像オブジェクトの位置情報Πを参照して、画像入力装置2から供給された入力画像Hから、当該映像オブジェクトを含む領域を部分画像Tとして切り出し、画像合成手段60に出力する(ステップS43)。
【0176】
画像変換装置1bは、前記したステップS41からステップS43までの処理をする一方で、画像変倍手段100bの全体画像変倍手段10によって、画像入力装置2から供給される入力画像Hの全体を変倍処理(縮小処理)し、低解像度の画像表示装置3の解像度に適合する変倍率の変倍全体画像Lを作成し、画像合成手段60に出力する(ステップS44)。
【0177】
ステップS43の映像オブジェクト領域切り出し処理およびステップS44の全体画像変倍処理の両方の処理が完了すると、画像変換装置1bは、画像合成手段60によって、ステップS42で誇張対象映像オブジェクト選定手段30によって選定された位置情報Πを参照して、ステップS44で全体画像変倍手段10によって作成された変倍全体画像Lに、ステップS43で映像オブジェクト領域切り出し手段60によって切り出された部分画像Tを上書き合成して合成画像Gを作成し、画像表示装置3に出力する(ステップS45)。
【0178】
なお、ここでは、ステップS41からステップS43までの処理とステップS44の処理とを並列処理するようにしたが、ステップS45の画像合成処理は、ステップS43の映像オブジェクト領域切り出し処理とステップS44の全体画像変倍処理とがともに完了した後に開始される。そのため、ステップS41からステップS43の処理とステップS44の処理とをシーケンシャルに実行するようにしてもよい。このときステップS41からステップS43までの処理とステップS44の処理とは、どちらを先に実行してもよく、ステップS44の処理をステップS41からステップS43までの処理の途中に挿入して実行してもよい。
【0179】
また、誇張処理すべき映像オブジェクトが複数ある場合には、ステップS42で誇張対象映像オブジェクト選定手段30によって誇張処理の対象となる映像オブジェクトに対応する位置情報Πが出力される毎に、ステップS43とステップS45とを繰り返し実行する。ここで、変倍全体画像Lは2度作成する必要はないため、ステップS44の実行は1回限りである。ステップS45において、画像合成手段60に2番目以降の誇張対象の映像オブジェクトの部分画像Tが入力されると、画像変換装置1は、画像合成手段60によって、合成画像Gに対して順次に繰り返し部分画像Tを上書き合成する。
【0180】
以上説明したように、本発明の第3実施形態における画像変換装置1bによれば、高解像度の入力画像Hを、専ら縮小処理をして低解像度の画像表示装置3に適合した変倍全体画像Lに変換する場合には、入力画像Hから切り出した部分画像Tは、拡大処理をせずとも変倍全体画像Lに対して相対的に拡大された画像であるから、このような変倍全体画像Lに、部分画像Tを合成することで、部分画像Tに対応する映像オブジェクトが誇張処理された合成画像Gに変換することができる。
【0181】
また、部分画像Tを変倍する手段を省略できるため経済的に有利であり、コンピュータにプログラムを実行させて実現する場合には、部分画像Tの変倍処理を省略できるため、コンピュータの処理負担を低減することができる。
【図面の簡単な説明】
【0182】
【図1】本発明の第1実施形態における画像変換装置の構成を示すブロック図である。
【図2】本発明における入力画像の例を表す図である。
【図3】本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の構成を示すブロック図である。
【図4】本発明の第1実施形態における画像変換装置による画像変換の様子を説明するための図である。
【図5】部分画像の非線形変倍の例を説明するための図であり、(a)は部分画像、(b)は非線形変倍した変倍部分画像の様子を示す図である。
【図6】合成画像の例を示す図であり、(a)は変倍全体画像と線形変倍した変倍部分画像とを合成した合成画像を示し、(b)は変倍全体画像と非線形変倍した変倍部分画像とを合成した合成画像を示す図である。
【図7】本発明の第1実施形態における画像変換装置の処理の流れを示すフロー図である。
【図8】本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の処理の流れを示すフロー図である。
【図9】本発明の第2実施形態における画像変換装置の構成を示すブロック図である。
【図10】本発明の第2実施形態における画像変換装置の処理の流れを示すフロー図である。
【図11】本発明の第3実施形態における画像変換装置の構成を示すブロック図である。
【図12】本発明の第3実施形態における画像変換装置の処理の流れを示すフロー図である。
【符号の説明】
【0183】
1,1a,1b 画像変換装置
2 画像入力装置
3 画像表示装置
10 全体画像変倍手段
20 映像オブジェクト検出手段
211 第1特定映像オブジェクト検出手段
212 第2特定映像オブジェクト検出手段
21M 第M特定映像オブジェクト検出手段
30 誇張対象映像オブジェクト選定手段(映像オブジェクト選定手段)
311 第1決定論理(決定論理手段)
312 第2決定論理(決定論理手段)
31N 第N決定論理(決定論理手段)
32 対象選定手段
40 映像オブジェクト領域切り出し手段(部分画像切り出し手段)
50 部分画像変倍手段
60 画像合成手段
100,100a,100b 画像変倍手段
G 合成画像
H 入力画像
L 変倍全体画像
M1,M2 映像オブジェクト
O1,O2,O3 映像オブジェクト
P,P(1),…,P(M) 位置情報
Q,Q(1),…,Q(M) 種別情報
T,T1,T2 部分画像
U,U1,U2,U2’ 変倍部分画像
Π,Π(1),…,Π(N) 位置情報
【技術分野】
【0001】
本発明は、画像中の特定の映像オブジェクトを選択的に誇張するように画像変換する画像変換装置、画像変換プログラムおよび画像変換方法に関する。
【背景技術】
【0002】
従来、高解像度画像を低解像度ディスプレイや小型ディスプレイに表示する場合には、高解像度画像の全体がディスプレイの表示領域内に収まるよう、解像度や表示サイズを一定倍率で変換する方法が主流である。
【0003】
また、例えば特許文献1では、画像の重要な領域を推定して切り出し、切り出された領域がディスプレイの表示領域内に収まるよう変換するトリミング手法も提案されている。
【特許文献1】特開2007−6111号公報(段落0020〜段落0023、図1)
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、高解像度画像の全体をディスプレイの表示領域内に収まるよう変換する手法では、特に主要な被写体が小さく撮影されている場合には、画像の縮小により当該被写体の視認性が劣化するため、視聴者に疲労が生じたり画像内容の理解が困難になるという問題があった。
【0005】
例えば、サッカーの試合を撮影した映像において、ボール近傍の比較的広い領域をハイビジョンカメラで撮影された高解像度画像を視聴する場合について考えると、高解像度ディスプレイであるハイビジョンディスプレイを用いたときには、画像中の選手の顔を容易に識別できても、例えば、1セグ放送用テレビのような低解像度の小型ディスプレイに表示するために画像全体を縮小して表示した場合には、個々の選手の顔が小さく誰がプレーしているのか識別が困難となることがあった。
【0006】
特許文献1の手法は、主要な被写体が画像内の一部に偏在する場合には有効な手法であるが、画像全体に主要な被写体が分散して存在する場合には、有効な切り出し範囲を設定することが難しく、広範囲を縮小して表示するため、画像全体を縮小して表示する場合と同様の問題が生じることとなる。
【0007】
そこで本発明では、このような問題点に鑑みて、主要な被写体領域とそれ以外の領域との変倍率を変えて、当該主要な被写体を相対的に拡大して誇張した合成画像に変換する画像変換装置、画像変換プログラムおよび画像変換方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記した目的を達成するために、請求項1に記載の画像変換装置は、入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換装置であって、映像オブジェクト検出手段と、映像オブジェクト選定手段と、部分画像切り出し手段と、画像変倍手段と、画像合成手段と、を備える構成とした。
【0009】
かかる構成によれば、画像変換装置は、映像オブジェクト検出手段によって、入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する。次に、映像オブジェクト選定手段によって、映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトとして選定する。続いて、部分画像切り出し手段によって、入力画像から、選定された特定の映像オブジェクトが含まれる部分画像を切り出し、画像変倍手段によって、入力画像または当該部分画像の少なくとも一方を変倍して、入力画像の全体領域に対して当該部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する。そして、画像合成手段によって、当該画像対をなす全体画像と部分画像とを合成する。
【0010】
これによって、画像変換装置は、入力画像を、特定の映像オブジェクトの画像が選択的に拡大処理されることによって誇張された画像に変換することができる。
【0011】
また、請求項2に記載の画像変換装置は、請求項1に記載の画像変換装置において、画像変倍手段は全体画像変倍手段を有する構成とした。
【0012】
かかる構成によれば、画像変換装置は、画像変倍手段の全体画像変倍手段によって、入力画像の全体を縮小した変倍全体画像を作成する。そして、画像合成手段によって、画像対をなす、この変倍全体画像と、映像オブジェクト部分画像切り出し手段によって切り出された特定の映像オブジェクトの部分画像とを合成する。
これによって、画像変換装置は、入力画像を、入力画像の解像度よりも低解像度の画像表示装置に表示可能であって、特定の映像オブジェクトが誇張された画像に変換することができる。
【0013】
請求項3に記載の画像変換装置は、請求項1または請求項2に記載の画像変換装置において、画像変倍手段は部分画像変倍手段を有する構成とした。
【0014】
かかる構成によれば、画像変換装置は、画像変倍手段の部分画像変倍手段によって、特定の映像オブジェクトの部分画像を、入力画像に対して、もしくは全体画像変倍手段を有する場合には変倍全体画像に対して、相対的に拡大された画像に変倍して変倍部分画像を作成する。そして、画像合成手段によって、画像対をなす全体画像(入力画像もしくは変倍全体画像)と、この変倍部分画像とを合成する。
これによって、画像変換装置は、入力画像を、特定の映像オブジェクトが誇張された画像に変換することができる。さらに、全体画像変倍手段を有する場合には、入力画像を所望の解像度の画像表示装置に適合し、特定の映像オブジェクトが誇張された画像に変換することができる。
【0015】
請求項4に記載の画像変換装置は、請求項3に記載の画像変換装置であって、部分画像変倍手段は非線形変倍を行うとともに、画像合成手段は映像オブジェクト間の接合部を基準点として合成するように構成した。
【0016】
かかる構成によれば、画像変換装置は、部分画像変倍手段によって、選定された特定の映像オブジェクトの部分画像を、画像合成手段によって合成される入力画像中の当該特定の映像オブジェクトでない他の映像オブジェクトとの接合部において、当該他の映像オブジェクトと同じ変倍率とし、当該接合部から遠ざかるほど変倍率が大きくなるように非線形変倍して変倍部分画像を作成する。そして、画像合成手段によって、この非線形変倍された変倍部分画像と画像対をなす全体画像と当該変倍部分画像とを、接合部を基準点として合成する。
これによって、画像変換装置は、入力画像を、特定の映像オブジェクトが非線形変倍によって誇張された画像に変換することができる。
【0017】
請求項5に記載の画像変換装置は、請求項1ないし請求項4の何れか一項に記載の画像変換装置において、映像オブジェクト選定手段は、複数の決定論理手段と、対象選定手段と、を備える構成とした。
【0018】
かかる構成によれば、画像変換装置は、映像オブジェクト選定手段の複数の決定論理手段によって、映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から、それぞれ予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトの候補として決定する。続いて、映像オブジェクト選定手段の対象選定手段によって、これら特定の映像オブジェクトの候補の中から、特定の映像オブジェクトを選定する。そして、画像変倍手段によって、この選定された特定の映像オブジェクトの部分画像を、入力画像に対して、もしくは全体画像変倍手段を有する場合には変倍全体画像に対して、相対的に拡大された画像となるように変倍して変倍部分画像を作成する。そして、画像合成手段によって、画像対をなす全体画像(入力画像もしくは変倍全体画像)と、この変倍部分画像とを合成する。
これによって、画像変換装置は、入力画像を、複数の条件に適合する映像オブジェクトの中から選定した特定の映像オブジェクトが誇張された画像に変換することができる。
【0019】
請求項6に記載の画像変換プログラムは、入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換するために、コンピュータを、映像オブジェクト検出手段、映像オブジェクト選定手段、映像オブジェクト部分画像切り出し手段、画像変倍手段、画像合成手段として機能させることとした。
【0020】
かかる構成によれば、画像変換プログラムは、映像オブジェクト検出手段によって、入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力し、映像オブジェクト選定手段によって、映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを特定の映像オブジェクトとして選定する。続いて、部分画像切り出し手段によって、入力画像から、選定された特定の映像オブジェクトが含まれる部分画像を切り出し、画像変倍手段によって、入力画像または当該部分画像の少なくとも一方を変倍して、入力画像の全体領域に対して当該部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する。そして、画像合成手段によって、当該画像対をなす全体画像と部分画像とを合成する。
これによって、画像変換プログラムは、入力画像を、特定の映像オブジェクトの画像が選択的に拡大処理されることによって誇張された画像に変換することができる。
【0021】
請求項7に記載の画像変換方法は、入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換方法であって、映像オブジェクト検出ステップと、映像オブジェクト選定ステップと、映像オブジェクト部分画像切り出しステップと、画像変倍ステップと、画像合成ステップと、を含むことを特徴とする。
【0022】
この方法によれば、映像オブジェクト検出ステップにおいて、入力画像から1種類以上の所定種別の映像オブジェクトを映像オブジェクト検出手段により検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力し、映像オブジェクト選定ステップにおいて、映像オブジェクト検出ステップで検出された映像オブジェクトの種別情報と位置情報とに基づき、これらの検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを映像オブジェクト選定手段により特定の映像オブジェクトとして選定する。続いて、部分画像切り出しステップにおいて、入力画像から、選定された特定の映像オブジェクトが含まれる部分画像を部分画像切り出し手段により切り出し、画像変倍ステップにおいて、入力画像または当該部分画像の少なくとも一方を画像変倍手段により変倍して、入力画像の全体領域に対して当該部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する。そして、画像合成ステップにおいて、当該画像対をなす全体画像と部分画像とを画像合成手段により合成する。
これによって、入力画像を、特定の映像オブジェクトの画像が選択的に拡大処理されることによって誇張された画像に変換することができる。
【発明の効果】
【0023】
請求項1、請求項6または請求項7に記載の発明によれば、注目すべき特定の箇所が選択的に誇張されるため、入力画像を視認性の優れた画像に変換することができる。
請求項2に記載の発明によれば、注目すべき特定の箇所が選択的に誇張されるため、入力画像を、視認性の低下が抑制された低解像度の画像に変換することができる。
請求項3に記載の発明によれば、注目すべき特定の箇所を直接に誇張できるため、誇張の度合いを設定して、所望の視認性の画像に変換することができる。
【0024】
請求項4に記載の発明によれば、注目すべき特定の箇所が、その他の領域との連続性を保持したまま誇張されるため、入力画像を、より自然な印象の視認性の優れた画像に変換することができる
請求項5に記載の発明によれば、複数の条件に適合する特定が選択的に誇張されるため、特に注目すべき箇所が複数ある場合に、当該箇所が漏れなく誇張された視認性の優れた画像に変換することができる。
なお、特許請求の範囲の記載において、映像オブジェクトとは、人物やボールなどの被写体(オブジェクト)を撮影した入力画像中の被写体像のことである。
【発明を実施するための最良の形態】
【0025】
以下、本発明の実施形態について適宜図面を参照して詳細に説明する。なお、ここでは、サッカーの試合の様子を撮影した映像に本発明を適用した場合を例として説明する。
【0026】
<第1実施形態>
[画像変換装置の構成]
まず、図1を参照して、本発明の第1実施形態における画像変換装置1の構成について説明する。図1は、本発明の第1実施形態における画像変換装置の構成を示すブロック図である。
【0027】
図1に示した画像変換装置1は、全体画像変倍手段10と部分画像変倍手段50とを含む画像変倍手段100と、映像オブジェクト検出手段20と、誇張対象映像オブジェクト選定手段30と、映像オブジェクト領域切り出し手段40と、画像合成手段60とを含んで構成されている。
画像変換装置1は、画像入力装置2から供給される入力画像Hを入力し、合成画像Gを作成して画像表示装置3に出力する。
【0028】
次に、画像変換装置1の各部の構成について説明する。
画像変倍手段100は、全体画像変倍手段10と部分画像変倍手段50とを含んで構成されており、全体画像変倍手段10と部分画像変倍手段50とが協働して、全体画像である入力画像Hと特定の映像オブジェクトの部分画像Tとを、部分画像Tが相対的に拡大された全体画像(変倍全体画像L)と部分画像(変倍部分画像U)とからなる画像対を生成するものである。
【0029】
画像変倍手段100の全体画像変倍手段10は、画像入力装置2から供給される全体画像である入力画像Hを入力し、この入力画像Hを変倍して画像表示装置3に適合する解像度の変倍全体画像Lを作成し、作成した変倍全体画像Lを画像合成手段60に出力する。
【0030】
入力画像Hを供給する画像入力装置2としては、ハイビジョンカメラなどの撮影装置や、ハードディスクや光ディスクなどの画像記憶装置を利用することができる。全体画像変倍手段10は、このような撮影装置によって撮影された画像や、画像記憶装置から読み出された画像などを、直接にまたは通信回線や放送受信装置などを介して入力画像Hとして入力する。
【0031】
ここで、図2を参照して、入力画像Hについて説明する。図2は、入力画像の例を表す図である。
入力画像Hにおいて、画像座標は左上を原点(0,0)とし、2次元座標の最初の要素を水平座標X(右方向を正とする)、2番目の要素を垂直座標Y(下方向を正とする)とし、それぞれ画素(ピクセル)数単位で計数するものとする。後記する変倍全体画像Lにおける画像座標も同様とする。
【0032】
図2に示した入力画像Hは、サッカーの試合の一場面を示しており、画面右側にボールの映像オブジェクトO3を手にした人物の映像オブジェクトM1と、画面左側に人物の映像オブジェクトM2とが映し出されている。後記するように、本実施形態において、映像オブジェクトの種別として「人物の顔(頭部)」と「ボール」とを検出する場合には、人物の顔の映像オブジェクトO1、人物の顔の映像オブジェクトO2およびボールの映像オブジェクトO3が検出される。そして、それぞれの映像オブジェクトの代表点として重心位置を用いると、それらの画像座標はそれぞれ(f1,g1)、(f2,g2)および(f3,g3)のように表すことができる。
【0033】
図1に戻って説明を続ける。
全体画像変倍手段10は、入力画像Hの全体領域を画像表示装置3の解像度に適合する変倍率で変倍処理(縮小処理または拡大処理)を行い、変倍全体画像Lを作成する。好ましくは、画像表示装置3の解像度に一致する変倍率で変倍処理を行う。作成された変倍全体画像Lは、画像合成手段60に出力される。
【0034】
画像の変倍処理は、入力画像Hの画素値を用いて補間演算し、再標本化することで所望の解像度の変倍全体画像Lを構成する各画素値を得るものである。補間の手法は任意であるが、例えば、最近傍補間法(ニアレストネイバー補間法)、双一次補間法(バイリニア補間法)または三次補間法(キュービックコンボリューション補間法もしくはバイキュービック補間法)を用いることができる。
【0035】
例えば、入力画像Hのサイズが横1920画素、縦1080画素の高精細画像(ハイビジョン画像)であるものを、横320画素、縦180画素の低解像度画像に変換する場合、縦横それぞれ6分の1の画素数に縮小すればよい。入力画像HをH(X,Y)、変倍全体画像LをL(x,y)とおく。ここで、Xは入力画像Hにおける水平方向の画像座標、Yは入力画像Hにおける垂直方向の画像座標、xは変倍全体画像Lにおける水平方向の画像座標、yは変倍全体画像Lにおける垂直方向の画像座標である。H(X,Y)、L(x,y)は、それぞれ画像座標(X,Y)における入力画像Hの輝度値、色度値などの画素値、画像座標(x,y)における変倍全体画像Lの輝度値、色度値などの画素値を示す。
【0036】
入力画像Hの画像サイズが横1920画素、縦1080画素の高精細画像の場合には、X∈{0,1,…,1919}、Y∈{0,1,…,1079}である。また変倍全体画像Lの画像サイズが、横320画素、縦180画素の低解像度画像の場合には、x∈{0,1,…,319}、y∈{0,1,…,179}である。
【0037】
ここで全体画像変倍手段10は、入力画像Hを6分の1に変倍した変倍全体画像Lを得るために、例えば、式(1)に示したように、入力画像Hを縦6画素、横6画素の大きさのブロックに分割し、該ブロック内の平均画素値をもって変倍全体画像Lの1画素の画素値とすることで、縦横それぞれ6分の1の変倍処理(縮小処理)とすることができる。
【0038】
【数1】
【0039】
映像オブジェクト検出手段20は、画像入力装置2から供給される全体画像である入力画像Hを入力し、この入力画像Hの中から、予め定められた種類の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qと位置情報Pとを誇張対象映像オブジェクト選定手段30に出力する。
【0040】
ここで種別情報Qとは、映像オブジェクトの種類、個体、個人を特定する識別子である。種別情報Qおよび位置情報Pは、入力画像Hの中から検出された映像オブジェクトの個数分(K個)だけ出力される。
【0041】
また、出力する種別情報Qおよび位置情報Pの個数に上限を設けてもよい。適用する映像オブジェクト検出の手法が、検出した個々の映像オブジェクトに対して、例えば、後記するViola等の手法のように、映像オブジェクトが正しく検出できたかどうかの信頼度が計算可能な場合には、その信頼度が大きいものから優先して、所定の上限数までの映像オブジェクトに関する種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力するようにしてもよい。
【0042】
ここで、映像オブジェクト検出手段20の出力する種別情報Qに含まれるk番目の映像オブジェクトに関する種別情報をQkとおくと、種別情報Qは、式(2)のように表すことができる。
【0043】
【数2】
【0044】
種別情報Qkは、例えば、「人物の顔」、「人物の脚」、「ボール」などといった種類や、人物の氏名や背番号といった個体や個人を識別する識別子で、文字列で表現してもよいし、数値で表現してもよい。
また、映像オブジェクト検出手段20の出力する位置情報Pに含まれるk番目のオブジェクトに関する位置情報をPkとおくと、位置情報Pは式(3)のように表すことができる。
【0045】
【数3】
【0046】
位置情報Pは、映像オブジェクトの存在範囲に対応する代表点の画像座標(fk,gk)であってもよいし、位置と面的な広がりを表現する数値であってもよい。例えば、代表点として映像オブジェクト領域の重心点を用いることができる。
【0047】
例えば、k番目の映像オブジェクトの存在領域が、入力画像Hの中の領域Dkに対応する場合に、重心点は式(4)によって計算することができる。すなわち、領域Dkに属する全画素の画像座標値の水平方向の平均値と垂直方法の平均値とを算出し、それぞれ位置情報Pkの要素fkおよび要素gkとする。
【0048】
【数4】
【0049】
また、前記した領域Dkのバウンディングボックス(領域Dkを内接する矩形領域)を位置情報Pkとして用いることができる。バウンディングボックスの左上点を(pk,qk)、右下点を(rk,sk)とすると、位置情報Pkは、式(5)のようにして求めることができる。すなわち、領域Dkに属する全画素中の画像座標の水平方向および垂直方向の最小値と、水平方向および垂直方向の最大値とを求め、それぞれ位置情報Pkの要素pk、要素qk、要素rkおよび要素skとする。
【0050】
【数5】
【0051】
なお、バウンディングボックスの表現法としては、式(5)のように左上点と右下点とによる表現のほか、左上点と幅と高さとによる表現、中心点と幅と高さとによる表現など任意の表現法を用いることができる。
さらに、例えば、前記した領域Dkそのもののビットマップ情報を式(6)のように位置情報Pkとして用いてもよい。
【0052】
【数6】
【0053】
映像オブジェクト検出手段20による映像オブジェクト検出を実現する手法としては、例えば、文献「Paul Viola and Michael Jones: “Rapid Object Detection using a Boosted Cascade of Simple Features”, Proceedings of the 2001 IEEE Computer Society Conference on Vision and Pattern Recognition, pp.511-518, (2001).」の手法を用いることができる。
【0054】
本手法は、検出すべき対象物体に現れる特徴に合わせ、統計学習を使って作成した弱識別器と呼ばれる複数の単純な識別器を用い、強識別器と呼ばれる識別器によって、複数の弱識別器による判別結果に重み付けをした和を算出し、その和に基づいて所望の物体かどうかの識別を行う。また、本手法によれば、強識別器によって算出した和の大きさによって、所望の物体を検出したかどうかの信頼度を定義できるため、前記したように、検出した映像オブジェクトに優先順位をつける場合に適している。
【0055】
本手法で用いる識別器を、検出すべき対象物体として人物の顔画像と非顔画像の学習データを用いて予め学習させておくことで、入力画像Hの中からの顔検出を行い、顔の出現位置や大きさを出力することができる。
同様に本手法を、例えば、ボールの画像と非ボール画像の学習データを用いて予め学習させておくことで、入力画像Hの中からのボール検出を行い、ボールの出現位置や大きさを出力することができる。
【0056】
また、映像オブジェクトの検出手法として、クロマキー法を用いることもできる。クロマキー法では、予め指定した色範囲に属する画素を非映像オブジェクト領域、それ以外の領域を映像オブジェクト領域として抽出し、映像オブジェクトのシルエット画像を得ることができる。ここで得られたシルエット画像を連結領域ごとに分割し、各連結領域を前記した領域Dkとし、例えば、前記した式(4)〜式(6)の表現法により位置情報を出力することができる。
【0057】
さらに、例えば、シルエット画像から得た各映像オブジェクト領域に関して平均色を求め、それら平均色が予め設定された、いくつかの代表色のいずれに近いかを判定することで、当該映像オブジェクト領域に属する人物の着衣の色などを色分けすることができ、これを種別情報Qとして用いることができる。
【0058】
誇張対象映像オブジェクト選定手段(映像オブジェクト選定手段)30は、映像オブジェクト検出手段20によって検出されたK個の映像オブジェクトの種別情報Qと位置情報Pとを入力し、この入力されたK個の映像オブジェクトの種別情報Qと位置情報Pとに基づいて、これらの映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを誇張処理すべき映像オブジェクトとして選択し、選択した個数(W個)分の映像オブジェクトの位置情報Πを映像オブジェクト領域切り出し手段40と画像合成手段60とに順次に出力する。
【0059】
例えば、誇張対象映像オブジェクト選定手段30は、ある特定の種別のある映像オブジェクトが、他の映像オブジェクト(群)に対し、予め定められた位置関係を満たしたとき、当該ある特定の種別のある映像オブジェクトに関する位置情報Πを出力する。具体的には、例えば、種別が「人物」のある映像オブジェクトが、種別が「ボール」の映像オブジェクトに所定の距離以内に近接したとき(例えば、重心間の距離が10画素以内のとき)に、当該種別が「人物」の映像オブジェクトの位置情報Πを出力する。
【0060】
次に、図3を参照(適宜図1参照)して映像オブジェクト検出手段20および誇張対象映像オブジェクト選定手段30の詳細な構成について説明する。図3は、本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の構成を示すブロック図である。
【0061】
映像オブジェクト検出手段20は、第1特定映像オブジェクト検出手段211および第2特定映像オブジェクト検出手段212ないし第M特定映像オブジェクト検出手段21Mまで全部でM個(但し、Mは自然数)の特定映像オブジェクト検出手段を含んで構成されている。
【0062】
各第m特定映像オブジェクト検出手段21m(m∈{1,2,…,M})は、画像入力装置2から供給される入力画像Hをそれぞれ入力し、入力した入力画像Hの中から、それぞれ予め定められた特定種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Q(m)と位置情報P(m)を、誇張対象映像オブジェクト選定手段30の第1決定論理311〜第N決定論理31Nに出力する。ここで、Q(m)およびP(m)は、それぞれ第m特定映像オブジェクト検出手段21mが出力した種別情報および位置情報を示す。
【0063】
第m特定映像オブジェクト検出手段21mは、入力画像Hから予め定められた特定の種別Q(m)の映像オブジェクトを順次に検出し、その位置情報P(m)を出力する。ここで、第m特定映像オブジェクト検出手段21mが検出した映像オブジェクトの個数をK(m)とおく。K(m)が1以上のとき、位置情報P(m)に含まれるk番目(k∈{0,1,…,K(m)−1})の映像オブジェクトの位置情報をPk(m)とおき、K(m)=0のときはP(m)=φ(φは空集合)とおくと、位置情報P(m)は式(7)のように表すことができる。
【0064】
【数7】
【0065】
予め定める特定の映像オブジェクトの種別としては、例えば、「人物の顔」や「ボール」、「人物の足」、「ゴール」、「コーナー」、「背番号」、「ユニフォーム」などが挙げられる。具体的には、例えば、第1特定映像オブジェクト検出手段211は、種別が「人物の顔」の映像オブジェクトを検出し、種別「人物の顔」を種別情報Q(1)として出力するとともに、その位置情報P(1)を出力する。また、第2特定映像オブジェクト検出手段212は、種別「ボール」の映像オブジェクトを検出し、種別「ボール」を種別情報Q(2)として出力するとともに、その位置情報P(2)を出力する。なお、一つの種別、例えば「人物の顔」に属する映像オブジェクトが複数検出された場合には、位置情報P(1)は式(7)に示したように、検出されたそれぞれの映像オブジェクトの位置情報に対応する複数の要素から構成される情報となる。
【0066】
誇張対象映像オブジェクト選定手段30は、第1決定論理311および第2決定論理312ないし第N決定論理31Nまでの全部でN個(但し、Nは自然数)の決定論理と、対象選定手段32とを含んで構成されている。
【0067】
各第n決定論理(決定論理手段)31n(n∈{1,2,…,N})は、それぞれ映像オブジェクト検出手段20の第1特定映像オブジェクト211ないし第M特定映像オブジェクト検出手段21Mから出力された種別情報Q(1)ないし種別情報Q(M)および位置情報P(1)ないし位置情報P(M)を入力し、予め定められた、それぞれの決定の論理に従って誇張処理の対象候補となる映像オブジェクトを決定し、決定した映像オブジェクトの位置情報Π(n)を対象選定手段32に出力する。
【0068】
第n決定論理31nは、例えば、特定の一つまたは複数の種別の映像オブジェクトが存在するかどうかや、特定の種別の映像オブジェクトが存在する場合には、当該映像オブジェクトの位置や、映像オブジェクト相互間の位置関係に基づいて、入力された位置情報P(1)〜P(M)に対応する映像オブジェクトの中から、誇張処理の対象候補として出力すべき映像オブジェクトがあるか否かを決定して、誇張処理の対象候補とすべき映像オブジェクトがある場合には、当該映像オブジェクトに対応する位置情報Π(n)を対象選定手段32に出力する。
【0069】
第n決定論理31nが誇張処理の対象候補として決定する映像オブジェクトの個数は0以上の整数個とし、その数をJ(n)とおく。J(n)が1以上のとき、出力する位置情報Π(n)に含まれるj番目(j∈{0,1,…,J(n)−1})の映像オブジェクトの位置情報をΠj(n)とおく。また、J(n)=0のときはΠ(n)=φ(φは空集合)とおくと、位置情報Π(n)は式(8)のように表すことができる。
【0070】
【数8】
【0071】
N個の決定論理である第1決定論理311〜第N決定論理31Nには、入力された映像オブジェクトの種別情報Q(1)〜種別情報Q(M)および位置情報P(1)〜位置情報P(M)に基づいて、それぞれ誇張処理の対象候補とすべき映像オブジェクトを決定する論理が予め定められている。例えば、第1決定論理311は、第1特定映像オブジェクト検出手段211により検出された、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)、および第2特定映像オブジェクト検出手段212により検出された種別情報Q(2)が「ボール」である映像オブジェクトの位置情報P(2)を参照し、「人物の顔」の映像オブジェクトが誇張処理の対象候補とするかどうかを決定し、対象候補と決定した場合には、当該「人物の顔」の映像オブジェクトの位置情報Π(1)を対象選定手段32に出力する。
【0072】
詳細に説明すると、まず、第1決定論理311は、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)に含まれるk番目の位置情報Pk(1)と、種別情報Q(2)が「ボール」である映像オブジェクトの位置情報P(2)に含まれるκ番目の位置情報Pκ(2)との、すべてのkおよびκの組み合わせに関して、人物の顔とボールとの間の距離D(k,κ)を式(9)によって求める。但し、P(1)に含まれる要素数K(1)か、P(2)に含まれる要素数K(2)のいずれか一方もしくはそれらの両方が0である場合には、第1決定論理311は距離D(k,κ)を求めず、また以後の演算および出力を行わないものとする。なお、サッカーのようにボールが1個の球技にあっては、好ましくはボールの要素数K(2)は0または1であるが、誤検出などによりK(2)が1より大きな整数をとる場合を想定しても構わない。
【0073】
【数9】
【0074】
ここで、関数dist(P,P’)は、位置情報Pおよび位置情報P’を有する2つの映像オブジェクト間の距離を表す。例えば、2つの映像オブジェクトそれぞれの重心位置間のユークリッド距離を出力するようにすることができる。
【0075】
続いて、第1決定論理311は、例えば、式(10)に示したように、種別が「ボール」である映像オブジェクトの位置情報P(2)の要素を指す各インデックスκに関して、式(9)に示した距離D(k,κ)を最小化する、種別が「人物の顔」である映像オブジェクトの位置情報P(1)の要素を指すインデックスh(κ)を求める。
このようにして、第1決定論理311は、各ボールと最も近接した人物の顔の映像オブジェクトを誇張処理の対象候補として決定することができる。
【0076】
【数10】
【0077】
最後に、第1決定論理311は、式(10)によって求められた、種別が「人物の顔」の映像オブジェクトの位置情報Ph(κ)(1)を、式(11)に示したように位置情報Π(1)の各要素として対象選定手段32に出力する。
【0078】
【数11】
【0079】
また、例えば、第2決定論理312は、第1特定映像オブジェクト検出手段211により検出された、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)を参照して誇張処理の対象候補として決定し、この決定した「人物の顔」の映像オブジェクトの位置情報Π(2)を対象選定手段32に出力する。
【0080】
詳細に説明すると、まず、第2決定論理312は、種別情報Q(1)が「人物の顔」である映像オブジェクトの位置情報P(1)に含まれるk番目の位置情報Pk(1)を有する映像オブジェクトと、κ番目の位置情報Pκ(1)を有する映像オブジェクトとの間の距離E(k,κ)を式(12)によって求める。ただし、位置情報P(1)に含まれる要素数K(1)が0である場合には、第2決定論理312は距離E(k,κ)を求めず、また以後の演算および出力を行わないものとする。
【0081】
【数12】
【0082】
ここで、関数dist(P,P’)は、式(9)と同様に、位置情報Pおよび位置情報P’を有する2つの映像オブジェクト間の距離であり、例えば、2つの映像オブジェクトそれぞれの重心位置間のユークリッド距離を出力するものとする。
【0083】
続いて、第2決定論理312は、例えば、式(13)に示したように、種別が「人物の顔」である映像オブジェクトの位置情報P(1)の要素を指す各インデックスκに関して、式(12)に示した距離E(k,κ)のkに関する総和を最小化する、種別が「人物の顔」である映像オブジェクトの位置情報P(1)の要素を指すインデックスfを求める。
このようにして、検出された「人物の顔」の映像オブジェクトのうち、最も映像オブジェクトの密集した場所に位置する映像オブジェクトを選択することができる。
【0084】
【数13】
【0085】
最後に、第2決定論理312は、式(13)によって求められた、種別が「人物の顔」の映像オブジェクトの位置情報Pf(1)を、式(14)に示したように位置情報Π(2)の要素として対象選定手段32に出力する。
【0086】
【数14】
【0087】
このように、各第n決定論理31nは、それぞれ「人物の顔」「ボール」などの異種または同種の映像オブジェクト間における位置関係に応じ、検出された特定の種別の映像オブジェクトを誇張処理の対象候補とするかどうかを選択して決定し、決定した映像オブジェクトの位置情報Π(n)を対象選定手段32に出力する。
【0088】
対象選定手段32は、第1決定論理311〜第N決定論理31Nによって出力された位置情報Π(1)〜位置情報Π(N)を入力し、入力された位置情報Π(1)〜位置情報Π(N)に含まれる誇張処理の対象候補として決定された映像オブジェクトの位置情報の要素数を絞り込み、絞り込んだ各要素を位置情報Πとして、映像オブジェクト領域切り出し手段40および画像合成手段60(図1参照)に順次に出力する。
【0089】
対象選定手段32は、例えば、第1決定論理311〜第N決定論理31Nのそれぞれに優先順位を設け、また、出力すべき位置情報Πの個数の上限値Wを定めることにより、優先度の高い第n決定論理31nによって入力された位置情報Π(n)に含まれる要素から順に選定して出力し、出力した要素の総数がWに至るか、入力された位置情報のすべての要素を出力するまで、位置情報Πを順次に出力する。
【0090】
例えば、第1決定論理311よりも第2決定論理312の優先度を高く設定した場合において、第1決定論理311から式(11)に示した位置情報Π(1)が対象選定手段32に入力され、第2決定論理312から式(14)に示した位置情報Π(2)が入力されたときには、以下のように処理をする。
【0091】
出力する位置情報Πの上限値Wが1個のときには、K(2)≧1ならば式(14)に示した位置情報Π(2)の要素Pf(1)のみを出力する。K(2)=0ならば空集合φを出力する。このようにすることで、「人物の顔」の映像オブジェクトが一つでも検出された場合には、最も誇張処理すべき映像オブジェクトとして、検出されたすべての「人物の顔」の映像オブジェクトのうち、最も映像オブジェクトの密集した場所に位置する映像オブジェクトを選定することができる。
【0092】
出力する位置情報Πの上限値Wが、2個以上かつK(1)個以下のときには、式(14)で示した位置情報Π(2)の要素Pf(1)と、式(11)で示した位置情報Π(1)の要素のうちから最大でW−1個とを出力する。W−1個の要素の選び方としては、例えば、式(11)に示した位置情報Π(1)の要素のうちで冒頭のW−1個の要素(K(1)がW−1に満たない場合には、式(11)に示したすべての要素)を、位置情報Πとして順次に出力する。このようにすることで、選択して検出された「人物の顔」のうちの最も映像オブジェクトの密集した場所に位置する映像オブジェクトに加えて、上限値W個を超えない範囲で、各ボールに最近接した人物の顔の映像オブジェクトを選定することができる。例えば、サッカーのようにボールが1個のときはK(2)=1以下であるから、ボールが検出された場合には、最も人物の顔の密集した場所に位置する人物の顔の映像オブジェクトと、ボールに最も近接した人物の顔の映像オブジェクトとが誇張処理の対象として選定され、対応する位置情報がΠとして出力される。
【0093】
図1に戻って画像変換装置1の説明を続ける。
映像オブジェクト領域切り出し手段(部分画像切り出し手段)40は、画像入力装置2から供給される入力画像Hと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πとを入力し、各位置情報Πに対応するW個の部分画像Tを部分画像変倍手段50に順次に出力する。
【0094】
映像オブジェクト領域切り出し手段40は、入力画像Hから、誇張処理の対象として選定された映像オブジェクトの位置情報Πによって特定される映像オブジェクトを含む近傍の局所領域を切り出し、当該映像オブジェクトの部分画像Tとして出力する。
【0095】
部分画像Tの切り出し方としては、例えば、位置情報Πが、代表点(例えば重心点)により映像オブジェクトの位置を表現する場合には、入力画像Hの代表点近傍の領域を切り出し、これを当該映像オブジェクトの部分画像Tとすることがきる。このような近傍の領域としては、例えば、代表点を中心とする半径R(Rは画素数)の円の内部領域とすることができる。
【0096】
ここで、図4を参照(適宜図1参照)して、部分画像の切り出しの例を示す。図4は、本発明の第1実施形態における画像変換装置による画像変換の様子を説明するための図である。
図4に示した例では、入力画像Hにおいて、誇張対象映像オブジェクト選定手段30の出力として、種別情報Qが「人物の顔」である映像オブジェクトO1が誇張処理の対象として選定され、代表点(f1,g1)で示される位置において検出されている。このとき、映像オブジェクト領域切り出し手段40は、入力画像Hにおける点(f1,g1)の付近の画像を切り出し(この例では円形)、それぞれ映像オブジェクトO1の部分画像T1として部分画像変倍手段50に出力する。
【0097】
なお、映像オブジェクトの部分画像Tの形状は、本例のような円形のほか、長方形や多角形、任意形状のいずれによることもできる。例えば、位置情報Pが式(5)に示したバウンディングボックスで表現される場合には、このバウンディングボックスの位置と大きさに合わせて切り出せばよい。また、例えば、位置情報Pが式(6)で示される任意形状の領域で表現される場合には、この領域形状に合わせて切り出すことができる。
【0098】
図1に戻って説明を続ける。
部分画像変倍手段50は、映像オブジェクト領域切り出し手段40によって出力されるW個の部分画像Tを順次に入力し、入力した部分画像Tに変倍処理を行って変倍部分画像Uを作成し、作成した変倍部分画像Uを順次に画像合成手段60に出力する。
【0099】
部分画像変倍手段50は、映像オブジェクト領域切り出し手段40により切り出された映像オブジェクトの部分画像Tを変倍処理して解像度を変換する。この場合、部分画像変倍手段50は、全体画像変倍手段10が入力画像Hを変倍する変倍率よりも大きい変倍率を適用する。すなわち、部分画像変倍手段50によって得られる変倍部分画像Uは、全体画像変倍手段10によって得られる変倍全体画像Lよりも相対的に大きいものとなる。
【0100】
このときの部分画像Tに対する変倍処理は拡大処理に限らず、変倍全体画像Lの縮小率が小さい場合には、等倍か、変倍全体画像Lの縮小率よりも大きな縮小率で縮小処理を行うようにしてもよい。例えば、変倍全体画像Lの縮小率が6分の1の場合に、部分画像Tを2分の1に縮小して変倍部分画像Uを出力するようにすることができる。この場合は、変倍部分画像Uは、変倍全体画像Lに対して相対的に3倍に拡大された画像となる。
【0101】
このように、全体画像変倍手段10と部分画像変倍手段50とからなる画像変倍手段100によって、部分画像が相対的に拡大された全体画像(変倍全体画像L)と部分画像(変倍部分画像U)とからなる画像対を生成することができる。
【0102】
また、入力画像Hは必ずしも変倍処理される必要はなく、入力画像Hをそのままの解像度で変倍全体画像Lとして画像合成手段60に出力するようにしてもよい。全体画像変倍手段10によって入力画像Hを変倍処理しない場合は、部分画像変倍手段50によって部分画像Tを拡大処理して変倍部分画像Uを作成することにより、実質的に入力画像H(全体画像)と変倍部分画像Uからなる画像対を生成することができる。
【0103】
更に、また、全体画像変倍手段10によって入力画像Hを縮小処理して変倍全体画像Lを作成する場合においては、部分画像変倍手段50によって部分画像Tを変倍処理せずに
、部分画像Tをそのままの解像度で変倍部分画像Uとして画像合成手段60に出力するようにしてもよい。この場合は、変倍全体画像Lと、実質的に部分画像Tとからなる画像対を生成することができる。
【0104】
このように、全体画像変倍手段10の変倍率と、部分画像変倍手段50の変倍率とは、入力画像Hの解像度と、画像表示したい画像表示装置3の解像度との関係に応じて任意に設定できるように構成してもよい。
【0105】
なお、部分画像変倍手段50は、映像オブジェクトの部分画像Tを補間し、再標本化することで変倍部分画像Uを得ることができる。映像オブジェクトの部分画像Tが複数存在する場合には、その各々について変倍部分画像Uを作成する。映像オブジェクトの部分画像Tが複数存在する場合の変倍率は、すべての映像オブジェクトにわたって同一の変倍率としてもよいし、複数の異なる変倍率を混在させてもよい。変倍率を混在させる場合には、例えば、部分画像Tを変倍した結果得られる変倍部分画像Uの大きさ(例えば、幅、高さ、または面積)がすべて同一となるよう、部分画像Tごとに変倍率を変化させるようにすることもできる。
【0106】
補間の手法は任意であるが、例えば、最近傍補間法(ニアレストネイバー補間法)、双一次補間法(バイリニア補間法)または、三次補間法(キュービックコンボリューション補間法もしくはバイキュービック補間法)を用いることができる。
【0107】
画像合成手段60は、全体画像変倍手段10から出力される変倍全体画像Lと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πと、部分画像変倍手段50から順次に出力されるW個の変倍部分画像Uとを入力し、合成画像Gを作成して、画像表示装置3に出力する。
【0108】
画像合成手段60は、全体画像変倍手段10から出力された変倍全体画像Lに対して、部分画像変倍手段50から出力される変倍部分画像Uを、変倍部分画像Uに対応して誇張対象映像オブジェクト選定手段30から出力される位置情報Πによって定まる変倍全体画像L上の対応する位置に上書きすることにより、合成画像Gを作成する。変倍部分画像Uが複数入力される場合には、それぞれの変倍部分画像Uに対応する位置情報Πに基づいて、変倍全体画像Lに順次に上書き合成を行う。
【0109】
次に、変倍全体画像Lに変倍部分画像Uを上書き合成する手法について説明する。
まず誇張対象映像オブジェクト選定手段30から出力されるk番目の映像オブジェクトの位置情報をΠk、位置情報Πkに対応する部分画像をTk、部分画像Tkを変倍して得られる変倍部分画像をUkとおく。k番目の変倍部分画像Ukを、入力画像H上の位置情報Πkで示される場所に対応する変倍全体画像L上の位置に合成する場合、例えば、位置情報Πkを代表する点として重心を求め、その画像座標を全体画像変倍手段10による画像変倍処理の変倍率に基づいてスケール変換し、このスケール変換された画像座標に変倍部分画像Ukの重心が一致するように変倍部分画像Ukを配置する。
【0110】
ここで、図4を参照(適宜図1参照)して、変倍全体画像Lに変倍部分画像Uを上書き合成する様子について説明する。図4に示した例では、誇張対象映像オブジェクト選定手段30によって、「人物の顔」の映像オブジェクトO1が誇張対象として選定されているものとする。選定された映像オブジェクトO1の位置情報Π1から求めた部分画像T1の重心の入力画像H上の画像座標を(f1,g1)とする。
【0111】
次に、画像座標(f1,g1)を全体画像変倍手段10の変倍率に基づいてスケール変換する。例えば、水平方向の変倍率がMx、垂直方向の変倍率がMyである場合には、画像座標(f1,g1)のスケール変換後の画像座標、すなわち変倍全体画像L上の画像座標は(Mxf1,Myg1)となる。
そして、変倍全体画像L上の画像座標(Mxf1,Myg1)に、変倍部分画像U1を、その重心が一致するように配置することで、合成画像Gを作成することができる。
【0112】
なお、本例では、誇張対象となる映像オブジェクトが1つの場合について説明したが、誇張処理の対象となる映像オブジェクトは複数であってもよい。誇張対象映像オブジェクト選定手段30から誇張処理の対象となる映像オブジェクトの位置情報Πが複数出力された場合には、そのそれぞれについて位置情報Πをスケール変換し、それぞれの位置に応じて変倍全体画像L上に、対応する変倍部分画像Uを上書き合成する。一方、誇張対象映像オブジェクト選定手段30から位置情報Πが出力されなかった場合、すなわち誇張処理の対象となる映像オブジェクトの個数が0個の場合には、上書き合成動作は行わない。但し、上書き合成動作を行わない場合でも、画像合成手段60から出力する変倍全体画像Lを形成的に合成画像Gと呼称する。
【0113】
また、図4に示した例では、部分画像Tの変倍処理は、一つの部分画像Tの全領域に対して一定の倍率として変倍部分画像Uを作成し、対応する変倍全体画像L上の部分画像の重心が一致するように配置して合成画像Gを作成したが、重心を一致するように変倍部分画像Uを配置することに限らない。
【0114】
例えば、変倍部分画像Uと接合する変倍全体画像L中の他の映像オブジェクトの画像との境界を基準点として変倍部分画像Uを配置し、かつ基準点における変倍全体画像Lと変倍部分画像Uとが滑らかに接合するように、部分画像Tに非線形な変倍処理を行って変倍部分画像Uを作成するようにしてもよい。
【0115】
図5および図6を参照(適宜図4参照)して、部分画像Tを非線形変倍して変倍全体画像Lと合成する例について説明する。図5は、部分画像の非線形変倍の例を説明するための図であり、(a)は部分画像T、(b)は非線形変倍した変倍部分画像Uの様子を示す図である。また、図6は、合成画像の例を示す図であり、(a)は変倍全体画像と線形変倍した変倍部分画像とを合成した合成画像を示し、(b)は変倍全体画像と非線形変倍した変倍部分画像とを合成した合成画像を示す図である。
【0116】
まず、図5(a)に入力画像Hから切り出した部分画像Tの様子を示す。ここで、変倍全体画像Lは縮小処理されるものとする。また、画像合成する際の部分画像Tの基準点は底辺部分中央の○印で示した点とする。
【0117】
このとき変倍部分画像Uは、図5(b)に示したように、○印で示した基準点を含む底辺における水平方向の変倍率を、入力画像Hに対する変倍全体画像Lの変倍率と一致させる。そして、基準点から垂直方向に離れるほど水平方向の変倍率を高める非線形変倍処理を行うことで、台形状の変倍部分画像Uを作成することができる。このような変倍部分画像Uを他の映像オブジェクトとの接合部を基準点として変倍全体画像L上に配置することによって、合成画像G上では変倍部分画像Uの底辺部分における見かけの連続性を保ちつつ、映像オブジェクトの部分画像Tを拡大して誇張提示を行うことができる。
【0118】
図6は、図4に示した入力画像Hの、人物の映像オブジェクトM2について、その頭部の映像オブジェクトO2を誇張処理して変倍全体画像Lと合成して作成した合成画像Gの例である。
【0119】
図6(a)に示した合成画像Gでは、図4に示した例と同様の手法で、頭部の映像オブジェクトO2の部分画像を線形変倍して作成した変倍部分画像U2を、その重心が、変倍全体画像の対応する重心位置(Mxf2,Myg2)に一致するように合成した画像である。
【0120】
それに対して、図6(b)に示した合成画像Gは、本手法を適用し、頭部の映像オブジェクトO2の部分画像を非線形変倍して作成した変倍部分画像U2’を、この頭部の映像オブジェクトO2と人物の映像オブジェクトM2との本来の接合部、すなわち頭部と、頭部以外の他の映像オブジェクトとの境界である頸部位置(画像座標(Mxf2’,Myg2’))を基準点として合成した画像である。なお、f2’およびg2’は、それぞれ入力画像Hにおける人物の映像オブジェクトM2の頸部の水平座標および垂直座標である。
【0121】
図6(b)に示したように、頭部の映像オブジェクトO2の誇張処理において、図5(b)に示した台形状の変倍部分画像Uの底辺部分に相当する人物の頸部を基準点とし、基準点における変倍部分画像Uの水平方向の変倍率を変倍全体画像Lの変倍率に合わせることで、合成画像G上における頸部の連続性を確保し、より自然な印象の合成画像Gを作成することができる。
【0122】
なお、第1実施形態では、誇張処理する映像オブジェクトとして「人物の顔(頭部)」を例にして説明したが、ユニフォームに描かれた「背番号」や「氏名」を誇張処理するようにしてもよく、また入力画像もサッカーの試合に限らず、他のスポーツや監視カメラの映像などに適用することもできる。
【0123】
以上、第1実施形態における画像変換装置1の構成について説明したが、画像変換装置1は、一部またはすべてを専用のハードウェアを作成して実行することができるが、コンピュータプログラムを実行させ、コンピュータ内の演算装置、記憶装置、入力装置、画像表示装置などを動作させることにより実現することもできる。このプログラム(画像変換プログラム)は、通信回線を介して提供することも可能であるし、CD−ROMなどの記録媒体に書き込んで配布することも可能である。可及的速やかに
【0124】
[画像変換装置の動作]
次に、図7を参照(適宜図1参照)して、本発明の第1実施形態における画像変換装置1の動作について説明する。図7は、図1に示した本発明の第1実施形態における画像変換装置の処理の流れを示すフロー図である。
【0125】
画像変換装置1は、まず、映像オブジェクト検出手段20によって、画像入力装置2から供給される入力画像Hから、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力する(ステップS11)。
【0126】
次に、画像変換装置1は、誇張対象映像オブジェクト選定手段30によって、ステップS11で映像オブジェクト検出手段20によって検出された映像オブジェクトの中から誇張処理の対象となる映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを映像オブジェクト領域切り出し手段40と画像合成手段60とに出力する(ステップS12)。
【0127】
次に、画像変換装置1は、映像オブジェクト領域切り出し手段40によって、ステップS12で誇張対象映像オブジェクト選定手段30によって選定された映像オブジェクトの位置情報Πを参照して、画像入力装置2から供給された入力画像Hから、当該映像オブジェクトを含む領域を部分画像Tとして切り出し、画像変倍手段100の部分画像変倍手段50に出力する(ステップS13)。
【0128】
次に、画像変換装置1は、画像変倍手段100の部分画像変倍手段50によって、ステップS13で映像オブジェクト領域切り出し手段40によって切り出された部分画像Tを変倍処理して、後記する変倍全体画像Lよりも相対的に拡大した変倍部分画像Uを作成し、画像合成手段60に出力する(ステップS14)。
【0129】
画像変換装置1は、前記したステップS11からステップS14までの処理をする一方で、画像変倍手段100の全体画像変倍手段10によって、画像入力装置2から供給される入力画像Hの全体を変倍処理し、画像表示装置3の解像度に適合する変倍率で変倍全体画像Lを作成し、画像合成手段60に出力する(ステップS15)。
【0130】
ステップS14の部分画像変倍処理およびステップS15の全体画像変倍処理の両方の処理が完了すると、画像変換装置1は、画像合成手段60によって、ステップS12で誇張対象映像オブジェクト選定手段30によって選定された位置情報Πを参照して、ステップS15で全体画像変倍手段10によって作成された変倍全体画像Lに、ステップS14で部分画像変倍手段50によって作成された変倍部分画像Uを上書き合成して合成画像Gを作成し、画像表示装置3に出力する(ステップS16)。
【0131】
なお、ここでは、ステップS11からステップS14までの処理とステップS15の処理とを並列処理するようにしたが、ステップS16の画像合成処理は、ステップS14の部分画像変倍処理とステップS15の全体画像変倍処理とがともに完了した後に開始される。そのため、ステップS11からステップS14の処理とステップS15の処理とをシーケンシャルに実行するようにしてもよい。このときステップS11からステップS14までの処理とステップS15の処理とは、どちらを先に実行してもよく、ステップS15の処理をステップS11からステップS14までの処理の途中に挿入して実行してもよい。
【0132】
また、誇張処理すべき映像オブジェクトが複数ある場合には、ステップS12で誇張対象映像オブジェクト選定手段30によって誇張処理の対象となる映像オブジェクトに対応する位置情報Πが出力される毎に、ステップS13とステップS14とステップS16とを繰り返し実行する。ここで、変倍全体画像Lは2度作成する必要はないため、ステップS15の実行は1回限りである。ステップS16において、画像合成手段60に2番目以降の誇張対象の映像オブジェクトの変倍部分画像Uが入力されると、画像変換装置1は、画像合成手段60によって、合成画像Gに対して順次に繰り返し変倍部分画像Uを上書き合成する。
【0133】
このようにして、画像変換装置1は、画像入力装置2から供給された入力画像Hを、画像表示装置3に適合する解像度の合成画像Gに変換して出力するため、特定の映像オブジェクトの視認性を損なわないように誇張提示した画像に変換して画像表示装置3に表示することができる。
【0134】
次に、図8を参照(適宜図3、図1および図7参照)して、本発明の第1実施形態における画像変換装置1の映像オブジェクト検出手段20および誇張対象映像オブジェクト選定手段30の詳細な動作について説明する。図8は、図3に示した本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の処理の流れを示すフロー図である。
なお、図8に示しフロー図は、図7に示したフロー図のステップS11およびステップS12に対応する。
【0135】
映像オブジェクト検出手段20は、第1特定映像オブジェクト検出手段211によって、画像入力装置2から供給される入力画像Hの中から、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Q(1)と位置情報P(1)とを誇張対象映像オブジェクト選定手段30の第1決定論理311ないし第N決定論理31Nに出力する(ステップS211)。
【0136】
同様に、映像オブジェクト検出手段20は、ステップS211と並行して、他の第m特定映像オブジェクト検出手段21m(m∈{1,2,…,M})によって、画像入力装置2から供給される入力画像Hの中から、それぞれ予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Q(m)と位置情報P(m)とを誇張対象映像オブジェクト選定手段30の第1決定論理311ないし第N決定論理31Nに出力する(ステップS21m(ステップS212〜ステップS21M))。
【0137】
ここで、ステップS211〜ステップS21Mは、並行して処理を行うようにしたが、それぞれのステップを任意の順番でシーケンシャルに実行するようにしてもよい。
【0138】
ステップS211〜ステップS21Mのすべての処理が完了すると、誇張対象映像オブジェクト選定手段30は、第1決定論理311によって、ステップS211〜ステップS21Mで第1特定映像オブジェクト検出手段211〜第1特定映像オブジェクト検出手段21Mによって出力された映像オブジェクトの種別情報Q(1)〜種別情報Q(M)および位置情報P(1)〜位置情報P(M)を参照して、検出された映像オブジェクトの中から誇張処理の対象候補とすべき映像オブジェクトを決定し、決定した映像オブジェクトの位置情報Π(1)を対象選定手段32に出力する(ステップS221)。
【0139】
同様に、誇張対象映像オブジェクト選定手段30は、ステップS221と並行して、他の第n決定論理31n(n∈{1,2,…,N})によって、ステップS211〜ステップS21Mで第1特定映像オブジェクト検出手段211〜第M特定映像オブジェクト検出手段21Mによって出力された映像オブジェクトの種別情報Q(1)〜種別情報Q(M)および位置情報P(1)〜位置情報P(M)を参照して、検出された映像オブジェクトの中から誇張処理の対象候補とすべき映像オブジェクトを決定し、決定した映像オブジェクトの位置情報Π(n)を対象選定手段32に出力する(ステップS222〜ステップS22N)。
【0140】
ここで、ステップS221〜ステップS22Nは、並行して処理を行うようにしたが、それぞれのステップを任意の順番でシーケンシャルに実行するようにしてもよい。
【0141】
ステップS221〜ステップS22Nのすべての処理が完了すると誇張対象映像オブジェクト選定手段30は、対象選定手段32によって、第1特定映像オブジェクト検出手段211〜第M特定映像オブジェクト検出手段21Mによって誇張処理の対象候補と決定された映像オブジェクトの中から、上限値W個以下の範囲で誇張処理の対象とする映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを順次に映像オブジェクト領域切り出し手段40および画像合成手段60に出力する。
【0142】
このようにして、映像オブジェクト検出手段20と誇張対象映像オブジェクト選定手段30とは連係して、多くの種別の映像オブジェクトの中から誇張処理の対象とすべき特定の条件に適合する映像オブジェクトを選定することができる。
【0143】
以上、説明したように、本発明の第1実施形態における画像変換装置1によれば、多くの種別の、または同一種別であっても多くの特定の映像オブジェクトを入力画像Hから検出し、検出した映像オブジェクト間の位置関係に基づいて誇張処理の対象とすべき映像オブジェクトを選定し、選定した映像オブジェクトに画像拡大などの誇張処理を施すため、入力画像Hを、注目すべき映像オブジェクトが選択的に誇張提示された合成画像Gに、自動的に変換することができる。
【0144】
特に、高解像度の全体画像である入力画像Hを、縮小処理をして低解像度の画像表示装置3に適合した低解像度の変倍全体画像Lに変換する場合において、低解像度の画像表示装置3で高解像度の原画像と同様に画像の全体を表示しながら、注目すべき特定の映像オブジェクトが選択的に誇張提示される視認性に優れた合成画像Gに変換することができる。
【0145】
また、映像オブジェクトの誇張処理の手法として、誇張処理の対象となる映像オブジェクトの部分画像Tを、他の映像オブジェクトとの接合部を基準点として、基準点から離れるほど変倍率を大きくする非線形変倍をすることにより、当該映像オブジェクトを、より自然な印象で誇張提示できる画像に変換することができる。
【0146】
<第2実施形態>
[画像変換装置の構成]
次に、図9を参照して、本発明の第2実施形態における画像変換装置1aの構成について説明する。図9は、本発明の第2実施形態における画像変換装置の構成を示すブロック図である。
【0147】
図9に示した画像変換装置1aは、映像オブジェクト検出手段20と、誇張対象映像オブジェクト選定手段30と、映像オブジェクト領域切り出し手段40と、部分画像変倍手段50を含む画像変倍手段100aと、画像合成手段60とを含んで構成されている。
【0148】
画像変換装置1aは、画像入力装置2から供給される入力画像Hを入力し、合成画像Gを作成して画像表示装置3に出力する。
【0149】
次に、画像変換装置1aの各部の構成について説明する。
図9に示した画像変換装置1aにおいて、図1に示した画像変換装置1と同じ符号を付した構成要素は同様の機能を果たすので、詳細な説明は適宜省略する。
なお、画像変換装置1aは、図1に示した第1実施形態における画像変換装置1の画像変倍手段100から全体画像変倍手段10を除いた構成である。
【0150】
第2実施形態における画像変換装置1aでは、入力画像Hの全体の画像は変倍処理せずに、入力画像Hのまま合成処理するため、画像変倍手段100aの部分画像変倍手段50は、部分画像Tに対する誇張処理として専ら拡大処理を行う。
【0151】
これによって、変倍部分画像Uは、入力画像Hに対して相対的に拡大された画像となり、画像変倍手段100aは部分画像変倍手段50によって、部分画像が相対的に拡大された全体画像(入力画像H)と部分画像(変倍部分画像U)とからなる画像対を生成することができる。
【0152】
画像合成手段60は、画像入力装置2から供給される入力画像Hと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πと、部分画像変倍手段50から順次に出力されるW個の変倍部分画像Uとを入力し、合成画像Gを作成して、画像表示装置3に出力する。
【0153】
画像合成手段60は、画像入力装置2から供給された入力画像Hに対して、画像変倍手段100aの部分画像変倍手段50から出力される変倍部分画像Uを、誇張対象映像オブジェクト選定手段30から出力される位置情報Πに対応する入力画像Hの位置に上書きすることにより、合成画像Gを得る。変倍部分画像Uが複数入力される場合には、それぞれの変倍部分画像Uに対応する位置情報Πに基づいて、入力画像Hに順次に上書き合成を行う。
【0154】
[画像変換装置の動作]
次に、図10を参照(適宜図9参照)して、本発明の第2実施形態における画像変換装置1aの動作について説明する。図10は、図9に示した本発明の第2実施形態における画像変換装置の処理の流れを示すフロー図である。
【0155】
画像変換装置1aは、まず、映像オブジェクト検出手段20によって、画像入力装置2から供給される入力画像Hから、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力する(ステップS31)。
【0156】
次に、画像変換装置1aは、誇張対象映像オブジェクト選定手段30によって、ステップS31で映像オブジェクト検出手段20によって検出された映像オブジェクトの中から誇張処理の対象となる映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを映像オブジェクト領域切り出し手段40と画像合成手段60とに出力する(ステップS32)。
【0157】
次に、画像変換装置1aは、映像オブジェクト領域切り出し手段40によって、ステップS32で誇張対象映像オブジェクト選定手段30によって選定された映像オブジェクトの位置情報Πを参照して、画像入力装置2から供給された入力画像Hから、当該映像オブジェクトを含む領域を部分画像Tとして切り出し、画像変倍手段100aの部分画像変倍手段50に出力する(ステップS33)。
【0158】
次に、画像変換装置1aは、画像変倍手段100aの部分画像変倍手段50によって、ステップS33で映像オブジェクト領域切り出し手段40によって切り出された部分画像Tを変倍処理(拡大処理)して、変倍部分画像Uを作成し、画像合成手段60に出力する(ステップS34)。
【0159】
最後に、画像変換装置1aは、画像合成手段60によって、ステップS32で誇張対象映像オブジェクト選定手段30によって選定された位置情報Πを参照して、画像入力装置2から供給された入力画像Hに、ステップS34で部分画像変倍手段50によって作成された変倍部分画像Uを上書き合成して合成画像Gを作成し、画像表示装置3に出力する(ステップS35)。
【0160】
なお、誇張処理すべき映像オブジェクトが複数ある場合には、ステップS32で誇張対象映像オブジェクト選定手段30によって誇張処理の対象となる映像オブジェクトに対応する位置情報Πが出力される毎に、ステップS33〜ステップS35を繰り返し実行する。ステップS35において、画像合成手段60に2番目以降の誇張対象の映像オブジェクトの変倍部分画像Uが入力されると、画像変換装置1aは、画像合成手段60によって、合成画像Gに対して順次に繰り返し変倍部分画像Uを上書き合成する。
【0161】
以上、説明したように、本発明の第2実施形態における画像変換装置1aによれば、入力画像Hの全体に対しては解像度の変換は行わない場合において、例えば、入力画像Hが広範囲を撮影した映像であるときに、その中に登場する映像オブジェクトが小さくて視認性が悪いときでも、注目すべき特定の映像オブジェクトを選択的に誇張提示する画像に自動的に変換することができる。
【0162】
特に入力画像Hの全体の解像度を変換する必要のない用途に適し、全体画像を変倍する手段を省略できるため経済的に有利であり、コンピュータにプログラムを実行させて実現する場合には、入力画像Hの全体の変倍処理を省略できるため、コンピュータの処理負担を低減することができる。
また、映像オブジェクトの誇張処理の手法として、図5に示した非線形変倍の手法を用いるように構成してもよい。
【0163】
<第3実施形態>
[画像変換装置の構成]
次に、図11を参照して、本発明の第3実施形態における画像変換装置1bの構成について説明する。図11は、本発明の第3実施形態における画像変換装置の構成を示すブロック図である。
【0164】
図11に示した画像変換装置1bは、全体画像変倍手段10を含む画像変倍手段100bと、映像オブジェクト検出手段20と、誇張対象映像オブジェクト選定手段30と、映像オブジェクト領域切り出し手段40と、画像合成手段60とを含んで構成されている。
画像変換装置1bは、画像入力装置2から供給される入力画像Hを入力し、合成画像Gを作成して画像表示装置3に出力する。
【0165】
次に、画像変換装置1bの各部の構成について説明する。
図11に示した画像変換装置1bにおいて、図1に示した画像変換装置1と同じ符号を付した構成要素は同様の機能を果たすので、詳細な説明は適宜省略する。
なお、画像変換装置1bは、図1に示した第1実施形態における画像変換装置1の画像変倍手段100から部分画像変倍手段50を除いた構成である。
【0166】
画像変倍手段100bの全体画像変倍手段10は、画像入力装置2から供給される全体画像を入力画像Hとして入力し、変倍全体画像Lを画像合成手段60に出力する。ここで、全体画像変倍手段10は、入力画像Hを低解像度の画像表示装置3に適合するように、専ら縮小処理を行うものである。
【0167】
第3実施形態における画像変換装置1bでは、前記したように、全体画像変倍手段10は、入力画像Hを専ら縮小処理して、低解像度の画像表示装置3に適合する変倍全体画像Lを作成する。このため、画像変換装置1bは、図1に示した第1実施形態における画像変換装置1のように部分画像変倍手段50によって部分画像Tを変倍処理(拡大処理)を行わずとも、部分画像Tは、変倍全体画像Lに対して相対的に拡大された画像となる。
【0168】
従って、画像変倍手段100bは全体画像変倍手段10によって、部分画像が相対的に拡大された全体画像(変倍全体画像L)と部分画像(部分画像T)とからなる画像対を生成することができる。
【0169】
映像オブジェクト領域切り出し手段(部分画像切り出し手段)40は、画像入力装置2から供給される入力画像Hと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πとを入力し、各位置情報Πに対応するW個の部分画像Tを順次に画像合成手段60に出力する。
【0170】
画像合成手段60は、全体画像変倍手段10から出力される変倍全体画像Lと、誇張対象映像オブジェクト選定手段30から順次に出力されるW個の位置情報Πと、映像オブジェクト領域切り出し手段40から順次に出力されるW個の部分画像Tとを入力し、合成画像Gを作成して、画像表示装置3に出力する。
【0171】
画像合成手段60は、全体画像変倍手段10から出力された変倍全体画像Lに対して、映像オブジェクト領域切り出し手段40から出力される部分画像Tを、誇張対象映像オブジェクト選定手段30から出力される位置情報Πに対応する変倍全体画像Lの位置に上書きすることにより、合成画像Gを得る。部分画像Tが複数入力される場合には、それぞれの部分画像Tに対応する位置情報Πに基づいて、変倍全体画像Lに順次に上書き合成を行う。
【0172】
次に、図12を参照(適宜図11参照)して、第3実施形態における画像変換装置1bの動作について説明する。図12は、図11に示した本発明の第3実施形態における画像変換装置の処理の流れを示すフロー図である。
【0173】
[画像変換装置の動作]
画像変換装置1bは、まず、映像オブジェクト検出手段20によって、画像入力装置2から供給される入力画像Hから、予め定められた特定の種別の映像オブジェクトを検出し、検出した映像オブジェクトの種別情報Qおよび位置情報Pを誇張対象映像オブジェクト選定手段30に出力する(ステップS41)。
【0174】
次に、画像変換装置1bは、誇張対象映像オブジェクト選定手段30によって、ステップS41で映像オブジェクト検出手段20によって検出された映像オブジェクトの中から誇張処理の対象となる映像オブジェクトを選定し、選定した映像オブジェクトの位置情報Πを順次に映像オブジェクト領域切り出し手段40と画像合成手段60とに出力する(ステップS42)。
【0175】
次に、画像変換装置1bは、映像オブジェクト領域切り出し手段40によって、ステップS42で誇張対象映像オブジェクト選定手段30によって選定された映像オブジェクトの位置情報Πを参照して、画像入力装置2から供給された入力画像Hから、当該映像オブジェクトを含む領域を部分画像Tとして切り出し、画像合成手段60に出力する(ステップS43)。
【0176】
画像変換装置1bは、前記したステップS41からステップS43までの処理をする一方で、画像変倍手段100bの全体画像変倍手段10によって、画像入力装置2から供給される入力画像Hの全体を変倍処理(縮小処理)し、低解像度の画像表示装置3の解像度に適合する変倍率の変倍全体画像Lを作成し、画像合成手段60に出力する(ステップS44)。
【0177】
ステップS43の映像オブジェクト領域切り出し処理およびステップS44の全体画像変倍処理の両方の処理が完了すると、画像変換装置1bは、画像合成手段60によって、ステップS42で誇張対象映像オブジェクト選定手段30によって選定された位置情報Πを参照して、ステップS44で全体画像変倍手段10によって作成された変倍全体画像Lに、ステップS43で映像オブジェクト領域切り出し手段60によって切り出された部分画像Tを上書き合成して合成画像Gを作成し、画像表示装置3に出力する(ステップS45)。
【0178】
なお、ここでは、ステップS41からステップS43までの処理とステップS44の処理とを並列処理するようにしたが、ステップS45の画像合成処理は、ステップS43の映像オブジェクト領域切り出し処理とステップS44の全体画像変倍処理とがともに完了した後に開始される。そのため、ステップS41からステップS43の処理とステップS44の処理とをシーケンシャルに実行するようにしてもよい。このときステップS41からステップS43までの処理とステップS44の処理とは、どちらを先に実行してもよく、ステップS44の処理をステップS41からステップS43までの処理の途中に挿入して実行してもよい。
【0179】
また、誇張処理すべき映像オブジェクトが複数ある場合には、ステップS42で誇張対象映像オブジェクト選定手段30によって誇張処理の対象となる映像オブジェクトに対応する位置情報Πが出力される毎に、ステップS43とステップS45とを繰り返し実行する。ここで、変倍全体画像Lは2度作成する必要はないため、ステップS44の実行は1回限りである。ステップS45において、画像合成手段60に2番目以降の誇張対象の映像オブジェクトの部分画像Tが入力されると、画像変換装置1は、画像合成手段60によって、合成画像Gに対して順次に繰り返し部分画像Tを上書き合成する。
【0180】
以上説明したように、本発明の第3実施形態における画像変換装置1bによれば、高解像度の入力画像Hを、専ら縮小処理をして低解像度の画像表示装置3に適合した変倍全体画像Lに変換する場合には、入力画像Hから切り出した部分画像Tは、拡大処理をせずとも変倍全体画像Lに対して相対的に拡大された画像であるから、このような変倍全体画像Lに、部分画像Tを合成することで、部分画像Tに対応する映像オブジェクトが誇張処理された合成画像Gに変換することができる。
【0181】
また、部分画像Tを変倍する手段を省略できるため経済的に有利であり、コンピュータにプログラムを実行させて実現する場合には、部分画像Tの変倍処理を省略できるため、コンピュータの処理負担を低減することができる。
【図面の簡単な説明】
【0182】
【図1】本発明の第1実施形態における画像変換装置の構成を示すブロック図である。
【図2】本発明における入力画像の例を表す図である。
【図3】本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の構成を示すブロック図である。
【図4】本発明の第1実施形態における画像変換装置による画像変換の様子を説明するための図である。
【図5】部分画像の非線形変倍の例を説明するための図であり、(a)は部分画像、(b)は非線形変倍した変倍部分画像の様子を示す図である。
【図6】合成画像の例を示す図であり、(a)は変倍全体画像と線形変倍した変倍部分画像とを合成した合成画像を示し、(b)は変倍全体画像と非線形変倍した変倍部分画像とを合成した合成画像を示す図である。
【図7】本発明の第1実施形態における画像変換装置の処理の流れを示すフロー図である。
【図8】本発明の第1実施形態における画像変換装置の映像オブジェクト検出手段および誇張対象映像オブジェクト選定手段の処理の流れを示すフロー図である。
【図9】本発明の第2実施形態における画像変換装置の構成を示すブロック図である。
【図10】本発明の第2実施形態における画像変換装置の処理の流れを示すフロー図である。
【図11】本発明の第3実施形態における画像変換装置の構成を示すブロック図である。
【図12】本発明の第3実施形態における画像変換装置の処理の流れを示すフロー図である。
【符号の説明】
【0183】
1,1a,1b 画像変換装置
2 画像入力装置
3 画像表示装置
10 全体画像変倍手段
20 映像オブジェクト検出手段
211 第1特定映像オブジェクト検出手段
212 第2特定映像オブジェクト検出手段
21M 第M特定映像オブジェクト検出手段
30 誇張対象映像オブジェクト選定手段(映像オブジェクト選定手段)
311 第1決定論理(決定論理手段)
312 第2決定論理(決定論理手段)
31N 第N決定論理(決定論理手段)
32 対象選定手段
40 映像オブジェクト領域切り出し手段(部分画像切り出し手段)
50 部分画像変倍手段
60 画像合成手段
100,100a,100b 画像変倍手段
G 合成画像
H 入力画像
L 変倍全体画像
M1,M2 映像オブジェクト
O1,O2,O3 映像オブジェクト
P,P(1),…,P(M) 位置情報
Q,Q(1),…,Q(M) 種別情報
T,T1,T2 部分画像
U,U1,U2,U2’ 変倍部分画像
Π,Π(1),…,Π(N) 位置情報
【特許請求の範囲】
【請求項1】
入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換装置であって、
前記入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する映像オブジェクト検出手段と、
前記映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを前記特定の映像オブジェクトとして選定する映像オブジェクト選定手段と、
前記入力画像から前記特定の映像オブジェクトが含まれる部分画像を切り出す部分画像切り出し手段と、
前記入力画像または前記部分画像の少なくとも一方を変倍して、前記入力画像の全体領域に対して前記部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する画像変倍手段と、
前記画像対をなす全体画像と部分画像とを合成する画像合成手段と、
を備えることを特徴とする画像変換装置。
【請求項2】
前記画像変倍手段は、前記入力画像の全体を縮小する全体画像変倍手段を有すること、を特徴とする請求項1に記載の画像変換装置。
【請求項3】
前記画像変倍手段は、前記部分画像を変倍する部分画像変倍手段を有すること、を特徴とする請求項1または請求項2に記載の画像変換装置。
【請求項4】
前記部分画像変倍手段は前記部分画像を、前記画像合成手段によって合成される入力画像中の前記特定の映像オブジェクトでない他の映像オブジェクトとの接合部において当該他の映像オブジェクトと同じ変倍率とし、当該接合部から遠ざかるほど変倍率が大きくなるように非線形変倍した変倍部分画像を作成するとともに、前記画像合成手段は前記接合部を基準点として、前記変倍部分画像と画像対をなす全体画像と当該変倍部分画像とを合成すること、を特徴とする請求項3に記載の画像変換装置。
【請求項5】
前記映像オブジェクト選定手段は、前記映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から、それぞれ予め定められた条件に適合する映像オブジェクトを前記特定の映像オブジェクトの候補として決定する複数の決定論理手段と、前記複数の決定論理手段によって決定された前記特定の映像オブジェクトの候補の中から、前記特定の映像オブジェクトを選定する対象選定手段と、を備えたことを特徴とする請求項1ないし請求項4の何れか一項に記載の画像変換装置。
【請求項6】
入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換するために、コンピュータを、
前記入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する映像オブジェクト検出手段、
前記映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを前記特定の映像オブジェクトとして選定する映像オブジェクト選定手段、
前記入力画像から前記特定の映像オブジェクトが含まれる部分画像を切り出す部分画像切り出し手段、
前記入力画像または前記部分画像の少なくとも一方を変倍して、前記入力画像の全体領域に対して前記部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する画像変倍手段、
前記画像対をなす全体画像と部分画像とを合成する画像合成手段、
として機能させることを特徴とする画像変換プログラム。
【請求項7】
入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換方法であって、
前記入力画像から1種類以上の所定種別の映像オブジェクトを映像オブジェクト検出手段により検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する映像オブジェクト検出ステップと、
前記映像オブジェクト検出ステップにおいて検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを映像オブジェクト選定手段により前記特定の映像オブジェクトとして選定する映像オブジェクト選定ステップと、
前記入力画像から前記特定の映像オブジェクトが含まれる部分画像を部分画像切り出し手段により切り出す部分画像切り出しステップと、
前記入力画像または前記部分画像の少なくとも一方を変倍して、前記入力画像の全体領域に対して前記部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を画像変倍手段により生成する画像変倍ステップと、
前記画像対をなす入力画像と部分画像とを画像合成手段により合成する画像合成ステップと、
を含むことを特徴とする画像変換方法。
【請求項1】
入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換装置であって、
前記入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する映像オブジェクト検出手段と、
前記映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを前記特定の映像オブジェクトとして選定する映像オブジェクト選定手段と、
前記入力画像から前記特定の映像オブジェクトが含まれる部分画像を切り出す部分画像切り出し手段と、
前記入力画像または前記部分画像の少なくとも一方を変倍して、前記入力画像の全体領域に対して前記部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する画像変倍手段と、
前記画像対をなす全体画像と部分画像とを合成する画像合成手段と、
を備えることを特徴とする画像変換装置。
【請求項2】
前記画像変倍手段は、前記入力画像の全体を縮小する全体画像変倍手段を有すること、を特徴とする請求項1に記載の画像変換装置。
【請求項3】
前記画像変倍手段は、前記部分画像を変倍する部分画像変倍手段を有すること、を特徴とする請求項1または請求項2に記載の画像変換装置。
【請求項4】
前記部分画像変倍手段は前記部分画像を、前記画像合成手段によって合成される入力画像中の前記特定の映像オブジェクトでない他の映像オブジェクトとの接合部において当該他の映像オブジェクトと同じ変倍率とし、当該接合部から遠ざかるほど変倍率が大きくなるように非線形変倍した変倍部分画像を作成するとともに、前記画像合成手段は前記接合部を基準点として、前記変倍部分画像と画像対をなす全体画像と当該変倍部分画像とを合成すること、を特徴とする請求項3に記載の画像変換装置。
【請求項5】
前記映像オブジェクト選定手段は、前記映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から、それぞれ予め定められた条件に適合する映像オブジェクトを前記特定の映像オブジェクトの候補として決定する複数の決定論理手段と、前記複数の決定論理手段によって決定された前記特定の映像オブジェクトの候補の中から、前記特定の映像オブジェクトを選定する対象選定手段と、を備えたことを特徴とする請求項1ないし請求項4の何れか一項に記載の画像変換装置。
【請求項6】
入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換するために、コンピュータを、
前記入力画像から1種類以上の所定種別の映像オブジェクトを検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する映像オブジェクト検出手段、
前記映像オブジェクト検出手段によって検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを前記特定の映像オブジェクトとして選定する映像オブジェクト選定手段、
前記入力画像から前記特定の映像オブジェクトが含まれる部分画像を切り出す部分画像切り出し手段、
前記入力画像または前記部分画像の少なくとも一方を変倍して、前記入力画像の全体領域に対して前記部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を生成する画像変倍手段、
前記画像対をなす全体画像と部分画像とを合成する画像合成手段、
として機能させることを特徴とする画像変換プログラム。
【請求項7】
入力画像を、当該入力画像中の特定の映像オブジェクトを相対的に拡大した画像に変換する画像変換方法であって、
前記入力画像から1種類以上の所定種別の映像オブジェクトを映像オブジェクト検出手段により検出して、検出した映像オブジェクト毎に当該検出した映像オブジェクトの種別を含む種別情報と検出した位置を示す位置情報とを出力する映像オブジェクト検出ステップと、
前記映像オブジェクト検出ステップにおいて検出された映像オブジェクトの種別情報と位置情報とに基づき、前記検出された映像オブジェクトの中から予め定められた条件に適合する映像オブジェクトを映像オブジェクト選定手段により前記特定の映像オブジェクトとして選定する映像オブジェクト選定ステップと、
前記入力画像から前記特定の映像オブジェクトが含まれる部分画像を部分画像切り出し手段により切り出す部分画像切り出しステップと、
前記入力画像または前記部分画像の少なくとも一方を変倍して、前記入力画像の全体領域に対して前記部分画像が相対的に拡大された関係となる全体画像と部分画像とからなる画像対を画像変倍手段により生成する画像変倍ステップと、
前記画像対をなす入力画像と部分画像とを画像合成手段により合成する画像合成ステップと、
を含むことを特徴とする画像変換方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−50601(P2010−50601A)
【公開日】平成22年3月4日(2010.3.4)
【国際特許分類】
【出願番号】特願2008−211535(P2008−211535)
【出願日】平成20年8月20日(2008.8.20)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
【公開日】平成22年3月4日(2010.3.4)
【国際特許分類】
【出願日】平成20年8月20日(2008.8.20)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
[ Back to top ]