画像処理装置
【課題】
顔を確認できるように解像度を下げる。
【解決手段】
画像入力回路(100)が、処理対象の画像データを入力する。顔検出回路(109)は画像入力回路(100)により入力される画像データから顔を検出し、顔認識回路(110)は、顔を認識する。縮小領域決定回路(107)は、顔検出手回路(110)より検出される顔のサイズに従い、入力画像の抽出領域を決定する。縮小回路(106)は、縮小領域決定回路(107)で決定される抽出領域の画像から目的解像度の縮小画像を生成する。
顔を確認できるように解像度を下げる。
【解決手段】
画像入力回路(100)が、処理対象の画像データを入力する。顔検出回路(109)は画像入力回路(100)により入力される画像データから顔を検出し、顔認識回路(110)は、顔を認識する。縮小領域決定回路(107)は、顔検出手回路(110)より検出される顔のサイズに従い、入力画像の抽出領域を決定する。縮小回路(106)は、縮小領域決定回路(107)で決定される抽出領域の画像から目的解像度の縮小画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高解像度画像から低解像度の縮小画像を生成する画像処理装置に関する。
【背景技術】
【0002】
近年、デジタルビデオカメラ等の動画像データを記録再生できる装置で、HD(High Definition)等の高解像度の動画像データを撮影し、記録再生できる装置がある。
【0003】
HDやそれ以上の高解像度で撮影して記録された動画像データを視聴する場合、撮影した装置の表示装置で視聴することが考えられる。しかし、携帯機器に付属する表示装置は画面が小さいので、一般的には、HD対応のTV等を接続して視聴する。
【0004】
しかし、TVによっては低解像度(SD:Standard Definition)にのみ対応するTVもある。SD解像度のTVに接続した場合は、HD解像度の画像データをSD解像度の画像データにダウンコンバートして、SD対応のTVに入力する必要がある。
【0005】
最近では、PC(Personal Computer)に動画像データを転送し、PCで視聴することもある。
【0006】
インターネット等の回線を介してサーバに動画像データをアップロードし、サーバの動画像データをPCや携帯端末等にダウンロードして再生して視聴することもある。
【0007】
このように、高解像度で撮影した動画像データを再生して視聴する環境は多様であり、高解像度で撮影しても、撮影時の高解像度のまま再生視聴されるとは限らない。
【0008】
高解像度(HD)のTVに接続して再生視聴する場合を除くと、一般的には、伝送帯域の制限と表示装置の解像度の制限から、低解像度の動画像データに変換して再生視聴されることが多い。
【0009】
高解像度の動画像データを低解像度の動画像データに変換して表示する場合、図19に示すように、低解像度画像の画角に合わせて高解像度画像の一部を切り出し、切り出した画像データを低解像度に縮小する。または、図20に示すように、高解像度画像の全体を低解像度画像の画角に収まるように縮小し、データの無い部分に黒データを埋める。
【0010】
しかし、図19及び図20に示すような方法では、人物等が小さく撮影されている場合に、変換後の低解像度画像上で人物の顔を認識できなくなる。
【0011】
特許文献1には、入力画像の全体を低解像度化するか、その一部を切り出すかをユーザに選択させる技術が記載されている。すなわち、MPEG符号化におけるマクロブロックの動きベクトルが大きい領域を検出して抽出領域とし、ユーザには、抽出領域を切り出して出力画像を生成することを選択可能とする。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2005−341093号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
撮影状況を想定すると、撮影者は撮影している対象(人物等)とその周辺環境も含めて撮影することが多い。そのような状況では、低解像度化後であっても、対象がきれいにわかるだけではなく、その場の風景、雰囲気もある程度わかるように変換されるのが望ましい。
【0014】
特許文献1に記載の技術では、元の高精細画像全体を縮小するか、抽出領域を切り出すかの選択しかない。従って、対象がある程度高精細に維持しつつ、その周辺も認識しやすいような低解像度画像を生成することができない。
【0015】
また、抽出領域を簡単に変更できないので、人物が動いたり、カメラがパンしたりした場合や、カメラがズームなどして人物の大きさが変わってしまった場合などに対応できない。抽出領域をユーザが選択するのも煩雑である。
【0016】
本発明は、このような問題点を解決し、対象物(人物)の解像度を保持しつつも周囲の様子を識別しやすいように高解像度画像から縮小画像を生成する画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【0017】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力される画像から顔を検出する顔検出手段と、前記顔検出手段により検出される前記顔に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段とを具備し、前記領域決定手段は、前記顔検出手段で検出される顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定することを特徴とする。
【0018】
本発明に係る画像処理装置は、画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力手段と、前記顔情報に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段とを具備し、前記領域決定手段は、前記顔情報が示す顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定することを特徴とする。
【発明の効果】
【0019】
本発明によれば、入力画像から、そこに含まれる人物の顔を含みつつ、見やすい縮小画像を自動生成できる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施例の概略構成ブロック図である。
【図2】本実施例の動作フローチャートを示す。
【図3】第1実施例の処理例である。
【図4】第1実施例のアスペクト比が異なる場合の処理例である。
【図5】第2実施例の動作フローチャートである。
【図6A】図5の切出し位置決定処理の詳細なフローチャートである。
【図6B】図5の切出し位置決定処理の詳細なフローチャートである。
【図7】図6A及び図6Bの説明例である。
【図8】図6A及び図6Bの別の説明例である。
【図9】図3の、画面間での相対位置に依存する説明例である。
【図10】符たる人物のフレーム間の位置の説明図である。
【図11】図6A及び図6Bの、人物が追加される場合の説明例である。
【図12】本実施例の第3の動作フローチャートを示す。
【図13】図12の切出し位置決定処理の詳細なフローチャートである。
【図14】図13の説明例である。
【図15】図13の説明例である。
【図16】図13の説明例である。
【図17】図13の説明例である。
【図18】図13の説明例である。
【図19】従来の解像度変換の説明例である。
【図20】従来の解像度変換の説明例である。
【発明を実施するための形態】
【0021】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例1】
【0022】
図1は、本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。100は、不図示のカメラ又は他の機器から画像データを入力する画像データ入力回路である。101は動画像データをMPEG−2等の動画圧縮符号化方式で符号化をする符号化回路である。102は圧縮符号化された動画像データを復号化する復号化回路である。103は、復号化した動画像データ及び符号化した動画像データ等を一時記憶し、各回路のワーク領域として機能するメモリである。
【0023】
104は記録媒体105に符号化動画像データを記録し、再生する記録再生回路である。106は、動画像データの各画像を低解像度化、すなわち、縮小する縮小回路である。107は動画像データの各画像を縮小する際の縮小領域(又は縮小対象となる抽出領域)を決定する縮小領域決定回路である。108は再生された動画像データを表示する表示回路である。
【0024】
109は動画像データの顔検出を行なう顔検出回路である。110は動画像データの顔認識を行う顔認識回路である。
【0025】
111は各ブロックを制御する制御回路である。112はユーザの操作情報等が入力される入力端子である。113は動画像データを外部に出力するIF回路である。
【0026】
図2は、本実施例の動作フローチャートを示す。図2を参照して、本実施例の動作を説明する。
【0027】
ユーザから入力端子112を介して高解像度画像から低解像度画像への変換要求がくると、S201で、制御回路111は、図2に示す制御フローをスタートする。S202で、制御回路111は変換後の画像の解像度Dsizeを取得する。
【0028】
S203で、制御回路111は、記録媒体105から元画像である高解像度動画像データを再生する。すなわち、記録再生回路104は、元画像である高解像度動画像データと再生に必要な付随情報等を記録媒体105から読み出し、メモリ103に格納する。
【0029】
S204で、制御回路111は、メモリ103に記憶された元画像データの付随情報から元画像データの解像度Ssizeを取得する。
【0030】
S205で、制御回路111は、元画像と変換後の画像の解像度から縮小率Raを
Ra=Dsize/Ssize
で計算する。元画像と変換後の画像のアスペクト比が異なる場合は、変換後のアスペクト比で切り出せる最大サイズから縮小率Raを決定する。
【0031】
S206で、制御回路111は、再生される元画像データに顔情報があるか否かを確認する。これは、元画像データの記録の際に、顔情報が認識され付随情報として元画像データに記録されている場合は、その顔情報を利用する。記録時に顔情報が記録されていない場合、制御回路111は、顔検出回路109に顔を検出させる。すなわち、復号回路102が、記録媒体105から読み出されメモリ103に記憶された圧縮動画像データを復号化する。そして、顔検出回路109が、復号化された動画像データの各画像データ(元画像データ)から目、鼻及び口などの特徴を抽出することで顔を検出する。
【0032】
顔情報がない場合、S215に進み、顔情報が付加されている場合、S207に進む。
【0033】
S207で、制御回路111は、元画像データで検出された顔の数、位置及びサイズを取得する。さらに、制御回路111は、顔認識回路110を使って、その顔が誰であるかの認識情報を取得する。もちろん、記録時に顔認識情報が画像データに付加されて記録されている場合、その顔認識情報を利用する。顔認識回路110は、人物の顔の目、鼻、口、大きさ及び配置等の特徴量を、予め各人について登録した特徴量のデータベースと照合することで、人物を特定し認識する。
【0034】
さらに、制御回路111は、主たる顔を一つ特定し、顔サイズSFsize(S)を決定する。主たる顔の決定法として、以下の方法が考えられる。すなわち、(1)予め記録されている顔がある場合は、その顔を主たる顔とする。(2)検出される顔が一人である場合はその顔を主たる顔とする。(3)顔認識された場合はその顔を主たる顔とする。(4)複数の顔が認識され、優先度が付いている場合には、優先度の高い顔を主たる顔とする。(5)複数の顔が認識されるが、優先度が付いていない場合は、一番大きい顔を主たる顔とする。(6)何れの顔も認識されない場合、画面の中央に近い顔又は一番サイズの大きい顔を主たる顔とする。制御回路111は、このように決定した主たる顔の人物を主被写体とし、顔サイズSFsize(S)を決定する。但し、(5)のケースでは、認識された一番小さいサイズで映っている顔のサイズを顔サイズSFsize(S)とする。また、(6)のケースでは、顔検出されたサイズ順の中央値にくる顔のサイズを顔サイズSFsize(S)とする。
【0035】
S208で、制御回路111は、変換後の画像データの解像度Dsizeに対し、顔検出回路109で検出可能な顔最小サイズDFmin、すなわち顔検出可能サイズを決定する。そして、制御回路111は縮小領域決定回路107を制御して、元画像の主被写体を縮小しても顔検出できる限界縮小率Rb
Rb=DFmin/SFsize(S)
を計算させる。
【0036】
S209で、制御回路111は、元画像データ全体を縮小した場合の縮小率Raと、S208で求めた限界縮小率Rbを比較し、RbがRa以下の場合はS215に進み、RbがRaより大きい場合はS210に進む。
【0037】
S210で、制御回路111は、元画像において縮小後でも顔検出可能な領域の大きさMasizeを下記式
Masize=Dsize/Rb
に従いを算出する。
【0038】
S211で、制御回路111は、図3に示すように、元画像に対して、領域Ma(大きさMasize)の切出し位置pを決定する。図5(A)(1)は、元画像を示し、同(2)はリサイズ後の画像(縮小画像)を示す。例えば、主たる顔(図3の場合は人物A)が領域Maの中心に来るように、切出し位置pを決定する。
【0039】
S212で、制御回路111は、縮小領域決定回路107で決定した切出し位置p及び大きさMasizeの情報をもとに縮小回路106を制御する。すなわち、縮小回路106は、メモリ103の元画像データから切出し位置p及び大きさMasizeの縮小領域Maの画像データを切り出し、限界縮小率Rbでリサイズして変換後の画像データ(縮小画像データ)を作成する。図3(2)は、図3(1)に示す元画像に対する縮小画像例を示す。縮小回路106は、作成した変換後の画像データをメモリ103にする。制御回路111は、S213に進む。
【0040】
S215では、制御回路111は、元画像全体を縮小して変換後の画像を作成する。元画像と変換後の画像でアスペクト比が異なる場合、図4に示すように、変換後の画像のアスペクト比で、元画像の全体から切り出せる最大の領域Mbのサイズを求める。図4(1)は元画像を示し、同(2)は変換後の画像又は切り出した縮小画像を示す。元画像の中心位置に合うように、また、顔がある場合は、主たる顔が中心にくるように、切り出し、圧縮率Raでリサイズする。制御回路111は、変換後の画像データをメモリ103に格納し、S213に進む。
【0041】
S213で、制御回路111は、メモリ103の変換後の画像データを符号化回路101に符号化させ、圧縮画像データをメモリ103に格納させる。制御回路111は、記録再生回路104を制御して、メモリ103の圧縮画像データを記録媒体105に記録させる。制御回路111はまた、メモリ103の圧縮画像データを、IF回路113を介して別の記録装置、再生装置又はサーバ等に転送する。
【0042】
S214で、制御回路111は、記録媒体105に未再生の動画像データがまだあるかどうかを確認し、再生すべき動画像データがある場合はS203に戻り、無い場合は処理を終了する。
【0043】
元画像として記録媒体105の記録画像データを使用したが、画像入力回路100で入力されるカメラ等で撮影された画像データを元画像としてもよい。
【0044】
以上、説明したように、元画像データである高解像度画像を低解像度画像に変換する際に、ユーザによる面倒な操作無しで、注目すべき人物(の顔)部分を、変換後でも認識可能な程度以上に高画質にできる。また、撮影者の意図した画角をなるべく保持する縮小画像を生成できる。
【実施例2】
【0045】
図5は、本実施例の別の動作フローチャートを示す。図2と同じ処理手順には、同じ符号を付してある。
【0046】
図2との相違部分を詳細に説明する。具体的には、ステップS211の処理に代えて、ステップS230bを実行する。
【0047】
S230bで、縮小領域決定回路107は、主たる顔と、それ以外の認識された顔との位置関係から、縮小に使用する領域Maの切出し位置pを決定する。図6A及び図6Bは、S230bの詳細なフローチャートを示す。
【0048】
S302で、制御回路111は、S207で取得した認識済み顔のサイズと位置情報を登録する。
【0049】
S303で、制御回路111は、再生開始時かどうかを判断する。
【0050】
再生開始時の場合、制御回路111は、S304で、変数n=0をセットし、再生時間を管理する変数Ss,Scに0を代入し、S305に進む。
【0051】
S305で、制御回路111は、図7に示すように、大きさMasize(t0)の切り出しに対して、主たる人物(人物A)が中心になるように切出し位置p(t0)を決定し、p=p(t0)とする。図7(1)は元画像を示し、同(2)は切り出した画像、すなわちリサイズ後の縮小画像を示す。
【0052】
S306では、制御回路111は、切出し位置p(t0)で切り出した領域Ma(t0)に入る認識済み人物を人物群Ha(t0)として登録する。また、制御回路111は、領域Ma(t0)に入っていない認識済み人物を人物群Hb(t0)として登録する。図7に示す例では、Ha(t0)={人物A、人物C、人物D}、Hb(t0)={人物B}である。
【0053】
S307で、制御回路111は、主たる人物の領域Ma(t0)内での相対的位置をPa(t0)として記憶する。図7に示す例では、主たる人物は人物Aである。従って、
Pa(t0)={Ma(xt0)/2/Ma(xt0),Ma(yt0)/2/Ma(yt0)}={0.5,0.5}
となる。この後、図5のステップS212に戻る。
【0054】
S212以降は、実施例1と同様に、切出し位置pで切り出してリサイズし、図7(2)に示すような縮小画像が得られる。S212以降は、実施例1と同様である。
【0055】
S303で再生開始時でない場合、制御回路111は、S308で、変数nをインクリメントし、Scに現在の再生時間(再生開始からの経過時間)を代入する。
【0056】
S309で、制御回路111は、Sc−Ss<Tかどうか判定する。Tは予め設定された閾値である。差がTより小さい場合、S310に進み、そうでない場合、S318に進む。
【0057】
S310で、制御回路111は、今回認識した人物の中で、前回の領域Ma(tn−1)に入っていた人物(人物群Ha(tn−1))にも登録されている人物を検索し、人物群Ha’(tn)として登録する。図8に示す例では、人物群Ha(tn−1)に登録されていた人物A,C,Dを見つけるので、これらを人物群Ha’(tn)として登録する。
【0058】
S311で、制御回路111は、主たる人物が領域Ma(tn)内に収まって、さらに人物群Ha’(tn)が領域Ma(tn)内に収まる切出し位置を求め、仮切出し位置p’(tn)とする。
【0059】
S312で、制御回路111は、切出し位置p’(tn)で切り出した時の領域Ma(tn)内の主たる人物(人物A)の相対的位置Pa’(tn)={α’(tn)、β’(tn)}を求める。S313で、制御回路111は、図9に例示するように、前回の主たる人物の領域Ma(tn−1)での相対的切出し位置Pa(tn−1)と、今回の領域Ma(tn)での相対的位置Pa’(tn)の距離を比較する。そして、
|Pa’(tn)−Pa(tn−1)|<δ
において、距離がδ以内であれば、S314に進み、そうでなければ、S321に進む。δは予め決められた閾値である。
【0060】
S314で、制御回路111は、主たる人物(人物A)の領域Ma(tn)内での相対的な位置Pa(tn)を
Pa(tn)=Pa’(tn)
として記憶する。
【0061】
S315で、制御回路111は、主たる人物の領域Ma(tn)内の相対的位置Pa(tn)から切出し位置p(tn)を求める。すなわち、
p=p(tn)
とする。
【0062】
S316で、制御回路111は、決定した切出し位置pでの領域Ma(tn)内に入っている認識済み人物を人物群Ha(tn)として登録し、領域Ma(tn)内に入っていない認識済み人物を人物群Hb(tn)として登録する。図8に示す例では、Ha(tn)={人物A,人物C,人物D}、Hb(tn)={人物B}である。
【0063】
以後、制御回路111は、S212に戻り、先に説明したのと同様の処理を実行する。
【0064】
S313で、距離|Pa’(tn)−Pa(tn−1)|がδ以上である場合、制御回路111は、S321で、図10に示すように、主たる人物の領域Ma(tn)での相対的位置を
Pa(tn)={q(α(tn)’-α(tn-1)),q(β(tn)’-β(tn-1))}
と記憶する。ここでqは、
q=δ/((α(tn)’-α(tn-1))2+(β(tn)’-β(tn-1))2)1/2
である。
【0065】
S309でSc−SsがT以上である場合、制御回路111は、S318で、Ssに現在の再生開始からの経過時間Scを代入する。
【0066】
S319で、制御回路111は、認識した人物の中から前回の領域Ma(tn−1)に入っていた人物群Ha(tn−1)にはいない人物を検索し、主たる人物と共に人物群Ha’(tn)として登録する。図11に示す例では、Ha’(tn)={人物A,人物B}と登録される。
【0067】
S320で、制御回路111は、S311と同様に、主たる人物Aが領域Ma(tn)内に収まり、さらに人物群Ha’(tn)が領域Ma(tn)内に収まる仮りの切出し位置p(tn)を求める。S311の処理と異なるのは、主たる人物Aと、前フレームでの切り出し領域Ma(tn−1)内には入っていなかった人物Bが領域Ma(tn)に入るようにすることである。
【0068】
以後、制御回路111は、S212に戻り、先に説明したのと同様の処理を実行する。
【0069】
このように、本実施例では、元画像で認識される顔のサイズと、変換後の解像度で顔検出できる最小サイズとから元画像の縮小領域を決定し、主たる人物が入るように領域を切り出す。
【0070】
切り出した画角に入る認識された顔を記憶し、所定の時間間隔でその時のフレームで認識された顔の中で、過去に切り出した画角に入らなかった顔がある場合は、当該顔が主たる顔と共に画角に入るように切出し位置を決定する。これにより、高解像度の動画像データから、対象人物(顔)の解像度を保持しつつ周辺の人物(顔)も認識できるような縮小画像の動画像データを生成できる。
【0071】
また、所定時間間隔Tで切出し位置を見直し、それ以外は切り出し後の主たる人物の相対的位置を大きく変動しないようにすることで、動画像としての連続性も保てるようになり、視聴して違和感のない動画像が得られる。
【実施例3】
【0072】
図12は、本実施例の第3の動作フローチャートを示す。図2と同じ処理手順には、同じ符号を付してある。
【0073】
図2との相違部分を詳細に説明する。具体的には、ステップS211の処理に代えて、ステップS260cを実行する。
【0074】
S260cで、縮小領域決定回路107は、主たる顔とそれ以外に認識された顔の位置関係から縮小に使う領域Maの切出し位置pを決定する。図13は、ステップS260cの詳細なフローチャートを示す。
【0075】
S402で、制御回路111は、再生開始時かどうかを判断し、再生開始時であればS403に進み、再生開始時でなければS405に進む。
【0076】
S403で、制御回路111は、変数n、及び再生時間を管理する変数Sr,Sqに0を代入し、切り出し領域Maに入った人物を管理する管理テーブルHsを初期化する。
【0077】
S404で、制御回路111は、認識された人物の顔位置及びサイズ情報をHf(t0)として登録する。図14は、再生開始時の例を示す。この場合、Hf(t0)={人物A,人物B,人物C,人物D}となる。
【0078】
S408で、制御回路111は、主たる人物が領域Ma内に収まる切出し位置pを決定する。例えば、図14に示す例では、主たる人物Aが切出し領域Maの中心に来るように切出し位置pを決定する。図14(1)は元画像を示し、同(2)は縮小後の変換後画像を示す。以後、制御回路111は、S212に戻り、先に説明したのと同様の処理を実行し、図14(2)に示す縮小画像が得られる。
【0079】
S402で再生開始時では無い場合、制御回路111は、S405で、変数nをインクリメントし、再生開始からの経過時間を取得して、再生時間を管理する変数Sqに記憶する。
【0080】
S406で、制御回路111は、認識された人物の顔位置及びサイズ情報をHf(tn)として登録する。
【0081】
S407で、制御回路111は、再生時間の経過条件と人物条件を判定する。再生時間の経過条件は、再生時の経過時間(Sq−Sr)が予め設定された所定時間Sを越えたかどうか(Sq−Sr>S)である。人物条件は、1フレーム前の認識人物情報Hf(tn−1)に対し現在の認識人物情報Hf(tn)に新規の人物がいるかどうかである。再生時間の経過条件と人物条件の何れも満たされない場合には、S408に進み、どちらかを満たす場合、S409に進む。
【0082】
S408に進んだ場合は、先に説明したのと同様に処理される。
【0083】
S409では、制御回路111は、現フレームをまずポーズし、S410に進む。S410で、制御回路111は、切出し領域Maに入った人物を管理する管理テーブルHsに登録されている人物がいるかどうか判断する。登録されている人物がいない場合、S411に進み、登録されている人物がいる場合、S413に進む。
【0084】
S411では、制御回路111は、主たる人物が領域Ma内に収まる切出し位置pを求める。図15に示す例では、主たる人物Aが切出し領域Maの中心に来るように切出し位置pが決定される。
【0085】
S412で、制御回路111は、決定した切出し位置pによる領域Maに入っている認識済み人物をHsに追加登録する。図15に示す例では、Hs={人物A}である。以後、制御回路111は、S212に戻り、上述した実施例1,2と同様の処理をして、図15(2)に示す縮小画像を得る。
【0086】
S413で、制御回路111は、Hsに登録されている人物が、現在のフレーム内で認識されている人物(Hf(tn))と全て一致するかどうかを判断する。全て一致する場合、S415に進み、いずれか一人でも一致しない場合、S414に進む。
【0087】
S414では、制御回路111は、現フレームで認識されている人物Hf(tn)と過去に領域Ma内に入った人物を管理する管理テーブルHsにある人物とを比較する。そして、制御回路111は、Hf(tn)にあってHsにいない人物を検索し、その人物が領域Maに入るように切出し位置pを決定する。図16に示す例では、Hs={人物A}、Hf(tn)={人物A,人物B,人物C,人物D}であるとする。このとき、制御回路111は、人物B、C又はDが領域Maに入るように切出し位置pを決定する。例えば、主たる人物Aの左側から左回りに検索して、まず人物Bを選び、人物Bが領域Maに入るように切出し位置pを決める。そしてS412に進む。
【0088】
S412で、制御回路111は、決定した切出し位置pでの領域Maに入っている人物をHsに追加登録する。図16に示す例では、Hs={人物A,人物B}となる。以後、制御回路111は、S212に戻り、上述した実施例1,2と同様の処理をして、図16(2)に示す縮小画像を得る。
【0089】
図17に示す例ではHs={人物A,人物B}、Hf(tn)={人物A,人物B,人物C,人物D}となっている。上述のように、S414では、制御回路111は、図17に示す例に対し、人物C又はDが領域Ma内に入るように切出し位置pを決定する。S412で、制御回路111は、S414で決定した切出し位置pでの領域Maに入っている人物をHsに追加登録する。図17に示す例では、Hs={人物A,人物B,人物C,人物D}となる。
【0090】
ステップS413からステップS415に進んだ場合、ステップS415で、制御回路111は、図18に示すように、主たる人物(人物A)が領域Ma内に収まる切出し位置pを求める。例えば、制御回路111は、主たる人物Aが切り出し領域Maの中心に来るように切出し位置pを決定する。つまり、図15に示すようなポーズに入った時の切出し位置と同じになる。S416で、制御回路111は、Srに記憶している再生時間SrにSqを代入し、切り出し領域Maに入った人物を管理する管理テーブルHsを初期化する。S417で、制御回路111はポーズを解除し、S418に進む。以後、制御回路111は、S212に戻り、上述した実施例1,2と同様の処理をして、図18(2)に示す縮小画像を得る。
【0091】
再生開始時には主たる顔の人物を中心にして切り出すようにして再生を始めるようにしたが、再生開始時はポーズから始めてもよい。その場合は、ステップS404の後にステップS409に進むようにする。また、ポーズの表示時間をユーザに設定できるようにしてもよい。
【0092】
以上、説明したように、基本的には、記録時又は再生時に検出された顔情報と認識された顔認識情報に従い、主たる人物の顔が入るように、元画像の切出し領域を決定する。更には、フレーム毎に新規な顔が検出されるか、又は、所定時間の経過により間隔が経過することで再生画像をポーズする。そして、既存の切出し領域に入らない新規な顔がある場合に、切出し範囲を変更する。このような処理により、高解像度の動画像から人物の顔部分の解像度を保持しつつ、周辺の人物(顔)も認識できるような縮小画像データを生成できる。
【技術分野】
【0001】
本発明は、高解像度画像から低解像度の縮小画像を生成する画像処理装置に関する。
【背景技術】
【0002】
近年、デジタルビデオカメラ等の動画像データを記録再生できる装置で、HD(High Definition)等の高解像度の動画像データを撮影し、記録再生できる装置がある。
【0003】
HDやそれ以上の高解像度で撮影して記録された動画像データを視聴する場合、撮影した装置の表示装置で視聴することが考えられる。しかし、携帯機器に付属する表示装置は画面が小さいので、一般的には、HD対応のTV等を接続して視聴する。
【0004】
しかし、TVによっては低解像度(SD:Standard Definition)にのみ対応するTVもある。SD解像度のTVに接続した場合は、HD解像度の画像データをSD解像度の画像データにダウンコンバートして、SD対応のTVに入力する必要がある。
【0005】
最近では、PC(Personal Computer)に動画像データを転送し、PCで視聴することもある。
【0006】
インターネット等の回線を介してサーバに動画像データをアップロードし、サーバの動画像データをPCや携帯端末等にダウンロードして再生して視聴することもある。
【0007】
このように、高解像度で撮影した動画像データを再生して視聴する環境は多様であり、高解像度で撮影しても、撮影時の高解像度のまま再生視聴されるとは限らない。
【0008】
高解像度(HD)のTVに接続して再生視聴する場合を除くと、一般的には、伝送帯域の制限と表示装置の解像度の制限から、低解像度の動画像データに変換して再生視聴されることが多い。
【0009】
高解像度の動画像データを低解像度の動画像データに変換して表示する場合、図19に示すように、低解像度画像の画角に合わせて高解像度画像の一部を切り出し、切り出した画像データを低解像度に縮小する。または、図20に示すように、高解像度画像の全体を低解像度画像の画角に収まるように縮小し、データの無い部分に黒データを埋める。
【0010】
しかし、図19及び図20に示すような方法では、人物等が小さく撮影されている場合に、変換後の低解像度画像上で人物の顔を認識できなくなる。
【0011】
特許文献1には、入力画像の全体を低解像度化するか、その一部を切り出すかをユーザに選択させる技術が記載されている。すなわち、MPEG符号化におけるマクロブロックの動きベクトルが大きい領域を検出して抽出領域とし、ユーザには、抽出領域を切り出して出力画像を生成することを選択可能とする。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2005−341093号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
撮影状況を想定すると、撮影者は撮影している対象(人物等)とその周辺環境も含めて撮影することが多い。そのような状況では、低解像度化後であっても、対象がきれいにわかるだけではなく、その場の風景、雰囲気もある程度わかるように変換されるのが望ましい。
【0014】
特許文献1に記載の技術では、元の高精細画像全体を縮小するか、抽出領域を切り出すかの選択しかない。従って、対象がある程度高精細に維持しつつ、その周辺も認識しやすいような低解像度画像を生成することができない。
【0015】
また、抽出領域を簡単に変更できないので、人物が動いたり、カメラがパンしたりした場合や、カメラがズームなどして人物の大きさが変わってしまった場合などに対応できない。抽出領域をユーザが選択するのも煩雑である。
【0016】
本発明は、このような問題点を解決し、対象物(人物)の解像度を保持しつつも周囲の様子を識別しやすいように高解像度画像から縮小画像を生成する画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【0017】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力される画像から顔を検出する顔検出手段と、前記顔検出手段により検出される前記顔に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段とを具備し、前記領域決定手段は、前記顔検出手段で検出される顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定することを特徴とする。
【0018】
本発明に係る画像処理装置は、画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力手段と、前記顔情報に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段とを具備し、前記領域決定手段は、前記顔情報が示す顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定することを特徴とする。
【発明の効果】
【0019】
本発明によれば、入力画像から、そこに含まれる人物の顔を含みつつ、見やすい縮小画像を自動生成できる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施例の概略構成ブロック図である。
【図2】本実施例の動作フローチャートを示す。
【図3】第1実施例の処理例である。
【図4】第1実施例のアスペクト比が異なる場合の処理例である。
【図5】第2実施例の動作フローチャートである。
【図6A】図5の切出し位置決定処理の詳細なフローチャートである。
【図6B】図5の切出し位置決定処理の詳細なフローチャートである。
【図7】図6A及び図6Bの説明例である。
【図8】図6A及び図6Bの別の説明例である。
【図9】図3の、画面間での相対位置に依存する説明例である。
【図10】符たる人物のフレーム間の位置の説明図である。
【図11】図6A及び図6Bの、人物が追加される場合の説明例である。
【図12】本実施例の第3の動作フローチャートを示す。
【図13】図12の切出し位置決定処理の詳細なフローチャートである。
【図14】図13の説明例である。
【図15】図13の説明例である。
【図16】図13の説明例である。
【図17】図13の説明例である。
【図18】図13の説明例である。
【図19】従来の解像度変換の説明例である。
【図20】従来の解像度変換の説明例である。
【発明を実施するための形態】
【0021】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例1】
【0022】
図1は、本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。100は、不図示のカメラ又は他の機器から画像データを入力する画像データ入力回路である。101は動画像データをMPEG−2等の動画圧縮符号化方式で符号化をする符号化回路である。102は圧縮符号化された動画像データを復号化する復号化回路である。103は、復号化した動画像データ及び符号化した動画像データ等を一時記憶し、各回路のワーク領域として機能するメモリである。
【0023】
104は記録媒体105に符号化動画像データを記録し、再生する記録再生回路である。106は、動画像データの各画像を低解像度化、すなわち、縮小する縮小回路である。107は動画像データの各画像を縮小する際の縮小領域(又は縮小対象となる抽出領域)を決定する縮小領域決定回路である。108は再生された動画像データを表示する表示回路である。
【0024】
109は動画像データの顔検出を行なう顔検出回路である。110は動画像データの顔認識を行う顔認識回路である。
【0025】
111は各ブロックを制御する制御回路である。112はユーザの操作情報等が入力される入力端子である。113は動画像データを外部に出力するIF回路である。
【0026】
図2は、本実施例の動作フローチャートを示す。図2を参照して、本実施例の動作を説明する。
【0027】
ユーザから入力端子112を介して高解像度画像から低解像度画像への変換要求がくると、S201で、制御回路111は、図2に示す制御フローをスタートする。S202で、制御回路111は変換後の画像の解像度Dsizeを取得する。
【0028】
S203で、制御回路111は、記録媒体105から元画像である高解像度動画像データを再生する。すなわち、記録再生回路104は、元画像である高解像度動画像データと再生に必要な付随情報等を記録媒体105から読み出し、メモリ103に格納する。
【0029】
S204で、制御回路111は、メモリ103に記憶された元画像データの付随情報から元画像データの解像度Ssizeを取得する。
【0030】
S205で、制御回路111は、元画像と変換後の画像の解像度から縮小率Raを
Ra=Dsize/Ssize
で計算する。元画像と変換後の画像のアスペクト比が異なる場合は、変換後のアスペクト比で切り出せる最大サイズから縮小率Raを決定する。
【0031】
S206で、制御回路111は、再生される元画像データに顔情報があるか否かを確認する。これは、元画像データの記録の際に、顔情報が認識され付随情報として元画像データに記録されている場合は、その顔情報を利用する。記録時に顔情報が記録されていない場合、制御回路111は、顔検出回路109に顔を検出させる。すなわち、復号回路102が、記録媒体105から読み出されメモリ103に記憶された圧縮動画像データを復号化する。そして、顔検出回路109が、復号化された動画像データの各画像データ(元画像データ)から目、鼻及び口などの特徴を抽出することで顔を検出する。
【0032】
顔情報がない場合、S215に進み、顔情報が付加されている場合、S207に進む。
【0033】
S207で、制御回路111は、元画像データで検出された顔の数、位置及びサイズを取得する。さらに、制御回路111は、顔認識回路110を使って、その顔が誰であるかの認識情報を取得する。もちろん、記録時に顔認識情報が画像データに付加されて記録されている場合、その顔認識情報を利用する。顔認識回路110は、人物の顔の目、鼻、口、大きさ及び配置等の特徴量を、予め各人について登録した特徴量のデータベースと照合することで、人物を特定し認識する。
【0034】
さらに、制御回路111は、主たる顔を一つ特定し、顔サイズSFsize(S)を決定する。主たる顔の決定法として、以下の方法が考えられる。すなわち、(1)予め記録されている顔がある場合は、その顔を主たる顔とする。(2)検出される顔が一人である場合はその顔を主たる顔とする。(3)顔認識された場合はその顔を主たる顔とする。(4)複数の顔が認識され、優先度が付いている場合には、優先度の高い顔を主たる顔とする。(5)複数の顔が認識されるが、優先度が付いていない場合は、一番大きい顔を主たる顔とする。(6)何れの顔も認識されない場合、画面の中央に近い顔又は一番サイズの大きい顔を主たる顔とする。制御回路111は、このように決定した主たる顔の人物を主被写体とし、顔サイズSFsize(S)を決定する。但し、(5)のケースでは、認識された一番小さいサイズで映っている顔のサイズを顔サイズSFsize(S)とする。また、(6)のケースでは、顔検出されたサイズ順の中央値にくる顔のサイズを顔サイズSFsize(S)とする。
【0035】
S208で、制御回路111は、変換後の画像データの解像度Dsizeに対し、顔検出回路109で検出可能な顔最小サイズDFmin、すなわち顔検出可能サイズを決定する。そして、制御回路111は縮小領域決定回路107を制御して、元画像の主被写体を縮小しても顔検出できる限界縮小率Rb
Rb=DFmin/SFsize(S)
を計算させる。
【0036】
S209で、制御回路111は、元画像データ全体を縮小した場合の縮小率Raと、S208で求めた限界縮小率Rbを比較し、RbがRa以下の場合はS215に進み、RbがRaより大きい場合はS210に進む。
【0037】
S210で、制御回路111は、元画像において縮小後でも顔検出可能な領域の大きさMasizeを下記式
Masize=Dsize/Rb
に従いを算出する。
【0038】
S211で、制御回路111は、図3に示すように、元画像に対して、領域Ma(大きさMasize)の切出し位置pを決定する。図5(A)(1)は、元画像を示し、同(2)はリサイズ後の画像(縮小画像)を示す。例えば、主たる顔(図3の場合は人物A)が領域Maの中心に来るように、切出し位置pを決定する。
【0039】
S212で、制御回路111は、縮小領域決定回路107で決定した切出し位置p及び大きさMasizeの情報をもとに縮小回路106を制御する。すなわち、縮小回路106は、メモリ103の元画像データから切出し位置p及び大きさMasizeの縮小領域Maの画像データを切り出し、限界縮小率Rbでリサイズして変換後の画像データ(縮小画像データ)を作成する。図3(2)は、図3(1)に示す元画像に対する縮小画像例を示す。縮小回路106は、作成した変換後の画像データをメモリ103にする。制御回路111は、S213に進む。
【0040】
S215では、制御回路111は、元画像全体を縮小して変換後の画像を作成する。元画像と変換後の画像でアスペクト比が異なる場合、図4に示すように、変換後の画像のアスペクト比で、元画像の全体から切り出せる最大の領域Mbのサイズを求める。図4(1)は元画像を示し、同(2)は変換後の画像又は切り出した縮小画像を示す。元画像の中心位置に合うように、また、顔がある場合は、主たる顔が中心にくるように、切り出し、圧縮率Raでリサイズする。制御回路111は、変換後の画像データをメモリ103に格納し、S213に進む。
【0041】
S213で、制御回路111は、メモリ103の変換後の画像データを符号化回路101に符号化させ、圧縮画像データをメモリ103に格納させる。制御回路111は、記録再生回路104を制御して、メモリ103の圧縮画像データを記録媒体105に記録させる。制御回路111はまた、メモリ103の圧縮画像データを、IF回路113を介して別の記録装置、再生装置又はサーバ等に転送する。
【0042】
S214で、制御回路111は、記録媒体105に未再生の動画像データがまだあるかどうかを確認し、再生すべき動画像データがある場合はS203に戻り、無い場合は処理を終了する。
【0043】
元画像として記録媒体105の記録画像データを使用したが、画像入力回路100で入力されるカメラ等で撮影された画像データを元画像としてもよい。
【0044】
以上、説明したように、元画像データである高解像度画像を低解像度画像に変換する際に、ユーザによる面倒な操作無しで、注目すべき人物(の顔)部分を、変換後でも認識可能な程度以上に高画質にできる。また、撮影者の意図した画角をなるべく保持する縮小画像を生成できる。
【実施例2】
【0045】
図5は、本実施例の別の動作フローチャートを示す。図2と同じ処理手順には、同じ符号を付してある。
【0046】
図2との相違部分を詳細に説明する。具体的には、ステップS211の処理に代えて、ステップS230bを実行する。
【0047】
S230bで、縮小領域決定回路107は、主たる顔と、それ以外の認識された顔との位置関係から、縮小に使用する領域Maの切出し位置pを決定する。図6A及び図6Bは、S230bの詳細なフローチャートを示す。
【0048】
S302で、制御回路111は、S207で取得した認識済み顔のサイズと位置情報を登録する。
【0049】
S303で、制御回路111は、再生開始時かどうかを判断する。
【0050】
再生開始時の場合、制御回路111は、S304で、変数n=0をセットし、再生時間を管理する変数Ss,Scに0を代入し、S305に進む。
【0051】
S305で、制御回路111は、図7に示すように、大きさMasize(t0)の切り出しに対して、主たる人物(人物A)が中心になるように切出し位置p(t0)を決定し、p=p(t0)とする。図7(1)は元画像を示し、同(2)は切り出した画像、すなわちリサイズ後の縮小画像を示す。
【0052】
S306では、制御回路111は、切出し位置p(t0)で切り出した領域Ma(t0)に入る認識済み人物を人物群Ha(t0)として登録する。また、制御回路111は、領域Ma(t0)に入っていない認識済み人物を人物群Hb(t0)として登録する。図7に示す例では、Ha(t0)={人物A、人物C、人物D}、Hb(t0)={人物B}である。
【0053】
S307で、制御回路111は、主たる人物の領域Ma(t0)内での相対的位置をPa(t0)として記憶する。図7に示す例では、主たる人物は人物Aである。従って、
Pa(t0)={Ma(xt0)/2/Ma(xt0),Ma(yt0)/2/Ma(yt0)}={0.5,0.5}
となる。この後、図5のステップS212に戻る。
【0054】
S212以降は、実施例1と同様に、切出し位置pで切り出してリサイズし、図7(2)に示すような縮小画像が得られる。S212以降は、実施例1と同様である。
【0055】
S303で再生開始時でない場合、制御回路111は、S308で、変数nをインクリメントし、Scに現在の再生時間(再生開始からの経過時間)を代入する。
【0056】
S309で、制御回路111は、Sc−Ss<Tかどうか判定する。Tは予め設定された閾値である。差がTより小さい場合、S310に進み、そうでない場合、S318に進む。
【0057】
S310で、制御回路111は、今回認識した人物の中で、前回の領域Ma(tn−1)に入っていた人物(人物群Ha(tn−1))にも登録されている人物を検索し、人物群Ha’(tn)として登録する。図8に示す例では、人物群Ha(tn−1)に登録されていた人物A,C,Dを見つけるので、これらを人物群Ha’(tn)として登録する。
【0058】
S311で、制御回路111は、主たる人物が領域Ma(tn)内に収まって、さらに人物群Ha’(tn)が領域Ma(tn)内に収まる切出し位置を求め、仮切出し位置p’(tn)とする。
【0059】
S312で、制御回路111は、切出し位置p’(tn)で切り出した時の領域Ma(tn)内の主たる人物(人物A)の相対的位置Pa’(tn)={α’(tn)、β’(tn)}を求める。S313で、制御回路111は、図9に例示するように、前回の主たる人物の領域Ma(tn−1)での相対的切出し位置Pa(tn−1)と、今回の領域Ma(tn)での相対的位置Pa’(tn)の距離を比較する。そして、
|Pa’(tn)−Pa(tn−1)|<δ
において、距離がδ以内であれば、S314に進み、そうでなければ、S321に進む。δは予め決められた閾値である。
【0060】
S314で、制御回路111は、主たる人物(人物A)の領域Ma(tn)内での相対的な位置Pa(tn)を
Pa(tn)=Pa’(tn)
として記憶する。
【0061】
S315で、制御回路111は、主たる人物の領域Ma(tn)内の相対的位置Pa(tn)から切出し位置p(tn)を求める。すなわち、
p=p(tn)
とする。
【0062】
S316で、制御回路111は、決定した切出し位置pでの領域Ma(tn)内に入っている認識済み人物を人物群Ha(tn)として登録し、領域Ma(tn)内に入っていない認識済み人物を人物群Hb(tn)として登録する。図8に示す例では、Ha(tn)={人物A,人物C,人物D}、Hb(tn)={人物B}である。
【0063】
以後、制御回路111は、S212に戻り、先に説明したのと同様の処理を実行する。
【0064】
S313で、距離|Pa’(tn)−Pa(tn−1)|がδ以上である場合、制御回路111は、S321で、図10に示すように、主たる人物の領域Ma(tn)での相対的位置を
Pa(tn)={q(α(tn)’-α(tn-1)),q(β(tn)’-β(tn-1))}
と記憶する。ここでqは、
q=δ/((α(tn)’-α(tn-1))2+(β(tn)’-β(tn-1))2)1/2
である。
【0065】
S309でSc−SsがT以上である場合、制御回路111は、S318で、Ssに現在の再生開始からの経過時間Scを代入する。
【0066】
S319で、制御回路111は、認識した人物の中から前回の領域Ma(tn−1)に入っていた人物群Ha(tn−1)にはいない人物を検索し、主たる人物と共に人物群Ha’(tn)として登録する。図11に示す例では、Ha’(tn)={人物A,人物B}と登録される。
【0067】
S320で、制御回路111は、S311と同様に、主たる人物Aが領域Ma(tn)内に収まり、さらに人物群Ha’(tn)が領域Ma(tn)内に収まる仮りの切出し位置p(tn)を求める。S311の処理と異なるのは、主たる人物Aと、前フレームでの切り出し領域Ma(tn−1)内には入っていなかった人物Bが領域Ma(tn)に入るようにすることである。
【0068】
以後、制御回路111は、S212に戻り、先に説明したのと同様の処理を実行する。
【0069】
このように、本実施例では、元画像で認識される顔のサイズと、変換後の解像度で顔検出できる最小サイズとから元画像の縮小領域を決定し、主たる人物が入るように領域を切り出す。
【0070】
切り出した画角に入る認識された顔を記憶し、所定の時間間隔でその時のフレームで認識された顔の中で、過去に切り出した画角に入らなかった顔がある場合は、当該顔が主たる顔と共に画角に入るように切出し位置を決定する。これにより、高解像度の動画像データから、対象人物(顔)の解像度を保持しつつ周辺の人物(顔)も認識できるような縮小画像の動画像データを生成できる。
【0071】
また、所定時間間隔Tで切出し位置を見直し、それ以外は切り出し後の主たる人物の相対的位置を大きく変動しないようにすることで、動画像としての連続性も保てるようになり、視聴して違和感のない動画像が得られる。
【実施例3】
【0072】
図12は、本実施例の第3の動作フローチャートを示す。図2と同じ処理手順には、同じ符号を付してある。
【0073】
図2との相違部分を詳細に説明する。具体的には、ステップS211の処理に代えて、ステップS260cを実行する。
【0074】
S260cで、縮小領域決定回路107は、主たる顔とそれ以外に認識された顔の位置関係から縮小に使う領域Maの切出し位置pを決定する。図13は、ステップS260cの詳細なフローチャートを示す。
【0075】
S402で、制御回路111は、再生開始時かどうかを判断し、再生開始時であればS403に進み、再生開始時でなければS405に進む。
【0076】
S403で、制御回路111は、変数n、及び再生時間を管理する変数Sr,Sqに0を代入し、切り出し領域Maに入った人物を管理する管理テーブルHsを初期化する。
【0077】
S404で、制御回路111は、認識された人物の顔位置及びサイズ情報をHf(t0)として登録する。図14は、再生開始時の例を示す。この場合、Hf(t0)={人物A,人物B,人物C,人物D}となる。
【0078】
S408で、制御回路111は、主たる人物が領域Ma内に収まる切出し位置pを決定する。例えば、図14に示す例では、主たる人物Aが切出し領域Maの中心に来るように切出し位置pを決定する。図14(1)は元画像を示し、同(2)は縮小後の変換後画像を示す。以後、制御回路111は、S212に戻り、先に説明したのと同様の処理を実行し、図14(2)に示す縮小画像が得られる。
【0079】
S402で再生開始時では無い場合、制御回路111は、S405で、変数nをインクリメントし、再生開始からの経過時間を取得して、再生時間を管理する変数Sqに記憶する。
【0080】
S406で、制御回路111は、認識された人物の顔位置及びサイズ情報をHf(tn)として登録する。
【0081】
S407で、制御回路111は、再生時間の経過条件と人物条件を判定する。再生時間の経過条件は、再生時の経過時間(Sq−Sr)が予め設定された所定時間Sを越えたかどうか(Sq−Sr>S)である。人物条件は、1フレーム前の認識人物情報Hf(tn−1)に対し現在の認識人物情報Hf(tn)に新規の人物がいるかどうかである。再生時間の経過条件と人物条件の何れも満たされない場合には、S408に進み、どちらかを満たす場合、S409に進む。
【0082】
S408に進んだ場合は、先に説明したのと同様に処理される。
【0083】
S409では、制御回路111は、現フレームをまずポーズし、S410に進む。S410で、制御回路111は、切出し領域Maに入った人物を管理する管理テーブルHsに登録されている人物がいるかどうか判断する。登録されている人物がいない場合、S411に進み、登録されている人物がいる場合、S413に進む。
【0084】
S411では、制御回路111は、主たる人物が領域Ma内に収まる切出し位置pを求める。図15に示す例では、主たる人物Aが切出し領域Maの中心に来るように切出し位置pが決定される。
【0085】
S412で、制御回路111は、決定した切出し位置pによる領域Maに入っている認識済み人物をHsに追加登録する。図15に示す例では、Hs={人物A}である。以後、制御回路111は、S212に戻り、上述した実施例1,2と同様の処理をして、図15(2)に示す縮小画像を得る。
【0086】
S413で、制御回路111は、Hsに登録されている人物が、現在のフレーム内で認識されている人物(Hf(tn))と全て一致するかどうかを判断する。全て一致する場合、S415に進み、いずれか一人でも一致しない場合、S414に進む。
【0087】
S414では、制御回路111は、現フレームで認識されている人物Hf(tn)と過去に領域Ma内に入った人物を管理する管理テーブルHsにある人物とを比較する。そして、制御回路111は、Hf(tn)にあってHsにいない人物を検索し、その人物が領域Maに入るように切出し位置pを決定する。図16に示す例では、Hs={人物A}、Hf(tn)={人物A,人物B,人物C,人物D}であるとする。このとき、制御回路111は、人物B、C又はDが領域Maに入るように切出し位置pを決定する。例えば、主たる人物Aの左側から左回りに検索して、まず人物Bを選び、人物Bが領域Maに入るように切出し位置pを決める。そしてS412に進む。
【0088】
S412で、制御回路111は、決定した切出し位置pでの領域Maに入っている人物をHsに追加登録する。図16に示す例では、Hs={人物A,人物B}となる。以後、制御回路111は、S212に戻り、上述した実施例1,2と同様の処理をして、図16(2)に示す縮小画像を得る。
【0089】
図17に示す例ではHs={人物A,人物B}、Hf(tn)={人物A,人物B,人物C,人物D}となっている。上述のように、S414では、制御回路111は、図17に示す例に対し、人物C又はDが領域Ma内に入るように切出し位置pを決定する。S412で、制御回路111は、S414で決定した切出し位置pでの領域Maに入っている人物をHsに追加登録する。図17に示す例では、Hs={人物A,人物B,人物C,人物D}となる。
【0090】
ステップS413からステップS415に進んだ場合、ステップS415で、制御回路111は、図18に示すように、主たる人物(人物A)が領域Ma内に収まる切出し位置pを求める。例えば、制御回路111は、主たる人物Aが切り出し領域Maの中心に来るように切出し位置pを決定する。つまり、図15に示すようなポーズに入った時の切出し位置と同じになる。S416で、制御回路111は、Srに記憶している再生時間SrにSqを代入し、切り出し領域Maに入った人物を管理する管理テーブルHsを初期化する。S417で、制御回路111はポーズを解除し、S418に進む。以後、制御回路111は、S212に戻り、上述した実施例1,2と同様の処理をして、図18(2)に示す縮小画像を得る。
【0091】
再生開始時には主たる顔の人物を中心にして切り出すようにして再生を始めるようにしたが、再生開始時はポーズから始めてもよい。その場合は、ステップS404の後にステップS409に進むようにする。また、ポーズの表示時間をユーザに設定できるようにしてもよい。
【0092】
以上、説明したように、基本的には、記録時又は再生時に検出された顔情報と認識された顔認識情報に従い、主たる人物の顔が入るように、元画像の切出し領域を決定する。更には、フレーム毎に新規な顔が検出されるか、又は、所定時間の経過により間隔が経過することで再生画像をポーズする。そして、既存の切出し領域に入らない新規な顔がある場合に、切出し範囲を変更する。このような処理により、高解像度の動画像から人物の顔部分の解像度を保持しつつ、周辺の人物(顔)も認識できるような縮小画像データを生成できる。
【特許請求の範囲】
【請求項1】
画像を入力する画像入力手段と、
前記画像入力手段により入力される画像から顔を検出する顔検出手段と、
前記顔検出手段により検出される前記顔に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、
前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段
とを具備し、
前記領域決定手段は、前記顔検出手段で検出される顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置。
【請求項2】
前記領域決定手段は、
前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、
前記縮小画像の大きさから前記顔検出可能サイズを決定し、
前記顔検出手段で検出された顔のサイズと、前記顔検出可能サイズとの比である限界縮小率を求め、
前記縮小率が前記限界縮小率より小さい場合は、前記顔検出可能サイズを元に前記抽出領域の切り出しサイズを決定し、大きい場合は前記画像入力手段により入力される前記画像を前記抽出領域として決定する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記領域決定手段は、前記顔検出手段で検出された顔が含まれるように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
更に顔認識手段を備え、
前記領域決定手段は、前記顔検出手段で検出された顔のうちで、前記顔認識手段により認識された顔のサイズに従い、前記抽出領域のサイズを決定する
ことを特徴とする請求項1ないし3の何れか1項に記載の画像処理装置。
【請求項5】
前記領域決定手段は、前記顔認識手段により認識された顔を含むように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記画像入力手段に入力される画像データは動画像データであることを特徴とする請求項1ないし5の何れか1項に記載の画像処理装置。
【請求項7】
画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力手段と、
前記顔情報に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、
前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段
とを具備し、
前記領域決定手段は、前記顔情報が示す顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置。
【請求項8】
前記領域決定手段は、
前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、
前記縮小画像の大きさから前記顔検出可能サイズを決定し、
前記顔のサイズと前記顔検出可能サイズとの比である限界縮小率を求め、
前記縮小率が前記限界縮小率より小さい場合は、前記顔検出可能サイズ(DFmin)を元に前記抽出領域の切り出しサイズを決定し、大きい場合は前記画像入力手段により入力される前記画像を前記抽出領域として決定する
ことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記領域決定手段は、前記顔情報が示す顔が含まれるように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項7又は8に記載の画像処理装置。
【請求項10】
前記画像には前記顔情報が示す顔の内で顔認識された顔を示す顔認識情報が付加され、
前記領域決定手段は、前記顔認識情報が示す顔のサイズに従い、前記抽出領域のサイズを決定する
ことを特徴とする請求項7ないし9の何れか1項に記載の画像処理装置。
【請求項11】
前記領域決定手段は、前記顔認識情報が示す顔を含むように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記画像入力手段に入力される画像データは動画像データであることを特徴とする請求項7ないし11の何れか1項に記載の画像処理装置。
【請求項1】
画像を入力する画像入力手段と、
前記画像入力手段により入力される画像から顔を検出する顔検出手段と、
前記顔検出手段により検出される前記顔に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、
前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段
とを具備し、
前記領域決定手段は、前記顔検出手段で検出される顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置。
【請求項2】
前記領域決定手段は、
前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、
前記縮小画像の大きさから前記顔検出可能サイズを決定し、
前記顔検出手段で検出された顔のサイズと、前記顔検出可能サイズとの比である限界縮小率を求め、
前記縮小率が前記限界縮小率より小さい場合は、前記顔検出可能サイズを元に前記抽出領域の切り出しサイズを決定し、大きい場合は前記画像入力手段により入力される前記画像を前記抽出領域として決定する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記領域決定手段は、前記顔検出手段で検出された顔が含まれるように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
更に顔認識手段を備え、
前記領域決定手段は、前記顔検出手段で検出された顔のうちで、前記顔認識手段により認識された顔のサイズに従い、前記抽出領域のサイズを決定する
ことを特徴とする請求項1ないし3の何れか1項に記載の画像処理装置。
【請求項5】
前記領域決定手段は、前記顔認識手段により認識された顔を含むように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記画像入力手段に入力される画像データは動画像データであることを特徴とする請求項1ないし5の何れか1項に記載の画像処理装置。
【請求項7】
画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力手段と、
前記顔情報に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、
前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段
とを具備し、
前記領域決定手段は、前記顔情報が示す顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置。
【請求項8】
前記領域決定手段は、
前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、
前記縮小画像の大きさから前記顔検出可能サイズを決定し、
前記顔のサイズと前記顔検出可能サイズとの比である限界縮小率を求め、
前記縮小率が前記限界縮小率より小さい場合は、前記顔検出可能サイズ(DFmin)を元に前記抽出領域の切り出しサイズを決定し、大きい場合は前記画像入力手段により入力される前記画像を前記抽出領域として決定する
ことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記領域決定手段は、前記顔情報が示す顔が含まれるように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項7又は8に記載の画像処理装置。
【請求項10】
前記画像には前記顔情報が示す顔の内で顔認識された顔を示す顔認識情報が付加され、
前記領域決定手段は、前記顔認識情報が示す顔のサイズに従い、前記抽出領域のサイズを決定する
ことを特徴とする請求項7ないし9の何れか1項に記載の画像処理装置。
【請求項11】
前記領域決定手段は、前記顔認識情報が示す顔を含むように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記画像入力手段に入力される画像データは動画像データであることを特徴とする請求項7ないし11の何れか1項に記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2013−115597(P2013−115597A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−259691(P2011−259691)
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]