説明

画像検出装置及び画像検出方法

【課題】入力された画像データからHDR画像群を検出することのできる技術を提供する。
【解決手段】本発明の画像検出装置は、入力された画像データのフレーム毎に、そのフレームを代表する代表輝度値を算出する代表輝度値算出手段と、算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断手段と、代表輝度値のフレーム間の変化に周期性があると判断された場合に、1周期内の代表輝度値の変化に基づいて、入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるHDR画像群を検出するHDR検出手段と、を有し、HDR検出手段は、1周期内の代表輝度値の最大値と最小値の差分の絶対値を算出し、該差分の絶対値が第1の閾値以上である場合に、対応する周期内の複数のフレームがHDR画像群のフレームであると判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検出装置及び画像検出方法に関する。
【背景技術】
【0002】
予め異なる露出で同一の被写体を撮影し、得られた各画像の適正露出部分に注目してそれらの画像を合成することにより、ダイナミックレンジを向上する技術がある。また、露出の異なる複数の画像を交互に表示することにより、それらの画像を視覚的に合成し、ダイナミックレンジを向上する技術も提案されている。このように複数の画像を用いてダイナミックレンジを向上する技術をハイダイナミックレンジ合成(HDR合成)と呼ぶ。
【0003】
HDR合成を実現する装置では、HDR合成に用いる複数の画像(HDR画像群)が、予め用意されている専用メモリに格納されている。そして、上記装置は、それらの画像を合成してディスプレイに表示し、または、それらの画像を順番にディスプレイに表示することにより、HDR合成を実現する。
【0004】
特許文献1には、専用メモリから読み出した画像間の動きの有無から、HDR合成を行うか否かを判断する技術が提案されている。それにより、破綻した合成画像が生成されることを防ぐことができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−050151号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、今後は外部機器などを通じてHDR画像群が入力されることが考えられる。また、通常画像(例えば、適正露出の画像のように、HDR合成に用いることを目的とした画像ではない画像)とHDR画像群が混在した画像データが入力されることも考えられる。従来技術では、通常画像とHDR画像群が混在した画像データが入力されることは想定されていないため、入力された画像データからHDR画像群を検出することができない。
また、入力された画像データからHDR画像群を検出できないため、ディスプレイに表示されている画像が何たる画像であるか、視聴者に知らせることができない。
【0007】
本発明は、入力された画像データからHDR画像群を検出することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像検出装置は、入力された画像データのフレーム毎に、そのフレームの輝度値の統計量から、該フレームを代表する輝度値である代表輝度値を算出する代表輝度値算出手段と、前記代表輝度値算出手段で算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断手段と、前記周期判断手段により代表輝度値のフレーム間の変化に周期性があると判断された場合に、1周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるHDR画像群を検出するHDR検出手段と、を有し、前記HDR検出手段は、1周期内の代表輝度値の最大値と最小値の差分の絶対値を算出し、該差分の絶対値が第1の閾値以上である場合に、対応する周期内の複数のフレームが前記HDR画像群の
フレームであると判定する。
【0009】
本発明の画像検出方法は、画像検出装置により実行される画像検出方法であって、入力された画像データのフレーム毎に、そのフレームの輝度値の統計量から、該フレームを代表する輝度値である代表輝度値を算出する代表輝度値算出ステップと、前記代表輝度値算出ステップで算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断ステップと、前記周期判断ステップにより代表輝度値のフレーム間の変化に周期性があると判断された場合に、1周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるHDR画像群を検出するHDR検出ステップと、を有し、前記HDR検出ステップでは、1周期内の代表輝度値の最大値と最小値の差分の絶対値を算出し、該差分の絶対値が第1の閾値以上である場合に、対応する周期内の複数のフレームが前記HDR画像群のフレームであると判定する。
【発明の効果】
【0010】
本発明によれば、入力された画像データからHDR画像群を検出することが可能となる。
【図面の簡単な説明】
【0011】
【図1】入力画像データの一例を示す図。
【図2】実施例1に係る画像検出装置の構成の一例を示す図。
【図3】HDR画像検出部の動作の一例を示す図。
【図4】HDR画像検出部の入出力信号及び内部信号の一例を示す図。
【図5】最小輝度値の検出処理の一例を示す図。
【図6】最大輝度値の検出処理の一例を示す図。
【図7】最小輝度位置の更新処理の一例を示す図。
【図8】周期検出部の内部信号であるカウンタ値の更新処理の一例を示す図。
【図9】最大カウント値の更新処理の一例を示す図。
【図10】周期信号の更新処理の一例を示す図。
【図11】判定結果の更新処理の一例を示す図。
【図12】情報生成部の内部信号であるカウンタ値の更新処理の一例を示す図。
【図13】HDR情報の利用例を示す図。
【図14】実施例2に係る画像処理装置の構成の一例を示す図。
【図15】実施例2に係るIP変換処理の流れの一例を示す図。
【図16】HDR画像群検出処理の一例を示す図。
【図17】輝度情報取得処理の一例を示す図。
【図18】IP変換処理の一例を示す図。
【図19】動き検出方法の一例を示す図。
【発明を実施するための形態】
【0012】
<実施例1>
以下、本発明の実施例1に係る画像検出装置及び該画像検出装置により実行される画像検出方法について説明する。
本実施例に係る画像検出装置は、図1で示すような通常画像とHDR画像群が混在する入力画像データやHDR画像群の有無を示す情報が含まれていない入力画像データからHDR画像群を検出する。通常画像とは、例えば、適正露出の画像のように、HDR合成(ダイナミックレンジを向上するための処理)に用いることを目的とした画像ではない画像である。HDR画像群とは、異なる露出で同一の被写体を撮影することにより得られた複数の画像ように、HDR合成に用いることを目的とした複数の画像である。典型的には、HDR画像群は、露出(明るさ)のみが異なる複数の画像である。
また、本実施例に係る画像検出装置は、図1(A)で示すような静止画像データ、及び、図1(B)で示すような動画像データからHDR画像群を検出する。
【0013】
図1(A)は、画像間で動きの無い静止画像データが入力される例である。
図1(B)は、画像間(通常画像とHDR画像群の間、HDR画像群間)で動きのある動画像データが入力される例である。
図1(A),(B)では、4つの画像を1組とするHDR画像群が入力される。1つのHDR画像群内の各画像の輝度は、HDR合成できる程度に互いに異なっており、輝度の順番は特に限定されない。本実施例では、HDR画像群が4つの画像からなるものとしたが、HDR画像群には少なくとも2つ画像が含まれていればよい。
なお、図1(B)の例では、HDR画像群間で動きがあるため、輝度はHDR画像群単位で微妙に異なる。
【0014】
次に、本実施例に係る画像検出装置の構成例について、図2を用いて説明する。本実施例に係る画像検出装置は、動き検出部210、フレーム遅延部220、輝度統計量抽出部230、HDR画像検出部240などを有する。HDR画像検出部240は、輝度判定部241、周期検出部242、差分算出部243、判定部244、情報生成部245などを有する。
【0015】
動き検出部210は、入力された画像データのフレーム間の動きを検出する(動き検出手段)。具体的には、動き検出部210は、フレーム遅延部220によって1フレーム遅延された前フレーム(入力された画像の1つ前に入力された画像)と現フレーム(入力された画像)を用いて、それらのフレーム間の動きを検出する。動きはどのように検出してもよく、例えば、ブロックマッチング法などにより検出される。なお、HDR画像群のフレームは予め輝度が調整されているため、動きを検出する際には、例えば、用いる2つの画像の輝度を一致させた後に、それらの画像を比較すればよい。検出結果(動き情報W401)は、HDR画像検出部240へ転送される。
【0016】
輝度統計量抽出部230は、入力された画像データのフレーム毎に、そのフレームの輝度値の統計量(輝度統計量)から、該フレームを代表する輝度値である代表輝度値を算出する(代表輝度値算出手段)。具体的には、輝度統計量抽出部230は、入力された画像から輝度統計量として輝度ヒストグラムを抽出する。そして、抽出した輝度統計量から、代表輝度値として輝度の平均値(輝度平均値W400)を算出し、HDR画像検出部240へ転送する。なお、代表輝度値は輝度平均値に限らない。例えば、輝度ヒストグラムにおいて度数がピークとなる輝度値を代表輝度値としてもよい。
【0017】
HDR画像検出部240は、動き検出部210より取得した動き情報W401と、輝度統計量抽出部230より取得した輝度平均値W400を用いて、HDR画像群を検出する。具体的には、HDR画像検出部240は、HDR画像群が持つ特徴(規則性)を検出し、入力された画像がHDR画像群の画像であるか否かを判定する。そして、HDR画像群の画像と判定した場合は、HDR情報を生成し、その情報を他の処理部へ転送する。
【0018】
輝度判定部241は、代表輝度値の差分の絶対値が所定の閾値(第2の閾値)以下のフレームを検出する。具体的には、入力された画像の輝度平均値W400が最大輝度値W404か否か、最小輝度値W403か否かを判定し、判定結果を差分算出部243へ転送する。最大輝度値W404と最小輝度値W403の検出方法は、後で詳しく説明する。
また、輝度判定部241は、最小輝度値W403の画像の時間位置を示す信号である最小輝度位置W406、及び、最大輝度値W404の画像の時間位置を示す信号である最大輝度位置W407を生成する。そして、最小輝度位置W406と最大輝度位置W407のいずれか一方を選択し、1フレーム遅延させ、輝度位置W408を生成し、周期検出部2
42、差分算出部243、及び、判定部244へ転送する。
更に、輝度判定部241は、輝度位置W408が静止画像データと動画像データのどちらの画像を用いて生成された信号かを表す静動判定W409を生成し、情報生成部245へ転送する。
【0019】
周期検出部242は、算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する(周期判断手段)。本実施例では、代表輝度値の差分の絶対値が第2の閾値以下のフレームが一定のフレーム数おきに現れる場合に、代表輝度値のフレーム間の変化に周期性があると判断する。具体的には、周期検出部242には、輝度位置W408のアサート間隔をカウントするカウンタが用意されている。周期検出部242は、このカウンタを用いて代表輝度値のフレーム間の変化の周期性(輝度位置W408が一定のフレーム数おきに現れているか)を検出する。そして、周期検出部242は、上記周期性を示す周期信号W414と1周期内の画像枚数を示す最大カウント値W412を、判定部244及び情報生成部245へ転送する。
【0020】
差分算出部243と判定部244は、代表輝度値のフレーム間の変化に周期性があると判断された場合に、1周期内の代表輝度値の変化に基づいて、入力された画像データからHDR画像群を検出する(HDR検出手段)。
差分算出部243は、1周期内(1つのHDR画像群内)の最大輝度値W404(最大値)と最小輝度値W403(最小値)の差分の絶対値(以下、差分値と記載する)を算出する。具体的には、最大輝度値W404から最小輝度値W403を減算し、差分値W415を求める。算出された差分値W415は、判定部244へ転送される。
判定部244は、代表輝度値のフレーム間の変化に周期性があり、且つ、差分値W415が所定の閾値(第1の閾値)以上である場合に、対応する周期内の複数のフレームがHDR画像群のフレームであると判定する。判定部244による判定結果W417は、情報生成部245へ転送される。
【0021】
情報生成部245は、動き情報W401、静動判定W409、周期信号W414、最大カウント値W412、判定結果W417を用いてHDR画像群に係るHDR情報を生成する。HDR情報には、例えば、画像がHDR画像群の画像であるか否かを示す情報、HDR画像群の同期信号、1つのHDR画像群に含まれる画像の枚数などの情報が含まれる。
【0022】
次に、HDR画像検出部240の基本動作について、図3を用いて説明する。
まず、HDR画像検出部240は、S300において、輝度統計量抽出部230から転送される輝度平均値から最小輝度値及び最大輝度値を検出する。但し、入力される画像データが動画像データの場合、HDR画像群ごとに最小輝度値が微妙に異なることが想定される。そのため、HDR画像検出部240は、フレーム間の動きが検出されている場合に、動きによる輝度値の変動を考慮して最小輝度値か否かを判断する。具体的には、フレーム間の動きが検出されていない場合よりも大きな値を第2の閾値に設定する。最大輝度値についても同様である。
次に、S301において、最小輝度値と最大輝度値のいずれかの輝度値を用いて代表輝度値のフレーム間の変化の周期性を検出する。具体的には、S300において最小輝度値または最大輝度値が一定のフレーム数おきに現れていることを検出する。
そして、S302において1周期内の最小輝度値及び最大輝度値を抽出し、S303においてその最大輝度値と最小輝度値の差分値を算出する。
次に、S304においてS303で算出された差分値と第1の閾値を比較し、差分値が第1の閾値以上であれば、S305において入力された画像がHDR画像群の画像であると判定するとともに、S306において該画像に対しHDR情報を生成する。
【0023】
次に、HDR画像検出部240の動作について、図4を用いて更に詳しく説明する。図
4は、HDR画像検出部240の入出力信号及び内部信号の一例を示すタイミングチャートである。このタイミングチャートは、図1(B)で示す動画像データを処理する場合の例であるが、静止画像データも同様に処理される。各信号についての説明は、以下の通りである。
【0024】
輝度平均値W400は、フレーム単位の輝度平均値である。輝度平均値W400は、輝度統計量抽出部230から輝度判定部241へ転送される。
動き情報W401は、前フレームと現フレームとの間の動き情報であり、動き検出部210から輝度判定部241へ転送される。動き情報W401は、前フレームと現フレームとの間に動きがある場合に1となり、無い場合に0となる。
動き情報保持W402は、輝度判定部241の内部信号であり、一時的に保持される動き情報W401である。動き情報保持W402は、動き情報W401が1のときに1となり、輝度位置W408が1になることで0にクリアされる。動き情報W401と輝度位置W408が同時に1となった場合には動き情報W401が優先され、動き情報保持W402は1となる。
【0025】
最小輝度値W403は、輝度判定部241の内部信号である。最小輝度値W403と判定された輝度平均値W400は一時的に保持される。
最小輝度値W403の検出処理(更新処理)について、図5を用いて説明する。
まず、輝度判定部241は、輝度平均値W400から最小輝度値W403を減算し、その絶対値を差分値として算出する(S500)。次に、該差分値と閾値W405を比較する(S501)。差分値が閾値W405以下である場合には、輝度平均値W400が最小輝度値であると判断し、輝度平均値W400を最小輝度値W403に設定する(S503;最小輝度値W403の更新)。差分値が閾値W405より大きい場合には、輝度平均値W400と最小輝度値W403を比較する(S502)。輝度平均値W400が最小輝度値W403より小さい場合には、S503の処理を行う。輝度平均値W400が最小輝度値W403以上の場合には、最小輝度値W403は保持される。
なお、図4の例では、最小輝度値の初期値として「50」が設定されている。
【0026】
最大輝度値W404は、輝度判定部241の内部信号である。最大輝度値W404と判定された輝度平均値W400は一時的に保持される。
最大輝度値W404の検出処理(更新処理)について、図6を用いて説明する。
まず、輝度判定部241は、輝度平均値W400から最大輝度値W404を減算し、その絶対値を差分値として算出する(S600)。次に、該差分値と閾値W405を比較する(S601)。差分値が閾値W405以下である場合には、輝度平均値W400が最大輝度値であると判断し、輝度平均値W400を最大輝度値W404に設定する(S603;最大輝度値W404の更新)。差分値が閾値W405より大きい場合には、輝度平均値W400と最大輝度値W404を比較する(S602)。輝度平均値W400が最大輝度値W404より大きい場合には、S603の処理を行う。輝度平均値W400が最大輝度値W404以下の場合には、最大輝度値W404は保持される。
なお、図4の例では、最大輝度値の初期値として「150」が設定されている。
【0027】
閾値W405は、輝度判定部241の内部信号であり、輝度平均値W400と最小輝度値W403または最大輝度値W404との差分値との比較に用いられる。動き情報保持W402が1のとき、閾値W405にはユーザが設定したパラメータ値が設定される。動き情報保持W402が0のときには、閾値W405には0が設定される。即ち、動きがある場合にはユーザが設定したパラメータ値が、動きが無い場合には0が閾値W405に設定されることになる。なお、動きが無い場合の閾値W405は0より大きな値であってもよい。
【0028】
最小輝度位置W406は、輝度判定部241の内部信号であり、入力信号である輝度平均値W400が最小輝度値であるか否かを示す信号である。最小輝度位置W406は、入力信号である輝度平均値W400が最小輝度値である場合に1となり、そうでない場合に0となる。
最小輝度位置W406の更新処理について、図7を用いて説明する。
まず、輝度判定部241は、輝度平均値W400から最小輝度値W403を減算し、その絶対値を差分値として算出する(S700)。次に、該差分値と閾値W405を比較する(S701)。差分値が閾値W405以下である場合には、最小輝度位置W406に1を設定する(S702)。差分値が閾値W405より大きい場合には、最小輝度位置W406に0を設定する(S703)。
【0029】
最大輝度位置W407は、輝度判定部241の内部信号であり、入力信号である輝度平均値W400が最大輝度値であるか否かを示す信号である。最大輝度位置W407は、入力信号である輝度平均値W400が最大輝度値である場合に1となり、そうでない場合に0となる。
最大輝度位置W407の更新処理の流れは、図7に示す最小輝度位置W406の更新処理の流れと同様である。
まず、輝度判定部241は、輝度平均値W400から最大輝度値W404を減算し、その絶対値を差分値として算出する。次に、該差分値と閾値W405を比較する。差分値が閾値W405以下である場合には、最大輝度位置W407に1を設定する。差分値が閾値W405より大きい場合には、最大輝度位置W407に0を設定する。
【0030】
輝度位置W408は、輝度判定部241の内部信号であり、最小輝度位置W406と最大輝度位置W407のいずれかを1フレーム遅延させた信号である。輝度判定部241は、最小輝度位置W406と最大輝度位置W407を観測し、観測を開始してから遅く1になった方を選択し、1フレーム遅延させる。
【0031】
静動判定W409は、輝度判定部241の内部信号であり、輝度位置W408が静止画像データと動画像データのどちらの画像を用いて生成された信号かを表す信号である。輝度判定部241は、輝度位置W408の元信号(最小輝度位置W406または最大輝度位置W407)が1のときの動き情報保持W402の状態に応じて静動判定W409の値を決定(更新)する。具体的には、輝度位置W408の元信号が1のときに、動き情報保持W402が1であった場合には、輝度判定部241は、輝度位置W408が動画像データの画像を用いて生成されたと判断し、静動判定W409を1とする。輝度位置W408の元信号が1のときに、動き情報保持W402が0であった場合には、輝度判定部241は、輝度位置W408が静止画像データの画像を用いて生成されたと判断し、静動判定W409を0とする。なお、静動判定W409の値は、輝度位置W408に同期して切り替えられる。
【0032】
カウンタ値W410は、周期検出部242の内部信号であり、輝度位置W408のアサート間隔を得るために用いられる信号である。このカウンタ値を用いて、輝度位置W408が一定のフレーム数おきに現れているかが検出される。
カウンタ値W410の更新処理について、図8を用いて説明する。
まず、周期検出部242は、不図示の初期化信号が生成された場合に(S800;初期化信号=1)、カウンタ値W410を0に初期化する(S801)。初期化信号は、判定部244において生成される信号であり、判定結果W417が1から0に立ち下がったときに生成される信号である。S800において初期化信号が生成されていない場合には、S802へ進む。S802において輝度位置W408が1の場合には、カウンタ値W410に1を設定する(S803)。S802において輝度位置W408が0の場合には、S804へ進む。S804においてカウンタ値W410が0でない場合には、カウンタ値W
410に1を加算する(S805)。S804においてカウンタ値が0である場合には、入力画像は通常画像であると判断され、カウンタ値W410は0のままとされる。
カウンタ遅延値W411は、周期検出部242の内部信号であり、カウンタ値W410を1フレーム遅延させた信号である。
【0033】
最大カウント値W412は、周期検出部242の内部信号であり、1周期分のカウンタ遅延値W411(画像枚数)を示す。最大カウント値W412は一時的に保持される。
最大カウント値W412の更新処理について、図9を用いて説明する。
まず、周期検出部242は、不図示の初期化信号が生成された場合に(S900)、最大カウント値W412を0に初期化する(S901)。S900において初期化信号が生成されていない場合には、S902へ進む。S902において輝度位置W408が1の場合には、最大カウント値W412にカウンタ遅延値W411を設定する(S903)。S902において輝度位置W408が0の場合には、最大カウント値W412は保持される。
最大カウント遅延値W413は、周期検出部242の内部信号であり、最大カウント値W412を1フレーム遅延させた信号である。
【0034】
周期信号W414は、周期検出部242の内部信号であり、一定のフレーム数おきに存在する輝度位置W408を示す信号である。
周期信号W414の更新処理について、図10を用いて説明する。
周期検出部242は、輝度位置W408が1であり(S1000:Yes)、かつ最大カウント値W412と最大カウント遅延値W413が等しければ(S1001:Yes)、その輝度位置W408が一定のフレーム数おきに存在していると判断する。そして、周期信号W414に1を設定する(S1002)。S1000とS1001の少なくともいずれかにおいて条件が成立しなければ周期信号W414に0を設定する(S1003)。
【0035】
差分値W415は、差分算出部243の内部信号であり、最小輝度値W403と最大輝度値W404の差分値である。具体的には、差分値W415は、輝度位置W408が1のときに、最大輝度値W404から最小輝度値W403を減算した結果である。算出された差分値W415は、次に輝度位置W408が1になるまで保持される。
閾値W416は、判定部244の内部信号であり、差分値W415と比較するために用いられる。閾値W416には、ユーザが設定したパラメータ値が設定される。
【0036】
判定結果W417は、判定部244の内部信号であり、入力された画像がHDR画像群の画像であるか否かを示す識別信号である。
判定結果W417の更新処理について、図11を用いて説明する。
判定結果W417は、輝度位置W408と周期信号W414が等しく(S1100:Yes)、周期信号W414が1であり(S1101:Yes)、差分値W415が閾値W416以上(S1102:Yes)の場合に1となる(S1103)。また、S1100又はS1102において条件が成立しなければ、判定結果W417は0となる(S1104)。S1101において条件が成立しなければ、判定結果W417は保持される。
【0037】
カウンタ値W418は、情報生成部245の内部信号であり、HDRイネーブルW419及びHDR同期信号W420の生成に使用される信号である。カウンタ値W418の上限値は、最大カウント値W412の値である。また、情報生成部245は、カウンタ値W418を生成する際に、静動判定W409によってカウントの開始タイミングを異ならせる。特に静動判定W409が1(動画像データ)のときは、HDR画像群の先頭フレームを検出し、そこからカウントを開始する。
カウンタ値W418の更新処理について、図12を用いて説明する。
まず、情報生成部245は、判定結果W417が0の場合に(S1200:No)、カ
ウンタ値W418を0に初期化する。判定結果W417が1であり(S1200:Yes)、カウンタ値W418が0の場合には(S1201:Yes)、カウンタ値W418に1を設定する(S1206)。但し、S1206における設定のタイミングは、静動判定W409の値によって異なる。静動判定W409が0の場合には(S1202:Yes)、判定結果W417が1となったタイミングでカウンタ値W418に1が設定される。静動判定W409が1の場合には(S1202:No)、動き情報W401が1のとなったタイミング(S1203:Yes)でカウンタ値W418に1が設定される。S1201においてカウンタ値W418が0でない場合には、S1204へ進む。S1204においてカウンタ値W418と最大カウント値W412が一致しなかった場合には、カウンタ値W418に1を加算する(S1207)。また、S1204においてカウンタ値W418と最大カウント値が一致した場合には、カウンタ値W418が上限値であるため、カウンタ値W418に1を設定する(S1206)。
【0038】
HDRイネーブルW419は、情報生成部245の出力信号であり、入力された画像がHDR画像群の画像であるか否かを示す識別信号である。HDRイネーブルW419は、カウンタ値W418が0以外のときに1となり、カウンタ値W418が0のときに0となる。
HDR同期信号W420は、情報生成部245の出力信号であり、HDR合成用の同期信号である。HDR同期信号W420は、カウンタ値W418が1のときに1となり、カウンタ値W418が1以外のときに0となる。
HDR画像枚数W421は、情報生成部245の出力信号であり、HDR画像群の1周期内の画像枚数を示す信号である。情報生成部245は、HDRイネーブルW419とHDR同期信号W420の両方が1のときの最大カウント値W412を保持し、HDR画像枚数W421として出力する。
【0039】
次に、情報生成部245で生成されるHDR情報の利用例について、図13を用いて説明する。図13は、不図示のOSD制御部を用いてHDR情報を利用する場合の例である。
OSD制御部は、情報生成部245より取得したHDR情報をもとに、HDR画像識別情報1301を表示部(表示パネル)で表示するか否かを制御する。具体的には、OSD制御部は、情報生成部245からHDRイネーブルW419を取得し、HDRイネーブルW419が1のときに画像識別情報1301を表示し、HDRイネーブルW419が0とき画像識別情報1301を表示しない、という制御を行う。画像識別情報1301は、表示されている画像がHDR画像群の画像であることを示す情報である。これにより、視聴者は、表示部1300に表示されている画像がHDR画像群の画像であるか否かを判別できる。
【0040】
このように、HDR情報は、他の処理部において有効利用されることを目的として生成される。上述した例以外に、HDR情報は、ダイナミックガンマ処理を行う処理部において、HDR画像群に対して特定のテーブルを用いる制御に利用されることも想定できる。更には、HDR合成を行う処理部において、HDR合成するか否かの制御や合成枚数の制御などに利用されることも想定できる。
【0041】
以上、本実施例によれば、図1で示すような通常画像とHDR画像群が混在した画像データ、及びHDR画像群の有無を示す情報が含まれていない画像データからHDR画像群を検出することができる。具体的には、代表輝度値のフレーム間の変化の周期性及び1周期内の代表輝度値の変化といったHDR画像群が有する特徴(規則性)に注目することにより、HDR画像群を検出することができる。また、HDR画像群に対し該HDR画像群に関するHDR情報を生成することで、その情報を他の処理部にて有効利用することができる。
【0042】
<実施例2>
次に、本発明の実施例2に係る画像処理装置について説明する。
従来、インタレース方式の画像データ(インタレース画像データ)を補間によりプログレッシブ方式の画像データ(プログレッシブ画像データ)に変換する技術がある(IP変換処理)。また、そのようなIP変換処理として、フィールド間の動きに応じてフィールド内補間とフィールド間補間とを切り替えて画像データの変換を行う動き適応型IP変換処理がある。しかしながら、HDR画像群を含むインタレース画像データに対し動き適応型IP変換処理を施すと、(HDR画像群のフィールドは意図的に輝度が調整されているため)、変換後の画像データ(プログレッシブ画像データ)の画質が不均一になってしまう。
そこで、本実施例では、インタレース画像データからHDR画像群を検出し、その検出結果に応じてIP変換処理の方法を切り替える。それにより、HDR画像群を含むインタレース画像データを、画質を劣化させることなくIP変換することが可能となる。
【0043】
図14は本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。図14に示すように、本実施例に係る画像処理装置は、フィールド内補間部2、フィールド間補間部3、周期検出部4、動き検出部5、セレクタ6などを有する。
フィールド内補間部2は、入力されたインタレース画像データをフィールド内補間によりプログレッシブ画像データに変換する。フィールド内補間は、処理対象のフィールド内の画素を用いて補間画素を生成する方法である。例えば、処理対象のフィールドにおいて、補間画素を生成するライン(補間ライン)の上下のライン上の画素値を用いて補間画素の画素値が決定される。
フィールド間補間部3は、入力されたインタレース画像データをフィールド間補間によりプログレッシブ画像データに変換する。フィールド間補間は、処理対象のフィールドの1つ前、1つ後、またはそれらの両方のフィールドの画素を用いて補間画素を生成する方法である。例えば、処理対象のフィールドの1つ前のフィールドの画素値(補間画素の生成位置と同じ位置の画素値)を用いて補間画素の画素値が決定される。
【0044】
周期検出部4は、入力されたインタレース画像データのフィールド毎に、そのフィールドの輝度ヒストグラムなどの輝度統計量を取得し、輝度平均値を算出する。なお、輝度統計量は画像解析により取得(生成)してもよいし、インタレース画像データにメタ情報として付加されていてもよい。周期検出部4は、そのような統計量を用いて、輝度平均値のフィールド間の変化の周期性を検出し、1周期内の輝度平均値の変化に基づいてインタレース画像データからHDR画像群を検出する。なお、インタレース画像データにメタ情報としてHDR画像群を識別する情報が付加されている場合には、HDR画像群の検出は特に必要ないことは言うまでもない。
【0045】
動き検出部5は、時間的に連続する2フィールドを用いて、それらのフィールド間の動き(動きベクトル)を検出する。但し、HDR画像群間の動きを検出する場合には、HDR画像群内の時間位置(周期検出部4で検出された1周期内の時間位置)が同じ、即ち、輝度が対応するフィールド同士が比較される。
【0046】
例えば、図19に示すように、H,H,L,Lの順番で並んだHDR画像群間の動きを検出する場合には、Hのoddフィールド同士、Hのevenフィールド同士、Lのoddフィールド同士、または、Lのevenフィールド同士を比較すればよい。Hのoddフィールド同士、Hのevenフィールド同士、Lのoddフィールド同士、及び、Lのevenフィールド同士の全てについて比較を行ってもよい。ここで、“H”は輝度の高いフィールドを、“L”は輝度の低いフィールドを表す。oddフィールドは奇数ラインのみで構成されるフィールド、evenフィールドは偶数ラインのみで構成されるフィー
ルドを表す。
【0047】
セレクタ6は、周期検出部4の検出結果と動き検出部5の検出結果に応じて、フィールド内補間部2で生成された補間画素とフィールド間補間部3で生成された補間画素を切り替えて取得し、表示装置へ出力する。本実施例では、HDR画像群のフィールドに対しては、フィールド内補間部2で生成された補間画素を生成する。それにより、他のフィールド(輝度が大きく異なるフィールド)の画素値を用いて補間画素が生成されないため、IP変換処理後に画質が不均一になってしまうことを抑制することができる。
なお、フィールド内補間部2で生成されたフレームとフィールド間補間部3で生成されたフレームの両方を取得し、周期検出部4の検出結果と動き検出部5の検出結果に応じた比で、それらのフレームを合成して出力してもよい。補間画素以外の画素は、フィールド内補間部2とフィールド間補間部3のどちらから取得してもよい。
【0048】
次に、図15を用いて、本実施例のIP変換処理の流れについて説明する。
まず、セレクタ6が垂直同期信号が1か否かを判断する(S1501)。これは、IP変換処理を入力されるインタレース画像データの垂直同期信号に同期させるため、即ち、フィールド単位で処理を行うための処理である。垂直同期信号が1であった場合には、S1502へ進む。
S1502では、周期検出部4がHDR画像群の検出を行う(HDR画像群検出処理)。HDR画像群検出処理については後で詳しく説明する。
次に、セレクタ6が入力されたフィールドがHDR画像群のフィールドか否かを判断する(S1503)。具体的には、後述するHDR_FLG変数が1または2の場合に入力されたフィールドがHDR画像群のフィールドであると判断し、HDR_FLG変数が0の場合に入力されたフィールドがHDR画像群のフィールドではないと判断する。入力されたフィールドがHDR画像群のフィールドであった場合には、S1504へ進み、入力されたフィールドがHDR画像群のフィールドでなかった場合には、S1505へ進む。
【0049】
S1504では、セレクタ6がフィールド内補間部2で生成された補間画素を取得し、表示装置へ出力する。即ち、HDR画像群に対してはフィールド内補間によるIP変換処理(フィールド内補間処理)が施される。
S1505では、セレクタ6が動き検出部5の検出結果に応じてフィールド内補間部2で生成された補間画素とフィールド間補間部3で生成された補間画素を切り替えて取得し、表示装置へ出力する。具体的には、動きのある位置に対してはフィールド内補間部2で生成された補間画素が割り当てられ、動きの無い位置に対してはフィールド間補間部3で生成された補間画素が割り当てられる。即ち、HDR画像群以外の画像に対しては通常の動き適応型IP変換処理が施される。
そして、セレクタ6がIP変換処理を終了するか否かを判断し(S1506)、終了しない場合にはS1501へ戻る。例えば、上記処理はインタレース画像データの最後のフィールドに対する処理が完了したり、ユーザによって処理の停止が指示されたりするまで繰り返し行われる。
【0050】
次に、図16を用いて、HDR画像群検出処理について説明する。
まず、周期検出部4が輝度情報取得処理を行う(S1601)。輝度情報取得処理は、入力画像データのフィールドが“H”か“L”を識別する輝度情報を取得し、内部メモリに格納する処理である。輝度情報取得処理については後で詳しく説明する。
【0051】
S1602,S1604では、周期検出部4が、S1601で取得した輝度情報のパターンが所定のパターンか否かを判断し、処理対象のフィールドがHDR画像群のフィールドか否かを判断する。
具体的には、処理対象のフィールドがH,L,H,L・・・の順で並ぶフィールド群の
フィールドである場合、周期検出部4が処理対象のフィールドがHDR画像群のフィールドであると判断し、S1603へ進む。処理対象のフィールドがH,H,L,L・・・の順で並ぶフィールド群のフィールドである場合、周期検出部4が処理対象のフィールドがHDR画像群のフィールドであると判断し、S1605へ進む。また、処理対象のフィールドが上述したフィールド群以外のフィールドである場合、周期検出部4は処理対象のフィールドがHDR画像群の画像ではないと判断し、S1606へ進む。
【0052】
S1603では、周期検出部4がHDR_FLG変数に1を設定し、処理を終了する(S1503へ進む)。
S1605では、周期検出部4がHDR_FLG変数に2を設定し、処理を終了する(S1503へ進む)。
S1606では、周期検出部4がHDR_FLG変数に0を設定し、処理を終了する(S1503へ進む)。
【0053】
なお、所定のパターンは上述したパターンに限らない。例えば、輝度情報を“H”と“L”の2段階ではなく、3段階以上とし、より細かいパターンが予め用意されていてもよい。所定のパターンはHDR画像群を表すパターンであればどのようなパターンであってもよい。また、本実施例ではパターンがH,L,H,Lの場合とH,H,L,Lの場合とで設定するHDR_FLG変数を異ならせる構成としたが、HDR画像群のフィールドに対して共通のHDR_FLG変数を設定する構成であってもよい。但し、パターン毎にHDR_FLG変数を異ならせれば、処理対象のフィールドがどの様なパターンのHDR画像群のフィールドかを判断することが可能となる。
【0054】
次に、図17を用いて、輝度情報取得処理について説明する。
まず、周期検出部4が、入力されたフィールドから輝度ヒストグラムを取得し、輝度平均値を算出する(S1701)。
そして、周期検出部4が、S1701で算出した輝度平均値が所定の閾値より大きいか否かを判定する(S1702)。輝度平均値が所定の閾値より大きい場合には(S1701:Yes)、S1703へ進み、所定の閾値以下の場合には(S1701:No)、S1704へ進む。
【0055】
S1703では、周期検出部4が、入力されたフィールドの輝度情報を“H”とし、処理を終了する(S1602へ進む)。
S1704では、周期検出部4が、入力されたフィールドの輝度情報を“L”とし、処理を終了する(S1602へ進む)。
【0056】
このように、本実施例によれば、フィールドの輝度情報を時系列に記録することができる。また、そのように記録された輝度情報を用いて、画像データからHDR画像群を検出することができる。更に、HDR画像群の輝度のパターンを判別することができる。そして、HDR画像群のフィールドに対してはフィールド内補間により補間画素が生成されるため、画質を劣化させることなくIP変換することが可能となる。
【0057】
なお、本実施例では、輝度平均値から“H”か“L”かを判定する構成としたが、輝度平均値を算出せずに、輝度ヒストグラムの分布に応じて“H”か“L”かを判定してもよい。例えば、所定の輝度値以上の輝度値に所定数以上の度数が分布しているフィールドを“H”と判定してもよい。また、入力されたフィールドのメタ情報を参照することにより“H”か“L”かを判定してもよい。
【0058】
なお、フィールドがH,H,L,L・・・の順で並んでいる場合には、動きの有無に応じて以下のようにIP変換処理を行ってもよい。
例えば、HDR画像群間に動きがある場合には、上述したようにフィールド内補間によるIP変換処理を行う。
そして、HDR画像群間に動きが無い場合には、図18に示すように、同じ輝度情報のoddフィールドとevenフィールドを用いて、フィールド間補間によるIP変換処理を行う。具体的には、処理対象のフィールドが“H”のoddフィールドである場合には、時間的に隣接する“H”のevenフィールドを用いて、フィールド間補間によるIP変換処理を行う。
このような構成にすることにより、HDR画像群に対しても動き適応型IP変換処理を行うことができる。その結果、図15の方法に比べ、HDR画像群間に動きが無い場合に、より高画質なプログレッシブ画像データを生成することが可能となる。
【0059】
なお、フィールドがH,H,L,L・・・の順で並んでいる場合には、補間処理は2フィールドに1回だけ行ってもよい。具体的には、プログレッシブ画像データにおいて、同じ輝度情報の2つのフレームのうち、1つ目のフレームを補間処理により生成、出力し、2つ目のフレームとして前フレーム(1つ目のフレーム)を出力してもよい。
【符号の説明】
【0060】
230 輝度統計量抽出部
242 周期検出部
243 差分算出部
244 判定部

【特許請求の範囲】
【請求項1】
入力された画像データのフレーム毎に、そのフレームの輝度値の統計量から、該フレームを代表する輝度値である代表輝度値を算出する代表輝度値算出手段と、
前記代表輝度値算出手段で算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断手段と、
前記周期判断手段により代表輝度値のフレーム間の変化に周期性があると判断された場合に、1周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるHDR画像群を検出するHDR検出手段と、
を有し、
前記HDR検出手段は、
1周期内の代表輝度値の最大値と最小値の差分の絶対値を算出し、
該差分の絶対値が第1の閾値以上である場合に、対応する周期内の複数のフレームが前記HDR画像群のフレームであると判定する
ことを特徴とする画像検出装置。
【請求項2】
前記周期判断手段は、
代表輝度値の差分の絶対値が第2の閾値以下のフレームが一定のフレーム数おきに現れる場合に、代表輝度値のフレーム間の変化に周期性があると判断する
ことを特徴とする請求項1に記載の画像検出装置。
【請求項3】
前記入力された画像データのフレーム間の動きを検出する動き検出手段を更に有し、
前記周期判断手段は、前記フレーム間の動きが検出されている場合に、前記フレーム間の動きが検出されていない場合よりも大きな値を前記第2の閾値に設定する
ことを特徴とする請求項2に記載の画像検出装置。
【請求項4】
画像検出装置により実行される画像検出方法であって、
入力された画像データのフレーム毎に、そのフレームの輝度値の統計量から、該フレームを代表する輝度値である代表輝度値を算出する代表輝度値算出ステップと、
前記代表輝度値算出ステップで算出された代表輝度値のフレーム間の変化に周期性があるか否かを判断する周期判断ステップと、
前記周期判断ステップにより代表輝度値のフレーム間の変化に周期性があると判断された場合に、1周期内の代表輝度値の変化に基づいて、前記入力された画像データから異なる露出で同一の被写体を撮影することにより得られた複数の画像であるHDR画像群を検出するHDR検出ステップと、
を有し、
前記HDR検出ステップでは、
1周期内の代表輝度値の最大値と最小値の差分の絶対値を算出し、
該差分の絶対値が第1の閾値以上である場合に、対応する周期内の複数のフレームが前記HDR画像群のフレームであると判定する
ことを特徴とする画像検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−14627(P2012−14627A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−153061(P2010−153061)
【出願日】平成22年7月5日(2010.7.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】