画像処理装置および画像処理方法
【課題】画像処理装置における録画の際の記録容量を抑制し、かつ、高度な画像処理の制御を行うための技術を提供する。
【解決手段】入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析部と、前記入力画像を複数のシーンに区分するシーン検出部と、前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析部と、前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成部と、前記入力画像および前記制御量を蓄積する蓄積部と、前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理部とを有する画像処理装置。
【解決手段】入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析部と、前記入力画像を複数のシーンに区分するシーン検出部と、前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析部と、前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成部と、前記入力画像および前記制御量を蓄積する蓄積部と、前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理部とを有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
入力された動画画像を蓄積装置部に蓄積し、後に画像の再生を行う画像処理装置における高画質化画像処理において、従来、画像の特徴量をメタデータ化して記録する手法が知られている。これは静止画や動画の画像を蓄積する際に画像解析を行って、フレーム毎の画像の明るさや色の傾向を特徴量として数値化を行う。そしてその特徴量をメタデータ化して一緒に記録し、画像再生時にはそのメタデータに基づいて画像処理を行うものであった（特許文献１、特許文献２）。
【０００３】
また近年の一般的な傾向として、画像処理の実施内容が高度化するにつれて、参照する画像の特徴量が詳細化して情報量が増大してきている。例えば画像信号のダイナミックレンジを補正するために参照する情報として、単なる画像全体の明るさを用いるのではなく、入力信号の輝度ヒストグラムを用いるなどである。具体例としては、輝度ヒストグラムを累積加算して輝度補正カーブを生成し、適応的に輝度補正を行う画像処理法が知られている（特許文献３）。
【０００４】
また、処理対象画像の空間周波数特性に応じて画像の強調処理を行う画像処理手法が知られている（特許文献４）。
また、画像の特徴をメタデータ化して画像検索などに活用する規格としてＭＰＥＧ−７規格が定められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３２４７５６号公報
【特許文献２】特開２００８−０８４２１３号公報
【特許文献３】特開平０３−１２６３７７号公報
【特許文献４】特開２００９−１１１７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述した技術によって、詳細化した特徴量をメタデータ化すると、生成されたメタデータは膨大なデータ量となる。例えば、画像を構成する各々の画素の輝度成分を２５６段階の明るさに分類して度数を集計した、２５６カテゴリの輝度ヒストグラムをＭＰＥＧ−７規格類似の表記法によってメタデータ化すると、図２４のように表現できる。この表現では１フレーム毎の輝度ヒストグラムのメタデータとして約９０００文字が必要になる。これを映画１本に相当する２時間分の蓄積を行うと、記憶容量は次のように大きくなり、装置のコストが増大する要因となる。
9000字/フレーム × 60フレーム/s × 60秒 × 60分 × 2時間
= 3888000000字 ≒ 3.6GB
【０００７】
ここでは輝度ヒストグラムのみのメタデータ化を行ったが、絵作り制御をさらに高度化するために、その他の様々な特徴量も同時にメタデータ化すると、ますますメタデータの容量が増えて装置のコスト上昇の要因となる。
【０００８】
本発明は上記の課題に鑑みてなされたものであって、画像処理装置における録画の際の
記録容量を抑制し、かつ、高度な画像処理の制御を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は以下の構成を採用する。すなわち、入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析部と、前記入力画像を複数のシーンに区分するシーン検出部と、前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析部と、前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成部と、前記入力画像および前記制御量を蓄積する蓄積部と、前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理部とを有する画像処理装置である。
【００１０】
本発明はまた、以下の構成を採用する。すなわち、画像処理装置により実行される画像処理方法であって、入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析ステップと、前記入力画像を複数のシーンに区分するシーン検出ステップと、前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析ステップと、前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成ステップと、前記入力画像および前記制御量を蓄積する蓄積ステップと、前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理ステップとを有する画像処理方法である。
【発明の効果】
【００１１】
本発明によれば、画像処理装置における録画の際の記憶容量を抑制し、かつ、高度な画像処理を行うことが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施例１における画像処理装置の全体構成図。
【図２】画像解析部５およびシーン特徴解析部７の詳細なブロック図。
【図３】シーン特徴解析部７の動作を説明するフローチャート。
【図４】シーン特徴解析部７の時間に沿った動作の概念図。
【図５】シーン絵作り解析部８のブロック図。
【図６】シーン絵作り解析部８で扱う各信号の概念図。
【図７】輝度補正カーブの概念図。
【図８】生成メタデータＲ３０の例。
【図９】絵作り制御部６のブロック図。
【図１０】選択部９のブロック図。
【図１１】補正カーブ復元部９５の動作の概念図。
【図１２】再生時における画像処理装置の時間に沿った動作の概念図。
【図１３】実施例１での撮影対象を示す図。
【図１４】実施例１で撮影された画像を示す図。
【図１５】実施例１で撮影された画像の輝度ヒストグラムを示す図。
【図１６】撮影された画像に逐次最適化をする場合の輝度補正カーブを示す図。
【図１７】撮影された画像に逐次最適化をする場合の画像を示す図。
【図１８】実施例１におけるピークホールドヒストグラムＲ７２を示す図。
【図１９】実施例１におけるシーン最適化された輝度補正カーブを示す図。
【図２０】実施例１におけるシーン最適化した画像を示す図。
【図２１】実施例２によって有効な画像処理結果が得られる画像を示す図。
【図２２】実施例３によって有効な画像処理結果が得られる画像を示す図。
【図２３】実施例４における画像処理装置の全体構成図。
【図２４】輝度ヒストグラムをメタデータ化した例を示す図。
【発明を実施するための形態】
【００１３】
以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。以下の画像処理装置は入力画像を録画し、要求に応じて出力するために使用される。画像処理装置を単独の装置とすることもできるし、テレビジョンやＳＴＢ（Set Top Box）等の放送受信装置や、
ディスプレイ装置に組み込んで用いることもできる。また、本発明は撮影と画像蓄積を行うカムコーダにも適用できる。画像処理装置の各構成要素は専用の回路で構成されても良く、ＣＰＵ上で動作するプログラムとして構成されても良い。また、画像処理装置が行う各処理をプログラム等に実行させることにより、本発明を画像処理方法として実現することができる。
【００１４】
＜実施例１＞
本発明の実施例１における装置の全体構成図を図１に示す。以下、本図を用いて、実施例１の画像処理装置において画像を録画する時の動作について説明する。
タイムコード付与部２は不図示の画像入力手段から入力された入力画像信号Ｒ１にタイムコードを付与してタイムコード付入力画像信号Ｒ２を出力する。画像選択部３はタイムコード付入力画像信号Ｒ２を選択して選択画像信号Ｒ３を出力する。画像解析部５は選択画像信号Ｒ３をフレーム毎に解析して逐次特徴量Ｒ５をフレーム毎に出力する。画像解析部５が逐次特徴量Ｒ５を出力する動作の詳細は後述する。
【００１５】
シーン特徴解析部７は逐次特徴量Ｒ５から連続したフレームのカットの切り替わりを検出して複数のシーンを区分し、シーン全体の画像の特徴であるシーン特徴量Ｒ７を出力する。シーン特徴解析部７の動作の詳細は後述する。シーン絵作り解析部８はシーン特徴量Ｒ７をシーン毎に入力して、各シーンに対する絵作り制御量となるシーン制御シナリオＲ８を出力する。シーン絵作り解析部８の処理の詳細は後述する。メタデータ生成部３０はシーン制御シナリオＲ８をメタデータ化して生成メタデータＲ３０を出力する。画像記録部３１は選択映像信号Ｒ３と生成メタデータＲ３０を関連付けて蓄積用のストリームに変換し、記録信号Ｒ３１として出力する。蓄積装置部３２は記録信号Ｒ３１をハードディスク装置に記録する。蓄積装置部は、本発明の蓄積部に当たる。
【００１６】
タイムコード発生部１８は録画開始にタイムコードをリセットして、以後録画が停止するまでフレーム単位でカウントアップするタイムコードを発生する。発生したタイムコードは不図示のタイムコードＲ１８として各ブロックに配布される。制御部１９は不図示の制御線を通じて装置の各ブロックの動作の制御を行う。
【００１７】
次に、画像録画時における画像解析部５およびシーン特徴解析部７の詳細を説明する。画像解析部５およびシーン特徴解析部７の詳細なブロック図を図２に示す。ＡＰＬ算出部５１は選択画像信号Ｒ３のＡＰＬ(Average Picture Level：平均画像レベル)をフレーム
毎に算出してＡＰＬ値Ｒ５１を出力する。輝度ヒストグラム算出部５１は選択画像信号Ｒ３の輝度ヒストグラムをフレーム毎に算出して輝度ヒストグラムＲ５２を出力する。逐次特徴量Ｒ５はフレーム毎のＡＰＬ値Ｒ５１と輝度ヒストグラムＲ５２からなる構造体である。
【００１８】
シーンチェンジ検出部７１はＡＰＬ値Ｒ５１を監視してフレーム間の変化量が閾値を超えたらシーンチェンジが発生したと判断して、シーンチェンジ検出信号Ｒ７１を出力する。これによりシーン検出がなされ、それぞれ開始点と持続時間を持つ複数のシーンが区分される。ピークホールドヒストグラム生成部７２（MaxHist生成部）はフレーム毎の輝度
ヒストグラムＲ５２とシーンチェンジ検出信号Ｒ７１を受け取る。そして、それらに基づ
いて、シーンチェンジ間の輝度ヒストグラムＲ５２の各カテゴリの度数の最大値を算出し、ピークホールドヒストグラムＲ７２を出力する。ピークホールドヒストグラムＲ７２の生成方法の詳細は後述する。累積ヒストグラム生成部７３はフレーム毎の輝度ヒストグラムＲ５２とシーンチェンジ検出信号Ｒ７１に基づいて、シーンチェンジ間の輝度ヒストグラムＲ５２の各カテゴリの度数の累計を算出し、累積ヒストグラムＲ７３を生成する。累積ヒストグラムＲ７３生成方法の詳細は後述する。シーンヒストグラム生成部７４はピークホールドヒストグラムＲ７２と累積ヒストグラムＲ７３に基づいてシーン特徴量Ｒ７を生成する。シーンチェンジ検出部は本発明のシーン検出部に当たる。
【００１９】
次にシーン特徴解析部７の詳細な動作を説明する。シーン特徴解析部７の動作を示すフローチャートを図３に示す。動作の制御は不図示の制御線を通じて制御部１９が行う。また動作の概念図を図４に示す。
以下の説明で用いる４つの配列を、次のように定義する。
InH[ x ] …シーンヒストグラムＲ７（シーン特徴量）
MaxH[ x ] …ピークホールドヒストグラムＲ７２
TtlH[ x ] …累積ヒストグラムＲ７３
AveH[ x ] …平均ヒストグラム（不図示）
上の配列中、ｘは集計する輝度のカテゴリの番号で０〜２５５の範囲をとる。０が最も暗いカテゴリであり２５５が最も明るいカテゴリである。例えばシーンヒストグラムＲ７（シーン特徴量）の最も輝度の低いカテゴリの度数は、InH[0]と表す。
【００２０】
シーン特徴解析部７はフレーム毎に活性化され、図３のフローがスタートする。
ステップＳ７０１では、ＡＰＬ値Ｒ５１、輝度ヒストグラムＲ５２からなる逐次特徴量Ｒ５を入力する。
ステップＳ７０２では、シーンチェンジ検出部７１にてシーンチェンジの有無を判定する。ＡＰＬ値Ｒ５１の前フレームの値と現フレームの値を比較して、差分の絶対値が閾値以上であればシーンチェンジありと判定してステップＳ７０５へ進む。シーンチェンジが無ければステップＳ７０３へ進む。
【００２１】
ステップＳ７０３では、ピークホールドヒストグラム生成部７２にてピークホールドヒストグラムの生成演算を行う。保持しているピークホールドヒストグラムＲ７２（MaxH[x]）に対して、次の演算を行う。
MaxH[x] = max( MaxH[x], InH[x] )
【００２２】
ステップＳ７０４では、累積ヒストグラム生成部７３にて累積ヒストグラムの生成演算を行う。保持している累積ヒストグラムＲ７３（TtlH[x]）に対して、次の演算を行う。
TtlH[x] = TtlH[x] + InH[x]
シーンチェンジが無い場合はステップＳ７０４にてシーン特徴解析のプロセスは終了する。
【００２３】
ステップＳ７０５では、シーンヒストグラム生成部７４にて一つ前のシーンチェンジから現フレームまでのフレーム数(Duration)を算出する。現フレームのタイムコードから、保存しておいたTimePointを減算してDurationとする。例えば概念図（図４）のTbの時点
であれば、Durationは次のようになる。
Duration = Tb - Ta = Da
【００２４】
ステップＳ７０６では、シーンヒストグラム生成部７４にて不図示の平均ヒストグラムAveH[x]を生成する。保持している累積ヒストグラムＲ７３（TtlH[x]）とステップＳ７０５で算出したDurationのフレーム数から、次の演算を行う。
AveH[x] = TtlH[x] / Duration
【００２５】
ステップＳ７０７では、シーンヒストグラム生成部７４にて不図示のヒストグラム差分絶対値和SAHD ( Sum of Absolute Histogram Differences )を生成する。ピークホールドヒストグラムＲ７２（MaxH[x]）と平均ヒストグラムAveH[x]から、次の演算を行う。
【数１】
【００２６】
ステップＳ７０８では、シーン特徴量Ｒ７の出力を行うか否かを判定する。差分絶対値和SAHDと予め定められた閾値とを比較して、差分絶対値和SAHDの方が大きければ、シーンの中で輝度分布の大きな変動があったと判定してシーン最適制御を行うためにシーン特徴量Ｒ７を出力するためにステップＳ７０９へ進む。差分絶対値和SAHDの方が小さければ逐次適応制御で対応するシーンであると判定してシーン特徴量は出力せずにステップＳ７１０へ進む。
ステップＳ７０９では、シーンヒストグラム生成部７４にてシーン特徴量Ｒ７の出力を行う。ピークホールドヒストグラムＲ７２をシーン特徴量Ｒ７として出力する。この値がシーン全体の画像の特徴として利用される。
ステップＳ７１０では、シーンヒストグラム生成部７４内の不図示のレジスタに現時点のタイムコードを新しいTimePointとして記録する。
【００２７】
ステップＳ７１１では、ピークホールドヒストグラム生成部７２にて保持してあったピークホールドヒストグラムＲ７２をクリアする。
ステップＳ７１２では、累積ヒストグラム生成部７３にて保持してあった累積ヒストグラムＲ７３をクリアする。
以上の制御によってシーン特徴解析部７にてシーン特徴量Ｒ７を生成する。
【００２８】
図４の概念図で説明すると、シーンチェンジ検出がされたタイムコードTbの時点は、TimePoint=Ta, Duration=Daで表されるShot-Aの映像区間に対するシーン特徴量Ｒ７が生成
された例である。またタイムコードTcの時点は、逐次特徴量Ｒ５の変化が大きくなかったためにShot-Bの映像区間に対してシーン特徴量Ｒ７が出力されなかった例である。
【００２９】
次に、シーン絵作り解析部８におけるシーン制御シナリオＲ８の生成方法の詳細を説明する。シーン絵作り解析部８のブロック図を図５に示す。
【００３０】
ヒストグラム正規化部８１は、シーン特徴量Ｒ７のヒストグラムを正規化して、正規化ヒストグラムＲ８１を出力する。入力されたシーン特徴量Ｒ７の概念図を図６の(a)に、
正規化ヒストグラムＲ８１の概念図を図６の(b)に示す。
ヒストグラム積分部８２は、正規化ヒストグラムＲ８１を下位のカテゴリから順に累積加算する（図６(c)）。そして、累積加算ヒストグラムから、階調補正を行うための輝度
補正カーブＲ８２を生成する（図６(d)）。このように輝度補正カーブが生成され、制御
量生成がなされることから、シーン絵作り解析部は、本発明の制御量生成部に当たる。
標準カーブ格納部８３は、画像処理装置の画像補正の方針である絵作りモード毎に標準的な輝度補正カーブセットをＲＯＭ等に格納する。これら標準的な輝度補正カーブは、本発明の所定の制御量に相当する。本実施例では２セットの絵作りモードを持つものとし、それぞれに対応する図７(a)、図７(b)の２セットの標準輝度補正カーブＲ８３が格納されている。それぞれ横軸が入力画像の階調値、縦軸が出力画像の階調値を示す。図７(a)は
出力画像のビット数を入力画像の各階調に対して均等に割り当てる絵作りモードを示す。一方、図７(b)は入力画像の中間階調に多くのビット数を割り当てる絵作りモードを示す
。
【００３１】
代表点差分抽出部８４は、生成した輝度補正カーブＲ８２と標準輝度補正カーブＲ８３との差分を抽出してシーン制御シナリオＲ８を生成する。標準輝度補正カーブＲ８３のセット毎に、各セット固有の代表点における差分を抽出する。絵作りモード毎に重視する階調が異なる場合があるので差分抽出の代表点はモード毎に固有とする。差分抽出の概念図を図７(c)、図７(d)に示す。得られた差分に対象とするシーンの時間情報を関連付けてシーン制御シナリオＲ８とする。すなわちシーン制御シナリオＲ８は、次の１０要素からなる構造体である。
対象シーンのTimePoint，対象シーンのDuration
モード(a)の代表点１の位置，モード(a)の代表点１の差分
モード(a)の代表点２の位置，モード(a)の代表点２の差分
モード(b)の代表点１の位置，モード(b)の代表点１の差分
モード(b)の代表点２の位置，モード(b)の代表点２の差分
【００３２】
以上の動作によって実施例１の装置において画像の録画が可能となる。なお、シーン制御シナリオは本発明の差分情報に当たる。シーン絵作り解析部は本発明の差分情報生成部に当たる。
また、シーン特徴量Ｒ７が出力されていなかった場合はシーン制御シナリオＲ８も出力無しとする。
また、メタデータ生成部３０にてシーン制御シナリオＲ８をメタデータ化した生成メタデータＲ３０を図８に示す。
【００３３】
次に、実施例１の画像処理装置において画像を再生するときの動作について説明する。
画像再生部３３は蓄積装置部３２から再生対象の画像に対応する再生信号Ｒ３２を取得し、メタデータと画像のストリームに分離して再生メタデータＲ３３と再生画像信号Ｒ１３を出力する。メタデータ解析部３４は制御選択部９からのシナリオリクエスト信号Ｒ９９がEnableにされたら、再生メタデータＲ３３を解析してタイムコードに関連付けられた再生シーン制御シナリオＲ３４を出力する。
【００３４】
画像選択部３は再生画像信号Ｒ１３を選択して選択画像信号Ｒ３を出力する。画像解析部５は録画時と同様に選択画像信号Ｒ３をフレーム毎に解析して逐次特徴量Ｒ５をフレーム毎に出力する。逐次特徴量Ｒ５を受けた絵作り制御部６は、画像処理部４を制御して逐次適応絵作りを行う逐次制御量Ｒ６をフレーム毎に出力する。絵作り制御部６の処理の詳細は後述する。制御選択部９は逐次制御量Ｒ６と再生シーン制御シナリオＲ３４のいずれかを選択して選択制御量Ｒ９を出力する。制御選択部９の処理の詳細は後述する。画像処理部４は選択制御量Ｒ９に従って選択画像信号Ｒ３に画像処理を施して表示画像信号Ｒ４を出力する。画像処理部４における画像処理の詳細は後述する。画像表示部１０は表示映像信号Ｒ４に従って画像を表示する。
【００３５】
なお、上記の各処理はタイムコードを参照した制御処理により行われている。タイムコード発生部１８は再生画像信号Ｒ１３からタイムコードを取得して、取得したタイムコードを不図示のタイムコードＲ１８としてシステム内の各ブロックに配布する。制御部１９は不図示の制御線を通じてシステムの各ブロックの動作の制御を行う。
【００３６】
次に、絵作り制御部６における逐次適応絵作りの詳細を説明する。絵作り制御部６のブロック図を図９に示す。絵作り制御部６では逐次特徴量Ｒ５の内、輝度ヒストグラムＲ５２のみを使用する。
逐次正規化部６１は輝度ヒストグラムＲ５２の正規化を行って逐次正規化ヒストグラムＲ６１を出力する。正規化処理の詳細はヒストグラム正規化部８１と同様である。
逐次ヒストグラム積分部６２は、逐次正規化ヒストグラムＲ６１を下位のカテゴリから
順に累積加算して階調補正を行うための輝度補正カーブである逐次制御量Ｒ６を生成する。生成方法の詳細はヒストグラム積分部８２と同様である。
【００３７】
次に、選択制御部９の動作の詳細を説明する。選択部９のブロック図を図１０に示す。
タイムコード比較部９１は、タイムコードＲ１８と区間タイムコードＲ９３を比較して、カーブ選択信号Ｒ９１およびシナリオ更新信号Ｒ９２を出力する。現在処理対象となる画像のタイムコードＲ１８をNTC、区間タイムコードＲ９３のTimePointをSTP、区間タイ
ムコードＲ９３のDurationをSDRとしたときに、次の式が成立するか判断する。
STP ≦ NTC ＜ STP+SDR
成立したら、カーブ選択信号Ｒ９１をEnableにする。成立していなければカーブ選択信号Ｒ９１をDisableにする。
【００３８】
タイムコード比較部９３はまた、次の式が成立するか判断する。
NTC ≧ STP+SDR
成立したら、シナリオ更新信号Ｒ９２をEnableにする。成立していなければシナリオ更新信号Ｒ９２をDisableにする。
【００３９】
シナリオキュー９３は再生シーン制御シナリオを一時的に蓄えるキューである。キューの出力として、キューの先頭のシナリオが対象とする時間区間のTimePointとDurationを
含む区間タイムコードＲ９３と、その時間区間に対応する制御値であるシナリオ制御値Ｒ９４とを常に出力している。また、シナリオ更新信号Ｒ９２がEnableになったら、キューの先頭を１つ廃棄する。キューに空きができたら、シナリオリクエスト信号Ｒ９９をEnableにしてメタデータ解析部３４より再生シーン制御シナリオＲ３４を取得してキューの後端にストアする。
【００４０】
補正カーブ復元部９５はシナリオ制御値Ｒ９４に基づいて輝度補正カーブの特徴を復元して、逆γ変換カーブを修正した修正輝度補正カーブＲ９５を出力する。処理の詳細を以下に説明する。処理システム全体の特性及び処理モードに応じて、基準となる逆γ変換カーブを選択する（図１１(ａ)）。次に、シナリオ制御値Ｒ９４に含まれる２箇所の代表点位置Pa,Pbを参照する（図１１(ｂ)）。次に、代表点位置における基準カーブから代表点
差分Va,Vbを加えて修正代表点Na,Nbを算出する（図１１(ｃ)）。次に、原点Ｂ（黒色点）から修正代表点Na,Nbを通って終点Ｗ（白色点）を結ぶスプライン曲線を算出して修正輝
度補正カーブＲ９５とする（図１１(ｄ)）。
【００４１】
カーブ選択部９６はカーブ選択信号Ｒ９１に基づいて修正輝度補正カーブＲ９５もしくは逐次制御量Ｒ６のいずれかを選択して選択制御量Ｒ９として出力する。これにより、画像の区間に対して制御シナリオが存在した場合には制御シナリオに従った画像処理が行われ、また存在しなかった場合には逐次適応型の画像処理が行われることになる。
【００４２】
次に、画像処理部４における画像処理の詳細を説明する。画像処理部４はＲＡＭで構成されるルックアップテーブルとなっている。選択制御量Ｒ９はＲＡＭのライトポートに接続され、選択画像信号Ｒ３のフレーム間のブランキング期間に選択制御量Ｒ９の内容が書き込まれる。選択画像信号Ｒ３はＲＡＭのリードのアドレスポートに接続され、テーブルに書き込まれている選択制御量Ｒ９を参照する。ＲＡＭのリードのデータポートからテーブルの参照によって変換された値が出力され、表示画像信号Ｒ４として出力される。
【００４３】
以上説明した再生時におけるシステムの動作の概念図を図１２に示す。
画像の再生に先立って、シナリオキュー９３は空の状態であるのでシナリオリクエスト信号Ｒ９２を必要な回数発生してキューを埋める。
タイムコードのTimePoint TaからDuration Daで示される選択画像信号Ｒ３について検
討する。このとき、Shot-Aの映像区間では、シナリオキュー９３から出力される区間タイムコードＲ９３との比較において条件が一致するので、カーブ選択信号Ｒ９１はEnableとなる。またそのカーブ選択信号Ｒ９１に基づいて、選択制御量Ｒ９は再生シーン制御シナリオＲ３４に基づいたVaが選択される。
【００４４】
Shot-Aの映像区間が終了したら、シナリオ更新信号Ｒ９２が発生してシナリオキュー９３の先頭に入っていたシナリオVaが破棄される。また続いてキューの空きの発生によってシナリオリクエスト信号Ｒ９９が発生して次の制御シナリオVdがキューに補充される。
選択画像信号Ｒ３がShot-Bの映像区間では、区間タイムコードＲ９３との比較において条件が一致しないので、カーブ選択信号Ｒ９１はDisableとなる。またそのカーブ選択信
号Ｒ９１に基づいて、Shot-Bの映像区間内では選択制御量Ｒ９に逐次制御量Ｒ６に基づいたVXが選択される。
以後、同様にしてShot-Cの映像区間では再生シーン制御シナリオＲ３４に基づいたVcが選択される。
【００４５】
以上説明した構成及びその制御にて、画像録画時にメタデータ化したシナリオ制御量を同時記録し、再生時にそれを読み出して画像処理を行うことが可能となる。この構成による再生時の画像処理では再生する画像区間に対応するメタデータを先行して読み出して、最適化された画像処理シナリオを予め準備しておく。それにより、画像自体を先読みせずとも区間最適化された絵作り制御をその区間の始めから適用することが可能となる。
【００４６】
例えば、図１３に示すような薄暗い部屋の中をカメラが左から右へパンしながら撮影すると、図１４(a)〜(c)のような画像信号が得られる。このそれぞれの瞬間における輝度ヒストグラムＲ５２はそれぞれ図１５(a)〜(c)のような形が得られる。
この画像信号に対して従来知られている逐次最適化した輝度補正カーブ生成を行うと、それぞれ図１６(a)〜(c)のような補正カーブが得られる。この補正を行った画像は図１７(a)〜(c)のように、同一シーン内で大きく明るさが変動して見苦しい画像となる場合があった。
【００４７】
しかし本実施例の装置構成によれば、図１４(a)〜(c)までを単一の画像区間と認識してシーン内の全フレームに対して最適な補正カーブを求めることができる。具体的には図１８に示すようなピークホールドヒストグラムＲ７２が得られ、図１９に示すような輝度補正カーブが、図１４(a)〜(c)対応するシーン制御シナリオＲ８として得られる。シーン制御シナリオＲ８が得られた区間画像は、その区間に渡って単一の補正カーブが適用されるので、パン途中で映像全体の輝度変動は発生せず、図２０(a)〜(c)に示したような安定した画像処理結果が得られる。
【００４８】
以上、本発明を適用した実施例１の構成及びその制御にて、従来知られていた画像処理方法よりも更に高度な画像処理結果が得られることを示した。またこのとき、シーン特徴量Ｒ７が出力されるシーンでは、シーン制御シナリオＲ８が出力され、録画時にはシーン制御シナリオＲ８に基づく生成メタデータＲ３０が記録される。その結果、フレームごとにメタデータを記録する場合に比べメタデータが削減される。
【００４９】
また、画像の再生を行っている時に早送りや巻戻しなどのトリックプレイが発生する可能性のあるシステムであっても、本実施例の構成にて対応が可能である。
【００５０】
制御選択部９は、トリックプレイが発生したら制御部１９からの通知によってシナリオキュー９３に保持されている制御シナリオをすべて破棄する。
画像再生部３３は、トリックプレイ中はメタデータの読出しを停止する。また、トリックプレイが終了して通常の再生モードになったら、メタデータの読出しポインタをメタデ
ータファイルの先頭に戻して最初から順にメタデータを読出す。
【００５１】
この状態では、タイムコード比較部９１の判断において、次の条件が連続して成立している。
NTC ≧ STP+SDR
そのため、画像再生している時点に追いつくまでメタデータが連続して読み飛ばされる。メタデータのデータ量は画像のストリームに比べて非常に小さいので、ファイルの先頭から読み直しを行ってもユーザが認識できない程度の短時間で読み出しポインタを同期させることが可能である。
【００５２】
あるいは、何らかの検索技術を用いてタイムコードとメタデータの読出しポインタの同期を図っても良い。
【００５３】
このように制御を行うことで、トリックプレイが発生する可能性のあるシステムに対しても本実施例を適用することが可能である。
【００５４】
また、本実施例に示した画像処理装置の構成要素の具体例を置き換えることによって、様々な画像処理効果を得ることが可能となる。
【００５５】
例えば、シーン制御シナリオを区分する区間は、シーンチェンジ検出部７１の検出方法を置き換えることでシステムの用途に応じた区分とすることが可能となる。例えば区切りの検出方法として、フレーム毎の輝度ヒストグラムＲ５２の変化を検出しても良いし、画像に付随する音声データの変化から検出してもよい。検出対象とする区分もショットの切り替わりの他、番組の切り替わりやＣＭの検出を行っても良い。システムを単純化する場合にはタイマを用いて一定時間で区分することも可能である。
【００５６】
また、シーン特徴解析部７で算出するシーン特徴量Ｒ７は、本実施例で示した例の他、シーン中の平均値を用いたり、特異値を除外して算出したりすることも可能である。
【００５７】
また、本実施例では、シーン特徴量Ｒ７のヒストグラムから輝度補正カーブＲ８２を生成した後、代表点で標準輝度補正カーブとの差分を抽出してシーン制御シナリオＲ８を作り、メタデータ化して蓄積している。しかし、メタデータ化する前の輝度補正カーブを入力画像とともに蓄積して、画像再生時の補正処理に用いることもできる。あるいはシーン特徴量を蓄積して、再生時に輝度補正カーブを求めて補正処理を行うこともできる。この場合でも、フレーム毎にヒストグラムを作成、蓄積する場合に比べて記憶容量の抑制が可能である。
【００５８】
また、シーン絵作り解析部８で算出する輝度補正カーブＲ８２は、本実施例で示した例の他、ヒストグラムの形状でパターン分類を用いるなどの方法を用いることも可能である。
【００５９】
また、シーン絵作り解析部８で算出するシーン制御シナリオＲ８は、本実施例で示したように２次的な形式に変換する例の他、ヒストグラムの構成数値そのものを用いることも可能である。
【００６０】
また、メタデータ生成部３０にて生成する生成メタデータＲ３０は、本実施例で示した例の他、独自のテキスト形式でも良いし、バイナリ形式を用いることも可能である。
【００６１】
＜実施例２＞
実施例１では画像処理のために画像解析部５で検出する逐次特徴量Ｒ５は輝度ヒストグ
ラムであったが、それ以外の特徴量を用いた画像処理を行うシステムであってもことも本発明を適用することが可能である。
実施例２では、色ヒストグラムを用いて画像処理を行う装置について説明する。本実施例のシステムの全体構成図は、図１に示す実施例１の全体構成図と同様であり、一部の構成要素の機能が異なる。
【００６２】
本実施例においては、画像解析部５は選択画像信号Ｒ３の色解析を行い、彩度ヒストグラムを生成する。また、画像処理部４は、選択制御量Ｒ９に従って選択画像信号Ｒ３の彩度を変化させる。また、絵作り制御部６は、解析した画像の全体的な彩度が低ければ、色飽和が起こらない程度に彩度を上げる制御を行う逐次制御量Ｒ６を出力する。
【００６３】
また、シーン特徴解析部７は、実施例１と同様にして区間画像に対する彩度ヒストグラムのピークホールドヒストグラムを生成する。また、シーン絵作り解析部８は彩度のピークホールドヒストグラムに最適化した、彩度の制御量を制御シナリオＲ８として算出する。
他の構成要素は、実施例１と同様の動作および制御を行う。
【００６４】
図２１に、本実施例のシステムを屋内のシーンに適用する例を示す。まず図２１(ａ)のように全体的に彩度の低いインテリアが置かれていて、続いて図２１(b)に示したように
その画面内に鮮やかな色の服を着た人物が画面内に歩いてきた。というシーンを想定する。
【００６５】
この場合、従来知られている逐次制御による画像処理では、図２１(a)の時点では画面
全体の彩度を上げるように制御を行う。また図２１(b)の時点では人物の服の色が飽和し
ないように彩度の向上を控えめにする。この制御によって単一のシーンであっても背景の色調が変化してしまい、違和感のある画像処理となってしまう。また、逐次制御に時定数を持たせて急激な制御の変化を抑制する技術も知られているが、その場合は図２１(a)の
時点で最適化された彩度を向上させる制御を図２１(b)にも適用することになる。それに
よって人物の服の色が飽和してしまい、画質がかえって低下してしまう可能性がある。
【００６６】
しかし、本発明を適用した実施例２の装置構成に拠れば、図２１(a)〜(b)を連続した単一のシーンとして最適化した制御を行うことができる。その結果、図２１(a)の時点から
その後の画像にも適応する彩度に制御を行い、違和感無く高画質化を行うことが可能となる。
【００６７】
以上説明した構成によって色の彩度に対しても区間画像に最適化した制御シナリオを適用した高度な画像処理を行うことが可能となる。その際のメタデータはシーン制御シナリオに基づいて生成されているので、フレームごとにメタデータを生成する場合よりも量を削減することができる。
【００６８】
＜実施例３＞
以上説明した実施例では画像処理のために画像解析部５で検出する逐次特徴量Ｒ５は何らかのヒストグラムであったが、それ以外の特徴量を用いた画像処理を行うシステムであってもことも本発明を適用することが可能である。
実施例３では、空間周波数パワースペクトルを用いて画像処理を行う装置について説明する。本実施例のシステムの全体構成図は、図１に示す実施例１の全体構成図と同様であり、一部の構成要素の機能が異なる。
【００６９】
本実施例においては、画像解析部５は選択画像信号Ｒ３に対してＦＦＴ解析を行って空間周波数パワースペクトルを生成する。また、画像処理部４は、選択制御量Ｒ９に従って
選択画像信号Ｒ３の鮮鋭度を変化させる。また、絵作り制御部６は、解析した画像の全体的な鮮鋭度が低ければ、画像のエッジにリンギングが起こらない程度に鮮鋭度を上げる制御を行う逐次制御量Ｒ６を出力する。
【００７０】
また、シーン特徴解析部７は、実施例１とほぼ同様の手法にて区間画像に対する空間周波数パワースペクトルのピークホールドスペクトルを生成する。また、シーン絵作り解析部８は空間周波数パワースペクトルのピークホールドスペクトルに最適化した、鮮鋭度の制御量を制御シナリオＲ８として算出する。
他の構成要素は、実施例１と同様の動作および制御を行う。
【００７１】
図２２に、本実施例のシステムを屋外のシーンに適用する例を示す。まず図２２(ａ)のように全体的にフォーカスが甘めに撮影された風景が表示されていて、続いて図２２(b)
に示したようにその画面内に多量の文字テロップがスクロールインする。というシーンを想定する。
【００７２】
この場合、従来知られている逐次制御による画像処理では、図２２(a)の時点では画面
全体の鮮鋭度を上げるように制御を行う。また図２２(b)の時点では文字テロップにリン
ギングが生じないように鮮鋭度の向上を控えめにする。この制御によって単一のシーンであっても背景の鮮鋭度が変化してしまい、違和感のある画像処理となってしまう。また、逐次制御に時定数を持たせて急激な制御の変化を抑制する技術も知られているが、その場合は図２２(a)の時点で最適化された鮮鋭度を向上させる制御を図２２(b)にも適用することになる。それによって文字テロップの周囲にリンギングが発生していまい、画質がかえって低下してしまう可能性がある。
【００７３】
しかし、本発明を適用した実施例３の装置構成に拠れば、図２２(a)〜(b)を連続した単一のシーンとして最適化した制御を行うことができる。その結果、図２２(a)の時点から
その後の画像にも適応する鮮鋭度に制御を行い、違和感無く高画質化を行うことが可能となる。
【００７４】
以上説明した構成によって画像の鮮鋭度に対しても区間画像に最適化した制御シナリオを適用した高度な画像処理を行うことが可能となる。その際のメタデータはシーン制御シナリオに基づいて生成されているので、フレームごとにメタデータを生成する場合よりも量を削減することができる。
【００７５】
＜実施例４＞
本実施例では、入力部に撮像素子を用いた、撮影および撮影した画像の蓄積をするカムコーダに本発明を適用する例を説明する。本実施例においても、実施例１とほぼ同様の構成にて本発明を適用することが可能である。
【００７６】
実施例４における装置の全体構成図を図２３に示す。撮像部２１は録画モード時、撮像素子に撮影された撮影画像Ｒ２１を出力する。外部出力部２２は表示画像信号Ｒ４をＨＤＭＩなど規格に準拠した映像信号に変換して、外部出力信号Ｒ２２を出力する。
【００７７】
その他の構成及び制御は実施例１と同様である。すなわち画像処理装置は、録画時にシーンチェンジを検出し、シーン制御シナリオをメタデータ化して保存する。これにより、メタデータの量を削減することができる。そして再生時にはシーン制御シナリオを適用した高度な画像処理が可能になる。このようにすれば、カムコーダに対しても本発明を適用することが可能となる。
【符号の説明】
【００７８】
４：画像処理部，５：画像解析部，７：シーン特徴解析部，１０：画像表示部，３２：蓄積装置部，３３：画像再生部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
入力された動画画像を蓄積装置部に蓄積し、後に画像の再生を行う画像処理装置における高画質化画像処理において、従来、画像の特徴量をメタデータ化して記録する手法が知られている。これは静止画や動画の画像を蓄積する際に画像解析を行って、フレーム毎の画像の明るさや色の傾向を特徴量として数値化を行う。そしてその特徴量をメタデータ化して一緒に記録し、画像再生時にはそのメタデータに基づいて画像処理を行うものであった（特許文献１、特許文献２）。
【０００３】
また近年の一般的な傾向として、画像処理の実施内容が高度化するにつれて、参照する画像の特徴量が詳細化して情報量が増大してきている。例えば画像信号のダイナミックレンジを補正するために参照する情報として、単なる画像全体の明るさを用いるのではなく、入力信号の輝度ヒストグラムを用いるなどである。具体例としては、輝度ヒストグラムを累積加算して輝度補正カーブを生成し、適応的に輝度補正を行う画像処理法が知られている（特許文献３）。
【０００４】
また、処理対象画像の空間周波数特性に応じて画像の強調処理を行う画像処理手法が知られている（特許文献４）。
また、画像の特徴をメタデータ化して画像検索などに活用する規格としてＭＰＥＧ−７規格が定められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３２４７５６号公報
【特許文献２】特開２００８−０８４２１３号公報
【特許文献３】特開平０３−１２６３７７号公報
【特許文献４】特開２００９−１１１７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述した技術によって、詳細化した特徴量をメタデータ化すると、生成されたメタデータは膨大なデータ量となる。例えば、画像を構成する各々の画素の輝度成分を２５６段階の明るさに分類して度数を集計した、２５６カテゴリの輝度ヒストグラムをＭＰＥＧ−７規格類似の表記法によってメタデータ化すると、図２４のように表現できる。この表現では１フレーム毎の輝度ヒストグラムのメタデータとして約９０００文字が必要になる。これを映画１本に相当する２時間分の蓄積を行うと、記憶容量は次のように大きくなり、装置のコストが増大する要因となる。
9000字/フレーム × 60フレーム/s × 60秒 × 60分 × 2時間
= 3888000000字 ≒ 3.6GB
【０００７】
ここでは輝度ヒストグラムのみのメタデータ化を行ったが、絵作り制御をさらに高度化するために、その他の様々な特徴量も同時にメタデータ化すると、ますますメタデータの容量が増えて装置のコスト上昇の要因となる。
【０００８】
本発明は上記の課題に鑑みてなされたものであって、画像処理装置における録画の際の
記録容量を抑制し、かつ、高度な画像処理の制御を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は以下の構成を採用する。すなわち、入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析部と、前記入力画像を複数のシーンに区分するシーン検出部と、前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析部と、前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成部と、前記入力画像および前記制御量を蓄積する蓄積部と、前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理部とを有する画像処理装置である。
【００１０】
本発明はまた、以下の構成を採用する。すなわち、画像処理装置により実行される画像処理方法であって、入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析ステップと、前記入力画像を複数のシーンに区分するシーン検出ステップと、前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析ステップと、前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成ステップと、前記入力画像および前記制御量を蓄積する蓄積ステップと、前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理ステップとを有する画像処理方法である。
【発明の効果】
【００１１】
本発明によれば、画像処理装置における録画の際の記憶容量を抑制し、かつ、高度な画像処理を行うことが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施例１における画像処理装置の全体構成図。
【図２】画像解析部５およびシーン特徴解析部７の詳細なブロック図。
【図３】シーン特徴解析部７の動作を説明するフローチャート。
【図４】シーン特徴解析部７の時間に沿った動作の概念図。
【図５】シーン絵作り解析部８のブロック図。
【図６】シーン絵作り解析部８で扱う各信号の概念図。
【図７】輝度補正カーブの概念図。
【図８】生成メタデータＲ３０の例。
【図９】絵作り制御部６のブロック図。
【図１０】選択部９のブロック図。
【図１１】補正カーブ復元部９５の動作の概念図。
【図１２】再生時における画像処理装置の時間に沿った動作の概念図。
【図１３】実施例１での撮影対象を示す図。
【図１４】実施例１で撮影された画像を示す図。
【図１５】実施例１で撮影された画像の輝度ヒストグラムを示す図。
【図１６】撮影された画像に逐次最適化をする場合の輝度補正カーブを示す図。
【図１７】撮影された画像に逐次最適化をする場合の画像を示す図。
【図１８】実施例１におけるピークホールドヒストグラムＲ７２を示す図。
【図１９】実施例１におけるシーン最適化された輝度補正カーブを示す図。
【図２０】実施例１におけるシーン最適化した画像を示す図。
【図２１】実施例２によって有効な画像処理結果が得られる画像を示す図。
【図２２】実施例３によって有効な画像処理結果が得られる画像を示す図。
【図２３】実施例４における画像処理装置の全体構成図。
【図２４】輝度ヒストグラムをメタデータ化した例を示す図。
【発明を実施するための形態】
【００１３】
以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。以下の画像処理装置は入力画像を録画し、要求に応じて出力するために使用される。画像処理装置を単独の装置とすることもできるし、テレビジョンやＳＴＢ（Set Top Box）等の放送受信装置や、
ディスプレイ装置に組み込んで用いることもできる。また、本発明は撮影と画像蓄積を行うカムコーダにも適用できる。画像処理装置の各構成要素は専用の回路で構成されても良く、ＣＰＵ上で動作するプログラムとして構成されても良い。また、画像処理装置が行う各処理をプログラム等に実行させることにより、本発明を画像処理方法として実現することができる。
【００１４】
＜実施例１＞
本発明の実施例１における装置の全体構成図を図１に示す。以下、本図を用いて、実施例１の画像処理装置において画像を録画する時の動作について説明する。
タイムコード付与部２は不図示の画像入力手段から入力された入力画像信号Ｒ１にタイムコードを付与してタイムコード付入力画像信号Ｒ２を出力する。画像選択部３はタイムコード付入力画像信号Ｒ２を選択して選択画像信号Ｒ３を出力する。画像解析部５は選択画像信号Ｒ３をフレーム毎に解析して逐次特徴量Ｒ５をフレーム毎に出力する。画像解析部５が逐次特徴量Ｒ５を出力する動作の詳細は後述する。
【００１５】
シーン特徴解析部７は逐次特徴量Ｒ５から連続したフレームのカットの切り替わりを検出して複数のシーンを区分し、シーン全体の画像の特徴であるシーン特徴量Ｒ７を出力する。シーン特徴解析部７の動作の詳細は後述する。シーン絵作り解析部８はシーン特徴量Ｒ７をシーン毎に入力して、各シーンに対する絵作り制御量となるシーン制御シナリオＲ８を出力する。シーン絵作り解析部８の処理の詳細は後述する。メタデータ生成部３０はシーン制御シナリオＲ８をメタデータ化して生成メタデータＲ３０を出力する。画像記録部３１は選択映像信号Ｒ３と生成メタデータＲ３０を関連付けて蓄積用のストリームに変換し、記録信号Ｒ３１として出力する。蓄積装置部３２は記録信号Ｒ３１をハードディスク装置に記録する。蓄積装置部は、本発明の蓄積部に当たる。
【００１６】
タイムコード発生部１８は録画開始にタイムコードをリセットして、以後録画が停止するまでフレーム単位でカウントアップするタイムコードを発生する。発生したタイムコードは不図示のタイムコードＲ１８として各ブロックに配布される。制御部１９は不図示の制御線を通じて装置の各ブロックの動作の制御を行う。
【００１７】
次に、画像録画時における画像解析部５およびシーン特徴解析部７の詳細を説明する。画像解析部５およびシーン特徴解析部７の詳細なブロック図を図２に示す。ＡＰＬ算出部５１は選択画像信号Ｒ３のＡＰＬ(Average Picture Level：平均画像レベル)をフレーム
毎に算出してＡＰＬ値Ｒ５１を出力する。輝度ヒストグラム算出部５１は選択画像信号Ｒ３の輝度ヒストグラムをフレーム毎に算出して輝度ヒストグラムＲ５２を出力する。逐次特徴量Ｒ５はフレーム毎のＡＰＬ値Ｒ５１と輝度ヒストグラムＲ５２からなる構造体である。
【００１８】
シーンチェンジ検出部７１はＡＰＬ値Ｒ５１を監視してフレーム間の変化量が閾値を超えたらシーンチェンジが発生したと判断して、シーンチェンジ検出信号Ｒ７１を出力する。これによりシーン検出がなされ、それぞれ開始点と持続時間を持つ複数のシーンが区分される。ピークホールドヒストグラム生成部７２（MaxHist生成部）はフレーム毎の輝度
ヒストグラムＲ５２とシーンチェンジ検出信号Ｒ７１を受け取る。そして、それらに基づ
いて、シーンチェンジ間の輝度ヒストグラムＲ５２の各カテゴリの度数の最大値を算出し、ピークホールドヒストグラムＲ７２を出力する。ピークホールドヒストグラムＲ７２の生成方法の詳細は後述する。累積ヒストグラム生成部７３はフレーム毎の輝度ヒストグラムＲ５２とシーンチェンジ検出信号Ｒ７１に基づいて、シーンチェンジ間の輝度ヒストグラムＲ５２の各カテゴリの度数の累計を算出し、累積ヒストグラムＲ７３を生成する。累積ヒストグラムＲ７３生成方法の詳細は後述する。シーンヒストグラム生成部７４はピークホールドヒストグラムＲ７２と累積ヒストグラムＲ７３に基づいてシーン特徴量Ｒ７を生成する。シーンチェンジ検出部は本発明のシーン検出部に当たる。
【００１９】
次にシーン特徴解析部７の詳細な動作を説明する。シーン特徴解析部７の動作を示すフローチャートを図３に示す。動作の制御は不図示の制御線を通じて制御部１９が行う。また動作の概念図を図４に示す。
以下の説明で用いる４つの配列を、次のように定義する。
InH[ x ] …シーンヒストグラムＲ７（シーン特徴量）
MaxH[ x ] …ピークホールドヒストグラムＲ７２
TtlH[ x ] …累積ヒストグラムＲ７３
AveH[ x ] …平均ヒストグラム（不図示）
上の配列中、ｘは集計する輝度のカテゴリの番号で０〜２５５の範囲をとる。０が最も暗いカテゴリであり２５５が最も明るいカテゴリである。例えばシーンヒストグラムＲ７（シーン特徴量）の最も輝度の低いカテゴリの度数は、InH[0]と表す。
【００２０】
シーン特徴解析部７はフレーム毎に活性化され、図３のフローがスタートする。
ステップＳ７０１では、ＡＰＬ値Ｒ５１、輝度ヒストグラムＲ５２からなる逐次特徴量Ｒ５を入力する。
ステップＳ７０２では、シーンチェンジ検出部７１にてシーンチェンジの有無を判定する。ＡＰＬ値Ｒ５１の前フレームの値と現フレームの値を比較して、差分の絶対値が閾値以上であればシーンチェンジありと判定してステップＳ７０５へ進む。シーンチェンジが無ければステップＳ７０３へ進む。
【００２１】
ステップＳ７０３では、ピークホールドヒストグラム生成部７２にてピークホールドヒストグラムの生成演算を行う。保持しているピークホールドヒストグラムＲ７２（MaxH[x]）に対して、次の演算を行う。
MaxH[x] = max( MaxH[x], InH[x] )
【００２２】
ステップＳ７０４では、累積ヒストグラム生成部７３にて累積ヒストグラムの生成演算を行う。保持している累積ヒストグラムＲ７３（TtlH[x]）に対して、次の演算を行う。
TtlH[x] = TtlH[x] + InH[x]
シーンチェンジが無い場合はステップＳ７０４にてシーン特徴解析のプロセスは終了する。
【００２３】
ステップＳ７０５では、シーンヒストグラム生成部７４にて一つ前のシーンチェンジから現フレームまでのフレーム数(Duration)を算出する。現フレームのタイムコードから、保存しておいたTimePointを減算してDurationとする。例えば概念図（図４）のTbの時点
であれば、Durationは次のようになる。
Duration = Tb - Ta = Da
【００２４】
ステップＳ７０６では、シーンヒストグラム生成部７４にて不図示の平均ヒストグラムAveH[x]を生成する。保持している累積ヒストグラムＲ７３（TtlH[x]）とステップＳ７０５で算出したDurationのフレーム数から、次の演算を行う。
AveH[x] = TtlH[x] / Duration
【００２５】
ステップＳ７０７では、シーンヒストグラム生成部７４にて不図示のヒストグラム差分絶対値和SAHD ( Sum of Absolute Histogram Differences )を生成する。ピークホールドヒストグラムＲ７２（MaxH[x]）と平均ヒストグラムAveH[x]から、次の演算を行う。
【数１】
【００２６】
ステップＳ７０８では、シーン特徴量Ｒ７の出力を行うか否かを判定する。差分絶対値和SAHDと予め定められた閾値とを比較して、差分絶対値和SAHDの方が大きければ、シーンの中で輝度分布の大きな変動があったと判定してシーン最適制御を行うためにシーン特徴量Ｒ７を出力するためにステップＳ７０９へ進む。差分絶対値和SAHDの方が小さければ逐次適応制御で対応するシーンであると判定してシーン特徴量は出力せずにステップＳ７１０へ進む。
ステップＳ７０９では、シーンヒストグラム生成部７４にてシーン特徴量Ｒ７の出力を行う。ピークホールドヒストグラムＲ７２をシーン特徴量Ｒ７として出力する。この値がシーン全体の画像の特徴として利用される。
ステップＳ７１０では、シーンヒストグラム生成部７４内の不図示のレジスタに現時点のタイムコードを新しいTimePointとして記録する。
【００２７】
ステップＳ７１１では、ピークホールドヒストグラム生成部７２にて保持してあったピークホールドヒストグラムＲ７２をクリアする。
ステップＳ７１２では、累積ヒストグラム生成部７３にて保持してあった累積ヒストグラムＲ７３をクリアする。
以上の制御によってシーン特徴解析部７にてシーン特徴量Ｒ７を生成する。
【００２８】
図４の概念図で説明すると、シーンチェンジ検出がされたタイムコードTbの時点は、TimePoint=Ta, Duration=Daで表されるShot-Aの映像区間に対するシーン特徴量Ｒ７が生成
された例である。またタイムコードTcの時点は、逐次特徴量Ｒ５の変化が大きくなかったためにShot-Bの映像区間に対してシーン特徴量Ｒ７が出力されなかった例である。
【００２９】
次に、シーン絵作り解析部８におけるシーン制御シナリオＲ８の生成方法の詳細を説明する。シーン絵作り解析部８のブロック図を図５に示す。
【００３０】
ヒストグラム正規化部８１は、シーン特徴量Ｒ７のヒストグラムを正規化して、正規化ヒストグラムＲ８１を出力する。入力されたシーン特徴量Ｒ７の概念図を図６の(a)に、
正規化ヒストグラムＲ８１の概念図を図６の(b)に示す。
ヒストグラム積分部８２は、正規化ヒストグラムＲ８１を下位のカテゴリから順に累積加算する（図６(c)）。そして、累積加算ヒストグラムから、階調補正を行うための輝度
補正カーブＲ８２を生成する（図６(d)）。このように輝度補正カーブが生成され、制御
量生成がなされることから、シーン絵作り解析部は、本発明の制御量生成部に当たる。
標準カーブ格納部８３は、画像処理装置の画像補正の方針である絵作りモード毎に標準的な輝度補正カーブセットをＲＯＭ等に格納する。これら標準的な輝度補正カーブは、本発明の所定の制御量に相当する。本実施例では２セットの絵作りモードを持つものとし、それぞれに対応する図７(a)、図７(b)の２セットの標準輝度補正カーブＲ８３が格納されている。それぞれ横軸が入力画像の階調値、縦軸が出力画像の階調値を示す。図７(a)は
出力画像のビット数を入力画像の各階調に対して均等に割り当てる絵作りモードを示す。一方、図７(b)は入力画像の中間階調に多くのビット数を割り当てる絵作りモードを示す
。
【００３１】
代表点差分抽出部８４は、生成した輝度補正カーブＲ８２と標準輝度補正カーブＲ８３との差分を抽出してシーン制御シナリオＲ８を生成する。標準輝度補正カーブＲ８３のセット毎に、各セット固有の代表点における差分を抽出する。絵作りモード毎に重視する階調が異なる場合があるので差分抽出の代表点はモード毎に固有とする。差分抽出の概念図を図７(c)、図７(d)に示す。得られた差分に対象とするシーンの時間情報を関連付けてシーン制御シナリオＲ８とする。すなわちシーン制御シナリオＲ８は、次の１０要素からなる構造体である。
対象シーンのTimePoint，対象シーンのDuration
モード(a)の代表点１の位置，モード(a)の代表点１の差分
モード(a)の代表点２の位置，モード(a)の代表点２の差分
モード(b)の代表点１の位置，モード(b)の代表点１の差分
モード(b)の代表点２の位置，モード(b)の代表点２の差分
【００３２】
以上の動作によって実施例１の装置において画像の録画が可能となる。なお、シーン制御シナリオは本発明の差分情報に当たる。シーン絵作り解析部は本発明の差分情報生成部に当たる。
また、シーン特徴量Ｒ７が出力されていなかった場合はシーン制御シナリオＲ８も出力無しとする。
また、メタデータ生成部３０にてシーン制御シナリオＲ８をメタデータ化した生成メタデータＲ３０を図８に示す。
【００３３】
次に、実施例１の画像処理装置において画像を再生するときの動作について説明する。
画像再生部３３は蓄積装置部３２から再生対象の画像に対応する再生信号Ｒ３２を取得し、メタデータと画像のストリームに分離して再生メタデータＲ３３と再生画像信号Ｒ１３を出力する。メタデータ解析部３４は制御選択部９からのシナリオリクエスト信号Ｒ９９がEnableにされたら、再生メタデータＲ３３を解析してタイムコードに関連付けられた再生シーン制御シナリオＲ３４を出力する。
【００３４】
画像選択部３は再生画像信号Ｒ１３を選択して選択画像信号Ｒ３を出力する。画像解析部５は録画時と同様に選択画像信号Ｒ３をフレーム毎に解析して逐次特徴量Ｒ５をフレーム毎に出力する。逐次特徴量Ｒ５を受けた絵作り制御部６は、画像処理部４を制御して逐次適応絵作りを行う逐次制御量Ｒ６をフレーム毎に出力する。絵作り制御部６の処理の詳細は後述する。制御選択部９は逐次制御量Ｒ６と再生シーン制御シナリオＲ３４のいずれかを選択して選択制御量Ｒ９を出力する。制御選択部９の処理の詳細は後述する。画像処理部４は選択制御量Ｒ９に従って選択画像信号Ｒ３に画像処理を施して表示画像信号Ｒ４を出力する。画像処理部４における画像処理の詳細は後述する。画像表示部１０は表示映像信号Ｒ４に従って画像を表示する。
【００３５】
なお、上記の各処理はタイムコードを参照した制御処理により行われている。タイムコード発生部１８は再生画像信号Ｒ１３からタイムコードを取得して、取得したタイムコードを不図示のタイムコードＲ１８としてシステム内の各ブロックに配布する。制御部１９は不図示の制御線を通じてシステムの各ブロックの動作の制御を行う。
【００３６】
次に、絵作り制御部６における逐次適応絵作りの詳細を説明する。絵作り制御部６のブロック図を図９に示す。絵作り制御部６では逐次特徴量Ｒ５の内、輝度ヒストグラムＲ５２のみを使用する。
逐次正規化部６１は輝度ヒストグラムＲ５２の正規化を行って逐次正規化ヒストグラムＲ６１を出力する。正規化処理の詳細はヒストグラム正規化部８１と同様である。
逐次ヒストグラム積分部６２は、逐次正規化ヒストグラムＲ６１を下位のカテゴリから
順に累積加算して階調補正を行うための輝度補正カーブである逐次制御量Ｒ６を生成する。生成方法の詳細はヒストグラム積分部８２と同様である。
【００３７】
次に、選択制御部９の動作の詳細を説明する。選択部９のブロック図を図１０に示す。
タイムコード比較部９１は、タイムコードＲ１８と区間タイムコードＲ９３を比較して、カーブ選択信号Ｒ９１およびシナリオ更新信号Ｒ９２を出力する。現在処理対象となる画像のタイムコードＲ１８をNTC、区間タイムコードＲ９３のTimePointをSTP、区間タイ
ムコードＲ９３のDurationをSDRとしたときに、次の式が成立するか判断する。
STP ≦ NTC ＜ STP+SDR
成立したら、カーブ選択信号Ｒ９１をEnableにする。成立していなければカーブ選択信号Ｒ９１をDisableにする。
【００３８】
タイムコード比較部９３はまた、次の式が成立するか判断する。
NTC ≧ STP+SDR
成立したら、シナリオ更新信号Ｒ９２をEnableにする。成立していなければシナリオ更新信号Ｒ９２をDisableにする。
【００３９】
シナリオキュー９３は再生シーン制御シナリオを一時的に蓄えるキューである。キューの出力として、キューの先頭のシナリオが対象とする時間区間のTimePointとDurationを
含む区間タイムコードＲ９３と、その時間区間に対応する制御値であるシナリオ制御値Ｒ９４とを常に出力している。また、シナリオ更新信号Ｒ９２がEnableになったら、キューの先頭を１つ廃棄する。キューに空きができたら、シナリオリクエスト信号Ｒ９９をEnableにしてメタデータ解析部３４より再生シーン制御シナリオＲ３４を取得してキューの後端にストアする。
【００４０】
補正カーブ復元部９５はシナリオ制御値Ｒ９４に基づいて輝度補正カーブの特徴を復元して、逆γ変換カーブを修正した修正輝度補正カーブＲ９５を出力する。処理の詳細を以下に説明する。処理システム全体の特性及び処理モードに応じて、基準となる逆γ変換カーブを選択する（図１１(ａ)）。次に、シナリオ制御値Ｒ９４に含まれる２箇所の代表点位置Pa,Pbを参照する（図１１(ｂ)）。次に、代表点位置における基準カーブから代表点
差分Va,Vbを加えて修正代表点Na,Nbを算出する（図１１(ｃ)）。次に、原点Ｂ（黒色点）から修正代表点Na,Nbを通って終点Ｗ（白色点）を結ぶスプライン曲線を算出して修正輝
度補正カーブＲ９５とする（図１１(ｄ)）。
【００４１】
カーブ選択部９６はカーブ選択信号Ｒ９１に基づいて修正輝度補正カーブＲ９５もしくは逐次制御量Ｒ６のいずれかを選択して選択制御量Ｒ９として出力する。これにより、画像の区間に対して制御シナリオが存在した場合には制御シナリオに従った画像処理が行われ、また存在しなかった場合には逐次適応型の画像処理が行われることになる。
【００４２】
次に、画像処理部４における画像処理の詳細を説明する。画像処理部４はＲＡＭで構成されるルックアップテーブルとなっている。選択制御量Ｒ９はＲＡＭのライトポートに接続され、選択画像信号Ｒ３のフレーム間のブランキング期間に選択制御量Ｒ９の内容が書き込まれる。選択画像信号Ｒ３はＲＡＭのリードのアドレスポートに接続され、テーブルに書き込まれている選択制御量Ｒ９を参照する。ＲＡＭのリードのデータポートからテーブルの参照によって変換された値が出力され、表示画像信号Ｒ４として出力される。
【００４３】
以上説明した再生時におけるシステムの動作の概念図を図１２に示す。
画像の再生に先立って、シナリオキュー９３は空の状態であるのでシナリオリクエスト信号Ｒ９２を必要な回数発生してキューを埋める。
タイムコードのTimePoint TaからDuration Daで示される選択画像信号Ｒ３について検
討する。このとき、Shot-Aの映像区間では、シナリオキュー９３から出力される区間タイムコードＲ９３との比較において条件が一致するので、カーブ選択信号Ｒ９１はEnableとなる。またそのカーブ選択信号Ｒ９１に基づいて、選択制御量Ｒ９は再生シーン制御シナリオＲ３４に基づいたVaが選択される。
【００４４】
Shot-Aの映像区間が終了したら、シナリオ更新信号Ｒ９２が発生してシナリオキュー９３の先頭に入っていたシナリオVaが破棄される。また続いてキューの空きの発生によってシナリオリクエスト信号Ｒ９９が発生して次の制御シナリオVdがキューに補充される。
選択画像信号Ｒ３がShot-Bの映像区間では、区間タイムコードＲ９３との比較において条件が一致しないので、カーブ選択信号Ｒ９１はDisableとなる。またそのカーブ選択信
号Ｒ９１に基づいて、Shot-Bの映像区間内では選択制御量Ｒ９に逐次制御量Ｒ６に基づいたVXが選択される。
以後、同様にしてShot-Cの映像区間では再生シーン制御シナリオＲ３４に基づいたVcが選択される。
【００４５】
以上説明した構成及びその制御にて、画像録画時にメタデータ化したシナリオ制御量を同時記録し、再生時にそれを読み出して画像処理を行うことが可能となる。この構成による再生時の画像処理では再生する画像区間に対応するメタデータを先行して読み出して、最適化された画像処理シナリオを予め準備しておく。それにより、画像自体を先読みせずとも区間最適化された絵作り制御をその区間の始めから適用することが可能となる。
【００４６】
例えば、図１３に示すような薄暗い部屋の中をカメラが左から右へパンしながら撮影すると、図１４(a)〜(c)のような画像信号が得られる。このそれぞれの瞬間における輝度ヒストグラムＲ５２はそれぞれ図１５(a)〜(c)のような形が得られる。
この画像信号に対して従来知られている逐次最適化した輝度補正カーブ生成を行うと、それぞれ図１６(a)〜(c)のような補正カーブが得られる。この補正を行った画像は図１７(a)〜(c)のように、同一シーン内で大きく明るさが変動して見苦しい画像となる場合があった。
【００４７】
しかし本実施例の装置構成によれば、図１４(a)〜(c)までを単一の画像区間と認識してシーン内の全フレームに対して最適な補正カーブを求めることができる。具体的には図１８に示すようなピークホールドヒストグラムＲ７２が得られ、図１９に示すような輝度補正カーブが、図１４(a)〜(c)対応するシーン制御シナリオＲ８として得られる。シーン制御シナリオＲ８が得られた区間画像は、その区間に渡って単一の補正カーブが適用されるので、パン途中で映像全体の輝度変動は発生せず、図２０(a)〜(c)に示したような安定した画像処理結果が得られる。
【００４８】
以上、本発明を適用した実施例１の構成及びその制御にて、従来知られていた画像処理方法よりも更に高度な画像処理結果が得られることを示した。またこのとき、シーン特徴量Ｒ７が出力されるシーンでは、シーン制御シナリオＲ８が出力され、録画時にはシーン制御シナリオＲ８に基づく生成メタデータＲ３０が記録される。その結果、フレームごとにメタデータを記録する場合に比べメタデータが削減される。
【００４９】
また、画像の再生を行っている時に早送りや巻戻しなどのトリックプレイが発生する可能性のあるシステムであっても、本実施例の構成にて対応が可能である。
【００５０】
制御選択部９は、トリックプレイが発生したら制御部１９からの通知によってシナリオキュー９３に保持されている制御シナリオをすべて破棄する。
画像再生部３３は、トリックプレイ中はメタデータの読出しを停止する。また、トリックプレイが終了して通常の再生モードになったら、メタデータの読出しポインタをメタデ
ータファイルの先頭に戻して最初から順にメタデータを読出す。
【００５１】
この状態では、タイムコード比較部９１の判断において、次の条件が連続して成立している。
NTC ≧ STP+SDR
そのため、画像再生している時点に追いつくまでメタデータが連続して読み飛ばされる。メタデータのデータ量は画像のストリームに比べて非常に小さいので、ファイルの先頭から読み直しを行ってもユーザが認識できない程度の短時間で読み出しポインタを同期させることが可能である。
【００５２】
あるいは、何らかの検索技術を用いてタイムコードとメタデータの読出しポインタの同期を図っても良い。
【００５３】
このように制御を行うことで、トリックプレイが発生する可能性のあるシステムに対しても本実施例を適用することが可能である。
【００５４】
また、本実施例に示した画像処理装置の構成要素の具体例を置き換えることによって、様々な画像処理効果を得ることが可能となる。
【００５５】
例えば、シーン制御シナリオを区分する区間は、シーンチェンジ検出部７１の検出方法を置き換えることでシステムの用途に応じた区分とすることが可能となる。例えば区切りの検出方法として、フレーム毎の輝度ヒストグラムＲ５２の変化を検出しても良いし、画像に付随する音声データの変化から検出してもよい。検出対象とする区分もショットの切り替わりの他、番組の切り替わりやＣＭの検出を行っても良い。システムを単純化する場合にはタイマを用いて一定時間で区分することも可能である。
【００５６】
また、シーン特徴解析部７で算出するシーン特徴量Ｒ７は、本実施例で示した例の他、シーン中の平均値を用いたり、特異値を除外して算出したりすることも可能である。
【００５７】
また、本実施例では、シーン特徴量Ｒ７のヒストグラムから輝度補正カーブＲ８２を生成した後、代表点で標準輝度補正カーブとの差分を抽出してシーン制御シナリオＲ８を作り、メタデータ化して蓄積している。しかし、メタデータ化する前の輝度補正カーブを入力画像とともに蓄積して、画像再生時の補正処理に用いることもできる。あるいはシーン特徴量を蓄積して、再生時に輝度補正カーブを求めて補正処理を行うこともできる。この場合でも、フレーム毎にヒストグラムを作成、蓄積する場合に比べて記憶容量の抑制が可能である。
【００５８】
また、シーン絵作り解析部８で算出する輝度補正カーブＲ８２は、本実施例で示した例の他、ヒストグラムの形状でパターン分類を用いるなどの方法を用いることも可能である。
【００５９】
また、シーン絵作り解析部８で算出するシーン制御シナリオＲ８は、本実施例で示したように２次的な形式に変換する例の他、ヒストグラムの構成数値そのものを用いることも可能である。
【００６０】
また、メタデータ生成部３０にて生成する生成メタデータＲ３０は、本実施例で示した例の他、独自のテキスト形式でも良いし、バイナリ形式を用いることも可能である。
【００６１】
＜実施例２＞
実施例１では画像処理のために画像解析部５で検出する逐次特徴量Ｒ５は輝度ヒストグ
ラムであったが、それ以外の特徴量を用いた画像処理を行うシステムであってもことも本発明を適用することが可能である。
実施例２では、色ヒストグラムを用いて画像処理を行う装置について説明する。本実施例のシステムの全体構成図は、図１に示す実施例１の全体構成図と同様であり、一部の構成要素の機能が異なる。
【００６２】
本実施例においては、画像解析部５は選択画像信号Ｒ３の色解析を行い、彩度ヒストグラムを生成する。また、画像処理部４は、選択制御量Ｒ９に従って選択画像信号Ｒ３の彩度を変化させる。また、絵作り制御部６は、解析した画像の全体的な彩度が低ければ、色飽和が起こらない程度に彩度を上げる制御を行う逐次制御量Ｒ６を出力する。
【００６３】
また、シーン特徴解析部７は、実施例１と同様にして区間画像に対する彩度ヒストグラムのピークホールドヒストグラムを生成する。また、シーン絵作り解析部８は彩度のピークホールドヒストグラムに最適化した、彩度の制御量を制御シナリオＲ８として算出する。
他の構成要素は、実施例１と同様の動作および制御を行う。
【００６４】
図２１に、本実施例のシステムを屋内のシーンに適用する例を示す。まず図２１(ａ)のように全体的に彩度の低いインテリアが置かれていて、続いて図２１(b)に示したように
その画面内に鮮やかな色の服を着た人物が画面内に歩いてきた。というシーンを想定する。
【００６５】
この場合、従来知られている逐次制御による画像処理では、図２１(a)の時点では画面
全体の彩度を上げるように制御を行う。また図２１(b)の時点では人物の服の色が飽和し
ないように彩度の向上を控えめにする。この制御によって単一のシーンであっても背景の色調が変化してしまい、違和感のある画像処理となってしまう。また、逐次制御に時定数を持たせて急激な制御の変化を抑制する技術も知られているが、その場合は図２１(a)の
時点で最適化された彩度を向上させる制御を図２１(b)にも適用することになる。それに
よって人物の服の色が飽和してしまい、画質がかえって低下してしまう可能性がある。
【００６６】
しかし、本発明を適用した実施例２の装置構成に拠れば、図２１(a)〜(b)を連続した単一のシーンとして最適化した制御を行うことができる。その結果、図２１(a)の時点から
その後の画像にも適応する彩度に制御を行い、違和感無く高画質化を行うことが可能となる。
【００６７】
以上説明した構成によって色の彩度に対しても区間画像に最適化した制御シナリオを適用した高度な画像処理を行うことが可能となる。その際のメタデータはシーン制御シナリオに基づいて生成されているので、フレームごとにメタデータを生成する場合よりも量を削減することができる。
【００６８】
＜実施例３＞
以上説明した実施例では画像処理のために画像解析部５で検出する逐次特徴量Ｒ５は何らかのヒストグラムであったが、それ以外の特徴量を用いた画像処理を行うシステムであってもことも本発明を適用することが可能である。
実施例３では、空間周波数パワースペクトルを用いて画像処理を行う装置について説明する。本実施例のシステムの全体構成図は、図１に示す実施例１の全体構成図と同様であり、一部の構成要素の機能が異なる。
【００６９】
本実施例においては、画像解析部５は選択画像信号Ｒ３に対してＦＦＴ解析を行って空間周波数パワースペクトルを生成する。また、画像処理部４は、選択制御量Ｒ９に従って
選択画像信号Ｒ３の鮮鋭度を変化させる。また、絵作り制御部６は、解析した画像の全体的な鮮鋭度が低ければ、画像のエッジにリンギングが起こらない程度に鮮鋭度を上げる制御を行う逐次制御量Ｒ６を出力する。
【００７０】
また、シーン特徴解析部７は、実施例１とほぼ同様の手法にて区間画像に対する空間周波数パワースペクトルのピークホールドスペクトルを生成する。また、シーン絵作り解析部８は空間周波数パワースペクトルのピークホールドスペクトルに最適化した、鮮鋭度の制御量を制御シナリオＲ８として算出する。
他の構成要素は、実施例１と同様の動作および制御を行う。
【００７１】
図２２に、本実施例のシステムを屋外のシーンに適用する例を示す。まず図２２(ａ)のように全体的にフォーカスが甘めに撮影された風景が表示されていて、続いて図２２(b)
に示したようにその画面内に多量の文字テロップがスクロールインする。というシーンを想定する。
【００７２】
この場合、従来知られている逐次制御による画像処理では、図２２(a)の時点では画面
全体の鮮鋭度を上げるように制御を行う。また図２２(b)の時点では文字テロップにリン
ギングが生じないように鮮鋭度の向上を控えめにする。この制御によって単一のシーンであっても背景の鮮鋭度が変化してしまい、違和感のある画像処理となってしまう。また、逐次制御に時定数を持たせて急激な制御の変化を抑制する技術も知られているが、その場合は図２２(a)の時点で最適化された鮮鋭度を向上させる制御を図２２(b)にも適用することになる。それによって文字テロップの周囲にリンギングが発生していまい、画質がかえって低下してしまう可能性がある。
【００７３】
しかし、本発明を適用した実施例３の装置構成に拠れば、図２２(a)〜(b)を連続した単一のシーンとして最適化した制御を行うことができる。その結果、図２２(a)の時点から
その後の画像にも適応する鮮鋭度に制御を行い、違和感無く高画質化を行うことが可能となる。
【００７４】
以上説明した構成によって画像の鮮鋭度に対しても区間画像に最適化した制御シナリオを適用した高度な画像処理を行うことが可能となる。その際のメタデータはシーン制御シナリオに基づいて生成されているので、フレームごとにメタデータを生成する場合よりも量を削減することができる。
【００７５】
＜実施例４＞
本実施例では、入力部に撮像素子を用いた、撮影および撮影した画像の蓄積をするカムコーダに本発明を適用する例を説明する。本実施例においても、実施例１とほぼ同様の構成にて本発明を適用することが可能である。
【００７６】
実施例４における装置の全体構成図を図２３に示す。撮像部２１は録画モード時、撮像素子に撮影された撮影画像Ｒ２１を出力する。外部出力部２２は表示画像信号Ｒ４をＨＤＭＩなど規格に準拠した映像信号に変換して、外部出力信号Ｒ２２を出力する。
【００７７】
その他の構成及び制御は実施例１と同様である。すなわち画像処理装置は、録画時にシーンチェンジを検出し、シーン制御シナリオをメタデータ化して保存する。これにより、メタデータの量を削減することができる。そして再生時にはシーン制御シナリオを適用した高度な画像処理が可能になる。このようにすれば、カムコーダに対しても本発明を適用することが可能となる。
【符号の説明】
【００７８】
４：画像処理部，５：画像解析部，７：シーン特徴解析部，１０：画像表示部，３２：蓄積装置部，３３：画像再生部
【特許請求の範囲】
【請求項１】
入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析部と、
前記入力画像を複数のシーンに区分するシーン検出部と、
前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析部と、
前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成部と、
前記入力画像および前記制御量を蓄積する蓄積部と、
前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理部と
を有する画像処理装置。
【請求項２】
フレームの画像に標準的な補正を行うときの所定の制御量と、前記制御量生成部が生成した制御量との差分を表わす情報である差分情報を生成する差分情報生成部をさらに有し、
前記蓄積部は、前記制御量に替えて前記差分情報を前記入力画像とともに蓄積し、
前記画像処理部は、前記差分情報および標準的な補正を行うときの所定の制御量からフレームの画像の補正で用いる制御量を求めて画像処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シーン特徴解析部は、前記シーンに含まれる各フレームの輝度分布の変動が所定の値より大きいかを判断し、大きいと判断されたシーンについてのみ前記シーン特徴量を算出し、
前記画像処理部は、前記シーン特徴量が算出されなかったシーンにおいては、フレームごとに、フレームの逐次特徴量に基づいて制御量を求めて画像処理を行う
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記逐次特徴量は、フレームの画像から算出した輝度ヒストグラムであり、
前記シーン特徴量は、前記シーンに含まれる各フレームの前記輝度ヒストグラムを比較して、階調値ごとに、前記シーンの中で最も大きい度数を選択したピークホールドヒストグラムであり、
前記制御量生成部が生成する制御量は、前記ピークホールドヒストグラムを低い側の階調値から累積加算したヒストグラムに基づいて生成される、入力画像の輝度と再生画像の輝度を対応させる輝度補正カーブであり、
前記画像処理部は、前記輝度補正カーブを用いて画像処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記逐次特徴量は、フレームの画像から算出した輝度ヒストグラムであり、
前記シーン特徴量は、前記シーンに含まれる各フレームの前記輝度ヒストグラムを比較して、階調値ごとに、前記シーンの中で最も大きい度数を選択したピークホールドヒストグラムであり、
前記制御量生成部が生成する制御量は、前記ピークホールドヒストグラムを低い側の階調値から累積加算したヒストグラムに基づいて生成される、入力画像の輝度と再生画像の輝度を対応させる輝度補正カーブであり、
前記所定の制御量とは、標準的な補正を行う時の輝度補正カーブであり、
前記差分情報生成部は、前記制御量生成部が生成する輝度補正カーブと、前記標準的な補正を行う時の輝度補正カーブとの、所定の階調値における差分に基づいて前記差分情報を生成するものであり、
前記画像処理部は、前記差分情報および標準的な補正を行う時の輝度補正カーブから、フレームの画像の補正で用いる輝度補正カーブを生成して画像処理を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像処理部は、複数の絵作りモードの中から選択した絵作りモードで画像処理を行うものであり、絵作りモードに応じて前記標準的な補正を行う時の輝度補正カーブを選択する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像処理装置により実行される画像処理方法であって、
入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析ステップと、
前記入力画像を複数のシーンに区分するシーン検出ステップと、
前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析ステップと、
前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成ステップと、
前記入力画像および前記制御量を蓄積する蓄積ステップと、
前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理ステップと
を有する画像処理方法。
【請求項１】
入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析部と、
前記入力画像を複数のシーンに区分するシーン検出部と、
前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析部と、
前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成部と、
前記入力画像および前記制御量を蓄積する蓄積部と、
前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理部と
を有する画像処理装置。
【請求項２】
フレームの画像に標準的な補正を行うときの所定の制御量と、前記制御量生成部が生成した制御量との差分を表わす情報である差分情報を生成する差分情報生成部をさらに有し、
前記蓄積部は、前記制御量に替えて前記差分情報を前記入力画像とともに蓄積し、
前記画像処理部は、前記差分情報および標準的な補正を行うときの所定の制御量からフレームの画像の補正で用いる制御量を求めて画像処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シーン特徴解析部は、前記シーンに含まれる各フレームの輝度分布の変動が所定の値より大きいかを判断し、大きいと判断されたシーンについてのみ前記シーン特徴量を算出し、
前記画像処理部は、前記シーン特徴量が算出されなかったシーンにおいては、フレームごとに、フレームの逐次特徴量に基づいて制御量を求めて画像処理を行う
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記逐次特徴量は、フレームの画像から算出した輝度ヒストグラムであり、
前記シーン特徴量は、前記シーンに含まれる各フレームの前記輝度ヒストグラムを比較して、階調値ごとに、前記シーンの中で最も大きい度数を選択したピークホールドヒストグラムであり、
前記制御量生成部が生成する制御量は、前記ピークホールドヒストグラムを低い側の階調値から累積加算したヒストグラムに基づいて生成される、入力画像の輝度と再生画像の輝度を対応させる輝度補正カーブであり、
前記画像処理部は、前記輝度補正カーブを用いて画像処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記逐次特徴量は、フレームの画像から算出した輝度ヒストグラムであり、
前記シーン特徴量は、前記シーンに含まれる各フレームの前記輝度ヒストグラムを比較して、階調値ごとに、前記シーンの中で最も大きい度数を選択したピークホールドヒストグラムであり、
前記制御量生成部が生成する制御量は、前記ピークホールドヒストグラムを低い側の階調値から累積加算したヒストグラムに基づいて生成される、入力画像の輝度と再生画像の輝度を対応させる輝度補正カーブであり、
前記所定の制御量とは、標準的な補正を行う時の輝度補正カーブであり、
前記差分情報生成部は、前記制御量生成部が生成する輝度補正カーブと、前記標準的な補正を行う時の輝度補正カーブとの、所定の階調値における差分に基づいて前記差分情報を生成するものであり、
前記画像処理部は、前記差分情報および標準的な補正を行う時の輝度補正カーブから、フレームの画像の補正で用いる輝度補正カーブを生成して画像処理を行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記画像処理部は、複数の絵作りモードの中から選択した絵作りモードで画像処理を行うものであり、絵作りモードに応じて前記標準的な補正を行う時の輝度補正カーブを選択する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像処理装置により実行される画像処理方法であって、
入力画像を解析してフレーム毎の画像の特徴を表わす逐次特徴量を算出する画像解析ステップと、
前記入力画像を複数のシーンに区分するシーン検出ステップと、
前記シーンに含まれる各フレームの逐次特徴量から前記シーン全体の画像の特徴を表わすシーン特徴量を算出するシーン特徴解析ステップと、
前記シーン特徴量に基づいて前記シーンに含まれる全フレームの画像の補正で用いる制御量を生成する制御量生成ステップと、
前記入力画像および前記制御量を蓄積する蓄積ステップと、
前記蓄積された入力画像のシーンに、当該シーンに対応する制御量を用いて画像処理を行い、再生画像として出力する画像処理ステップと
を有する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−２２３０５４（Ｐ２０１１−２２３０５４Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８６３８１（Ｐ２０１０−８６３８１）
【出願日】平成２２年４月２日（２０１０．４．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月２日（２０１０．４．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]