画像処理装置及び画像処理方法
【課題】 撮影処理時における露出制御に係る制御内容や画像データに対するホワイトバランス制御に係る制御内容等に応じた特殊効果処理を可能とする。
【解決手段】 カメラ部１００は、被写体の画像を撮影し、前記被写体の画像データを出力するとともに、画像データに係る各種制御内容を示す制御情報を生成し、フィルムグレイン情報設定部１１１は、当該制御情報に基づいて特殊効果成分情報に係る設定情報を生成し、フィルムグレイン処理部１１５は、当該設定情報に基づいてフィルムグレイン成分を補正し、画像データに対して付加する。
【解決手段】 カメラ部１００は、被写体の画像を撮影し、前記被写体の画像データを出力するとともに、画像データに係る各種制御内容を示す制御情報を生成し、フィルムグレイン情報設定部１１１は、当該制御情報に基づいて特殊効果成分情報に係る設定情報を生成し、フィルムグレイン処理部１１５は、当該設定情報に基づいてフィルムグレイン成分を補正し、画像データに対して付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルムグレイン処理等の画像データに対する特殊効果処理を実行可能な画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
ビデオカメラで撮影した画像に様々な特殊効果処理を行い再生表示できるものがある。それらの中でもビデオカメラのようなテレビジョン用カメラで撮影したカメラ画像に、フィルム特有の細かな粒子状のノイズを付加して、あたかも映画用フィルムカメラで撮影したかのような画像にする特殊効果があり、一般的に「フィルムグレイン」と称されている。以下の説明では、カメラ画像に付加するフィルム特有の細かな粒子状のノイズ成分を「フィルムグレイン成分」と称す。また画像にフィルムグレイン成分を付加する処理を「フィルムグレイン処理」と称す。例えば特許文献１には、このようなテレビジョン用カメラで撮影した画像にフィルムグレイン処理を行うものが開示されている。
【０００３】
一方、ビデオカメラのような記録再生が可能な装置において、撮影した画像データとその画像に施す特殊効果に関する付加情報とを記録媒体に記録しておき、画像データを再生する際に付加情報に基づく特殊効果処理を行い再生できるものがある（例えば、特許文献２参照）。特許文献２に開示される発明は、撮影した画像を記録する場合、画像信号に対しては特殊効果処理をせずそのまま記録し、特殊効果に関する情報は付加情報として記録する。そして再生時に再生画像に対し、前述した特殊効果に関する付加情報に基づく特殊効果処理を施して表示するというものである。
【０００４】
【特許文献１】特許第３１１０７６３号公報
【特許文献２】特開平１１−２０５７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながらビデオカメラで撮影された画像に前述したフィルムグレイン処理を行う場合、以下のような問題がある。
【０００６】
例えば前述した特許文献１に開示される発明の場合、撮影したカメラ部の状態によってはフィルムグレインの効果がうまく現れない場合がある。即ち、被写体が暗い場合カメラ部は電気的に信号を増幅する為、画像信号中にはランダムノイズが自然と多く含まれるようになる。その状態で更にフィルムグレイン成分を付加すると画像のノイズ成分が非常に多くなって見苦しい画像になる場合がある。
【０００７】
一方、ビデオカメラには光源の色温度が変わった場合でも安定した良好な色再現が得られるように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）信号の出力比を自動的に調整する機能、所謂ホワイトバランス機能が備えられている。
【０００８】
通常、ホワイトバランスの調整は白いものが白く見えるように調整するが、ホワイトバランスの調整を少しずらして撮影する場合もある。例えば白熱灯下や夕焼けなどのシーンでは意図的にホワイトバランスを少し赤方向にずらし画面全体を赤みのある暖かな雰囲気にして撮影する場合がある。また朝焼けや日陰等を撮影する場合にはホワイトバランスを少し青方向にずらし、画面全体を青みがかった雰囲気にして撮影する場合もある。
【０００９】
そのような場合に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分に偏りのないフィルムグレイン成分を付加すると、赤みのある雰囲気や青みのある雰囲気が薄らいでしまう場合がある。前述した問題は特許文献２で示されるような再生時に付加情報に基づいて特殊効果処理を行うシステムで、特殊効果をフィルムグレイン処理として実施する場合でも同様に発生してしまう可能性があった。
【００１０】
そこで、本発明の目的は、撮影処理時における露出制御に係る制御内容や画像データに対するホワイトバランス制御に係る制御内容等に応じた特殊効果処理を可能とすることにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段と、前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成手段と、前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理手段とを有することを特徴とする。
本発明の画像処理方法は、被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段を有する画像処理装置による画像処理方法であって、前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成ステップと、前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理ステップとを含むことを特徴とする。
本発明のプログラムは、前記画像処理方法をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像データに係る各種制御内容に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を画像データに付加するように構成したので、撮影処理時における露出制御に係る制御内容や画像データに対するホワイトバランス制御に係る制御内容等に応じて、撮影シーンに適した特殊効果処理を実行することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１４】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る動画像を撮影可能な画像記録再生装置の構成を示すブロック図である。なお、本実施形態では、特殊効果として、フィルムグレイン処理を例に挙げて説明する。
【００１５】
次に、図１の画像記録再生装置の記録時における動作について説明する。まず被写体からの光学像は１０１のズームレンズによりズームやフォーカス調整が行われる。そして絞り１０２にて光量が調節され、１０３のＣＣＤ上に結像される。ＣＣＤは１０４に示すタイミングジェネレータ（以下、ＴＧと称す）にて所定のシャッタ速度で駆動される。ＣＣＤ１０３からの信号は１０５のＡ／Ｄ部で２重相関サンプリング（ＣＤＳ）およびゲインコントロール（ＡＧＣ）とＡ／Ｄ変換が行われる。ここで１０６はズームレンズ１０１、絞り１０２を駆動するドライブ回路である。１０７は画像に対してフィルムグレイン処理を実行するか否かの操作やその他、カメラ部１００の各種操作を行うスイッチ類が含まれる操作部である。１０８はカメラ部１００全体を統合的に制御するカメラＣＰＵである。１０５でＡ／Ｄ変換された画像データは１０９に入力される。１０９はＡ／Ｄ変換された画像データに対して色補間処理、γ補正やホワイトバランス調整等を行いカメラ画像データを出力するカメラ信号処理部である。これらの１０１〜１０９によりカメラ部１００を構成する。
【００１６】
なお、１０８のカメラＣＰＵ内には画像記録再生装置におけるカメラ部１００の各種制御を行うカメラ制御モジュールを有している。
【００１７】
カメラＣＰＵ１０８内の露出制御部１０８ａは絞り１０２やＣＣＤ１０３のシャッタ速度、ゲインコントロール（ＡＧＣ）を制御して映像信号の露出レベルが適正になるように制御を行う。露出制御信号はドライブ回路１０６、ＴＧ１０４、Ａ／Ｄ部１０５に対して出力される。
【００１８】
ホワイトバランス制御部１０８ｂは画像信号中のＲ（赤）、Ｇ（緑）、Ｂ（青）成分や図示しない色温度センサなどから被写体の色温度情報を求め、画像の白バランスを制御するホワイトバランス制御信号をカメラ信号処理部１０９に対して出力する。
【００１９】
フォーカス制御部１０８ｃはズームレンズ１０１を制御しフォーカス調整やズーム調整を行うレンズ制御信号をドライブ回路１０６に対して出力する。
【００２０】
これら１０８ａ〜１０８ｃ等の制御モジュールから出力される制御情報はカメラ情報として、１１１のフィルムグレイン情報設定部に出力される。なおフィルムグレイン情報設定部１１１の詳細は後述する。
【００２１】
次に、カメラ部１００から出力されるカメラ画像データは１１０の画像圧縮部によりＭＰＥＧ２などの圧縮方法にしたがって圧縮され圧縮画像データとして記録再生部１１２へ出力される。１１２の記録再生部にはフィルムグレイン情報設定部１１１からフィルムグレイン成分設定情報も入力される。記録再生部１１２では入力された圧縮画像データとフィルムグレイン成分設定情報を共に記録媒体１１３へ記録する。
【００２２】
１１３は圧縮画像データやフィルムグレイン成分設定情報が実際に記録される記録媒体であり、内蔵型のハードディスク、或いは着脱式の光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００２３】
次に、本画像記録再生装置の再生時の動作について説明する。再生時は記録再生部１１２が記録媒体１１３から圧縮画像データとフィルムグレイン成分設定情報とを再生する。
【００２４】
再生された圧縮画像データは１１４の画像伸張部において伸張され、ベースバンドの伸張画像に変換される。１１５のフィルムグレイン処理部には記録媒体１１３から再生されたフィルムグレイン成分設定情報が入力され、フィルムグレイン成分設定情報に対応したフィルムグレイン処理を伸張画像に対して行う。フィルムグレイン処理が施された画像は表示画像として外部のモニタなどに出力される。なお、１１６はフィルムグレイン処理に用いるメモリであり、前述したフィルムグレイン成分の記憶に用いたりする。
【００２５】
次に、フィルムグレイン情報設定部１１１の動作について図２のフローチャートを用いて詳細に説明する。まず、ステップＳ２００で処理が開始されると、ステップＳ２０１で図１中の操作部１０７からフィルムグレイン処理を実行する要求があったかどうかを判定する。フィルムグレイン処理の実行要求があった場合は、ステップＳ２０２にてフィルムグレイン成分の初期設定情報を不図示のＲＯＭ内に記憶されたＲＯＭテーブル等から読み込む処理を行う。フィルムグレイン成分の初期設定情報にはフィルムグレイン成分中のＲ（赤）、Ｇ（緑）、Ｂ（青）各成分の強度設定するレベル設定値や各成分の粒子の大きさを設定する粒状設定値などの情報が含まれる。
【００２６】
次に、ステップＳ２０３ではカメラ部１００から前述した露出制御やホワイトバランス制御に関するカメラ情報を読み込む。ステップＳ２０４ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＲ（赤）寄りかどうかの判定を行う。ステップＳ２０４でホワイトバランスがＲ（赤）寄りであると判定された場合はステップＳ２０５にてフィルムグレイン成分中のＲ（赤）成分の強度設定を行うレベル設定値をＫ１倍し、Ｂ（青）成分の強度設定を行うレベル設定値をＫ２倍する。
【００２７】
ここでＫ１、Ｋ２をそれぞれ下記の式１、式２に示す関係にすると、Ｒ（赤）成分の強度を高め、Ｂ（青）成分の強度を低くすることができる。即ちホワイトバランスがＲ（赤）寄りであると判定された場合、フィルムグレインの成分をＲ（赤）寄りにするフィルムグレイン成分設定情報に補正することができる。
Ｋ１＞１．０・・・（式１）
Ｋ２＜１．０・・・（式２）
【００２８】
次に、ステップＳ２０６ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＢ（青）寄りかどうかの判定を行う。ステップＳ２０６でホワイトバランスがＢ寄りであると判定された場合はステップＳ２０７にてフィルムグレイン成分中のＲ成分の強度設定を行うレベル設定値をＬ１倍し、Ｂ成分の強度設定を行うレベル設定値をＬ２倍する。
【００２９】
ここで、Ｌ１、Ｌ２をそれぞれ下記の式３、式４に示す関係にすると、Ｒ成分の強度を低め、Ｂ成分の強度を高めることができる。即ちホワイトバランスがＢ（青）寄りであると判定された場合、フィルムグレインの成分をＢ（青）寄りにするフィルムグレイン成分設定情報に補正することができる。
Ｌ１＜１．０・・・（式３）
Ｌ２＞１．０・・・（式４）
【００３０】
次に、ステップＳ２０８では露出制御やカメラ信号処理のアンプゲインに関するカメラ情報よりＡＧＣの増幅率が大きい、所謂ゲインアップ状態か否かの判定を行う。ステップＳ２０８でゲインアップ状態であると判定された場合は、ステップＳ２０９にてフィルムグレイン成分中のＲ（赤）、Ｇ（緑）、Ｂ（青）成分の強度設定を行うレベル設定値を全て１／Ｍ倍する。
【００３１】
ここで、Ｍを下記の式５に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の強度を低くするフィルムグレイン成分設定情報に補正することができる。なお、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分の強度を個別に変更しなくてもＹ（輝度）成分に関するフィルムグレイン成分情報があれば、その情報を同様に１／Ｍ倍しても良い。
Ｍ＞１．０・・・（式５）
【００３２】
更に、ステップＳ２０８でゲインアップ状態であると判定された場合は、ステップＳ２１０にてフィルムグレイン成分中のＲ、Ｇ、Ｂ成分の粒状（ノイズ粒子の大きさ）設定値を全て1／Ｎ倍する。
【００３３】
ここで、Ｎを下記の式６に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の粒状を小さくするフィルムグレイン成分設定情報に補正することができる。
Ｎ＞１．０・・・（式６）
【００３４】
その後、ステップＳ２１１の処理では、カメラ情報によって適切に補正されたフィルムグレイン成分の設定情報が図１の記録再生部１１２へ出力され、画像データと共に記録媒体１１３へ記録される。なお、前述したステップＳ２０１でフィルムグレイン処理の実行要求がなかった場合は、フィルムグレイン成分の設定情報は記録再生部１１２へ出力されることなく処理を終了する。この場合は圧縮画像データのみが記録媒体１１３へ記録される。このように、画像記録再生装置において、被写体像の撮影動作（及び記録動作）を行いながら、フィルムグレインの設定が可能であり、設定する場合はそのときのカメラ情報に応じたフィルムグレイン成分を設定できる。
【００３５】
図３に記録媒体１１３中に記録されたデータの概略図を示す。図３中３０１は特殊効果情報であるフィルムグレイン成分設定情報であり、３０２は圧縮されたカメラ画像データである。図３に示すようにカメラ画像データの付加情報としてフィルムグレイン成分設定情報が記録媒体１１３へ記録される。記録形態の一例として、圧縮されたカメラ画像データと、付加情報としてのフィルムグレイン成分設定情報とが、同一のファイル内に包含されたファイル形態にして記録しても良い。
【００３６】
次に画像記録再生装置における再生時のフィルムグレイン処理部１１５の動作について図４を用いて詳細に説明する。図４は再生時のフィルムグレイン処理動作の一例を示すフローチャートである。
【００３７】
まず、ステップＳ４００で処理が開始されると、ステップＳ４０１で再生されたフィルムグレイン成分設定情報があるかどうかを判定する。フィルムグレイン成分設定情報がある場合は、ステップＳ４０２にて図１中１１６に示すメモリからフィルムグレイン成分の初期値を読み込む処理を行う。
【００３８】
ここで、フィルムグレイン成分の初期値は予めフィルムグレイン用に作成したランダムノイズデータ等を、ＲＯＭデータとしてメモリ１１６に記憶させておいても良い。また図９中９０１に示すように、記録媒体１１３の所定領域に予めフィルムグレイン成分の初期値を記録しておき、再生動作の最初に記録媒体１１３に記録された初期値を読み出し、メモリ１１６に展開するようにしておいても良い。また図示しないＩ／Ｆを介して画像記録再生装置の外部から、フィルムグレイン成分の初期値を読み込んでメモリ１１６に記憶させておいても良い。
【００３９】
次に、ステップＳ４０３ではフィルムグレイン成分の設定情報を読み込む。次にステップＳ４０４の処理では読み込まれたフィルムグレイン成分設定情報に応じてフィルムグレインの成分を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）成分の強度や粒状を調整する。次にステップＳ４０５では調整されたフィルムグレイン成分を伸張画像に付加する処理を行い、ステップＳ４０６で伸張画像を表示画像として出力する。
【００４０】
なお、前述したステップＳ４０１でフィルムグレイン成分の設定情報がなかった場合には、フィルムグレイン成分を付加することなく、伸張された画像のみが表示画像として出力される。
【００４１】
以上述べた構成動作とすることにより、例えば暗い被写体を撮影したカメラ画像にフィルムグレイン処理を行う場合には、ＡＧＣゲインに応じてフィルムグレイン成分を抑えるようにフィルムグレイン成分設定情報が補正されて記録される。よって再生時には少なめに抑えられたフィルムグレイン成分が伸張画像に付加されるので、従来のようにノイズ感の多い画像になることを防止できる。またホワイトバランスに応じてフィルムグレイン成分のＲ（赤）やＢ（青）成分の強度も補正されて画像に付加されるので画面の雰囲気を損ねることのないフィルムグレイン処理を行うことが可能になる。
【００４２】
また、本実施形態ではホワイトバランスがＲ（赤）とＢ（青）に偏った場合で説明したが、その他の色に偏った場合にもフィルムグレイン成分設定情報を適時補正すれば良く、効果を得ることができる。
【００４３】
また、露出制御に関するカメラ情報はゲインアップ情報だけでなくても良い。例えばＣＣＤを長時間露光するスローシャッタの場合に、スローシャッタを示すカメラ情報に応じてフィルムグレイン成分設定情報を補正しても良い。なお、本実施形態では図１において画像圧縮部１１０と画像伸張部１１４を分離して記述したが、これは説明を簡略化させる為のものであり、画像の圧縮や伸張を１つのブロック、１つのＬＳＩ等で行えるシステムに本発明を適用しても本発明の範疇に入ることは言うまでもない。
【００４４】
また、本実施形態では、特殊効果としてフィルムグレインを例に説明したが、カメラ情報に応じて補正可能とする特殊効果は、フィルムグレイン以外に次の特殊効果も挙げられる。例えば、ビデオカメラ等で有効な、画面を徐々に白くしていく所謂「白フェード処理」という特殊効果がある。この場合、ホワイトバランス制御情報により低色温度側（赤寄り）と判定される場合には、フェード時に少し赤みがかった色になるようなフェード処理を行うようにしてもよい。また、他の特殊効果として画像全体を所定の小領域に分けて平均化する所謂「モザイク処理」という特殊効果がある。この場合、アンプゲインの情報によりＡＧＣがゲインアップ状態と判定される場合は、モザイク処理で平均化する小領域の大きさを通常よりも大きめにするような処理を行うようにしてもよい。このような変形例も、本発明の範疇に入ることは言うまでもない。
【００４５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態に係る画像記録再生装置の構成を示すブロック図である。本実施形態の特徴は記録時にカメラ情報からフィルムグレイン成分の設定情報を作成するのではなく、カメラ情報によりフィルムグレイン成分自体を補正し画像データと共に記録媒体に記録する点にある。なお、図５においてカメラ部１００の動作は第１の実施形態と同一であるので説明を省略する。
【００４６】
図５において、記録動作時、カメラ部１００から出力されるカメラ情報は１１１＿ａのフィルムグレイン成分作成部に出力される。なおフィルムグレイン成分作成部の詳細は後述する。
【００４７】
カメラ部１００から出力されるカメラ画像データは１１０の画像圧縮部によりＭＰＥＧ２などの圧縮方法にしたがって圧縮され圧縮画像データとして記録再生部１１２＿ａへ出力される。１１２＿ａの記録再生部にはフィルムグレイン成分作成部１１１＿ａからフィルムグレイン成分も入力される。なお１１１＿ｂはフィルムグレイン作成に用いるメモリである。
【００４８】
記録再生部１１２＿ａでは入力された圧縮画像データとフィルムグレイン成分とを共に記録媒体１１３＿ａへ記録する。１１３＿ａは圧縮画像データやフィルムグレイン成分が実際に記録される記録媒体であり、内蔵型のハードディスク、或いは光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００４９】
再生時は記録再生部１１２＿ａが記録媒体１１３＿ａから圧縮画像データを再生する。再生された圧縮画像データは１１４の画像伸張部において伸張され、ベースバンドの伸張画像に変換される。１１５＿ａのフィルムグレイン処理部には記録媒体１１３＿ａから再生されたフィルムグレイン成分が入力され、再生されたフィルムグレイン成分を伸張画像に対して付加する処理を行う。フィルムグレイン処理が施された画像は表示画像として外部のモニタなどに出力される。なお、１１６はフィルムグレイン処理に用いるメモリであり、記録媒体から読み出されたフィルムグレイン成分の一時記憶等に用いる。
【００５０】
次に、フィルムグレイン成分作成部１１１＿ａの動作について図６のフローチャートを用いて詳細に説明する。
【００５１】
まず、ステップＳ６００で処理が開始されると、ステップＳ６０１で図５中の操作部１０７からフィルムグレイン処理を実行する要求があったかどうかを判定する。フィルムグレイン処理の実行要求があった場合は、ステップＳ６０２にてメモリ１１１＿ｂからフィルムグレイン成分の初期値を読み込む処理を行う。ここでフィルムグレイン成分の初期値は予めフィルムグレイン用に作成したランダムノイズデータ等をＲＯＭデータとしてメモリ１１１＿ｂに記憶させておいても良いし、図９中９０１に示すように記録媒体１１３＿ａの所定領域に予めフィルムグレイン成分の初期値を記録しておき、記録動作の最初にメモリ１１１＿ｂに読み込むようにしておいても良い。また図示しないＩ／Ｆを介して画像記録再生装置の外部からフィルムグレイン成分の初期値を読み込んでメモリ１１１＿ｂに記憶させておいても良い。
【００５２】
次に、ステップＳ６０３ではカメラ部１００から前述した露出制御やホワイトバランス制御に関するカメラ情報を読み込む。ステップＳ６０４ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＲ（赤）寄りかどうかの判定を行う。
【００５３】
ステップＳ６０４でホワイトバランスがＲ寄りであると判定された場合は、ステップＳ６０５にてフィルムグレイン成分中のＲ成分のレベルをＫ１'倍し、Ｂ成分のレベルをＫ２'倍する。
【００５４】
ここでＫ１'，Ｋ２'をそれぞれ下記の式７、式８に示す関係にすると、Ｒ成分の強度を高め、Ｂ成分の強度を低めることができる。即ちホワイトバランスがＲ（赤）寄りであると判定された場合、フィルムグレインの成分もＲ（赤）寄りにする事ができる。
Ｋ１'＞１．０・・・（式７）
Ｋ２'＜１．０・・・（式８）
【００５５】
次に、ステップＳ６０６ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＢ（青）寄りかどうかの判定を行う。ステップＳ６０６でホワイトバランスがＢ寄りであると判定された場合はステップＳ６０７にてフィルムグレイン成分中のＲ成分のレベルをＬ１'倍し、Ｂ成分のレベルをＬ２'倍する。
【００５６】
ここでＬ１'，Ｌ２'をそれぞれ下記の式９、式１０に示す関係にすると、Ｒ成分の強度を低め、Ｂ成分の強度を高めることができる。即ちホワイトバランスがＢ（青）寄りであると判定された場合、フィルムグレインの成分もＢ（青）寄りすることができる。
Ｌ１'＜１．０・・・（式９）
Ｌ２'＞１．０・・・（式１０）
【００５７】
次に、ステップＳ６０８では露出制御やカメラ信号処理のアンプゲインに関する情報よりＡＧＣの増幅率が大きい、所謂ゲインアップ状態か否かのの判定を行う。ステップＳ６０８でゲインアップ状態であると判定された場合はＳ６０９にてフィルムグレイン成分中のＲ（赤）、Ｇ（緑）、Ｂ（青）成分のレベルを全て１／Ｍ'倍する。
【００５８】
ここで、Ｍ'を下記の式１１に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の強度を低めることができる。なお、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分のレベルを個別に変更しなくてもＹ（輝度）成分のレベルを１／Ｍ'倍に変更するように制御してもよい。
Ｍ'＞１．０・・・（式１１）
【００５９】
更にＳ６０８でゲインアップ状態であると判定された場合は、ステップＳ６１０にてフィルムグレイン成分中のＲ、Ｇ、Ｂ成分の粒状（ノイズ粒子の大きさ）を全て１／Ｎ'倍する。
【００６０】
ここでＮ'を下記の式１２に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の粒状を小さくすることができる。
Ｎ'＞１．０・・・（式１２）
【００６１】
その後、ステップＳ６１１の処理では、カメラ情報によって適切に補正されたフィルムグレイン成分が図５の記録部１１２＿ａへ出力され、画像データと共に記録媒体１１３＿ａへ記録される。なお前述したステップＳ６０１でフィルムグレイン処理の実行要求がなかった場合はフィルムグレイン成分は記録再生部１１２＿ａへ出力されることなく処理を終了する。この場合は圧縮画像データのみが記録媒体１１３＿ａへ記録される。このように、画像記録再生装置において、被写体像の撮影動作（及び記録動作）を行いながら、フィルムグレイン成分の作成が可能であり、作成する場合はそのときのカメラ情報に応じたフィルムグレイン成分をリアルタイムに作成できる。
【００６２】
図７に記録媒体１１３＿ａ中に記録されたデータの概略図を示す。図７中７０１はフィルムグレイン成分を示す情報であり、７０２は圧縮されたカメラ画像データである。図７に示すようにカメラ画像データに付加される形でフィルムグレイン成分が記録媒体１１３＿ａへ記録される。記録形態の一例として、圧縮されたカメラ画像データと、フィルムグレイン成分を示す情報とが、同一のファイル内に包含されたファイル形態にして記録しても良い。
【００６３】
次に画像記録再生装置１１２＿ａにおける再生時のフィルムグレイン処理部１１５＿ａの動作について図８を用いて詳細に説明する。
【００６４】
図８は再生時のフィルムグレイン処理動作の一例を示すフローチャートである。まずステップＳ８００で処理が開始されると、ステップＳ８０１で再生されたフィルムグレイン成分があるかどうかを判定する。フィルムグレイン成分がある場合はステップＳ８０２にて記録媒体１１３＿ａからメモリ１１６にフィルムグレイン成分を読み込む処理を行う。ここでメモリ１１６に読み込むフィルムグレイン成分とは図７の７０１で示した情報を指す。
【００６５】
次に、ステップＳ８０３ではメモリ１１６に読み込まれたフィルムグレイン成分を伸張画像に付加する処理を行い、ステップＳ８０４で伸張画像を表示画像として出力する。
【００６６】
なお、前述したステップＳ８０１でフィルムグレイン成分が記録されていなかった場合には、フィルムグレイン成分の付加をすることなく、伸張された画像のみが表示画像として出力される。
【００６７】
以上述べた構成動作とすることにより、例えば暗い被写体を撮影したカメラ画像にフィルムグレイン処理を行う場合には、ＡＧＣゲインに応じてフィルムグレイン成分を抑えるようにフィルムグレイン成分が補正されて記録される。よって再生時には少なめに抑えられたフィルムグレイン成分が加算処理されたカメラ画像が再生されるので、従来のようにノイズ感の多い画像になることを防止できる。またホワイトバランスに応じてフィルムグレイン成分のＲ（赤）やＢ（青）成分の強度も補正されるので画面の雰囲気を損ねることのないフィルムグレイン処理を行うことが可能になる。
なお、本実施形態では、特殊効果としてフィルムグレインを例に説明したが、カメラ情報に応じて補正可能とする特殊効果は、フィルムグレイン以外に次の特殊効果も挙げられる。例えば、ビデオカメラ等で有効な、画面を徐々に白くしていく所謂「白フェード処理」という特殊効果がある。この場合、ホワイトバランス制御情報により低色温度側（赤寄り）と判定される場合には、フェード時に少し赤みがかった色になるようなフェード処理を行うようにしてもよい。また、他の特殊効果として画像全体を所定の小領域に分けて平均化する所謂「モザイク処理」という特殊効果がある。この場合、アンプゲインの情報によりＡＧＣがゲインアップ状態と判定される場合は、モザイク処理で平均化する小領域の大きさを通常よりも大きめにするような処理を行うようにしてもよい。このような変形例も、本発明の範疇に入ることは言うまでもない。
【００６８】
また、本発明はカメラ部の信号処理や画像圧縮処理等をハードウェアにより実施した場合でも、コンピュータを用いたソフトウェア処理にて実施した場合でも適用することができ、同様な効果を得ることが可能である。この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６９】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７０】
更に、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１の実施形態に係る画像記録再生装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるフィルムグレイン情報設定部の動作を示すフローチャートである。
【図３】本発明の第１の実施形態における記録媒体内に記録されるデータの概略図である。
【図４】本発明の第１の実施形態における再生時のフィルムグレイン処理動作を示すフローチャートである。
【図５】本発明の第２の実施形態に係る画像記録再生装置の構成を示すブロック図である。
【図６】本発明の第２の実施形態におけるフィルムグレイン作成処理部の動作を示すフローチャートである。
【図７】本発明の第２の実施形態における記録媒体内に記録されるデータの概略図である。
【図８】本発明の第２の実施形態における再生時のフィルムグレイン処理動作を示すフローチャートである。
【図９】記録媒体の所定領域に記録されるフィルムグレイン成分を示す図である。
【符号の説明】
【００７２】
１００：カメラ部
１０１：ズームレンズ
１０２：絞り
１０３：ＣＣＤ（撮像素子）
１０４：タイミングジェネレータ
１０５：Ａ／Ｄ変換部
１０６：ドライブ回路
１０７：操作部
１０８：カメラＣＰＵ
１０８ａ：露出制御部
１０８ｂ：ホワイトバランス制御部
１０８ｃ：フォーカス制御部
１０９：カメラ信号処理部
１１０：画像圧縮部
１１１：フィルムグレイン情報設定部
１１２：記録再生部
１１３：記録媒体
１１４：画像伸張部
１１５：フィルムグレイン処理部
１１６：メモリ
１１１＿ａ：フィルムグレイン成分作成部
１１１＿ｂ：メモリ
１１２＿ａ：記録再生部
１１３＿ａ：記録媒体
１１５＿ａ：フィルムグレイン処理部
【技術分野】
【０００１】
本発明は、フィルムグレイン処理等の画像データに対する特殊効果処理を実行可能な画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
ビデオカメラで撮影した画像に様々な特殊効果処理を行い再生表示できるものがある。それらの中でもビデオカメラのようなテレビジョン用カメラで撮影したカメラ画像に、フィルム特有の細かな粒子状のノイズを付加して、あたかも映画用フィルムカメラで撮影したかのような画像にする特殊効果があり、一般的に「フィルムグレイン」と称されている。以下の説明では、カメラ画像に付加するフィルム特有の細かな粒子状のノイズ成分を「フィルムグレイン成分」と称す。また画像にフィルムグレイン成分を付加する処理を「フィルムグレイン処理」と称す。例えば特許文献１には、このようなテレビジョン用カメラで撮影した画像にフィルムグレイン処理を行うものが開示されている。
【０００３】
一方、ビデオカメラのような記録再生が可能な装置において、撮影した画像データとその画像に施す特殊効果に関する付加情報とを記録媒体に記録しておき、画像データを再生する際に付加情報に基づく特殊効果処理を行い再生できるものがある（例えば、特許文献２参照）。特許文献２に開示される発明は、撮影した画像を記録する場合、画像信号に対しては特殊効果処理をせずそのまま記録し、特殊効果に関する情報は付加情報として記録する。そして再生時に再生画像に対し、前述した特殊効果に関する付加情報に基づく特殊効果処理を施して表示するというものである。
【０００４】
【特許文献１】特許第３１１０７６３号公報
【特許文献２】特開平１１−２０５７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながらビデオカメラで撮影された画像に前述したフィルムグレイン処理を行う場合、以下のような問題がある。
【０００６】
例えば前述した特許文献１に開示される発明の場合、撮影したカメラ部の状態によってはフィルムグレインの効果がうまく現れない場合がある。即ち、被写体が暗い場合カメラ部は電気的に信号を増幅する為、画像信号中にはランダムノイズが自然と多く含まれるようになる。その状態で更にフィルムグレイン成分を付加すると画像のノイズ成分が非常に多くなって見苦しい画像になる場合がある。
【０００７】
一方、ビデオカメラには光源の色温度が変わった場合でも安定した良好な色再現が得られるように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）信号の出力比を自動的に調整する機能、所謂ホワイトバランス機能が備えられている。
【０００８】
通常、ホワイトバランスの調整は白いものが白く見えるように調整するが、ホワイトバランスの調整を少しずらして撮影する場合もある。例えば白熱灯下や夕焼けなどのシーンでは意図的にホワイトバランスを少し赤方向にずらし画面全体を赤みのある暖かな雰囲気にして撮影する場合がある。また朝焼けや日陰等を撮影する場合にはホワイトバランスを少し青方向にずらし、画面全体を青みがかった雰囲気にして撮影する場合もある。
【０００９】
そのような場合に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分に偏りのないフィルムグレイン成分を付加すると、赤みのある雰囲気や青みのある雰囲気が薄らいでしまう場合がある。前述した問題は特許文献２で示されるような再生時に付加情報に基づいて特殊効果処理を行うシステムで、特殊効果をフィルムグレイン処理として実施する場合でも同様に発生してしまう可能性があった。
【００１０】
そこで、本発明の目的は、撮影処理時における露出制御に係る制御内容や画像データに対するホワイトバランス制御に係る制御内容等に応じた特殊効果処理を可能とすることにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段と、前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成手段と、前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理手段とを有することを特徴とする。
本発明の画像処理方法は、被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段を有する画像処理装置による画像処理方法であって、前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成ステップと、前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理ステップとを含むことを特徴とする。
本発明のプログラムは、前記画像処理方法をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、画像データに係る各種制御内容に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を画像データに付加するように構成したので、撮影処理時における露出制御に係る制御内容や画像データに対するホワイトバランス制御に係る制御内容等に応じて、撮影シーンに適した特殊効果処理を実行することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１４】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る動画像を撮影可能な画像記録再生装置の構成を示すブロック図である。なお、本実施形態では、特殊効果として、フィルムグレイン処理を例に挙げて説明する。
【００１５】
次に、図１の画像記録再生装置の記録時における動作について説明する。まず被写体からの光学像は１０１のズームレンズによりズームやフォーカス調整が行われる。そして絞り１０２にて光量が調節され、１０３のＣＣＤ上に結像される。ＣＣＤは１０４に示すタイミングジェネレータ（以下、ＴＧと称す）にて所定のシャッタ速度で駆動される。ＣＣＤ１０３からの信号は１０５のＡ／Ｄ部で２重相関サンプリング（ＣＤＳ）およびゲインコントロール（ＡＧＣ）とＡ／Ｄ変換が行われる。ここで１０６はズームレンズ１０１、絞り１０２を駆動するドライブ回路である。１０７は画像に対してフィルムグレイン処理を実行するか否かの操作やその他、カメラ部１００の各種操作を行うスイッチ類が含まれる操作部である。１０８はカメラ部１００全体を統合的に制御するカメラＣＰＵである。１０５でＡ／Ｄ変換された画像データは１０９に入力される。１０９はＡ／Ｄ変換された画像データに対して色補間処理、γ補正やホワイトバランス調整等を行いカメラ画像データを出力するカメラ信号処理部である。これらの１０１〜１０９によりカメラ部１００を構成する。
【００１６】
なお、１０８のカメラＣＰＵ内には画像記録再生装置におけるカメラ部１００の各種制御を行うカメラ制御モジュールを有している。
【００１７】
カメラＣＰＵ１０８内の露出制御部１０８ａは絞り１０２やＣＣＤ１０３のシャッタ速度、ゲインコントロール（ＡＧＣ）を制御して映像信号の露出レベルが適正になるように制御を行う。露出制御信号はドライブ回路１０６、ＴＧ１０４、Ａ／Ｄ部１０５に対して出力される。
【００１８】
ホワイトバランス制御部１０８ｂは画像信号中のＲ（赤）、Ｇ（緑）、Ｂ（青）成分や図示しない色温度センサなどから被写体の色温度情報を求め、画像の白バランスを制御するホワイトバランス制御信号をカメラ信号処理部１０９に対して出力する。
【００１９】
フォーカス制御部１０８ｃはズームレンズ１０１を制御しフォーカス調整やズーム調整を行うレンズ制御信号をドライブ回路１０６に対して出力する。
【００２０】
これら１０８ａ〜１０８ｃ等の制御モジュールから出力される制御情報はカメラ情報として、１１１のフィルムグレイン情報設定部に出力される。なおフィルムグレイン情報設定部１１１の詳細は後述する。
【００２１】
次に、カメラ部１００から出力されるカメラ画像データは１１０の画像圧縮部によりＭＰＥＧ２などの圧縮方法にしたがって圧縮され圧縮画像データとして記録再生部１１２へ出力される。１１２の記録再生部にはフィルムグレイン情報設定部１１１からフィルムグレイン成分設定情報も入力される。記録再生部１１２では入力された圧縮画像データとフィルムグレイン成分設定情報を共に記録媒体１１３へ記録する。
【００２２】
１１３は圧縮画像データやフィルムグレイン成分設定情報が実際に記録される記録媒体であり、内蔵型のハードディスク、或いは着脱式の光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００２３】
次に、本画像記録再生装置の再生時の動作について説明する。再生時は記録再生部１１２が記録媒体１１３から圧縮画像データとフィルムグレイン成分設定情報とを再生する。
【００２４】
再生された圧縮画像データは１１４の画像伸張部において伸張され、ベースバンドの伸張画像に変換される。１１５のフィルムグレイン処理部には記録媒体１１３から再生されたフィルムグレイン成分設定情報が入力され、フィルムグレイン成分設定情報に対応したフィルムグレイン処理を伸張画像に対して行う。フィルムグレイン処理が施された画像は表示画像として外部のモニタなどに出力される。なお、１１６はフィルムグレイン処理に用いるメモリであり、前述したフィルムグレイン成分の記憶に用いたりする。
【００２５】
次に、フィルムグレイン情報設定部１１１の動作について図２のフローチャートを用いて詳細に説明する。まず、ステップＳ２００で処理が開始されると、ステップＳ２０１で図１中の操作部１０７からフィルムグレイン処理を実行する要求があったかどうかを判定する。フィルムグレイン処理の実行要求があった場合は、ステップＳ２０２にてフィルムグレイン成分の初期設定情報を不図示のＲＯＭ内に記憶されたＲＯＭテーブル等から読み込む処理を行う。フィルムグレイン成分の初期設定情報にはフィルムグレイン成分中のＲ（赤）、Ｇ（緑）、Ｂ（青）各成分の強度設定するレベル設定値や各成分の粒子の大きさを設定する粒状設定値などの情報が含まれる。
【００２６】
次に、ステップＳ２０３ではカメラ部１００から前述した露出制御やホワイトバランス制御に関するカメラ情報を読み込む。ステップＳ２０４ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＲ（赤）寄りかどうかの判定を行う。ステップＳ２０４でホワイトバランスがＲ（赤）寄りであると判定された場合はステップＳ２０５にてフィルムグレイン成分中のＲ（赤）成分の強度設定を行うレベル設定値をＫ１倍し、Ｂ（青）成分の強度設定を行うレベル設定値をＫ２倍する。
【００２７】
ここでＫ１、Ｋ２をそれぞれ下記の式１、式２に示す関係にすると、Ｒ（赤）成分の強度を高め、Ｂ（青）成分の強度を低くすることができる。即ちホワイトバランスがＲ（赤）寄りであると判定された場合、フィルムグレインの成分をＲ（赤）寄りにするフィルムグレイン成分設定情報に補正することができる。
Ｋ１＞１．０・・・（式１）
Ｋ２＜１．０・・・（式２）
【００２８】
次に、ステップＳ２０６ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＢ（青）寄りかどうかの判定を行う。ステップＳ２０６でホワイトバランスがＢ寄りであると判定された場合はステップＳ２０７にてフィルムグレイン成分中のＲ成分の強度設定を行うレベル設定値をＬ１倍し、Ｂ成分の強度設定を行うレベル設定値をＬ２倍する。
【００２９】
ここで、Ｌ１、Ｌ２をそれぞれ下記の式３、式４に示す関係にすると、Ｒ成分の強度を低め、Ｂ成分の強度を高めることができる。即ちホワイトバランスがＢ（青）寄りであると判定された場合、フィルムグレインの成分をＢ（青）寄りにするフィルムグレイン成分設定情報に補正することができる。
Ｌ１＜１．０・・・（式３）
Ｌ２＞１．０・・・（式４）
【００３０】
次に、ステップＳ２０８では露出制御やカメラ信号処理のアンプゲインに関するカメラ情報よりＡＧＣの増幅率が大きい、所謂ゲインアップ状態か否かの判定を行う。ステップＳ２０８でゲインアップ状態であると判定された場合は、ステップＳ２０９にてフィルムグレイン成分中のＲ（赤）、Ｇ（緑）、Ｂ（青）成分の強度設定を行うレベル設定値を全て１／Ｍ倍する。
【００３１】
ここで、Ｍを下記の式５に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の強度を低くするフィルムグレイン成分設定情報に補正することができる。なお、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分の強度を個別に変更しなくてもＹ（輝度）成分に関するフィルムグレイン成分情報があれば、その情報を同様に１／Ｍ倍しても良い。
Ｍ＞１．０・・・（式５）
【００３２】
更に、ステップＳ２０８でゲインアップ状態であると判定された場合は、ステップＳ２１０にてフィルムグレイン成分中のＲ、Ｇ、Ｂ成分の粒状（ノイズ粒子の大きさ）設定値を全て1／Ｎ倍する。
【００３３】
ここで、Ｎを下記の式６に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の粒状を小さくするフィルムグレイン成分設定情報に補正することができる。
Ｎ＞１．０・・・（式６）
【００３４】
その後、ステップＳ２１１の処理では、カメラ情報によって適切に補正されたフィルムグレイン成分の設定情報が図１の記録再生部１１２へ出力され、画像データと共に記録媒体１１３へ記録される。なお、前述したステップＳ２０１でフィルムグレイン処理の実行要求がなかった場合は、フィルムグレイン成分の設定情報は記録再生部１１２へ出力されることなく処理を終了する。この場合は圧縮画像データのみが記録媒体１１３へ記録される。このように、画像記録再生装置において、被写体像の撮影動作（及び記録動作）を行いながら、フィルムグレインの設定が可能であり、設定する場合はそのときのカメラ情報に応じたフィルムグレイン成分を設定できる。
【００３５】
図３に記録媒体１１３中に記録されたデータの概略図を示す。図３中３０１は特殊効果情報であるフィルムグレイン成分設定情報であり、３０２は圧縮されたカメラ画像データである。図３に示すようにカメラ画像データの付加情報としてフィルムグレイン成分設定情報が記録媒体１１３へ記録される。記録形態の一例として、圧縮されたカメラ画像データと、付加情報としてのフィルムグレイン成分設定情報とが、同一のファイル内に包含されたファイル形態にして記録しても良い。
【００３６】
次に画像記録再生装置における再生時のフィルムグレイン処理部１１５の動作について図４を用いて詳細に説明する。図４は再生時のフィルムグレイン処理動作の一例を示すフローチャートである。
【００３７】
まず、ステップＳ４００で処理が開始されると、ステップＳ４０１で再生されたフィルムグレイン成分設定情報があるかどうかを判定する。フィルムグレイン成分設定情報がある場合は、ステップＳ４０２にて図１中１１６に示すメモリからフィルムグレイン成分の初期値を読み込む処理を行う。
【００３８】
ここで、フィルムグレイン成分の初期値は予めフィルムグレイン用に作成したランダムノイズデータ等を、ＲＯＭデータとしてメモリ１１６に記憶させておいても良い。また図９中９０１に示すように、記録媒体１１３の所定領域に予めフィルムグレイン成分の初期値を記録しておき、再生動作の最初に記録媒体１１３に記録された初期値を読み出し、メモリ１１６に展開するようにしておいても良い。また図示しないＩ／Ｆを介して画像記録再生装置の外部から、フィルムグレイン成分の初期値を読み込んでメモリ１１６に記憶させておいても良い。
【００３９】
次に、ステップＳ４０３ではフィルムグレイン成分の設定情報を読み込む。次にステップＳ４０４の処理では読み込まれたフィルムグレイン成分設定情報に応じてフィルムグレインの成分を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）成分の強度や粒状を調整する。次にステップＳ４０５では調整されたフィルムグレイン成分を伸張画像に付加する処理を行い、ステップＳ４０６で伸張画像を表示画像として出力する。
【００４０】
なお、前述したステップＳ４０１でフィルムグレイン成分の設定情報がなかった場合には、フィルムグレイン成分を付加することなく、伸張された画像のみが表示画像として出力される。
【００４１】
以上述べた構成動作とすることにより、例えば暗い被写体を撮影したカメラ画像にフィルムグレイン処理を行う場合には、ＡＧＣゲインに応じてフィルムグレイン成分を抑えるようにフィルムグレイン成分設定情報が補正されて記録される。よって再生時には少なめに抑えられたフィルムグレイン成分が伸張画像に付加されるので、従来のようにノイズ感の多い画像になることを防止できる。またホワイトバランスに応じてフィルムグレイン成分のＲ（赤）やＢ（青）成分の強度も補正されて画像に付加されるので画面の雰囲気を損ねることのないフィルムグレイン処理を行うことが可能になる。
【００４２】
また、本実施形態ではホワイトバランスがＲ（赤）とＢ（青）に偏った場合で説明したが、その他の色に偏った場合にもフィルムグレイン成分設定情報を適時補正すれば良く、効果を得ることができる。
【００４３】
また、露出制御に関するカメラ情報はゲインアップ情報だけでなくても良い。例えばＣＣＤを長時間露光するスローシャッタの場合に、スローシャッタを示すカメラ情報に応じてフィルムグレイン成分設定情報を補正しても良い。なお、本実施形態では図１において画像圧縮部１１０と画像伸張部１１４を分離して記述したが、これは説明を簡略化させる為のものであり、画像の圧縮や伸張を１つのブロック、１つのＬＳＩ等で行えるシステムに本発明を適用しても本発明の範疇に入ることは言うまでもない。
【００４４】
また、本実施形態では、特殊効果としてフィルムグレインを例に説明したが、カメラ情報に応じて補正可能とする特殊効果は、フィルムグレイン以外に次の特殊効果も挙げられる。例えば、ビデオカメラ等で有効な、画面を徐々に白くしていく所謂「白フェード処理」という特殊効果がある。この場合、ホワイトバランス制御情報により低色温度側（赤寄り）と判定される場合には、フェード時に少し赤みがかった色になるようなフェード処理を行うようにしてもよい。また、他の特殊効果として画像全体を所定の小領域に分けて平均化する所謂「モザイク処理」という特殊効果がある。この場合、アンプゲインの情報によりＡＧＣがゲインアップ状態と判定される場合は、モザイク処理で平均化する小領域の大きさを通常よりも大きめにするような処理を行うようにしてもよい。このような変形例も、本発明の範疇に入ることは言うまでもない。
【００４５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態に係る画像記録再生装置の構成を示すブロック図である。本実施形態の特徴は記録時にカメラ情報からフィルムグレイン成分の設定情報を作成するのではなく、カメラ情報によりフィルムグレイン成分自体を補正し画像データと共に記録媒体に記録する点にある。なお、図５においてカメラ部１００の動作は第１の実施形態と同一であるので説明を省略する。
【００４６】
図５において、記録動作時、カメラ部１００から出力されるカメラ情報は１１１＿ａのフィルムグレイン成分作成部に出力される。なおフィルムグレイン成分作成部の詳細は後述する。
【００４７】
カメラ部１００から出力されるカメラ画像データは１１０の画像圧縮部によりＭＰＥＧ２などの圧縮方法にしたがって圧縮され圧縮画像データとして記録再生部１１２＿ａへ出力される。１１２＿ａの記録再生部にはフィルムグレイン成分作成部１１１＿ａからフィルムグレイン成分も入力される。なお１１１＿ｂはフィルムグレイン作成に用いるメモリである。
【００４８】
記録再生部１１２＿ａでは入力された圧縮画像データとフィルムグレイン成分とを共に記録媒体１１３＿ａへ記録する。１１３＿ａは圧縮画像データやフィルムグレイン成分が実際に記録される記録媒体であり、内蔵型のハードディスク、或いは光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００４９】
再生時は記録再生部１１２＿ａが記録媒体１１３＿ａから圧縮画像データを再生する。再生された圧縮画像データは１１４の画像伸張部において伸張され、ベースバンドの伸張画像に変換される。１１５＿ａのフィルムグレイン処理部には記録媒体１１３＿ａから再生されたフィルムグレイン成分が入力され、再生されたフィルムグレイン成分を伸張画像に対して付加する処理を行う。フィルムグレイン処理が施された画像は表示画像として外部のモニタなどに出力される。なお、１１６はフィルムグレイン処理に用いるメモリであり、記録媒体から読み出されたフィルムグレイン成分の一時記憶等に用いる。
【００５０】
次に、フィルムグレイン成分作成部１１１＿ａの動作について図６のフローチャートを用いて詳細に説明する。
【００５１】
まず、ステップＳ６００で処理が開始されると、ステップＳ６０１で図５中の操作部１０７からフィルムグレイン処理を実行する要求があったかどうかを判定する。フィルムグレイン処理の実行要求があった場合は、ステップＳ６０２にてメモリ１１１＿ｂからフィルムグレイン成分の初期値を読み込む処理を行う。ここでフィルムグレイン成分の初期値は予めフィルムグレイン用に作成したランダムノイズデータ等をＲＯＭデータとしてメモリ１１１＿ｂに記憶させておいても良いし、図９中９０１に示すように記録媒体１１３＿ａの所定領域に予めフィルムグレイン成分の初期値を記録しておき、記録動作の最初にメモリ１１１＿ｂに読み込むようにしておいても良い。また図示しないＩ／Ｆを介して画像記録再生装置の外部からフィルムグレイン成分の初期値を読み込んでメモリ１１１＿ｂに記憶させておいても良い。
【００５２】
次に、ステップＳ６０３ではカメラ部１００から前述した露出制御やホワイトバランス制御に関するカメラ情報を読み込む。ステップＳ６０４ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＲ（赤）寄りかどうかの判定を行う。
【００５３】
ステップＳ６０４でホワイトバランスがＲ寄りであると判定された場合は、ステップＳ６０５にてフィルムグレイン成分中のＲ成分のレベルをＫ１'倍し、Ｂ成分のレベルをＫ２'倍する。
【００５４】
ここでＫ１'，Ｋ２'をそれぞれ下記の式７、式８に示す関係にすると、Ｒ成分の強度を高め、Ｂ成分の強度を低めることができる。即ちホワイトバランスがＲ（赤）寄りであると判定された場合、フィルムグレインの成分もＲ（赤）寄りにする事ができる。
Ｋ１'＞１．０・・・（式７）
Ｋ２'＜１．０・・・（式８）
【００５５】
次に、ステップＳ６０６ではホワイトバランス制御に関するカメラ情報よりホワイトバランスがＢ（青）寄りかどうかの判定を行う。ステップＳ６０６でホワイトバランスがＢ寄りであると判定された場合はステップＳ６０７にてフィルムグレイン成分中のＲ成分のレベルをＬ１'倍し、Ｂ成分のレベルをＬ２'倍する。
【００５６】
ここでＬ１'，Ｌ２'をそれぞれ下記の式９、式１０に示す関係にすると、Ｒ成分の強度を低め、Ｂ成分の強度を高めることができる。即ちホワイトバランスがＢ（青）寄りであると判定された場合、フィルムグレインの成分もＢ（青）寄りすることができる。
Ｌ１'＜１．０・・・（式９）
Ｌ２'＞１．０・・・（式１０）
【００５７】
次に、ステップＳ６０８では露出制御やカメラ信号処理のアンプゲインに関する情報よりＡＧＣの増幅率が大きい、所謂ゲインアップ状態か否かのの判定を行う。ステップＳ６０８でゲインアップ状態であると判定された場合はＳ６０９にてフィルムグレイン成分中のＲ（赤）、Ｇ（緑）、Ｂ（青）成分のレベルを全て１／Ｍ'倍する。
【００５８】
ここで、Ｍ'を下記の式１１に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の強度を低めることができる。なお、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分のレベルを個別に変更しなくてもＹ（輝度）成分のレベルを１／Ｍ'倍に変更するように制御してもよい。
Ｍ'＞１．０・・・（式１１）
【００５９】
更にＳ６０８でゲインアップ状態であると判定された場合は、ステップＳ６１０にてフィルムグレイン成分中のＲ、Ｇ、Ｂ成分の粒状（ノイズ粒子の大きさ）を全て１／Ｎ'倍する。
【００６０】
ここでＮ'を下記の式１２に示す関係にすると、ゲインアップ状態であると判定された場合は、フィルムグレイン成分全体の粒状を小さくすることができる。
Ｎ'＞１．０・・・（式１２）
【００６１】
その後、ステップＳ６１１の処理では、カメラ情報によって適切に補正されたフィルムグレイン成分が図５の記録部１１２＿ａへ出力され、画像データと共に記録媒体１１３＿ａへ記録される。なお前述したステップＳ６０１でフィルムグレイン処理の実行要求がなかった場合はフィルムグレイン成分は記録再生部１１２＿ａへ出力されることなく処理を終了する。この場合は圧縮画像データのみが記録媒体１１３＿ａへ記録される。このように、画像記録再生装置において、被写体像の撮影動作（及び記録動作）を行いながら、フィルムグレイン成分の作成が可能であり、作成する場合はそのときのカメラ情報に応じたフィルムグレイン成分をリアルタイムに作成できる。
【００６２】
図７に記録媒体１１３＿ａ中に記録されたデータの概略図を示す。図７中７０１はフィルムグレイン成分を示す情報であり、７０２は圧縮されたカメラ画像データである。図７に示すようにカメラ画像データに付加される形でフィルムグレイン成分が記録媒体１１３＿ａへ記録される。記録形態の一例として、圧縮されたカメラ画像データと、フィルムグレイン成分を示す情報とが、同一のファイル内に包含されたファイル形態にして記録しても良い。
【００６３】
次に画像記録再生装置１１２＿ａにおける再生時のフィルムグレイン処理部１１５＿ａの動作について図８を用いて詳細に説明する。
【００６４】
図８は再生時のフィルムグレイン処理動作の一例を示すフローチャートである。まずステップＳ８００で処理が開始されると、ステップＳ８０１で再生されたフィルムグレイン成分があるかどうかを判定する。フィルムグレイン成分がある場合はステップＳ８０２にて記録媒体１１３＿ａからメモリ１１６にフィルムグレイン成分を読み込む処理を行う。ここでメモリ１１６に読み込むフィルムグレイン成分とは図７の７０１で示した情報を指す。
【００６５】
次に、ステップＳ８０３ではメモリ１１６に読み込まれたフィルムグレイン成分を伸張画像に付加する処理を行い、ステップＳ８０４で伸張画像を表示画像として出力する。
【００６６】
なお、前述したステップＳ８０１でフィルムグレイン成分が記録されていなかった場合には、フィルムグレイン成分の付加をすることなく、伸張された画像のみが表示画像として出力される。
【００６７】
以上述べた構成動作とすることにより、例えば暗い被写体を撮影したカメラ画像にフィルムグレイン処理を行う場合には、ＡＧＣゲインに応じてフィルムグレイン成分を抑えるようにフィルムグレイン成分が補正されて記録される。よって再生時には少なめに抑えられたフィルムグレイン成分が加算処理されたカメラ画像が再生されるので、従来のようにノイズ感の多い画像になることを防止できる。またホワイトバランスに応じてフィルムグレイン成分のＲ（赤）やＢ（青）成分の強度も補正されるので画面の雰囲気を損ねることのないフィルムグレイン処理を行うことが可能になる。
なお、本実施形態では、特殊効果としてフィルムグレインを例に説明したが、カメラ情報に応じて補正可能とする特殊効果は、フィルムグレイン以外に次の特殊効果も挙げられる。例えば、ビデオカメラ等で有効な、画面を徐々に白くしていく所謂「白フェード処理」という特殊効果がある。この場合、ホワイトバランス制御情報により低色温度側（赤寄り）と判定される場合には、フェード時に少し赤みがかった色になるようなフェード処理を行うようにしてもよい。また、他の特殊効果として画像全体を所定の小領域に分けて平均化する所謂「モザイク処理」という特殊効果がある。この場合、アンプゲインの情報によりＡＧＣがゲインアップ状態と判定される場合は、モザイク処理で平均化する小領域の大きさを通常よりも大きめにするような処理を行うようにしてもよい。このような変形例も、本発明の範疇に入ることは言うまでもない。
【００６８】
また、本発明はカメラ部の信号処理や画像圧縮処理等をハードウェアにより実施した場合でも、コンピュータを用いたソフトウェア処理にて実施した場合でも適用することができ、同様な効果を得ることが可能である。この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６９】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７０】
更に、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１の実施形態に係る画像記録再生装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるフィルムグレイン情報設定部の動作を示すフローチャートである。
【図３】本発明の第１の実施形態における記録媒体内に記録されるデータの概略図である。
【図４】本発明の第１の実施形態における再生時のフィルムグレイン処理動作を示すフローチャートである。
【図５】本発明の第２の実施形態に係る画像記録再生装置の構成を示すブロック図である。
【図６】本発明の第２の実施形態におけるフィルムグレイン作成処理部の動作を示すフローチャートである。
【図７】本発明の第２の実施形態における記録媒体内に記録されるデータの概略図である。
【図８】本発明の第２の実施形態における再生時のフィルムグレイン処理動作を示すフローチャートである。
【図９】記録媒体の所定領域に記録されるフィルムグレイン成分を示す図である。
【符号の説明】
【００７２】
１００：カメラ部
１０１：ズームレンズ
１０２：絞り
１０３：ＣＣＤ（撮像素子）
１０４：タイミングジェネレータ
１０５：Ａ／Ｄ変換部
１０６：ドライブ回路
１０７：操作部
１０８：カメラＣＰＵ
１０８ａ：露出制御部
１０８ｂ：ホワイトバランス制御部
１０８ｃ：フォーカス制御部
１０９：カメラ信号処理部
１１０：画像圧縮部
１１１：フィルムグレイン情報設定部
１１２：記録再生部
１１３：記録媒体
１１４：画像伸張部
１１５：フィルムグレイン処理部
１１６：メモリ
１１１＿ａ：フィルムグレイン成分作成部
１１１＿ｂ：メモリ
１１２＿ａ：記録再生部
１１３＿ａ：記録媒体
１１５＿ａ：フィルムグレイン処理部
【特許請求の範囲】
【請求項１】
被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段と、
前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成手段と、
前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記特殊効果処理手段は、前記制御情報に基づいて前記特殊効果成分情報に係る設定情報を生成する設定情報生成部と、前記設定情報生成部により生成される前記設定情報に基づいて前記特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理部とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特殊効果処理手段は、前記制御情報に基づいて補正された特殊効果成分情報を撮影処理と並行して生成する特殊効果成分情報生成部と、前記特殊効果成分情報生成部により生成される前記特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理部とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御情報は、撮影処理時における露出制御に係る情報、前記画像データに対する信号増幅処理に係る情報、及び、前記画像データに対するホワイトバランス制御に係る情報のうちの少なくとも何れか一つを含むことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記特殊効果成分情報は、フィルムグレイン成分情報であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段を有する画像処理装置による画像処理方法であって、
前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成ステップと、
前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理ステップとを含むことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段と、
前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成手段と、
前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記特殊効果処理手段は、前記制御情報に基づいて前記特殊効果成分情報に係る設定情報を生成する設定情報生成部と、前記設定情報生成部により生成される前記設定情報に基づいて前記特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理部とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特殊効果処理手段は、前記制御情報に基づいて補正された特殊効果成分情報を撮影処理と並行して生成する特殊効果成分情報生成部と、前記特殊効果成分情報生成部により生成される前記特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理部とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御情報は、撮影処理時における露出制御に係る情報、前記画像データに対する信号増幅処理に係る情報、及び、前記画像データに対するホワイトバランス制御に係る情報のうちの少なくとも何れか一つを含むことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記特殊効果成分情報は、フィルムグレイン成分情報であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
被写体の画像を撮影して前記被写体の画像データを生成する撮影処理手段を有する画像処理装置による画像処理方法であって、
前記撮影処理手段において実行される前記画像データの生成に係る各種制御内容を示す制御情報を生成する制御情報生成ステップと、
前記制御情報に基づいて特殊効果成分情報を補正し、補正された特殊効果成分情報に基づく特殊効果を前記画像データに対して付加する特殊効果処理ステップとを含むことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−３２４８０８（Ｐ２００６−３２４８０８Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００５−１４４５５６（Ｐ２００５−１４４５５６）
【出願日】平成１７年５月１７日（２００５．５．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１７年５月１７日（２００５．５．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]