画像処理装置及びその制御方法
【課題】 動画像撮影中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、切り替わり付近のＲａｗ画像データに対して適切な現像パラメータが得られるようにすること。
【解決手段】 動画像撮影において、Ｒａｗ撮影モードと通常撮影モードとを有する画像処理装置であって、現像前の画像データに基づいて現像パラメータを生成する生成手段と、Ｒａｗ撮影モードと通常撮影モードとを切り替える切替手段と、現像パラメータを、予め設定された記録条件に従って、現像パラメータの生成に用いた現像前の画像データまたは現像パラメータを用いて現像された現像済み画像データに関連付けて記録するように制御する制御手段とを有し、動画像撮影中にＲａｗ撮影モードから通常撮影モードへ切り替えられた場合に、現像済み画像データの現像に用いた現像パラメータを少なくとも１フレーム分記録する。
【解決手段】 動画像撮影において、Ｒａｗ撮影モードと通常撮影モードとを有する画像処理装置であって、現像前の画像データに基づいて現像パラメータを生成する生成手段と、Ｒａｗ撮影モードと通常撮影モードとを切り替える切替手段と、現像パラメータを、予め設定された記録条件に従って、現像パラメータの生成に用いた現像前の画像データまたは現像パラメータを用いて現像された現像済み画像データに関連付けて記録するように制御する制御手段とを有し、動画像撮影中にＲａｗ撮影モードから通常撮影モードへ切り替えられた場合に、現像済み画像データの現像に用いた現像パラメータを少なくとも１フレーム分記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に、動画像撮影において、現像前の画像データと、現像後の画像データとを切り替えて記録可能な画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
撮像素子から得られる信号をそのまま記録するＲａｗ静止画データに対して、ユーザが様々な現像パラメータを指定することで、その現像パラメータに対応した結果画像を得ることができる、いわゆるＲａｗ現像処理が広く利用されるようになってきている。
【０００３】
一方、昨今においては、デジタルビデオカメラ（以下、カメラ）の普及やパーソナルコンピュータの性能向上などにより、動画像の編集なども一般的に行われるようになってきている。
【０００４】
そのような背景から、今後は静止画像だけでなく、動画像についてもＲａｗ形式のデータを扱うようになり、さらにＲａｗ形式でファイル保存ができるカメラも一般的に普及していくと予想される。Ｒａｗ形式の動画像を現像する場合、動画像を構成する各フレーム画像に対して、静止画像の現像処理と同様に、現像パラメータを与える必要がある。ここで、現像パラメータとは、例えばホワイトバランス調整や露出補正のような処理を行うために必要な情報である。しかし、ある一つの動画像コンテンツについて、特に同一シーンにおいては、前述のような現像パラメータがフレーム単位で大きな変化を繰り返すようなことは稀である。そのため、動画像コンテンツを構成する全てのフレームに対して全ての現像パラメータを記録しておくのは効率的ではない。
【０００５】
以上の点から、特許文献１では、次のような技術が開示されている。即ち、撮影時などのＲａｗ動画像の記録を行う際に、所定の条件を満たすフレームに対する現像パラメータのみを記録しておく。そして、そのＲａｗ動画像を現像する際に、隣り合う２つの現像パラメータを用いて補間演算を行うことにより、現像パラメータが記録されていないフレームの現像パラメータを補う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−５５３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のような、Ｒａｗ形式でファイル保存が可能な動画撮影モード（以下、「Ｒａｗ撮影モード」と呼ぶ。）を備えるカメラが一般的になった場合でも、従来通りの現像済みの形式（例えばＭＰＥＧ形式）でファイル保存が可能な動画撮影モード（以下、「通常撮影モード」と呼ぶ。）も同時に備えることが予想される。このような、Ｒａｗ撮影モードと通常撮影モードの２つのモードを備えるカメラにおいては、Ｒａｗ撮影モードでの撮影中に、
・ Ｒａｗ形式のファイルは比較的容量が大きいため、記憶容量が少なくなる
・ 重要なシーンではない
【０００８】
などの理由により、通常撮影モードに切り替えるケースが想定される。
図５は、動画像撮影中にＲａｗ撮影モードから通常撮影モードに切り替えた場合の、撮影された動画像データを構成する画像フレームと現像パラメータとを、撮影された時間軸に沿って並べて示した図である。このとき、Ｒａｗ画像データに対する現像パラメータは、特許文献１で開示されているように所定間隔毎のフレームに対してのみ記録されているものとする。
【０００９】
この動画像ファイルを再生する場合、図５の区間５１においては、特許文献１に記載されている現像パラメータの補間処理を行うことで、適切な現像パラメータを得ることができる。また、区間５３においては、既に現像処理が行われた動画像の再生になるため、そもそも現像パラメータを補間する必要はない。しかし、区間５２においては、現像処理を行う必要があるにも関わらず、補間処理を行うために必要となる一方の現像パラメータが存在していない。そのため、Ｒａｗ形式の動画像と現像済みの動画像の切り替わりを滑らかに再生するための、適切な現像パラメータを得ることができず、視聴者に対して不快感を与えてしまうことになる。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、動画像撮影中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、形式の切り替わり付近のＲａｗ画像データに対して適切な現像パラメータが得られるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、動画像撮影において、撮像素子から得られる現像前の画像データを現像せずに順次記録するＲａｗ撮影モードと、前記撮像素子から得られる画像データを現像した現像済み画像データを順次記録する通常撮影モードとを有する本発明の画像処理装置は、前記現像前の画像データに基づいて、該現像前の画像データを現像するための現像パラメータを生成する生成手段と、前記Ｒａｗ撮影モードと前記通常撮影モードとを切り替える切替手段と、前記生成手段により生成された現像パラメータを、予め設定された記録条件に従って、前記Ｒａｗ撮影モードが選択されていれば前記現像パラメータの生成に用いた前記現像前の画像データ、前記通常撮影モードが選択されていれば前記現像パラメータを用いて現像された現像済み画像データに関連付けて、記録媒体に記録するように制御する制御手段とを有し、前記制御手段は、動画像撮影中に前記切替手段により前記Ｒａｗ撮影モードから前記通常撮影モードへ切り替えられた場合に、前記現像済み画像データの現像に用いた現像パラメータを少なくとも１フレーム分、前記現像済み画像データに関連付けて記録するように制御する。
【発明の効果】
【００１２】
本発明によれば、動画像撮影中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、形式の切り替わり付近のＲａｗ画像データに対して適切な現像パラメータを得ることが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示すブロック図。
【図２】本発明の実施の形態に係るＲａｗ形式の動画像及び現像済みの動画像の記録を行う場合の、動画像ファイルと現像パラメータの生成処理を示すフローチャート。
【図３】（ａ）は、第１の実施形態に係る、撮影時における各フレームの画像データと、記録する現像パラメータとを、時間軸に沿って並べた図、（ｂ）は、再生時における各フレームの画像データと現像パラメータとを、時間軸に沿って並べた図。
【図４】（ａ）は、第２の実施形態に係る、撮影時における各フレームの画像データと、記録する現像パラメータとを、時間軸に沿って並べた図、（ｂ）は、再生時における各フレームの画像データと現像パラメータとを、時間軸に沿って並べた図。
【図５】従来の方法で現像パラメータが記録された場合の、再生時の画像フレームと現像パラメータとを、時間軸に沿って並べた図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、本明細書では、撮像装置１０によって現像前のＲａｗ形式で順次記録された動画像データを、Ｒａｗ動画像ファイルと呼び、Ｒａｗ動画像ファイルの各フレームを構成する画像データをＲａｗ画像データまたはＲａｗ画像フレームと呼ぶ。
【００１５】
図１は、本発明に係る撮像装置１０の概略構成を示すブロック図である。図１において、撮像部１０１は、ＣＣＤ、ＣＭＯＳなどに代表される、光電変換により被写体光学像を電気信号に変換する撮像素子と、レンズとを含んでおり、入射した光を撮像素子に結像し、電気信号に変換する。Ａ／Ｄ変換部１０２は、撮像部１０１からフレーム単位で順次出力された電気信号を、デジタル変換によってＲａｗ画像データに変換する。
【００１６】
画像信号圧縮部１０３は、Ａ／Ｄ変換部１０２から出力された現像前のＲａｗ画像データを可逆圧縮する。可逆方式によって圧縮処理を行うことによって、Ｒａｗ画像データのデータ量を削減することができると共に、画質などを低下させずにＲａｗ画像データを記録することができる。なお、画像信号圧縮部１０３による可逆圧縮処理は、厳密な「可逆」に限定されるものではない。
【００１７】
Ｒａｗ動画像ファイル生成部１０５は、画像信号圧縮部１０３から出力されたフレーム単位のＲａｗ画像データに基づいて、Ｒａｗ動画像ファイルを生成する。生成されたＲａｗ動画像ファイルは、記録・再生部１１０を介して記録メディア１１１（記録媒体）に順次記録される。記録・再生部１１０は、記録メディア１１１への動画像データの書き込み、または記録メディア１１１に記録された動画像データや設定情報などの読み出しを制御する。
【００１８】
現像パラメータ生成部１０４は、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データに基づいて、Ｒａｗ画像データを現像する際の画像処理に必要となる現像パラメータを、フレーム単位で算出する。現像パラメータは、Ｒａｗ形式の動画像を現像する際に、現像後の画質を決定するためのパラメータであり、具体的にはホワイトバランス、色空間、トーンカーブ、輪郭強調などの調整項目がある。
【００１９】
現像パラメータファイル生成部１０６は、現像パラメータ生成部１０４から出力された現像パラメータに基づいて、後述する記録条件に従って、現像パラメータファイルを生成する。現像パラメータファイルを構成する各種現像パラメータは、画像信号圧縮部１０３から出力されたＲａｗ画像データまたは、該現像パラメータを用いて後述の現像処理部１０７によって現像された画像データの対応するフレームに関連付けられる。生成された現像パラメータファイルは、記録・再生部１１０を介して記録メディア１１１に記録される。
【００２０】
現像処理部１０７は、画像信号圧縮部１０３から出力されたＲａｗ画像データと、現像パラメータ生成部１０４から出力された現像パラメータに基づいて、デモザイク処理やホワイトバランス調整処理等を行う。そして、最終的に例えばＭＰＥＧ形式のような一般的な再生装置で再生可能な現像済みの動画像ファイルを生成する。生成された現像済みの動画像ファイルは、記録・再生部１１０を介して記録メディア１１１に順次記録される。
【００２１】
操作部１０８は、撮影モード設定ボタン（切替手段）、撮影開始ボタン、撮影終了ボタンなどから構成され、ユーザが撮像装置１０の各種動作設定を行うために使用される。制御部１０９は、ユーザが操作部１０８によって設定した各種動作の実行を、対応する処理部に知らせたり、各処理部間の実行順序を制御したりする。
【００２２】
メモリ１１２は、例えばＳＤＲＡＭ等の半導体記憶素子から構成され、画像信号圧縮部１０３から出力されるＲａｗ画像データや、現像処理部１０７から出力される現像済みの画像データを一時的に記憶するための媒体である。
【００２３】
＜第１の実施形態＞
図２は、上記構成を有する撮像装置１０でＲａｗ撮影モード及び通常撮影モードで撮影を行う場合の、本第１の実施形態における動画像ファイルおよび現像パラメータの生成処理を示すフローチャートである。また、図３（ａ）は、図２に示すフローチャートに従って撮像装置１０で生成された、Ｒａｗ動画像ファイル及び現像済み動画像ファイルを構成する各フレームの画像データと、記録する現像パラメータとを、時間軸に沿って並べた図である。図３（ａ）では、一例として、複数種類存在する現像パラメータのうちの任意の一つである「ホワイトバランス調整」パラメータの値を概念的に示している。また、図３（ａ）に示すＲａｗ動画像ファイルは、時間ｔＲ３に対応するフレームを最終フレームとするコンテンツであり、現像済み動画像ファイルは、時間ｔＮ１に対応するフレームを先頭フレームとするコンテンツである。
【００２４】
なお、本第１の実施形態においては、時間ｔＲ３に対応するフレームと時間ｔＮ１に対応するフレームは、時間的なギャップが生じないように撮影されたものであるとする。例えば、Ｒａｗ画像データ及び現像済みの画像データのフレームレートが６０ｆｐｓであった場合は、ｔＮ１＝ｔＲ３＋（１／６０）[ｓｅｃ]となる。
【００２５】
以下、本第１の実施形態に係る図２のフローチャートの処理を、図３（ａ）を参照しながら説明する。以下の説明において、各種処理を実行する処理部を具体的に明示していない場合は、制御部１０９が処理を実行しているものとする。
【００２６】
ユーザはまず、撮影モード設定ボタンを操作してＲａｗ撮影モードを選択し（Ｓ１１）、撮影開始ボタンにより動画像の撮影を開始させる（Ｓ１２）。次にＳ１３にて、制御部１０９によって、後述するフレーム単位で繰り返し行う一連の処理における、フレーム番号ｎの初期化が行われる。ここでは、撮影が開始されたフレームであるので、ｎ＝１に設定される。そして、後述するＳ２３において撮影の終了が検知されるまでは、Ｓ１３まで処理が戻り、その都度制御部１０９によってｎの値が１ずつインクリメントされ、各処理部によってフレーム単位の一連の処理が繰り返される。
【００２７】
次に、Ｓ１４において、撮像部１０１とＡ／Ｄ変換部１０２により第ｎフレームのＲａｗ画像データが生成され、さらに画像信号圧縮部１０３で可逆圧縮が行われ、圧縮後のＲａｗ画像データが生成される。続いて、Ｓ１５にて、Ｓ１４で生成された第ｎフレームのＲａｗ画像データが現像パラメータ生成部１０４に読み込まれ、第ｎフレームに対する現像パラメータが生成される。
【００２８】
次に、Ｓ１６にて、制御部１０９によって撮影モードが通常撮影モードであるかどうの判断が行われる。通常撮影モードでない場合、すなわち撮影開始から撮影モードの変更が行われていない場合、Ｓ１７へ進み、Ｒａｗ動画像ファイル生成部１０５によって、生成された第ｎフレームのＲａｗ画像データがＲａｗ動画像ファイルへ記録される。なお、Ｓ１７で行われるＲａｗ動画像ファイルへの記録は、図２のフローチャートに示すようなフレーム毎にＲａｗ画像データがファイルに追記されるような構成に限られるものではない。例えば、画像データをメモリ１１２にバッファリングしておき、バッファリングされた画像データを所定間隔毎にファイルに追記されるような構成であってもよい。
【００２９】
次に、Ｓ１８において、制御部１０９が、第ｎフレームのＲａｗ画像データが現像パラメータを記録するための所定の記録条件を満たすかどうかの判断を行う。ここで、所定の記録条件とは、例えば
・ 先頭フレームから１００フレーム毎
・ シーンチェンジを検出した場合、その前後のフレーム
【００３０】
等であり、予め設定された周期のフレームや変化点のフレームに対して適応的に現像パラメータを記録できるようにしたものである。なお、シーンチェンジの検出方法については、Ｒａｗ動画像データについて前後のフレーム単位の差分解析により行う方法や、現像パラメータが急激に変化した位置（フレーム）を検出する方法などの、公知の方法を用いればよく、特に限定されるものではない。
Ｓ１８において所定の記録条件を満たすと判断されると、Ｓ１９に進み、現像パラメータファイル生成部１０６によって、第ｎフレームに対応する現像パラメータの記録が行われ、Ｓ２３へ進む。図３（ａ）に示す時間ｔＲ１や時間ｔＲ２のフレームに対するホワイトバランス調整パラメータは、上記のように設定された記録条件を満たすと判断されて記録されたものである。
【００３１】
なお、Ｓ１９で行われる現像パラメータファイルへの記録は、図２のフローチャートに示すように、記録条件を満たす度に現像パラメータファイルに追記されるような構成に限られるものではない。例えば、現像パラメータをメモリ１１２にバッファリングしておき、バッファリングされた現像パラメータを所定間隔毎にファイルに追記するような構成であってもよい。
【００３２】
また、Ｓ１８において所定の記録条件を満たさないと判断されると、第ｎフレームに対応する現像パラメータの記録は行わずに、Ｓ２３へ進む。
【００３３】
次に、Ｒａｗ撮影モードによる動画像撮影中にユーザが撮影モード設定ボタンによって撮影モードを通常撮影モードに切り替えた場合の、各処理部の一連の動作を説明する。通常撮影モードに切り替わると、前述したＳ１６において、制御部１０９によって通常撮影モードであると判断され、Ｓ２０に進む。Ｓ２０では、現像処理部１０７によって、第ｎフレームのＲａｗ画像データと生成された現像パラメータとを用いて現像処理が行われ、第ｎフレームの現像済み画像データが生成される。そして、Ｓ２１において、現像処理部１０７によって生成された第ｎフレームの現像済み画像データが、現像済み動画像ファイルへ記録される。図３（ａ）に示す時間ｔＮ１以降の画像フレームは、上記のように通常撮影モードであると判断されて記録されたものである。なお、Ｓ２１で行われる現像済み動画像ファイルへの記録は、図２のフローチャートに示すようなフレーム毎に現像済み画像データがファイルに追記されるような構成に限られるものではない。例えば、画像データをメモリ１１２にバッファリングしておき、バッファリングされた画像データを所定間隔毎にファイルに追記するような構成であってもよい。
【００３４】
次に、Ｓ２２において、制御部１０９が、第ｎフレームの現像済み画像データが現像パラメータの所定の記録条件を満たすかどうかの判断を行う。本第１の実施形態では、所定の記録条件が、通常撮影モードに切り替わった直後のフレームである「先頭フレームのみ記録」と設定されているものとする。従って、第ｎフレームが現像済み画像データの先頭フレームであった場合はＳ１９に進み、現像パラメータファイル生成部１０６によって、第ｎフレームの画像データの現像に用いた現像パラメータを現像パラメータファイルに記録する処理を行い、Ｓ２３へ進む。図３（ａ）に示す時間ｔＮ１のフレームに対するホワイトバランス調整パラメータは、上記のように「先頭フレームのみ記録」といった記録条件を満たすと判断されて記録されたものである。このように、本第１の実施形態では、現像済み動画像ファイルの先頭フレームに対応する現像パラメータを、現像済み動画像ファイルと関連付けて記録する。
【００３５】
一方、Ｓ２２において所定の記録条件を満たさないと判断されると、第ｎフレームに対応する現像パラメータの記録は行わずに、Ｓ２３へ進む。
【００３６】
Ｓ２３では、制御部１０９が、ユーザの撮影終了ボタン押下によって撮影が終了さたかどうかの検知を行い、撮影が終了されていなければ、Ｓ１３に処理を戻して、次のフレーム以降の一連の処理が、上述した手順で繰り返される。そして、ユーザの撮影終了ボタン押下によって撮影が終了されると、Ｓ２３にて、制御部１０９が撮影終了を検知して、本フローチャートに示す処理が終了する。
【００３７】
なお、図３（ａ）に示す動画像において、Ｒａｗ撮影モードから通常撮影モードへの切り替わりで、制御部１０９によりシーンチェンジが検出された場合、現像済みの動画像ファイルに対する現像パラメータの記録を行わないように制御してもよい。これは、シーンチェンジにより現像パラメータが急激に変化しても不自然ではないからである。
【００３８】
次に、上述したようにして生成された動画像を記録・再生部１１０で再生する様子について、図３（ｂ）を参照して説明する。ここで、記録・再生部１１０は、Ｒａｗ動画像ファイルのＲａｗ画像データと現像パラメータファイルの現像パラメータとを読み込んで、Ｒａｗ画像データの現像処理を行う機能を有する。また、所定間隔のフレームに対して予め記録されている現像パラメータを用いて補間処理することで、現像パラメータが記録されていないフレームの現像パラメータを生成する機能も有する。ただし、Ｒａｗ動画像データと現像パラメータファイルをコピーしたメモリカード等を外部の再生装置に挿入し、その再生装置でＲａｗ動画像データを再生（現像）してもよい。
【００３９】
図３（ｂ）は、第１の実施形態において生成されたＲａｗ動画像ファイル及び現像済み動画像ファイルを構成する各フレームの画像データと、記録された現像パラメータ、及び、補間によって生成される現像パラメータとを、時間軸に沿って並べた図である。図３（ｂ）において、実線で示した、時間ｔＲ１と時間ｔＲ２のフレームのＲａｗ画像データに対する現像パラメータは、予め撮像装置１０によって記録されたものである。ここでは、図３（ａ）と同様に「ホワイトバランス調整」パラメータを一例として、その値を概念的に示している。破線で示すホワイトバランス調整パラメータは、記録・再生部１１０において、例えば、特許文献１に記載の補間処理により生成される現像パラメータである。
【００４０】
時間ｔＲ１と時間ｔＲ２の間の各フレームについては、時間ｔＲ１と時間ｔＲ２のフレームに対する２つのホワイトバランス調整パラメータ間の補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。また、時間ｔＲ２と時間ｔＮ１の間の各フレームについては、時間ｔＲ２と時間ｔＮ１のフレームに対する２つのホワイトバランス調整パラメータを用いて同様に補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。
【００４１】
上記の通り本第１の実施形態によれば、動画像の記録中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、形式の切り替わり付近のＲａｗ画像データに対して適切な現像パラメータを得ることが可能になる。これにより、Ｒａｗ動画像ファイルから現像済みの動画像ファイルへの切り替わりにおいて、映像の滑らかさが損なわれることなく、ユーザにとって快適な視聴環境を提供することが可能となる。
【００４２】
なお、本発明の効果は、第１の実施形態で示したようなＲａｗ動画像と現像済み動画像の切り替わりにおいて時間的ギャップが生じていない場合に、特に顕著に現れることになる。これは、そのような動画像において時間ｔＲ３と時間ｔＮ１の現像パラメータが大きく異なると、内容的に連続性が保たれているシーンの途中で急に画質（輝度、色調、鮮鋭感など）が変化することになり、不自然なものとなってしまうからである。そのため、切り替わり付近のＲａｗ画像データに対して適切な現像パラメータを得ることは、非常に有益なことである。
【００４３】
＜第２の実施形態＞
次に、本発明の第２の実施形態に係る撮像装置１０の動作について説明する。なお、本第２の実施形態は、第１の実施形態において図２のＳ２２における現像済み動画像に対する現像パラメータの記録条件を「先頭フレームのみ」としていたものを、「所定の記録条件を満たす（複数の）フレーム」とした場合の動作を示したものである。
【００４４】
図４（ａ）は、図２のフローチャートのＳ２２における所定の記録条件として「Ｒａｗ撮影モードの条件を継承」と設定されている場合の、各フレームの画像データと記録された現像パラメータとを、撮影された時間軸に沿って並べた図である。なお、ここでは、Ｒａｗ撮影モードでの記録条件として「１０フレーム毎」が設定されているものとする。このように、動画像撮影中に撮影モードがＲａｗ撮影モードから通常撮影モードに切り替えられたあとも、制御部１０９によって、Ｒａｗ撮影モードでのフレームカウント情報が継承される構成になっている。
【００４５】
例えば、図４（ａ）に示すように、Ｒａｗ撮影モードで最後に現像パラメータが記録されたフレーム（時間ｔＲ２）から６フレーム後（時間ｔＮ１）に、通常撮影モードへ切り替わったとする。この場合、現像済みの画像データに対して最初に現像パラメータが記録されるのは、現像済みの画像データの先頭のフレームから４フレーム後（時間ｔＮ２）になる。
【００４６】
図４（ｂ）は、図４（ａ）に示す動画像ファイルを記録・再生部１１０で連続再生する場合に、動画像ファイルを構成する各フレームの画像データと記録された現像パラメータ及び補間によって生成される現像パラメータとを、時間軸に沿って並べた図である。
【００４７】
実線で示した、時間ｔＲ１と時間ｔＲ２のフレームのＲａｗ動画像データに対する現像パラメータは、予め撮像装置１０で記録されたものである。なお、「ホワイトバランス調整」のパラメータを現像パラメータの一例として、その値を概念的に示している。一方、破線で示すホワイトバランス調整パラメータは、記録・再生部１１０において、例えば、特許文献１に記載の補間処理により生成される現像パラメータである。
【００４８】
時間ｔＲ１と時間ｔＲ２の間の各フレームについては、時間ｔＲ１と時間ｔＲ２のフレームに対する２つのホワイトバランス調整パラメータ間の補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。また、時間ｔＲ２と時間ｔＮ１の間の各フレームについては、時間ｔＲ２と時間ｔＮ２のフレームに対する２つのホワイトバランス調整パラメータを用いて同様の補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。
【００４９】
また、図２のＳ２２における所定の記録条件として、Ｒａｗ撮影モードの条件を継承しないように設定することも可能である。その場合、例えば現像済みの画像データに対する現像パラメータを
・ 現像済み動画像ファイルの先頭フレームから１０フレーム分だけ記録する。
・ 現像済み動画像ファイルの先頭フレームから１００フレーム毎に記録する。
・ 現像済み動画像ファイルの先頭フレームから数えて１００フレーム目から１０フレーム毎に記録する。
【００５０】
等の条件に設定しておくことで、Ｒａｗ動画像についての記録条件に依らず、現像済みの動画像に対してのみ有効な条件として処理を行うことができる。
即ち、Ｒａｗ撮影モードから通常撮影モードに切り替わった場合に、現像済み画像データの少なくとも１フレーム分の現像パラメータを記録しておけば、再生時に切り替わり近辺のＲａｗ画像データに対する現像パラメータを補間することができる。
【００５１】
上記の通り本第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。
【００５２】
なお、上述した第１及び第２の実施形態においては、現像パラメータファイルをＲａｗ動画像ファイル用と現像済み動画像ファイル用とで別に生成する構成とした。しかしながら、本発明はこれに限るものではなく、Ｒａｗ動画像用と現像済みの動画像用が同一ファイルに記録されるような構成であってもよい。
【００５３】
また、上述した第１及び第２の実施形態においては、現像パラメータファイルがＲａｗ動画像ファイル及び現像済み動画像ファイルとは別に生成される構成とした。しかしながら、本発明はこれに限るものではなく、Ｒａｗ動画像ファイルや現像済み動画像ファイルと同一ファイルに記録されるような構成であってもよい。
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に、動画像撮影において、現像前の画像データと、現像後の画像データとを切り替えて記録可能な画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
撮像素子から得られる信号をそのまま記録するＲａｗ静止画データに対して、ユーザが様々な現像パラメータを指定することで、その現像パラメータに対応した結果画像を得ることができる、いわゆるＲａｗ現像処理が広く利用されるようになってきている。
【０００３】
一方、昨今においては、デジタルビデオカメラ（以下、カメラ）の普及やパーソナルコンピュータの性能向上などにより、動画像の編集なども一般的に行われるようになってきている。
【０００４】
そのような背景から、今後は静止画像だけでなく、動画像についてもＲａｗ形式のデータを扱うようになり、さらにＲａｗ形式でファイル保存ができるカメラも一般的に普及していくと予想される。Ｒａｗ形式の動画像を現像する場合、動画像を構成する各フレーム画像に対して、静止画像の現像処理と同様に、現像パラメータを与える必要がある。ここで、現像パラメータとは、例えばホワイトバランス調整や露出補正のような処理を行うために必要な情報である。しかし、ある一つの動画像コンテンツについて、特に同一シーンにおいては、前述のような現像パラメータがフレーム単位で大きな変化を繰り返すようなことは稀である。そのため、動画像コンテンツを構成する全てのフレームに対して全ての現像パラメータを記録しておくのは効率的ではない。
【０００５】
以上の点から、特許文献１では、次のような技術が開示されている。即ち、撮影時などのＲａｗ動画像の記録を行う際に、所定の条件を満たすフレームに対する現像パラメータのみを記録しておく。そして、そのＲａｗ動画像を現像する際に、隣り合う２つの現像パラメータを用いて補間演算を行うことにより、現像パラメータが記録されていないフレームの現像パラメータを補う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−５５３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のような、Ｒａｗ形式でファイル保存が可能な動画撮影モード（以下、「Ｒａｗ撮影モード」と呼ぶ。）を備えるカメラが一般的になった場合でも、従来通りの現像済みの形式（例えばＭＰＥＧ形式）でファイル保存が可能な動画撮影モード（以下、「通常撮影モード」と呼ぶ。）も同時に備えることが予想される。このような、Ｒａｗ撮影モードと通常撮影モードの２つのモードを備えるカメラにおいては、Ｒａｗ撮影モードでの撮影中に、
・ Ｒａｗ形式のファイルは比較的容量が大きいため、記憶容量が少なくなる
・ 重要なシーンではない
【０００８】
などの理由により、通常撮影モードに切り替えるケースが想定される。
図５は、動画像撮影中にＲａｗ撮影モードから通常撮影モードに切り替えた場合の、撮影された動画像データを構成する画像フレームと現像パラメータとを、撮影された時間軸に沿って並べて示した図である。このとき、Ｒａｗ画像データに対する現像パラメータは、特許文献１で開示されているように所定間隔毎のフレームに対してのみ記録されているものとする。
【０００９】
この動画像ファイルを再生する場合、図５の区間５１においては、特許文献１に記載されている現像パラメータの補間処理を行うことで、適切な現像パラメータを得ることができる。また、区間５３においては、既に現像処理が行われた動画像の再生になるため、そもそも現像パラメータを補間する必要はない。しかし、区間５２においては、現像処理を行う必要があるにも関わらず、補間処理を行うために必要となる一方の現像パラメータが存在していない。そのため、Ｒａｗ形式の動画像と現像済みの動画像の切り替わりを滑らかに再生するための、適切な現像パラメータを得ることができず、視聴者に対して不快感を与えてしまうことになる。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、動画像撮影中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、形式の切り替わり付近のＲａｗ画像データに対して適切な現像パラメータが得られるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、動画像撮影において、撮像素子から得られる現像前の画像データを現像せずに順次記録するＲａｗ撮影モードと、前記撮像素子から得られる画像データを現像した現像済み画像データを順次記録する通常撮影モードとを有する本発明の画像処理装置は、前記現像前の画像データに基づいて、該現像前の画像データを現像するための現像パラメータを生成する生成手段と、前記Ｒａｗ撮影モードと前記通常撮影モードとを切り替える切替手段と、前記生成手段により生成された現像パラメータを、予め設定された記録条件に従って、前記Ｒａｗ撮影モードが選択されていれば前記現像パラメータの生成に用いた前記現像前の画像データ、前記通常撮影モードが選択されていれば前記現像パラメータを用いて現像された現像済み画像データに関連付けて、記録媒体に記録するように制御する制御手段とを有し、前記制御手段は、動画像撮影中に前記切替手段により前記Ｒａｗ撮影モードから前記通常撮影モードへ切り替えられた場合に、前記現像済み画像データの現像に用いた現像パラメータを少なくとも１フレーム分、前記現像済み画像データに関連付けて記録するように制御する。
【発明の効果】
【００１２】
本発明によれば、動画像撮影中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、形式の切り替わり付近のＲａｗ画像データに対して適切な現像パラメータを得ることが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示すブロック図。
【図２】本発明の実施の形態に係るＲａｗ形式の動画像及び現像済みの動画像の記録を行う場合の、動画像ファイルと現像パラメータの生成処理を示すフローチャート。
【図３】（ａ）は、第１の実施形態に係る、撮影時における各フレームの画像データと、記録する現像パラメータとを、時間軸に沿って並べた図、（ｂ）は、再生時における各フレームの画像データと現像パラメータとを、時間軸に沿って並べた図。
【図４】（ａ）は、第２の実施形態に係る、撮影時における各フレームの画像データと、記録する現像パラメータとを、時間軸に沿って並べた図、（ｂ）は、再生時における各フレームの画像データと現像パラメータとを、時間軸に沿って並べた図。
【図５】従来の方法で現像パラメータが記録された場合の、再生時の画像フレームと現像パラメータとを、時間軸に沿って並べた図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、本明細書では、撮像装置１０によって現像前のＲａｗ形式で順次記録された動画像データを、Ｒａｗ動画像ファイルと呼び、Ｒａｗ動画像ファイルの各フレームを構成する画像データをＲａｗ画像データまたはＲａｗ画像フレームと呼ぶ。
【００１５】
図１は、本発明に係る撮像装置１０の概略構成を示すブロック図である。図１において、撮像部１０１は、ＣＣＤ、ＣＭＯＳなどに代表される、光電変換により被写体光学像を電気信号に変換する撮像素子と、レンズとを含んでおり、入射した光を撮像素子に結像し、電気信号に変換する。Ａ／Ｄ変換部１０２は、撮像部１０１からフレーム単位で順次出力された電気信号を、デジタル変換によってＲａｗ画像データに変換する。
【００１６】
画像信号圧縮部１０３は、Ａ／Ｄ変換部１０２から出力された現像前のＲａｗ画像データを可逆圧縮する。可逆方式によって圧縮処理を行うことによって、Ｒａｗ画像データのデータ量を削減することができると共に、画質などを低下させずにＲａｗ画像データを記録することができる。なお、画像信号圧縮部１０３による可逆圧縮処理は、厳密な「可逆」に限定されるものではない。
【００１７】
Ｒａｗ動画像ファイル生成部１０５は、画像信号圧縮部１０３から出力されたフレーム単位のＲａｗ画像データに基づいて、Ｒａｗ動画像ファイルを生成する。生成されたＲａｗ動画像ファイルは、記録・再生部１１０を介して記録メディア１１１（記録媒体）に順次記録される。記録・再生部１１０は、記録メディア１１１への動画像データの書き込み、または記録メディア１１１に記録された動画像データや設定情報などの読み出しを制御する。
【００１８】
現像パラメータ生成部１０４は、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データに基づいて、Ｒａｗ画像データを現像する際の画像処理に必要となる現像パラメータを、フレーム単位で算出する。現像パラメータは、Ｒａｗ形式の動画像を現像する際に、現像後の画質を決定するためのパラメータであり、具体的にはホワイトバランス、色空間、トーンカーブ、輪郭強調などの調整項目がある。
【００１９】
現像パラメータファイル生成部１０６は、現像パラメータ生成部１０４から出力された現像パラメータに基づいて、後述する記録条件に従って、現像パラメータファイルを生成する。現像パラメータファイルを構成する各種現像パラメータは、画像信号圧縮部１０３から出力されたＲａｗ画像データまたは、該現像パラメータを用いて後述の現像処理部１０７によって現像された画像データの対応するフレームに関連付けられる。生成された現像パラメータファイルは、記録・再生部１１０を介して記録メディア１１１に記録される。
【００２０】
現像処理部１０７は、画像信号圧縮部１０３から出力されたＲａｗ画像データと、現像パラメータ生成部１０４から出力された現像パラメータに基づいて、デモザイク処理やホワイトバランス調整処理等を行う。そして、最終的に例えばＭＰＥＧ形式のような一般的な再生装置で再生可能な現像済みの動画像ファイルを生成する。生成された現像済みの動画像ファイルは、記録・再生部１１０を介して記録メディア１１１に順次記録される。
【００２１】
操作部１０８は、撮影モード設定ボタン（切替手段）、撮影開始ボタン、撮影終了ボタンなどから構成され、ユーザが撮像装置１０の各種動作設定を行うために使用される。制御部１０９は、ユーザが操作部１０８によって設定した各種動作の実行を、対応する処理部に知らせたり、各処理部間の実行順序を制御したりする。
【００２２】
メモリ１１２は、例えばＳＤＲＡＭ等の半導体記憶素子から構成され、画像信号圧縮部１０３から出力されるＲａｗ画像データや、現像処理部１０７から出力される現像済みの画像データを一時的に記憶するための媒体である。
【００２３】
＜第１の実施形態＞
図２は、上記構成を有する撮像装置１０でＲａｗ撮影モード及び通常撮影モードで撮影を行う場合の、本第１の実施形態における動画像ファイルおよび現像パラメータの生成処理を示すフローチャートである。また、図３（ａ）は、図２に示すフローチャートに従って撮像装置１０で生成された、Ｒａｗ動画像ファイル及び現像済み動画像ファイルを構成する各フレームの画像データと、記録する現像パラメータとを、時間軸に沿って並べた図である。図３（ａ）では、一例として、複数種類存在する現像パラメータのうちの任意の一つである「ホワイトバランス調整」パラメータの値を概念的に示している。また、図３（ａ）に示すＲａｗ動画像ファイルは、時間ｔＲ３に対応するフレームを最終フレームとするコンテンツであり、現像済み動画像ファイルは、時間ｔＮ１に対応するフレームを先頭フレームとするコンテンツである。
【００２４】
なお、本第１の実施形態においては、時間ｔＲ３に対応するフレームと時間ｔＮ１に対応するフレームは、時間的なギャップが生じないように撮影されたものであるとする。例えば、Ｒａｗ画像データ及び現像済みの画像データのフレームレートが６０ｆｐｓであった場合は、ｔＮ１＝ｔＲ３＋（１／６０）[ｓｅｃ]となる。
【００２５】
以下、本第１の実施形態に係る図２のフローチャートの処理を、図３（ａ）を参照しながら説明する。以下の説明において、各種処理を実行する処理部を具体的に明示していない場合は、制御部１０９が処理を実行しているものとする。
【００２６】
ユーザはまず、撮影モード設定ボタンを操作してＲａｗ撮影モードを選択し（Ｓ１１）、撮影開始ボタンにより動画像の撮影を開始させる（Ｓ１２）。次にＳ１３にて、制御部１０９によって、後述するフレーム単位で繰り返し行う一連の処理における、フレーム番号ｎの初期化が行われる。ここでは、撮影が開始されたフレームであるので、ｎ＝１に設定される。そして、後述するＳ２３において撮影の終了が検知されるまでは、Ｓ１３まで処理が戻り、その都度制御部１０９によってｎの値が１ずつインクリメントされ、各処理部によってフレーム単位の一連の処理が繰り返される。
【００２７】
次に、Ｓ１４において、撮像部１０１とＡ／Ｄ変換部１０２により第ｎフレームのＲａｗ画像データが生成され、さらに画像信号圧縮部１０３で可逆圧縮が行われ、圧縮後のＲａｗ画像データが生成される。続いて、Ｓ１５にて、Ｓ１４で生成された第ｎフレームのＲａｗ画像データが現像パラメータ生成部１０４に読み込まれ、第ｎフレームに対する現像パラメータが生成される。
【００２８】
次に、Ｓ１６にて、制御部１０９によって撮影モードが通常撮影モードであるかどうの判断が行われる。通常撮影モードでない場合、すなわち撮影開始から撮影モードの変更が行われていない場合、Ｓ１７へ進み、Ｒａｗ動画像ファイル生成部１０５によって、生成された第ｎフレームのＲａｗ画像データがＲａｗ動画像ファイルへ記録される。なお、Ｓ１７で行われるＲａｗ動画像ファイルへの記録は、図２のフローチャートに示すようなフレーム毎にＲａｗ画像データがファイルに追記されるような構成に限られるものではない。例えば、画像データをメモリ１１２にバッファリングしておき、バッファリングされた画像データを所定間隔毎にファイルに追記されるような構成であってもよい。
【００２９】
次に、Ｓ１８において、制御部１０９が、第ｎフレームのＲａｗ画像データが現像パラメータを記録するための所定の記録条件を満たすかどうかの判断を行う。ここで、所定の記録条件とは、例えば
・ 先頭フレームから１００フレーム毎
・ シーンチェンジを検出した場合、その前後のフレーム
【００３０】
等であり、予め設定された周期のフレームや変化点のフレームに対して適応的に現像パラメータを記録できるようにしたものである。なお、シーンチェンジの検出方法については、Ｒａｗ動画像データについて前後のフレーム単位の差分解析により行う方法や、現像パラメータが急激に変化した位置（フレーム）を検出する方法などの、公知の方法を用いればよく、特に限定されるものではない。
Ｓ１８において所定の記録条件を満たすと判断されると、Ｓ１９に進み、現像パラメータファイル生成部１０６によって、第ｎフレームに対応する現像パラメータの記録が行われ、Ｓ２３へ進む。図３（ａ）に示す時間ｔＲ１や時間ｔＲ２のフレームに対するホワイトバランス調整パラメータは、上記のように設定された記録条件を満たすと判断されて記録されたものである。
【００３１】
なお、Ｓ１９で行われる現像パラメータファイルへの記録は、図２のフローチャートに示すように、記録条件を満たす度に現像パラメータファイルに追記されるような構成に限られるものではない。例えば、現像パラメータをメモリ１１２にバッファリングしておき、バッファリングされた現像パラメータを所定間隔毎にファイルに追記するような構成であってもよい。
【００３２】
また、Ｓ１８において所定の記録条件を満たさないと判断されると、第ｎフレームに対応する現像パラメータの記録は行わずに、Ｓ２３へ進む。
【００３３】
次に、Ｒａｗ撮影モードによる動画像撮影中にユーザが撮影モード設定ボタンによって撮影モードを通常撮影モードに切り替えた場合の、各処理部の一連の動作を説明する。通常撮影モードに切り替わると、前述したＳ１６において、制御部１０９によって通常撮影モードであると判断され、Ｓ２０に進む。Ｓ２０では、現像処理部１０７によって、第ｎフレームのＲａｗ画像データと生成された現像パラメータとを用いて現像処理が行われ、第ｎフレームの現像済み画像データが生成される。そして、Ｓ２１において、現像処理部１０７によって生成された第ｎフレームの現像済み画像データが、現像済み動画像ファイルへ記録される。図３（ａ）に示す時間ｔＮ１以降の画像フレームは、上記のように通常撮影モードであると判断されて記録されたものである。なお、Ｓ２１で行われる現像済み動画像ファイルへの記録は、図２のフローチャートに示すようなフレーム毎に現像済み画像データがファイルに追記されるような構成に限られるものではない。例えば、画像データをメモリ１１２にバッファリングしておき、バッファリングされた画像データを所定間隔毎にファイルに追記するような構成であってもよい。
【００３４】
次に、Ｓ２２において、制御部１０９が、第ｎフレームの現像済み画像データが現像パラメータの所定の記録条件を満たすかどうかの判断を行う。本第１の実施形態では、所定の記録条件が、通常撮影モードに切り替わった直後のフレームである「先頭フレームのみ記録」と設定されているものとする。従って、第ｎフレームが現像済み画像データの先頭フレームであった場合はＳ１９に進み、現像パラメータファイル生成部１０６によって、第ｎフレームの画像データの現像に用いた現像パラメータを現像パラメータファイルに記録する処理を行い、Ｓ２３へ進む。図３（ａ）に示す時間ｔＮ１のフレームに対するホワイトバランス調整パラメータは、上記のように「先頭フレームのみ記録」といった記録条件を満たすと判断されて記録されたものである。このように、本第１の実施形態では、現像済み動画像ファイルの先頭フレームに対応する現像パラメータを、現像済み動画像ファイルと関連付けて記録する。
【００３５】
一方、Ｓ２２において所定の記録条件を満たさないと判断されると、第ｎフレームに対応する現像パラメータの記録は行わずに、Ｓ２３へ進む。
【００３６】
Ｓ２３では、制御部１０９が、ユーザの撮影終了ボタン押下によって撮影が終了さたかどうかの検知を行い、撮影が終了されていなければ、Ｓ１３に処理を戻して、次のフレーム以降の一連の処理が、上述した手順で繰り返される。そして、ユーザの撮影終了ボタン押下によって撮影が終了されると、Ｓ２３にて、制御部１０９が撮影終了を検知して、本フローチャートに示す処理が終了する。
【００３７】
なお、図３（ａ）に示す動画像において、Ｒａｗ撮影モードから通常撮影モードへの切り替わりで、制御部１０９によりシーンチェンジが検出された場合、現像済みの動画像ファイルに対する現像パラメータの記録を行わないように制御してもよい。これは、シーンチェンジにより現像パラメータが急激に変化しても不自然ではないからである。
【００３８】
次に、上述したようにして生成された動画像を記録・再生部１１０で再生する様子について、図３（ｂ）を参照して説明する。ここで、記録・再生部１１０は、Ｒａｗ動画像ファイルのＲａｗ画像データと現像パラメータファイルの現像パラメータとを読み込んで、Ｒａｗ画像データの現像処理を行う機能を有する。また、所定間隔のフレームに対して予め記録されている現像パラメータを用いて補間処理することで、現像パラメータが記録されていないフレームの現像パラメータを生成する機能も有する。ただし、Ｒａｗ動画像データと現像パラメータファイルをコピーしたメモリカード等を外部の再生装置に挿入し、その再生装置でＲａｗ動画像データを再生（現像）してもよい。
【００３９】
図３（ｂ）は、第１の実施形態において生成されたＲａｗ動画像ファイル及び現像済み動画像ファイルを構成する各フレームの画像データと、記録された現像パラメータ、及び、補間によって生成される現像パラメータとを、時間軸に沿って並べた図である。図３（ｂ）において、実線で示した、時間ｔＲ１と時間ｔＲ２のフレームのＲａｗ画像データに対する現像パラメータは、予め撮像装置１０によって記録されたものである。ここでは、図３（ａ）と同様に「ホワイトバランス調整」パラメータを一例として、その値を概念的に示している。破線で示すホワイトバランス調整パラメータは、記録・再生部１１０において、例えば、特許文献１に記載の補間処理により生成される現像パラメータである。
【００４０】
時間ｔＲ１と時間ｔＲ２の間の各フレームについては、時間ｔＲ１と時間ｔＲ２のフレームに対する２つのホワイトバランス調整パラメータ間の補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。また、時間ｔＲ２と時間ｔＮ１の間の各フレームについては、時間ｔＲ２と時間ｔＮ１のフレームに対する２つのホワイトバランス調整パラメータを用いて同様に補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。
【００４１】
上記の通り本第１の実施形態によれば、動画像の記録中に、Ｒａｗ形式から現像済みの形式に記録方式が変更された場合に、形式の切り替わり付近のＲａｗ画像データに対して適切な現像パラメータを得ることが可能になる。これにより、Ｒａｗ動画像ファイルから現像済みの動画像ファイルへの切り替わりにおいて、映像の滑らかさが損なわれることなく、ユーザにとって快適な視聴環境を提供することが可能となる。
【００４２】
なお、本発明の効果は、第１の実施形態で示したようなＲａｗ動画像と現像済み動画像の切り替わりにおいて時間的ギャップが生じていない場合に、特に顕著に現れることになる。これは、そのような動画像において時間ｔＲ３と時間ｔＮ１の現像パラメータが大きく異なると、内容的に連続性が保たれているシーンの途中で急に画質（輝度、色調、鮮鋭感など）が変化することになり、不自然なものとなってしまうからである。そのため、切り替わり付近のＲａｗ画像データに対して適切な現像パラメータを得ることは、非常に有益なことである。
【００４３】
＜第２の実施形態＞
次に、本発明の第２の実施形態に係る撮像装置１０の動作について説明する。なお、本第２の実施形態は、第１の実施形態において図２のＳ２２における現像済み動画像に対する現像パラメータの記録条件を「先頭フレームのみ」としていたものを、「所定の記録条件を満たす（複数の）フレーム」とした場合の動作を示したものである。
【００４４】
図４（ａ）は、図２のフローチャートのＳ２２における所定の記録条件として「Ｒａｗ撮影モードの条件を継承」と設定されている場合の、各フレームの画像データと記録された現像パラメータとを、撮影された時間軸に沿って並べた図である。なお、ここでは、Ｒａｗ撮影モードでの記録条件として「１０フレーム毎」が設定されているものとする。このように、動画像撮影中に撮影モードがＲａｗ撮影モードから通常撮影モードに切り替えられたあとも、制御部１０９によって、Ｒａｗ撮影モードでのフレームカウント情報が継承される構成になっている。
【００４５】
例えば、図４（ａ）に示すように、Ｒａｗ撮影モードで最後に現像パラメータが記録されたフレーム（時間ｔＲ２）から６フレーム後（時間ｔＮ１）に、通常撮影モードへ切り替わったとする。この場合、現像済みの画像データに対して最初に現像パラメータが記録されるのは、現像済みの画像データの先頭のフレームから４フレーム後（時間ｔＮ２）になる。
【００４６】
図４（ｂ）は、図４（ａ）に示す動画像ファイルを記録・再生部１１０で連続再生する場合に、動画像ファイルを構成する各フレームの画像データと記録された現像パラメータ及び補間によって生成される現像パラメータとを、時間軸に沿って並べた図である。
【００４７】
実線で示した、時間ｔＲ１と時間ｔＲ２のフレームのＲａｗ動画像データに対する現像パラメータは、予め撮像装置１０で記録されたものである。なお、「ホワイトバランス調整」のパラメータを現像パラメータの一例として、その値を概念的に示している。一方、破線で示すホワイトバランス調整パラメータは、記録・再生部１１０において、例えば、特許文献１に記載の補間処理により生成される現像パラメータである。
【００４８】
時間ｔＲ１と時間ｔＲ２の間の各フレームについては、時間ｔＲ１と時間ｔＲ２のフレームに対する２つのホワイトバランス調整パラメータ間の補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。また、時間ｔＲ２と時間ｔＮ１の間の各フレームについては、時間ｔＲ２と時間ｔＮ２のフレームに対する２つのホワイトバランス調整パラメータを用いて同様の補間処理を行うことで、ホワイトバランス調整パラメータを得ることができる。
【００４９】
また、図２のＳ２２における所定の記録条件として、Ｒａｗ撮影モードの条件を継承しないように設定することも可能である。その場合、例えば現像済みの画像データに対する現像パラメータを
・ 現像済み動画像ファイルの先頭フレームから１０フレーム分だけ記録する。
・ 現像済み動画像ファイルの先頭フレームから１００フレーム毎に記録する。
・ 現像済み動画像ファイルの先頭フレームから数えて１００フレーム目から１０フレーム毎に記録する。
【００５０】
等の条件に設定しておくことで、Ｒａｗ動画像についての記録条件に依らず、現像済みの動画像に対してのみ有効な条件として処理を行うことができる。
即ち、Ｒａｗ撮影モードから通常撮影モードに切り替わった場合に、現像済み画像データの少なくとも１フレーム分の現像パラメータを記録しておけば、再生時に切り替わり近辺のＲａｗ画像データに対する現像パラメータを補間することができる。
【００５１】
上記の通り本第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。
【００５２】
なお、上述した第１及び第２の実施形態においては、現像パラメータファイルをＲａｗ動画像ファイル用と現像済み動画像ファイル用とで別に生成する構成とした。しかしながら、本発明はこれに限るものではなく、Ｒａｗ動画像用と現像済みの動画像用が同一ファイルに記録されるような構成であってもよい。
【００５３】
また、上述した第１及び第２の実施形態においては、現像パラメータファイルがＲａｗ動画像ファイル及び現像済み動画像ファイルとは別に生成される構成とした。しかしながら、本発明はこれに限るものではなく、Ｒａｗ動画像ファイルや現像済み動画像ファイルと同一ファイルに記録されるような構成であってもよい。
【特許請求の範囲】
【請求項１】
動画像撮影において、撮像素子から得られる現像前の画像データを現像せずに順次記録するＲａｗ撮影モードと、前記撮像素子から得られる画像データを現像した現像済み画像データを順次記録する通常撮影モードとを有する画像処理装置であって、
前記現像前の画像データに基づいて、該現像前の画像データを現像するための現像パラメータを生成する生成手段と、
前記Ｒａｗ撮影モードと前記通常撮影モードとを切り替える切替手段と、
前記生成手段により生成された現像パラメータを、予め設定された記録条件に従って、前記Ｒａｗ撮影モードが選択されていれば前記現像パラメータの生成に用いた前記現像前の画像データ、前記通常撮影モードが選択されていれば前記現像パラメータを用いて現像された現像済み画像データに関連付けて、記録媒体に記録するように制御する制御手段とを有し、
前記制御手段は、動画像撮影中に前記切替手段により前記Ｒａｗ撮影モードから前記通常撮影モードへ切り替えられた場合に、前記現像済み画像データの現像に用いた現像パラメータを少なくとも１フレーム分、前記現像済み画像データに関連付けて記録するように制御することを特徴とする画像処理装置。
【請求項２】
前記予め設定された記録条件は、前記Ｒａｗ撮影モードと前記通常撮影モードとで異なることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記通常撮影モードにおける前記予め設定された記録条件は、前記現像済み画像データのフレームが、前記通常撮影モードに切り替えられた直後のフレームであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記予め設定された記録条件は、前記Ｒａｗ撮影モードから前記通常撮影モードへの切り替えに関わらず継承されることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記現像前の画像データのシーンチェンジを検出する検出手段を更に有し、
前記Ｒａｗ撮影モードにおける前記予め設定された記録条件は、前記現像前の画像データのフレームが、予め決められた数のフレームおきのフレームであること、または、前記検出手段により検出されたシーンチェンジの前後のフレームであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
動画像撮影において、撮像素子から得られる現像前の画像データを現像せずに順次記録するＲａｗ撮影モードと、前記撮像素子から得られる画像データを現像した現像済み画像データを順次記録する通常撮影モードとを有する画像処理装置の制御方法であって、
生成手段が、前記現像前の画像データに基づいて、該現像前の画像データを現像するための現像パラメータを生成する生成工程と、
前記Ｒａｗ撮影モードにおいて、記録手段が、前記生成工程で生成された現像パラメータを、予め設定された記録条件に従って、前記現像パラメータの生成に用いた前記現像前の画像データに関連付けて記録媒体に記録する工程と、
切替手段が、動画像撮影中に前記Ｒａｗ撮影モードから前記通常撮影モードに切り替える切替工程と、
前記通常撮影モードへの切り替え後、前記記録手段が、前記生成工程で生成された現像パラメータを少なくとも１フレーム分、予め設定された記録条件に従って、前記現像パラメータを用いて現像された現像済み画像データに関連付けて前記記録媒体に記録する工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項１】
動画像撮影において、撮像素子から得られる現像前の画像データを現像せずに順次記録するＲａｗ撮影モードと、前記撮像素子から得られる画像データを現像した現像済み画像データを順次記録する通常撮影モードとを有する画像処理装置であって、
前記現像前の画像データに基づいて、該現像前の画像データを現像するための現像パラメータを生成する生成手段と、
前記Ｒａｗ撮影モードと前記通常撮影モードとを切り替える切替手段と、
前記生成手段により生成された現像パラメータを、予め設定された記録条件に従って、前記Ｒａｗ撮影モードが選択されていれば前記現像パラメータの生成に用いた前記現像前の画像データ、前記通常撮影モードが選択されていれば前記現像パラメータを用いて現像された現像済み画像データに関連付けて、記録媒体に記録するように制御する制御手段とを有し、
前記制御手段は、動画像撮影中に前記切替手段により前記Ｒａｗ撮影モードから前記通常撮影モードへ切り替えられた場合に、前記現像済み画像データの現像に用いた現像パラメータを少なくとも１フレーム分、前記現像済み画像データに関連付けて記録するように制御することを特徴とする画像処理装置。
【請求項２】
前記予め設定された記録条件は、前記Ｒａｗ撮影モードと前記通常撮影モードとで異なることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記通常撮影モードにおける前記予め設定された記録条件は、前記現像済み画像データのフレームが、前記通常撮影モードに切り替えられた直後のフレームであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記予め設定された記録条件は、前記Ｒａｗ撮影モードから前記通常撮影モードへの切り替えに関わらず継承されることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記現像前の画像データのシーンチェンジを検出する検出手段を更に有し、
前記Ｒａｗ撮影モードにおける前記予め設定された記録条件は、前記現像前の画像データのフレームが、予め決められた数のフレームおきのフレームであること、または、前記検出手段により検出されたシーンチェンジの前後のフレームであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
動画像撮影において、撮像素子から得られる現像前の画像データを現像せずに順次記録するＲａｗ撮影モードと、前記撮像素子から得られる画像データを現像した現像済み画像データを順次記録する通常撮影モードとを有する画像処理装置の制御方法であって、
生成手段が、前記現像前の画像データに基づいて、該現像前の画像データを現像するための現像パラメータを生成する生成工程と、
前記Ｒａｗ撮影モードにおいて、記録手段が、前記生成工程で生成された現像パラメータを、予め設定された記録条件に従って、前記現像パラメータの生成に用いた前記現像前の画像データに関連付けて記録媒体に記録する工程と、
切替手段が、動画像撮影中に前記Ｒａｗ撮影モードから前記通常撮影モードに切り替える切替工程と、
前記通常撮影モードへの切り替え後、前記記録手段が、前記生成工程で生成された現像パラメータを少なくとも１フレーム分、予め設定された記録条件に従って、前記現像パラメータを用いて現像された現像済み画像データに関連付けて前記記録媒体に記録する工程と
を有することを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２３３９８５（Ｐ２０１１−２３３９８５Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１００３５９（Ｐ２０１０−１００３５９）
【出願日】平成２２年４月２３日（２０１０．４．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２３日（２０１０．４．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]