画像処理装置および画像処理方法
【課題】 動画像から静止画を印刷する際に、印刷に適した画像データを生成すること。
【解決手段】 RAWデータを現像して動画像データを生成する際、動画像フレームの生成に用いられたRAWデータの識別情報と、RAWデータにエラーが存在するか否かを表す品質情報を各動画像フレームに重畳する。そして、画像印刷指示があった際には、対応する動画像フレームの生成に用いられたRAWデータを識別情報から特定し、そのうち、品質情報からエラーが存在しないと判別されるRAWデータを現像して印刷用の画像データを生成する。
【解決手段】 RAWデータを現像して動画像データを生成する際、動画像フレームの生成に用いられたRAWデータの識別情報と、RAWデータにエラーが存在するか否かを表す品質情報を各動画像フレームに重畳する。そして、画像印刷指示があった際には、対応する動画像フレームの生成に用いられたRAWデータを識別情報から特定し、そのうち、品質情報からエラーが存在しないと判別されるRAWデータを現像して印刷用の画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特には動画像から静止画を印刷するための画像データを生成するための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像中の気に入ったシーンを印刷すると、印刷物の画質が低いという課題があった。これは、一般に動画像コンテンツを構成する各フレームの画質が、静止状態で観賞されることを想定したものでなく、１/３０から１/１５秒程度の表示を前提としていることによる。
【０００３】
例えば、MPEG（Moving Picture Expert Group）方式で符号化された動画像内のある１フレームを印刷する際には、フレーム間予測符号化された画像では画質劣化が大きいと考えられる。そのため、フレーム内符号化された画像を選択して印刷することで画質の向上を図ることが考えられる。しかし、フレーム内符号化された画像であっても、画像の情報が符号化時に削減されていることには違いがないので、印刷して静止画として観賞するに足りる画質ではない。そのため、印刷物として観賞するに足りる品質の画像印刷結果を提供することができなかった。
【０００４】
特許文献１では、動画像を構成するフレームのうち、一定時間ごともしくはシーンが変わったと思われるものに静止画用の出力候補画像であることを示すフラグを埋め込む撮像装置が開示されている。そして、ユーザがこのような（フラグの埋め込まれた）動画像を対象に印刷指示を行った場合、印刷装置は、フラグに基づいて候補画像を取り出し、候補画像のいずれかをユーザに選択させることが記載されている。
【０００５】
一方、デジタルカメラにおける撮像データは、主に記録媒体の容量を節約する目的で圧縮符号化した形式で記録されるのが一般的であったが、最近では記録媒体の大容量化などを背景として、RAWデータを記録可能なものも増えてきている。
【０００６】
RAWデータとはCCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサで記録される画像情報をそのままの状態で保存するデータ形式である。RAWデータは、ホワイトバランス調整、色空間変換などの画像調整を実施する前のデータであるため、JPEG（Joint Photographic Expert Group）形式のデータのような、画像調整後のデータとは異なる特徴を持つ。図６に、RAWデータとJPEGデータとの比較を示す。
【０００７】
また、RAWデータから、画像として認識できる形式のデータを作成する処理を、フィルムの現像になぞらえて、「現像処理」と呼ぶ。一般的なRAWデータの現像処理は、以下に示す処理を含む。
・ ビット数変換処理
・ フレームレート変換
・ 色空間処理
・ 露出補正
・ ホワイトバランス調整（色温度変更）
【０００８】
RAWデータは現像前のデータであるため、例えば現像処理の工程のひとつであるホワイトバランス調整を、異なるパラメータ値を用いて行うことができる。従って、撮影後に、異なる色温度でホワイトバランス調整した複数の画像出力を容易に得ることが可能である。
【０００９】
またRAWデータは情報圧縮されていない状態で記録されているため、圧縮符号化による画質劣化が存在しない。一方、JPEGデータは現像後の画像を圧縮符号化したものであるため、既に画質劣化が生じている。さらに、JPEGデータに補正を行ったのち、補正後のJPEGデータを生成する際にも画質の劣化が発生する。
【００１０】
よって、RAWデータを記録することで、ユーザは、所望の画像調整を画質劣化を伴うことなく実行し、気に入った結果を複数種、かつ容易に得ることができる。このようにRAWデータを記録することには大きな利点がある反面、RAWデータは情報圧縮しないことで画像１枚当たりのデータ量がJPEGデータよりもかなり多くなる。そのため、現在、RAWデータの記録は静止画記録時のみサポートされている。しかし、記録媒体のさらなる大容量化記録処理の高速化などが進むにつれ、動画像撮影時にRAWデータ記録が可能になることが予想される。
【特許文献１】特開２００５−２２９２３７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述した特許文献１記載の技術では、時間や画像、ユーザ操作などが特定の条件を満たすフレームを印刷用の候補画像として選択してフラグを埋め込むことで、印刷装置が候補画像を判別することを可能にしている。
【００１２】
しかしながら、特許文献１では、現像処理後のフレームに対してフラグを埋め込んでいる。そのため、現像過程において画質が低下するような処理が行われている場合、画質の低下した画像を印刷することになってしまう。
【００１３】
例えば、現像処理において、連続して撮影された複数のRAWデータの画素を平均することにより１フレームの画像を生成するようなフレームレート変換が行われたとする。この場合、生成されるフレームの画像には、平均化によるコントラスト低下などの画質低下が生じている可能性がある。また、被写体の動きが大きい場合、平均化により被写体のぼけも大きくなる。そのため、フラグが埋め込まれたフレームであっても、印刷に適した画像でない可能性がある。
【００１４】
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述の目的は、複数フレームのRAWデータを格納する格納手段と、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳手段と、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報と品質情報とを抽出する画像処理手段と、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像印刷指示に対応する動画像フレームに重畳されていたRAWデータの識別情報および品質情報を画像処理手段から取得する取得手段と、取得手段が取得したRAWデータの識別情報から特定される、格納手段に格納されたRAWデータのうち、品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、現像手段は、決定手段が決定したRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置によって達成される。
【００１６】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳ステップと、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報と品質情報とを抽出する画像処理ステップと、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像処理ステップにおいて画像印刷指示に対応する動画像フレームから抽出したRAWデータの識別情報および品質情報を取得する取得ステップと、取得ステップで取得されたRAWデータの識別情報から特定される、格納手段に格納されたRAWデータのうち、品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、決定ステップで決定されたRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１７】
このような構成により本発明によれば、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照して、本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態において、画像処理装置は、画像作成装置１００及び再生装置１１０とから構成される。
【００１９】
画像作成装置１００は、RAWデータを印刷可能な画像データに現像し、現像結果（現像画像）を印刷装置１２０に提供する。また、画像作成装置１００は、動画像撮影時に各フレームのRAWデータを現像し、現像後の動画像データを再生装置１１０に提供する。
【００２０】
画像作成装置１００において、現像画像決定部１０１は、印刷に使用するRAWデータを決定する。具体的には、後述する現像パラメータ取得部１０５から、印刷する静止画を特定するための現像パラメータを取得し、各種現像パラメータの情報を元に印刷に使用するRAWデータを特定する。現像パラメータ取得部１０５から取得する現像パラメータとは、再生装置１１０で再生処理を行う動画像データを作成する際に使用したRAWデータの識別情報（例えば画像番号）や、フレームレート変換アルゴリズムの識別情報などである。
【００２１】
現像部１０２は、RAWデータの現像処理および、現像後の画像をJPEGデータやMPEGデータに変換する非可逆な圧縮符号化処理を行う。現像部１０２が現像するRAWデータは、後述するRAWデータ格納部１０３より、時系列に従って、データ抽出部１０４を経て送出される。現像部１０２はまた、現像処理に用いたパラメータ（現像パラメータ）を、現像パラメータ抽出部１０６へ供給する。
【００２２】
RAWデータ格納部１０３は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置（図示せず）で撮影されたRAWデータを複数フレーム分格納する。RAWデータは、撮像装置から撮影時に転送されてきてもよいし、撮像装置で一旦メモリカード等に記録されたRAWデータであってもよい。RAWデータはデータ量が多いため、RAWデータ格納部１０３は記憶容量の多い記憶装置であることが好ましく、例えばHDD（Hard Disk Drive）やDVDドライブなどによって実現される。
【００２３】
現像画像決定部１０１は、データ抽出部１０４に対して、印刷に使用するRAWデータを指定する。データ抽出部１０４は、現像画像決定部１０１で決定されたRAWデータを、RAWデータ格納部１０３から抽出する。データ抽出部１０４はRAWデータ格納部１０３からRAWデータを現像部１０２に転送する。
【００２４】
現像パラメータ取得部１０５は、再生装置１１０の現像パラメータ送信部１１４より送信される現像パラメータを取得する。この現像パラメータは、後述するように、ユーザが印刷を希望した画像に対応する現像パラメータである。
【００２５】
現像パラメータ抽出部１０６は、再生装置１１０で再生される動画像を構成するフレームの現像パラメータを現像部１０２より取得する。現像部１０２から取得した現像パラメータは、後述する現像パラメータ重畳部１０７により、現像画像内に重畳される。
【００２６】
現像パラメータ重畳部１０７は、現像部１０２より出力される現像画像（フレーム）に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。具体的には、現像パラメータ重畳部１０７は、現像されたフレーム画像のデータに、使用された現像パラメータを埋め込む。再生装置１１０に出力される動画像フレームの各々に現像パラメータ重畳部１０７で現像パラメータが重畳されることにより、再生装置１１０内において任意の動画像フレームに対する現像パラメータの取得が可能となる。
【００２７】
次に、再生装置１１０を構成する各部について説明する。
現像画像受信部１１１は、画像作成装置１００で作成された動画像データを取得する。
現像画像処理部１１２は、現像画像受信部１１１により受信された動画像データを、再生可能な形式に変換する。現像画像処理部１１２は、具体的には復号化器（ここではMPEGデコーダ）である。現像画像処理部１１２は、再生可能な形式に変換した動画像を、外部に接続された表示部１３０に出力する。これにより、ユーザは動画像を視聴することが可能となる。また、現像画像処理部１１２は、表示部１３０に出力する動画像の各フレームについて、埋め込まれている現像パラメータを抽出し、逐次現像パラメータ取得制御部１１３へ出力する。
【００２８】
再生装置１１０が再生し、表示部１３０に表示中の動画像を視聴するユーザが、例えば印刷したいタイミングにリモコンの決定ボタンを押下すると、画像印刷指示である画像選択信号が現像パラメータ取得制御部１１３によって検出される。
【００２９】
現像パラメータ取得制御部１１３は、画像選択信号が入力された際に現像画像処理部１１２から与えられた現像パラメータを取得する。あるいは、現像パラメータ取得制御部１１３は、画像選択信号の入力に応答して現像画像処理部１１２に現像パラメータを要求し、この要求に応答して現像画像処理部１１２から現像パラメータ取得制御部１１３へ現像パラメータを出力してもよい。
【００３０】
現像パラメータ取得制御部１１３は、現像画像処理部１１２から得た現像パラメータを、画像選択信号に対応する画像の現像パラメータ（すなわち、ユーザが印刷を希望した画像の現像パラメータ）として現像パラメータ送信部１１４へ出力する。
現像パラメータ送信部１１４は、現像パラメータ取得制御部１１３から受信した現像パラメータを、画像作成装置１００へ送信する。
【００３１】
（印刷用画像データの作成処理）
次に図２に示すフローチャートを用いて、本実施形態の画像処理装置における、印刷用画像データの作成動作について説明する。
ここでは、RAWデータ格納部１０３に格納されたRAWデータを現像部１０２で現像し、現像パラメータの重畳を行った動画像データが画像作成装置１００から再生装置１１０へ供給され、表示部１３０で動画像の表示が行われている状態であるとする。
【００３２】
まず、Ｓ２０１では、現像パラメータ取得制御部１１３が、画像選択信号の入力を待機している。
表示部１３０で表示される、現像された動画像を視聴中に、ユーザが印刷を希望するシーンにおいてリモコンの決定ボタンを押下する等により画像選択信号が現像パラメータ取得制御部１１３へ与えられる。
【００３３】
画像選択信号の入力を検出すると、現像パラメータ取得制御部１１３は、現像画像処理部１１２から、画像選択信号の入力タイミングに応じたフレーム画像の現像パラメータを取得する（Ｓ２０２）。ここで取得する現像パラメータは、例えば、画像選択信号で指定された動画像フレームの生成に用いられたRAWデータの識別情報（例えば画像番号）及び、動画像フレームの作成時に使用されたフレームレート変換アルゴリズムの識別情報などである。
【００３４】
現像パラメータ取得制御部１１３により取得された現像パラメータは、現像パラメータ送信部１１４により、画像作成装置１００へ送信される（Ｓ２０３）。
現像パラメータ取得後、画像作成装置１００は、送信された現像パラメータから、印刷に使用するRAWデータを現像画像決定部１０１により決定する（Ｓ２０４）。この決定処理については後述する。
【００３５】
現像画像決定部１０１は、決定したRAWデータの識別情報（例えば画像番号）を、データ抽出部１０４へ出力する。また、現像画像決定部１０１は、現像部１０２に対し、印刷装置１２０に適した形式で現像を行うよう指示する。データ抽出部１０４は、現像画像決定部１０１からの情報に基づき、RAWデータをRAWデータ格納部１０３から読み出し、現像部１０２へ出力する（Ｓ２０５）。
【００３６】
現像部１０２は、データ抽出部１０４から得たRAWデータを、外部に接続された印刷装置１２０に適した形式で現像し、印刷用画像データを生成する（Ｓ２０６）。印刷装置用の現像は、例えばRAWデータの色空間を印刷装置１２０の再現可能な色空間へ変換する色空間変換処理を含む。そして、現像部１０２は、印刷用画像データを印刷装置１２０に出力する（Ｓ２０７）。印刷装置１２０は、現像部１０２から供給される印刷用画像データを用いて印刷処理を実行する。
【００３７】
次に、動画像フレームから印刷に使用するRAWデータを特定することを可能にする、現像パラメータ重畳部１０７における現像パラメータの重畳方法について説明する。
【００３８】
図３は、RAWデータから現像部１０２が作成する動画像フレームに、使用したRAWデータの識別情報としての画像番号と、フレームレート変換アルゴリズムの識別情報とを、現像パラメータとして重畳する方法を説明するための図である。
【００３９】
図３に示す例において、RAWデータは３００fps（frame per second）のフレームレートを有するものと仮定する。通常、表示可能なフレームレートは表示部１３０の表示特性に依存するため、現像時に表示装置に適したフレームレートに変換されるのが一般的である。図３の例では、現像部１０２は、３００fpsのRAWデータを６０fpsのフレームレートに変換する。また、この際、フレームレートの変換に使用するアルゴリズムは、連続する５フレームの画素を平均して１フレームを作成するアルゴリズムとする。また、RAWデータにはフレーム毎に固有のIDが割り振られていると仮定する。
【００４０】
例えば現像後の動画像フレーム３０１は、ID1からID5までのRAWデータを用い、ID1からID5のRAWデータの画素値を平均するアルゴリズムにより得られている。従って、用いられたRAWデータ（ソースデータ）の識別情報と、フレームレート変換に用いられたアルゴリズムの識別情報を、現像パラメータとして動画像フレーム３０１のデータに重畳する。また、図３に示すように、ソースデータの数（フレーム数）を現像パラメータとして含めてもよい。
【００４１】
現像パラメータを動画像フレームデータに重畳する方法としては、例えば（１）規格で定められているユーザ領域に現像パラメータを記録する方法や、（２）現像パラメータを電子透かし技術を用いて埋め込む方法がある。
【００４２】
（１）の例として、例えばMPEG方式では、データ中に作成者が自由に利用できる領域（以下、ユーザ領域）が定められている。このユーザ領域は、ストリーム全体に対するもの、GOP（Group of Picture）に対するもの、ピクチャ（フレーム）に対するものとして使用可能である。この中の、ピクチャに対するユーザ領域に、図３で示すように、用いられたRAWデータの識別情報とフレームレート変換アルゴリズムの識別情報を含めることができる。
【００４３】
このように、フレームに対するユーザ領域に現像パラメータを含めることで、動画像再生時、再生フレームごとに、どのRAWデータからどのようなフレームレート変換アルゴリズムで生成されたかを知ることができる。なお、RAWデータの識別情報であるIDは、RAWデータに付随する情報として、画像作成装置１００のRAWデータ格納部１０３にRAWデータとともに蓄積されているものとする。
【００４４】
（２）の例は、現像パラメータを動画像フレームに電子透かしとして埋め込むものである。例えば、RAWデータを現像し、現像結果を例えばHDMI（High-Definition Multimedia Interface）を通じて再生装置１１０に送信する場合、現像結果のデータにはユーザ領域が規定されていない。そのため、データの付随情報として現像パラメータを保存することができない。従って、そのような場合には、画像内に電子透かしとして現像パラメータを埋め込むことで、再生装置においてフレーム毎に現像パラメータを取得することができる。
【００４５】
このようにして、現像パラメータ重畳部１０７は、現像部１０２が出力する動画像フレーム毎に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。
なお、図３の例では、フレームレート変換アルゴリズムの識別情報が、「平均」という意味のある語で示されているが、実際には画素平均アルゴリズムに対応づけされた数値や文字(「１」、「ａ」等）が用いられるであろう。
なお、現像パラメータの種類や、重畳方法は例示であり、他のパラメータや重畳方法を用いてもよい。
【００４６】
次に、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について、図４を用いて説明する。
図４において、動画像フレーム３０１は、図３に示したように、ID1からID5のRAWデータから、画素平均により作成されたものとする。
【００４７】
例えば上述した（１）又は（２）の方法により重畳された現像パラメータは、現像画像処理部１１２で抽出される。そして、画像選択信号の入力により、現像パラメータ取得制御部１１３、現像パラメータ送信部１１４および現像パラメータ取得部１０５を通じて現像画像決定部１０１へ与えられる。
【００４８】
現像画像決定部１０１は、現像パラメータから、RAWデータのID1からID5を用い、画素の平均処理によりフレームレート変換された画像が印刷対象として選択されたことを知る。この場合、選択された現像後の画像は、５フレームのRAWデータの平均から作成されているため、印刷する画像としては不適切である。
【００４９】
本実施形態において現像画像決定部１０１は、使用された５フレームのRAWデータの中から、時間的に中央に位置するRAWデータ（ID3に対応するRAWデータ）を選択する。時間的に中央に位置するRAWデータを選択する理由は、画像選択信号により指定された現像画像の特徴を最もよく示していると考えられるからである。ただし、印刷装置に適した画像をRAWデータから生成するという観点からは、必ずしも時間的に中央のRAWデータを選択する必要はない。例えば複数のRAWデータのうち、時間的に最初のものや最後のものを選択するようにしてもよい。また、用いられているフレームレート変換アルゴリズムによって、選択基準を変更してもよい。
【００５０】
そして、現像部１０２は、データ抽出部１０４が抽出した、印刷に用いるRAWデータを、印刷装置１２０に適した方法で、具体的には例えば印刷装置が再現可能な色空間に適合するように現像し、印刷用画像データを生成する。
【００５１】
なお、動画像フレームの元となったRAWデータから印刷用のデータを生成するという観点からすれば、フレームレート変換アルゴリズムの識別情報は必須でなく、少なくとも用いられたRAWデータの識別情報が現像パラメータとして含まれていればよい。典型的には、動画像のフレームレートがRAWデータのフレームレートと同じ場合、フレームレート変換アルゴリズムの識別情報は不要である。
【００５２】
以上説明したように、本実施形態によれば、RAWデータを現像して表示用の画像データを生成する際、動画像フレームの各々に元となったRAWデータを特定する情報を付加する。そして、印刷指示された動画像フレームに付加された現像パラメータから、元になったRAWデータを特定し、特定されたRAWデータを印刷装置に適した方法で現像して、印刷用の画像データを生成する。そのため、動画像から静止画を印刷する場合の印刷品質を向上させることが可能となる。
【００５３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、動画像フレームに重畳する現像パラメータとして、元となったRAWデータを特定する情報（RAWデータの識別情報）を少なくとも含めるものであった。そして、現像処理においてフレームレート変換がなされている場合（元となったRAWデータの識別情報が複数含まれる場合）、時間的に中央に位置するRAWデータを、印刷用画像を生成するためのRAWデータとして選択した。
【００５４】
これに対し、本実施形態では、元となったRAWデータについての品質情報を現像パラメータに加えるとともに、元となったRAWデータから印刷用画像を生成するためのRAWデータを選択する際、品質情報を考慮した選択を行うことを特徴とする。
【００５５】
本実施形態に係る画像処理装置は、現像部１０２が現像パラメータとして品質情報を提供する点と、現像画像決定部１０１の動作において、品質情報が考慮される点を除き、第１の実施形態と同じであってよいため、重複する説明は省略する。
【００５６】
現像部１０２は、現像処理の過程で実行するフレームレート変換処理において、元となるRAWデータにエラーが存在するか否かを判別する。ここでいうエラーとは、例えば異常電荷の発生であってよい。このような異常電荷は、例えばＣＣＤイメージセンサなどで発生するスミアなどが例としてあげられる。例えばスミアが発生している場合、飽和した画素が縦に直線状に現れるので、現像部１０２は、フレームレート変換処理においてRAWデータの画素値を参照したり、画素値を用いた演算を行う際に、異常電荷の発生したRAWデータを判別することができる。
【００５７】
画素の異常値を検出するその他の方法としては、フレーム間の相関を算出し、異常な相関値を検出した場合はそのフレームに異常な画素値が存在していると判断することができる。フレームレートが高い画像の場合、急激に画素値が変化することはまれなので、この方法により、画素に発生している様々な異常を検出することが可能となる。
【００５８】
そして、現像部１０２は、エラーが存在するRAWデータを検出した場合、エラーが存在するRAWデータの識別情報を品質情報として現像パラメータに含める。具体的には、動画像フレームの元となったRAWデータの識別情報にエラーの存在有無を表すフラグを付加しても、エラーが存在するRAWデータの識別情報を独立したパラメータとして含めてもよい。
【００５９】
次に、本実施形態の画像処理装置において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について、図５を用いて説明する。
図５において、動画像フレーム３０２は、図３に示したように、ID6からID10のRAWデータから、画素平均により作成されたものとする。
【００６０】
この場合、第１の実施形態の現像画像決定部１０１は、使用された５フレームのRAWデータの中から、時間的に中央に位置するRAWデータ（ID8に対応するRAWデータ）を、印刷用の画像データを生成するためのRAWデータとして決定する。
【００６１】
本実施形態の現像画像決定部１０１も、時間的に中央に位置するID8のRAWデータを印刷用の画像データを生成するためのRAWデータとして決定しようとする。しかしながら、本実施形態で現像パラメータとして含まれている品質情報から、ID8に対応するRAWデータにエラーが存在することが判別される。そのため、本実施形態の現像画像決定部１０１は、時間的に中央に位置するRAWデータの代わりに、隣接するRAWデータ（ここではID9のRAWデータ）を次候補として選択する。なお、ID7のRAWデータを選択してもよいことは言うまでもない。
【００６２】
このように、本実施形態によれば、現像パラメータとして、RAWデータの識別情報に加え、RAWデータにエラーが存在するか否かを表す品質情報を含める。そして、元となったRAWデータから印刷用画像を選択する際に、品質情報を参照して、エラーが存在しないRAWデータを選択する。より具体的には、エラーが存在しない場合に選択されるべきRAWデータに時間的に隣接したRAWデータを選択する。
【００６３】
なお、エラーが存在しない場合に選択されるべきRAWデータにエラーが存在して再度選択された次候補のRAWデータにもエラーが存在する場合には、次に時間的に隣接したRAWデータをさらなる次候補として選択するように構成してもよい。図５の例であれば、ID8に加えてID9のRAWデータにもエラーが存在する場合は、ID7、IDa、ID6の順でRAWデータを選択していき、エラーが存在しないRAWデータを最終的に選択するように構成することができる。
【００６４】
また、その他の方法としては、エラーが発生している画素付近の画像のみ入れ替えるという方法を用いることができる。例えば、ID8のRAWデータに画素異常を発見した場合、その異常画素を、空間的に同じ位置にあるID9のRAWデータの画素値と入れ替えて、最終的にID8のRAWデータを選択する。この場合、ID7のRAWデータの画素を、異常画素の入れ替えに用いてもよい。また、ID7とID9のRAWデータの画素の平均値で異常画素を入れ替えてもよい。
【００６５】
本実施形態によれば、第１の実施形態と同様の効果に加え、エラーの存在しないRAWデータを選択できる可能性が高くなる。そのため、選択したRAWデータを現像して生成する印刷用画像データも、適切な画像となる可能性が高くなるという効果がある。
【００６６】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６７】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００６８】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６９】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであってもよい。
【００７０】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００７１】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００７２】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における、印刷用画像の作成動作について説明するフローチャートである。
【図３】本発明の第１の実施形態における現像パラメータと、その重畳方法について説明する図である。
【図４】本発明の第１の実施形態において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について説明する図である。
【図５】本発明の第２の実施形態において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について説明する図である。
【図６】RAWデータと、現像および情報圧縮された画像（例としてJPEG画像）との特徴を比較した図である。
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特には動画像から静止画を印刷するための画像データを生成するための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像中の気に入ったシーンを印刷すると、印刷物の画質が低いという課題があった。これは、一般に動画像コンテンツを構成する各フレームの画質が、静止状態で観賞されることを想定したものでなく、１/３０から１/１５秒程度の表示を前提としていることによる。
【０００３】
例えば、MPEG（Moving Picture Expert Group）方式で符号化された動画像内のある１フレームを印刷する際には、フレーム間予測符号化された画像では画質劣化が大きいと考えられる。そのため、フレーム内符号化された画像を選択して印刷することで画質の向上を図ることが考えられる。しかし、フレーム内符号化された画像であっても、画像の情報が符号化時に削減されていることには違いがないので、印刷して静止画として観賞するに足りる画質ではない。そのため、印刷物として観賞するに足りる品質の画像印刷結果を提供することができなかった。
【０００４】
特許文献１では、動画像を構成するフレームのうち、一定時間ごともしくはシーンが変わったと思われるものに静止画用の出力候補画像であることを示すフラグを埋め込む撮像装置が開示されている。そして、ユーザがこのような（フラグの埋め込まれた）動画像を対象に印刷指示を行った場合、印刷装置は、フラグに基づいて候補画像を取り出し、候補画像のいずれかをユーザに選択させることが記載されている。
【０００５】
一方、デジタルカメラにおける撮像データは、主に記録媒体の容量を節約する目的で圧縮符号化した形式で記録されるのが一般的であったが、最近では記録媒体の大容量化などを背景として、RAWデータを記録可能なものも増えてきている。
【０００６】
RAWデータとはCCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサで記録される画像情報をそのままの状態で保存するデータ形式である。RAWデータは、ホワイトバランス調整、色空間変換などの画像調整を実施する前のデータであるため、JPEG（Joint Photographic Expert Group）形式のデータのような、画像調整後のデータとは異なる特徴を持つ。図６に、RAWデータとJPEGデータとの比較を示す。
【０００７】
また、RAWデータから、画像として認識できる形式のデータを作成する処理を、フィルムの現像になぞらえて、「現像処理」と呼ぶ。一般的なRAWデータの現像処理は、以下に示す処理を含む。
・ ビット数変換処理
・ フレームレート変換
・ 色空間処理
・ 露出補正
・ ホワイトバランス調整（色温度変更）
【０００８】
RAWデータは現像前のデータであるため、例えば現像処理の工程のひとつであるホワイトバランス調整を、異なるパラメータ値を用いて行うことができる。従って、撮影後に、異なる色温度でホワイトバランス調整した複数の画像出力を容易に得ることが可能である。
【０００９】
またRAWデータは情報圧縮されていない状態で記録されているため、圧縮符号化による画質劣化が存在しない。一方、JPEGデータは現像後の画像を圧縮符号化したものであるため、既に画質劣化が生じている。さらに、JPEGデータに補正を行ったのち、補正後のJPEGデータを生成する際にも画質の劣化が発生する。
【００１０】
よって、RAWデータを記録することで、ユーザは、所望の画像調整を画質劣化を伴うことなく実行し、気に入った結果を複数種、かつ容易に得ることができる。このようにRAWデータを記録することには大きな利点がある反面、RAWデータは情報圧縮しないことで画像１枚当たりのデータ量がJPEGデータよりもかなり多くなる。そのため、現在、RAWデータの記録は静止画記録時のみサポートされている。しかし、記録媒体のさらなる大容量化記録処理の高速化などが進むにつれ、動画像撮影時にRAWデータ記録が可能になることが予想される。
【特許文献１】特開２００５−２２９２３７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述した特許文献１記載の技術では、時間や画像、ユーザ操作などが特定の条件を満たすフレームを印刷用の候補画像として選択してフラグを埋め込むことで、印刷装置が候補画像を判別することを可能にしている。
【００１２】
しかしながら、特許文献１では、現像処理後のフレームに対してフラグを埋め込んでいる。そのため、現像過程において画質が低下するような処理が行われている場合、画質の低下した画像を印刷することになってしまう。
【００１３】
例えば、現像処理において、連続して撮影された複数のRAWデータの画素を平均することにより１フレームの画像を生成するようなフレームレート変換が行われたとする。この場合、生成されるフレームの画像には、平均化によるコントラスト低下などの画質低下が生じている可能性がある。また、被写体の動きが大きい場合、平均化により被写体のぼけも大きくなる。そのため、フラグが埋め込まれたフレームであっても、印刷に適した画像でない可能性がある。
【００１４】
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述の目的は、複数フレームのRAWデータを格納する格納手段と、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳手段と、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報と品質情報とを抽出する画像処理手段と、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像印刷指示に対応する動画像フレームに重畳されていたRAWデータの識別情報および品質情報を画像処理手段から取得する取得手段と、取得手段が取得したRAWデータの識別情報から特定される、格納手段に格納されたRAWデータのうち、品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、現像手段は、決定手段が決定したRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置によって達成される。
【００１６】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳ステップと、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報と品質情報とを抽出する画像処理ステップと、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像処理ステップにおいて画像印刷指示に対応する動画像フレームから抽出したRAWデータの識別情報および品質情報を取得する取得ステップと、取得ステップで取得されたRAWデータの識別情報から特定される、格納手段に格納されたRAWデータのうち、品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、決定ステップで決定されたRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１７】
このような構成により本発明によれば、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照して、本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態において、画像処理装置は、画像作成装置１００及び再生装置１１０とから構成される。
【００１９】
画像作成装置１００は、RAWデータを印刷可能な画像データに現像し、現像結果（現像画像）を印刷装置１２０に提供する。また、画像作成装置１００は、動画像撮影時に各フレームのRAWデータを現像し、現像後の動画像データを再生装置１１０に提供する。
【００２０】
画像作成装置１００において、現像画像決定部１０１は、印刷に使用するRAWデータを決定する。具体的には、後述する現像パラメータ取得部１０５から、印刷する静止画を特定するための現像パラメータを取得し、各種現像パラメータの情報を元に印刷に使用するRAWデータを特定する。現像パラメータ取得部１０５から取得する現像パラメータとは、再生装置１１０で再生処理を行う動画像データを作成する際に使用したRAWデータの識別情報（例えば画像番号）や、フレームレート変換アルゴリズムの識別情報などである。
【００２１】
現像部１０２は、RAWデータの現像処理および、現像後の画像をJPEGデータやMPEGデータに変換する非可逆な圧縮符号化処理を行う。現像部１０２が現像するRAWデータは、後述するRAWデータ格納部１０３より、時系列に従って、データ抽出部１０４を経て送出される。現像部１０２はまた、現像処理に用いたパラメータ（現像パラメータ）を、現像パラメータ抽出部１０６へ供給する。
【００２２】
RAWデータ格納部１０３は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置（図示せず）で撮影されたRAWデータを複数フレーム分格納する。RAWデータは、撮像装置から撮影時に転送されてきてもよいし、撮像装置で一旦メモリカード等に記録されたRAWデータであってもよい。RAWデータはデータ量が多いため、RAWデータ格納部１０３は記憶容量の多い記憶装置であることが好ましく、例えばHDD（Hard Disk Drive）やDVDドライブなどによって実現される。
【００２３】
現像画像決定部１０１は、データ抽出部１０４に対して、印刷に使用するRAWデータを指定する。データ抽出部１０４は、現像画像決定部１０１で決定されたRAWデータを、RAWデータ格納部１０３から抽出する。データ抽出部１０４はRAWデータ格納部１０３からRAWデータを現像部１０２に転送する。
【００２４】
現像パラメータ取得部１０５は、再生装置１１０の現像パラメータ送信部１１４より送信される現像パラメータを取得する。この現像パラメータは、後述するように、ユーザが印刷を希望した画像に対応する現像パラメータである。
【００２５】
現像パラメータ抽出部１０６は、再生装置１１０で再生される動画像を構成するフレームの現像パラメータを現像部１０２より取得する。現像部１０２から取得した現像パラメータは、後述する現像パラメータ重畳部１０７により、現像画像内に重畳される。
【００２６】
現像パラメータ重畳部１０７は、現像部１０２より出力される現像画像（フレーム）に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。具体的には、現像パラメータ重畳部１０７は、現像されたフレーム画像のデータに、使用された現像パラメータを埋め込む。再生装置１１０に出力される動画像フレームの各々に現像パラメータ重畳部１０７で現像パラメータが重畳されることにより、再生装置１１０内において任意の動画像フレームに対する現像パラメータの取得が可能となる。
【００２７】
次に、再生装置１１０を構成する各部について説明する。
現像画像受信部１１１は、画像作成装置１００で作成された動画像データを取得する。
現像画像処理部１１２は、現像画像受信部１１１により受信された動画像データを、再生可能な形式に変換する。現像画像処理部１１２は、具体的には復号化器（ここではMPEGデコーダ）である。現像画像処理部１１２は、再生可能な形式に変換した動画像を、外部に接続された表示部１３０に出力する。これにより、ユーザは動画像を視聴することが可能となる。また、現像画像処理部１１２は、表示部１３０に出力する動画像の各フレームについて、埋め込まれている現像パラメータを抽出し、逐次現像パラメータ取得制御部１１３へ出力する。
【００２８】
再生装置１１０が再生し、表示部１３０に表示中の動画像を視聴するユーザが、例えば印刷したいタイミングにリモコンの決定ボタンを押下すると、画像印刷指示である画像選択信号が現像パラメータ取得制御部１１３によって検出される。
【００２９】
現像パラメータ取得制御部１１３は、画像選択信号が入力された際に現像画像処理部１１２から与えられた現像パラメータを取得する。あるいは、現像パラメータ取得制御部１１３は、画像選択信号の入力に応答して現像画像処理部１１２に現像パラメータを要求し、この要求に応答して現像画像処理部１１２から現像パラメータ取得制御部１１３へ現像パラメータを出力してもよい。
【００３０】
現像パラメータ取得制御部１１３は、現像画像処理部１１２から得た現像パラメータを、画像選択信号に対応する画像の現像パラメータ（すなわち、ユーザが印刷を希望した画像の現像パラメータ）として現像パラメータ送信部１１４へ出力する。
現像パラメータ送信部１１４は、現像パラメータ取得制御部１１３から受信した現像パラメータを、画像作成装置１００へ送信する。
【００３１】
（印刷用画像データの作成処理）
次に図２に示すフローチャートを用いて、本実施形態の画像処理装置における、印刷用画像データの作成動作について説明する。
ここでは、RAWデータ格納部１０３に格納されたRAWデータを現像部１０２で現像し、現像パラメータの重畳を行った動画像データが画像作成装置１００から再生装置１１０へ供給され、表示部１３０で動画像の表示が行われている状態であるとする。
【００３２】
まず、Ｓ２０１では、現像パラメータ取得制御部１１３が、画像選択信号の入力を待機している。
表示部１３０で表示される、現像された動画像を視聴中に、ユーザが印刷を希望するシーンにおいてリモコンの決定ボタンを押下する等により画像選択信号が現像パラメータ取得制御部１１３へ与えられる。
【００３３】
画像選択信号の入力を検出すると、現像パラメータ取得制御部１１３は、現像画像処理部１１２から、画像選択信号の入力タイミングに応じたフレーム画像の現像パラメータを取得する（Ｓ２０２）。ここで取得する現像パラメータは、例えば、画像選択信号で指定された動画像フレームの生成に用いられたRAWデータの識別情報（例えば画像番号）及び、動画像フレームの作成時に使用されたフレームレート変換アルゴリズムの識別情報などである。
【００３４】
現像パラメータ取得制御部１１３により取得された現像パラメータは、現像パラメータ送信部１１４により、画像作成装置１００へ送信される（Ｓ２０３）。
現像パラメータ取得後、画像作成装置１００は、送信された現像パラメータから、印刷に使用するRAWデータを現像画像決定部１０１により決定する（Ｓ２０４）。この決定処理については後述する。
【００３５】
現像画像決定部１０１は、決定したRAWデータの識別情報（例えば画像番号）を、データ抽出部１０４へ出力する。また、現像画像決定部１０１は、現像部１０２に対し、印刷装置１２０に適した形式で現像を行うよう指示する。データ抽出部１０４は、現像画像決定部１０１からの情報に基づき、RAWデータをRAWデータ格納部１０３から読み出し、現像部１０２へ出力する（Ｓ２０５）。
【００３６】
現像部１０２は、データ抽出部１０４から得たRAWデータを、外部に接続された印刷装置１２０に適した形式で現像し、印刷用画像データを生成する（Ｓ２０６）。印刷装置用の現像は、例えばRAWデータの色空間を印刷装置１２０の再現可能な色空間へ変換する色空間変換処理を含む。そして、現像部１０２は、印刷用画像データを印刷装置１２０に出力する（Ｓ２０７）。印刷装置１２０は、現像部１０２から供給される印刷用画像データを用いて印刷処理を実行する。
【００３７】
次に、動画像フレームから印刷に使用するRAWデータを特定することを可能にする、現像パラメータ重畳部１０７における現像パラメータの重畳方法について説明する。
【００３８】
図３は、RAWデータから現像部１０２が作成する動画像フレームに、使用したRAWデータの識別情報としての画像番号と、フレームレート変換アルゴリズムの識別情報とを、現像パラメータとして重畳する方法を説明するための図である。
【００３９】
図３に示す例において、RAWデータは３００fps（frame per second）のフレームレートを有するものと仮定する。通常、表示可能なフレームレートは表示部１３０の表示特性に依存するため、現像時に表示装置に適したフレームレートに変換されるのが一般的である。図３の例では、現像部１０２は、３００fpsのRAWデータを６０fpsのフレームレートに変換する。また、この際、フレームレートの変換に使用するアルゴリズムは、連続する５フレームの画素を平均して１フレームを作成するアルゴリズムとする。また、RAWデータにはフレーム毎に固有のIDが割り振られていると仮定する。
【００４０】
例えば現像後の動画像フレーム３０１は、ID1からID5までのRAWデータを用い、ID1からID5のRAWデータの画素値を平均するアルゴリズムにより得られている。従って、用いられたRAWデータ（ソースデータ）の識別情報と、フレームレート変換に用いられたアルゴリズムの識別情報を、現像パラメータとして動画像フレーム３０１のデータに重畳する。また、図３に示すように、ソースデータの数（フレーム数）を現像パラメータとして含めてもよい。
【００４１】
現像パラメータを動画像フレームデータに重畳する方法としては、例えば（１）規格で定められているユーザ領域に現像パラメータを記録する方法や、（２）現像パラメータを電子透かし技術を用いて埋め込む方法がある。
【００４２】
（１）の例として、例えばMPEG方式では、データ中に作成者が自由に利用できる領域（以下、ユーザ領域）が定められている。このユーザ領域は、ストリーム全体に対するもの、GOP（Group of Picture）に対するもの、ピクチャ（フレーム）に対するものとして使用可能である。この中の、ピクチャに対するユーザ領域に、図３で示すように、用いられたRAWデータの識別情報とフレームレート変換アルゴリズムの識別情報を含めることができる。
【００４３】
このように、フレームに対するユーザ領域に現像パラメータを含めることで、動画像再生時、再生フレームごとに、どのRAWデータからどのようなフレームレート変換アルゴリズムで生成されたかを知ることができる。なお、RAWデータの識別情報であるIDは、RAWデータに付随する情報として、画像作成装置１００のRAWデータ格納部１０３にRAWデータとともに蓄積されているものとする。
【００４４】
（２）の例は、現像パラメータを動画像フレームに電子透かしとして埋め込むものである。例えば、RAWデータを現像し、現像結果を例えばHDMI（High-Definition Multimedia Interface）を通じて再生装置１１０に送信する場合、現像結果のデータにはユーザ領域が規定されていない。そのため、データの付随情報として現像パラメータを保存することができない。従って、そのような場合には、画像内に電子透かしとして現像パラメータを埋め込むことで、再生装置においてフレーム毎に現像パラメータを取得することができる。
【００４５】
このようにして、現像パラメータ重畳部１０７は、現像部１０２が出力する動画像フレーム毎に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。
なお、図３の例では、フレームレート変換アルゴリズムの識別情報が、「平均」という意味のある語で示されているが、実際には画素平均アルゴリズムに対応づけされた数値や文字(「１」、「ａ」等）が用いられるであろう。
なお、現像パラメータの種類や、重畳方法は例示であり、他のパラメータや重畳方法を用いてもよい。
【００４６】
次に、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について、図４を用いて説明する。
図４において、動画像フレーム３０１は、図３に示したように、ID1からID5のRAWデータから、画素平均により作成されたものとする。
【００４７】
例えば上述した（１）又は（２）の方法により重畳された現像パラメータは、現像画像処理部１１２で抽出される。そして、画像選択信号の入力により、現像パラメータ取得制御部１１３、現像パラメータ送信部１１４および現像パラメータ取得部１０５を通じて現像画像決定部１０１へ与えられる。
【００４８】
現像画像決定部１０１は、現像パラメータから、RAWデータのID1からID5を用い、画素の平均処理によりフレームレート変換された画像が印刷対象として選択されたことを知る。この場合、選択された現像後の画像は、５フレームのRAWデータの平均から作成されているため、印刷する画像としては不適切である。
【００４９】
本実施形態において現像画像決定部１０１は、使用された５フレームのRAWデータの中から、時間的に中央に位置するRAWデータ（ID3に対応するRAWデータ）を選択する。時間的に中央に位置するRAWデータを選択する理由は、画像選択信号により指定された現像画像の特徴を最もよく示していると考えられるからである。ただし、印刷装置に適した画像をRAWデータから生成するという観点からは、必ずしも時間的に中央のRAWデータを選択する必要はない。例えば複数のRAWデータのうち、時間的に最初のものや最後のものを選択するようにしてもよい。また、用いられているフレームレート変換アルゴリズムによって、選択基準を変更してもよい。
【００５０】
そして、現像部１０２は、データ抽出部１０４が抽出した、印刷に用いるRAWデータを、印刷装置１２０に適した方法で、具体的には例えば印刷装置が再現可能な色空間に適合するように現像し、印刷用画像データを生成する。
【００５１】
なお、動画像フレームの元となったRAWデータから印刷用のデータを生成するという観点からすれば、フレームレート変換アルゴリズムの識別情報は必須でなく、少なくとも用いられたRAWデータの識別情報が現像パラメータとして含まれていればよい。典型的には、動画像のフレームレートがRAWデータのフレームレートと同じ場合、フレームレート変換アルゴリズムの識別情報は不要である。
【００５２】
以上説明したように、本実施形態によれば、RAWデータを現像して表示用の画像データを生成する際、動画像フレームの各々に元となったRAWデータを特定する情報を付加する。そして、印刷指示された動画像フレームに付加された現像パラメータから、元になったRAWデータを特定し、特定されたRAWデータを印刷装置に適した方法で現像して、印刷用の画像データを生成する。そのため、動画像から静止画を印刷する場合の印刷品質を向上させることが可能となる。
【００５３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、動画像フレームに重畳する現像パラメータとして、元となったRAWデータを特定する情報（RAWデータの識別情報）を少なくとも含めるものであった。そして、現像処理においてフレームレート変換がなされている場合（元となったRAWデータの識別情報が複数含まれる場合）、時間的に中央に位置するRAWデータを、印刷用画像を生成するためのRAWデータとして選択した。
【００５４】
これに対し、本実施形態では、元となったRAWデータについての品質情報を現像パラメータに加えるとともに、元となったRAWデータから印刷用画像を生成するためのRAWデータを選択する際、品質情報を考慮した選択を行うことを特徴とする。
【００５５】
本実施形態に係る画像処理装置は、現像部１０２が現像パラメータとして品質情報を提供する点と、現像画像決定部１０１の動作において、品質情報が考慮される点を除き、第１の実施形態と同じであってよいため、重複する説明は省略する。
【００５６】
現像部１０２は、現像処理の過程で実行するフレームレート変換処理において、元となるRAWデータにエラーが存在するか否かを判別する。ここでいうエラーとは、例えば異常電荷の発生であってよい。このような異常電荷は、例えばＣＣＤイメージセンサなどで発生するスミアなどが例としてあげられる。例えばスミアが発生している場合、飽和した画素が縦に直線状に現れるので、現像部１０２は、フレームレート変換処理においてRAWデータの画素値を参照したり、画素値を用いた演算を行う際に、異常電荷の発生したRAWデータを判別することができる。
【００５７】
画素の異常値を検出するその他の方法としては、フレーム間の相関を算出し、異常な相関値を検出した場合はそのフレームに異常な画素値が存在していると判断することができる。フレームレートが高い画像の場合、急激に画素値が変化することはまれなので、この方法により、画素に発生している様々な異常を検出することが可能となる。
【００５８】
そして、現像部１０２は、エラーが存在するRAWデータを検出した場合、エラーが存在するRAWデータの識別情報を品質情報として現像パラメータに含める。具体的には、動画像フレームの元となったRAWデータの識別情報にエラーの存在有無を表すフラグを付加しても、エラーが存在するRAWデータの識別情報を独立したパラメータとして含めてもよい。
【００５９】
次に、本実施形態の画像処理装置において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について、図５を用いて説明する。
図５において、動画像フレーム３０２は、図３に示したように、ID6からID10のRAWデータから、画素平均により作成されたものとする。
【００６０】
この場合、第１の実施形態の現像画像決定部１０１は、使用された５フレームのRAWデータの中から、時間的に中央に位置するRAWデータ（ID8に対応するRAWデータ）を、印刷用の画像データを生成するためのRAWデータとして決定する。
【００６１】
本実施形態の現像画像決定部１０１も、時間的に中央に位置するID8のRAWデータを印刷用の画像データを生成するためのRAWデータとして決定しようとする。しかしながら、本実施形態で現像パラメータとして含まれている品質情報から、ID8に対応するRAWデータにエラーが存在することが判別される。そのため、本実施形態の現像画像決定部１０１は、時間的に中央に位置するRAWデータの代わりに、隣接するRAWデータ（ここではID9のRAWデータ）を次候補として選択する。なお、ID7のRAWデータを選択してもよいことは言うまでもない。
【００６２】
このように、本実施形態によれば、現像パラメータとして、RAWデータの識別情報に加え、RAWデータにエラーが存在するか否かを表す品質情報を含める。そして、元となったRAWデータから印刷用画像を選択する際に、品質情報を参照して、エラーが存在しないRAWデータを選択する。より具体的には、エラーが存在しない場合に選択されるべきRAWデータに時間的に隣接したRAWデータを選択する。
【００６３】
なお、エラーが存在しない場合に選択されるべきRAWデータにエラーが存在して再度選択された次候補のRAWデータにもエラーが存在する場合には、次に時間的に隣接したRAWデータをさらなる次候補として選択するように構成してもよい。図５の例であれば、ID8に加えてID9のRAWデータにもエラーが存在する場合は、ID7、IDa、ID6の順でRAWデータを選択していき、エラーが存在しないRAWデータを最終的に選択するように構成することができる。
【００６４】
また、その他の方法としては、エラーが発生している画素付近の画像のみ入れ替えるという方法を用いることができる。例えば、ID8のRAWデータに画素異常を発見した場合、その異常画素を、空間的に同じ位置にあるID9のRAWデータの画素値と入れ替えて、最終的にID8のRAWデータを選択する。この場合、ID7のRAWデータの画素を、異常画素の入れ替えに用いてもよい。また、ID7とID9のRAWデータの画素の平均値で異常画素を入れ替えてもよい。
【００６５】
本実施形態によれば、第１の実施形態と同様の効果に加え、エラーの存在しないRAWデータを選択できる可能性が高くなる。そのため、選択したRAWデータを現像して生成する印刷用画像データも、適切な画像となる可能性が高くなるという効果がある。
【００６６】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６７】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００６８】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６９】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであってもよい。
【００７０】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００７１】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００７２】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における、印刷用画像の作成動作について説明するフローチャートである。
【図３】本発明の第１の実施形態における現像パラメータと、その重畳方法について説明する図である。
【図４】本発明の第１の実施形態において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について説明する図である。
【図５】本発明の第２の実施形態において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について説明する図である。
【図６】RAWデータと、現像および情報圧縮された画像（例としてJPEG画像）との特徴を比較した図である。
【特許請求の範囲】
【請求項１】
複数フレームのRAWデータを格納する格納手段と、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、前記RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳手段と、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報と前記品質情報とを抽出する画像処理手段と、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像印刷指示に対応する動画像フレームに重畳されていた前記RAWデータの識別情報および前記品質情報を前記画像処理手段から取得する取得手段と、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータのうち、前記品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、
前記現像手段は、前記決定手段が決定したRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置。
【請求項２】
前記現像手段が、前記RAWデータのフレームレートを、前記表示装置に応じたフレームレートに変換して前記動画像データを生成するとともに、
前記重畳手段が、前記動画像フレームの生成に用いられたRAWデータの識別情報と、前記品質情報に加え、前記フレームレートの変換に用いた変換アルゴリズムの識別情報を前記動画像データを構成する動画像フレームの各々に重畳し、
前記画像処理手段は、さらに前記変換アルゴリズムの識別情報を抽出し、
前記取得手段は、さらに前記変換アルゴリズムの識別情報を前記画像処理手段から取得し、
前記決定手段は、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータのうち、前記取得手段が取得した前記変換アルゴリズムの識別情報に応じたRAWデータを選択するとともに、前記品質情報を参照して当該選択したRAWデータにエラーが存在するかを判別し、
前記選択したRAWデータにエラーが存在しない場合には、前記選択したRAWデータを前記印刷用の画像データを生成させるRAWデータとして決定し、
前記選択したRAWデータにエラーが存在する場合には、前記選択したRAWデータとは別のRAWデータを選択し、
最終的にエラーが存在しないRAWデータを前記印刷用の画像データを生成させるRAWデータを決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記決定手段が、前記別のRAWデータとして、前記選択したRAWデータと時間的に隣接したRAWデータを選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記印刷装置用の現像が、前記RAWデータの色空間を、前記印刷装置が再現可能な色空間へ変換する色空間変換処理を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、前記RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳ステップと、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報と前記品質情報とを抽出する画像処理ステップと、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像処理ステップにおいて前記画像印刷指示に対応する動画像フレームから抽出した前記RAWデータの識別情報および前記品質情報を取得する取得ステップと、
前記取得ステップで取得された前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータのうち、前記品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、
前記決定ステップで決定されたRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項６】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１】
複数フレームのRAWデータを格納する格納手段と、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、前記RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳手段と、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報と前記品質情報とを抽出する画像処理手段と、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像印刷指示に対応する動画像フレームに重畳されていた前記RAWデータの識別情報および前記品質情報を前記画像処理手段から取得する取得手段と、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータのうち、前記品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、
前記現像手段は、前記決定手段が決定したRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置。
【請求項２】
前記現像手段が、前記RAWデータのフレームレートを、前記表示装置に応じたフレームレートに変換して前記動画像データを生成するとともに、
前記重畳手段が、前記動画像フレームの生成に用いられたRAWデータの識別情報と、前記品質情報に加え、前記フレームレートの変換に用いた変換アルゴリズムの識別情報を前記動画像データを構成する動画像フレームの各々に重畳し、
前記画像処理手段は、さらに前記変換アルゴリズムの識別情報を抽出し、
前記取得手段は、さらに前記変換アルゴリズムの識別情報を前記画像処理手段から取得し、
前記決定手段は、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータのうち、前記取得手段が取得した前記変換アルゴリズムの識別情報に応じたRAWデータを選択するとともに、前記品質情報を参照して当該選択したRAWデータにエラーが存在するかを判別し、
前記選択したRAWデータにエラーが存在しない場合には、前記選択したRAWデータを前記印刷用の画像データを生成させるRAWデータとして決定し、
前記選択したRAWデータにエラーが存在する場合には、前記選択したRAWデータとは別のRAWデータを選択し、
最終的にエラーが存在しないRAWデータを前記印刷用の画像データを生成させるRAWデータを決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記決定手段が、前記別のRAWデータとして、前記選択したRAWデータと時間的に隣接したRAWデータを選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記印刷装置用の現像が、前記RAWデータの色空間を、前記印刷装置が再現可能な色空間へ変換する色空間変換処理を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報と、前記RAWデータにエラーが存在するか否かを表す品質情報を重畳する重畳ステップと、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報と前記品質情報とを抽出する画像処理ステップと、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像処理ステップにおいて前記画像印刷指示に対応する動画像フレームから抽出した前記RAWデータの識別情報および前記品質情報を取得する取得ステップと、
前記取得ステップで取得された前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータのうち、前記品質情報に基づいてエラーが存在しないと判別されるRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、
前記決定ステップで決定されたRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項６】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公開番号】特開２００９−１３５７０２（Ｐ２００９−１３５７０２Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３０９３３２（Ｐ２００７−３０９３３２）
【出願日】平成１９年１１月２９日（２００７．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月２９日（２００７．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]