画像処理装置および画像処理方法
【課題】 動画像から静止画を印刷する際に、印刷に適した画像データを生成すること。
【解決手段】 RAWデータを現像して動画像データを生成する際、動画像フレームの生成に用いられたRAWデータの識別情報を各動画像フレームに重畳するか、記憶装置に蓄積しておく。そして、画像印刷指示があった際には、対応する動画像フレームの生成に用いられたRAWデータを識別情報から特定し、特定したRAWデータから印刷用の画像データを生成する。
【解決手段】 RAWデータを現像して動画像データを生成する際、動画像フレームの生成に用いられたRAWデータの識別情報を各動画像フレームに重畳するか、記憶装置に蓄積しておく。そして、画像印刷指示があった際には、対応する動画像フレームの生成に用いられたRAWデータを識別情報から特定し、特定したRAWデータから印刷用の画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特には動画像から静止画を印刷するための画像データを生成するための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像中の気に入ったシーンを印刷すると、印刷物の画質が低いという課題があった。これは、一般に動画像コンテンツを構成する各フレームの画質が、静止状態で観賞されることを想定したものでなく、１/３０から１/１５秒程度の表示を前提としていることによる。
【０００３】
例えば、MPEG（Moving Picture Expert Group）方式で符号化された動画像内のある１フレームを印刷する際には、フレーム間予測符号化された画像では画質劣化が大きいと考えられる。そのため、フレーム内符号化された画像を選択して印刷することで画質の向上を図ることが考えられる。しかし、フレーム内符号化された画像であっても、画像の情報が符号化時に削減されていることには違いがないので、印刷して静止画として観賞するに足りる画質ではない。そのため、印刷物として観賞するに足りる品質の画像印刷結果を提供することができなかった。
【０００４】
このような問題に対処する方法として、特許文献１では、符号化時に削減した画像の色情報を、動画像とは別に補助情報として記録しておき、印刷時に補助情報を用いて色情報を追加することで、印刷画像の画質を向上させることが提案されている。
【０００５】
一方、デジタルカメラにおける撮像データは、主に記録媒体の容量を節約する目的で圧縮符号化した形式で記録されるのが一般的であったが、最近では記録媒体の大容量化などを背景として、RAWデータを記録可能なものも増えてきている。
【０００６】
RAWデータとはCCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサで記録される画像情報をそのままの状態で保存するデータ形式である。RAWデータは、ホワイトバランス調整、色空間変換などの画像調整を実施する前のデータであるため、JPEG（Joint Photographic Expert Group）形式のデータのような、画像調整後のデータとは異なる特徴を持つ。図６に、RAWデータとJPEGデータとの比較を示す。
【０００７】
また、RAWデータから、画像として認識できる形式のデータを作成する処理を、フィルムの現像になぞらえて、「現像処理」と呼ぶ。一般的なRAWデータの現像処理は、以下に示す処理を含む。
・ ビット数変換処理
・ フレームレート変換
・ 色空間処理
・ 露出補正
・ ホワイトバランス調整（色温度変更）
【０００８】
RAWデータは現像前のデータであるため、例えば現像処理の工程のひとつであるホワイトバランス調整を、異なるパラメータ値を用いて行うことができる。従って、撮影後に、異なる色温度でホワイトバランス調整した複数の画像出力を容易に得ることが可能である。
【０００９】
またRAWデータは情報圧縮されていない状態で記録されているため、圧縮符号化による画質劣化が存在しない。一方、JPEGデータは現像後の画像を圧縮符号化したものであるため、既に画質劣化が生じている。さらに、JPEGデータに補正を行ったのち、補正後のJPEGデータを生成する際にも画質の劣化が発生する。
【００１０】
よって、RAWデータを記録することで、ユーザは、所望の画像調整を画質劣化を伴うことなく実行し、気に入った結果を複数種、かつ容易に得ることができる。このようにRAWデータを記録することには大きな利点がある反面、RAWデータは情報圧縮しないことで画像１枚当たりのデータ量がJPEGデータよりもかなり多くなる。そのため、現在、RAWデータの記録は静止画記録時のみサポートされている。しかし、記録媒体のさらなる大容量化記録処理の高速化などが進むにつれ、動画像撮影時にRAWデータ記録が可能になることが予想される。
【００１１】
【特許文献１】特開平１０−１３７７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１記載の技術では、動画像作成時に各フレームに現像処理を施したのち、その後の圧縮過程における色情報削減分を保持しているのみである。従って、例えば、現像過程で固定された色空間情報は変更することができず、色空間を拡大する作業を行うことができない。
【００１３】
動画像を再生することが可能な色空間と、印刷装置が印刷可能な色空間は同一であるとは限らず、後者の色空間の方が広い場合には、現像後の動画像を印刷しても、適切な印刷結果が得られない可能性がある。
【００１４】
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述の目的は、複数フレームのRAWデータを格納する格納手段と、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳手段と、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報を抽出する画像処理手段と、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像印刷指示に対応する動画像フレームに重畳されていたRAWデータの識別情報を画像処理手段から取得する取得手段と、取得手段が取得したRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、現像手段は、決定手段が決定したRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置によって達成される。
【００１６】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段と、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積する蓄積手段と、動画像データを復号化して表示装置に出力する画像処理手段と、画像印刷指示の入力に応答して、画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を蓄積手段から取得する取得手段と、取得手段が取得したRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定手段とを有し、現像手段は、決定手段が決定したRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置によっても達成される。
【００１７】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳ステップと、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報を抽出する画像処理ステップと、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像処理ステップにおいて画像印刷指示に対応する動画像フレームから抽出したRAWデータの識別情報を取得する取得ステップと、取得ステップで取得されたRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、決定ステップで決定されたRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【００１８】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積部に蓄積する蓄積ステップと、動画像データを復号化して表示装置に出力する画像処理ステップと、画像印刷指示の入力に応答して、画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を蓄積部から取得する取得ステップと、取得ステップで取得されたRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定ステップと、決定ステップで決定されたRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１９】
このような構成により本発明によれば、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して、本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態において、画像処理装置は、画像作成装置１００及び再生装置１１０とから構成される。
【００２１】
画像作成装置１００は、RAWデータを印刷可能な画像データに現像し、現像結果（現像画像）を印刷装置１２０に提供する。また、画像作成装置１００は、動画像撮影時に各フレームのRAWデータを現像し、現像後の動画像データを再生装置１１０に提供する。
【００２２】
画像作成装置１００において、現像画像決定部１０１は、印刷に使用するRAWデータを決定する。具体的には、後述する現像パラメータ取得部１０５から、印刷する静止画を特定するための現像パラメータを取得し、各種現像パラメータの情報を元に印刷に使用するRAWデータを特定する。現像パラメータ取得部１０５から取得する現像パラメータとは、再生装置１１０で再生処理を行う動画像データを作成する際に使用したRAWデータの識別情報（例えば画像番号）や、フレームレート変換アルゴリズムの識別情報などである。
【００２３】
現像部１０２は、RAWデータの現像処理および、現像後の画像をJPEGデータやMPEGデータに変換する非可逆な圧縮符号化処理を行う。現像部１０２が現像するRAWデータは、後述するRAWデータ格納部１０３より、時系列に従って、データ抽出部１０４を経て送出される。
【００２４】
RAWデータ格納部１０３は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置（図示せず）で撮影されたRAWデータを複数フレーム分格納する。RAWデータは、撮像装置から撮影時に転送されてきても良いし、撮像装置で一旦メモリカード等に記録されたRAWデータであってもよい。RAWデータはデータ量が多いため、RAWデータ格納部１０３は記憶容量の多い記憶装置であることが好ましく、例えばHDD（Hard Disk Drive）やDVDドライブなどによって実現される。
【００２５】
現像画像決定部１０１は、データ抽出部１０４に対して、印刷に使用するRAWデータを指定する。データ抽出部１０４は、現像画像決定部１０１で決定されたRAWデータを、RAWデータ格納部１０３から抽出する。データ抽出部１０４はRAWデータ格納部１０３からRAWデータを現像部１０２に転送する。
【００２６】
現像パラメータ取得部１０５は、再生装置１１０の現像パラメータ送信部１１４より送信される現像パラメータを取得する。この現像パラメータは、後述するように、ユーザが印刷を希望した画像に対応する現像パラメータである。
【００２７】
現像パラメータ抽出部１０６は、再生装置１１０で再生される動画像を構成するフレームの現像パラメータを現像部１０２より取得する。現像部１０２から取得した現像パラメータは、後述する現像パラメータ重畳部１０７により、現像画像内に重畳される。
【００２８】
現像パラメータ重畳部１０７は、現像部１０２より出力される現像画像（フレーム）に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。具体的には、現像パラメータ重畳部１０７は、現像されたフレーム画像のデータに、使用された現像パラメータを埋め込む。再生装置１１０に出力される動画像フレームの各々に現像パラメータ重畳部１０７で現像パラメータが重畳されることにより、再生装置１１０内において任意の動画像フレームに対する現像パラメータの取得が可能となる。
【００２９】
次に、再生装置１１０を構成する各部について説明する。
現像画像受信部１１１は、画像作成装置１００で作成された動画像データを取得する。
現像画像処理部１１２は、現像画像受信部１１１により受信された動画像データを、再生可能な形式に変換する。現像画像処理部１１２は、具体的には復号化器（ここではMPEGデコーダ）である。現像画像処理部１１２は、再生可能な形式に変換した動画像を、外部に接続された表示部１３０に出力する。これにより、ユーザは動画像を視聴することが可能となる。また、現像画像処理部１１２は、表示部１３０に出力する動画像の各フレームについて、埋め込まれている現像パラメータを抽出し、逐次現像パラメータ取得制御部１１３へ出力する。
【００３０】
再生装置１１０が再生し、表示部１３０に表示中の動画像を視聴するユーザが、例えば印刷したいタイミングにリモコンの決定ボタンを押下すると、画像印刷指示である画像選択信号が現像パラメータ取得制御部１１３によって検出される。
【００３１】
現像パラメータ取得制御部１１３は、画像選択信号が入力された際に現像画像処理部１１２から与えられた現像パラメータを取得する。あるいは、現像パラメータ取得制御部１１３は、画像選択信号の入力に応答して現像画像処理部１１２に現像パラメータを要求し、この要求に応答して現像画像処理部１１２から現像パラメータ取得制御部１１３へ現像パラメータを出力しても良い。
【００３２】
現像パラメータ取得制御部１１３は、現像画像処理部１１２から得た現像パラメータを、画像選択信号に対応する画像の現像パラメータ（すなわち、ユーザが印刷を希望した画像の現像パラメータ）として現像パラメータ送信部１１４へ出力する。
現像パラメータ送信部１１４は、現像パラメータ取得制御部１１３から受信した現像パラメータを、画像作成装置１００へ送信する。
【００３３】
（印刷用画像データの作成処理）
次に図２に示すフローチャートを用いて、本実施形態の画像処理装置における、印刷用画像データの作成動作について説明する。
ここでは、RAWデータ格納部１０３に格納されたRAWデータを現像部１０２で現像し、現像パラメータの重畳を行った動画像データが画像作成装置１００から再生装置１１０へ供給され、表示部１３０で動画像の表示が行われている状態であるとする。
【００３４】
まず、Ｓ２０１では、現像パラメータ取得制御部１１３が、画像選択信号の入力を待機している。
表示部１３０で表示される、現像された動画像を視聴中に、ユーザが印刷を希望するシーンにおいてリモコンの決定ボタンを押下する等により画像選択信号が現像パラメータ取得制御部１１３へ与えられる。
【００３５】
画像選択信号の入力を検出すると、現像パラメータ取得制御部１１３は、現像画像処理部１１２から、画像選択信号の入力タイミングに応じたフレーム画像の現像パラメータを取得する（Ｓ２０２）。ここで取得する現像パラメータは、例えば、画像選択信号で指定された動画像フレームの生成に用いられたRAWデータの識別情報（例えば画像番号）及び、動画像フレームの作成時に使用されたフレームレート変換アルゴリズムの識別情報などである。
【００３６】
現像パラメータ取得制御部１１３により取得された現像パラメータは、現像パラメータ送信部１１４により、画像作成装置１００へ送信される（Ｓ２０３）。
現像パラメータ取得後、画像作成装置１００は、送信された現像パラメータから、印刷に使用するRAWデータを現像画像決定部１０１により決定する（Ｓ２０４）。この決定処理については後述する。
【００３７】
現像画像決定部１０１は、決定したRAWデータの識別情報（例えば画像番号）を、データ抽出部１０４へ出力する。また、現像画像決定部１０１は、現像部１０２に対し、印刷装置１２０に適した形式で現像を行うよう指示する。データ抽出部１０４は、現像画像決定部１０１からの情報に基づき、RAWデータをRAWデータ格納部１０３から読み出し、現像部１０２へ出力する（Ｓ２０５）。
【００３８】
現像部１０２は、データ抽出部１０４から得たRAWデータを、外部に接続された印刷装置１２０に適した形式で現像し、印刷用画像データを生成する（Ｓ２０６）。印刷装置用の現像は、例えばRAWデータの色空間を印刷装置１２０の再現可能な色空間へ変換する色空間変換処理を含む。そして、現像部１０２は、印刷用画像データを印刷装置１２０に出力する（Ｓ２０７）。印刷装置１２０は、現像部１０２から供給される印刷用画像データを用いて印刷処理を実行する。
【００３９】
次に、動画像フレームから印刷に使用するRAWデータを特定することを可能にする、現像パラメータ重畳部１０７における現像パラメータの重畳方法について説明する。
【００４０】
図３は、RAWデータから現像部１０２が作成する動画像フレームに、使用したRAWデータの識別情報としての画像番号と、フレームレート変換アルゴリズムの識別情報とを、現像パラメータとして重畳する方法を説明するための図である。
【００４１】
図３に示す例において、RAWデータは３００fps（frame per second）のフレームレートを有するものと仮定する。通常、表示可能なフレームレートは表示部１３０の表示特性に依存するため、現像時に表示装置に適したフレームレートに変換されるのが一般的である。図３の例では、現像部１０２は、３００fpsのRAWデータを６０fpsのフレームレートに変換する。また、この際、フレームレートの変換に使用するアルゴリズムは、連続する５フレームの画素を平均して１フレームを作成するアルゴリズムとする。また、RAWデータにはフレーム毎に固有のIDが割り振られていると仮定する。
【００４２】
例えば現像後の動画像フレーム３０１は、ID1からID5までのRAWデータを用い、ID1からID5のRAWデータの画素値を平均するアルゴリズムにより得られている。従って、用いられたRAWデータ（ソースデータ）の識別情報と、フレームレート変換に用いられたアルゴリズムの識別情報を、現像パラメータとして動画像フレーム３０１のデータに重畳する。また、図３に示すように、ソースデータの数（フレーム数）を現像パラメータとして含めてもよい。
【００４３】
なお、ここでは、動画像のフレームレート変換方法として、画素値を平均化する方法についてのみ説明したが、他のフレームレート変換方法であってもよい。例えば、元となるRAWデータの画素値に重み付けをして加算合成する、重み付け平均法がある。重み付けの方法としては、例えば時間的に中央に位置するRAWデータの画素値の重みを多くしたり、エラーが存在するRAWデータの画素値は重み付けを低くしたりすることができる。また、フレーム全体に一律に重み付けしても良いし、フレーム内の領域に応じて異なる重み付けをしてもよい。
【００４４】
その他の方法として、合成処理を行なわず、元となる複数のRAWデータの中から特定の１つを選択して現像してフレームレート変換後の画像フレームとするフレーム選択法もある。フレーム選択法では、元となる（選択候補の）複数のRAWデータにエラーが存在するRAWデータが含まれている場合、エラーが存在するRAWデータは選択しないことが可能となるため、フレームレート変換後の画像フレームの画質を向上させることができる。
【００４５】
なお、ここで、RAWデータに存在するエラーとは、例えばＣＣＤセンサにおけるスミアなど、センサー内での異常な電荷の発生により、光量が極端に大きくなることなどを示している。このエラー情報を現像パラメータとしてフレームに重畳することも考えられる。
【００４６】
現像パラメータを動画像フレームデータに重畳する方法としては、例えば（１）規格で定められているユーザ領域に現像パラメータを記録する方法や、（２）現像パラメータを電子透かし技術を用いて埋め込む方法がある。
【００４７】
（１）の例として、例えばMPEG方式では、データ中に作成者が自由に利用できる領域（以下、ユーザ領域）が定められている。このユーザ領域は、ストリーム全体に対するもの、GOP（Group of Picture）に対するもの、ピクチャ（フレーム）に対するものとして使用可能である。この中の、ピクチャに対するユーザ領域に、図３で示すように、用いられたRAWデータの識別情報とフレームレート変換アルゴリズムの識別情報を含めることができる。
【００４８】
このように、フレームに対するユーザ領域に現像パラメータを含めることで、動画像再生時、再生フレームごとに、どのRAWデータからどのようなフレームレート変換アルゴリズムで生成されたかを知ることができる。なお、RAWデータの識別情報であるIDは、RAWデータに付随する情報として、画像作成装置１００のRAWデータ格納部１０３にRAWデータとともに蓄積されているものとする。
【００４９】
（２）の例は、現像パラメータを動画像フレームに電子透かしとして埋め込むものである。例えば、RAWデータを現像し、現像結果を例えばHDMI（High-Definition Multimedia Interface）を通じて再生装置１１０に送信する場合、現像結果のデータにはユーザ領域が規定されていない。そのため、データの付随情報として現像パラメータを保存することができない。従って、そのような場合には、画像内に電子透かしとして現像パラメータを埋め込むことで、再生装置においてフレーム毎に現像パラメータを取得することができる。
【００５０】
このようにして、現像パラメータ重畳部１０７は、現像部１０２が出力する動画像フレーム毎に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。
なお、図３の例では、フレームレート変換アルゴリズムの識別情報が、「平均」という意味のある語で示されているが、実際には画素平均アルゴリズムに対応づけされた数値や文字(「１」、「ａ」等）が用いられるであろう。
なお、現像パラメータの種類や、重畳方法は例示であり、他のパラメータや重畳方法を用いても良い。
【００５１】
次に、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について、図４を用いて説明する。
図４において、動画像フレーム３０１は、図３に示したように、ID1からID5のRAWデータから、画素平均により作成されたものとする。
【００５２】
例えば上述した（１）又は（２）の方法により重畳された現像パラメータは、現像画像処理部１１２で抽出される。そして、画像選択信号の入力により、現像パラメータ取得制御部１１３、現像パラメータ送信部１１４および現像パラメータ取得部１０５を通じて現像画像決定部１０１へ与えられる。
【００５３】
現像画像決定部１０１は、現像パラメータから、RAWデータのID1からID5を用い、画素の平均処理によりフレームレート変換された画像が印刷対象として選択されたことを知る。この場合、選択された現像後の画像は、５フレームのRAWデータの平均から作成されているため、印刷する画像としては不適切である。
【００５４】
本実施形態において現像画像決定部１０１は、使用された５フレームのRAWデータの中から、時間的に中央に位置するRAWデータ（ID3に対応するRAWデータ）を選択する。時間的に中央に位置するRAWデータを選択する理由は、画像選択信号により指定された現像画像の特徴を最もよく示していると考えられるからである。ただし、印刷装置に適した画像をRAWデータから生成するという観点からは、必ずしも時間的に中央のRAWデータを選択する必要はない。例えば複数のRAWデータのうち、時間的に最初のものや最後のものを選択するようにしても良い。また、用いられているフレームレート変換アルゴリズムによって、選択基準を変更しても良い。
【００５５】
例えば、フレームレート変換アルゴリズムが、先に説明した重み付け平均法である場合、印刷に使用するRAWデータとして、重み付けが大きなRAWデータを採用することができる。この場合、画像の特徴を反映したRAWデータが選択されることになるので、より好ましい画像が印刷される。
【００５６】
また、例えば現像パラメータから、エラーが存在するRAWデータであると認識できる場合には、この画像を印刷のためのRAWデータとして選択しないという方法を採ることも可能となる。
【００５７】
そして、現像部１０２は、データ抽出部１０４が抽出した、印刷に用いるRAWデータを、印刷装置１２０に適した方法で、具体的には例えば印刷装置が再現可能な色空間に適合するように現像し、印刷用画像データを生成する。
【００５８】
なお、動画像フレームの元となったRAWデータから印刷用のデータを生成するという観点からすれば、フレームレート変換アルゴリズムの識別情報は必須でなく、少なくとも用いられたRAWデータの識別情報が現像パラメータとして含まれていればよい。典型的には、動画像のフレームレートがRAWデータのフレームレートと同じ場合、フレームレート変換アルゴリズムの識別情報は不要である。
【００５９】
以上説明したように、本実施形態によれば、RAWデータを現像して表示用の画像データを生成する際、動画像フレームの各々に元となったRAWデータを特定する情報を付加する。そして、印刷指示された動画像フレームに付加された現像パラメータから、元になったRAWデータを特定し、特定されたRAWデータを印刷装置に適した方法で現像して、印刷用の画像データを生成する。そのため、動画像から静止画を印刷する場合の印刷品質を向上させることが可能となる。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、現像後の動画像フレームに現像パラメータを含めていた。そのため、例えばRAWデータの現像処理と、動画像の再生処理とが連続して行われなくても、再生時に現像パラメータを参照することにより、個々の動画像フレームのソースデータの特定が可能である。
【００６１】
しかし、例えばRAWデータの現像処理と、再生装置１１０での再生とが連続して行われる場合には、現像パラメータを動画像フレームに重畳しなくても、個々の動画像フレームのソースデータを特定することが可能である。
【００６２】
図５は本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図であり、図１と類似した構成については同じ参照数字を付し、重複する説明を省略する。
現像パラメータ蓄積部１０８は、現像部１０２がRAWデータの現像に使用したパラメータ（現像パラメータ）を蓄積する。本実施形態においても、現像パラメータは第１の実施形態と同様、RAWデータの識別情報およびフレームレート変換アルゴリズムの識別情報などであってよい。
【００６３】
現像部１０２が生成する動画像フレームは、現像画像受信部１１１へ直接送信され、現像画像処理部１１２を通じて表示部１３０に表示される。また、画像選択信号が入力されると、現像パラメータ送信部１１４が現像パラメータ取得部１０５へ通知する。画像選択信号の入力があったことの通知は、現像パラメータ取得部１０５から現像画像決定部１０１に与えられる。現像画像決定部１０１は、この通知を受信すると、現像パラメータ蓄積部１０８から現像パラメータを取得する。現像部１０２が動画像フレームを出力してから、その動画像フレームに対して画像選択信号が入力され、通知が現像画像決定部１０１で受信されるまでに必要な時間が１フレーム周期よりも短ければ、取得する現像パラメータは直近の現像パラメータでよい。いずれにせよ、タイムラグはほぼ一定であると考えられるので、現像画像決定部１０１で通知が受信された時点で、画像選択信号に対応した動画像フレームの現像パラメータを現像パラメータ蓄積部１０８から取得することが可能である。
【００６４】
現像パラメータを取得した後の動作は、第１の実施形態と同様であるため、説明を省略する。
以上説明したように、本実施形態によれば、より簡便な構成で、第１の実施形態と同様の効果を得ることができる。
【００６５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００６７】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６８】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００６９】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００７０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００７１】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における、印刷用画像の作成動作について説明するフローチャートである。
【図３】本発明の第１の実施形態における現像パラメータと、その重畳方法について説明する図である。
【図４】本発明の第１の実施形態において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について説明する図である。
【図５】本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図６】RAWデータと、現像および情報圧縮された画像（例としてJPEG画像）との特徴を比較した図である。
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特には動画像から静止画を印刷するための画像データを生成するための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像中の気に入ったシーンを印刷すると、印刷物の画質が低いという課題があった。これは、一般に動画像コンテンツを構成する各フレームの画質が、静止状態で観賞されることを想定したものでなく、１/３０から１/１５秒程度の表示を前提としていることによる。
【０００３】
例えば、MPEG（Moving Picture Expert Group）方式で符号化された動画像内のある１フレームを印刷する際には、フレーム間予測符号化された画像では画質劣化が大きいと考えられる。そのため、フレーム内符号化された画像を選択して印刷することで画質の向上を図ることが考えられる。しかし、フレーム内符号化された画像であっても、画像の情報が符号化時に削減されていることには違いがないので、印刷して静止画として観賞するに足りる画質ではない。そのため、印刷物として観賞するに足りる品質の画像印刷結果を提供することができなかった。
【０００４】
このような問題に対処する方法として、特許文献１では、符号化時に削減した画像の色情報を、動画像とは別に補助情報として記録しておき、印刷時に補助情報を用いて色情報を追加することで、印刷画像の画質を向上させることが提案されている。
【０００５】
一方、デジタルカメラにおける撮像データは、主に記録媒体の容量を節約する目的で圧縮符号化した形式で記録されるのが一般的であったが、最近では記録媒体の大容量化などを背景として、RAWデータを記録可能なものも増えてきている。
【０００６】
RAWデータとはCCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサで記録される画像情報をそのままの状態で保存するデータ形式である。RAWデータは、ホワイトバランス調整、色空間変換などの画像調整を実施する前のデータであるため、JPEG（Joint Photographic Expert Group）形式のデータのような、画像調整後のデータとは異なる特徴を持つ。図６に、RAWデータとJPEGデータとの比較を示す。
【０００７】
また、RAWデータから、画像として認識できる形式のデータを作成する処理を、フィルムの現像になぞらえて、「現像処理」と呼ぶ。一般的なRAWデータの現像処理は、以下に示す処理を含む。
・ ビット数変換処理
・ フレームレート変換
・ 色空間処理
・ 露出補正
・ ホワイトバランス調整（色温度変更）
【０００８】
RAWデータは現像前のデータであるため、例えば現像処理の工程のひとつであるホワイトバランス調整を、異なるパラメータ値を用いて行うことができる。従って、撮影後に、異なる色温度でホワイトバランス調整した複数の画像出力を容易に得ることが可能である。
【０００９】
またRAWデータは情報圧縮されていない状態で記録されているため、圧縮符号化による画質劣化が存在しない。一方、JPEGデータは現像後の画像を圧縮符号化したものであるため、既に画質劣化が生じている。さらに、JPEGデータに補正を行ったのち、補正後のJPEGデータを生成する際にも画質の劣化が発生する。
【００１０】
よって、RAWデータを記録することで、ユーザは、所望の画像調整を画質劣化を伴うことなく実行し、気に入った結果を複数種、かつ容易に得ることができる。このようにRAWデータを記録することには大きな利点がある反面、RAWデータは情報圧縮しないことで画像１枚当たりのデータ量がJPEGデータよりもかなり多くなる。そのため、現在、RAWデータの記録は静止画記録時のみサポートされている。しかし、記録媒体のさらなる大容量化記録処理の高速化などが進むにつれ、動画像撮影時にRAWデータ記録が可能になることが予想される。
【００１１】
【特許文献１】特開平１０−１３７７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１記載の技術では、動画像作成時に各フレームに現像処理を施したのち、その後の圧縮過程における色情報削減分を保持しているのみである。従って、例えば、現像過程で固定された色空間情報は変更することができず、色空間を拡大する作業を行うことができない。
【００１３】
動画像を再生することが可能な色空間と、印刷装置が印刷可能な色空間は同一であるとは限らず、後者の色空間の方が広い場合には、現像後の動画像を印刷しても、適切な印刷結果が得られない可能性がある。
【００１４】
本発明はこのような従来技術の課題に鑑みてなされたものであり、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述の目的は、複数フレームのRAWデータを格納する格納手段と、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳手段と、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報を抽出する画像処理手段と、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像印刷指示に対応する動画像フレームに重畳されていたRAWデータの識別情報を画像処理手段から取得する取得手段と、取得手段が取得したRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、現像手段は、決定手段が決定したRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置によって達成される。
【００１６】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段と、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積する蓄積手段と、動画像データを復号化して表示装置に出力する画像処理手段と、画像印刷指示の入力に応答して、画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を蓄積手段から取得する取得手段と、取得手段が取得したRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定手段とを有し、現像手段は、決定手段が決定したRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置によっても達成される。
【００１７】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳ステップと、動画像データを復号化して表示装置に出力するとともに、動画像データを構成する動画像フレームに重畳されたRAWデータの識別情報を抽出する画像処理ステップと、画像印刷指示の入力を検出すると、動画像データを構成する動画像フレームのうち、画像処理ステップにおいて画像印刷指示に対応する動画像フレームから抽出したRAWデータの識別情報を取得する取得ステップと、取得ステップで取得されたRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、決定ステップで決定されたRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【００１８】
また、上述の目的は、複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、格納手段から時系列で読み出されたRAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積部に蓄積する蓄積ステップと、動画像データを復号化して表示装置に出力する画像処理ステップと、画像印刷指示の入力に応答して、画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を蓄積部から取得する取得ステップと、取得ステップで取得されたRAWデータの識別情報から特定される、格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定ステップと、決定ステップで決定されたRAWデータに印刷装置用の現像を行い、画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１９】
このような構成により本発明によれば、動画像から静止画を印刷する際に、印刷に適した画像データを生成可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して、本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態において、画像処理装置は、画像作成装置１００及び再生装置１１０とから構成される。
【００２１】
画像作成装置１００は、RAWデータを印刷可能な画像データに現像し、現像結果（現像画像）を印刷装置１２０に提供する。また、画像作成装置１００は、動画像撮影時に各フレームのRAWデータを現像し、現像後の動画像データを再生装置１１０に提供する。
【００２２】
画像作成装置１００において、現像画像決定部１０１は、印刷に使用するRAWデータを決定する。具体的には、後述する現像パラメータ取得部１０５から、印刷する静止画を特定するための現像パラメータを取得し、各種現像パラメータの情報を元に印刷に使用するRAWデータを特定する。現像パラメータ取得部１０５から取得する現像パラメータとは、再生装置１１０で再生処理を行う動画像データを作成する際に使用したRAWデータの識別情報（例えば画像番号）や、フレームレート変換アルゴリズムの識別情報などである。
【００２３】
現像部１０２は、RAWデータの現像処理および、現像後の画像をJPEGデータやMPEGデータに変換する非可逆な圧縮符号化処理を行う。現像部１０２が現像するRAWデータは、後述するRAWデータ格納部１０３より、時系列に従って、データ抽出部１０４を経て送出される。
【００２４】
RAWデータ格納部１０３は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置（図示せず）で撮影されたRAWデータを複数フレーム分格納する。RAWデータは、撮像装置から撮影時に転送されてきても良いし、撮像装置で一旦メモリカード等に記録されたRAWデータであってもよい。RAWデータはデータ量が多いため、RAWデータ格納部１０３は記憶容量の多い記憶装置であることが好ましく、例えばHDD（Hard Disk Drive）やDVDドライブなどによって実現される。
【００２５】
現像画像決定部１０１は、データ抽出部１０４に対して、印刷に使用するRAWデータを指定する。データ抽出部１０４は、現像画像決定部１０１で決定されたRAWデータを、RAWデータ格納部１０３から抽出する。データ抽出部１０４はRAWデータ格納部１０３からRAWデータを現像部１０２に転送する。
【００２６】
現像パラメータ取得部１０５は、再生装置１１０の現像パラメータ送信部１１４より送信される現像パラメータを取得する。この現像パラメータは、後述するように、ユーザが印刷を希望した画像に対応する現像パラメータである。
【００２７】
現像パラメータ抽出部１０６は、再生装置１１０で再生される動画像を構成するフレームの現像パラメータを現像部１０２より取得する。現像部１０２から取得した現像パラメータは、後述する現像パラメータ重畳部１０７により、現像画像内に重畳される。
【００２８】
現像パラメータ重畳部１０７は、現像部１０２より出力される現像画像（フレーム）に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。具体的には、現像パラメータ重畳部１０７は、現像されたフレーム画像のデータに、使用された現像パラメータを埋め込む。再生装置１１０に出力される動画像フレームの各々に現像パラメータ重畳部１０７で現像パラメータが重畳されることにより、再生装置１１０内において任意の動画像フレームに対する現像パラメータの取得が可能となる。
【００２９】
次に、再生装置１１０を構成する各部について説明する。
現像画像受信部１１１は、画像作成装置１００で作成された動画像データを取得する。
現像画像処理部１１２は、現像画像受信部１１１により受信された動画像データを、再生可能な形式に変換する。現像画像処理部１１２は、具体的には復号化器（ここではMPEGデコーダ）である。現像画像処理部１１２は、再生可能な形式に変換した動画像を、外部に接続された表示部１３０に出力する。これにより、ユーザは動画像を視聴することが可能となる。また、現像画像処理部１１２は、表示部１３０に出力する動画像の各フレームについて、埋め込まれている現像パラメータを抽出し、逐次現像パラメータ取得制御部１１３へ出力する。
【００３０】
再生装置１１０が再生し、表示部１３０に表示中の動画像を視聴するユーザが、例えば印刷したいタイミングにリモコンの決定ボタンを押下すると、画像印刷指示である画像選択信号が現像パラメータ取得制御部１１３によって検出される。
【００３１】
現像パラメータ取得制御部１１３は、画像選択信号が入力された際に現像画像処理部１１２から与えられた現像パラメータを取得する。あるいは、現像パラメータ取得制御部１１３は、画像選択信号の入力に応答して現像画像処理部１１２に現像パラメータを要求し、この要求に応答して現像画像処理部１１２から現像パラメータ取得制御部１１３へ現像パラメータを出力しても良い。
【００３２】
現像パラメータ取得制御部１１３は、現像画像処理部１１２から得た現像パラメータを、画像選択信号に対応する画像の現像パラメータ（すなわち、ユーザが印刷を希望した画像の現像パラメータ）として現像パラメータ送信部１１４へ出力する。
現像パラメータ送信部１１４は、現像パラメータ取得制御部１１３から受信した現像パラメータを、画像作成装置１００へ送信する。
【００３３】
（印刷用画像データの作成処理）
次に図２に示すフローチャートを用いて、本実施形態の画像処理装置における、印刷用画像データの作成動作について説明する。
ここでは、RAWデータ格納部１０３に格納されたRAWデータを現像部１０２で現像し、現像パラメータの重畳を行った動画像データが画像作成装置１００から再生装置１１０へ供給され、表示部１３０で動画像の表示が行われている状態であるとする。
【００３４】
まず、Ｓ２０１では、現像パラメータ取得制御部１１３が、画像選択信号の入力を待機している。
表示部１３０で表示される、現像された動画像を視聴中に、ユーザが印刷を希望するシーンにおいてリモコンの決定ボタンを押下する等により画像選択信号が現像パラメータ取得制御部１１３へ与えられる。
【００３５】
画像選択信号の入力を検出すると、現像パラメータ取得制御部１１３は、現像画像処理部１１２から、画像選択信号の入力タイミングに応じたフレーム画像の現像パラメータを取得する（Ｓ２０２）。ここで取得する現像パラメータは、例えば、画像選択信号で指定された動画像フレームの生成に用いられたRAWデータの識別情報（例えば画像番号）及び、動画像フレームの作成時に使用されたフレームレート変換アルゴリズムの識別情報などである。
【００３６】
現像パラメータ取得制御部１１３により取得された現像パラメータは、現像パラメータ送信部１１４により、画像作成装置１００へ送信される（Ｓ２０３）。
現像パラメータ取得後、画像作成装置１００は、送信された現像パラメータから、印刷に使用するRAWデータを現像画像決定部１０１により決定する（Ｓ２０４）。この決定処理については後述する。
【００３７】
現像画像決定部１０１は、決定したRAWデータの識別情報（例えば画像番号）を、データ抽出部１０４へ出力する。また、現像画像決定部１０１は、現像部１０２に対し、印刷装置１２０に適した形式で現像を行うよう指示する。データ抽出部１０４は、現像画像決定部１０１からの情報に基づき、RAWデータをRAWデータ格納部１０３から読み出し、現像部１０２へ出力する（Ｓ２０５）。
【００３８】
現像部１０２は、データ抽出部１０４から得たRAWデータを、外部に接続された印刷装置１２０に適した形式で現像し、印刷用画像データを生成する（Ｓ２０６）。印刷装置用の現像は、例えばRAWデータの色空間を印刷装置１２０の再現可能な色空間へ変換する色空間変換処理を含む。そして、現像部１０２は、印刷用画像データを印刷装置１２０に出力する（Ｓ２０７）。印刷装置１２０は、現像部１０２から供給される印刷用画像データを用いて印刷処理を実行する。
【００３９】
次に、動画像フレームから印刷に使用するRAWデータを特定することを可能にする、現像パラメータ重畳部１０７における現像パラメータの重畳方法について説明する。
【００４０】
図３は、RAWデータから現像部１０２が作成する動画像フレームに、使用したRAWデータの識別情報としての画像番号と、フレームレート変換アルゴリズムの識別情報とを、現像パラメータとして重畳する方法を説明するための図である。
【００４１】
図３に示す例において、RAWデータは３００fps（frame per second）のフレームレートを有するものと仮定する。通常、表示可能なフレームレートは表示部１３０の表示特性に依存するため、現像時に表示装置に適したフレームレートに変換されるのが一般的である。図３の例では、現像部１０２は、３００fpsのRAWデータを６０fpsのフレームレートに変換する。また、この際、フレームレートの変換に使用するアルゴリズムは、連続する５フレームの画素を平均して１フレームを作成するアルゴリズムとする。また、RAWデータにはフレーム毎に固有のIDが割り振られていると仮定する。
【００４２】
例えば現像後の動画像フレーム３０１は、ID1からID5までのRAWデータを用い、ID1からID5のRAWデータの画素値を平均するアルゴリズムにより得られている。従って、用いられたRAWデータ（ソースデータ）の識別情報と、フレームレート変換に用いられたアルゴリズムの識別情報を、現像パラメータとして動画像フレーム３０１のデータに重畳する。また、図３に示すように、ソースデータの数（フレーム数）を現像パラメータとして含めてもよい。
【００４３】
なお、ここでは、動画像のフレームレート変換方法として、画素値を平均化する方法についてのみ説明したが、他のフレームレート変換方法であってもよい。例えば、元となるRAWデータの画素値に重み付けをして加算合成する、重み付け平均法がある。重み付けの方法としては、例えば時間的に中央に位置するRAWデータの画素値の重みを多くしたり、エラーが存在するRAWデータの画素値は重み付けを低くしたりすることができる。また、フレーム全体に一律に重み付けしても良いし、フレーム内の領域に応じて異なる重み付けをしてもよい。
【００４４】
その他の方法として、合成処理を行なわず、元となる複数のRAWデータの中から特定の１つを選択して現像してフレームレート変換後の画像フレームとするフレーム選択法もある。フレーム選択法では、元となる（選択候補の）複数のRAWデータにエラーが存在するRAWデータが含まれている場合、エラーが存在するRAWデータは選択しないことが可能となるため、フレームレート変換後の画像フレームの画質を向上させることができる。
【００４５】
なお、ここで、RAWデータに存在するエラーとは、例えばＣＣＤセンサにおけるスミアなど、センサー内での異常な電荷の発生により、光量が極端に大きくなることなどを示している。このエラー情報を現像パラメータとしてフレームに重畳することも考えられる。
【００４６】
現像パラメータを動画像フレームデータに重畳する方法としては、例えば（１）規格で定められているユーザ領域に現像パラメータを記録する方法や、（２）現像パラメータを電子透かし技術を用いて埋め込む方法がある。
【００４７】
（１）の例として、例えばMPEG方式では、データ中に作成者が自由に利用できる領域（以下、ユーザ領域）が定められている。このユーザ領域は、ストリーム全体に対するもの、GOP（Group of Picture）に対するもの、ピクチャ（フレーム）に対するものとして使用可能である。この中の、ピクチャに対するユーザ領域に、図３で示すように、用いられたRAWデータの識別情報とフレームレート変換アルゴリズムの識別情報を含めることができる。
【００４８】
このように、フレームに対するユーザ領域に現像パラメータを含めることで、動画像再生時、再生フレームごとに、どのRAWデータからどのようなフレームレート変換アルゴリズムで生成されたかを知ることができる。なお、RAWデータの識別情報であるIDは、RAWデータに付随する情報として、画像作成装置１００のRAWデータ格納部１０３にRAWデータとともに蓄積されているものとする。
【００４９】
（２）の例は、現像パラメータを動画像フレームに電子透かしとして埋め込むものである。例えば、RAWデータを現像し、現像結果を例えばHDMI（High-Definition Multimedia Interface）を通じて再生装置１１０に送信する場合、現像結果のデータにはユーザ領域が規定されていない。そのため、データの付随情報として現像パラメータを保存することができない。従って、そのような場合には、画像内に電子透かしとして現像パラメータを埋め込むことで、再生装置においてフレーム毎に現像パラメータを取得することができる。
【００５０】
このようにして、現像パラメータ重畳部１０７は、現像部１０２が出力する動画像フレーム毎に、現像パラメータ抽出部１０６から与えられる現像パラメータを重畳する。
なお、図３の例では、フレームレート変換アルゴリズムの識別情報が、「平均」という意味のある語で示されているが、実際には画素平均アルゴリズムに対応づけされた数値や文字(「１」、「ａ」等）が用いられるであろう。
なお、現像パラメータの種類や、重畳方法は例示であり、他のパラメータや重畳方法を用いても良い。
【００５１】
次に、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について、図４を用いて説明する。
図４において、動画像フレーム３０１は、図３に示したように、ID1からID5のRAWデータから、画素平均により作成されたものとする。
【００５２】
例えば上述した（１）又は（２）の方法により重畳された現像パラメータは、現像画像処理部１１２で抽出される。そして、画像選択信号の入力により、現像パラメータ取得制御部１１３、現像パラメータ送信部１１４および現像パラメータ取得部１０５を通じて現像画像決定部１０１へ与えられる。
【００５３】
現像画像決定部１０１は、現像パラメータから、RAWデータのID1からID5を用い、画素の平均処理によりフレームレート変換された画像が印刷対象として選択されたことを知る。この場合、選択された現像後の画像は、５フレームのRAWデータの平均から作成されているため、印刷する画像としては不適切である。
【００５４】
本実施形態において現像画像決定部１０１は、使用された５フレームのRAWデータの中から、時間的に中央に位置するRAWデータ（ID3に対応するRAWデータ）を選択する。時間的に中央に位置するRAWデータを選択する理由は、画像選択信号により指定された現像画像の特徴を最もよく示していると考えられるからである。ただし、印刷装置に適した画像をRAWデータから生成するという観点からは、必ずしも時間的に中央のRAWデータを選択する必要はない。例えば複数のRAWデータのうち、時間的に最初のものや最後のものを選択するようにしても良い。また、用いられているフレームレート変換アルゴリズムによって、選択基準を変更しても良い。
【００５５】
例えば、フレームレート変換アルゴリズムが、先に説明した重み付け平均法である場合、印刷に使用するRAWデータとして、重み付けが大きなRAWデータを採用することができる。この場合、画像の特徴を反映したRAWデータが選択されることになるので、より好ましい画像が印刷される。
【００５６】
また、例えば現像パラメータから、エラーが存在するRAWデータであると認識できる場合には、この画像を印刷のためのRAWデータとして選択しないという方法を採ることも可能となる。
【００５７】
そして、現像部１０２は、データ抽出部１０４が抽出した、印刷に用いるRAWデータを、印刷装置１２０に適した方法で、具体的には例えば印刷装置が再現可能な色空間に適合するように現像し、印刷用画像データを生成する。
【００５８】
なお、動画像フレームの元となったRAWデータから印刷用のデータを生成するという観点からすれば、フレームレート変換アルゴリズムの識別情報は必須でなく、少なくとも用いられたRAWデータの識別情報が現像パラメータとして含まれていればよい。典型的には、動画像のフレームレートがRAWデータのフレームレートと同じ場合、フレームレート変換アルゴリズムの識別情報は不要である。
【００５９】
以上説明したように、本実施形態によれば、RAWデータを現像して表示用の画像データを生成する際、動画像フレームの各々に元となったRAWデータを特定する情報を付加する。そして、印刷指示された動画像フレームに付加された現像パラメータから、元になったRAWデータを特定し、特定されたRAWデータを印刷装置に適した方法で現像して、印刷用の画像データを生成する。そのため、動画像から静止画を印刷する場合の印刷品質を向上させることが可能となる。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、現像後の動画像フレームに現像パラメータを含めていた。そのため、例えばRAWデータの現像処理と、動画像の再生処理とが連続して行われなくても、再生時に現像パラメータを参照することにより、個々の動画像フレームのソースデータの特定が可能である。
【００６１】
しかし、例えばRAWデータの現像処理と、再生装置１１０での再生とが連続して行われる場合には、現像パラメータを動画像フレームに重畳しなくても、個々の動画像フレームのソースデータを特定することが可能である。
【００６２】
図５は本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図であり、図１と類似した構成については同じ参照数字を付し、重複する説明を省略する。
現像パラメータ蓄積部１０８は、現像部１０２がRAWデータの現像に使用したパラメータ（現像パラメータ）を蓄積する。本実施形態においても、現像パラメータは第１の実施形態と同様、RAWデータの識別情報およびフレームレート変換アルゴリズムの識別情報などであってよい。
【００６３】
現像部１０２が生成する動画像フレームは、現像画像受信部１１１へ直接送信され、現像画像処理部１１２を通じて表示部１３０に表示される。また、画像選択信号が入力されると、現像パラメータ送信部１１４が現像パラメータ取得部１０５へ通知する。画像選択信号の入力があったことの通知は、現像パラメータ取得部１０５から現像画像決定部１０１に与えられる。現像画像決定部１０１は、この通知を受信すると、現像パラメータ蓄積部１０８から現像パラメータを取得する。現像部１０２が動画像フレームを出力してから、その動画像フレームに対して画像選択信号が入力され、通知が現像画像決定部１０１で受信されるまでに必要な時間が１フレーム周期よりも短ければ、取得する現像パラメータは直近の現像パラメータでよい。いずれにせよ、タイムラグはほぼ一定であると考えられるので、現像画像決定部１０１で通知が受信された時点で、画像選択信号に対応した動画像フレームの現像パラメータを現像パラメータ蓄積部１０８から取得することが可能である。
【００６４】
現像パラメータを取得した後の動作は、第１の実施形態と同様であるため、説明を省略する。
以上説明したように、本実施形態によれば、より簡便な構成で、第１の実施形態と同様の効果を得ることができる。
【００６５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６６】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００６７】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６８】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００６９】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００７０】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００７１】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における、印刷用画像の作成動作について説明するフローチャートである。
【図３】本発明の第１の実施形態における現像パラメータと、その重畳方法について説明する図である。
【図４】本発明の第１の実施形態において、現像パラメータが重畳されている画像データから、印刷する画像を特定する方法について説明する図である。
【図５】本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図６】RAWデータと、現像および情報圧縮された画像（例としてJPEG画像）との特徴を比較した図である。
【特許請求の範囲】
【請求項１】
複数フレームのRAWデータを格納する格納手段と、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳手段と、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報を抽出する画像処理手段と、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像印刷指示に対応する動画像フレームに重畳されていた前記RAWデータの識別情報を前記画像処理手段から取得する取得手段と、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、
前記現像手段は、前記決定手段が決定したRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置。
【請求項２】
前記現像手段が、前記RAWデータのフレームレートを、前記表示装置に応じたフレームレートに変換して前記動画像データを生成するとともに、
前記重畳手段が、前記動画像フレームの生成に用いられたRAWデータの識別情報に加え、前記フレームレートの変換に用いた変換アルゴリズムの識別情報を前記動画像データを構成する動画像フレームの各々に重畳し、
前記画像処理手段は、さらに前記変換アルゴリズムの識別情報を抽出し、
前記取得手段は、さらに前記変換アルゴリズムの識別情報を前記画像処理手段から取得し、
前記決定手段は、前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータと、前記取得手段が取得した前記変換アルゴリズムの識別情報とから、印刷用の画像データを生成させるRAWデータを決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
複数フレームのRAWデータを格納する格納手段と、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積する蓄積手段と、
前記動画像データを復号化して表示装置に出力する画像処理手段と、
画像印刷指示の入力に応答して、前記画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を前記蓄積手段から取得する取得手段と、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定手段とを有し、
前記現像手段は、前記決定手段が決定したRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置。
【請求項４】
前記印刷装置用の現像が、前記RAWデータの色空間を、前記印刷装置が再現可能な色空間へ変換する色空間変換処理を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳ステップと、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報を抽出する画像処理ステップと、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像処理ステップにおいて前記画像印刷指示に対応する動画像フレームから抽出した前記RAWデータの識別情報を取得する取得ステップと、
前記取得ステップで取得された前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、
前記決定ステップで決定されたRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項６】
複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積部に蓄積する蓄積ステップと、
前記動画像データを復号化して表示装置に出力する画像処理ステップと、
画像印刷指示の入力に応答して、前記画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を前記蓄積部から取得する取得ステップと、
前記取得ステップで取得された前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定ステップと、
前記決定ステップで決定されたRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１】
複数フレームのRAWデータを格納する格納手段と、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳手段と、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報を抽出する画像処理手段と、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像印刷指示に対応する動画像フレームに重畳されていた前記RAWデータの識別情報を前記画像処理手段から取得する取得手段と、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定手段とを有し、
前記現像手段は、前記決定手段が決定したRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置。
【請求項２】
前記現像手段が、前記RAWデータのフレームレートを、前記表示装置に応じたフレームレートに変換して前記動画像データを生成するとともに、
前記重畳手段が、前記動画像フレームの生成に用いられたRAWデータの識別情報に加え、前記フレームレートの変換に用いた変換アルゴリズムの識別情報を前記動画像データを構成する動画像フレームの各々に重畳し、
前記画像処理手段は、さらに前記変換アルゴリズムの識別情報を抽出し、
前記取得手段は、さらに前記変換アルゴリズムの識別情報を前記画像処理手段から取得し、
前記決定手段は、前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータと、前記取得手段が取得した前記変換アルゴリズムの識別情報とから、印刷用の画像データを生成させるRAWデータを決定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
複数フレームのRAWデータを格納する格納手段と、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像手段と、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積する蓄積手段と、
前記動画像データを復号化して表示装置に出力する画像処理手段と、
画像印刷指示の入力に応答して、前記画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を前記蓄積手段から取得する取得手段と、
前記取得手段が取得した前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定手段とを有し、
前記現像手段は、前記決定手段が決定したRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成することを特徴とする画像処理装置。
【請求項４】
前記印刷装置用の現像が、前記RAWデータの色空間を、前記印刷装置が再現可能な色空間へ変換する色空間変換処理を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を重畳する重畳ステップと、
前記動画像データを復号化して表示装置に出力するとともに、前記動画像データを構成する動画像フレームに重畳された前記RAWデータの識別情報を抽出する画像処理ステップと、
画像印刷指示の入力を検出すると、前記動画像データを構成する動画像フレームのうち、前記画像処理ステップにおいて前記画像印刷指示に対応する動画像フレームから抽出した前記RAWデータの識別情報を取得する取得ステップと、
前記取得ステップで取得された前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成するためのRAWデータを決定する決定ステップと、
前記決定ステップで決定されたRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項６】
複数フレームのRAWデータを格納する格納手段を有する画像処理装置の制御方法であって、
前記格納手段から時系列で読み出された前記RAWデータを現像し、圧縮符号化して動画像データを生成する現像ステップと、
前記動画像データを構成する動画像フレームの各々に対し、動画像フレームの生成に用いられたRAWデータの識別情報を蓄積部に蓄積する蓄積ステップと、
前記動画像データを復号化して表示装置に出力する画像処理ステップと、
画像印刷指示の入力に応答して、前記画像印刷指示に対応する動画像フレームの生成に用いられたRAWデータの識別情報を前記蓄積部から取得する取得ステップと、
前記取得ステップで取得された前記RAWデータの識別情報から特定される、前記格納手段に格納されたRAWデータから、印刷用の画像データを生成させるRAWデータを決定する決定ステップと、
前記決定ステップで決定されたRAWデータに印刷装置用の現像を行い、前記画像印刷指示に対する印刷用画像データを生成する生成ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公開番号】特開２００９−１３０７４１（Ｐ２００９−１３０７４１Ａ）
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００７−３０５０６９（Ｐ２００７−３０５０６９）
【出願日】平成１９年１１月２６日（２００７．１１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成１９年１１月２６日（２００７．１１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]