画像処理装置およびその制御方法
【課題】 装置の能力に応じた特性を有する現像後の動画像データを生成することが可能な画像処理装置を提供する。
【解決手段】 接続された表示装置の能力に関する能力情報を取得する(Ｓ６０１）。そして、取得した能力情報に基づいて、動画像RAWデータを現像処理するための現像パラメータを決定し、現像処理を行う（Ｓ６０２，Ｓ２０４）。そして、現像処理された動画像データを表示装置に出力する。
【解決手段】 接続された表示装置の能力に関する能力情報を取得する(Ｓ６０１）。そして、取得した能力情報に基づいて、動画像RAWデータを現像処理するための現像パラメータを決定し、現像処理を行う（Ｓ６０２，Ｓ２０４）。そして、現像処理された動画像データを表示装置に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に動画像の編集や編集された動画像の再生を行うための画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
デジタル（ビデオ）カメラなどの普及や、パーソナルコンピュータの性能向上などにより、動画像の編集が一般的に行われるようになってきている。動画像の編集を行った場合、編集後の動画像のみを保存すると、元の動画像（編集されていない動画像）が失われてしまう。
【０００３】
そのため特許文献１に記載の技術では、元の動画像データとは別に、元の動画像データの編集部分に対応する動画像データを別途記録し、再生時に元の動画像データと編集後の動画像データを選択的に再生可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-286826号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術によれば、元の動画像データと編集後の動画像データとを選択的に再生、表示可能であるが、再生される動画像データの品質は、元の動画像データの品質、より具体的には元の動画像データの現像処理時のパラメータによって決定される。
【０００６】
通常、CCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置では、RAWデータを現像処理して画像データを生成する。RAWデータとはCCDセンサやCMOSセンサで得られた画像情報を保持したデータ形式である。RAWデータは、ホワイトバランス調整、色空間変換などの画像調整や、不可逆圧縮符号化を実施する前のデータである。そのため、これらの処理が行われているJPEG（Joint Photographic Expert Group）形式やMPEG(Moving Picture Expert Group)形式の画像データとは異なる特徴を持つ。図１０に、RAWデータと現像され圧縮された画像の一例としてのJPEG画像データとの比較を示す。
【０００７】
また、RAWデータからJPEG形式などの画像データを作成する処理を現像処理と呼ぶ。一般的な現像処理には例えば以下に示す処理が含まれる。
・ ビット数（色深度）変換処理
・ フレームレート変換処理
・ 色空間処理
・ 露出補正処理
・ ホワイトバランス調整（色温度変更）処理
【０００８】
上述の通り、RAWデータはセンサから得られる画像情報を保持したデータであるため、異なるホワイトバランス調整処理を適用すれば、画像情報を維持したまま異なる処理結果を得ることができる。しかし、JPEG/MPEG画像データのように現像処理後の画像はRAWデータに戻れないので、同じ画像編集処理を適用しても、RAWデータから得た結果よりも画質が低下することは原理的に不可避である。そのため、現像後の動画像データが元画像データとして記録されている場合、ホワイトバランスや色空間などを変更した編集後の動画像データを生成すると、画質が低下してしまう。
【０００９】
また、例えば、撮像素子がHD(High Definition)の解像度を有していても、SD（Standard Definition）で現像処理された動画像データが元画像データとして記録されている場合には、SDの解像度以上の情報量を得ることはできない。また、sRGBの色空間で現像された画像データは、sRGB色空間の再現範囲を超える色情報を持つことはできない。
そのため、例えばHD解像度やsRGBを超える再現範囲を有する色空間での再生、表示が可能な装置で再生、表示しても、装置の能力を十分に活かすことができない。
【００１０】
本発明はこのような従来技術の問題点に鑑みなされたものであり、装置の能力に応じた特性を有する現像後の動画像データを生成することが可能な画像処理装置およびその制御方法を提供する。
【課題を解決するための手段】
【００１１】
上述の目的は、格納手段に格納された動画像RAWデータを読み出す再生手段と、接続された表示装置から、表示装置の能力に関する能力情報を取得する取得手段と、取得手段により取得された能力情報に基づいて現像パラメータを決定し、現像パラメータを用いて、再生手段により読み出された動画像RAWデータを現像処理する現像手段と、現像手段により現像処理された動画像データを表示装置に出力する出力手段とを備え、表示装置として第１の表示装置が接続された場合、現像手段は、取得手段により第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて動画像RAWデータを現像処理し、出力手段は、第１の現像パラメータを用いて現像処理された動画像データを第１の表示装置に出力し、表示装置として第１の表示装置とは異なる第２の表示装置が接続された場合、現像手段は、取得手段により第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて動画像RAWデータを現像処理し、出力手段は、第２の現像パラメータを用いて現像処理された動画像データを第２の表示装置に出力する、ことを特徴とする画像処理装置によって達成される。
【００１２】
また、上述の目的は、画像処理装置の制御方法であって、再生手段が、格納手段に格納された動画像RAWデータを読み出す再生ステップと、取得手段が、接続された表示装置から、表示装置の能力に関する能力情報を取得する取得ステップと、現像手段が、取得ステップで取得された能力情報に基づいて現像パラメータを決定し、現像パラメータを用いて、再生ステップで読み出された動画像RAWデータを現像処理する現像ステップと、出力手段が、現像ステップで現像処理された動画像データを表示装置に出力する出力ステップとを備え、表示装置として第１の表示装置が接続された場合、現像ステップにおいて現像手段は、取得ステップで第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて動画像RAWデータを現像処理し、出力ステップにおいて出力手段は、第１の現像パラメータを用いて現像処理された動画像データを第１の表示装置に出力し、表示装置として第１の表示装置とは異なる第２の表示装置が接続された場合、現像ステップにおいて現像手段は、取得ステップで第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて動画像RAWデータを現像処理し、出力ステップにおいて出力手段は、第２の現像パラメータを用いて現像処理された動画像データを第２の表示装置に出力する、ことを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１３】
このような構成により、本発明によれば、装置の能力に応じた特性を有する現像後の動画像データを生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における現像処理動作を説明するフローチャートである。
【図３】本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係る画像処理装置におけるエディットリスト作成処理動作について説明するフローチャートである。
【図５】本発明の第３の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図６】本発明の第３の実施形態に係る画像処理装置における現像処理動作について説明するフローチャートである。
【図７】本発明の第３の実施形態に係る画像処理装置における現像パラメータの決定例を説明する図である。
【図８】本発明の第３の実施形態に係る画像処理装置における現像パラメータの別の決定例を説明する図である。
【図９】本発明の第３の実施形態に係る画像処理装置における現像パラメータのさらに別の決定例を説明する図である。
【図１０】RAWデータと、現像され圧縮された画像の一例としてのJPEG画像との特徴を比較した図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を使用して本発明の好適かつ例示的な実施形態を詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
本実施形態の画像処理装置１００は、RAWデータを再生可能な画像形式に現像し、その結果を光ディスクやメモリカード等のストレージデバイスに記録する装置であり、例えばPC、DVD-HDDレコーダ、デジタルビデオカメラ等であってよい。
【００１６】
現像部１０１は、RAWデータを現像し、JPEG画像やMPEG画像に変換する。現像部１０１が変換するRAWデータは、後述するRAWデータ格納部１０２より、データ抽出部１０４を経て供給される。
【００１７】
RAWデータ格納部１０２は、元の動画像データとしてのRAWデータを格納する記憶装置であり、HDD（Hard Disk Drive）や、光ディスク、メモリカード等のリムーバブルメディアを読み取り可能な装置であってよい。RAWデータはデジタルスチルカメラやデジタルビデオカメラ等の撮像装置で撮影されたものである。RAWデータは、撮像装置から直接RAWデータ格納部１０２へ取り込んだり、RAWデータが記録されたリムーバブルメディアをRAWデータ格納部１０２へ装着したりすることで、画像処理装置１００が処理可能な状態とすることができる。本実施形態において、RAWデータは所定のフレームレート（例えば３０ｆｐｓ）で記録された動画像RAWデータであるとする。
【００１８】
編集情報格納手段としてのエディットリスト格納部１０３は、RAWデータに対する編集結果が記載されたエディットリストを格納する。エディットリストは動画像RAWデータの編集情報であり、具体的には再生区間を示す情報（再生開始位置、再生終了位置の少なくとも１組）、フレーム内の再生領域を指定する情報（切り出し位置）などを格納するリストである。本実施形態においては、一つの編集結果に対し一つのエディットリストが対応付けられており、RAWデータに対する編集結果が複数ある場合、エディットリストも複数となる。
【００１９】
エディットリストにはRAWデータの再生区間の情報以外に、編集した日付、ユーザなどの情報も格納される。なお、本実施形態においては、エディットリストは予めエディットリスト格納部１０３に記憶されているものとする。エディットリストは、RAWデータと同様に外部装置から取得するすることも可能であるし、後述する実施形態で説明するように、画像処理装置において生成することもできる。
【００２０】
データ抽出部１０４は、エディットリスト格納部１０３に格納されているエディットリストから、再生開始位置、再生終了位置などを読み出し、エディットリストに対応した再生に必要なRAWデータをRAWデータ格納部１０２から抽出する。データ抽出部１０４が抽出しRAWデータは、現像部１０１に供給され、現像部１０１で現像処理される。
【００２１】
現像方式決定部１０５は、RAWデータ格納部１０２からデータ抽出部１０４により抽出されたRAWデータの現像方法を決定する。具体的には、上述した現像処理の工程で用いる現像パラメータを決定し、そのパラメータ値を現像部１０１に通知する。
【００２２】
例えば、JPEG形式の画像データを作成する場合、色空間はsRGBが一般的であるため、色空間変換処理における現像パラメータはsRGBとなる。この他にも、ピクセルフォーマット（YUV420またはYUV444など）や、色の深度（２４bit/画素または３６bit/画素）など、現像パラメータは複数存在する。現像方式決定部１０５は、予め定められた現像後のファイルフォーマットなどに応じてこれらの現像パラメータを決定し、現像部１０１に通知する。
【００２３】
現像結果格納部１０６は、現像部１０１により現像された現像画像を格納する記憶装置であり、HDD（Hard Disk Drive）や、光ディスク、メモリカード等のリムーバブルメディアに書き込み可能な装置であってよい。
【００２４】
以下、図２に示すフローチャートを用いて、エディットリストとRAWデータを用いた現像処理の具体的な動作についてを説明する。
まず、現像方式決定部１０５により、RAWデータを現像するための現像パラメータを決定する（Ｓ２０１）。Ｓ２０１により決定された現像パラメータは、現像部１０１に通知され、現像処理時に使用される。
【００２５】
次に、データ抽出部１０４が、エディットリスト格納部１０３からエディットリストを取得し、エディットリストから再生区間の情報を抽出する（Ｓ２０２）。再生区間の情報は、上述の通り、例えば、RAWデータ内で再生する再生開始位置と再生終了位置、及びフレーム内における切り出し位置である。１つのエディットリストに複数組の再生開始位置と再生終了位置が含まれることもある。Ｓ２０２で取得された再生区間の情報は、データ抽出部１０４に通知される。
【００２６】
データ抽出部１０４は、再生区間の情報に基づき、RAWデータ格納部１０２からRAWデータを取得する（Ｓ２０３）。抽出されたRAWデータは画像処理装置の図示しない一時保存メモリに格納され、その後に現像部１０１へ出力される。
【００２７】
現像部１０１は、Ｓ２０３で抽出されたRAWデータを、Ｓ２０１により決定された現像パラメータを使用して現像する（Ｓ２０４）。現像された現像結果画像は画像処理装置内の一時保存メモリに格納される。
【００２８】
データ抽出部１０４は、エディットリストに含まれるすべての再生区間に対応したRAWデータの抽出および必要な現像処理が終了したか否かを、Ｓ２０５で確認する。未処理の再生区間があれば、Ｓ２０３へ戻り、必要なRAWデータを抽出して、現像部１０１で現像する。Ｓ２０３からＳ２０５までの処理は、Ｓ２０２で取得したエディットリストに含まれるすべての再生区間についての現像処理が終了するまで繰り返される。
【００２９】
すべての再生区間についての現像処理が終了すると、現像部１０１は、一時保存メモリから現像結果の動画像データを読み出し、現像結果格納部１０６に格納する（Ｓ２０６）。
【００３０】
以上の処理により、本実施形態によれば、編集後の動画像データを、動画像RAWデータから作成することが可能となる。そのため、同じ編集内容で現像パラメータのみ変更した動画像データを生成する際の画質劣化を抑制することが可能になる。また、動画像RAWデータは元の動画像データであるので、編集後の動画像のみならず、全体を現像処理すれば編集前の動画像データについての再生も可能である。
【００３１】
なお、本実施形態では、再生区間ごとにRAWデータの抽出と現像処理とを行う動作について説明した。しかし、Ｓ２０２で取得したエディットリストに含まれる全ての再生区間について一括してRAWデータを抽出し、現像処理をまとめて実行することももちろん可能である。
【００３２】
また、エディットリストに格納する再生区間の情報は、再生開始位置、再生終了位置、及びフレーム内の切り出し位置には限定されない。同様に、現像パラメータについても、色空間情報、ピクセルフォーマット情報、ビット深度情報に限定されない。
【００３３】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。
本実施形態の画像処理装置は、上述のエディットリストを作成する機能を有する点を特徴とする。
【００３４】
図３は、本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図３において、第１の実施形態と同様の構成および動作には同じ参照数字を付し、重複する説明を省略する。
【００３５】
図３において、表示部１０７は、現像結果の動画像を表示するための表示部であり、画像処理装置１００とは別の、表示装置であってよい。なお、画像処理装置１００と表示部１０７とは、IEEE(Institute of Electrical and Electronic Engineers)1394、HDMI（High-Definition Multimedia Interface）などのディジタルインタフェースを介して接続することができる。なお、本実施形態の画像処理装置１００は現像結果格納部１０６を備えていないが、現像結果格納部１０６を介して表示部１０７へ現像後の動画像データを出力しても良い。あるいは、表示部１０７への出力と並行して現像結果格納部１０６へ格納するようにしても良い。
【００３６】
編集情報送信部１０８は、例えばリモコン等、ユーザが画像処理装置１００へ指示、具体的には編集情報を与えるための装置である。ここで編集情報とは、動画像の再生開始位置、再生終了位置などを指定する情報である。ユーザは表示部１０７に表示される現像後の動画像を見ながら編集情報送信部１０８を走査して所望の再生開始位置、再生終了位置を１組以上指定することで、動画像の編集を行うことができる。そして、編集情報送信部１０８を通じて入力される編集情報は例えば赤外線や電波を用いた無線通信により画像処理装置１００に送出される。なお、編集情報は上述した切り出し位置など、再生区間を指定する情報以外の情報を含んでも良い。
【００３７】
編集情報作成部１０９は、編集情報送信部１０８から受信した編集情報を元に、RAWデータに対するエディットリストを作成する。編集情報作成部１０９により作成されたエディットリストは、エディットリスト格納部１０３に蓄積される。
【００３８】
以下、図４に示すフローチャートを用いて、本実施形態の画像処理装置におけるエディットリスト作成処理動作について説明する。図４に示す処理は、例えばユーザが編集情報送信部１０８を通じて編集処理の開始を指示した際に開始される。
【００３９】
まず、編集情報送信部１０８は、編集時の環境情報を編集情報作成部１０９に送信する（Ｓ４０１）。本実施形態において、環境情報はユーザ名とする。ユーザ名は例えば予め編集情報送信部１０８に登録されていても良いし、編集情報送信部１０８を用いてユーザが入力しても良い。編集情報作成部１０９に送信された編集時の環境情報は、生成されるエディットリスト内に記載される。
【００４０】
次に、画像処理装置１００は、第１の実施形態で説明したようにしてRAWデータ格納部１０２から編集対象のRAWデータ全体をデータ抽出部１０４で抽出し、現像部１０１で現像して、表示部１０７に送信する（Ｓ４０２）。表示部１０７では、送信された現像結果を表示し、ユーザに提示する。
【００４１】
以後、ユーザは、表示部１０７で表示された動画を見ながら、必要なシーン（再生区間）を特定する。まず、ユーザは、編集情報送信部１０８の所定のボタンを押下する等の操作により、シーンの開始位置を指定する。編集情報送信部１０８は、この指定を受け付け（Ｓ４０３）、内部の図示しないメモリに一時記憶する。次に、ユーザはシーンの終了位置を指定する。この指定も編集情報送信部１０８が受け付け（Ｓ４０４）、一時記憶する。以上のステップＳ４０３及びＳ４０４により、１つのシーン指定が終了する。
【００４２】
Ｓ４０５で、編集情報送信部１０８は、１つのシーンを指定する１組の開始位置情報と終了位置情報を編集情報として編集情報作成部１０９に送信する。編集情報作成部１０９は、送信された編集情報をエディットリスト内に記録する。
【００４３】
なお、表示部１０７で再生されている現像後の動画像と、編集情報送信部１０８から受信した編集情報とは、任意の方法で対応付けることができる。例えば、編集情報作成部１０９が編集情報を受信した時点の再生時刻（又は動画像中の１フレームを特定する情報）を再生終了位置とし、開始位置情報と終了位置情報との時間差を用いて再生開始位置を特定することができる。あるいは、編集情報送信部１０８が、開始位置と終了位置の指定を受け付けた時点でそれぞれ送信するように構成し、編集情報作成部１０９が、それぞれの受信時点における動画像の再生位置を元に再生開始位置と再生終了位置とを特定してもよい。
【００４４】
Ｓ４０６で、編集情報送信部１０８は、ユーザから編集処理の終了が指示されたかどうかを判定する。編集処理の終了が指示されていない場合は再度Ｓ４０３からの処理が継続される。Ｓ４０６で編集処理の終了が指示されている場合は、編集処理を終了し、Ｓ４０７で編集情報送信部１０８が編集終了通知を編集情報作成部１０９に送信する。
編集情報作成部１０９は、編集終了通知を受信すると、エディットリストの作成を完了する（Ｓ４０８）。
【００４５】
このように、本実施形態の画像処理装置は、第１の実施形態の画像処理装置と同様の再生処理が可能である上、エディットリストを生成する機能を有するため、ユーザは、取り込んだRAWデータを画像処理装置を用いて編集することができる。
【００４６】
（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について説明する。
本実施形態の画像処理装置は、RAWデータの現像処理を行う際に用いるパラメータの決定に、再生装置の環境を考慮することを特徴とする。具体的には、本実施形態においては、表示装置の能力情報を利用して現像パラメータを決定する。これにより、再生装置の能力に応じた特性を有する現像後の動画像データを得ることができる。
【００４７】
本実施形態の画像処理装置は、表示装置の能力に関する情報を取得可能であれば、表示装置とどのように接続されていてもよい。例えば表示装置とHDMIケーブルなどで直接接続されていてもよいし、画像処理装置から動画像を配信する場合などのように、画像処理装置が表示装置とネットワークなどを介して遠隔的に接続されていてもよい。
【００４８】
表示装置の能力に関する情報（能力情報）としては、例えば、対応している解像度、対応するフレームレート、表現可能な色空間、色深度などがある。
【００４９】
図５は、本発明の第３の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図５において、第１の実施形態と同様の構成および動作には同じ参照数字を付し、重複する説明を省略する。
【００５０】
図５において、画像処理装置１００は、表示装置１２０と接続されている。表示装置１２０は、表示部１０７と機器情報送信部１１０とを有している。本実施形態においては、表示装置１２０と画像処理装置１００とはHDMIケーブルなどにより直接接続されているものとする。
【００５１】
機器情報送信部１１０は、表示装置１２０の能力情報を画像処理装置１００の現像方式決定部１０５に例えば無線又は有線通信により送信する。現像方式決定部１０５は、機器情報送信部１１０より送信された能力情報を元に、現像パラメータを決定し、現像部１０１に通知する。
【００５２】
以下、図６に示すフローチャートを用いて、本実施形態の画像処理装置における現像処理動作について説明する。
まず、機器情報送信部１１０が、表示装置の能力情報を現像方式決定部１０５に送信する（Ｓ６０１）。Ｓ６０１で取得した表示装置の能力情報を元に、現像方式決定部１０５は現像パラメータを決定する（Ｓ６０２）。
【００５３】
以下、Ｓ２０２〜Ｓ２０５は、第１の実施形態と同様であるため説明を省略する。なお、図５において、本実施形態の画像処理装置１００は現像結果格納部１０６を備えず、現像結果を直接表示装置１２０に送信し、表示装置１２０で表示する構成を示している。しかし、第１の実施形態と同様に、現像結果格納部１０６を設けても良い。そして、現像後の動画像データは、一時保存メモリから表示部１０７へ出力されるだけでなく、現像結果格納部１０６へ格納する様にしても良い。
【００５４】
次に、Ｓ６０２において、現像方式決定部１０５が表示装置１２０の能力情報に基づいて決定する現像パラメータの具体例について図７〜図９を用いて具体的に説明する。
図７は、表示装置の能力情報として、表示装置が表現できる色深度（画素当たりの階調数）に応じた現像パラメータの決定について説明する図である。
【００５５】
ここでは、RAWデータは３６ビット／画素の色深度を有するものとする。そして、表示装置１２０の能力情報から、表示装置１２０が２４ビット／画素の再生能力を有する場合（７０３）には、現像部１０１における現像パラメータのうち、色深度を２４ビット／画素と決定する。同様に、表示装置１２０が３６ビット／画素の再生能力を有する場合（７０４）には、現像部１０１における現像パラメータのうち、色深度を３６ビット／画素と決定する。
【００５６】
これにより、現像部１０１は、色深度が２４ビット／画素の現像結果７０１と、３６ビット／画素の現像結果７０２とを、表示装置の色再生能力に応じて選択的に生成することができる。そのため、表示装置の色再生能力を活かした画質で、編集後の動画像データを表示することができる。また、表示装置が２４ビット／画素の表示能力しかない場合に３６ビット／画素の現像を行っても、現像部１０１の負荷が増加するだけで実効はないため、現像部１０１の負荷軽減も併せて実現できる。
【００５７】
図８は、表示装置の能力情報として、表示装置が表示できる最大解像度に応じた現像パラメータの決定について説明する図である。
ここでは、RAWデータの解像度が４０９６画素×２０４８画素（アスペクト比２:１）であるとする。そして、表示装置１２０の能力情報から、表示装置１２０が表示可能な最大解像度は６４０画素×４８０画素（アスペクト比４:３）であるとする（８０３）。
【００５８】
この場合、現像方式決定部１０５は、RAWデータの１フレーム中、２７３０画素×２０４８画素（アスペクト比４:３）の領域から、６４０画素×４８０画素の画像を生成するように現像パラメータを決定する。これにより、現像部１０１では、アスペクト比を維持しながらスケーリングすることが可能になる。
【００５９】
一方、表示装置１２０の表示可能な最大解像度が１９２０画素×１０８０画素（アスペクト比１６：９）であるとする（８０４）。この場合、現像方式決定部１０５は、RAWデータの１フレーム中、３６４０画素×２０４８画素（アスペクト比１６:９）の領域から、１９２０画素×１０８０画素の画像を生成するように現像パラメータを決定する。
【００６０】
このように現像パラメータを決定することにより、表示装置のアスペクト比や最大解像度に適した画質で、編集後の動画像データを表示することができる。
【００６１】
図９は、表示装置の能力情報として、表示装置が表示できるフレームレート応じた現像パラメータの決定について説明する図である。
ここでは、RAWデータのフレームレートが３００ｆｐｓであるとする。そして、表示装置１２０の能力情報から、表示装置が表示可能な最大フレームレートが５０ｆｐｓであったとする（９０３）。この場合、現像方式決定部１０５は、現像部１０１における現像パラメータのうち、フレームレートを５０ｆｐｓと決定する。この結果現像部１０１では、３００ｆｐｓのRAWデータのフレームレート変換を行い、５０ｆｐｓの動画像データに対してホワイトバランス処理等の他の現像処理工程を適用する。フレームレート変換処理の具体的な方法としては、６フレームを例えば加算平均するか、いずれか１フレームを代表フレームとして選択するなどを例示することができる。
【００６２】
また、表示装置の最大表示可能フレームレートが６０ｆｐｓであった場合（９０４）、現像方式決定部１０５は、現像部１０１における現像パラメータのうち、フレームレートを６０ｆｐｓと決定する。これにより、現像部１０１は、RAWデータ５フレームから１フレームを生成するフレームレート変換処理を行い、６０ｆｐｓの動画像データに対して他の現像処理工程を適用する。
【００６３】
このように現像パラメータを決定することにより、表示装置の表示可能なフレームレートに適した動画像を、高画質で表示することができる。
なお、ここでは説明および理解を容易にするため、能力情報に含まれる項目を独立して取り上げたが、複数の項目を組み合わせて現像パラメータを決定することが可能であることは言うまでもない。また、ここで例示した以外の性能情報を考慮することも可能である。
【００６４】
以上説明したように、本実施形態によれば、RAW画像を現像して編集後の動画像データを生成する際、動画像データを再生（表示）する装置環境、具体的には装置の能力に応じた現像パラメータを決定する。そのため、装置の能力に応じた特性を有する現像後の動画像データを生成することができる。これにより、RAW画像から編集後の画像データを生成することによる画質劣化の抑制に加えて、再生装置の能力を最大限に活かした品質で表示することができる。
【００６５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。例えば、上述したデータ抽出部１０４、現像部、現像方式決定部１０５、編集情報作成部１０９の少なくとも１つは、ＣＰＵがソフトウェアを実行することによって実現することができる。
【００６６】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６７】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００６８】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６９】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００７０】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００７１】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００７２】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に動画像の編集や編集された動画像の再生を行うための画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
デジタル（ビデオ）カメラなどの普及や、パーソナルコンピュータの性能向上などにより、動画像の編集が一般的に行われるようになってきている。動画像の編集を行った場合、編集後の動画像のみを保存すると、元の動画像（編集されていない動画像）が失われてしまう。
【０００３】
そのため特許文献１に記載の技術では、元の動画像データとは別に、元の動画像データの編集部分に対応する動画像データを別途記録し、再生時に元の動画像データと編集後の動画像データを選択的に再生可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-286826号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術によれば、元の動画像データと編集後の動画像データとを選択的に再生、表示可能であるが、再生される動画像データの品質は、元の動画像データの品質、より具体的には元の動画像データの現像処理時のパラメータによって決定される。
【０００６】
通常、CCD（Charge Coupled Devices）センサやCMOS（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置では、RAWデータを現像処理して画像データを生成する。RAWデータとはCCDセンサやCMOSセンサで得られた画像情報を保持したデータ形式である。RAWデータは、ホワイトバランス調整、色空間変換などの画像調整や、不可逆圧縮符号化を実施する前のデータである。そのため、これらの処理が行われているJPEG（Joint Photographic Expert Group）形式やMPEG(Moving Picture Expert Group)形式の画像データとは異なる特徴を持つ。図１０に、RAWデータと現像され圧縮された画像の一例としてのJPEG画像データとの比較を示す。
【０００７】
また、RAWデータからJPEG形式などの画像データを作成する処理を現像処理と呼ぶ。一般的な現像処理には例えば以下に示す処理が含まれる。
・ ビット数（色深度）変換処理
・ フレームレート変換処理
・ 色空間処理
・ 露出補正処理
・ ホワイトバランス調整（色温度変更）処理
【０００８】
上述の通り、RAWデータはセンサから得られる画像情報を保持したデータであるため、異なるホワイトバランス調整処理を適用すれば、画像情報を維持したまま異なる処理結果を得ることができる。しかし、JPEG/MPEG画像データのように現像処理後の画像はRAWデータに戻れないので、同じ画像編集処理を適用しても、RAWデータから得た結果よりも画質が低下することは原理的に不可避である。そのため、現像後の動画像データが元画像データとして記録されている場合、ホワイトバランスや色空間などを変更した編集後の動画像データを生成すると、画質が低下してしまう。
【０００９】
また、例えば、撮像素子がHD(High Definition)の解像度を有していても、SD（Standard Definition）で現像処理された動画像データが元画像データとして記録されている場合には、SDの解像度以上の情報量を得ることはできない。また、sRGBの色空間で現像された画像データは、sRGB色空間の再現範囲を超える色情報を持つことはできない。
そのため、例えばHD解像度やsRGBを超える再現範囲を有する色空間での再生、表示が可能な装置で再生、表示しても、装置の能力を十分に活かすことができない。
【００１０】
本発明はこのような従来技術の問題点に鑑みなされたものであり、装置の能力に応じた特性を有する現像後の動画像データを生成することが可能な画像処理装置およびその制御方法を提供する。
【課題を解決するための手段】
【００１１】
上述の目的は、格納手段に格納された動画像RAWデータを読み出す再生手段と、接続された表示装置から、表示装置の能力に関する能力情報を取得する取得手段と、取得手段により取得された能力情報に基づいて現像パラメータを決定し、現像パラメータを用いて、再生手段により読み出された動画像RAWデータを現像処理する現像手段と、現像手段により現像処理された動画像データを表示装置に出力する出力手段とを備え、表示装置として第１の表示装置が接続された場合、現像手段は、取得手段により第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて動画像RAWデータを現像処理し、出力手段は、第１の現像パラメータを用いて現像処理された動画像データを第１の表示装置に出力し、表示装置として第１の表示装置とは異なる第２の表示装置が接続された場合、現像手段は、取得手段により第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて動画像RAWデータを現像処理し、出力手段は、第２の現像パラメータを用いて現像処理された動画像データを第２の表示装置に出力する、ことを特徴とする画像処理装置によって達成される。
【００１２】
また、上述の目的は、画像処理装置の制御方法であって、再生手段が、格納手段に格納された動画像RAWデータを読み出す再生ステップと、取得手段が、接続された表示装置から、表示装置の能力に関する能力情報を取得する取得ステップと、現像手段が、取得ステップで取得された能力情報に基づいて現像パラメータを決定し、現像パラメータを用いて、再生ステップで読み出された動画像RAWデータを現像処理する現像ステップと、出力手段が、現像ステップで現像処理された動画像データを表示装置に出力する出力ステップとを備え、表示装置として第１の表示装置が接続された場合、現像ステップにおいて現像手段は、取得ステップで第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて動画像RAWデータを現像処理し、出力ステップにおいて出力手段は、第１の現像パラメータを用いて現像処理された動画像データを第１の表示装置に出力し、表示装置として第１の表示装置とは異なる第２の表示装置が接続された場合、現像ステップにおいて現像手段は、取得ステップで第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて動画像RAWデータを現像処理し、出力ステップにおいて出力手段は、第２の現像パラメータを用いて現像処理された動画像データを第２の表示装置に出力する、ことを特徴とする画像処理装置の制御方法によっても達成される。
【発明の効果】
【００１３】
このような構成により、本発明によれば、装置の能力に応じた特性を有する現像後の動画像データを生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置における現像処理動作を説明するフローチャートである。
【図３】本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係る画像処理装置におけるエディットリスト作成処理動作について説明するフローチャートである。
【図５】本発明の第３の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図６】本発明の第３の実施形態に係る画像処理装置における現像処理動作について説明するフローチャートである。
【図７】本発明の第３の実施形態に係る画像処理装置における現像パラメータの決定例を説明する図である。
【図８】本発明の第３の実施形態に係る画像処理装置における現像パラメータの別の決定例を説明する図である。
【図９】本発明の第３の実施形態に係る画像処理装置における現像パラメータのさらに別の決定例を説明する図である。
【図１０】RAWデータと、現像され圧縮された画像の一例としてのJPEG画像との特徴を比較した図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を使用して本発明の好適かつ例示的な実施形態を詳細に説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
本実施形態の画像処理装置１００は、RAWデータを再生可能な画像形式に現像し、その結果を光ディスクやメモリカード等のストレージデバイスに記録する装置であり、例えばPC、DVD-HDDレコーダ、デジタルビデオカメラ等であってよい。
【００１６】
現像部１０１は、RAWデータを現像し、JPEG画像やMPEG画像に変換する。現像部１０１が変換するRAWデータは、後述するRAWデータ格納部１０２より、データ抽出部１０４を経て供給される。
【００１７】
RAWデータ格納部１０２は、元の動画像データとしてのRAWデータを格納する記憶装置であり、HDD（Hard Disk Drive）や、光ディスク、メモリカード等のリムーバブルメディアを読み取り可能な装置であってよい。RAWデータはデジタルスチルカメラやデジタルビデオカメラ等の撮像装置で撮影されたものである。RAWデータは、撮像装置から直接RAWデータ格納部１０２へ取り込んだり、RAWデータが記録されたリムーバブルメディアをRAWデータ格納部１０２へ装着したりすることで、画像処理装置１００が処理可能な状態とすることができる。本実施形態において、RAWデータは所定のフレームレート（例えば３０ｆｐｓ）で記録された動画像RAWデータであるとする。
【００１８】
編集情報格納手段としてのエディットリスト格納部１０３は、RAWデータに対する編集結果が記載されたエディットリストを格納する。エディットリストは動画像RAWデータの編集情報であり、具体的には再生区間を示す情報（再生開始位置、再生終了位置の少なくとも１組）、フレーム内の再生領域を指定する情報（切り出し位置）などを格納するリストである。本実施形態においては、一つの編集結果に対し一つのエディットリストが対応付けられており、RAWデータに対する編集結果が複数ある場合、エディットリストも複数となる。
【００１９】
エディットリストにはRAWデータの再生区間の情報以外に、編集した日付、ユーザなどの情報も格納される。なお、本実施形態においては、エディットリストは予めエディットリスト格納部１０３に記憶されているものとする。エディットリストは、RAWデータと同様に外部装置から取得するすることも可能であるし、後述する実施形態で説明するように、画像処理装置において生成することもできる。
【００２０】
データ抽出部１０４は、エディットリスト格納部１０３に格納されているエディットリストから、再生開始位置、再生終了位置などを読み出し、エディットリストに対応した再生に必要なRAWデータをRAWデータ格納部１０２から抽出する。データ抽出部１０４が抽出しRAWデータは、現像部１０１に供給され、現像部１０１で現像処理される。
【００２１】
現像方式決定部１０５は、RAWデータ格納部１０２からデータ抽出部１０４により抽出されたRAWデータの現像方法を決定する。具体的には、上述した現像処理の工程で用いる現像パラメータを決定し、そのパラメータ値を現像部１０１に通知する。
【００２２】
例えば、JPEG形式の画像データを作成する場合、色空間はsRGBが一般的であるため、色空間変換処理における現像パラメータはsRGBとなる。この他にも、ピクセルフォーマット（YUV420またはYUV444など）や、色の深度（２４bit/画素または３６bit/画素）など、現像パラメータは複数存在する。現像方式決定部１０５は、予め定められた現像後のファイルフォーマットなどに応じてこれらの現像パラメータを決定し、現像部１０１に通知する。
【００２３】
現像結果格納部１０６は、現像部１０１により現像された現像画像を格納する記憶装置であり、HDD（Hard Disk Drive）や、光ディスク、メモリカード等のリムーバブルメディアに書き込み可能な装置であってよい。
【００２４】
以下、図２に示すフローチャートを用いて、エディットリストとRAWデータを用いた現像処理の具体的な動作についてを説明する。
まず、現像方式決定部１０５により、RAWデータを現像するための現像パラメータを決定する（Ｓ２０１）。Ｓ２０１により決定された現像パラメータは、現像部１０１に通知され、現像処理時に使用される。
【００２５】
次に、データ抽出部１０４が、エディットリスト格納部１０３からエディットリストを取得し、エディットリストから再生区間の情報を抽出する（Ｓ２０２）。再生区間の情報は、上述の通り、例えば、RAWデータ内で再生する再生開始位置と再生終了位置、及びフレーム内における切り出し位置である。１つのエディットリストに複数組の再生開始位置と再生終了位置が含まれることもある。Ｓ２０２で取得された再生区間の情報は、データ抽出部１０４に通知される。
【００２６】
データ抽出部１０４は、再生区間の情報に基づき、RAWデータ格納部１０２からRAWデータを取得する（Ｓ２０３）。抽出されたRAWデータは画像処理装置の図示しない一時保存メモリに格納され、その後に現像部１０１へ出力される。
【００２７】
現像部１０１は、Ｓ２０３で抽出されたRAWデータを、Ｓ２０１により決定された現像パラメータを使用して現像する（Ｓ２０４）。現像された現像結果画像は画像処理装置内の一時保存メモリに格納される。
【００２８】
データ抽出部１０４は、エディットリストに含まれるすべての再生区間に対応したRAWデータの抽出および必要な現像処理が終了したか否かを、Ｓ２０５で確認する。未処理の再生区間があれば、Ｓ２０３へ戻り、必要なRAWデータを抽出して、現像部１０１で現像する。Ｓ２０３からＳ２０５までの処理は、Ｓ２０２で取得したエディットリストに含まれるすべての再生区間についての現像処理が終了するまで繰り返される。
【００２９】
すべての再生区間についての現像処理が終了すると、現像部１０１は、一時保存メモリから現像結果の動画像データを読み出し、現像結果格納部１０６に格納する（Ｓ２０６）。
【００３０】
以上の処理により、本実施形態によれば、編集後の動画像データを、動画像RAWデータから作成することが可能となる。そのため、同じ編集内容で現像パラメータのみ変更した動画像データを生成する際の画質劣化を抑制することが可能になる。また、動画像RAWデータは元の動画像データであるので、編集後の動画像のみならず、全体を現像処理すれば編集前の動画像データについての再生も可能である。
【００３１】
なお、本実施形態では、再生区間ごとにRAWデータの抽出と現像処理とを行う動作について説明した。しかし、Ｓ２０２で取得したエディットリストに含まれる全ての再生区間について一括してRAWデータを抽出し、現像処理をまとめて実行することももちろん可能である。
【００３２】
また、エディットリストに格納する再生区間の情報は、再生開始位置、再生終了位置、及びフレーム内の切り出し位置には限定されない。同様に、現像パラメータについても、色空間情報、ピクセルフォーマット情報、ビット深度情報に限定されない。
【００３３】
（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について説明する。
本実施形態の画像処理装置は、上述のエディットリストを作成する機能を有する点を特徴とする。
【００３４】
図３は、本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図３において、第１の実施形態と同様の構成および動作には同じ参照数字を付し、重複する説明を省略する。
【００３５】
図３において、表示部１０７は、現像結果の動画像を表示するための表示部であり、画像処理装置１００とは別の、表示装置であってよい。なお、画像処理装置１００と表示部１０７とは、IEEE(Institute of Electrical and Electronic Engineers)1394、HDMI（High-Definition Multimedia Interface）などのディジタルインタフェースを介して接続することができる。なお、本実施形態の画像処理装置１００は現像結果格納部１０６を備えていないが、現像結果格納部１０６を介して表示部１０７へ現像後の動画像データを出力しても良い。あるいは、表示部１０７への出力と並行して現像結果格納部１０６へ格納するようにしても良い。
【００３６】
編集情報送信部１０８は、例えばリモコン等、ユーザが画像処理装置１００へ指示、具体的には編集情報を与えるための装置である。ここで編集情報とは、動画像の再生開始位置、再生終了位置などを指定する情報である。ユーザは表示部１０７に表示される現像後の動画像を見ながら編集情報送信部１０８を走査して所望の再生開始位置、再生終了位置を１組以上指定することで、動画像の編集を行うことができる。そして、編集情報送信部１０８を通じて入力される編集情報は例えば赤外線や電波を用いた無線通信により画像処理装置１００に送出される。なお、編集情報は上述した切り出し位置など、再生区間を指定する情報以外の情報を含んでも良い。
【００３７】
編集情報作成部１０９は、編集情報送信部１０８から受信した編集情報を元に、RAWデータに対するエディットリストを作成する。編集情報作成部１０９により作成されたエディットリストは、エディットリスト格納部１０３に蓄積される。
【００３８】
以下、図４に示すフローチャートを用いて、本実施形態の画像処理装置におけるエディットリスト作成処理動作について説明する。図４に示す処理は、例えばユーザが編集情報送信部１０８を通じて編集処理の開始を指示した際に開始される。
【００３９】
まず、編集情報送信部１０８は、編集時の環境情報を編集情報作成部１０９に送信する（Ｓ４０１）。本実施形態において、環境情報はユーザ名とする。ユーザ名は例えば予め編集情報送信部１０８に登録されていても良いし、編集情報送信部１０８を用いてユーザが入力しても良い。編集情報作成部１０９に送信された編集時の環境情報は、生成されるエディットリスト内に記載される。
【００４０】
次に、画像処理装置１００は、第１の実施形態で説明したようにしてRAWデータ格納部１０２から編集対象のRAWデータ全体をデータ抽出部１０４で抽出し、現像部１０１で現像して、表示部１０７に送信する（Ｓ４０２）。表示部１０７では、送信された現像結果を表示し、ユーザに提示する。
【００４１】
以後、ユーザは、表示部１０７で表示された動画を見ながら、必要なシーン（再生区間）を特定する。まず、ユーザは、編集情報送信部１０８の所定のボタンを押下する等の操作により、シーンの開始位置を指定する。編集情報送信部１０８は、この指定を受け付け（Ｓ４０３）、内部の図示しないメモリに一時記憶する。次に、ユーザはシーンの終了位置を指定する。この指定も編集情報送信部１０８が受け付け（Ｓ４０４）、一時記憶する。以上のステップＳ４０３及びＳ４０４により、１つのシーン指定が終了する。
【００４２】
Ｓ４０５で、編集情報送信部１０８は、１つのシーンを指定する１組の開始位置情報と終了位置情報を編集情報として編集情報作成部１０９に送信する。編集情報作成部１０９は、送信された編集情報をエディットリスト内に記録する。
【００４３】
なお、表示部１０７で再生されている現像後の動画像と、編集情報送信部１０８から受信した編集情報とは、任意の方法で対応付けることができる。例えば、編集情報作成部１０９が編集情報を受信した時点の再生時刻（又は動画像中の１フレームを特定する情報）を再生終了位置とし、開始位置情報と終了位置情報との時間差を用いて再生開始位置を特定することができる。あるいは、編集情報送信部１０８が、開始位置と終了位置の指定を受け付けた時点でそれぞれ送信するように構成し、編集情報作成部１０９が、それぞれの受信時点における動画像の再生位置を元に再生開始位置と再生終了位置とを特定してもよい。
【００４４】
Ｓ４０６で、編集情報送信部１０８は、ユーザから編集処理の終了が指示されたかどうかを判定する。編集処理の終了が指示されていない場合は再度Ｓ４０３からの処理が継続される。Ｓ４０６で編集処理の終了が指示されている場合は、編集処理を終了し、Ｓ４０７で編集情報送信部１０８が編集終了通知を編集情報作成部１０９に送信する。
編集情報作成部１０９は、編集終了通知を受信すると、エディットリストの作成を完了する（Ｓ４０８）。
【００４５】
このように、本実施形態の画像処理装置は、第１の実施形態の画像処理装置と同様の再生処理が可能である上、エディットリストを生成する機能を有するため、ユーザは、取り込んだRAWデータを画像処理装置を用いて編集することができる。
【００４６】
（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について説明する。
本実施形態の画像処理装置は、RAWデータの現像処理を行う際に用いるパラメータの決定に、再生装置の環境を考慮することを特徴とする。具体的には、本実施形態においては、表示装置の能力情報を利用して現像パラメータを決定する。これにより、再生装置の能力に応じた特性を有する現像後の動画像データを得ることができる。
【００４７】
本実施形態の画像処理装置は、表示装置の能力に関する情報を取得可能であれば、表示装置とどのように接続されていてもよい。例えば表示装置とHDMIケーブルなどで直接接続されていてもよいし、画像処理装置から動画像を配信する場合などのように、画像処理装置が表示装置とネットワークなどを介して遠隔的に接続されていてもよい。
【００４８】
表示装置の能力に関する情報（能力情報）としては、例えば、対応している解像度、対応するフレームレート、表現可能な色空間、色深度などがある。
【００４９】
図５は、本発明の第３の実施形態に係る画像処理装置の機能構成例を示すブロック図である。図５において、第１の実施形態と同様の構成および動作には同じ参照数字を付し、重複する説明を省略する。
【００５０】
図５において、画像処理装置１００は、表示装置１２０と接続されている。表示装置１２０は、表示部１０７と機器情報送信部１１０とを有している。本実施形態においては、表示装置１２０と画像処理装置１００とはHDMIケーブルなどにより直接接続されているものとする。
【００５１】
機器情報送信部１１０は、表示装置１２０の能力情報を画像処理装置１００の現像方式決定部１０５に例えば無線又は有線通信により送信する。現像方式決定部１０５は、機器情報送信部１１０より送信された能力情報を元に、現像パラメータを決定し、現像部１０１に通知する。
【００５２】
以下、図６に示すフローチャートを用いて、本実施形態の画像処理装置における現像処理動作について説明する。
まず、機器情報送信部１１０が、表示装置の能力情報を現像方式決定部１０５に送信する（Ｓ６０１）。Ｓ６０１で取得した表示装置の能力情報を元に、現像方式決定部１０５は現像パラメータを決定する（Ｓ６０２）。
【００５３】
以下、Ｓ２０２〜Ｓ２０５は、第１の実施形態と同様であるため説明を省略する。なお、図５において、本実施形態の画像処理装置１００は現像結果格納部１０６を備えず、現像結果を直接表示装置１２０に送信し、表示装置１２０で表示する構成を示している。しかし、第１の実施形態と同様に、現像結果格納部１０６を設けても良い。そして、現像後の動画像データは、一時保存メモリから表示部１０７へ出力されるだけでなく、現像結果格納部１０６へ格納する様にしても良い。
【００５４】
次に、Ｓ６０２において、現像方式決定部１０５が表示装置１２０の能力情報に基づいて決定する現像パラメータの具体例について図７〜図９を用いて具体的に説明する。
図７は、表示装置の能力情報として、表示装置が表現できる色深度（画素当たりの階調数）に応じた現像パラメータの決定について説明する図である。
【００５５】
ここでは、RAWデータは３６ビット／画素の色深度を有するものとする。そして、表示装置１２０の能力情報から、表示装置１２０が２４ビット／画素の再生能力を有する場合（７０３）には、現像部１０１における現像パラメータのうち、色深度を２４ビット／画素と決定する。同様に、表示装置１２０が３６ビット／画素の再生能力を有する場合（７０４）には、現像部１０１における現像パラメータのうち、色深度を３６ビット／画素と決定する。
【００５６】
これにより、現像部１０１は、色深度が２４ビット／画素の現像結果７０１と、３６ビット／画素の現像結果７０２とを、表示装置の色再生能力に応じて選択的に生成することができる。そのため、表示装置の色再生能力を活かした画質で、編集後の動画像データを表示することができる。また、表示装置が２４ビット／画素の表示能力しかない場合に３６ビット／画素の現像を行っても、現像部１０１の負荷が増加するだけで実効はないため、現像部１０１の負荷軽減も併せて実現できる。
【００５７】
図８は、表示装置の能力情報として、表示装置が表示できる最大解像度に応じた現像パラメータの決定について説明する図である。
ここでは、RAWデータの解像度が４０９６画素×２０４８画素（アスペクト比２:１）であるとする。そして、表示装置１２０の能力情報から、表示装置１２０が表示可能な最大解像度は６４０画素×４８０画素（アスペクト比４:３）であるとする（８０３）。
【００５８】
この場合、現像方式決定部１０５は、RAWデータの１フレーム中、２７３０画素×２０４８画素（アスペクト比４:３）の領域から、６４０画素×４８０画素の画像を生成するように現像パラメータを決定する。これにより、現像部１０１では、アスペクト比を維持しながらスケーリングすることが可能になる。
【００５９】
一方、表示装置１２０の表示可能な最大解像度が１９２０画素×１０８０画素（アスペクト比１６：９）であるとする（８０４）。この場合、現像方式決定部１０５は、RAWデータの１フレーム中、３６４０画素×２０４８画素（アスペクト比１６:９）の領域から、１９２０画素×１０８０画素の画像を生成するように現像パラメータを決定する。
【００６０】
このように現像パラメータを決定することにより、表示装置のアスペクト比や最大解像度に適した画質で、編集後の動画像データを表示することができる。
【００６１】
図９は、表示装置の能力情報として、表示装置が表示できるフレームレート応じた現像パラメータの決定について説明する図である。
ここでは、RAWデータのフレームレートが３００ｆｐｓであるとする。そして、表示装置１２０の能力情報から、表示装置が表示可能な最大フレームレートが５０ｆｐｓであったとする（９０３）。この場合、現像方式決定部１０５は、現像部１０１における現像パラメータのうち、フレームレートを５０ｆｐｓと決定する。この結果現像部１０１では、３００ｆｐｓのRAWデータのフレームレート変換を行い、５０ｆｐｓの動画像データに対してホワイトバランス処理等の他の現像処理工程を適用する。フレームレート変換処理の具体的な方法としては、６フレームを例えば加算平均するか、いずれか１フレームを代表フレームとして選択するなどを例示することができる。
【００６２】
また、表示装置の最大表示可能フレームレートが６０ｆｐｓであった場合（９０４）、現像方式決定部１０５は、現像部１０１における現像パラメータのうち、フレームレートを６０ｆｐｓと決定する。これにより、現像部１０１は、RAWデータ５フレームから１フレームを生成するフレームレート変換処理を行い、６０ｆｐｓの動画像データに対して他の現像処理工程を適用する。
【００６３】
このように現像パラメータを決定することにより、表示装置の表示可能なフレームレートに適した動画像を、高画質で表示することができる。
なお、ここでは説明および理解を容易にするため、能力情報に含まれる項目を独立して取り上げたが、複数の項目を組み合わせて現像パラメータを決定することが可能であることは言うまでもない。また、ここで例示した以外の性能情報を考慮することも可能である。
【００６４】
以上説明したように、本実施形態によれば、RAW画像を現像して編集後の動画像データを生成する際、動画像データを再生（表示）する装置環境、具体的には装置の能力に応じた現像パラメータを決定する。そのため、装置の能力に応じた特性を有する現像後の動画像データを生成することができる。これにより、RAW画像から編集後の画像データを生成することによる画質劣化の抑制に加えて、再生装置の能力を最大限に活かした品質で表示することができる。
【００６５】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。例えば、上述したデータ抽出部１０４、現像部、現像方式決定部１０５、編集情報作成部１０９の少なくとも１つは、ＣＰＵがソフトウェアを実行することによって実現することができる。
【００６６】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００６７】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００６８】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６９】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００７０】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００７１】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００７２】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【特許請求の範囲】
【請求項１】
格納手段に格納された動画像RAWデータを読み出す再生手段と、
接続された表示装置から、前記表示装置の能力に関する能力情報を取得する取得手段と、
前記取得手段により取得された能力情報に基づいて現像パラメータを決定し、前記現像パラメータを用いて、前記再生手段により読み出された前記動画像RAWデータを現像処理する現像手段と、
前記現像手段により現像処理された動画像データを前記表示装置に出力する出力手段とを備え、
前記表示装置として第１の表示装置が接続された場合、前記現像手段は、前記取得手段により前記第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力手段は、前記第１の現像パラメータを用いて現像処理された動画像データを前記第１の表示装置に出力し、
前記表示装置として前記第１の表示装置とは異なる第２の表示装置が接続された場合、前記現像手段は、前記取得手段により前記第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力手段は、前記第２の現像パラメータを用いて現像処理された動画像データを前記第２の表示装置に出力する、ことを特徴とする画像処理装置。
【請求項２】
前記現像手段は、前記能力情報に含まれる複数の項目に基づいて前記現像パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、無線通信により前記表示装置から前記能力情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、有線通信により前記表示装置から前記能力情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像処理装置の制御方法であって、
再生手段が、格納手段に格納された動画像RAWデータを読み出す再生ステップと、
取得手段が、接続された表示装置から、前記表示装置の能力に関する能力情報を取得する取得ステップと、
現像手段が、前記取得ステップで取得された能力情報に基づいて現像パラメータを決定し、前記現像パラメータを用いて、前記再生ステップで読み出された前記動画像RAWデータを現像処理する現像ステップと、
出力手段が、前記現像ステップで現像処理された動画像データを前記表示装置に出力する出力ステップとを備え、
前記表示装置として第１の表示装置が接続された場合、前記現像ステップにおいて前記現像手段は、前記取得ステップで前記第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力ステップにおいて前記出力手段は、前記第１の現像パラメータを用いて現像処理された動画像データを前記第１の表示装置に出力し、
前記表示装置として前記第１の表示装置とは異なる第２の表示装置が接続された場合、前記現像ステップにおいて前記現像手段は、前記取得ステップで前記第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力ステップにおいて前記出力手段は、前記第２の現像パラメータを用いて現像処理された動画像データを前記第２の表示装置に出力する、ことを特徴とする画像処理装置の制御方法。
【請求項６】
コンピュータを請求項１乃至請求項４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム、を記録したコンピュータが読み取り可能な記録媒体。
【請求項１】
格納手段に格納された動画像RAWデータを読み出す再生手段と、
接続された表示装置から、前記表示装置の能力に関する能力情報を取得する取得手段と、
前記取得手段により取得された能力情報に基づいて現像パラメータを決定し、前記現像パラメータを用いて、前記再生手段により読み出された前記動画像RAWデータを現像処理する現像手段と、
前記現像手段により現像処理された動画像データを前記表示装置に出力する出力手段とを備え、
前記表示装置として第１の表示装置が接続された場合、前記現像手段は、前記取得手段により前記第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力手段は、前記第１の現像パラメータを用いて現像処理された動画像データを前記第１の表示装置に出力し、
前記表示装置として前記第１の表示装置とは異なる第２の表示装置が接続された場合、前記現像手段は、前記取得手段により前記第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力手段は、前記第２の現像パラメータを用いて現像処理された動画像データを前記第２の表示装置に出力する、ことを特徴とする画像処理装置。
【請求項２】
前記現像手段は、前記能力情報に含まれる複数の項目に基づいて前記現像パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、無線通信により前記表示装置から前記能力情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、有線通信により前記表示装置から前記能力情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像処理装置の制御方法であって、
再生手段が、格納手段に格納された動画像RAWデータを読み出す再生ステップと、
取得手段が、接続された表示装置から、前記表示装置の能力に関する能力情報を取得する取得ステップと、
現像手段が、前記取得ステップで取得された能力情報に基づいて現像パラメータを決定し、前記現像パラメータを用いて、前記再生ステップで読み出された前記動画像RAWデータを現像処理する現像ステップと、
出力手段が、前記現像ステップで現像処理された動画像データを前記表示装置に出力する出力ステップとを備え、
前記表示装置として第１の表示装置が接続された場合、前記現像ステップにおいて前記現像手段は、前記取得ステップで前記第１の表示装置から取得された第１の能力情報に基づいて決定した第１の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力ステップにおいて前記出力手段は、前記第１の現像パラメータを用いて現像処理された動画像データを前記第１の表示装置に出力し、
前記表示装置として前記第１の表示装置とは異なる第２の表示装置が接続された場合、前記現像ステップにおいて前記現像手段は、前記取得ステップで前記第２の表示装置から取得された第２の能力情報に基づいて決定した第２の現像パラメータを用いて前記動画像RAWデータを現像処理し、前記出力ステップにおいて前記出力手段は、前記第２の現像パラメータを用いて現像処理された動画像データを前記第２の表示装置に出力する、ことを特徴とする画像処理装置の制御方法。
【請求項６】
コンピュータを請求項１乃至請求項４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム、を記録したコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２３１４８８（Ｐ２０１２−２３１４８８Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１２−１３４１９５（Ｐ２０１２−１３４１９５）
【出願日】平成２４年６月１３日（２０１２．６．１３）
【分割の表示】特願２００８−４９６０（Ｐ２００８−４９６０）の分割
【原出願日】平成２０年１月１１日（２００８．１．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２４年６月１３日（２０１２．６．１３）
【分割の表示】特願２００８−４９６０（Ｐ２００８−４９６０）の分割
【原出願日】平成２０年１月１１日（２００８．１．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]