記録装置、再生装置、記録方法、再生方法及びプログラム
【課題】様々な撮影時の撮影モードに対応してＲＡＷ画像データを容易に画像処理することが可能な記録装置、再生装置、記録方法、再生方法及びプログラムを提供すること。
【解決手段】撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部１２０、１２２、１２４と、撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する撮影条件取得部１３６と、フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録する媒体記録部１５０とを備えることを特徴とする。
【解決手段】撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部１２０、１２２、１２４と、撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する撮影条件取得部１３６と、フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録する媒体記録部１５０とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録装置、再生装置、記録方法、再生方法及びプログラムに関する。
【０００２】
動画を記録可能なビデオカメラ、カムコーダなどの撮像装置は、一般にＣＣＤ等の撮像素子の各画素から出力された信号に所定の画像処理（現像処理）を行った後、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧ等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体に画像データの記録を行っている。
【０００３】
ここで、上記の画像処理とは、例えばホワイトバランス制御、露出制御などである。また、圧縮処理を行う際、撮像素子からの読出しパターン（読出し条件）に応じて、撮像素子における画素の画素混合処理計算、画素間引き処理計算を行なっている。なお、読出しパターンは、撮像素子の構成、撮像装置の撮影条件などの撮影モードに依存している。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、撮像装置内で圧縮処理を行う場合、内部に設けられた撮像素子に対応した読出しパターンを備えていれば、上記の画素混合処理や画素間引き処理を行うことができるため、圧縮処理は限られたデータベースがあれば可能となる。一方、ＲＡＷ画像データを外部に出力して、その後ソフトウェアなどを使用して現像処理を行う場合は、撮像素子の構成などの条件に依存した読出しパターンが必要であるため、それぞれの条件に応じた読出しパターンを予め用意しておく必要があった。
【０００５】
しかし、予め撮像素子に応じた多数の読出しパターンを用意しておくことは困難であり、また、新たな撮像素子が採用されるとそれに応じて、新たな読み出しパターンに対応する必要があるという問題があった。また、読出しパターンは、撮像装置の撮影条件によっても異なるため、ＲＡＷ画像データを現像処理するには多大なデータベースが必要となるという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、様々な撮影時の撮影モードに対応してＲＡＷ画像データを容易に画像処理することが可能な、新規かつ改良された記録装置、再生装置、記録方法、再生方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部と、撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する撮影条件取得部と、フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録する媒体記録部とを備えることを特徴とする記録装置が提供される。
【０００８】
上記撮影条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であってもよい。
【０００９】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各撮影条件のうち少なくともいずれかを読み出すデータ読出部と、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする画像処理部とを備えることを特徴とする再生装置が提供される。
【００１０】
上記読み出し条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であってもよい。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能に画像処理してフレーム単位の処理済画像データを生成するステップと、撮像素子からの各画素データの読み出しに必要な、処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得するステップと、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録するステップとを備えることを特徴とする記録方法が提供される。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各撮影条件のうち少なくともいずれかを読み出すステップと、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をするステップとを備えることを特徴とする再生方法が提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する手段、撮像素子からの各画素データの読み出しに必要な、処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する手段、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録する手段をコンピュータに実行させるためのプログラムが提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各撮影条件のうち少なくともいずれかを読み出す手段、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする手段をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１５】
本発明によれば、様々な撮影時の撮影モードに対応してＲＡＷ画像データを容易に画像処理することができる。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
まず、図１を参照して、本発明の一実施形態に係る動画像記録装置１００について説明する。図１は、本実施形態に係る動画像記録装置１００の構成を示すブロック図である。
【００１８】
動画像記録装置１００は、図１に示すように、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、撮影条件制御部１３０、フォーマット処理部１３６、ファイル化処理部１４０、メディア記録部１５０、マイクロフォン１６０、音声信号処理部１６２、フォーマット処理部１６４を有して構成されている。
【００１９】
カメラ信号処理部１０４は、カメラ１０２の撮像素子（ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサー）から出力された１フレーム毎の動画像データが入力される。カメラ信号処理部１０４は、入力された信号をＡＤ変換するＡＤコンバータを含んでいる。カメラ信号処理部１０４から出力されたデジタル映像信号は、フォーマット処理部１１０と現像処理部１２０との双方へ送られる。
【００２０】
フォーマット処理部１１０では、撮像素子の画素配列（例えばベイヤー配列、３板ＣＣＤなど）に応じて、デジタル変換されたＲ，Ｇ，Ｂの各信号を並び換える処理をする。また、フォーマット処理部１１０では、フレーム内で可逆的な圧縮処理を動画像データに対して施す。可逆な圧縮方式による圧縮処理によって、画質などを低下させずに画像データを記録、再生することができる。可逆な圧縮方式には、例えば、ハフマン符号を用いたエントロピー符号化等がある。なお、可逆な圧縮方式は、厳密な「可逆」に限定されない。このように、フォーマット処理部１１０によるフォーマット処理では、ＲＡＷ画像データとしての画質を維持するため、画質を損なうような圧縮処理は施されない。一方、ＲＡＷ画像データは非常に大きなファイルサイズとなるため、冗長度の少ないデータに処理する。フォーマット処理部１１０でフォーマット処理された動画像データは、そのままＲＡＷ画像データとしてファイル化処理部１４０へ入力される。
【００２１】
現像処理部１２０では、入力された映像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理が行われる。現像処理部１２０で現像処理が行われたデータは、サイズ処理部１２２へ送られる。現像処理部１２０では、撮影条件制御部１３０で制御された撮影条件に応じて、解像度、フレームレート、画像品質を変更して現像処理をする。
【００２２】
サイズ処理部１２２は、動画像データのサイズを縮小又は拡大する処理を行う。サイズ処理部１２２から出力されたデータは、ＪＰＥＧエンコーダ１２４へ送られる。また、サイズ処理部１２２では、必要に応じて、ＥＶＦ（Electronic View Finder）（図示せず。）、ＬＣＤ（Liquid Crystal Display）（図示せず。）などの表示装置の画面サイズに合わせて、動画像データのサイズを縮小する処理を行う。サイズ処理部１２２から出力されたデータは、ＥＶＦ、ＬＣＤに送られて、画面上に表示される。これにより、ユーザは、カメラ１０２で撮影された映像をリアルタイムで認識することができる。
【００２３】
ＪＰＥＧエンコーダ１２４は、入力されたデータに対してＪＰＥＧの圧縮符号化処理を施し、ファイル化処理部１４０へ圧縮画像データ（処理済画像データ）を送る。
【００２４】
撮影条件制御部１３０は、動画像記録装置１００がどのような撮影条件で撮影するかを制御する。例えば、撮影条件とは、撮像素子の画素数、画素ピッチなどの撮像素子に関する条件、解像度、フレームレートや画像品質などの条件である。これらの撮影条件の相違に応じて、撮像素子からの各画素データの読出し条件が変更される。撮影条件制御部１３０は、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、フォーマット処理部１６４に撮影条件を指示する。これらの各機能ブロックは、指示に応じて撮影条件を設定する。
【００２５】
そして、撮影条件制御部１３０は、撮影条件データをフォーマット処理部１３６に送る。フォーマット処理部１３６は、撮影条件データをフォーマット処理し、データをファイル化処理部１４０に送る。フォーマット処理部１３６は、撮影条件取得部の一例であり、像素子からの各画素データの読み出しに必要な、処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する。処理済画像データを記録する際に設定された撮影条件は、例えば、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件等である。
【００２６】
ファイル化処理部１４０は、フォーマット処理部１１０から送られたＲＡＷ画像データや、ＪＰＥＧエンコーダ１２４で圧縮処理された圧縮画像データや、フォーマット処理部１３６から送られた撮影条件データを一時的に蓄積する。ファイル化処理部１４０に蓄積された圧縮画像データ、ＲＡＷ画像データ及び撮影条件データは、メディア記録部１５０へ送られ、記録メディアの記録フォーマットに従い記録メディアに記録される。記録メディアとしては、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などが挙げられる。
【００２７】
また、マイクロフォン１６０は、カメラ１０２による動画撮影と同時に被写体の音声を取得し、音声信号処理部１６２へ送る。音声信号処理部１６２は、入力された音声のアナログ信号をＡＤ変換するＡＤコンバータを含んでいる。音声信号処理部１６２から出力されたデジタル音声信号は、フォーマット処理部１６４へ送られる。フォーマット処理部１６４では、非圧縮のＰＣＭ方式、またはＡＤＰＣＭ方式、ＡＡＣ方式、ＡＣ３方式、ＭＰ３方式などの圧縮処理により、音声データをフォーマットする。フォーマット処理部１６４でフォーマットされた音声データは、ファイル化処理部１４０へ入力される。ファイル化処理部１４０は、音声データを一時的に蓄積する。
【００２８】
なお、図示しないが、動画像記録装置１００は、ホストＣＰＵが設けられる。ホストＣＰＵは、ファイル化処理部１４０からメディア記録部１５０へのデータ送信、及びメディア記録部１５０による記録メディアへのデータの記録を制御する。ホストＣＰＵは、ファイル化処理部１４０に蓄積されている圧縮画像データ、ＲＡＷ画像データ及び撮影条件データを所定量毎（例えば、１フレームのデータ量毎）にメディア記録部１５０へ送り、記録メディアに順次に記録するように、ファイル化処理部１４０、音声データ及びメディア記録部１５０を制御する。ホストＣＰＵは、圧縮画像データ、ＲＡＷ画像データ、音声データ及び撮影条件データを所定の順番で記録メディアに記録する。
【００２９】
なお、動画像記録装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００３０】
以上のように構成された本実施形態の動画像記録装置１００では、カメラ１０２の撮像素子から出力されてＡＤ変換された映像デジタルデータが、フォーマット処理部１１０に送られ、ＲＡＷ画像データのまま記録メディアに記録される。従って、記録メディアには、高画質のＲＡＷ画像データが記録され、ＲＡＷ画像データを読み出して表示することで、圧縮された映像データに比べて、高画質の映像を再生することが可能となる。
【００３１】
一方、ＲＡＷ画像データはデータ量が多いため、ＲＡＷ画像データのままではＥＶＦ、ＬＣＤへのリアルタイム画面表示を行うことはできず、またＪＰＥＧ等の圧縮処理を直接行うことができない。本実施形態の動画像記録装置１００では、ＲＡＷ画像データの記録とともに、動画像データの現像処理、縮小処理、圧縮処理を行うため、撮影と同時にＥＶＦ、ＬＣＤへのリアルタイム表示を行うことができ、表示画面をモニタしながら撮影を行うことができる。また、記録メディアにはＲＡＷ画像データとともに圧縮処理された圧縮画像データが記録されるため、再生時には、圧縮画像データにより映像の検索、サムネイル表示等を行うことが可能である。これにより、映像中の重要な部分についてはＲＡＷ画像データによる高画質再生が可能となり、映像中で比較的重要度の低い部分については、圧縮画像データを高速に読み出すことで簡易的な再生が可能となる。
【００３２】
また、本実施形態の動画像記録装置１００は、ＲＡＷ画像データはそのまま保存し、撮像素子から各画素データを読み出すときの読出し条件を変更するための撮影条件と一緒にファイル化する。記録メディアにはＲＡＷ画像データとともに撮影条件データが記録されるため、再生時、ＲＡＷ画像データを現像処理する際、撮影条件データを読み出して現像処理することができる。その結果、撮影条件が異なり撮像素子からの各画素の読み出し条件が異なる場合でも、ＲＡＷ画像データに基づいて適切な画像処理を行うことができる。
【００３３】
次に、記録メディアにおける記録フォーマットについて説明する。図２は、動画像記録装置１００による、記録メディアへの記録のフォーマットを示す模式図である。撮像素子が例えばベイヤー配列の単板の場合には、出力されるデータはＲ：Ｇ：Ｂ＝１：２：１のベイヤー配列された画素の順番で出力される。動画像記録装置１００は、このベイヤー配列データについて画質を損なうことなく記録するため、フォーマット処理部１１０によりＲＧＢの順に並び替え、画質を損なうような圧縮処理を施すことなく記録する。
【００３４】
図２（Ａ）は、映像の記録開始（録画スタート）から記録停止（録画停止）までの間の１つの動画ファイルを示している。また、図２（Ｂ）は、図２（Ａ）の記録データのうち、１フレーム分のデータを示している。
【００３５】
ベイヤー配列のＲＧＢデータは、フォーマット処理部１１０により並べ替えられ、記録メディアのデータ領域に記録される。また、ＪＰＥＧエンコーダ１２４によりエンコードされた圧縮画像データ、及びフォーマット処理部１６４でフォーマットされた音声データも記録メディアのデータ領域に記録される。図２（Ａ）に示すように、記録フォーマットの先頭には、ヘッダー（Header）が記録される。ヘッダーには、撮影日時、カメラ１０２の撮像素子の情報、動画像記録装置１００のセット名称、オーディオのチャンネル数、ビット数、記録メディアの記録フォーマット情報、カメラ１０２のレンズの仕様データ等の全体的な情報が記録される。ヘッダーに続いて、映像の１フレーム毎にデータが記録される。
【００３６】
１フレーム毎のデータは、フレームヘッダー（Frame Header ０，１，・・・，ｎ）とフレーム毎のデータ（Ｆ０， Ｆ１，・・・，Ｆｎ）から構成される。図２（Ｂ）に示すように、フレーム毎のデータは、音声データ（Audio）、圧縮画像データ（Compressed Image）、ＲＡＷ画像データ（Ｇ，Ｂ，Ｒ）の順で、フレーム単位で繰り返し記録される。そして、最後のフレームＦｎのデータに続いて、フッター（Footer）が記録される。
【００３７】
各フレームのフレームヘッダーには、例えば、各フレームの音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズが記録される。また、各フレームのフレームヘッダーには、フレーム毎の撮影条件データが記録される。
【００３８】
次に、図３を参照して、撮像素子から各画素を読み出して画素混合処理をする例について説明する。図３は、本実施形態に係る撮像素子の撮像面を示す模式図である。
【００３９】
フレームヘッダーに記録されたフレーム毎の撮影条件が読み出されると、撮像素子の構成や動画像記録装置１００の撮影モードなどが分かるため、ＲＡＷ画像データに基づいて撮像素子から各画素の読出し処理をすることができる。読出し処理は、例えば、画素混合処理や画素間引き処理などである。
【００４０】
例えば、図３（Ａ）に示すようなベイヤー配列を有する撮像素子の撮像面の例で、画素混合処理をする場合について説明する。垂直２画素、水平２画素による画素混合をする場合、図３（Ａ）の上図に示すように、斜め十字方向の４画素からデータを混合する。その結果、図３（Ｂ）に示すように、出力されるデータは、垂直方向、水平方向ともに半分ずつになったベイヤー配列のように見えることになる。しかし、実際に加算した結果の画素の位相は図３（Ｃ）のようになるため、画素混合によって空間周波数が垂直方向、水平方向に１／２になったとは限らない。
【００４１】
しかし、この情報がなければ、得られるデータは図３（Ｂ）のパターンにしか見えないため、このパターンだと仮定して現像処理される。このような間引きデータは、空間周波数としてはｆ／２近傍にピークが存在し、もとの解像度も残っているため、折り返し歪みが発生する。一方、画素混合処理に関する条件を読込んで現像処理することで、適切な現像をすることができる。なお、画素混合処理に関する条件とは、撮像素子からの各画素データのどの部分が混合されているかという条件である。また読み出し処理は、画素混合処理に限定されず画素間引き処理でもよい。このとき画素間引き処理に関する条件とは、撮像素子からの各画素データのどの部分が間引かれているかなどの条件である。
【００４２】
次に、図４を参照して、図１の動画像記録装置１００で記録された動画像データを再生する動画像再生装置２００について説明する。図４は、本発明の一実施形態に係る動画像再生装置２００の構成を示すブロック図である。図４に示すように、動画像再生装置２００は、ホストＣＰＵ２０２、メディア読出部２１０、De-Multiplex２１２、撮影条件抽出部２２０、音声信号処理部２３０、オーディオ出力部２３２、ＪＰＥＧデコード部２４０、現像処理部２５２、サイズ処理部２５４、ＭＵＸ２６０、ビデオ出力部２６２を有して構成されている。
【００４３】
メディア読出部２１０は、ホストＣＰＵ２０２からの指令により、記録メディアからデータを読み出す。De-Multiplex２１２は、メディア読出部２１０から読み出したデータを一時的に溜め、音声信号処理部２３０、ＪＰＥＧデコード部２４０、現像処理部２５２のそれぞれに送る。
【００４４】
撮影条件抽出部２２０は、フレームヘッダーに記録された撮影条件データを抽出し、ホストＣＰＵ２０２に送る。
【００４５】
ホストＣＰＵ２０２は、撮影条件抽出部２２０から送られた撮影条件データに基づいて、現像処理部２５２又はサイズ処理部２５４における画像処理を制御する。これにより、記録メディアから撮影条件データが読み出された場合、そのデータに従って、撮影条件に応じた撮像素子からの各画素データの読み出しをするための読出し条件が設定され、読出し条件に基づいて現像処理、サイズ処理が行われる。その結果、撮影条件が異なり撮像素子からの各画素の読み出し条件が異なる場合でも、ＲＡＷ画像データに基づいて適切な画像処理を行うことができる。
【００４６】
音声信号処理部２３０は、音声データをデフォーマットし、デフォーマットされた信号をＤＡ変換し、オーディオ出力部２３２に送る。オーディオ出力部２３２は、アナログ変換されたオーディオ信号を外部に出力する。
【００４７】
また、ＪＰＥＧデコード部２４０は、圧縮画像データをデコードし、デコードされた映像データを縮小または拡大し、ＭＵＸ２６０へ送る。
【００４８】
現像処理部２５２は、ＲＡＷ画像データをベイヤーデフォーマットし、ベイヤー配列に並べ替えてサイズ処理部２５４へ送る。現像処理部２５２は、デフォーマットされたＲＡＷ画像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理を行う。サイズ処理部２５４は、現像処理が行われたＲＡＷ画像データのサイズを縮小する処理を行い、処理されたデータをＭＵＸ２６０へ送る。
【００４９】
ＭＵＸ２６０は、ＪＰＥＧデコード部２４０又はサイズ処理部２５４から送られた映像データを、ビデオ出力部２６２へ送る。ビデオ出力部２６２では、送られたデータをＤＡ変換し、アナログ信号データを外部に出力する。
【００５０】
なお、動画像再生装置２００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００５１】
以上のように構成された本実施形態の動画像再生装置２００では、メディア読出部２１０から読み出したファイルの中の各フレームヘッダーに記録された撮影条件データを用いて現像処理、サイズ処理を行う。そして、通常、撮像素子の構成や動画像記録装置１００の撮影モードなどの撮影条件によって、撮像素子からの各画素データの読み出し条件が異なるが、動画像再生装置２００によれば、撮影条件をもとに読み出し処理をするときの各画素の画素混合処理計算、画素間引き処理計算をすることができるため、ＲＡＷ画像データに基づいて、解像度、フレームレート、画像品質などに応じた適切な画像処理をすることができる。
【００５２】
ＲＡＷ画像データの再生時には、記録メディアからＧ、Ｂ、Ｒの各ＲＡＷ画像データを読み出し、そのデータを現像処理することによって、ＲＡＷ画像データが映像信号化される。この信号は、所定の画像サイズに縮小処理されて、ビデオ出力部２６２にビデオ出力される。これにより、動画像再生装置２００によって、高画質な再生が可能となる。
【００５３】
圧縮画像データを再生する場合は、記録メディアからフレーム単位に圧縮画像データを順次に読み出すことで、圧縮画像データを再生することができる。この場合、読み出されるデータサイズはＲＡＷ画像データに比べて極めて小さい。ＪＰＥＧデコードされた映像信号を所定の画像サイズに縮小処理、または拡大処理して出力することで、ＲＡＷ画像データの再生に比べて軽い処理で再生を行うことが可能となる。このように、圧縮画像データによる簡易再生モードを活用することにより、動画像再生装置２００のハードウェア構成を大幅に削減できるとともに、消費電力を大幅に低減できる。
【００５４】
また、特殊再生モードとして、高速再生モードについても、ＪＰＥＧデータを用いることで、負荷の少ない処理が可能となる。この場合、再生の倍速率に合わせてフレームヘッダーのみをサーチしながら、音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズ情報から必要なフレームだけを飛び越し走査して圧縮画像データを読み出し、ＪＰＥＧデコードして読み出せばよい。逆転方向の再生も同様の方法を用いることで容易に実現可能である。
【００５５】
また、圧縮画像データを用いて、ファイルの中の撮影画像の一覧をサムネイル表示することも可能である。この場合、例えば複数の動画ファイルのそれぞれについて、１フレームの画像をサムネイル表示してもよいし、各動画ファイルを動画としてサムネイル表示してもよい。
【００５６】
以上説明したように本実施形態によれば、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録装置１００、および動画像再生装置２００を提供することが可能となる。
【００５７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態に係る動画像記録装置の構成を示すブロック図である。
【図２】動画像記録装置による、記録メディアへの記録のフォーマットを示す模式図である。
【図３】同実施形態に係る撮像素子の撮像面を示す模式図である。
【図４】同実施形態に係る動画像再生装置の構成を示すブロック図である。
【符号の説明】
【００５９】
１００ 動画像記録装置
１０２ カメラ
１０４ カメラ信号処理部
１１０、１３６、１６４ フォーマット処理部
１２０ 現像処理部
１２２ サイズ処理部
１２４ ＪＰＥＧエンコーダ
１３０ 撮影条件制御部
１４０ ファイル化処理部
１５０ メディア記録部
１６０ マイクロフォン
１６２ 音声信号処理部
２００ 動画像再生装置
２０２ ホストＣＰＵ
２１０ メディア読出部
２１２ De-Multiplex
２２０ 撮影条件抽出部
２３０ 音声信号処理部
２３２ オーディオ出力部
２４０ ＪＰＥＧデコード部
２５２ 現像処理部
２５４ サイズ処理部
２６０ ＭＵＸ
２６２ ビデオ出力部
【技術分野】
【０００１】
本発明は、記録装置、再生装置、記録方法、再生方法及びプログラムに関する。
【０００２】
動画を記録可能なビデオカメラ、カムコーダなどの撮像装置は、一般にＣＣＤ等の撮像素子の各画素から出力された信号に所定の画像処理（現像処理）を行った後、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧ等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体に画像データの記録を行っている。
【０００３】
ここで、上記の画像処理とは、例えばホワイトバランス制御、露出制御などである。また、圧縮処理を行う際、撮像素子からの読出しパターン（読出し条件）に応じて、撮像素子における画素の画素混合処理計算、画素間引き処理計算を行なっている。なお、読出しパターンは、撮像素子の構成、撮像装置の撮影条件などの撮影モードに依存している。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、撮像装置内で圧縮処理を行う場合、内部に設けられた撮像素子に対応した読出しパターンを備えていれば、上記の画素混合処理や画素間引き処理を行うことができるため、圧縮処理は限られたデータベースがあれば可能となる。一方、ＲＡＷ画像データを外部に出力して、その後ソフトウェアなどを使用して現像処理を行う場合は、撮像素子の構成などの条件に依存した読出しパターンが必要であるため、それぞれの条件に応じた読出しパターンを予め用意しておく必要があった。
【０００５】
しかし、予め撮像素子に応じた多数の読出しパターンを用意しておくことは困難であり、また、新たな撮像素子が採用されるとそれに応じて、新たな読み出しパターンに対応する必要があるという問題があった。また、読出しパターンは、撮像装置の撮影条件によっても異なるため、ＲＡＷ画像データを現像処理するには多大なデータベースが必要となるという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、様々な撮影時の撮影モードに対応してＲＡＷ画像データを容易に画像処理することが可能な、新規かつ改良された記録装置、再生装置、記録方法、再生方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部と、撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する撮影条件取得部と、フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録する媒体記録部とを備えることを特徴とする記録装置が提供される。
【０００８】
上記撮影条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であってもよい。
【０００９】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各撮影条件のうち少なくともいずれかを読み出すデータ読出部と、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする画像処理部とを備えることを特徴とする再生装置が提供される。
【００１０】
上記読み出し条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であってもよい。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能に画像処理してフレーム単位の処理済画像データを生成するステップと、撮像素子からの各画素データの読み出しに必要な、処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得するステップと、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録するステップとを備えることを特徴とする記録方法が提供される。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各撮影条件のうち少なくともいずれかを読み出すステップと、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をするステップとを備えることを特徴とする再生方法が提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する手段、撮像素子からの各画素データの読み出しに必要な、処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する手段、フレーム単位のＲＡＷ画像データと、フレーム単位の処理済画像データと、フレーム単位の撮影条件とをフレーム毎に順次記録媒体に記録する手段をコンピュータに実行させるためのプログラムが提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、フレーム単位のＲＡＷ画像データと、ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各ＲＡＷ画像データ、各処理済画像データ及び各撮影条件のうち少なくともいずれかを読み出す手段、ＲＡＷ画像データをフレーム毎に順次再生する際、読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする手段をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【００１５】
本発明によれば、様々な撮影時の撮影モードに対応してＲＡＷ画像データを容易に画像処理することができる。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
まず、図１を参照して、本発明の一実施形態に係る動画像記録装置１００について説明する。図１は、本実施形態に係る動画像記録装置１００の構成を示すブロック図である。
【００１８】
動画像記録装置１００は、図１に示すように、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、撮影条件制御部１３０、フォーマット処理部１３６、ファイル化処理部１４０、メディア記録部１５０、マイクロフォン１６０、音声信号処理部１６２、フォーマット処理部１６４を有して構成されている。
【００１９】
カメラ信号処理部１０４は、カメラ１０２の撮像素子（ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のセンサー）から出力された１フレーム毎の動画像データが入力される。カメラ信号処理部１０４は、入力された信号をＡＤ変換するＡＤコンバータを含んでいる。カメラ信号処理部１０４から出力されたデジタル映像信号は、フォーマット処理部１１０と現像処理部１２０との双方へ送られる。
【００２０】
フォーマット処理部１１０では、撮像素子の画素配列（例えばベイヤー配列、３板ＣＣＤなど）に応じて、デジタル変換されたＲ，Ｇ，Ｂの各信号を並び換える処理をする。また、フォーマット処理部１１０では、フレーム内で可逆的な圧縮処理を動画像データに対して施す。可逆な圧縮方式による圧縮処理によって、画質などを低下させずに画像データを記録、再生することができる。可逆な圧縮方式には、例えば、ハフマン符号を用いたエントロピー符号化等がある。なお、可逆な圧縮方式は、厳密な「可逆」に限定されない。このように、フォーマット処理部１１０によるフォーマット処理では、ＲＡＷ画像データとしての画質を維持するため、画質を損なうような圧縮処理は施されない。一方、ＲＡＷ画像データは非常に大きなファイルサイズとなるため、冗長度の少ないデータに処理する。フォーマット処理部１１０でフォーマット処理された動画像データは、そのままＲＡＷ画像データとしてファイル化処理部１４０へ入力される。
【００２１】
現像処理部１２０では、入力された映像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理が行われる。現像処理部１２０で現像処理が行われたデータは、サイズ処理部１２２へ送られる。現像処理部１２０では、撮影条件制御部１３０で制御された撮影条件に応じて、解像度、フレームレート、画像品質を変更して現像処理をする。
【００２２】
サイズ処理部１２２は、動画像データのサイズを縮小又は拡大する処理を行う。サイズ処理部１２２から出力されたデータは、ＪＰＥＧエンコーダ１２４へ送られる。また、サイズ処理部１２２では、必要に応じて、ＥＶＦ（Electronic View Finder）（図示せず。）、ＬＣＤ（Liquid Crystal Display）（図示せず。）などの表示装置の画面サイズに合わせて、動画像データのサイズを縮小する処理を行う。サイズ処理部１２２から出力されたデータは、ＥＶＦ、ＬＣＤに送られて、画面上に表示される。これにより、ユーザは、カメラ１０２で撮影された映像をリアルタイムで認識することができる。
【００２３】
ＪＰＥＧエンコーダ１２４は、入力されたデータに対してＪＰＥＧの圧縮符号化処理を施し、ファイル化処理部１４０へ圧縮画像データ（処理済画像データ）を送る。
【００２４】
撮影条件制御部１３０は、動画像記録装置１００がどのような撮影条件で撮影するかを制御する。例えば、撮影条件とは、撮像素子の画素数、画素ピッチなどの撮像素子に関する条件、解像度、フレームレートや画像品質などの条件である。これらの撮影条件の相違に応じて、撮像素子からの各画素データの読出し条件が変更される。撮影条件制御部１３０は、カメラ１０２、カメラ信号処理部１０４、フォーマット処理部１１０、現像処理部１２０、サイズ処理部１２２、ＪＰＥＧエンコーダ１２４、フォーマット処理部１６４に撮影条件を指示する。これらの各機能ブロックは、指示に応じて撮影条件を設定する。
【００２５】
そして、撮影条件制御部１３０は、撮影条件データをフォーマット処理部１３６に送る。フォーマット処理部１３６は、撮影条件データをフォーマット処理し、データをファイル化処理部１４０に送る。フォーマット処理部１３６は、撮影条件取得部の一例であり、像素子からの各画素データの読み出しに必要な、処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する。処理済画像データを記録する際に設定された撮影条件は、例えば、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件等である。
【００２６】
ファイル化処理部１４０は、フォーマット処理部１１０から送られたＲＡＷ画像データや、ＪＰＥＧエンコーダ１２４で圧縮処理された圧縮画像データや、フォーマット処理部１３６から送られた撮影条件データを一時的に蓄積する。ファイル化処理部１４０に蓄積された圧縮画像データ、ＲＡＷ画像データ及び撮影条件データは、メディア記録部１５０へ送られ、記録メディアの記録フォーマットに従い記録メディアに記録される。記録メディアとしては、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などが挙げられる。
【００２７】
また、マイクロフォン１６０は、カメラ１０２による動画撮影と同時に被写体の音声を取得し、音声信号処理部１６２へ送る。音声信号処理部１６２は、入力された音声のアナログ信号をＡＤ変換するＡＤコンバータを含んでいる。音声信号処理部１６２から出力されたデジタル音声信号は、フォーマット処理部１６４へ送られる。フォーマット処理部１６４では、非圧縮のＰＣＭ方式、またはＡＤＰＣＭ方式、ＡＡＣ方式、ＡＣ３方式、ＭＰ３方式などの圧縮処理により、音声データをフォーマットする。フォーマット処理部１６４でフォーマットされた音声データは、ファイル化処理部１４０へ入力される。ファイル化処理部１４０は、音声データを一時的に蓄積する。
【００２８】
なお、図示しないが、動画像記録装置１００は、ホストＣＰＵが設けられる。ホストＣＰＵは、ファイル化処理部１４０からメディア記録部１５０へのデータ送信、及びメディア記録部１５０による記録メディアへのデータの記録を制御する。ホストＣＰＵは、ファイル化処理部１４０に蓄積されている圧縮画像データ、ＲＡＷ画像データ及び撮影条件データを所定量毎（例えば、１フレームのデータ量毎）にメディア記録部１５０へ送り、記録メディアに順次に記録するように、ファイル化処理部１４０、音声データ及びメディア記録部１５０を制御する。ホストＣＰＵは、圧縮画像データ、ＲＡＷ画像データ、音声データ及び撮影条件データを所定の順番で記録メディアに記録する。
【００２９】
なお、動画像記録装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００３０】
以上のように構成された本実施形態の動画像記録装置１００では、カメラ１０２の撮像素子から出力されてＡＤ変換された映像デジタルデータが、フォーマット処理部１１０に送られ、ＲＡＷ画像データのまま記録メディアに記録される。従って、記録メディアには、高画質のＲＡＷ画像データが記録され、ＲＡＷ画像データを読み出して表示することで、圧縮された映像データに比べて、高画質の映像を再生することが可能となる。
【００３１】
一方、ＲＡＷ画像データはデータ量が多いため、ＲＡＷ画像データのままではＥＶＦ、ＬＣＤへのリアルタイム画面表示を行うことはできず、またＪＰＥＧ等の圧縮処理を直接行うことができない。本実施形態の動画像記録装置１００では、ＲＡＷ画像データの記録とともに、動画像データの現像処理、縮小処理、圧縮処理を行うため、撮影と同時にＥＶＦ、ＬＣＤへのリアルタイム表示を行うことができ、表示画面をモニタしながら撮影を行うことができる。また、記録メディアにはＲＡＷ画像データとともに圧縮処理された圧縮画像データが記録されるため、再生時には、圧縮画像データにより映像の検索、サムネイル表示等を行うことが可能である。これにより、映像中の重要な部分についてはＲＡＷ画像データによる高画質再生が可能となり、映像中で比較的重要度の低い部分については、圧縮画像データを高速に読み出すことで簡易的な再生が可能となる。
【００３２】
また、本実施形態の動画像記録装置１００は、ＲＡＷ画像データはそのまま保存し、撮像素子から各画素データを読み出すときの読出し条件を変更するための撮影条件と一緒にファイル化する。記録メディアにはＲＡＷ画像データとともに撮影条件データが記録されるため、再生時、ＲＡＷ画像データを現像処理する際、撮影条件データを読み出して現像処理することができる。その結果、撮影条件が異なり撮像素子からの各画素の読み出し条件が異なる場合でも、ＲＡＷ画像データに基づいて適切な画像処理を行うことができる。
【００３３】
次に、記録メディアにおける記録フォーマットについて説明する。図２は、動画像記録装置１００による、記録メディアへの記録のフォーマットを示す模式図である。撮像素子が例えばベイヤー配列の単板の場合には、出力されるデータはＲ：Ｇ：Ｂ＝１：２：１のベイヤー配列された画素の順番で出力される。動画像記録装置１００は、このベイヤー配列データについて画質を損なうことなく記録するため、フォーマット処理部１１０によりＲＧＢの順に並び替え、画質を損なうような圧縮処理を施すことなく記録する。
【００３４】
図２（Ａ）は、映像の記録開始（録画スタート）から記録停止（録画停止）までの間の１つの動画ファイルを示している。また、図２（Ｂ）は、図２（Ａ）の記録データのうち、１フレーム分のデータを示している。
【００３５】
ベイヤー配列のＲＧＢデータは、フォーマット処理部１１０により並べ替えられ、記録メディアのデータ領域に記録される。また、ＪＰＥＧエンコーダ１２４によりエンコードされた圧縮画像データ、及びフォーマット処理部１６４でフォーマットされた音声データも記録メディアのデータ領域に記録される。図２（Ａ）に示すように、記録フォーマットの先頭には、ヘッダー（Header）が記録される。ヘッダーには、撮影日時、カメラ１０２の撮像素子の情報、動画像記録装置１００のセット名称、オーディオのチャンネル数、ビット数、記録メディアの記録フォーマット情報、カメラ１０２のレンズの仕様データ等の全体的な情報が記録される。ヘッダーに続いて、映像の１フレーム毎にデータが記録される。
【００３６】
１フレーム毎のデータは、フレームヘッダー（Frame Header ０，１，・・・，ｎ）とフレーム毎のデータ（Ｆ０， Ｆ１，・・・，Ｆｎ）から構成される。図２（Ｂ）に示すように、フレーム毎のデータは、音声データ（Audio）、圧縮画像データ（Compressed Image）、ＲＡＷ画像データ（Ｇ，Ｂ，Ｒ）の順で、フレーム単位で繰り返し記録される。そして、最後のフレームＦｎのデータに続いて、フッター（Footer）が記録される。
【００３７】
各フレームのフレームヘッダーには、例えば、各フレームの音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズが記録される。また、各フレームのフレームヘッダーには、フレーム毎の撮影条件データが記録される。
【００３８】
次に、図３を参照して、撮像素子から各画素を読み出して画素混合処理をする例について説明する。図３は、本実施形態に係る撮像素子の撮像面を示す模式図である。
【００３９】
フレームヘッダーに記録されたフレーム毎の撮影条件が読み出されると、撮像素子の構成や動画像記録装置１００の撮影モードなどが分かるため、ＲＡＷ画像データに基づいて撮像素子から各画素の読出し処理をすることができる。読出し処理は、例えば、画素混合処理や画素間引き処理などである。
【００４０】
例えば、図３（Ａ）に示すようなベイヤー配列を有する撮像素子の撮像面の例で、画素混合処理をする場合について説明する。垂直２画素、水平２画素による画素混合をする場合、図３（Ａ）の上図に示すように、斜め十字方向の４画素からデータを混合する。その結果、図３（Ｂ）に示すように、出力されるデータは、垂直方向、水平方向ともに半分ずつになったベイヤー配列のように見えることになる。しかし、実際に加算した結果の画素の位相は図３（Ｃ）のようになるため、画素混合によって空間周波数が垂直方向、水平方向に１／２になったとは限らない。
【００４１】
しかし、この情報がなければ、得られるデータは図３（Ｂ）のパターンにしか見えないため、このパターンだと仮定して現像処理される。このような間引きデータは、空間周波数としてはｆ／２近傍にピークが存在し、もとの解像度も残っているため、折り返し歪みが発生する。一方、画素混合処理に関する条件を読込んで現像処理することで、適切な現像をすることができる。なお、画素混合処理に関する条件とは、撮像素子からの各画素データのどの部分が混合されているかという条件である。また読み出し処理は、画素混合処理に限定されず画素間引き処理でもよい。このとき画素間引き処理に関する条件とは、撮像素子からの各画素データのどの部分が間引かれているかなどの条件である。
【００４２】
次に、図４を参照して、図１の動画像記録装置１００で記録された動画像データを再生する動画像再生装置２００について説明する。図４は、本発明の一実施形態に係る動画像再生装置２００の構成を示すブロック図である。図４に示すように、動画像再生装置２００は、ホストＣＰＵ２０２、メディア読出部２１０、De-Multiplex２１２、撮影条件抽出部２２０、音声信号処理部２３０、オーディオ出力部２３２、ＪＰＥＧデコード部２４０、現像処理部２５２、サイズ処理部２５４、ＭＵＸ２６０、ビデオ出力部２６２を有して構成されている。
【００４３】
メディア読出部２１０は、ホストＣＰＵ２０２からの指令により、記録メディアからデータを読み出す。De-Multiplex２１２は、メディア読出部２１０から読み出したデータを一時的に溜め、音声信号処理部２３０、ＪＰＥＧデコード部２４０、現像処理部２５２のそれぞれに送る。
【００４４】
撮影条件抽出部２２０は、フレームヘッダーに記録された撮影条件データを抽出し、ホストＣＰＵ２０２に送る。
【００４５】
ホストＣＰＵ２０２は、撮影条件抽出部２２０から送られた撮影条件データに基づいて、現像処理部２５２又はサイズ処理部２５４における画像処理を制御する。これにより、記録メディアから撮影条件データが読み出された場合、そのデータに従って、撮影条件に応じた撮像素子からの各画素データの読み出しをするための読出し条件が設定され、読出し条件に基づいて現像処理、サイズ処理が行われる。その結果、撮影条件が異なり撮像素子からの各画素の読み出し条件が異なる場合でも、ＲＡＷ画像データに基づいて適切な画像処理を行うことができる。
【００４６】
音声信号処理部２３０は、音声データをデフォーマットし、デフォーマットされた信号をＤＡ変換し、オーディオ出力部２３２に送る。オーディオ出力部２３２は、アナログ変換されたオーディオ信号を外部に出力する。
【００４７】
また、ＪＰＥＧデコード部２４０は、圧縮画像データをデコードし、デコードされた映像データを縮小または拡大し、ＭＵＸ２６０へ送る。
【００４８】
現像処理部２５２は、ＲＡＷ画像データをベイヤーデフォーマットし、ベイヤー配列に並べ替えてサイズ処理部２５４へ送る。現像処理部２５２は、デフォーマットされたＲＡＷ画像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理を行う。サイズ処理部２５４は、現像処理が行われたＲＡＷ画像データのサイズを縮小する処理を行い、処理されたデータをＭＵＸ２６０へ送る。
【００４９】
ＭＵＸ２６０は、ＪＰＥＧデコード部２４０又はサイズ処理部２５４から送られた映像データを、ビデオ出力部２６２へ送る。ビデオ出力部２６２では、送られたデータをＤＡ変換し、アナログ信号データを外部に出力する。
【００５０】
なお、動画像再生装置２００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。
【００５１】
以上のように構成された本実施形態の動画像再生装置２００では、メディア読出部２１０から読み出したファイルの中の各フレームヘッダーに記録された撮影条件データを用いて現像処理、サイズ処理を行う。そして、通常、撮像素子の構成や動画像記録装置１００の撮影モードなどの撮影条件によって、撮像素子からの各画素データの読み出し条件が異なるが、動画像再生装置２００によれば、撮影条件をもとに読み出し処理をするときの各画素の画素混合処理計算、画素間引き処理計算をすることができるため、ＲＡＷ画像データに基づいて、解像度、フレームレート、画像品質などに応じた適切な画像処理をすることができる。
【００５２】
ＲＡＷ画像データの再生時には、記録メディアからＧ、Ｂ、Ｒの各ＲＡＷ画像データを読み出し、そのデータを現像処理することによって、ＲＡＷ画像データが映像信号化される。この信号は、所定の画像サイズに縮小処理されて、ビデオ出力部２６２にビデオ出力される。これにより、動画像再生装置２００によって、高画質な再生が可能となる。
【００５３】
圧縮画像データを再生する場合は、記録メディアからフレーム単位に圧縮画像データを順次に読み出すことで、圧縮画像データを再生することができる。この場合、読み出されるデータサイズはＲＡＷ画像データに比べて極めて小さい。ＪＰＥＧデコードされた映像信号を所定の画像サイズに縮小処理、または拡大処理して出力することで、ＲＡＷ画像データの再生に比べて軽い処理で再生を行うことが可能となる。このように、圧縮画像データによる簡易再生モードを活用することにより、動画像再生装置２００のハードウェア構成を大幅に削減できるとともに、消費電力を大幅に低減できる。
【００５４】
また、特殊再生モードとして、高速再生モードについても、ＪＰＥＧデータを用いることで、負荷の少ない処理が可能となる。この場合、再生の倍速率に合わせてフレームヘッダーのみをサーチしながら、音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズ情報から必要なフレームだけを飛び越し走査して圧縮画像データを読み出し、ＪＰＥＧデコードして読み出せばよい。逆転方向の再生も同様の方法を用いることで容易に実現可能である。
【００５５】
また、圧縮画像データを用いて、ファイルの中の撮影画像の一覧をサムネイル表示することも可能である。この場合、例えば複数の動画ファイルのそれぞれについて、１フレームの画像をサムネイル表示してもよいし、各動画ファイルを動画としてサムネイル表示してもよい。
【００５６】
以上説明したように本実施形態によれば、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録装置１００、および動画像再生装置２００を提供することが可能となる。
【００５７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態に係る動画像記録装置の構成を示すブロック図である。
【図２】動画像記録装置による、記録メディアへの記録のフォーマットを示す模式図である。
【図３】同実施形態に係る撮像素子の撮像面を示す模式図である。
【図４】同実施形態に係る動画像再生装置の構成を示すブロック図である。
【符号の説明】
【００５９】
１００ 動画像記録装置
１０２ カメラ
１０４ カメラ信号処理部
１１０、１３６、１６４ フォーマット処理部
１２０ 現像処理部
１２２ サイズ処理部
１２４ ＪＰＥＧエンコーダ
１３０ 撮影条件制御部
１４０ ファイル化処理部
１５０ メディア記録部
１６０ マイクロフォン
１６２ 音声信号処理部
２００ 動画像再生装置
２０２ ホストＣＰＵ
２１０ メディア読出部
２１２ De-Multiplex
２２０ 撮影条件抽出部
２３０ 音声信号処理部
２３２ オーディオ出力部
２４０ ＪＰＥＧデコード部
２５２ 現像処理部
２５４ サイズ処理部
２６０ ＭＵＸ
２６２ ビデオ出力部
【特許請求の範囲】
【請求項１】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部と、
前記撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する撮影条件取得部と、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記撮影条件とをフレーム毎に順次記録媒体に記録する媒体記録部と
を備えることを特徴とする、記録装置。
【請求項２】
前記撮影条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であることを特徴とする、請求項１に記載の記録装置。
【請求項３】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各前記ＲＡＷ画像データ、各処理済画像データ及び各前記撮影条件のうち少なくともいずれかを読み出すデータ読出部と、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする画像処理部と
を備えることを特徴とする、再生装置。
【請求項４】
前記読み出し条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であることを特徴とする、請求項３に記載の再生装置。
【請求項５】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成するステップと、
前記撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得するステップと、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記撮影条件とをフレーム毎に順次記録媒体に記録するステップと
を備えることを特徴とする、記録方法。
【請求項６】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各前記ＲＡＷ画像データ、各処理済画像データ及び各前記撮影条件のうち少なくともいずれかを読み出すステップと、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をするステップと
を備えることを特徴とする、再生方法。
【請求項７】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する手段、
前記撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する手段、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記撮影条件とをフレーム毎に順次記録媒体に記録する手段
をコンピュータに実行させるためのプログラム。
【請求項８】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各前記ＲＡＷ画像データ、各処理済画像データ及び各前記撮影条件のうち少なくともいずれかを読み出す手段、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする手段
をコンピュータに実行させるためのプログラム。
【請求項１】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する画像処理部と、
前記撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する撮影条件取得部と、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記撮影条件とをフレーム毎に順次記録媒体に記録する媒体記録部と
を備えることを特徴とする、記録装置。
【請求項２】
前記撮影条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であることを特徴とする、請求項１に記載の記録装置。
【請求項３】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各前記ＲＡＷ画像データ、各処理済画像データ及び各前記撮影条件のうち少なくともいずれかを読み出すデータ読出部と、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする画像処理部と
を備えることを特徴とする、再生装置。
【請求項４】
前記読み出し条件は、撮像素子から各画素データを読出し処理するときの各画素の画素混合処理又は画素間引き処理に関する条件であることを特徴とする、請求項３に記載の再生装置。
【請求項５】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成するステップと、
前記撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得するステップと、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記撮影条件とをフレーム毎に順次記録媒体に記録するステップと
を備えることを特徴とする、記録方法。
【請求項６】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各前記ＲＡＷ画像データ、各処理済画像データ及び各前記撮影条件のうち少なくともいずれかを読み出すステップと、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をするステップと
を備えることを特徴とする、再生方法。
【請求項７】
撮像素子からフレーム単位で順次出力されるＲＡＷ画像データを再生可能な画像データに画像処理してフレーム単位の処理済画像データを生成する手段、
前記撮像素子からの各画素データの読み出しに必要な、前記処理済画像データを記録する際に設定された撮影条件をフレーム毎に取得する手段、
フレーム単位の前記ＲＡＷ画像データと、フレーム単位の前記処理済画像データと、フレーム単位の前記撮影条件とをフレーム毎に順次記録媒体に記録する手段
をコンピュータに実行させるためのプログラム。
【請求項８】
フレーム単位のＲＡＷ画像データと、前記ＲＡＷ画像データを再生可能な画像データに画像処理したフレーム単位の処理済画像データと、前記処理済画像データを記録する際に設定された撮影モードに応じたフレーム単位の撮影条件とが記録された記録媒体から、各前記ＲＡＷ画像データ、各処理済画像データ及び各前記撮影条件のうち少なくともいずれかを読み出す手段、
前記ＲＡＷ画像データをフレーム毎に順次再生する際、前記読み出した撮影条件に基づいて、撮像素子からの各画素データを読み出して画像処理をする手段
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−１４７７４６（Ｐ２００９−１４７７４６Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００７−３２３９３２（Ｐ２００７−３２３９３２）
【出願日】平成１９年１２月１４日（２００７．１２．１４）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成１９年１２月１４日（２００７．１２．１４）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【Ｆターム（参考）】
[ Back to top ]