撮像装置、撮像システム、撮像方法及び画像処理装置
【課題】各種画像処理を行うのに必要な回路規模を比較的小さくできると共に、階調範囲及びダイナミックレンジを比較的広範囲に確保した状態でＨＤＲ画像データの情報量を削減することが可能な撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法を提供する。
【解決手段】撮像装置１００を、複数種類の露光時間で被写体を撮像できる撮像部１０と、複数種類の露光時間で撮像された各被写体の画像データに基づき浮動小数点形式の第１ＨＤＲ画像データを生成するＨＤＲ画像データ生成部１１と、メモリアービタ１２と、画像データを記憶するフレームメモリ１３と、浮動小数点形式の第１ＨＤＲ画像データに対してノイズ除去処理などの画像処理を行う画像処理部１４と、画像処理後の浮動小数点形式の第１ＨＤＲ画像データの出力形式を変換する出力形式変換部１５とを含んで構成した。
【解決手段】撮像装置１００を、複数種類の露光時間で被写体を撮像できる撮像部１０と、複数種類の露光時間で撮像された各被写体の画像データに基づき浮動小数点形式の第１ＨＤＲ画像データを生成するＨＤＲ画像データ生成部１１と、メモリアービタ１２と、画像データを記憶するフレームメモリ１３と、浮動小数点形式の第１ＨＤＲ画像データに対してノイズ除去処理などの画像処理を行う画像処理部１４と、画像処理後の浮動小数点形式の第１ＨＤＲ画像データの出力形式を変換する出力形式変換部１５とを含んで構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、比較的広範囲な階調範囲及びダイナミックレンジを確保した状態でＨＤＲ画像データの情報量の削減を行うことが可能な撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
撮像素子の多画素化、小型化の結果、ピクセルサイズ（センサセル）が小型化し、その結果、飽和電荷量が減少し、ダイナミックレンジ（Ｄレンジ）が狭くなっている。
撮像素子のＤレンジの狭さを補うために、１フレーム期間に２種類以上の露光時間で撮影できる撮像素子が提案されている。また、２フィールドで１フレームを構成する撮像素子においては、奇数、偶数フィールドで露光時間を替えて撮像する方法も提案され、広いＤレンジ撮影が可能である。特に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のセンサでは、回路構成の工夫により、１フレームの撮像期間に複数回のサンプリングが可能、もしくは多チャンネル化が可能である。また、非破壊読み出し可能なセンサによれば、複数回のサンプリングが容易である。
【０００３】
上記２種類以上の露光時間(例えば、標準露光時間、短露光時間など)で撮影した画像を、センサ外部もしくは内部で合成することで、広いＤレンジ画像を得る。ここで、従来の画像表示装置では、表現できるコントラスト比の制限から、デシベル換算で５０ｄＢ、ビット換算で８ビット相当に情報量を削減するトーンマッピングが行われている。この限られたダイナミックレンジ(Ｄレンジ)の中に収まるように、広いＤレンジの画像の情報量を削減するため、コントラスト比の低い画像になる（人が見た印象と異なる）。
【０００４】
出力装置の性能に応じて画像を圧縮する技術としては、例えば、特許文献１に記載の撮像装置がある。
さて、ＰＣ等コンピュータの世界では、被写体の３次元的な形状、反射率、色合い等や光源をモデル化し、また光源の位置、視点（カメラ）の位置を仮想的に決めて２次元画像が視点からどのように見えるかを計算により求めるコンピュータグラフィック（ＣＧ）技術が、映画、デザイン、ゲーム業界などで利用されている。ＣＧ技術は、画像を浮動小数点表現したハイダイナミックレンジ（ＨＤＲ）画像により無限のＤレンジが扱え、白とび、黒つぶれが無い、人が見た印象に近い自然な画像表現が行える。一般的に、ＨＤＲ画像生成の為には、高価な計算資源、専用ソフト、プログラミング技術、膨大な計算資源と時間が必要である。
【０００５】
前者（撮像装置）と後者（ＣＧ）技術の画像生成（絵作り）の違いをまとめると、前者（撮像装置）は、装置内で出力装置のＤレンジを想定して絵作りを行って記録する（Ｄレンジが固定であるので固定小数点処理）。前者は、輝度のコントラスト情報を圧縮する為、階調情報が損失し、その結果、記録された画像を２次利用、例えば表示装置への表示、印刷などする場合、出力装置側での忠実な再現は難しい。一方、ＣＧは、画像生成を浮動小数点処理で行い、コントラスト情報の損失が無いので、出力装置側で２次利用する場合、表示装置の性能や特性、またはユーザの見え方などに基づいて、最終的な画像を生成することが可能となり、より自然な（人の感性に近い）、更には感性を刺激する画像表現が可能となる。
【０００６】
また、物理シミュレーションにおける浮動小数点演算では、ある時刻の演算結果を次の時刻の演算に利用するので、演算誤差の蓄積はシステムに目的の動作を行わせる際の問題となり得る。また３次元ＣＧでは、視点をあるルールに則って変える場合など、演算誤差が蓄積して画像が絵的に崩れる、という問題が起こりうる。
一方、自然画像を撮像しながら、それに対して画像処理を施す場合、処理対象の情報（画像）が常に更新される為、演算誤差の蓄積という問題は起こらない。一方、Ｄレンジの狭さに起因する白とびや黒つぶれという問題は、画素情報の欠落であり、システムに目的の動作を行わせる際の問題となる。特に、白とびは、マシンビジョンにおいては、それが画像なのか欠陥なのか判別できず、システムに目的の動作とは異なる動作を誘発する恐れがある。また、マシンビジョンでは、領域検出(ラベリング)、エッジ検出、相関検出、２値化処理など、画像を大域的（マクロ）に捉えるので、画素値の演算誤差よりも、白とびや黒つぶれ等の情報損失の方が、認識等のシステム性能を大きく左右する。つまり、マシンビジョンでは、固定小数点演算によって演算誤差を低減するよりも、固定小数点数を浮動小数点数に変換して、Ｄレンジを人間の目の特性に近づけ（高精度化し）、十分なコントラスト比が得られるようにすることが重要となる。
【特許文献１】特開２０００―１８８７１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の従来技術においては、撮像装置内の演算処理を固定小数点演算で処理しているため、取り扱う画像のビット数が増加すると、演算に用いる演算器がビット数の増加数に対して指数的に増加し、回路規模や回路コストの著しい増加を招くという恐れがあった。
また、撮像装置からの出力は、各画素値が整数値で表現された画像データとなるため、コントラスト情報の損失が生じる恐れがあった。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、各種の画像処理を行うのに必要な回路規模を比較的小さくできると共に、階調範囲及びダイナミックレンジを比較的広範囲に確保した状態でＨＤＲ画像データのデータ量を削減することが可能な撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする。
【００１０】
このような構成であれば、撮像手段によって、第１及び第２の露光時間で被写体を撮像することが可能であり、ＨＤＲ画像データ生成手段によって、前記撮像手段で被写体を第１の露光時間及び第２の露光時間でそれぞれ撮像して得られた第１及び第２の画像データに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成することが可能であり、画像処理手段によって、前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行うことが可能である。
【００１１】
更に、ＨＤＲ画像データ変換手段によって、前記画像処理を行った後の前記第１ＨＤＲ画像データを、画素値を仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、基数がＸ、当該基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換することが可能である。
【００１２】
従って、ＨＤＲ画像データを、仮数部及び指数部のビット数が固定の浮動小数点形式で扱うことができるので、例えば、色補間処理、ディテール処理、ノイズ除去処理などの画像処理における乗算を、仮数部同士の乗算、指数部同士の加算で行うことができるので、固定小数点形式で乗算を行う場合と比較して、回路規模を小型化することができるという効果が得られる。例えば、固定小数点乗算器は、内部の演算精度を確保するために、ビット拡張、例えば数値を整数部１０ビット、小数部６ビットに拡張して、１６ビット相当の乗算器を構成する。一方、浮動小数点乗算器は、１０ビットの乗算器及び１０ビット以下の加算器で済む。乗算器と加算器とでは、乗算器の方が回路規模が大きくなりやすく、特に、ビット数の増加に伴う回路規模の増加は指数的に上昇する。また、回路規模は処理速度にも影響を与え、一般に回路規模が小さければ小さいほど処理速度は速くなる。
【００１３】
また、浮動小数点形式の第１ＨＤＲ画像データの仮数部及び指数部のビット数の変換を行って、浮動小数点形式のままデータ量を圧縮するようにしたので、例えば、表示出力やプリントアウトなどの人が視認（又は鑑賞）することを目的とした場合に、人間の目の画像の認識性能に対して十分なコントラスト比及びダイナミックレンジを維持した状態でデータ量を圧縮することができる。これにより、出力の目的等に応じた適切な出力形式でＨＤＲ画像データを出力できると共に、データの圧縮により、ＨＤＲ画像データの転送に必要なバス幅やＨＤＲ画像データの記憶に必要なメモリ容量などを低減することができるという効果が得られる。
【００１４】
例えば、従来は、３２ビットのＨＤＲ画像データ（整数値）を、８ビットの整数値に変換していたが、本形態では、例えば、仮数部８ビット、指数部４ビットの浮動小数点数に変換することで、データ量は４ビット分増加するものの、従来のダイナミックレンジ（５０ｄｂ）よりも約３２０００倍のダイナミックレンジを有するＨＤＲ画像データを得ることができる。
【００１５】
ところで、固定小数点演算の場合は演算(丸め)誤差（＝雑音）は、Ｄレンジが固定なので一定であるが、浮動小数点演算の場合は、レンジ（指数部の値）により、演算誤差が異なる。一方、画像（信号）の場合、画質はＳ／Ｎに依存する。浮動小数点演算の場合、Ｓ／Ｎの分母と分子の指数部は相殺しあい、結果、演算誤差（雑音）は仮数部のビット数（分解能）で決まり、指数部は寄与しない。よって演算誤差によるＳ／Ｎの劣化は、指数部に依存せず、浮動小数点の画像処理演算は、精度(誤差)の面でも大きな問題とはならない。
【００１６】
また、露光制御は、受光素子から出力される信号レベルを、被写体の明暗に関係なくほぼ一定にすることであり、受光素子出力値（画像データ）を浮動小数点形式とすることで、仮数部をその出力信号値に割り当て、指数部に露光量を割り当てることができるので、飽和させたり、丸めたりすることなく、信号レベルを保持できるという効果も得られる。
【００１７】
ここで、上記撮像手段は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成されるセンサセルアレイを有し、電子シャッタ機能等によって露光時間を制御すると共に、各露光時間の読み出しタイミングや、リセットタイミング等を制御して、複数種類の露光時間（第１及び第２の露光時間）で被写体を撮像する。また、撮像で得られた画像データは、例えば、デジタルの画像データに変換してから出力する。以下、撮像システムに関する形態、撮像方法に関する形態、画像処理装置に関する形態、画像処理方法に関する形態などにおいて同じである。
【００１８】
また、上記ＨＤＲ画像データは、例えば、同じ被写体を、標準露光時間で撮像した画像データと、これよりも短い短露光時間で撮像した画像データとにおける、非飽和の画素データを組み合わせて生成される。具体的には、例えば、前記標準露光時間で撮像して得られた画像データにおける飽和した画素データを、前記短露光時間で撮像して得られた画像データにおける非飽和の画素データに置換することでＨＤＲ画像データを生成する。以下、撮像システムに関する形態、撮像方法に関する形態、画像処理装置に関する形態、画像処理方法に関する形態などにおいて同じである。
【００１９】
〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを合成して、画素値を固定小数点形式で表した画素データから構成されるＨＤＲ画像データを生成する画像合成部と、前記ＨＤＲ画像データを、前記第１ＨＤＲ画像データに変換する浮動小数点化処理部とを有することを特徴とする。
【００２０】
このような構成であれば、画像合成部において、撮像手段から取得した、第１及び第２の露光時間に対応する固定小数点形式のＨＤＲ画像データを合成して、固定小数点形式のＨＤＲ画像データを生成することが可能であり、浮動小数点化処理部において、当該固定小数点形式のＨＤＲ画像データを、画素値を仮数部がＮビット、基数がＸ及び当該基数の指数部がＭビットの浮動小数点形式で表した画素データから構成される第１ＨＤＲ画像データに変換することが可能である。
【００２１】
〔形態３〕 更に、形態３の撮像装置は、形態１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを、それぞれ、画素値を仮数部が前記Ｎビット、基数が前記Ｘ及び当該基数の指数部が前記Ｍビットの浮動小数点形式で表した画素データから構成される画像データに変換する浮動小数点化処理部と、当該変換した後の第１及び第２の画像データを合成して前記第１ＨＤＲ画像データを生成する画像合成部とを有することを特徴とする。
【００２２】
このような構成であれば、浮動小数点化処理部において、撮像手段から取得した、第１及び第２の露光時間にそれぞれ対応する固定小数点形式の画像データを、画素値を仮数部がＮビット、基数がＸ及び当該基数の指数部がＭビットの浮動小数点形式で表した画素データから構成される画像データに変換することが可能であり、画像合成部において、前記浮動小数点形式に変換後の画像データを合成して前記第１ＨＤＲ画像データを生成することが可能である。
【００２３】
〔形態４〕 更に、形態４の撮像装置は、形態１乃至３のいずれか１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記被写体の画像を構成する画像要素毎に、前記画像要素を構成する画素データの前記指数部の値を同じ値とした前記第１ＨＤＲ画像データを生成することを特徴とする。
【００２４】
このような構成であれば、被写体画像の再生時に、仮数部のみを用いて再生しても、違和感の無い画像を再生することができるという効果が得られる。これは、画像要素毎に指数部を揃えた場合の仮数部のみの画像は、露光時間（露光量）の異なる画像データにおける有効な領域のみを重ね合わせた画像に相当するからである。
ここで、上記画像要素とは、被写体画像における、輝度が近い画素の領域であり、例えば、被写体画像に、壁や窓などの輝度の異なる画像要素が存在するときは、壁、窓などが画像要素となる。以下、撮像システムに関する形態、撮像方法に関する形態、画像処理装置に関する形態、画像処理方法に関する形態などにおいて同じである。
【００２５】
〔形態５〕 更に、形態５の撮像装置は、形態１乃至４のいずれか１の撮像装置において、
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１の画像データと、画素単位に前記所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２の画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データを構成する画素信号と、前記第１の画像データを構成する画素信号に対応する前記第２の画像データを構成する画素信号とに基づき、画素単位に前記複数の色要素のうちいずれか１つの色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記画像処理手段は、前記第１ＨＤＲ画像データに色補間処理を施して、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、前記画素データの指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする。
【００２６】
このような構成であれば、画素単位に所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する画素値を含む画素データから構成される第１ＨＤＲ画像データを生成することが可能であり、更に、この第１ＨＤＲ画像データに対して色補間処理を行うことで、画素単位に各色要素に関する画素値を含む画素データから構成される第１ＨＤＲ画像データを生成することが可能である（この時点では、各色要素の指数部の値は異なる）。
【００２７】
更に、変換して得られる第２ＨＤＲ画像データの各画素データの指数部の値が、画素単位で複数の色要素で同じ値となるように、色補間処理を行った後の第１ＨＤＲ画像データを構成する各画素データの仮数部の値及び指数部の値を変換することが可能である。
従って、第２ＨＤＲ画像データを、画素単位で、各色要素にそれぞれ対応する複数の仮数部のデータと、複数の色要素に共通の１つの指数部のデータとにまとめることができるので、出力用の第２ＨＤＲ画像データのデータ容量をより低減することができるという効果が得られる。
なお、ＨＤＲ画像データ変換手段においては、第２ＨＤＲ画像データへの変換において、各画素値が飽和しないように変換処理を行うことが望ましい。例えば、指数部の値が一番大きい画素値に合わせて変換処理を行う。
【００２８】
〔形態６〕 更に、形態６の撮像装置は、形態１乃至４のいずれか１の撮像装置において、
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１のカラー画像データと、画素単位に前記所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２のカラー画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１のカラー画像データを構成するカラー画素信号と、前記第１のカラー画像データを構成するカラー画素信号に対応する前記第２のカラー画像データを構成するカラー画素信号とに基づき、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、各前記画素データの前記指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする。
【００２９】
このような構成であれば、第１及び第２の露光時間に対応し且つ画素単位に複数の色要素の各色要素にそれぞれ対応した画素信号から構成される第１及び第２のカラー画像データを取得することが可能であり、これら第１及び第２のカラー画像データに基づき、画素単位に各色要素に関する複数の画素値を含む画素データから構成される第１ＨＤＲ画像データを生成することが可能である。
【００３０】
更に、変換して得られる第２ＨＤＲ画像データの各画素データの指数部の値が、画素単位で複数の色要素で同じ値となるように、第１ＨＤＲ画像データを構成する各画素データの仮数部の値及び指数部の値を変換することが可能である。
従って、第２ＨＤＲ画像データを、画素単位で、各色要素にそれぞれ対応する複数の仮数部のデータと、複数の色要素に共通の１つの指数部のデータとにまとめることができるので、出力用の第２ＨＤＲ画像データのデータ容量をより低減することができるという効果が得られる。
なお、ＨＤＲ画像データ変換手段においては、第２ＨＤＲ画像データへの変換において、各画素値が飽和しないように変換処理を行うことが望ましい。例えば、指数部の値が一番大きい画素値に合わせて変換処理を行う。
【００３１】
〔形態７〕 更に、形態７の撮像装置は、形態１乃至６のいずれか１の撮像装置において、
前記基数を”２”としたことを特徴とする。
このような構成であれば、第１及び第２ＨＤＲ画像データの各画素データは、２を基数とした浮動小数点形式のデータとなるので、これにより、撮像装置において扱いやすいデータとすることができるという効果が得られる。
ここで、撮像装置は、露光量をＥＶ値で管理（表現）している。このＥＶ値は、１ＥＶ変えるごとに露光量が２倍もしくは１／２になる。つまり、基数を２とすることで、例えば、明るい画像を撮像する為に露光量（ＥＶ値）を１段下げたとき、これは第１又は第２ＨＤＲ画像データの指数部の数値を１上げることと等価であり、一方暗い画像を撮像する為に露光量（ＥＶ値）を１段上げることは、指数部の数値を１下げることと等価である。
【００３２】
〔形態８〕 更に、形態８の撮像装置は、形態１乃至７のいずれか１の撮像装置において、
前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部が９ビット以上で且つ前記指数部が５ビット以上であるときに、
前記ＨＤＲ画像データ変換手段は、前記第１ＨＤＲ画像データを、前記仮数部が８ビット且つ前記指数部が４ビットの画素データから構成される第２ＨＤＲ画像データに変換することを特徴とする。
【００３３】
このような構成であれば、第２ＨＤＲ画像データは、仮数部が８ビット及び指数部が４ビットの浮動小数点形式の画素データから構成されることになるので、階調性を仮数部の８ビットで表現し、ダイナミックレンジを指数部の４ビットで表現することが可能となる。
これにより、人間の目の画像の認識性能に近い画質を有した画像データを得ることが可能である。ここで、人間の目の画像の認識性能は、階調性の分解能が８ビットで、ダイナミックレンジが約１００ｄＢと言われている。指数部を４ビットとすることでダイナミックレンジを従来（５０ｄＢ）と比べて約３２０００倍に拡大することが可能である。
【００３４】
〔形態９〕 更に、形態９の撮像装置は、形態１乃至８のいずれか１の撮像装置において、
前記画像処理手段は、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値に対して乗算処理を行う乗算回路と、前記指数部の値に対して加算処理を行う加算回路とを含むことを特徴とする。
【００３５】
このような構成であれば、浮動小数点値の乗算処理を、乗算回路による仮数部の乗算処理と、加算回路による指数部の加算処理によって行うことが可能である。
従って、固定小数点演算による乗算処理を行う回路構成と比較して、回路規模を小さくすることができるという効果が得られる。
【００３６】
〔形態１０〕 一方、上記目的を達成するために、形態１０の撮像システムは、
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする。
【００３７】
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【００３８】
〔形態１１〕 また、上記目的を達成するために、形態１１の撮像方法は、
第１及び第２の露光時間で被写体を撮像する撮像ステップと、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００３９】
〔形態１２〕 一方、上記目的を達成するために、形態１２の画像処理装置は、
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００４０】
〔形態１３〕 また、上記目的を達成するために、形態１３の画像処理方法は、
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【００４１】
〔第１の実施の形態〕
以下、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第１の実施の形態を、図面に基づいて説明する。図１〜図２は、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第１の実施の形態を示す図である。ここで、図１は、撮像装置１００の構成を示すブロック図である。
【００４２】
以下、図１に基づき、撮像装置１００の構成を説明する。
撮像装置１００は、図１に示すように、複数種類の露光時間で被写体を撮像できる撮像部１０と、当該撮像部１０において複数種類の露光時間で撮像された各被写体の画像データに基づき浮動小数点形式の第１ＨＤＲ画像データを生成するＨＤＲ画像データ生成部１１と、画像合成部１１ａとフレームメモリ１３との間のデータの書き込み及び読み出しを制御するメモリアービタ１２と、画像データを記憶するフレームメモリ１３と、浮動小数点形式の第１ＨＤＲ画像データに対してノイズ除去処理などの画像処理を行う画像処理部１４と、画像処理後の第１ＨＤＲ画像データの出力形式を変換する出力形式変換部１５とを含んで構成される。
【００４３】
撮像部１０は、複数のセンサセル（ＣＭＯＳ等で構成）から構成されるセンサセルアレイ、タイミング制御器、ＡＦＥ(Analog Front End)などを有し、本実施の形態においては、１フレーム期間（１回の露光期間）に、標準露光時間に対応する被写体を撮像すると共に、当該標準露光時間（ユーザにより任意に設定可能）の露光と同じ１フレーム期間に、標準露光時間よりも短い短露光時間（標準露光時間＞短露光時間）に対応する被写体を撮像する機能を有している。なお、２種類の露光時間で被写体を撮像する構成としたが、これに限らず、３種類以上の露光時間で被写体を撮像する構成としても良い。
【００４４】
更に、これら２種類の露光時間で撮像して得られた各被写体の画像データを、２つの出力チャンネル（ＣＨ１〜ＣＨ２）を用いて、ＨＤＲ画像データ生成部１１にそれぞれ独立且つ並列に出力する機能を有している。本実施の形態においては、ＣＨ１から被写体を標準露光時間で撮像して得られた画像データ（以下、標準露光画像データと称す）を出力し、ＣＨ２から被写体を短露光時間で撮像して得られた画像データ（以下、短露光画像データと称す）を出力することとする。
【００４５】
また、本実施の形態において、上記撮像部１０で得られる標準露光画像データ及び短露光画像データは、これらを構成する各画素データが１０ビットの固定小数点形式のデータから構成されている。以下、この画素データを、ＲＡＷＩデータと呼ぶこととする。
ＨＤＲ画像データ生成部１１は、画像合成部１１ａと、浮動小数点化処理部１１ｂとを含んで構成される。
【００４６】
画像合成部１１ａは、乗算器及び加算器を含んで構成され、撮像部１０の画素毎に、標準露光時間に対応するＲＡＷＩデータ（以下、標準露光ＲＡＷＩデータと称す）と、短露光時間に対応するＲＡＷＩデータ（以下、短露光ＲＡＷＩデータと称す）とを、メモリアービタ１２を介して、フレームメモリ１３から読み出す。そして、当該読み出した標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータを、乗算器において、露光比に応じて予め設定された係数で係数倍し且つ係数倍した標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータを加算器において加算（線形合成）することで、各画素値が、３２ビットの固定小数点形式で表された画素データから構成されるＨＤＲ画像データを生成する。以下、このＨＤＲ画像データを構成する各画素データを、ＨＤＲｉデータと呼ぶこととする。
【００４７】
ここで、図２は、画像合成方法の種類を示す図である。
ＨＤＲ画像データを生成するときの画像合成方法としては、図２に示すように、上記説明した線形合成法の他に、ニー方式による合成方法もある。ニー方式は、標準露光時間の画像データと非標準露光時間（短露光時間）の画像データとを加算（単純に加算）することでダイナミックレンジの広い画像データ（ＨＤＲ画像データ）を得る方法である。
【００４８】
また、図示しないが、他にも、画素毎に、複数種類の露光時間に対応したＲＡＷＩデータから非飽和のＲＡＷＩデータを選択し、当該選択したＲＡＷＩデータを露光比に応じて係数倍する方法もある（これも線形合成法の一種である）。
浮動小数点化処理部１１ｂは、画像合成部１１ａで生成されたＨＤＲｉデータを、仮数部がＮビット（Ｎは、３２＞Ｎ≧２の自然数）基数がＸ（Ｘは、２〜１０の自然数）及び当該基数の指数部がＭビット（Ｍは、３２＞Ｎ≧２の自然数）の浮動小数点形式の画素データ（以下、第１ＨＤＲ画素データと称す）に変換する。
【００４９】
ここで、１フレーム分の第１ＨＤＲ画素データから第１ＨＤＲ画像データが構成される。
また、第１ＨＤＲ画素データは、仮数部（Ｎビット）をＲＡＷｉ、指数部（Ｍビット）をＲＡＷｅとし、ＲＡＷｉ及びＲＡＷｅの組が画像処理部１４に出力される。
メモリアービタ１２は、画像合成部１１ａなどから読み出し指令が出力されると、その出力された読み出し指令が示す標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータをフレームメモリ１３から読み出し、これらＲＡＷＩデータを、読み出し指令の出力元に出力する。また、メモリアービタ１２は、画像合成部１１ａから書き込み指令が出力されると、その出力された書き込み指令が示す標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータをフレームメモリ１３に書き込む。
【００５０】
フレームメモリ１３は、撮像部１０から画素のライン毎に画像合成部１１ａに入力される標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータを、メモリアービタ１２を介してライン毎に記憶し、当該記憶した２種類のＲＡＷＩデータを後段の画像合成処理において同期を取る為に、ＲＡＷＩデータをバッファリング（蓄積）する。あるいは、２種類のＲＡＷＩデータを１フレーム分蓄積後に、画像合成部１１ａにメモリアービタ１２を介してそれぞれ独立に、もしくは並列に出力する。つまり、メモリアービタ１２及びフレームメモリ１３は、遅延手段としての役割も担っている。
【００５１】
画像処理部１４は、乗算器及び加算器を含んで構成され、ＨＤＲ画像データ生成部１１から入力された、第１ＨＤＲ画素データ｛ＲＡＷｉ，ＲＡＷｅ}に対して、空間解像度を上げる処理、輝度レベルの補正処理、ノイズ除去処理などの画像処理を施して、画像処理後の第１ＨＤＲ画素データ｛Ｙ（Ｎビット），Ｅ（Ｍビット）｝を、出力形式変換部１５に出力する。つまり、各種画像処理は、浮動小数点形式のＨＤＲ画素データを用いて行われる。
【００５２】
出力形式変換部１５は、画像処理部１４から入力された、画像処理後の第１ＨＤＲ画素データ｛Ｙ（Ｎビット），Ｅ（Ｍビット）｝を、出力装置２００の性能に応じた（扱いやすい）ビット数の画素データに変換する。具体的に、第１ＨＤＲ画素データ｛Ｙ（Ｎビット），Ｅ（Ｍビット）｝を、｛Ｙ（ｎビット（ｎは、Ｎ＞ｎの自然数）），Ｅ（ｍビット（ｍは、Ｍ＞ｍの自然数））｝の第２ＨＤＲ画素データに変換する。
【００５３】
ここで、１フレーム分の第２ＨＤＲ画素データから第２ＨＤＲ画像データが構成される。
また、この変換処理においては、第１ＨＤＲ画像データの画像を解析（エッジ抽出など）し、画像の各構成要素の情報を取得する。そして、当該取得した情報から、構成要素毎に、各画素値の指数部（Ｅ）の値を同一値とする。指数部の値を同一値にするとは、構成要素毎に、同一とする指数部の値に合わせて、各画素値の仮数部の値を変更する処理となる。
【００５４】
次に、本実施の形態の動作を説明する。
まず、撮像部１０において、被写体の光学像が、標準露光時間及び短露光時間の２種類の露光時間で撮像され、標準露光画像データを構成する１０ビットの標準露光ＲＡＷＩデータと、短露光画像データを構成する１０ビットの短露光ＲＡＷＩデータとが、各画素のライン毎に２つの出力チャンネル（ＣＨ１〜ＣＨ２）を介して、それぞれ独立に画像合成部１１ａに出力される。
【００５５】
画像合成部１１ａは、撮像部１０から短露光ＲＡＷＩデータが入力されると、当該入力された短露光ＲＡＷＩデータをメモリアービタ１２を介して、フレームメモリ１３に記憶する。一方、撮像部１０から標準露光ＲＡＷＩデータが入力されると、画像合成部１１ａは、メモリアービタ１２を介して、フレームメモリ１３から、前記入力された標準露光ＲＡＷＩデータに対応する短露光ＲＡＷＩデータを読み出す。
【００５６】
画像合成部１１ａは、短露光ＲＡＷＩデータを読み出すと、画素毎に、標準露光ＲＡＷＩデータの示す画素値と、これと同じ画素位置の短露光ＲＡＷＩデータの示す画素値とを、画像合成部１１ａにおける乗算器において、露光比に応じて設定された係数で係数倍（例えば、１０００倍）し、係数倍したこれらＲＡＷＩデータの示す画素値を加算器で加算して、画素値を３２ビットの固定小数点形式で表したＨＤＲ画素データ（ＨＤＲｉデータ）を生成する。そして、この生成したＨＤＲｉデータを、浮動小数点化処理部１１ｂに出力する。
【００５７】
浮動小数点化処理部１１ｂは、画像合成部１１ａからＨＤＲｉデータが入力されると、ここでは、下式（１）に従って、当該ＨＤＲｉデータを、画素値を、仮数部が１０ビット、基数が２（Ｘ＝２）及び当該基数２の指数部が１０ビットの浮動小数点形式で表した第１ＨＤＲ画素データに変換する。
画素値（輝度値）＝ＲＡＷｉ×２ＲＡＷｅ−５１２ ・・・（１）
但し、上式（１）において、ＲＡＷｉ（１０ビット）、ＲＡＷｅ（１０ビット）、ＲＡＷｅ≧５１２（２9）である。
【００５８】
上式（１）より、画素値（出力信号）のレンジは、ＲＡＷｉが０〜１０２３及びＲＡＷｅが２511となるときの値で決まる。また、最小ステップは、ＲＡＷｉが１及びＲＡＷｅが２-512となるときの値である。
なお、線形合成後の画素値のレンジは、上記乗算器における係数倍率に依存する。例えば、１０００倍であれば、指数部の数値は１０程度でよく、十分なレンジとなる。
【００５９】
つまり、３２ビットのＨＤＲｉデータを、上式（１）に従って、仮数部１０ビット及び指数部１０ビットのデータに変換した、ＲＡＷｉ×２ＲＡＷｅ−５１２が、浮動小数点形式のＨＤＲ画素データ（第１ＨＤＲ画素データ）となる。
この第１ＨＤＲ画素データは、｛ＲＡＷｉ，ＲＡＷｅ｝だけが、後段の画像処理部１４へと出力される。
【００６０】
画像処理部１４は、第１ＨＤＲ画素データ｛ＲＡＷｉ，ＲＡＷｅ｝が入力されると、空間解像度を上げる処理、輝度レベル補正処理、ノイズ除去処理などの画像処理を行い、｛仮数部、指数部｝＝｛Ｙ（１０ビット），Ｅ（１０ビット）｝を出力する。
これらの画像処理の基本は、積和演算である（例えば下式（２））。
ＯＵＴ＝Ａ×α＋Ｂ×γ＋Ｃ×β ・・・（２）
但し、上式（２）において、Ａ、Ｂ、Ｃは係数、α、γ、βは入力値(画素値)である。
【００６１】
本実施の形態においては、この基本処理を浮動小数点演算で行う。すなわち画素値及び係数値を浮動小数点表現、例えば、指数部１０ビット、仮数部１０ビットの精度で行う。ここで、係数は、処理系の増幅率を１にするのが一般的であり（Ａ＋Ｂ＋Ｃ＝１）、１以下の数値である。そこで、演算精度を確保する為、係数の指数部を、下式（３）の形式とする。
指数部＝２ｋ−２（Ｍ−１） ・・・（３）
但し、上式（３）において、ｋは０〜１０２３の整数値である。
【００６２】
ここでは、Ｍ＝１０としたので、指数部は２‐512〜２511の値が表現でき、２進数で小数点以下９ビット（１／５１２＝１／２9）まで精度を持たせることができる。
また、仮数部と指数部のビット長が固定の浮動小数点乗算器は、下式（４）の如く仮数部同士の乗算、指数部同士の加算で実現きるので、固定小数点乗算器に比して小型化が可能である。
ＯＵＴ＝Ａ×２ｉ×Ｂ×２j＝Ａ×Ｂ×２ｉ＋ｊ ・・・（４）
なお、上式（４）における「Ａ×Ｂ」の演算結果がＤレンジ（１０ビット）を越える場合、また結果がＤレンジの１／２より小さくなった場合、指数部の演算結果（ｉ＋ｊ）に対して、インクリメントもしくはデクリメント処理する。この指数部処理は、デジタルカメラの露出制御に相当し、明るい(輝度が大きくなる)場合、指数部を増やし（ＥＶ値を下げ）、暗い(輝度が小さくなる)場合、指数部を減らす（ＥＶ値を上げる）。このように、本実施の形態の画像処理においては、基数を２としたので、撮像動作のＥＶ値の概念を拡張し画素値に反映させることが可能である。
【００６３】
画像処理後の第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝は、出力形式変換部１５に出力される。
出力形式変換部１５は、画像処理部１４から、画像処理後の第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝が入力されると、当該第１ＨＤＲ画素データの仮数部及び指数部のビット数を、出力装置２００の性能に応じて変換する。
【００６４】
以下、この変換によって得られるＨＤＲ画素データを、第２ＨＤＲ画素データと呼ぶ。
ここでは、出力装置２００が、人が出力画像を視認（又は鑑賞）することを目的とする表示装置又は印刷装置であるとし、第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝を、第２ＨＤＲ画素データ｛Ｙ（８ビット），Ｅ（４ビット）｝へと変換する。
【００６５】
つまり、出力形式変換部１５は、第１ＨＤＲ画像データを構成する各第１ＨＤＲ画素データを、人の目の画像の認識性能に近い階調性及びＤレンジの第２ＨＤＲ画素データに変換する。この変換後の第２ＨＤＲ画素データから第２ＨＤＲ画像データが構成される。
また、上記変換処理においては、第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝から構成される第１ＨＤＲ画像データの画像を解析（輝度変化抽出、エッジ抽出など）し、画像の各構成要素の情報を取得する。そして、当該取得した情報から、構成要素毎に、各画素値の指数部Ｅの値を同一値とする。
【００６６】
例えば、被写体に窓と壁とが含まれている場合は、窓の画像を構成する画素値における指数部Ｅの値を全て同じ値に統一し、壁の画像を構成する画素値における指数部Ｅの値を全て同じ値に統一する。これにより、画像再生時に、仮数部のみでも違和感の無い画像を形成することが可能となる。
以上より、人の目の画像の認識性能に対して適した構成を有し且つデータ量が削減された構成の第２ＨＤＲ画像データが生成される。
【００６７】
上記生成された第２ＨＤＲ画像データは、出力装置２００へと出力され、出力装置２００において、第２ＨＤＲ画像データの画像が表示出力又は印刷出力される。
以上、本実施の形態の撮像装置１００は、各画素値が浮動小数点形式で表された第１ＨＤＲ画素データから構成される第１ＨＤＲ画像データを生成することが可能であり、この浮動小数点形式の第１ＨＤＲ画素データを用いて、浮動小数点演算を含む画像処理を行うことが可能である。
【００６８】
これにより、画像処理において必要な回路規模を、同レベルのＨＤＲ画像データに対して、固定小数点形式で演算処理する場合と比して小型化することが可能である。また、この小型化によって、画像処理速度も向上することが可能である。
また、画像処理後の第１ＨＤＲ画像データ（例えば、各第１ＨＤＲ画素データが｛Ｙ（１０ビット），Ｅ（１０ビット）｝）を、出力装置の性能などに応じて変換し、出力装置の階調性能に適し且つ第１ＨＤＲ画像データに対して情報量の削減された第２ＨＤＲ画像データ（例えば、各第２ＨＤＲ画素データが｛Ｙ（８ビット），Ｅ（４ビット）｝）を生成することが可能である。
【００６９】
これにより、出力装置の性能に適した階調性及びＤレンジを有し且つデータ量の削減されたＨＤＲ画像データを出力することが可能である。これにより、第１ＨＤＲ画像データをそのまま出力するよりも、データの転送に必要なバス幅や、データの記憶に必要な容量を低減することが可能となる。
また、ＨＤＲ画像データ（整数）を、浮動小数点形式の第１ＨＤＲ画像データに変換するときに、その基数を２とすることで、画像処理において、指数部を露光制御における露光量（ＥＶ値）として扱うことが可能である。
【００７０】
また、第２ＨＤＲ画像データにおける、指数部Ｅの値を、画像の構成要素毎に同一値とすることが可能である。
これにより、画像再生時に、仮数部のみでも違和感の無い画像を形成することが可能となる。
【００７１】
上記第１の実施の形態において、撮像部１０は、形態１又は２の撮像手段、又は形態１０の撮像ステップに対応し、ＨＤＲ画像データ生成部１１は、形態１、２及び４及のいずれか１のＨＤＲ画像データ生成手段、又は形態１１のＨＤＲ画像データ生成ステップに対応し、画像処理部１４は、形態１若しくは９の画像処理手段又は、形態１１の画像処理ステップに対応し、出力形式変換部１５は、形態１又は８のＨＤＲ画像データ変換手段、又は形態１１のＨＤＲ画像データ変換ステップに対応する。
【００７２】
また、上記第１の実施の形態において、標準露光画像データは、形態１、２、３、１０、１１、１２及び１３のいずれか１の第１の画像データに対応し、短露光画像データは、形態１、２、３、１０、１１、１２及び１３のいずれか１の第２の画像データに対応する。
【００７３】
〔第２の実施の形態〕
次に、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第２の実施の形態を、図面に基づいて説明する。図３は、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第２の実施の形態を示す図である。ここで、図３は、撮像装置３００の構成を示すブロック図である。
【００７４】
本実施の形態は、撮像部が単板式の撮像素子と、光信号を所定の色空間に対応する複数の色要素の各色要素のカラー画素信号に分離するカラーフィルタとを有している点と、色補間処理を行って、各色要素にそれぞれ対応した浮動小数点形式の複数の画素データから構成される第１ＨＤＲ画像データを生成すると共に、当該第１ＨＤＲ画像データの第１ＨＤＲ画素データを、画素単位で、各色要素に対応した仮数部と複数の色要素に共通の指数部とから構成され且つ情報量が削減された構成の第２ＨＤＲ画素データに変換して、第２ＨＤＲ画像データを生成する点とが上記第１の実施の形態の撮像装置１００と異なる。以下、上記第１の実施の形態の撮像装置１００と同じ構成部については、同じ符号を付して適宜説明を省略又は簡略化し、異なる点のみを詳細に説明する。
【００７５】
まず、図３に基づき、本実施の形態に係る撮像装置３００の構成を説明する。
撮像装置３００は、図３に示すように、単板式の撮像素子と、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色要素からなるＲＧＢ色空間に対応する色分離のためのカラーフィルタとを有し、更に、複数種類の露光時間で被写体を撮像できる撮像部１６と、当該撮像部１６において複数種類の露光時間で撮像された各被写体の画像データに基づき浮動小数点形式の第１ＨＤＲ画像データを生成するＨＤＲ画像データ生成部１１と、メモリアービタ１２と、フレームメモリ１３と、色補間処理、ノイズ除去処理などの画像処理を行う画像処理部１７と、画像処理後の各色要素に対応する第１ＨＤＲ画像データの出力形式を変換する出力形式変換部１８とを含んで構成される。なお、図３には、出力装置が図示されていないが、上記第１の実施の形態の撮像装置１００と同様に、図１の出力装置２００が出力先となる。
【００７６】
撮像部１６は、単板式の撮像素子と、ＲＧＢ色空間に対応するカラーフィルタとを有しており、本実施の形態においては、被写体を標準露光時間及び短露光時間で撮像する。この撮像によって、標準露光時間に対応した標準露光カラー画像データ（各ＲＡＷＩデータが固定小数点形式で且つ１０ビット）と、短露光時間に対応した短露光カラー画像データ（各ＲＡＷＩデータが固定小数点形式で且つ１０ビット）とを得る。
【００７７】
そして、撮像により得られた標準露光カラー画像データ及び短露光カラー画像データを画像合成部１１ａに出力する。
ここで、カラーフィルタは、複数のＲ、Ｇ、Ｂのフィルタ部がベイヤ配列された構成を有するものとする。
画像合成部１１ａは、撮像部１６で得られた、標準露光カラー画像データを構成する各ＲＡＷＩデータ（以下、標準露光ＲＡＷＩＣデータと称す）と、短露光カラー画像データを構成する各ＲＡＷＩデータ（以下、短露光ＲＡＷＩＣデータと称す）とを合成して、画素値が３２ビットの固定小数点形式で表されたカラーＨＤＲｉデータ（以下、ＲＧＢＨＤＲｉデータと称す）を生成する。
【００７８】
浮動小数点化処理部１１ｂは、画像合成部１１ａで生成された、ＲＧＢＨＤＲｉデータ（３２ビット）を、画素値を仮数部がＮＣビット（ＮＣは、３２＞ＮＣ≧２の自然数）、基数がＸ及び当該基数の指数部がＭＣビット（ＭＣは、３２＞ＭＣ≧２の自然数）の浮動小数点形式で表した第１カラーＨＤＲ画素データへと変換する。
画像処理部１７は、色信号処理部１７ａと、画像補正部１７ｂと、ラインメモリ１７ｃと、ラインメモリ１７ｄとを含んで構成される。
【００７９】
色信号処理部１７ａは、ＨＤＲ画像データ生成部１１から出力される第１カラーＨＤＲ画素データ（処理すべき画素のデータ）と、ラインメモリ１７ｃに格納された、処理すべき画素の周辺の第１カラーＨＤＲ画素データとを用いて色補間処理を行う。すなわち、ラインメモリにより遅延された、第１カラーＨＤＲ画素データを用いて、画像の各点について、ＲＧＢ色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。
【００８０】
なお、色信号処理には、主に、第１カラーＨＤＲ画素データから、画像の各点における色信号を生成（補間）する処理（色補間処理）と、第１カラーＨＤＲ画素データを所定の色空間に規定される色データに変換する処理（色空間変換処理）とがある。本実施の形態においては、撮像部１６が単板式の撮像素子に対応するベイヤ配列のカラーフィルタを有しているので、前者の色補間処理を実行する。
【００８１】
つまり、色信号処理部１７ａは、上記した色補間処理によって、第１カラーＨＤＲ画素データを、画素毎に、ＲＧＢの各色要素にそれぞれ対応する画素値が、仮数部がＮＣビット、基数がＸ及び当該基数の指数部がＭＣビットの浮動小数点形式で表されたカラーＨＤＲ画素データに変換する。
これにより、画素毎に、Ｒの色要素に対応する第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、Ｇの色要素に対応する第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝及びＢの色要素に対応する第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝を有する}第１カラーＨＤＲ画像データが生成される。
【００８２】
画像補正部１７ｂは、色信号処理部１７ａからの第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝及び第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝と、ラインメモリ１７ｄに格納された第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝及び第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝とを用いて、空間解像度を上げる処理（ディテール処理）、輝度レベルの補正処理、ノイズ除去処理などの画像処理を行う。
【００８３】
そして、画像処理後の第１ＲＨＤＲ画素データ｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝、第１ＧＨＤＲ画素データ｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝及び第１ＢＨＤＲ画素データ｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝を、出力形式変換部１８に出力する。
出力形式変換部１８は、画像処理部１４から入力された、画像処理後の第１ＲＨＤＲ画素データ、第１ＧＨＤＲ画素データ及び第１ＢＨＤＲ画素データ（いずれも｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝）を、出力装置２００の性能に応じた（扱いやすい）ビット数の第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データに変換する。
【００８４】
具体的に、第１カラーＨＤＲ画像データを構成する、第１ＲＨＤＲ画素データ、第１ＧＨＤＲ画素データ及び第１ＢＨＤＲ画素データ（いずれも｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝）を、第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データ（いずれも｛Ｙ（ｎビット（ｎは、ＮＣ＞ｎの自然数）），Ｅ（ｍビット（ｍは、ＭＣ＞ｍの自然数））｝）に変換する。
【００８５】
これにより、画素毎に、Ｒの色要素に対応する第２ＲＨＤＲ画素データ、Ｇの色要素に対応する第２ＧＨＤＲ画素データ及びＢの色要素に対応する第２ＢＨＤＲ画素データを有する第２カラーＨＤＲ画像データが生成される。
このとき、各画素に対応する、第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データにおける、指数部Ｅの値を同一値とする。但し、第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データの各仮数部の値が飽和しないように且つ最小値となるように指数値を統一する。
【００８６】
つまり、第２カラーＨＤＲ画像データは、画素毎に、ＲＧＢの各色要素にそれぞれ対応した複数（３つ）の仮数部と、ＲＧＢに共通の１つの指数部とから構成されるデータとなる。
次に、本実施の形態の動作を説明する。
まず、撮像部１６において、被写体が、標準露光時間及び短露光時間の２種類の露光時間で撮像され、標準露光カラー撮像画像データを構成する１０ビットの標準露光ＲＡＷＩＣデータと、短露光カラー撮像画像データを構成する１０ビットの短露光ＲＡＷＩＣデータとが、各画素のライン毎に２つの出力チャンネル（ＣＨ１〜ＣＨ２）を介して、それぞれ独立に画像合成部１１ａに出力される。
【００８７】
画像合成部１１ａは、撮像部１０から短露光ＲＡＷＩＣデータが入力されると、当該入力された短露光ＲＡＷＩＣデータをメモリアービタ１２を介して、フレームメモリ１３に記憶する。一方、撮像部１０から標準露光ＲＡＷＩＣデータが入力されると、画像合成部１１ａは、メモリアービタ１２を介して、フレームメモリ１３から、前記入力された標準露光ＲＡＷＩＣデータに対応する短露光ＲＡＷＩＣデータを読み出す。
【００８８】
画像合成部１１ａは、短露光ＲＡＷＩＣデータを読み出すと、画素毎に、標準露光ＲＡＷＩＣデータの示す画素値と、これと同じ画素位置の短露光ＲＡＷＩＣデータの示す画素値とを、画像合成部１１ａにおける乗算器において、露光比に応じて設定された係数で係数倍（例えば、１０００倍）し、係数倍したこれらＲＡＷＩＣデータの示す画素値を加算器で加算して、画素値が３２ビットの固定小数点形式で表されたＲＧＢＨＤＲｉデータを生成する。そして、この生成したＲＧＢＨＤＲｉデータを、浮動小数点化処理部１１ｂに出力する。
【００８９】
浮動小数点化処理部１１ｂは、画像合成部１１ａからＲＧＢＨＤＲｉデータが入力されると、この画素値が３２ビットの固定小数点形式で表されたＲＧＢＨＤＲｉデータを、上記第１の実施の形態と同様に、上式（１）に従って、画素値が、ＲＡＷｉが１０ビット、基数が２及びＲＡＷｅが１０ビットの浮動小数点形式で表された第１カラーＨＤＲ画素データに変換する。この第１カラーＨＤＲ画素データは、｛ＲＡＷｉ，ＲＡＷｅ｝だけが、後段の画像処理部１７へと出力される。
【００９０】
画像処理部１７は、ラインメモリ１７ｃに、浮動小数点化処理部１１ｂからの第１カラーＨＤＲ画素データ｛ＲＡＷｉ（１０ビット），ＲＡＷｅ（１０ビット）｝を、ラインメモリ容量分格納すると共に、色信号処理部１７ａにおいて、ラインメモリ１７ｃの第１カラーＨＤＲ画素データと浮動小数点化処理部１１ｂからの第１カラーＨＤＲ画素データとに基づき、色補間処理を実行する。
【００９１】
これにより、第１カラーＨＤＲ画像データの各第１カラーＨＤＲ画素データ｛ＲＡＷｉ，ＲＡＷｅ｝を、Ｒ、Ｇ、Ｂの各色要素に対応した、第１ＲＨＤＲ画素データ｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、第１ＧＨＤＲ画素データ｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝及び第１ＢＨＤＲ画素データ｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝へと変換する。
【００９２】
次に、画像補正部１７ｂにおいて、色信号処理部１７ａで生成された第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝、及び第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝を、ラインメモリ１７ｄに、ラインメモリ容量分格納する。
更に、ラインメモリ１７ｄに格納された｛Ｒｉ，Ｒｅ｝、｛Ｇｉ，Ｇｅ｝及び｛Ｂｉ，Ｂｅ｝と、色信号処理部１７ａからの｛Ｒｉ，Ｒｅ｝、｛Ｇｉ，Ｇｅ｝及び｛Ｂｉ，Ｂｅ｝とに基づき、空間解像度を上げる処理、輝度レベル補正処理、ノイズ除去処理などの画像処理を行い、画像処理後の「｛Ｒｉ，Ｒｅ｝、｛Ｇｉ，Ｇｅ｝、｛Ｂｉ，Ｂｅ｝」を、出力形式変換部１８に出力する。
【００９３】
出力形式変換部１８は、画像処理部１７から、画像処理後の第１カラーＨＤＲ画素データ「｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝、｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝」が入力されると、当該第１カラーＨＤＲ画素データの仮数部及び指数部のビット数を、出力装置２００の性能に応じて変換すると共に、画素毎に、指数部の値が共通の値となるように変換した第２カラーＨＤＲ画素データを生成する。
【００９４】
ここで、指数部の変換については、仮数部の各色要素（Ｒ、Ｇ、Ｂ）の値が飽和しないように且つ最小値となるように指数値を同一の値に変換する。仮数部の値を飽和させないためには、各色要素の画素値における指数部の一番大きなものに合わせて変換を行う。
また、指数部の値を同一値にするとは、同一とする指数部の値に合わせて、各色要素の画素値の仮数部の値を変更する処理となる。仮数部を変更する際に、各色要素の値が飽和しないようにする。
【００９５】
ここでは、上記第１の実施の形態と同様に、出力装置２００が、人が出力画像を視認（又は鑑賞）することを目的とする表示装置又は印刷装置であるとし、第１カラーＨＤＲ画像データを構成する第１ＲＨＤＲ画素データ｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、第１ＧＨＤＲ画素データ｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝及び第１ＢＨＤＲ画素データ｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝を、出力装置の性能に合わせて情報量が削減され且つ指数部の値がＲ、Ｇ、Ｂの各色要素に共通の１つの値となった、第２ＲＨＤＲ画素データ｛Ｒ（８ビット）｝、第２ＧＨＤＲ画素データ｛Ｇ（８ビット）｝及び第２ＢＨＤＲ画素データ｛Ｂ（８ビット）｝、指数部データ｛Ｅ（４ビット）｝へと変換する。
【００９６】
つまり、出力形式変換部１８は、第１カラーＨＤＲ画像データを、出力装置の性能に適した（人の目の画像の認識性能に近い）階調性及びＤレンジのカラーＨＤＲ画像データ（第２カラーＨＤＲ画像データ）へと変換する。
以上より、人の目の画像の認識性能に近い階調性を有し且つデータ量が削減された構成の第２カラーＨＤＲ画像データが生成される。
【００９７】
上記生成された第２カラーＨＤＲ画像データは、出力装置２００へと出力され、出力装置２００において、第２カラーＨＤＲ画像データの画像が表示出力又は印刷出力される。
以上、本実施の形態の撮像装置３００は、各画素値が浮動小数点形式で表された第１カラー画素データから構成される第１カラーＨＤＲ画像データを生成することが可能であり、この浮動小数点形式の第１カラーＨＤＲ画素データを用いて、浮動小数点演算を含む画像処理を行うことが可能である。
【００９８】
これにより、画像処理において必要な回路規模を、同レベルのＨＤＲ画像データに対して、固定小数点形式で演算処理する場合と比して小型化することが可能である。また、この小型化によって、画像処理速度も向上することが可能である。
また、画像処理後の第１カラーＨＤＲ画像データの各画素値（例えば、「｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝、｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝」）を、出力装置の性能などに応じて変換し、各画素値が浮動小数点形式で表された画素データから構成され且つ指数部が１つにまとめられた構成の第２カラーＨＤＲ画像データ（例えば、画素毎に｛Ｒ（８ビット），Ｇ（８ビット），Ｂ（８ビット），Ｅ（４ビット）｝の画素値で構成されるデータ）を生成することが可能である。
【００９９】
これにより、出力装置の性能に適した（人間の目の画像の認識性能に近い）階調性及びＤレンジを有し且つデータ量の削減された構成の第２カラーＨＤＲ画像データを出力することが可能である。これにより、第１ＨＤＲ画像データをそのまま出力するよりも、データの転送に必要なバス幅や、データの記憶に必要な容量を低減することが可能となる。
また、カラーＨＤＲ画像データ（整数）を、浮動小数点形式の第１カラーＨＤＲ画像データに変換するときに、その基数を２とすることで、画像処理において、指数部を露光制御における露光量（ＥＶ値）として扱うことが可能である。
【０１００】
また、第２カラーＨＤＲ画像データにおける、指数部Ｅの値を、各画素の、全ての色に対して同一値とすることが可能である。
これにより、各画素値の各色の指数部を共通化（１つに）することができるので、データの転送に必要なバス幅や、データの記憶に必要な容量をより低減することが可能となる。
【０１０１】
上記第２の実施の形態において、撮像部１０は、形態５の撮像手段、又は形態１１の撮像ステップに対応し、ＨＤＲ画像データ生成部１１は、形態５のＨＤＲ画像データ生成手段、又は形態１１のＨＤＲ画像データ生成ステップに対応し、画像処理部１７は、形態５の画像処理手段又は、形態１１の画像処理ステップに対応し、出力形式変換部１５は、形態５又は８のＨＤＲ画像データ変換手段、又は形態１１のＨＤＲ画像データ変換ステップに対応する。
【０１０２】
なお、上記第１及び第２の実施の形態においては、ＨＤＲ画像データ生成部１１において、撮像部１０又は１６から入力される複数種類の露光時間（標準露光時間、短露光時間）に対応した画像データを、画像合成部１１ａで合成してから、浮動小数点化処理部１１ｂにおいて浮動小数点形式の第１ＨＤＲ画像データへと変換する構成としたが、撮像部１０又は１６から入力される画像データを、浮動小数点化処理部１１ｂにおいて、先に浮動小数点形式の画像データに変換してから、画像合成部１１ａにおいて合成する構成としてもよい。この場合に、撮像部１０又は１６は、形態３の撮像手段に対応する。
【０１０３】
また、上記第１及び第２の実施の形態において、撮像装置１００又は３００を、例えば、撮像部１０又は１６と、それ以外の構成部とに分け、両者をネットワーク等で接続した撮像システムの構成としても良い。また、撮像部１０又は１６及びＨＤＲ画像データ生成部１１における画像合成部１１ａと、それ以外の構成部とに分けて、両者をネットワーク等で接続した構成にするなど、他の構成としてもよい。この場合に、撮像装置１００又は３００は、形態１０の撮像システムに対応する。
【０１０４】
また、上記第１及び第２の実施の形態において、撮像装置１００又は３００から、例えば、撮像部１０又は１６を除外すると、残りの構成部は、画像処理装置として機能させることが可能である。この画像処理装置は、撮像装置１００又は３００から、撮像部１０又は１６及びＨＤＲ画像データ生成部１１における画像合成部１１ａを除いた残りの構成部から構成してもよい。この場合に、上記構成の画像処理装置は、形態１２の画像処理装置に対応する。また、上記構成の画像処理装置における、ＨＤＲ画像データ生成部１１、画像処理部１４又は１７、出力形式変換部１５又は１８は、形態１３のＨＤＲ画像データ生成ステップ、画像処理ステップ、ＨＤＲ画像データ変換ステップにそれぞれ対応する。
【０１０５】
また、上記第２の実施の形態においては、撮像部１６を、単板式の撮像素子と、所定の色空間（ＲＧＢ色空間など）に対応するカラーフィルタとを有する構成としたが、これに限らず、撮像部１６を、撮像素子（センサセルアレイ）を、複数（所定の色空間を構成する色要素の数に相当）有すると共に、各撮像素子が複数の色要素におけるそれぞれ異なる色要素に対応したカラーフィルタを有する構成としても良い。例えば、ＲＧＢ色空間に対応した三板式の撮像素子であれば、各撮像素子は、Ｒの色要素を色分離するカラーフィルタ、Ｇの色要素を色分離するカラーフィルタ、及びＢの色要素を色分離するカラーフィルタのうちいずれか１つを透過した光によって露光が行われる。
【０１０６】
また、各カラーフィルタは１つの色要素に限らず、例えば、ＲＧＢ色空間であれば、三板式の撮像素子において、Ｇの色要素を色分離するカラーフィルタを２つと、ＲとＢとが配列されたカラーフィルタを１つとを有する構成としてもよい。
また、ＲＧＢ色空間であっても、２つの撮像素子を有し、Ｇの色要素を色分離するカラーフィルタを１つと、ＲとＢとが配列されたカラーフィルタを１つとを有する構成としてもよい。
【０１０７】
また、カラーフィルタに限らず、例えば、三板式の撮像素子において、プリズムで色分離して、各色の信号を各対応する撮像素子に入力する構成など、他の方法で色分離する構成としてもよい。
この場合に、撮像部１６は、形態６の撮像手段に対応する。
また、上記第２の実施の形態においては、ＲＧＢ色空間（原色のカラーフィルタ）を例に挙げて説明したが、この構成に限らず、Ｙ（イエロー）、Ｍｇ（マゼンタ）、Ｃｙ（シアン）、Ｇ（グリーン）の色要素で構成される色空間などの、補色によって構成されるカラーフィルタを用いる構成としてもよい。
【０１０８】
また、上記第２の実施の形態において、ベイヤ配列のカラーフィルタを用いる構成としたが、これに限らず、サブピクセル方式のカラー配列を有するカラーフィルタを用いる構成としてもよい。
また、上記第２の実施の形態においては、カラーフィルタを用いて色分離を行う構成としたが、これに限らず、例えば、撮像素子の各画素を、フォトダイオードを３層にすると共に、最も浅い層では全ての光が、最も深い層ではほぼ赤い光だけが光電効果を起こす構成にし、同じ画素位置でＲＧＢの３つの色情報を得られる構成にするなど、他の構成としてもよい。
【０１０９】
また、上記第１及び第２の実施の形態においては、第２ＨＤＲ画像データの出力形式を、仮数部が８ビット、基数が２及び指数部が４ビットの構成としたが、これに限らず、仮数部を７ビット以下又は９ビット以上としてもよいし、基数を２以外の数値としてもよいし、指数部を３ビット以下又は５ビット以上としてもよい。
【図面の簡単な説明】
【０１１０】
【図１】撮像装置１００の構成を示すブロック図である。
【図２】画像合成方法の種類を示す図である。
【図３】撮像装置３００の構成を示すブロック図である。
【符号の説明】
【０１１１】
１００，３００は撮像装置、２００は出力装置、１０，１６は撮像部、１１はＨＤＲ画像データ生成部、１１ａは画像合成部、１１ｂは浮動小数点化処理部、１２は、メモリアービタ、１３はフレームメモリ、１４，１７は画像処理部、１５，１８は出力形式変換部、１７ａは色信号処理部、１７ｂは画像補正部
【技術分野】
【０００１】
本発明は、比較的広範囲な階調範囲及びダイナミックレンジを確保した状態でＨＤＲ画像データの情報量の削減を行うことが可能な撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
撮像素子の多画素化、小型化の結果、ピクセルサイズ（センサセル）が小型化し、その結果、飽和電荷量が減少し、ダイナミックレンジ（Ｄレンジ）が狭くなっている。
撮像素子のＤレンジの狭さを補うために、１フレーム期間に２種類以上の露光時間で撮影できる撮像素子が提案されている。また、２フィールドで１フレームを構成する撮像素子においては、奇数、偶数フィールドで露光時間を替えて撮像する方法も提案され、広いＤレンジ撮影が可能である。特に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のセンサでは、回路構成の工夫により、１フレームの撮像期間に複数回のサンプリングが可能、もしくは多チャンネル化が可能である。また、非破壊読み出し可能なセンサによれば、複数回のサンプリングが容易である。
【０００３】
上記２種類以上の露光時間(例えば、標準露光時間、短露光時間など)で撮影した画像を、センサ外部もしくは内部で合成することで、広いＤレンジ画像を得る。ここで、従来の画像表示装置では、表現できるコントラスト比の制限から、デシベル換算で５０ｄＢ、ビット換算で８ビット相当に情報量を削減するトーンマッピングが行われている。この限られたダイナミックレンジ(Ｄレンジ)の中に収まるように、広いＤレンジの画像の情報量を削減するため、コントラスト比の低い画像になる（人が見た印象と異なる）。
【０００４】
出力装置の性能に応じて画像を圧縮する技術としては、例えば、特許文献１に記載の撮像装置がある。
さて、ＰＣ等コンピュータの世界では、被写体の３次元的な形状、反射率、色合い等や光源をモデル化し、また光源の位置、視点（カメラ）の位置を仮想的に決めて２次元画像が視点からどのように見えるかを計算により求めるコンピュータグラフィック（ＣＧ）技術が、映画、デザイン、ゲーム業界などで利用されている。ＣＧ技術は、画像を浮動小数点表現したハイダイナミックレンジ（ＨＤＲ）画像により無限のＤレンジが扱え、白とび、黒つぶれが無い、人が見た印象に近い自然な画像表現が行える。一般的に、ＨＤＲ画像生成の為には、高価な計算資源、専用ソフト、プログラミング技術、膨大な計算資源と時間が必要である。
【０００５】
前者（撮像装置）と後者（ＣＧ）技術の画像生成（絵作り）の違いをまとめると、前者（撮像装置）は、装置内で出力装置のＤレンジを想定して絵作りを行って記録する（Ｄレンジが固定であるので固定小数点処理）。前者は、輝度のコントラスト情報を圧縮する為、階調情報が損失し、その結果、記録された画像を２次利用、例えば表示装置への表示、印刷などする場合、出力装置側での忠実な再現は難しい。一方、ＣＧは、画像生成を浮動小数点処理で行い、コントラスト情報の損失が無いので、出力装置側で２次利用する場合、表示装置の性能や特性、またはユーザの見え方などに基づいて、最終的な画像を生成することが可能となり、より自然な（人の感性に近い）、更には感性を刺激する画像表現が可能となる。
【０００６】
また、物理シミュレーションにおける浮動小数点演算では、ある時刻の演算結果を次の時刻の演算に利用するので、演算誤差の蓄積はシステムに目的の動作を行わせる際の問題となり得る。また３次元ＣＧでは、視点をあるルールに則って変える場合など、演算誤差が蓄積して画像が絵的に崩れる、という問題が起こりうる。
一方、自然画像を撮像しながら、それに対して画像処理を施す場合、処理対象の情報（画像）が常に更新される為、演算誤差の蓄積という問題は起こらない。一方、Ｄレンジの狭さに起因する白とびや黒つぶれという問題は、画素情報の欠落であり、システムに目的の動作を行わせる際の問題となる。特に、白とびは、マシンビジョンにおいては、それが画像なのか欠陥なのか判別できず、システムに目的の動作とは異なる動作を誘発する恐れがある。また、マシンビジョンでは、領域検出(ラベリング)、エッジ検出、相関検出、２値化処理など、画像を大域的（マクロ）に捉えるので、画素値の演算誤差よりも、白とびや黒つぶれ等の情報損失の方が、認識等のシステム性能を大きく左右する。つまり、マシンビジョンでは、固定小数点演算によって演算誤差を低減するよりも、固定小数点数を浮動小数点数に変換して、Ｄレンジを人間の目の特性に近づけ（高精度化し）、十分なコントラスト比が得られるようにすることが重要となる。
【特許文献１】特開２０００―１８８７１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１の従来技術においては、撮像装置内の演算処理を固定小数点演算で処理しているため、取り扱う画像のビット数が増加すると、演算に用いる演算器がビット数の増加数に対して指数的に増加し、回路規模や回路コストの著しい増加を招くという恐れがあった。
また、撮像装置からの出力は、各画素値が整数値で表現された画像データとなるため、コントラスト情報の損失が生じる恐れがあった。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、各種の画像処理を行うのに必要な回路規模を比較的小さくできると共に、階調範囲及びダイナミックレンジを比較的広範囲に確保した状態でＨＤＲ画像データのデータ量を削減することが可能な撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする。
【００１０】
このような構成であれば、撮像手段によって、第１及び第２の露光時間で被写体を撮像することが可能であり、ＨＤＲ画像データ生成手段によって、前記撮像手段で被写体を第１の露光時間及び第２の露光時間でそれぞれ撮像して得られた第１及び第２の画像データに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成することが可能であり、画像処理手段によって、前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行うことが可能である。
【００１１】
更に、ＨＤＲ画像データ変換手段によって、前記画像処理を行った後の前記第１ＨＤＲ画像データを、画素値を仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、基数がＸ、当該基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換することが可能である。
【００１２】
従って、ＨＤＲ画像データを、仮数部及び指数部のビット数が固定の浮動小数点形式で扱うことができるので、例えば、色補間処理、ディテール処理、ノイズ除去処理などの画像処理における乗算を、仮数部同士の乗算、指数部同士の加算で行うことができるので、固定小数点形式で乗算を行う場合と比較して、回路規模を小型化することができるという効果が得られる。例えば、固定小数点乗算器は、内部の演算精度を確保するために、ビット拡張、例えば数値を整数部１０ビット、小数部６ビットに拡張して、１６ビット相当の乗算器を構成する。一方、浮動小数点乗算器は、１０ビットの乗算器及び１０ビット以下の加算器で済む。乗算器と加算器とでは、乗算器の方が回路規模が大きくなりやすく、特に、ビット数の増加に伴う回路規模の増加は指数的に上昇する。また、回路規模は処理速度にも影響を与え、一般に回路規模が小さければ小さいほど処理速度は速くなる。
【００１３】
また、浮動小数点形式の第１ＨＤＲ画像データの仮数部及び指数部のビット数の変換を行って、浮動小数点形式のままデータ量を圧縮するようにしたので、例えば、表示出力やプリントアウトなどの人が視認（又は鑑賞）することを目的とした場合に、人間の目の画像の認識性能に対して十分なコントラスト比及びダイナミックレンジを維持した状態でデータ量を圧縮することができる。これにより、出力の目的等に応じた適切な出力形式でＨＤＲ画像データを出力できると共に、データの圧縮により、ＨＤＲ画像データの転送に必要なバス幅やＨＤＲ画像データの記憶に必要なメモリ容量などを低減することができるという効果が得られる。
【００１４】
例えば、従来は、３２ビットのＨＤＲ画像データ（整数値）を、８ビットの整数値に変換していたが、本形態では、例えば、仮数部８ビット、指数部４ビットの浮動小数点数に変換することで、データ量は４ビット分増加するものの、従来のダイナミックレンジ（５０ｄｂ）よりも約３２０００倍のダイナミックレンジを有するＨＤＲ画像データを得ることができる。
【００１５】
ところで、固定小数点演算の場合は演算(丸め)誤差（＝雑音）は、Ｄレンジが固定なので一定であるが、浮動小数点演算の場合は、レンジ（指数部の値）により、演算誤差が異なる。一方、画像（信号）の場合、画質はＳ／Ｎに依存する。浮動小数点演算の場合、Ｓ／Ｎの分母と分子の指数部は相殺しあい、結果、演算誤差（雑音）は仮数部のビット数（分解能）で決まり、指数部は寄与しない。よって演算誤差によるＳ／Ｎの劣化は、指数部に依存せず、浮動小数点の画像処理演算は、精度(誤差)の面でも大きな問題とはならない。
【００１６】
また、露光制御は、受光素子から出力される信号レベルを、被写体の明暗に関係なくほぼ一定にすることであり、受光素子出力値（画像データ）を浮動小数点形式とすることで、仮数部をその出力信号値に割り当て、指数部に露光量を割り当てることができるので、飽和させたり、丸めたりすることなく、信号レベルを保持できるという効果も得られる。
【００１７】
ここで、上記撮像手段は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等から構成されるセンサセルアレイを有し、電子シャッタ機能等によって露光時間を制御すると共に、各露光時間の読み出しタイミングや、リセットタイミング等を制御して、複数種類の露光時間（第１及び第２の露光時間）で被写体を撮像する。また、撮像で得られた画像データは、例えば、デジタルの画像データに変換してから出力する。以下、撮像システムに関する形態、撮像方法に関する形態、画像処理装置に関する形態、画像処理方法に関する形態などにおいて同じである。
【００１８】
また、上記ＨＤＲ画像データは、例えば、同じ被写体を、標準露光時間で撮像した画像データと、これよりも短い短露光時間で撮像した画像データとにおける、非飽和の画素データを組み合わせて生成される。具体的には、例えば、前記標準露光時間で撮像して得られた画像データにおける飽和した画素データを、前記短露光時間で撮像して得られた画像データにおける非飽和の画素データに置換することでＨＤＲ画像データを生成する。以下、撮像システムに関する形態、撮像方法に関する形態、画像処理装置に関する形態、画像処理方法に関する形態などにおいて同じである。
【００１９】
〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを合成して、画素値を固定小数点形式で表した画素データから構成されるＨＤＲ画像データを生成する画像合成部と、前記ＨＤＲ画像データを、前記第１ＨＤＲ画像データに変換する浮動小数点化処理部とを有することを特徴とする。
【００２０】
このような構成であれば、画像合成部において、撮像手段から取得した、第１及び第２の露光時間に対応する固定小数点形式のＨＤＲ画像データを合成して、固定小数点形式のＨＤＲ画像データを生成することが可能であり、浮動小数点化処理部において、当該固定小数点形式のＨＤＲ画像データを、画素値を仮数部がＮビット、基数がＸ及び当該基数の指数部がＭビットの浮動小数点形式で表した画素データから構成される第１ＨＤＲ画像データに変換することが可能である。
【００２１】
〔形態３〕 更に、形態３の撮像装置は、形態１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを、それぞれ、画素値を仮数部が前記Ｎビット、基数が前記Ｘ及び当該基数の指数部が前記Ｍビットの浮動小数点形式で表した画素データから構成される画像データに変換する浮動小数点化処理部と、当該変換した後の第１及び第２の画像データを合成して前記第１ＨＤＲ画像データを生成する画像合成部とを有することを特徴とする。
【００２２】
このような構成であれば、浮動小数点化処理部において、撮像手段から取得した、第１及び第２の露光時間にそれぞれ対応する固定小数点形式の画像データを、画素値を仮数部がＮビット、基数がＸ及び当該基数の指数部がＭビットの浮動小数点形式で表した画素データから構成される画像データに変換することが可能であり、画像合成部において、前記浮動小数点形式に変換後の画像データを合成して前記第１ＨＤＲ画像データを生成することが可能である。
【００２３】
〔形態４〕 更に、形態４の撮像装置は、形態１乃至３のいずれか１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記被写体の画像を構成する画像要素毎に、前記画像要素を構成する画素データの前記指数部の値を同じ値とした前記第１ＨＤＲ画像データを生成することを特徴とする。
【００２４】
このような構成であれば、被写体画像の再生時に、仮数部のみを用いて再生しても、違和感の無い画像を再生することができるという効果が得られる。これは、画像要素毎に指数部を揃えた場合の仮数部のみの画像は、露光時間（露光量）の異なる画像データにおける有効な領域のみを重ね合わせた画像に相当するからである。
ここで、上記画像要素とは、被写体画像における、輝度が近い画素の領域であり、例えば、被写体画像に、壁や窓などの輝度の異なる画像要素が存在するときは、壁、窓などが画像要素となる。以下、撮像システムに関する形態、撮像方法に関する形態、画像処理装置に関する形態、画像処理方法に関する形態などにおいて同じである。
【００２５】
〔形態５〕 更に、形態５の撮像装置は、形態１乃至４のいずれか１の撮像装置において、
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１の画像データと、画素単位に前記所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２の画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データを構成する画素信号と、前記第１の画像データを構成する画素信号に対応する前記第２の画像データを構成する画素信号とに基づき、画素単位に前記複数の色要素のうちいずれか１つの色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記画像処理手段は、前記第１ＨＤＲ画像データに色補間処理を施して、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、前記画素データの指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする。
【００２６】
このような構成であれば、画素単位に所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する画素値を含む画素データから構成される第１ＨＤＲ画像データを生成することが可能であり、更に、この第１ＨＤＲ画像データに対して色補間処理を行うことで、画素単位に各色要素に関する画素値を含む画素データから構成される第１ＨＤＲ画像データを生成することが可能である（この時点では、各色要素の指数部の値は異なる）。
【００２７】
更に、変換して得られる第２ＨＤＲ画像データの各画素データの指数部の値が、画素単位で複数の色要素で同じ値となるように、色補間処理を行った後の第１ＨＤＲ画像データを構成する各画素データの仮数部の値及び指数部の値を変換することが可能である。
従って、第２ＨＤＲ画像データを、画素単位で、各色要素にそれぞれ対応する複数の仮数部のデータと、複数の色要素に共通の１つの指数部のデータとにまとめることができるので、出力用の第２ＨＤＲ画像データのデータ容量をより低減することができるという効果が得られる。
なお、ＨＤＲ画像データ変換手段においては、第２ＨＤＲ画像データへの変換において、各画素値が飽和しないように変換処理を行うことが望ましい。例えば、指数部の値が一番大きい画素値に合わせて変換処理を行う。
【００２８】
〔形態６〕 更に、形態６の撮像装置は、形態１乃至４のいずれか１の撮像装置において、
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１のカラー画像データと、画素単位に前記所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２のカラー画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１のカラー画像データを構成するカラー画素信号と、前記第１のカラー画像データを構成するカラー画素信号に対応する前記第２のカラー画像データを構成するカラー画素信号とに基づき、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、各前記画素データの前記指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする。
【００２９】
このような構成であれば、第１及び第２の露光時間に対応し且つ画素単位に複数の色要素の各色要素にそれぞれ対応した画素信号から構成される第１及び第２のカラー画像データを取得することが可能であり、これら第１及び第２のカラー画像データに基づき、画素単位に各色要素に関する複数の画素値を含む画素データから構成される第１ＨＤＲ画像データを生成することが可能である。
【００３０】
更に、変換して得られる第２ＨＤＲ画像データの各画素データの指数部の値が、画素単位で複数の色要素で同じ値となるように、第１ＨＤＲ画像データを構成する各画素データの仮数部の値及び指数部の値を変換することが可能である。
従って、第２ＨＤＲ画像データを、画素単位で、各色要素にそれぞれ対応する複数の仮数部のデータと、複数の色要素に共通の１つの指数部のデータとにまとめることができるので、出力用の第２ＨＤＲ画像データのデータ容量をより低減することができるという効果が得られる。
なお、ＨＤＲ画像データ変換手段においては、第２ＨＤＲ画像データへの変換において、各画素値が飽和しないように変換処理を行うことが望ましい。例えば、指数部の値が一番大きい画素値に合わせて変換処理を行う。
【００３１】
〔形態７〕 更に、形態７の撮像装置は、形態１乃至６のいずれか１の撮像装置において、
前記基数を”２”としたことを特徴とする。
このような構成であれば、第１及び第２ＨＤＲ画像データの各画素データは、２を基数とした浮動小数点形式のデータとなるので、これにより、撮像装置において扱いやすいデータとすることができるという効果が得られる。
ここで、撮像装置は、露光量をＥＶ値で管理（表現）している。このＥＶ値は、１ＥＶ変えるごとに露光量が２倍もしくは１／２になる。つまり、基数を２とすることで、例えば、明るい画像を撮像する為に露光量（ＥＶ値）を１段下げたとき、これは第１又は第２ＨＤＲ画像データの指数部の数値を１上げることと等価であり、一方暗い画像を撮像する為に露光量（ＥＶ値）を１段上げることは、指数部の数値を１下げることと等価である。
【００３２】
〔形態８〕 更に、形態８の撮像装置は、形態１乃至７のいずれか１の撮像装置において、
前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部が９ビット以上で且つ前記指数部が５ビット以上であるときに、
前記ＨＤＲ画像データ変換手段は、前記第１ＨＤＲ画像データを、前記仮数部が８ビット且つ前記指数部が４ビットの画素データから構成される第２ＨＤＲ画像データに変換することを特徴とする。
【００３３】
このような構成であれば、第２ＨＤＲ画像データは、仮数部が８ビット及び指数部が４ビットの浮動小数点形式の画素データから構成されることになるので、階調性を仮数部の８ビットで表現し、ダイナミックレンジを指数部の４ビットで表現することが可能となる。
これにより、人間の目の画像の認識性能に近い画質を有した画像データを得ることが可能である。ここで、人間の目の画像の認識性能は、階調性の分解能が８ビットで、ダイナミックレンジが約１００ｄＢと言われている。指数部を４ビットとすることでダイナミックレンジを従来（５０ｄＢ）と比べて約３２０００倍に拡大することが可能である。
【００３４】
〔形態９〕 更に、形態９の撮像装置は、形態１乃至８のいずれか１の撮像装置において、
前記画像処理手段は、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値に対して乗算処理を行う乗算回路と、前記指数部の値に対して加算処理を行う加算回路とを含むことを特徴とする。
【００３５】
このような構成であれば、浮動小数点値の乗算処理を、乗算回路による仮数部の乗算処理と、加算回路による指数部の加算処理によって行うことが可能である。
従って、固定小数点演算による乗算処理を行う回路構成と比較して、回路規模を小さくすることができるという効果が得られる。
【００３６】
〔形態１０〕 一方、上記目的を達成するために、形態１０の撮像システムは、
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする。
【００３７】
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【００３８】
〔形態１１〕 また、上記目的を達成するために、形態１１の撮像方法は、
第１及び第２の露光時間で被写体を撮像する撮像ステップと、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００３９】
〔形態１２〕 一方、上記目的を達成するために、形態１２の画像処理装置は、
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【００４０】
〔形態１３〕 また、上記目的を達成するために、形態１３の画像処理方法は、
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする。
これにより、形態１の撮像装置と同等の作用及び効果が得られる。
【発明を実施するための最良の形態】
【００４１】
〔第１の実施の形態〕
以下、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第１の実施の形態を、図面に基づいて説明する。図１〜図２は、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第１の実施の形態を示す図である。ここで、図１は、撮像装置１００の構成を示すブロック図である。
【００４２】
以下、図１に基づき、撮像装置１００の構成を説明する。
撮像装置１００は、図１に示すように、複数種類の露光時間で被写体を撮像できる撮像部１０と、当該撮像部１０において複数種類の露光時間で撮像された各被写体の画像データに基づき浮動小数点形式の第１ＨＤＲ画像データを生成するＨＤＲ画像データ生成部１１と、画像合成部１１ａとフレームメモリ１３との間のデータの書き込み及び読み出しを制御するメモリアービタ１２と、画像データを記憶するフレームメモリ１３と、浮動小数点形式の第１ＨＤＲ画像データに対してノイズ除去処理などの画像処理を行う画像処理部１４と、画像処理後の第１ＨＤＲ画像データの出力形式を変換する出力形式変換部１５とを含んで構成される。
【００４３】
撮像部１０は、複数のセンサセル（ＣＭＯＳ等で構成）から構成されるセンサセルアレイ、タイミング制御器、ＡＦＥ(Analog Front End)などを有し、本実施の形態においては、１フレーム期間（１回の露光期間）に、標準露光時間に対応する被写体を撮像すると共に、当該標準露光時間（ユーザにより任意に設定可能）の露光と同じ１フレーム期間に、標準露光時間よりも短い短露光時間（標準露光時間＞短露光時間）に対応する被写体を撮像する機能を有している。なお、２種類の露光時間で被写体を撮像する構成としたが、これに限らず、３種類以上の露光時間で被写体を撮像する構成としても良い。
【００４４】
更に、これら２種類の露光時間で撮像して得られた各被写体の画像データを、２つの出力チャンネル（ＣＨ１〜ＣＨ２）を用いて、ＨＤＲ画像データ生成部１１にそれぞれ独立且つ並列に出力する機能を有している。本実施の形態においては、ＣＨ１から被写体を標準露光時間で撮像して得られた画像データ（以下、標準露光画像データと称す）を出力し、ＣＨ２から被写体を短露光時間で撮像して得られた画像データ（以下、短露光画像データと称す）を出力することとする。
【００４５】
また、本実施の形態において、上記撮像部１０で得られる標準露光画像データ及び短露光画像データは、これらを構成する各画素データが１０ビットの固定小数点形式のデータから構成されている。以下、この画素データを、ＲＡＷＩデータと呼ぶこととする。
ＨＤＲ画像データ生成部１１は、画像合成部１１ａと、浮動小数点化処理部１１ｂとを含んで構成される。
【００４６】
画像合成部１１ａは、乗算器及び加算器を含んで構成され、撮像部１０の画素毎に、標準露光時間に対応するＲＡＷＩデータ（以下、標準露光ＲＡＷＩデータと称す）と、短露光時間に対応するＲＡＷＩデータ（以下、短露光ＲＡＷＩデータと称す）とを、メモリアービタ１２を介して、フレームメモリ１３から読み出す。そして、当該読み出した標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータを、乗算器において、露光比に応じて予め設定された係数で係数倍し且つ係数倍した標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータを加算器において加算（線形合成）することで、各画素値が、３２ビットの固定小数点形式で表された画素データから構成されるＨＤＲ画像データを生成する。以下、このＨＤＲ画像データを構成する各画素データを、ＨＤＲｉデータと呼ぶこととする。
【００４７】
ここで、図２は、画像合成方法の種類を示す図である。
ＨＤＲ画像データを生成するときの画像合成方法としては、図２に示すように、上記説明した線形合成法の他に、ニー方式による合成方法もある。ニー方式は、標準露光時間の画像データと非標準露光時間（短露光時間）の画像データとを加算（単純に加算）することでダイナミックレンジの広い画像データ（ＨＤＲ画像データ）を得る方法である。
【００４８】
また、図示しないが、他にも、画素毎に、複数種類の露光時間に対応したＲＡＷＩデータから非飽和のＲＡＷＩデータを選択し、当該選択したＲＡＷＩデータを露光比に応じて係数倍する方法もある（これも線形合成法の一種である）。
浮動小数点化処理部１１ｂは、画像合成部１１ａで生成されたＨＤＲｉデータを、仮数部がＮビット（Ｎは、３２＞Ｎ≧２の自然数）基数がＸ（Ｘは、２〜１０の自然数）及び当該基数の指数部がＭビット（Ｍは、３２＞Ｎ≧２の自然数）の浮動小数点形式の画素データ（以下、第１ＨＤＲ画素データと称す）に変換する。
【００４９】
ここで、１フレーム分の第１ＨＤＲ画素データから第１ＨＤＲ画像データが構成される。
また、第１ＨＤＲ画素データは、仮数部（Ｎビット）をＲＡＷｉ、指数部（Ｍビット）をＲＡＷｅとし、ＲＡＷｉ及びＲＡＷｅの組が画像処理部１４に出力される。
メモリアービタ１２は、画像合成部１１ａなどから読み出し指令が出力されると、その出力された読み出し指令が示す標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータをフレームメモリ１３から読み出し、これらＲＡＷＩデータを、読み出し指令の出力元に出力する。また、メモリアービタ１２は、画像合成部１１ａから書き込み指令が出力されると、その出力された書き込み指令が示す標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータをフレームメモリ１３に書き込む。
【００５０】
フレームメモリ１３は、撮像部１０から画素のライン毎に画像合成部１１ａに入力される標準露光ＲＡＷＩデータ及び短露光ＲＡＷＩデータを、メモリアービタ１２を介してライン毎に記憶し、当該記憶した２種類のＲＡＷＩデータを後段の画像合成処理において同期を取る為に、ＲＡＷＩデータをバッファリング（蓄積）する。あるいは、２種類のＲＡＷＩデータを１フレーム分蓄積後に、画像合成部１１ａにメモリアービタ１２を介してそれぞれ独立に、もしくは並列に出力する。つまり、メモリアービタ１２及びフレームメモリ１３は、遅延手段としての役割も担っている。
【００５１】
画像処理部１４は、乗算器及び加算器を含んで構成され、ＨＤＲ画像データ生成部１１から入力された、第１ＨＤＲ画素データ｛ＲＡＷｉ，ＲＡＷｅ}に対して、空間解像度を上げる処理、輝度レベルの補正処理、ノイズ除去処理などの画像処理を施して、画像処理後の第１ＨＤＲ画素データ｛Ｙ（Ｎビット），Ｅ（Ｍビット）｝を、出力形式変換部１５に出力する。つまり、各種画像処理は、浮動小数点形式のＨＤＲ画素データを用いて行われる。
【００５２】
出力形式変換部１５は、画像処理部１４から入力された、画像処理後の第１ＨＤＲ画素データ｛Ｙ（Ｎビット），Ｅ（Ｍビット）｝を、出力装置２００の性能に応じた（扱いやすい）ビット数の画素データに変換する。具体的に、第１ＨＤＲ画素データ｛Ｙ（Ｎビット），Ｅ（Ｍビット）｝を、｛Ｙ（ｎビット（ｎは、Ｎ＞ｎの自然数）），Ｅ（ｍビット（ｍは、Ｍ＞ｍの自然数））｝の第２ＨＤＲ画素データに変換する。
【００５３】
ここで、１フレーム分の第２ＨＤＲ画素データから第２ＨＤＲ画像データが構成される。
また、この変換処理においては、第１ＨＤＲ画像データの画像を解析（エッジ抽出など）し、画像の各構成要素の情報を取得する。そして、当該取得した情報から、構成要素毎に、各画素値の指数部（Ｅ）の値を同一値とする。指数部の値を同一値にするとは、構成要素毎に、同一とする指数部の値に合わせて、各画素値の仮数部の値を変更する処理となる。
【００５４】
次に、本実施の形態の動作を説明する。
まず、撮像部１０において、被写体の光学像が、標準露光時間及び短露光時間の２種類の露光時間で撮像され、標準露光画像データを構成する１０ビットの標準露光ＲＡＷＩデータと、短露光画像データを構成する１０ビットの短露光ＲＡＷＩデータとが、各画素のライン毎に２つの出力チャンネル（ＣＨ１〜ＣＨ２）を介して、それぞれ独立に画像合成部１１ａに出力される。
【００５５】
画像合成部１１ａは、撮像部１０から短露光ＲＡＷＩデータが入力されると、当該入力された短露光ＲＡＷＩデータをメモリアービタ１２を介して、フレームメモリ１３に記憶する。一方、撮像部１０から標準露光ＲＡＷＩデータが入力されると、画像合成部１１ａは、メモリアービタ１２を介して、フレームメモリ１３から、前記入力された標準露光ＲＡＷＩデータに対応する短露光ＲＡＷＩデータを読み出す。
【００５６】
画像合成部１１ａは、短露光ＲＡＷＩデータを読み出すと、画素毎に、標準露光ＲＡＷＩデータの示す画素値と、これと同じ画素位置の短露光ＲＡＷＩデータの示す画素値とを、画像合成部１１ａにおける乗算器において、露光比に応じて設定された係数で係数倍（例えば、１０００倍）し、係数倍したこれらＲＡＷＩデータの示す画素値を加算器で加算して、画素値を３２ビットの固定小数点形式で表したＨＤＲ画素データ（ＨＤＲｉデータ）を生成する。そして、この生成したＨＤＲｉデータを、浮動小数点化処理部１１ｂに出力する。
【００５７】
浮動小数点化処理部１１ｂは、画像合成部１１ａからＨＤＲｉデータが入力されると、ここでは、下式（１）に従って、当該ＨＤＲｉデータを、画素値を、仮数部が１０ビット、基数が２（Ｘ＝２）及び当該基数２の指数部が１０ビットの浮動小数点形式で表した第１ＨＤＲ画素データに変換する。
画素値（輝度値）＝ＲＡＷｉ×２ＲＡＷｅ−５１２ ・・・（１）
但し、上式（１）において、ＲＡＷｉ（１０ビット）、ＲＡＷｅ（１０ビット）、ＲＡＷｅ≧５１２（２9）である。
【００５８】
上式（１）より、画素値（出力信号）のレンジは、ＲＡＷｉが０〜１０２３及びＲＡＷｅが２511となるときの値で決まる。また、最小ステップは、ＲＡＷｉが１及びＲＡＷｅが２-512となるときの値である。
なお、線形合成後の画素値のレンジは、上記乗算器における係数倍率に依存する。例えば、１０００倍であれば、指数部の数値は１０程度でよく、十分なレンジとなる。
【００５９】
つまり、３２ビットのＨＤＲｉデータを、上式（１）に従って、仮数部１０ビット及び指数部１０ビットのデータに変換した、ＲＡＷｉ×２ＲＡＷｅ−５１２が、浮動小数点形式のＨＤＲ画素データ（第１ＨＤＲ画素データ）となる。
この第１ＨＤＲ画素データは、｛ＲＡＷｉ，ＲＡＷｅ｝だけが、後段の画像処理部１４へと出力される。
【００６０】
画像処理部１４は、第１ＨＤＲ画素データ｛ＲＡＷｉ，ＲＡＷｅ｝が入力されると、空間解像度を上げる処理、輝度レベル補正処理、ノイズ除去処理などの画像処理を行い、｛仮数部、指数部｝＝｛Ｙ（１０ビット），Ｅ（１０ビット）｝を出力する。
これらの画像処理の基本は、積和演算である（例えば下式（２））。
ＯＵＴ＝Ａ×α＋Ｂ×γ＋Ｃ×β ・・・（２）
但し、上式（２）において、Ａ、Ｂ、Ｃは係数、α、γ、βは入力値(画素値)である。
【００６１】
本実施の形態においては、この基本処理を浮動小数点演算で行う。すなわち画素値及び係数値を浮動小数点表現、例えば、指数部１０ビット、仮数部１０ビットの精度で行う。ここで、係数は、処理系の増幅率を１にするのが一般的であり（Ａ＋Ｂ＋Ｃ＝１）、１以下の数値である。そこで、演算精度を確保する為、係数の指数部を、下式（３）の形式とする。
指数部＝２ｋ−２（Ｍ−１） ・・・（３）
但し、上式（３）において、ｋは０〜１０２３の整数値である。
【００６２】
ここでは、Ｍ＝１０としたので、指数部は２‐512〜２511の値が表現でき、２進数で小数点以下９ビット（１／５１２＝１／２9）まで精度を持たせることができる。
また、仮数部と指数部のビット長が固定の浮動小数点乗算器は、下式（４）の如く仮数部同士の乗算、指数部同士の加算で実現きるので、固定小数点乗算器に比して小型化が可能である。
ＯＵＴ＝Ａ×２ｉ×Ｂ×２j＝Ａ×Ｂ×２ｉ＋ｊ ・・・（４）
なお、上式（４）における「Ａ×Ｂ」の演算結果がＤレンジ（１０ビット）を越える場合、また結果がＤレンジの１／２より小さくなった場合、指数部の演算結果（ｉ＋ｊ）に対して、インクリメントもしくはデクリメント処理する。この指数部処理は、デジタルカメラの露出制御に相当し、明るい(輝度が大きくなる)場合、指数部を増やし（ＥＶ値を下げ）、暗い(輝度が小さくなる)場合、指数部を減らす（ＥＶ値を上げる）。このように、本実施の形態の画像処理においては、基数を２としたので、撮像動作のＥＶ値の概念を拡張し画素値に反映させることが可能である。
【００６３】
画像処理後の第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝は、出力形式変換部１５に出力される。
出力形式変換部１５は、画像処理部１４から、画像処理後の第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝が入力されると、当該第１ＨＤＲ画素データの仮数部及び指数部のビット数を、出力装置２００の性能に応じて変換する。
【００６４】
以下、この変換によって得られるＨＤＲ画素データを、第２ＨＤＲ画素データと呼ぶ。
ここでは、出力装置２００が、人が出力画像を視認（又は鑑賞）することを目的とする表示装置又は印刷装置であるとし、第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝を、第２ＨＤＲ画素データ｛Ｙ（８ビット），Ｅ（４ビット）｝へと変換する。
【００６５】
つまり、出力形式変換部１５は、第１ＨＤＲ画像データを構成する各第１ＨＤＲ画素データを、人の目の画像の認識性能に近い階調性及びＤレンジの第２ＨＤＲ画素データに変換する。この変換後の第２ＨＤＲ画素データから第２ＨＤＲ画像データが構成される。
また、上記変換処理においては、第１ＨＤＲ画素データ｛Ｙ（１０ビット），Ｅ（１０ビット）｝から構成される第１ＨＤＲ画像データの画像を解析（輝度変化抽出、エッジ抽出など）し、画像の各構成要素の情報を取得する。そして、当該取得した情報から、構成要素毎に、各画素値の指数部Ｅの値を同一値とする。
【００６６】
例えば、被写体に窓と壁とが含まれている場合は、窓の画像を構成する画素値における指数部Ｅの値を全て同じ値に統一し、壁の画像を構成する画素値における指数部Ｅの値を全て同じ値に統一する。これにより、画像再生時に、仮数部のみでも違和感の無い画像を形成することが可能となる。
以上より、人の目の画像の認識性能に対して適した構成を有し且つデータ量が削減された構成の第２ＨＤＲ画像データが生成される。
【００６７】
上記生成された第２ＨＤＲ画像データは、出力装置２００へと出力され、出力装置２００において、第２ＨＤＲ画像データの画像が表示出力又は印刷出力される。
以上、本実施の形態の撮像装置１００は、各画素値が浮動小数点形式で表された第１ＨＤＲ画素データから構成される第１ＨＤＲ画像データを生成することが可能であり、この浮動小数点形式の第１ＨＤＲ画素データを用いて、浮動小数点演算を含む画像処理を行うことが可能である。
【００６８】
これにより、画像処理において必要な回路規模を、同レベルのＨＤＲ画像データに対して、固定小数点形式で演算処理する場合と比して小型化することが可能である。また、この小型化によって、画像処理速度も向上することが可能である。
また、画像処理後の第１ＨＤＲ画像データ（例えば、各第１ＨＤＲ画素データが｛Ｙ（１０ビット），Ｅ（１０ビット）｝）を、出力装置の性能などに応じて変換し、出力装置の階調性能に適し且つ第１ＨＤＲ画像データに対して情報量の削減された第２ＨＤＲ画像データ（例えば、各第２ＨＤＲ画素データが｛Ｙ（８ビット），Ｅ（４ビット）｝）を生成することが可能である。
【００６９】
これにより、出力装置の性能に適した階調性及びＤレンジを有し且つデータ量の削減されたＨＤＲ画像データを出力することが可能である。これにより、第１ＨＤＲ画像データをそのまま出力するよりも、データの転送に必要なバス幅や、データの記憶に必要な容量を低減することが可能となる。
また、ＨＤＲ画像データ（整数）を、浮動小数点形式の第１ＨＤＲ画像データに変換するときに、その基数を２とすることで、画像処理において、指数部を露光制御における露光量（ＥＶ値）として扱うことが可能である。
【００７０】
また、第２ＨＤＲ画像データにおける、指数部Ｅの値を、画像の構成要素毎に同一値とすることが可能である。
これにより、画像再生時に、仮数部のみでも違和感の無い画像を形成することが可能となる。
【００７１】
上記第１の実施の形態において、撮像部１０は、形態１又は２の撮像手段、又は形態１０の撮像ステップに対応し、ＨＤＲ画像データ生成部１１は、形態１、２及び４及のいずれか１のＨＤＲ画像データ生成手段、又は形態１１のＨＤＲ画像データ生成ステップに対応し、画像処理部１４は、形態１若しくは９の画像処理手段又は、形態１１の画像処理ステップに対応し、出力形式変換部１５は、形態１又は８のＨＤＲ画像データ変換手段、又は形態１１のＨＤＲ画像データ変換ステップに対応する。
【００７２】
また、上記第１の実施の形態において、標準露光画像データは、形態１、２、３、１０、１１、１２及び１３のいずれか１の第１の画像データに対応し、短露光画像データは、形態１、２、３、１０、１１、１２及び１３のいずれか１の第２の画像データに対応する。
【００７３】
〔第２の実施の形態〕
次に、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第２の実施の形態を、図面に基づいて説明する。図３は、本発明に係る撮像装置、撮像システム及び撮像方法、並びに画像処理装置及び画像処理方法の第２の実施の形態を示す図である。ここで、図３は、撮像装置３００の構成を示すブロック図である。
【００７４】
本実施の形態は、撮像部が単板式の撮像素子と、光信号を所定の色空間に対応する複数の色要素の各色要素のカラー画素信号に分離するカラーフィルタとを有している点と、色補間処理を行って、各色要素にそれぞれ対応した浮動小数点形式の複数の画素データから構成される第１ＨＤＲ画像データを生成すると共に、当該第１ＨＤＲ画像データの第１ＨＤＲ画素データを、画素単位で、各色要素に対応した仮数部と複数の色要素に共通の指数部とから構成され且つ情報量が削減された構成の第２ＨＤＲ画素データに変換して、第２ＨＤＲ画像データを生成する点とが上記第１の実施の形態の撮像装置１００と異なる。以下、上記第１の実施の形態の撮像装置１００と同じ構成部については、同じ符号を付して適宜説明を省略又は簡略化し、異なる点のみを詳細に説明する。
【００７５】
まず、図３に基づき、本実施の形態に係る撮像装置３００の構成を説明する。
撮像装置３００は、図３に示すように、単板式の撮像素子と、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色要素からなるＲＧＢ色空間に対応する色分離のためのカラーフィルタとを有し、更に、複数種類の露光時間で被写体を撮像できる撮像部１６と、当該撮像部１６において複数種類の露光時間で撮像された各被写体の画像データに基づき浮動小数点形式の第１ＨＤＲ画像データを生成するＨＤＲ画像データ生成部１１と、メモリアービタ１２と、フレームメモリ１３と、色補間処理、ノイズ除去処理などの画像処理を行う画像処理部１７と、画像処理後の各色要素に対応する第１ＨＤＲ画像データの出力形式を変換する出力形式変換部１８とを含んで構成される。なお、図３には、出力装置が図示されていないが、上記第１の実施の形態の撮像装置１００と同様に、図１の出力装置２００が出力先となる。
【００７６】
撮像部１６は、単板式の撮像素子と、ＲＧＢ色空間に対応するカラーフィルタとを有しており、本実施の形態においては、被写体を標準露光時間及び短露光時間で撮像する。この撮像によって、標準露光時間に対応した標準露光カラー画像データ（各ＲＡＷＩデータが固定小数点形式で且つ１０ビット）と、短露光時間に対応した短露光カラー画像データ（各ＲＡＷＩデータが固定小数点形式で且つ１０ビット）とを得る。
【００７７】
そして、撮像により得られた標準露光カラー画像データ及び短露光カラー画像データを画像合成部１１ａに出力する。
ここで、カラーフィルタは、複数のＲ、Ｇ、Ｂのフィルタ部がベイヤ配列された構成を有するものとする。
画像合成部１１ａは、撮像部１６で得られた、標準露光カラー画像データを構成する各ＲＡＷＩデータ（以下、標準露光ＲＡＷＩＣデータと称す）と、短露光カラー画像データを構成する各ＲＡＷＩデータ（以下、短露光ＲＡＷＩＣデータと称す）とを合成して、画素値が３２ビットの固定小数点形式で表されたカラーＨＤＲｉデータ（以下、ＲＧＢＨＤＲｉデータと称す）を生成する。
【００７８】
浮動小数点化処理部１１ｂは、画像合成部１１ａで生成された、ＲＧＢＨＤＲｉデータ（３２ビット）を、画素値を仮数部がＮＣビット（ＮＣは、３２＞ＮＣ≧２の自然数）、基数がＸ及び当該基数の指数部がＭＣビット（ＭＣは、３２＞ＭＣ≧２の自然数）の浮動小数点形式で表した第１カラーＨＤＲ画素データへと変換する。
画像処理部１７は、色信号処理部１７ａと、画像補正部１７ｂと、ラインメモリ１７ｃと、ラインメモリ１７ｄとを含んで構成される。
【００７９】
色信号処理部１７ａは、ＨＤＲ画像データ生成部１１から出力される第１カラーＨＤＲ画素データ（処理すべき画素のデータ）と、ラインメモリ１７ｃに格納された、処理すべき画素の周辺の第１カラーＨＤＲ画素データとを用いて色補間処理を行う。すなわち、ラインメモリにより遅延された、第１カラーＨＤＲ画素データを用いて、画像の各点について、ＲＧＢ色空間に規定される色信号（データ）を生成する処理（色信号処理）を行う。
【００８０】
なお、色信号処理には、主に、第１カラーＨＤＲ画素データから、画像の各点における色信号を生成（補間）する処理（色補間処理）と、第１カラーＨＤＲ画素データを所定の色空間に規定される色データに変換する処理（色空間変換処理）とがある。本実施の形態においては、撮像部１６が単板式の撮像素子に対応するベイヤ配列のカラーフィルタを有しているので、前者の色補間処理を実行する。
【００８１】
つまり、色信号処理部１７ａは、上記した色補間処理によって、第１カラーＨＤＲ画素データを、画素毎に、ＲＧＢの各色要素にそれぞれ対応する画素値が、仮数部がＮＣビット、基数がＸ及び当該基数の指数部がＭＣビットの浮動小数点形式で表されたカラーＨＤＲ画素データに変換する。
これにより、画素毎に、Ｒの色要素に対応する第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、Ｇの色要素に対応する第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝及びＢの色要素に対応する第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝を有する}第１カラーＨＤＲ画像データが生成される。
【００８２】
画像補正部１７ｂは、色信号処理部１７ａからの第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝及び第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝と、ラインメモリ１７ｄに格納された第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝及び第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝とを用いて、空間解像度を上げる処理（ディテール処理）、輝度レベルの補正処理、ノイズ除去処理などの画像処理を行う。
【００８３】
そして、画像処理後の第１ＲＨＤＲ画素データ｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝、第１ＧＨＤＲ画素データ｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝及び第１ＢＨＤＲ画素データ｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝を、出力形式変換部１８に出力する。
出力形式変換部１８は、画像処理部１４から入力された、画像処理後の第１ＲＨＤＲ画素データ、第１ＧＨＤＲ画素データ及び第１ＢＨＤＲ画素データ（いずれも｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝）を、出力装置２００の性能に応じた（扱いやすい）ビット数の第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データに変換する。
【００８４】
具体的に、第１カラーＨＤＲ画像データを構成する、第１ＲＨＤＲ画素データ、第１ＧＨＤＲ画素データ及び第１ＢＨＤＲ画素データ（いずれも｛Ｙ（ＮＣビット），Ｅ（ＭＣビット）｝）を、第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データ（いずれも｛Ｙ（ｎビット（ｎは、ＮＣ＞ｎの自然数）），Ｅ（ｍビット（ｍは、ＭＣ＞ｍの自然数））｝）に変換する。
【００８５】
これにより、画素毎に、Ｒの色要素に対応する第２ＲＨＤＲ画素データ、Ｇの色要素に対応する第２ＧＨＤＲ画素データ及びＢの色要素に対応する第２ＢＨＤＲ画素データを有する第２カラーＨＤＲ画像データが生成される。
このとき、各画素に対応する、第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データにおける、指数部Ｅの値を同一値とする。但し、第２ＲＨＤＲ画素データ、第２ＧＨＤＲ画素データ及び第２ＢＨＤＲ画素データの各仮数部の値が飽和しないように且つ最小値となるように指数値を統一する。
【００８６】
つまり、第２カラーＨＤＲ画像データは、画素毎に、ＲＧＢの各色要素にそれぞれ対応した複数（３つ）の仮数部と、ＲＧＢに共通の１つの指数部とから構成されるデータとなる。
次に、本実施の形態の動作を説明する。
まず、撮像部１６において、被写体が、標準露光時間及び短露光時間の２種類の露光時間で撮像され、標準露光カラー撮像画像データを構成する１０ビットの標準露光ＲＡＷＩＣデータと、短露光カラー撮像画像データを構成する１０ビットの短露光ＲＡＷＩＣデータとが、各画素のライン毎に２つの出力チャンネル（ＣＨ１〜ＣＨ２）を介して、それぞれ独立に画像合成部１１ａに出力される。
【００８７】
画像合成部１１ａは、撮像部１０から短露光ＲＡＷＩＣデータが入力されると、当該入力された短露光ＲＡＷＩＣデータをメモリアービタ１２を介して、フレームメモリ１３に記憶する。一方、撮像部１０から標準露光ＲＡＷＩＣデータが入力されると、画像合成部１１ａは、メモリアービタ１２を介して、フレームメモリ１３から、前記入力された標準露光ＲＡＷＩＣデータに対応する短露光ＲＡＷＩＣデータを読み出す。
【００８８】
画像合成部１１ａは、短露光ＲＡＷＩＣデータを読み出すと、画素毎に、標準露光ＲＡＷＩＣデータの示す画素値と、これと同じ画素位置の短露光ＲＡＷＩＣデータの示す画素値とを、画像合成部１１ａにおける乗算器において、露光比に応じて設定された係数で係数倍（例えば、１０００倍）し、係数倍したこれらＲＡＷＩＣデータの示す画素値を加算器で加算して、画素値が３２ビットの固定小数点形式で表されたＲＧＢＨＤＲｉデータを生成する。そして、この生成したＲＧＢＨＤＲｉデータを、浮動小数点化処理部１１ｂに出力する。
【００８９】
浮動小数点化処理部１１ｂは、画像合成部１１ａからＲＧＢＨＤＲｉデータが入力されると、この画素値が３２ビットの固定小数点形式で表されたＲＧＢＨＤＲｉデータを、上記第１の実施の形態と同様に、上式（１）に従って、画素値が、ＲＡＷｉが１０ビット、基数が２及びＲＡＷｅが１０ビットの浮動小数点形式で表された第１カラーＨＤＲ画素データに変換する。この第１カラーＨＤＲ画素データは、｛ＲＡＷｉ，ＲＡＷｅ｝だけが、後段の画像処理部１７へと出力される。
【００９０】
画像処理部１７は、ラインメモリ１７ｃに、浮動小数点化処理部１１ｂからの第１カラーＨＤＲ画素データ｛ＲＡＷｉ（１０ビット），ＲＡＷｅ（１０ビット）｝を、ラインメモリ容量分格納すると共に、色信号処理部１７ａにおいて、ラインメモリ１７ｃの第１カラーＨＤＲ画素データと浮動小数点化処理部１１ｂからの第１カラーＨＤＲ画素データとに基づき、色補間処理を実行する。
【００９１】
これにより、第１カラーＨＤＲ画像データの各第１カラーＨＤＲ画素データ｛ＲＡＷｉ，ＲＡＷｅ｝を、Ｒ、Ｇ、Ｂの各色要素に対応した、第１ＲＨＤＲ画素データ｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、第１ＧＨＤＲ画素データ｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝及び第１ＢＨＤＲ画素データ｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝へと変換する。
【００９２】
次に、画像補正部１７ｂにおいて、色信号処理部１７ａで生成された第１ＲＨＤＲ画素データ｛Ｒｉ，Ｒｅ｝、第１ＧＨＤＲ画素データ｛Ｇｉ，Ｇｅ｝、及び第１ＢＨＤＲ画素データ｛Ｂｉ，Ｂｅ｝を、ラインメモリ１７ｄに、ラインメモリ容量分格納する。
更に、ラインメモリ１７ｄに格納された｛Ｒｉ，Ｒｅ｝、｛Ｇｉ，Ｇｅ｝及び｛Ｂｉ，Ｂｅ｝と、色信号処理部１７ａからの｛Ｒｉ，Ｒｅ｝、｛Ｇｉ，Ｇｅ｝及び｛Ｂｉ，Ｂｅ｝とに基づき、空間解像度を上げる処理、輝度レベル補正処理、ノイズ除去処理などの画像処理を行い、画像処理後の「｛Ｒｉ，Ｒｅ｝、｛Ｇｉ，Ｇｅ｝、｛Ｂｉ，Ｂｅ｝」を、出力形式変換部１８に出力する。
【００９３】
出力形式変換部１８は、画像処理部１７から、画像処理後の第１カラーＨＤＲ画素データ「｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝、｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝」が入力されると、当該第１カラーＨＤＲ画素データの仮数部及び指数部のビット数を、出力装置２００の性能に応じて変換すると共に、画素毎に、指数部の値が共通の値となるように変換した第２カラーＨＤＲ画素データを生成する。
【００９４】
ここで、指数部の変換については、仮数部の各色要素（Ｒ、Ｇ、Ｂ）の値が飽和しないように且つ最小値となるように指数値を同一の値に変換する。仮数部の値を飽和させないためには、各色要素の画素値における指数部の一番大きなものに合わせて変換を行う。
また、指数部の値を同一値にするとは、同一とする指数部の値に合わせて、各色要素の画素値の仮数部の値を変更する処理となる。仮数部を変更する際に、各色要素の値が飽和しないようにする。
【００９５】
ここでは、上記第１の実施の形態と同様に、出力装置２００が、人が出力画像を視認（又は鑑賞）することを目的とする表示装置又は印刷装置であるとし、第１カラーＨＤＲ画像データを構成する第１ＲＨＤＲ画素データ｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、第１ＧＨＤＲ画素データ｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝及び第１ＢＨＤＲ画素データ｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝を、出力装置の性能に合わせて情報量が削減され且つ指数部の値がＲ、Ｇ、Ｂの各色要素に共通の１つの値となった、第２ＲＨＤＲ画素データ｛Ｒ（８ビット）｝、第２ＧＨＤＲ画素データ｛Ｇ（８ビット）｝及び第２ＢＨＤＲ画素データ｛Ｂ（８ビット）｝、指数部データ｛Ｅ（４ビット）｝へと変換する。
【００９６】
つまり、出力形式変換部１８は、第１カラーＨＤＲ画像データを、出力装置の性能に適した（人の目の画像の認識性能に近い）階調性及びＤレンジのカラーＨＤＲ画像データ（第２カラーＨＤＲ画像データ）へと変換する。
以上より、人の目の画像の認識性能に近い階調性を有し且つデータ量が削減された構成の第２カラーＨＤＲ画像データが生成される。
【００９７】
上記生成された第２カラーＨＤＲ画像データは、出力装置２００へと出力され、出力装置２００において、第２カラーＨＤＲ画像データの画像が表示出力又は印刷出力される。
以上、本実施の形態の撮像装置３００は、各画素値が浮動小数点形式で表された第１カラー画素データから構成される第１カラーＨＤＲ画像データを生成することが可能であり、この浮動小数点形式の第１カラーＨＤＲ画素データを用いて、浮動小数点演算を含む画像処理を行うことが可能である。
【００９８】
これにより、画像処理において必要な回路規模を、同レベルのＨＤＲ画像データに対して、固定小数点形式で演算処理する場合と比して小型化することが可能である。また、この小型化によって、画像処理速度も向上することが可能である。
また、画像処理後の第１カラーＨＤＲ画像データの各画素値（例えば、「｛Ｒｉ（１０ビット），Ｒｅ（１０ビット）｝、｛Ｇｉ（１０ビット），Ｇｅ（１０ビット）｝、｛Ｂｉ（１０ビット），Ｂｅ（１０ビット）｝」）を、出力装置の性能などに応じて変換し、各画素値が浮動小数点形式で表された画素データから構成され且つ指数部が１つにまとめられた構成の第２カラーＨＤＲ画像データ（例えば、画素毎に｛Ｒ（８ビット），Ｇ（８ビット），Ｂ（８ビット），Ｅ（４ビット）｝の画素値で構成されるデータ）を生成することが可能である。
【００９９】
これにより、出力装置の性能に適した（人間の目の画像の認識性能に近い）階調性及びＤレンジを有し且つデータ量の削減された構成の第２カラーＨＤＲ画像データを出力することが可能である。これにより、第１ＨＤＲ画像データをそのまま出力するよりも、データの転送に必要なバス幅や、データの記憶に必要な容量を低減することが可能となる。
また、カラーＨＤＲ画像データ（整数）を、浮動小数点形式の第１カラーＨＤＲ画像データに変換するときに、その基数を２とすることで、画像処理において、指数部を露光制御における露光量（ＥＶ値）として扱うことが可能である。
【０１００】
また、第２カラーＨＤＲ画像データにおける、指数部Ｅの値を、各画素の、全ての色に対して同一値とすることが可能である。
これにより、各画素値の各色の指数部を共通化（１つに）することができるので、データの転送に必要なバス幅や、データの記憶に必要な容量をより低減することが可能となる。
【０１０１】
上記第２の実施の形態において、撮像部１０は、形態５の撮像手段、又は形態１１の撮像ステップに対応し、ＨＤＲ画像データ生成部１１は、形態５のＨＤＲ画像データ生成手段、又は形態１１のＨＤＲ画像データ生成ステップに対応し、画像処理部１７は、形態５の画像処理手段又は、形態１１の画像処理ステップに対応し、出力形式変換部１５は、形態５又は８のＨＤＲ画像データ変換手段、又は形態１１のＨＤＲ画像データ変換ステップに対応する。
【０１０２】
なお、上記第１及び第２の実施の形態においては、ＨＤＲ画像データ生成部１１において、撮像部１０又は１６から入力される複数種類の露光時間（標準露光時間、短露光時間）に対応した画像データを、画像合成部１１ａで合成してから、浮動小数点化処理部１１ｂにおいて浮動小数点形式の第１ＨＤＲ画像データへと変換する構成としたが、撮像部１０又は１６から入力される画像データを、浮動小数点化処理部１１ｂにおいて、先に浮動小数点形式の画像データに変換してから、画像合成部１１ａにおいて合成する構成としてもよい。この場合に、撮像部１０又は１６は、形態３の撮像手段に対応する。
【０１０３】
また、上記第１及び第２の実施の形態において、撮像装置１００又は３００を、例えば、撮像部１０又は１６と、それ以外の構成部とに分け、両者をネットワーク等で接続した撮像システムの構成としても良い。また、撮像部１０又は１６及びＨＤＲ画像データ生成部１１における画像合成部１１ａと、それ以外の構成部とに分けて、両者をネットワーク等で接続した構成にするなど、他の構成としてもよい。この場合に、撮像装置１００又は３００は、形態１０の撮像システムに対応する。
【０１０４】
また、上記第１及び第２の実施の形態において、撮像装置１００又は３００から、例えば、撮像部１０又は１６を除外すると、残りの構成部は、画像処理装置として機能させることが可能である。この画像処理装置は、撮像装置１００又は３００から、撮像部１０又は１６及びＨＤＲ画像データ生成部１１における画像合成部１１ａを除いた残りの構成部から構成してもよい。この場合に、上記構成の画像処理装置は、形態１２の画像処理装置に対応する。また、上記構成の画像処理装置における、ＨＤＲ画像データ生成部１１、画像処理部１４又は１７、出力形式変換部１５又は１８は、形態１３のＨＤＲ画像データ生成ステップ、画像処理ステップ、ＨＤＲ画像データ変換ステップにそれぞれ対応する。
【０１０５】
また、上記第２の実施の形態においては、撮像部１６を、単板式の撮像素子と、所定の色空間（ＲＧＢ色空間など）に対応するカラーフィルタとを有する構成としたが、これに限らず、撮像部１６を、撮像素子（センサセルアレイ）を、複数（所定の色空間を構成する色要素の数に相当）有すると共に、各撮像素子が複数の色要素におけるそれぞれ異なる色要素に対応したカラーフィルタを有する構成としても良い。例えば、ＲＧＢ色空間に対応した三板式の撮像素子であれば、各撮像素子は、Ｒの色要素を色分離するカラーフィルタ、Ｇの色要素を色分離するカラーフィルタ、及びＢの色要素を色分離するカラーフィルタのうちいずれか１つを透過した光によって露光が行われる。
【０１０６】
また、各カラーフィルタは１つの色要素に限らず、例えば、ＲＧＢ色空間であれば、三板式の撮像素子において、Ｇの色要素を色分離するカラーフィルタを２つと、ＲとＢとが配列されたカラーフィルタを１つとを有する構成としてもよい。
また、ＲＧＢ色空間であっても、２つの撮像素子を有し、Ｇの色要素を色分離するカラーフィルタを１つと、ＲとＢとが配列されたカラーフィルタを１つとを有する構成としてもよい。
【０１０７】
また、カラーフィルタに限らず、例えば、三板式の撮像素子において、プリズムで色分離して、各色の信号を各対応する撮像素子に入力する構成など、他の方法で色分離する構成としてもよい。
この場合に、撮像部１６は、形態６の撮像手段に対応する。
また、上記第２の実施の形態においては、ＲＧＢ色空間（原色のカラーフィルタ）を例に挙げて説明したが、この構成に限らず、Ｙ（イエロー）、Ｍｇ（マゼンタ）、Ｃｙ（シアン）、Ｇ（グリーン）の色要素で構成される色空間などの、補色によって構成されるカラーフィルタを用いる構成としてもよい。
【０１０８】
また、上記第２の実施の形態において、ベイヤ配列のカラーフィルタを用いる構成としたが、これに限らず、サブピクセル方式のカラー配列を有するカラーフィルタを用いる構成としてもよい。
また、上記第２の実施の形態においては、カラーフィルタを用いて色分離を行う構成としたが、これに限らず、例えば、撮像素子の各画素を、フォトダイオードを３層にすると共に、最も浅い層では全ての光が、最も深い層ではほぼ赤い光だけが光電効果を起こす構成にし、同じ画素位置でＲＧＢの３つの色情報を得られる構成にするなど、他の構成としてもよい。
【０１０９】
また、上記第１及び第２の実施の形態においては、第２ＨＤＲ画像データの出力形式を、仮数部が８ビット、基数が２及び指数部が４ビットの構成としたが、これに限らず、仮数部を７ビット以下又は９ビット以上としてもよいし、基数を２以外の数値としてもよいし、指数部を３ビット以下又は５ビット以上としてもよい。
【図面の簡単な説明】
【０１１０】
【図１】撮像装置１００の構成を示すブロック図である。
【図２】画像合成方法の種類を示す図である。
【図３】撮像装置３００の構成を示すブロック図である。
【符号の説明】
【０１１１】
１００，３００は撮像装置、２００は出力装置、１０，１６は撮像部、１１はＨＤＲ画像データ生成部、１１ａは画像合成部、１１ｂは浮動小数点化処理部、１２は、メモリアービタ、１３はフレームメモリ、１４，１７は画像処理部、１５，１８は出力形式変換部、１７ａは色信号処理部、１７ｂは画像補正部
【特許請求の範囲】
【請求項１】
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを合成して、画素値を固定小数点形式で表した画素データから構成されるＨＤＲ画像データを生成する画像合成部と、前記ＨＤＲ画像データを、前記第１ＨＤＲ画像データに変換する浮動小数点化処理部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを、それぞれ、画素値を仮数部が前記Ｎビット、基数が前記Ｘ及び当該基数の指数部が前記Ｍビットの浮動小数点形式で表した画素データから構成される画像データに変換する浮動小数点化処理部と、当該変換した後の第１及び第２の画像データを合成して前記第１ＨＤＲ画像データを生成する画像合成部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ＨＤＲ画像データ生成手段は、前記被写体の画像を構成する画像要素毎に、前記画像要素を構成する画素データの前記指数部の値を同じ値とした前記第１ＨＤＲ画像データを生成することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１の画像データと、画素単位に前記所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２の画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データを構成する画素信号と、前記第１の画像データを構成する画素信号に対応する前記第２の画像データを構成する画素信号とに基づき、画素単位に前記複数の色要素のうちいずれか１つの色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記画像処理手段は、前記第１ＨＤＲ画像データに色補間処理を施して、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、前記画素データの指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１のカラー画像データと、画素単位に前記所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２のカラー画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１のカラー画像データを構成するカラー画素信号と、前記第１のカラー画像データを構成するカラー画素信号に対応する前記第２のカラー画像データを構成するカラー画素信号とに基づき、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、各前記画素データの前記指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項７】
前記基数を”２”としたことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部が９ビット以上で且つ前記指数部が５ビット以上であるときに、
前記ＨＤＲ画像データ変換手段は、前記第１ＨＤＲ画像データを、前記仮数部が８ビット且つ前記指数部が４ビットの画素データから構成される第２ＨＤＲ画像データに変換することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記画像処理手段は、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値に対して乗算処理を行う乗算回路と、前記指数部の値に対して加算処理を行う加算回路とを含むことを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする撮像システム。
【請求項１１】
第１及び第２の露光時間で被写体を撮像する撮像ステップと、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする撮像方法。
【請求項１２】
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする画像処理装置。
【請求項１３】
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする画像処理方法。
【請求項１】
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを合成して、画素値を固定小数点形式で表した画素データから構成されるＨＤＲ画像データを生成する画像合成部と、前記ＨＤＲ画像データを、前記第１ＨＤＲ画像データに変換する浮動小数点化処理部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ＨＤＲ画像データ生成手段は、前記第１の画像データと前記第２の画像データとを、それぞれ、画素値を仮数部が前記Ｎビット、基数が前記Ｘ及び当該基数の指数部が前記Ｍビットの浮動小数点形式で表した画素データから構成される画像データに変換する浮動小数点化処理部と、当該変換した後の第１及び第２の画像データを合成して前記第１ＨＤＲ画像データを生成する画像合成部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ＨＤＲ画像データ生成手段は、前記被写体の画像を構成する画像要素毎に、前記画像要素を構成する画素データの前記指数部の値を同じ値とした前記第１ＨＤＲ画像データを生成することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１の画像データと、画素単位に前記所定の色空間に対応する複数の色要素のうちいずれか１つの色要素に関する信号を含む画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２の画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１の画像データを構成する画素信号と、前記第１の画像データを構成する画素信号に対応する前記第２の画像データを構成する画素信号とに基づき、画素単位に前記複数の色要素のうちいずれか１つの色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記画像処理手段は、前記第１ＨＤＲ画像データに色補間処理を施して、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、前記画素データの指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像手段は、画素単位に所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第１の露光時間で撮像して得られた第１のカラー画像データと、画素単位に前記所定の色空間に対応する複数の色要素に関する信号を含むカラー画素信号から構成され、且つ、前記第２の露光時間で撮像して得られた第２のカラー画像データと、を出力し、
前記ＨＤＲ画像データ生成手段は、前記第１のカラー画像データを構成するカラー画素信号と、前記第１のカラー画像データを構成するカラー画素信号に対応する前記第２のカラー画像データを構成するカラー画素信号とに基づき、画素単位に前記複数の色要素の各色要素に関する画素値を含む前記画素データから構成される前記第１ＨＤＲ画像データを生成し、
前記ＨＤＲ画像データ変換手段は、前記第２ＨＤＲ画像データが前記複数の色要素に関する画素値を含む前記画素データから構成され、且つ、各前記画素データの前記指数部の値が、画素単位で前記複数の色要素で同じ値となるように、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値及び前記指数部の値を変換することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項７】
前記基数を”２”としたことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部が９ビット以上で且つ前記指数部が５ビット以上であるときに、
前記ＨＤＲ画像データ変換手段は、前記第１ＨＤＲ画像データを、前記仮数部が８ビット且つ前記指数部が４ビットの画素データから構成される第２ＨＤＲ画像データに変換することを特徴とする請求項１乃至請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記画像処理手段は、前記第１ＨＤＲ画像データを構成する前記画素データの前記仮数部の値に対して乗算処理を行う乗算回路と、前記指数部の値に対して加算処理を行う加算回路とを含むことを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
第１及び第２の露光時間で被写体を撮像する撮像手段と、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする撮像システム。
【請求項１１】
第１及び第２の露光時間で被写体を撮像する撮像ステップと、
前記第１の露光時間で撮像して得られた第１の画像データと前記第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする撮像方法。
【請求項１２】
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、
前記ＨＤＲ画像データ生成手段で生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理手段と、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換手段と、を備えることを特徴とする画像処理装置。
【請求項１３】
第１の露光時間で撮像して得られた第１の画像データと第２の露光時間で撮像して得られた第２の画像データとに基づき、画素値を仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び当該基数の指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１ＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、
前記ＨＤＲ画像データ生成ステップで生成された前記第１ＨＤＲ画像データに対して、浮動小数点演算処理を含む所定の画像処理を行う画像処理ステップと、
前記画像処理を行った後の前記第１ＨＤＲ画像データを、前記画素値を前記仮数部がｎビット（ｎは、Ｎ＞ｎの自然数）、前記基数の指数部がｍビット（ｍは、Ｍ＞ｍの自然数）の浮動小数点形式で表した画素データから構成される第２ＨＤＲ画像データに変換するＨＤＲ画像データ変換ステップと、を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００８−２３６７２６（Ｐ２００８−２３６７２６Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−３３９５２１（Ｐ２００７−３３９５２１）
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]