【課題】青空を背景にした逆光の人物の顔を適切な明るさで撮影した場合においても背景の空が飽和しないような高Ｄレンジの撮影が出来る撮像装置を実現する。
【解決手段】本発明の撮像装置は、撮像部１３でハイライトが飽和しないように露光制御を行い、Ａ／Ｄ変換部２３でデジタルデータに変換した画像信号を、信号処理部３１により線形にＤレンジ拡大を行なう。Ｄレンジ拡大された画像信号は、ハイライト領域を重点的に圧縮する特性を有する非線形なＤレンジ圧縮によりＤレンジ１００％まで圧縮される。この構成により、Ｄレンジ拡大された広いＤレンジの画像を無駄なく効率的に圧縮することができる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置および撮像用集積回路に関し、特に、広いダイナミックレンジのシーン（被写体）を適切に撮影することができる撮像装置、撮像用集積回路および撮像用プログラムに関する。
【背景技術】
【０００２】
静止画を撮影するデジタルカメラや動画を撮影するデジタルビデオカメラといった撮像装置は、いずれも、光学系で露光制御を行い、光学系により結像された像をＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等を用いて、光電変換により電気信号に変換し、アナログ画像信号として取得する。そして、従来の撮像装置は、取得したアナログ画像信号を、アナログフロントエンド処理等を実行する回路により処理し、Ａ／Ｄ変換器によりデジタル画像データに変換する。このデジタル画像データは、映像ガンマ補正処理（例えば、γ＝０．４５によるガンマ補正処理）、ｋｎｅｅ処理、輝度色差変換処理等が施されさらに、静止画データの場合はＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等の規格化されたフォーマットに変換され、動画データの場合はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）方式等の規格化されたフォーマットに変換される。そして、規格化されたフォーマットに変換されたデジタル画像データは、各種メモリカードやハードディスク、光ディスク、磁気テープなどに記録される。
【０００３】
このような従来の撮像装置では、上記のような規格化されたフォーマット（画像（映像）フォーマット）で決められている最白点（即ちディスプレイ装置に表示する際の最大明度値）を「１００％」とした場合、通常１００％〜２００％の明度のダイナミックレンジ（以下、「Ｄレンジ」という。）が撮影できるように設定される。なお、ここで、「１００％のダイナミックレンジ」とは、信号値（例えば、明度値）のとり得る範囲が０％〜１００％の範囲であることをいう。つまり、「１００％のダイナミックレンジ」とは、信号値の最小値が「０％」であり、信号値の最大値が「１００％」であることをいう。
そして、従来の撮像装置（第１の従来の撮像装置）は、撮影された１００％以上の明度領域を、ｋｎｅｅ処理と呼ばれる処理によりＤレンジ圧縮し、Ｄレンジ圧縮後のＤレンジが１００％以内に収まるようにする。
【０００４】
また、従来の撮像装置により撮影する際のＤレンジは、光学系の露光量（絞りやシャッタ時間により決定される露光量）の設定条件と、光電変換して取得した電気信号に対する電気的な増幅量の設定条件により決定される。
このような従来の撮像装置により光量が豊富な明るいシーン（被写体）を撮影する場合、絞りを絞る、またはシャッタ時間を短くする、のどちらを選択しても、光量が十分であるため、従来の撮像装置で取得される画像（映像）は良好なものとなる。一般に、撮像装置において、シャッタ時間を短くして絞りを開くことで被写界深度を浅くし、取得画像（映像）の背景をぼかすという、いわゆる「ボケ味」を出す撮影がよく行われている。このような撮影においても、光量が豊富な環境下での撮影であれば、撮像装置において取得される画像（映像）は、良好なものとなる。
【０００５】
逆に、撮像装置において、被写界深度を深くするため、シャッタ時間を長くし、絞りを絞って撮影することもよく行われている。
いずれにしても、明るいシーン（被写体が明るい環境下）では、撮像装置の撮影時において、光量が不足しないため、撮像装置において電気的な増幅を行う必要はない。したがって、明るいシーンの撮影（被写体が明るい環境下での撮影）を行う場合、従来の撮像装置においても、光電変換して取得した電気信号に対する電気的な増幅は実施されていない。
一方、撮像装置で暗いシーンを撮影する場合、十分な光量を得るために、絞りを最大に開き、さらにシャッタ時間も長くする必要がある。撮像装置で、このような長時間の露光を行うと、手振れや被写体ぶれが発生しやすい。したがって、従来の撮像装置においては、シャッタ時間を手振れ限界内(手振れが発生しない限界の時間内）にとどめ、露光量不足を撮像装置により取得した電気信号の電気的な増幅により補償することが行われている。このような処理は、高感度撮影や増感（ｐｕｓｈ ｐｒｏｃｅｓｓｉｎｇ）と呼ばれている。一般に、電気的な増感は、Ｓ／Ｎ比とＡ／Ｄ変換の量子化精度の確保の観点から、撮像装置のイメージセンサの出力をアナログ回路で増幅する構成により実現される。特許文献１には、ＩＳＯ感度に応じてアナログ増幅回路のゲインを切り替えることで増感を行う技術が開示されている。
【０００６】
また、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサに代表される固体撮像素子を使用した撮像装置で撮影して得られる画像信号は、ダイナミックレンジが狭いといった問題がある。このため、ダイナミックレンジの広いシーン（被写体）を撮像装置で撮影する場合（例えば、屋外で逆光の人物像を撮影する場合や、暗い室内から窓越しに外の風景を撮影する場合）、被写体の暗い領域と明るい領域との明暗の差が大きいため、被写体の暗い領域と明るい領域との両方を綺麗に撮影することが困難である。
そこで、別の従来の撮像装置（第２の従来の撮像装置）では、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像と被写体を短時間露光した画像とを合成処理することで、広いダイナミックレンジの被写体画像を得るようにしている（例えば、特許文献２を参照）。
【０００７】
また、さらに別の従来の撮像装置（第３の従来の撮像装置）では、画素配列の１／２を高感度画素として形成し、残り１／２を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得るようにしている（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１３５６５１号公報
【特許文献２】特開２００５−７２９６５号公報
【特許文献３】特開昭５９−２１０７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の撮像装置（第１の従来の撮像装置）では、Ｄレンジを高々２００％程度にして撮影し、ｋｎｅｅ処理によりＤレンジを１００％に圧縮している。このため、例えば、従来の撮像装置で、青空を背景にした逆光の人物の顔を適切な明るさで撮影する場合、人物の顔の明るさが適正レベルである７０％の明度となるように撮像装置の露光量を設定すると、飽和せずに扱えるハイライトのレベル（最大明度）は、人物の顔の明るさの３倍程度に制限されることになる。
しかし、晴天の空などはＤレンジが数百％以上になることが多く、このようなシーン（被写体）を従来の撮像装置で撮影すると、イメージセンサでの光量が飽和し、その結果、従来の撮像装置で取得される画像において、晴天の空などの高輝度部分が適切に再現することができない。
【００１０】
また、従来の撮像装置（第２、第３の従来の撮像装置）においては、被写体を短時間露光した画像を利用してダイナミックレンジを拡大する場合には、短時間露光によって露光量が減り固体撮像素子から得られる信号が小さくなるためＳ／Ｎ比が劣化するといった課題がある。同様に、低感度画素からの画像信号を利用してダイナミックレンジを拡大する場合でも、低感度画素から得られる信号は小さいためＳ／Ｎ比が低くなるといった課題がある。
本発明はこのような課題に鑑みてなされたものであり、ダイナミックレンジの広いシーン（被写体）を撮影する場合（例えば、青空を背景にした逆光の人物の顔を撮影する場合）であっても、撮像画像（取得画像）において高輝度部分（例えば、背景の空）が飽和しないような高Ｄレンジの撮像画像を取得することができる撮像装置、撮像方法、撮像用集積回路および撮像用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
第１の発明は、光学系と、光量調節部と、撮像部と、Ａ／Ｄ変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
光学系は、被写体からの光を集光する。
光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
Ａ／Ｄ変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
【００１２】
ダイナミックレンジ拡大部は、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
この撮像装置によれば、所定の露光時間を複数回に分けて次々に露光することによって露光時間を短くし、露光量を減少させることで、撮像部で得られる出力を小さくすることができる。これにより、得られる撮像画像は暗くなるため、被写体の明るい領域でもＡ／Ｄ変換の出力は飽和しにくくなる。また、この撮像装置では、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出することができる。このため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、この撮像装置では、Ｓ／Ｎ比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。
【００１３】
これにより、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる撮像装置を提供することができる。
第２の発明は、第１の発明であって、ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備える。
これによれば、さらに、出力を映像信号のフォーマット（例えば、ＪＰＥＧ，ＭＰＥＧ等）で決められた出力に合わせることができ、表示装置の最白点を基準に決められている１００％に出力を合わせることができる。
第３の発明は、第１または第２の発明であって、ダイナミックレンジ拡大部は、少なくとも入力ダイナミックレンジより大きい出力ダイナミックレンジを有している。
【００１４】
これによれば、さらに、ダイナミックレンジを拡大した出力を飽和させずに出力できる。
第４の発明は、第２の発明であって、ダイナミックレンジ圧縮部は、画像信号についての周囲明度値に応じて変化する変換特性を用いてダイナミックレンジ拡大画像のダイナミックレンジを圧縮する。
これによれば、さらに、被写体の暗い領域と明るい領域とに適切な出力が得られる変換特性を用いることができ、１０００％以上にダイナミックレンジを拡大した場合であってもその広いダイナミックレンジを視覚的に損なわずに１００％以内に圧縮することが可能になる。
第５の発明は、第１から第４のいずれかの発明であって、光量調節部は、撮像部を複数回に分けて露光する前に、所定の露光時間において被写体の主要部で所定の明るさが得られるように光学系に入射される光量の調節を行う。
【００１５】
これによれば、さらに、被写体の主要部で最適な明るさになるように光量の調節を行った上で、複数回に分けて露光を行うことができる。これにより、例えば、人物の顔を最適な明るさにした上で、空や雲等の明るい領域が飽和しないようにダイナミックレンジを拡大することができる。
第６の発明は、第１から第５のいずれかの発明であって、手振れ検出部をさらに備える。
手振れ検出部は、複数枚のデジタル画像のうち、異なる２枚のデジタル画像から手振れによる画像ずれの大きさとその方向を検出する。
そして、ダイナミックレンジ拡大部は、手振れ検出部で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向にデジタル画像をずらして加算する。
【００１６】
これによれば、さらに、撮像して得た複数枚のデジタル画像間における画像ずれを抑えることができ、手振れによる影響が小さい画像（露光時間を短くした画像）を有効に活用して手振れによる画像ずれを抑えたダイナミックレンジ拡大画像を得ることができる。
第７の発明は、第６の発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる２枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。なお、ダイナミックレンジ拡大部は、加算しない画素がある場合、光量調整するようにしてもよい。例えば、４つの画素のうち１つの画素のみ加算しない場合（つまり、３つの画素を加算する場合）、加算して求めた値に（４／３）を乗ずることで、ダイナミックレンジ拡大部が明るさ調整（画素値の調整）を行うようにしてもよい。
【００１７】
第８の発明は、第１から第５のいずれかの発明であって、被写体振れ検出部をさらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、異なる２枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体振れした局所領域の画素を除去でき、被写体振れを抑えた画像が得られる。
第９の発明は、第１から第５のいずれかの発明であって、被写体振れ検出部をさらに備える。
【００１８】
被写体振れ検出部は、手振れ補正された複数枚のデジタル画像を取得し、取得された複数枚のデジタル画像のうち、異なる２枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された場合、被写体振れがある画素を加算しない。
これによれば、さらに、手振れ補正された複数枚のデジタル画像を有効に利用でき、手振れによる画像ずれをなくしたデジタル画像を比較することができる。
第１０の発明は、第９の発明であって、被写体振れ検出部は、光学式の手振れ補正により手振れ補正された複数枚のデジタル画像を用いて、被写体振れを検出する。
これによれば、さらに、光学式の手振れ補正により手振れを抑えた複数枚のデジタル画像を有効に利用することができる。光学式の手振れ補正では、撮像部（撮像素子）の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像部（撮像素子）の撮像エリアを有効に活用できる。
【００１９】
第１１の発明は、第６の発明であって、被写体振れ検出部と、座標変換部と、さらに備える。
被写体振れ検出部は、複数枚のデジタル画像のうち、手振れによる画像ずれをなくした異なる２枚のデジタル画像を画素ごとに比較することによりデジタル画像上の局所領域の被写体振れを検出する。
座標変換部は、被写体振れ検出部で被写体振れが検出された画素に対して被写体振れをなくすように座標を変換する。
そして、ダイナミックレンジ拡大部は、被写体振れ検出部で被写体振れが検出された画素に対しては座標変換部で変換された画素を加算する。
これによれば、さらに、被写体振れした局所領域の画素を補正し、被写体振れを抑えた画像が得られる。
【００２０】
第１２の発明は、第１１の発明であって、被写体振れ判断部をさらに備える。
被写体振れ判断部は、被写体振れをなくすことができるか否かを判断する。
そして、ダイナミックレンジ拡大部は、被写体振れ判断部が被写体振れをなくすことができないと判断した場合、被写体振れがある画素を加算しない。
これによれば、さらに、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
第１３の発明は、光学系と、光量調節部と、撮像部と、Ａ／Ｄ変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える撮像装置である。
光学系は、被写体からの光を集光する。
【００２１】
光量調節部は、光学系に入射される光量を調節する。
撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。
Ａ／Ｄ変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。
駆動部は、Ａ／Ｄ変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。
ダイナミックレンジ拡大部は、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
【００２２】
このような構成によれば、複数回に分けて次々に露光し、得られる撮像画像を暗くすることができるため、被写体の明るい領域でもＡ／Ｄ変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、その総和を算出するため、加算した出力の飽和を抑えつつ明るくし、暗くなった画像を、所定の露光時間で得られる画像と同じ明るさにすることができる。よって、Ｓ／Ｎ比の劣化を抑え、ダイナミックレンジの広い画像を得ることができる。これにより、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる撮像装置を提供することができる。
第１４の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換部の出力値を調整するデジタル信号処理部と、を備える撮像装置に用いられる撮像方法であって、光量減少ステップと、ダイナミックレンジ拡大ステップと、を含む。
【００２３】
光量減少ステップでは、光量調整部を用いて光量を減少させる。ダイナミックレンジ拡大ステップでは、デジタル信号処理部を用いて、減少させた光量に応じた拡大率で、Ａ／Ｄ変換部の出力のダイナミックレンジを線形に拡大する。
第１５の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力する。
【００２４】
第１６の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、を備える撮像装置に用いられる撮像方法であって、駆動ステップと、ダイナミックレンジ拡大ステップと、を備える。
駆動ステップでは、Ａ／Ｄ変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大ステップでは、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
【００２５】
第１７の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換部の出力値を調整するデジタル信号処理部と、光量調整部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、光量調整部を用いて光量を減少させるための信号を生成させるステップと、デジタル信号処理部を用いて、減少させた量に応じた拡大率で、Ａ／Ｄ変換部の出力のダイナミックレンジを線形に拡大させるための信号を生成させるダイナミックレンジ拡大ステップと、を実行させる。
第１８の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、Ａ／Ｄ変換部の出力値を調整するデジタル信号処理部と、光量調整部と撮像部とデジタル信号処理部とを制御する制御部と、を備える撮像装置の制御部で実行されるプログラムである。そして、このプログラムは、制御部に、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動させるための信号を生成する駆動ステップと、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、を実行させる。
【００２６】
第１９の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、Ａ／Ｄ変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大部と、拡大の度合いと相反する量で、光量調節部の光量を調節する制御部と、を備える。
第２０の発明は、被写体からの光を集光する光学系と、光学系に入射される光量を調節する光量調節部と、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、所定の露光時間を均等に分割した時間で複数回に分けて次々に撮像部を露光し、複数枚の撮像画像が得られるように撮像部を駆動する駆動部と、を含む撮像装置に用いられる集積回路である。そして、この集積回路は、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える。
【００２７】
第２１の発明は、被写体からの光を集光する光学系と共に用いられる集積回路であって、光量調節部と、撮像部と、Ａ／Ｄ変換部と、駆動部と、ダイナミックレンジ拡大部と、を備える。
光量調節部は、光学系に入射される光量を調節する。撮像部は、光学系で集光した光により結像された被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する。Ａ／Ｄ変換部は、撮像部から出力されたアナログの撮像画像をデジタル画像に変換する。駆動部は、Ａ／Ｄ変換部の出力が飽和しないように撮像部を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように撮像部を駆動する。ダイナミックレンジ拡大部は、Ａ／Ｄ変換部で複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力する。
【発明の効果】
【００２８】
本発明によれば、ダイナミックレンジの広いシーン（被写体）を撮影する場合（例えば、青空を背景にした逆光の人物の顔を撮影する場合）であっても、撮像画像（取得画像）において高輝度部分（例えば、背景の空）が飽和しないような高Ｄレンジの撮像画像を取得することができる撮像装置、撮像方法、プログラムおよび集積回路を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１実施形態における撮像装置の主要構成図
【図２】信号処理部３１の主要構成図
【図３】Ｄレンジ圧縮部２００１が選択するレンジ圧縮の圧縮特性の一例
【図４】従来の撮像装置における信号処理部９０（図４（ａ））とＤレンジ圧縮のための変換特性（図４（ｂ））を示す図
【図５】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図６】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図７】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図８】第１実施形態の変形例１に係る信号処理部３１’の主要構成図
【図９】Ｄレンジ圧縮特性の一例
【図１０】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図１１】第１実施形態の変形例２における信号処理部３１’’の主要構成図
【図１２】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図１３】第１実施形態の変形例３に係る信号処理部３１’’’の主要構成図
【図１４】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図１５】所定の撮像シーン２０１と各部Ｄレンジについての説明図
【図１６】本発明の第１実施形態の撮像方法を示すフローチャート
【図１７】信号処理部３１Ａの主要構成図
【図１８】Ｄレンジ圧縮部２００１の主要構成図
【図１９】Ｄレンジ圧縮の圧縮特性の一例
【図２０】撮像装置におけるＤレンジ圧縮部の効果を表す画像写真
【図２１】２次元ＬＵＴに登録されるデータの特性を例示する図
【図２２】視覚処理を用いたＤレンジ圧縮処理を説明するためのＤレンジ圧縮特性の一例
【図２３】視覚処理を用いたＤレンジ圧縮処理を説明するためのＤレンジ圧縮特性の一例
【図２４】２次元ＬＵＴを用いる場合の撮像装置の主要構成図
【図２５】２次元ＬＵＴの入力レンジが４００％（４．０）である場合に登録されるプロファイルによる階調変換特性
【図２６】２次元ＬＵＴの入力レンジが２００％（２．０）である場合に登録されるプロファイルによる階調変換特性
【図２７】レンジ値調整部２６０１を有する撮像装置の主要構成図
【図２８】レンジ値調整部２７０１を有する撮像装置の主要構成図
【図２９】ピーク調整部２８０１を有する撮像装置の主要構成図
【図３０】撮像装置のピーク調整部２８０１、Ｄレンジ圧縮部２００１、および代表値検出部３１６３の主要構成図
【図３１】本発明の第４実施形態における撮像装置の構成を示す主要構成図
【図３２】同撮像装置の動作を時系列に説明するタイミングチャート
【図３３】同撮像装置におけるＤレンジ拡大部の構成を示す主要構成図
【図３４】同撮像装置におけるＤレンジ拡大部を説明する説明図
【図３５】同撮像装置で撮像される被写体を説明する説明図
【図３６】同撮像装置におけるＤレンジ圧縮部を説明するための説明図
【図３７】同撮像装置における撮像装置の動作の手順を示すフローチャート
【図３８】同撮像装置におけるＤレンジ圧縮部の他の構成例を示す主要構成図
【図３９】同撮像装置におけるＤレンジ圧縮部の動作を説明する説明図
【図４０】同撮像装置におけるＤレンジ圧縮部の効果を表す画像写真
【図４１】本発明の第５実施形態における撮像装置のＤレンジ拡大部の構成を示す主要構成図
【図４２】手振れの処理について説明する説明図
【図４３】同撮像装置における手振れ検出部を説明する説明図
【図４４】本発明の第６実施形態における撮像装置のＤレンジ拡大部の構成を示す主要構成図
【図４５】手振れおよび被写体振れの処理について説明する説明図
【図４６】本発明の第７実施形態における撮像装置のＤレンジ拡大部の構成を示す主要構成図
【図４７】手振れおよび被写体振れの処理について説明する説明図
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態における撮像装置について図面を参照しながら説明する。
［第１実施形態］
＜１．１：撮像装置の構成＞
図１は、撮像装置１００の構成図である。
撮像装置１００は、光学系１、アナログ信号処理部２、デジタル信号処理部３、および露光計７を備える。
光学系１は、被写体Ｐ１からの光を集光する撮像レンズ１１と、撮像レンズ１１で集光した被写体Ｐ１からの反射光の光量を調整する絞り１２と、絞られた光量（絞り１２により調整された光量）と蓄積時間とに応じて画像信号Ａを出力する撮像部１３とを備える。
アナログ信号処理部２は、相関二重サンプリング回路（ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ））２１と、Ａ／Ｄ変換部２３とを含む。
【００３１】
Ａ／Ｄ変換部２３は、アナログ画像（映像）信号を、例えば各画素が０〜４０９５の階調レベルを持つ１２ｂｉｔのデジタル画像（映像）信号（信号Ｃ）に変換して出力する。尚、図１では、撮像装置１００は、説明便宜のため、ＧＣＡ（Ｇａｉｎ Ｃｏｎｔｒｏｌ Ａｍｐｌｉｆｉｅｒ）２２を含んでいるが、ＧＣＡ２２は必須の構成ではない。また、ＧＣＡは、ＣＤＳ（ｃｏ−ｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）回路を夫君でいてもよい。
デジタル信号処理部３は、信号処理部３１を含む。また、デジタル信号処理部３は、撮像装置１００が撮像装置として一般的な機能を実現するためのフラッシュ発光制御部、コーデック部、カードＩ／Ｆ、表示部制御部等の処理部、およびこれら処理部の全部或いは一部の動作を制御する制御部３４を有する。
【００３２】
なお、撮像装置１００を構成する各機能機能ブロックは、図１に示すように、バスＢｕｓを介して接続されるものであってもよい。
（１．１．１：信号処理部３１の構成）
図２は、信号処理部３１の構成図である。
信号処理部３１は、Ｄレンジ拡大処理部２０００とＤレンジ圧縮部２００１を含む。
Ｄレンジ拡大処理部２０００は、Ｄレンジ拡大部２００２とレジスタ２００４とを含む。
Ｄレンジ拡大部２００２は、具体的にはデジタル乗算器である。アナログ信号処理部２の出力信号（信号Ｃ）に対し、設定されたＤレンジ拡大率（例えば２倍、４倍等）で乗算し、乗算結果をレジスタ２００４に格納する。尚、このＤレンジ拡大率は、光学系に対する絞りの設定値の減少（以下、シャッタースピードの制御等による露光計で取得される受光量の減少を含む。）に対し増加する関係となる値を用いて、信号Ｍａｇ１により設定される。例えば、絞り１２の絞りの値が「１／２」である場合には「２」が、絞りの値が「１／４」である場合には「４」が、Ｄレンジ拡大率として設定される。
【００３３】
レジスタ２００４は、Ａ／Ｄ変換部２３の出力精度（１２ビット）をＤレンジ拡大率の最大値（例えば８倍とする）で乗算した結果を、精度を失わないで保持する記憶部である。ここで、Ａ／Ｄ変換部２３の出力（信号Ｃ）が１２ビットでＤレンジ１５０％を表しているとすると、Ｄレンジ拡大率の最大値が８倍の場合、Ｄレンジ拡大した後の信号は１５ビットで１２００％になる。したがって、レジスタ２００４は、理論上の乗算の最大値を保持することができる１５ビットのレジスタ、あるいは、この精度のレジスタを１単位として複数の信号分（例えば画像１枚分（１フレーム分））用意したメモリにより実現される。
Ｄレンジ圧縮部２００１は、このレジスタ２００４に保持された乗算結果（信号Ｄ）を、所定の変換特性により変換して信号Ｅを出力する。この変換特性は、設定された光学系の絞りの量の値に対応した信号Ｍａｇ２により決定される。
【００３４】
図３を用いて、このＤレンジ圧縮部２００１が選択するレンジ圧縮の圧縮特性の一例を示す。
図３の横軸は、レジスタ２００４の保持することのできる最大値を入力レンジの値として１２００[％]として表現した場合における、入力信号Ｄのレンジ値（[％]）を示している。また、図３の縦軸は、信号Ｅの出力レベルの値[％]を示している。
Ｌ０〜Ｌｍａｘは、点Ｐ（８０％）以下の入力値において、入出力が変化しない変換特性を有している。また、入力値が８０％より大きい値に対しては入力信号の値に応じて出力信号Ｅの値が異なる出力値となる特性を有している。
尚、Ｄレンジ圧縮部２００１は、前述の絞り１２の絞り値が１倍として設定されている場合には、選択信号Ｍａｇ２により変換特性としてＬ０を選択する。また、Ｄレンジ圧縮部２００１は、絞り１２の絞り値として「１／４」が設定される場合には、４倍のレンジまでを入力とする変換特性としてＬ１を選択し、絞り値として「１／８」が設定される場合には、８倍までの入力レンジを変換するＬｍａｘを選択する。尚、図３において、Ｌ０の入力最大レンジ値（１５０％）からＬｍａｘの入力最大レンジ（１２００％）までの幅が、第１実施形態において拡大することのできるＤレンジ（拡大されるＤレンジ）の幅となる。
【００３５】
＜１．２：撮像装置の動作＞
以下、撮像装置１００の動作について説明する。
撮像装置１００において、制御部３４が絞り１２に所定の絞り値（例えば「１／８」）を設定する。この絞り値は露光計７の出力値やユーザの設定により事前に決定される。
制御部３４は、制御信号Ｍａｇ１によりＤレンジ拡大部２００２のＤレンジ拡大率を８倍（値として絞り値「１／８」の逆数）を設定する。また、制御部３４は、制御信号Ｍａｇ２によりＤレンジ圧縮部２００１に変換特性としてＬｍａｘを設定する。
撮像装置１００において、撮像が開始されると、撮像部１３では、絞り１２の値（絞り値）に応じ信号Ａが取得される。信号Ａの値はアナログ信号処理部２によりＡ／Ｄ変換され、信号Ｃが出力される。信号Ｃは、図２の信号処理部３１に入力され、予め設定されたＤレンジ拡大率（８倍）により乗算された値である信号Ｄが出力される。出力された信号Ｄの値は、最大限レンジ１２００％の範囲内での値であり、溢れることなくレジスタ２００４に保持される。
【００３６】
最後に信号Ｄは、圧縮特性Ｌｍａｘにより信号Ｄの値に応じた出力信号Ｅの値に変換され、出力される。
以上の処理が、第１実施形態における撮像装置１００および信号処理部３１の処理である。
＜１．３：撮像装置の効果＞
撮像装置１００の効果を、従来の撮像装置との比較により説明する。
（従来の撮像装置）
図４は、従来の撮像装置における信号処理部９０（図４（ａ））とＤレンジ圧縮のための変換特性（図４（ｂ））を示す図である。図４の従来の信号処理部９０では、本実施形態における信号処理部３１のＤレンジ拡大部２００２及びレジスタ２００４を有していない点、及び変換特性が固定でありかつ１５０％程度の入力値幅しか有さない点で、撮像装置１００と相違している。
【００３７】
（従来技術１）
図５は、図４（ｂ）の従来の撮像装置におけるDレンジの圧縮変換特性を用いて、所定の撮影シーンを従来の撮像装置でDレンジ圧縮した場合の信号の値の変化を示す説明図である。
図５の左側の図は、所定の撮像シーン２０１の構成を説明する図である。
点２０４は雲と空の領域に含まれる点、点２０２は顔の領域に含まれる所定の点、そして、領域２０３は主要被写体領域を示している。以下、雲と空の領域に含まれる点２０４が、シーン２０１において最明部の値を有するとして説明する。
撮像装置には、露光条件として、主要被写体領域２０３の出力信号値レベルが、出力信号の取りうるレンジ（１５０％）までに対して、７０％の明るさになるように露光条件が調節されているとする（この露光条件を「露光条件１」とする）。
【００３８】
この露光条件１では、点２０４の位置の信号の値は、本来５００％の明るさであるため信号Ａ（図１の点Ａの信号。以下、同様。）の時点で信号値が飽和する。信号Ａについてデジタル変換された信号Ｃによる画像は、どのように処理をしても空２０４（点２０４）の部分について飽和した値となる。これは、図５の右図に示す範囲ＲＡの値については、後の処理で復元することは不可能であるからである。ここで、信号Ａについて１５０％以下（範囲ＲＢ、範囲ＲＣ）の信号は、そのままの明るさで飽和されることなくＡ／Ｄ変換されて信号Ｃに変換される。その後、信号Ｃは、図４（ｂ）に示す変換特性によりレンジ圧縮されることとなり、範囲ＲＣに含まれる信号Ｃについては、適正な７０％の明るさの値で信号Ｅとして出力されることになる。
しかしながら、（目的１）顔の部分２０２を適正な明るさ（例えば、７０％の明るさ）にしつつも、（目的２）空と雲の領域の点２０４およびその付近の領域の値が飽和するのを防止することは実現できない。
【００３９】
（従来技術２）
次に、信号Ａを図３における範囲ＲＡ（光量１５０％以上の範囲）において飽和させないように露光量を制限する方法が考えられる。たとえば、前述の露光条件１に、更に撮像装置の光学系の露光量を「１／４」に絞った条件（この露光条件を露光条件２とする）にすることが考えられる。
この場合、図５の点２０４の信号Ａの値は、１２５％となり最明部に対応する位置の信号Ａであっても飽和していない信号を得ることができる。しかしながら、露光条件２で撮影した場合、（目的２）空と雲の部分２０４（点２０４）が飽和するのを防止すること、は実現できても、（目的１）顔の点２０２の明るさ適正な明るさ（例えば、７０％の明るさ）とし出力信号Ｅを得ることができない。
【００４０】
（従来技術３）
また、（従来技術２）で説明した露光条件２は、露光量不足の暗いシーンでの撮影をする場合の露光条件と類似の露光条件である。そこで、光量不足の暗いシーンでの撮影をする場合の露光条件で撮影され、取得された画像信号に対して適用される高感度撮影の技術を適用することが考えられる。
図６を用いて、この高感度撮影の際に用いられる電気的な増幅（アナログ信号処理部（ＧＣＡ）での増幅）により、画像信号を処理する場合（これを「方法３」という。）の信号値の変化について説明する。
画像信号（信号Ａ）において１／４露光（露光条件２）を適用すると、本来５００％であった空と雲の部分２０４が、１２５％となり飽和しなくなる。図６の棒グラフ（信号Ｂ、信号Ｃ）（「信号Ｂ」は、図１のＢ点の信号に相当。「信号Ｃ」は、図１のＣ点の信号に相当。以下、同様。）では、増幅回路（ＣＤＳ）２２で４倍に増感される（信号Ｂ）ことにより、顔２０２の部分は所望の７０％の明るさに復元されている。しかし、点２０４の信号値は５００のＡ／Ｄ変換部２３の入力最大値１５０％において飽和することになる。したがって、結局、図５の範囲ＲＡ（１５０％以上）に含まれる領域（例えば、飽和した空の部分）の信号は、Ａ／Ｄ変換部２３に入力される画像信号においては復元することはない。このため、（従来技術３）の方法を用いる場合であっても、（目的１）顔の点２０２を適正な明るさ（例えば、７０％の明るさ）にしつつ、かつ、（目的２）空と雲の部分の点２０４あるいはその周囲領域の信号が飽和するのを防止することはできない。
【００４１】
このように、図４の従来の信号処理部９０を有する従来の撮像装置では、前述した（従来技術１）〜（従来技術３）のいずれの方法を用いても（目的１）空の点２０４およびその周辺領域について飽和していない出力を得ること、および、（目的２）範囲ＲＣに含まれる主要被写体付近の明るさを適正な明るさ（７０％の明るさ）すること、の両方の目的を両立して解決することはできない。
（撮像装置１００の効果）
図７を用いて、同じシーン２０１における撮像装置１００の効果を説明する。
まず、従来技術２の方法および従来技術３の方法と同じく、撮像装置１００において信号Ａについての明るい部分（点２０４の空と雲の部分）が飽和しないように、予め露光条件２（絞り値「１／４」）が絞り１２に設定される。この設定により最明部である空と雲の領域中の点２０４について、絞り値「１／４」の露光を適用することで、本来５００％であった点２０４の信号の値は１２５％の値となり飽和しなくなる。
【００４２】
次に、信号Ａの値１２５％は、アナログ処理部では増幅されることなく信号値１２５％のままデジタル信号値（信号Ｃの信号値）に変換される。この信号Ｃの値（１２５％）は、Ｄレンジ拡大部２００２により、乗算処理により４倍にされ（「１／４」の逆数）、値５００％である信号Ｄとなる。
この信号Ｄの値（５００％）は、拡大されたＤレンジの範囲に含まれる値であるが図３の変換特性Ｌ１を用いて変換され信号Ｅ２（（信号Ｅ２の信号値）＝８０＋２０×（５００−８０）／（６００−８０））となる。このように、撮像装置１００では、（目的１）である最明部の点２０４（あるいはその周辺の領域）の信号の値が飽和するのを防止することが達成される。
また、顔２０２の点については、本来７０％のレンジ値を有していても、信号Ａにおいては１７．５％の値になる。信号Ａの値（１７．５％）は、そのままの値でデジタル信号（信号Ｃの値にＡ／Ｄ変換される。この信号Ｃ（１７．５％）は、Ｄレンジ拡大部２００２により４倍され、信号Ｄの値として７０％（＝１７．５×４）に復元される。信号Ｄにおいて、７０％の値は、変換特性Ｌ１の変節点Ｐ点（８０％）より小さい値であるので、信号ＤをＤレンジ圧縮部２００１により変換された信号Ｅも７０％の値として出力される。
【００４３】
つまり、撮像装置１００では、（目的２）主要被写体の明るさをほぼ元の適正な明るさ（７０％の明るさ）として出力を得ることが可能となる。
上述の通り、第１実施形態の撮像装置１００は、あらかじめ絞り１２に対して受光量が飽和しないように絞り１２の絞り値を減少させる設定をする。その後、アナログからデジタルに変換された後のデジタル信号（信号Ｃ）に、種々の処理を行う。
特に、Ｄレンジ拡大率として、絞り１２の絞り値の設定値（１倍、１／２倍、１／４倍）に対して反比例する関係となる値（１倍、２倍、４倍）を設定することにより、本来の露光条件１で取得された値と同じ値を復元する。さらに、この絞り値の値（１倍、１／２倍、１／４倍）に応じて、Ｄレンジ圧縮変換特性を選択しておくため、拡張されたＤレンジ（１５０％〜１２００％）内の信号Ｄの値についても、階調差をつけながら出力信号Ｅを得ることができる。
【００４４】
このように第１実施形態の撮像装置１００によれば、（目的１）空や雲の領域の点のように明るい領域であっても飽和するのを防止すること、および、（目的２）顔の位置の点の明るさとして適切な明るさの出力を得ること、の両方の目的を満たす画像データを得る撮像装置を実現することができる。
＜変形例１＞
上述の実施形態では、事前に予め設定した絞りの量（露光量）に応じた値によりＤレンジ圧縮部変換特性Ｌ０〜Ｌｍａｘを選択するとした。ここで、Ｄレンジ圧縮部２００１は、画像全体の信号Ｄの最大値に応じてＤレンジ圧縮特性Ｌｎを選択するとしてもよい（変形例１）。
図８に、この変形例１の信号処理部３１’の構成を示す。図８において、上述の実施形態と同じ処理部については同一の参照符号を用いる。この変形例１の信号処理部３１’は、パラメータ決定部８００を有する点のみが図２の信号処理部３１と異なる。
【００４５】
パラメータ決定部８００は、ピーク検出部８０２を含み構成される。
まず、ピーク検出部８０２は、Ｄレンジ拡大処理部２０００のレジスタ２００４の保持する信号の値Ｄを１枚の画像分入力し、この１枚分の画像データのうち最大値（最明部の値）を抽出する。
さらに、抽出された最大値に対応する、変換特性を設定するためのパラメータＭＬｎをＤレンジ圧縮部２００１に対し出力する。例えば、所定の画像全体についての最大値が５００％の値である場合に、選択パラメータＭＬ２を出力する。
Ｄレンジ圧縮部２００１は、パラメータ決定部８００から出力された選択パラメータＭＬｎに応じて、図９に示す対応する変換特性Ｌｎ（図中Ｌ２）を選択する。
図１０を用いて、変形例１の効果について前述のシーンを用いて説明する。
【００４６】
最明部の空と雲２０４に対応する信号Ｄについては、値５００％が出力される点までは、第１実施形態と同じである。
ここで、パラメータ決定部８００は、複数の信号Ｄにより形成される１枚の画像データ（１フレーム分の画像データ）の最大値として５００％を抽出し、パラメータＭＬ２を出力する。そして、このＭＬ２に応じて、Ｄレンジ圧縮部２００１は、変換特性としてＬ２を選択し、レジスタ２００４に保持された信号Ｄについて、Ｌ２を用いて変換して出力する。
ここで、信号Ｄの最明部の値５００％は、入力レンジの最大値が５００％である変換特性Ｌ２を用いて変換されるされる。よって、画像中の最大値５００％の信号Ｄについては、信号Ｅの値として１００％が出力される。前述の構成では、最大値である空と雲の領域の信号Ｄ（５００％）については、信号Ｅの出力値は１００％の値より小さく（８０＋２０×（５００−８０）／（６００−８０）））変換されてしまうが、変形例１の図８の構成によれば、前述の（目的１）および（目的２）を実現するとともに、画像全体のピーク値が１００％となる出力を得ることができる。
【００４７】
尚、パラメータ決定部８００が抽出した画像データのための変換特性を同一の画像データの変換に適用するために、タイミング調整をおこなってもよい。例えば、１画面分の遅延器をＤレンジ圧縮部２００１の前に設けるようにしてもよい。
＜変形例２＞
更に、変形例１におけるパラメータ決定部８００が検出した画像全体のピーク値に応じて、絞り部１２に対して絞り量を設定すると共にＤレンジ拡大率を設定するようにしてもよい（変形例２）。
変形例１では、絞り１２に対する絞り値として、予め何らかの別の手段により設定された値（例えば「１／４」）を用いていた。そのため、前述のシーン２０１では最明部の信号Ａの値は、撮像部１３に保持される（撮像部１３から出力される）信号Ａの時点でレンジの最大値１５０％までを使うことはない（値１２５％までのレンジを使用している。）。これは、撮像タイミングのシーンに対してＡ／Ｄ変換の入力最大値（量子化精度）を十分活用せずに、デジタル信号Ｃを得ていることになる。
【００４８】
そこで、信号Ｄのピーク値が入力値のレンジの最大値になるよう絞り値を拡大し、露光量を増加させることにより、Ａ／Ｄ変換部２３の精度を有効に活用することができる。
図１１に、この変形例２における信号処理部３１’’の構成を示す。
ピーク検出部８０２’は、変形例１と同様に信号Ｄのピーク値に応じて変換特性Ｌ２を選択する信号（ＭＬ２）を出力する。
さらに、この変形例２のピーク検出部８０２’は、図１１に示すように、光学系１の絞り量を制御するための設定信号Ｘ１と、Ｄレンジ拡大処理部に対しＤレンジ拡大率の設定信号Ｘ２とを出力する。
まず、絞り１２に対する設定信号Ｘ１は、信号Ｄのピーク値５００％がＡ／Ｄ変換の入力最大値１５０％となるように絞り１２を制御する信号（（Ｘ１の信号値）＝１５０／５００（＝０．３））である。
【００４９】
なお、図１に示すように、設定信号Ｘ１は、制御部３４に入力され、制御部３４が設定信号Ｘ１に基づいて、絞り１２を制御するようにしてもよい。
また、設定信号Ｘ２は、絞りの量の逆数である５００／１５０を、Ｄレンジ拡大率として設定するための信号である。即ち、Ｘ１とＸ２とは相反する量を用いて決定された値が用いられる。尚、設定信号Ｘ２は、ピーク値そのものであってもよいし、Ｄレンジ拡大率そのものであってもよい。
図１２は、変形例２の効果を説明するものである。
この変形例２では、画像ピーク値（５００％）は変更されないが、絞り１２の絞り量（１５０／５００）として大きくなった値が設定されるため、信号Ａの値にＡ／Ｄ変換の入力最大値１００％まで利用することができる。即ち、変形例２の撮像装置１００では、変形例１の絞り１２に予め１／４に設定した場合に比して、絞り値と拡大率との関係が改善されることにより、アナログ信号のピークの値がＡ／Ｄ変換の入力最大レンジ値となるため、Ａ／Ｄ変換の量子化精度を最大限利用することができる。
【００５０】
＜変形例３＞
パラメータ決定部８００は、変形例２のように画像全体の最大値を基準とするのではなく、一部の所定の領域（主要被写体領域）の代表値を基準としてＤレンジ拡大率または絞りの絞り値（前述と同様、露光量の調整値を含む。）を導出するとしてもよい。さらに、撮像装置１００において、この一部の領域の画像信号の代表値Ｆが一定の基準値になるように、絞り１２の絞り量、または、Ｄレンジ拡大率を調整する構成としてもよい。
前述の第１実施形態１、変形例１、並びに変形例２に示したある時刻ｔｋにおいて、この所定領域についての信号Ｄの最大値が７０％の値が出力されるように絞り部１２の絞り（３／１０）またはＤレンジ拡大率（１０／３）が予め設定されていたとしても、時刻ｔｋの後の撮像タイミングで、被写体周辺の光の差し具合等の変換により、所定の領域（例えば、被写体領域）の出力値が目標値の７０％付近になるとは限らない。このような場合に適応させるために、変形例３の構成を用いることが有効である。
【００５１】
図１３を用いて、この変形例３の構成を説明する。
図１３に示すように、パラメータ決定部８００’’’は、１枚の画像データ（１フレーム分の画像データ）におけるの所定の領域についての代表値（Ｆ１）を導出する代表値検出部１２０１を備える。ここで、所定の領域は事前に設定された画像の中央の領域である。尚、この所定の領域は、ユーザが指定した被写体を囲む領域であってもよい。この例では、代表値Ｆ１として、この所定の領域に含まれる画素位置に対応する信号Ｄの最大値が導出される。
代表値検出部１２０１は、この所定のタイミングで導出された代表値Ｆ１が、以降のタイミングで目標値に維持されるように、（Ａ）光学系の絞り量の設定信号Ｘ１、または、（Ｂ）Ｄレンジ拡大部２００２への設定信号Ｘ２のいずれかを出力する。
【００５２】
ピーク検出部８０２は、１枚の画像全体のピーク値（Ｐ）に応じてＤレンジ圧縮部２００１において変換特性Ｌｘを選択させるためのパラメータＭＬｘを出力する。
（変形例３の効果）
図１４を用いて、上述と同様のシーン２０１を用いて、変形例３の撮像装置１００の動作と効果を説明する。
代表値検出部１２０１は、前述の通り、所定のタイミングにおいて、所定の領域について代表値７０％を抽出しているとする。時刻ｔｋのＤレンジ拡大率には「１０／３」が設定されている。また、絞り値には「３／１０」が設定されている。
代表値検出部１２０１は、所定のタイミング時刻ｔｎで撮像された画像データの中央領域（領域２０３）の代表値を導出する。具体的には、代表値５０％が得られたとする。
【００５３】
この代表値５０％が、時刻ｔｎ＋１における撮像データ（信号Ｄ）の同一領域において、目標とする適正値（目標値７０％）として出力されるように、代表値検出部１２０１は、設定信号Ｘ１または設定信号Ｘ２のいずれかを出力する。
出力信号がＸ１である場合：
（Ａ）光学系の絞り量の設定信号である場合、代表値検出部１２０１は、時刻ｔｎの絞りの量の「７０／５０」倍となる絞り量を、新たに設定するための信号Ｘ１を設定する。
出力信号がＸ２である場合：
（Ｂ）Ｄレンジ拡大部２００２への設定信号である場合、代表値検出部１２０１は、時刻ｔ１のＤレンジ拡大率の「７０／５０」倍となるＤレンジ拡大率を設定するための信号Ｘ２をＤレンジ拡大部２００２へ出力する。
【００５４】
図１４の例では、（Ｂ）設定信号Ｘ２として、新たなＤレンジ拡大率として「１０／３×７０／５０」が選択されるように出力される例を示している。
この場合、時刻ｔｎ＋１で取得された撮像データの中央領域の最大値（代表値検出部１２０１の出力）は、信号Ａおよび信号Ｃにおいては、１５％のままであるが、時刻ｔｎのデータに基づいて更新されたＤレンジ拡大率により１５％×（１０／３×７０／５０）＝７０％が信号Ｄの値として出力される。また、画像データ全体は時刻ｔｎで取得された画像全体の信号Ｄのピーク値により、所定の変換特性Ｌｎ２により変換される。
この構成により、所定の領域の代表値が目標値７０％の値に近づくよう維持される。したがって、例えば、連続する画像データ（動画像等）を保持する場合に、所定の領域の明度が、急峻に変化することなく追従することができる。
【００５５】
また、図示しなかったがＤレンジ圧縮に使われる変換特性は、画像全体の信号Ｄの最大値（Ｐ）に応じて決定される特性により圧縮するため、最明部の領域の信号ついてもその出力（信号Ｅ）が飽和することはない。
ここで、変形例３で、上述の（Ｂ）の場合、つまり、Ｄレンジ拡大率を更新する信号Ｘ２を生成することにした場合は、絞り１２の機械的な設定遅延を生じずに、所定の領域（中央領域）の代表値（明るさ）が目標出力値７０％となる出力信号Ｅを得ることができる。
また、逆に、この変形例３において、上述の（Ａ）の場合、つまり、光学系の絞り量を変更する信号を生成することにした場合の信号Ａ〜Ｅの変化を図１５に示す。
この場合は、被写体の領域付近（上述の例では、領域２０３）において、撮像部１３に蓄積されるアナログ信号Ａの値が、新たな時刻のシーン（ｔｎ、ｔｎ＋１）において、減少されているものの、変形例３の撮像装置では、時刻ｔｎ＋１で、この撮像装置の露光量を、適切な（本来あるべき）露光量２１％に設定することができる。これにより、変形例３の撮像装置では、撮像装置全体の系として、被写体を中心にした適切な露光量とＤレンジ拡大率とが設定されることになる。
【００５６】
尚、上述の説明では、代表値として所定の領域の信号Ｄにおける最大値を用いたが、目標とする指標（一部の所定領域の特徴量として適切な指標）に応じて、平均値、中央値、間引かれた値等を用いても良い。
＜１．４：撮像方法＞
また、第１実施形態（変形例１〜３を含む。以下、同様。）の撮像装置１００および信号処理部３１、３１’、３１’’または３１’’’は、各種処理部を用いた一連の処理順からなる方法として実現されてもよい。
図１６に示すフローチャートを用いて、本発明の第１実施形態の撮像方法（撮像装置１００に用いられる撮像方法）における動作手順を説明する。
第１実施形態の撮像方法は、図示しない露出計の測定値または、ライブビューなどのために撮影した直前のシーン中の最明部の値から、撮影シーンのハイライトの部分が飽和しないよう撮像部（イメージセンサ）１３への露光条件を設定する（Ｓ１００）。
【００５７】
次に、上記露光条件により撮影された撮像信号（画像信号）を撮像部（イメージセンサ）１３から得る（Ｓ１０１）。
次に、Ａ／Ｄ変換部２３により上記撮像信号（画像信号）をデジタルの画像データに変換する（Ｓ１０２）。
次に、Ｄレンジ拡大部２００２により、Ｄレンジ拡大処理と増感を同時に行なうことにより、主要被写体が所望の明るさ（例えば、７０％の明るさ）になるように、線形的にＤレンジを拡大する（Ｓ１０３）。
次に、撮影シーンの最明部のレベルに応じた変換特性により、拡大されたＤレンジが所定のＤレンジになるよう圧縮（Ｄレンジ圧縮）する（Ｓ１０４）。
このようにＳ１００からＳ１０４までのステップで処理することにより、予め減少されて設定された露光量によっても主要被写体の部分が画像データとして所望の明るさになるよう復元しつつ、かつ、ハイライト部分が飽和しないで階調を保存できる撮像方法が実現できる。
【００５８】
また、本実施形態の撮像装置および撮像方法は、従来、光量が不足しない明るいシーンでは必要がないため実施されてこなかった(電気的な)、増幅を、あえて絞り量やシャッタ速度を調整することにより露光量を減じた上で、かつ、Ｄレンジ拡張処理と合わせて実施することにより本発明特有の効果を発揮するものである。
つまり、本発明は、従来、暗いシーンを撮影する場合に不利になると考えられていた露光条件に敢えて設定し、撮像部１３により取得した画像信号をＡ／Ｄ変換した後で、デジタル処理によりＤレンジ拡張することを行う。これにより、主要被写体部分をデジタルデータとしては所望の明るさにし、かつ、ハイライト部分あるいはハイライト付近の階調であっても飽和させない画像信号を取得することができる。
なお、本実施形態では、光学系１は撮像部１３への露光量を制御できるものであれば、その構成は問わない。例えば、撮像レンズ１１は１枚の構成としたが実際には複数枚のレンズ組でもよい。
【００５９】
また、図示していないシャッタは、メカニカルシャッタおよび、撮像部（イメージセンサ）１３の駆動タイミングにより光量を調節する電子シャッタのいずれでも良い。
また、Ａ／Ｄ変換部２３は、アナログ信号処理部２と独立した構成あるいはデジタル信号処理部３に含まれる構成でもよい。
また、撮像部（イメージセンサ）１３は、ＣＭＯＳ方式など他の方式でもよく、その構成も、単板構成だけでなく３板構成でもよい。
また、Ｄレンジ拡大部２００２は、デジタルで線形にＤレンジ拡大できるものなら乗算器に限るものではなく、例えば、Ｄレンジ拡大率が最大８であるときは、入力値の精度より出力値の精度が３ビット高いＬＵＴ（ルックアップテーブル）などを用いるものであっても良い。また、Ｄレンジ拡大率が２のべき乗で表されるときはシフタ（ビットシフタ）を用いるものであってもよい。
【００６０】
また、Ｄレンジ圧縮部２００１は、８０％以下の明るさに相当する信号値については、Ｄレンジ圧縮せず８０％以上の明るさに相当する信号値のみを圧縮するものとしたが、この形状に限定されるものではなく、入力値の最大値に応じて変化する圧縮特性によって変換するものであれば、どのようなＤレンジ圧縮特性によりＤレンジ圧縮を行うものであってもよい。
例えば、信号Ｄについて２０％以下の入力値については、階調差を小さくするような変換であっても良い。変換特性は、被写体主要部付近のレンジの階調差を保つ、または、協調するように設定されることが望ましい。
また、変形例２において、撮影シーンの最明部の明るさを撮像部（イメージセンサ）１３のＤレンジ一杯（撮像部３３から出力される画像信号の信号値のとり得る最大値）に一致させるようにＤレンジ拡大処理を行う場合について説明したが、これに限定されることなく、撮像部１３のＤレンジに余裕を設けるようにしても良いし、実質画質劣化と認められない程度の飽和を許すように最明部の明るさと撮像部３３のＤレンジとの関係を設定しても良い。
【００６１】
また、Ｄレンジ圧縮部２００１は、必ずしもピーク検出部８０２の出力により設定しなくてもよく、前述の露光量補正値を撮像部（イメージセンサ）１３の最大Ｄレンジに乗ずることにより概略値を求めることが出来、その値をＤレンジ圧縮部３１６に設定するようにしてもよい。
［第２実施形態］
本発明の第２実施形態に係る撮像装置（カメラ）について以下説明する。
＜２．１：撮像装置の構成＞
本実施形態の撮像装置は、第１実施形態の撮像装置１００の信号処理部３１を、図１７に示す信号処理部３１Ａに置換したもので、それ以外については、第１実施形態の撮像装置１００と同様である。本実施形態の撮像装置において、第１実施形態に係る撮像装置１００と同様の部分については、同じ符号を付し、説明を省略する。
【００６２】
図１７に、本実施形態の信号処理部３１Ａの構成を示す。
図１７に示すように、信号処理部３１Ａは、第１実施形態に係る信号処理部３１に、さらに、顔検出部（特徴画像領域検出部）１７０１と明度検出部１７０２を追加した構成となっている。信号処理部３１Ａにおいて、信号処理部３１と同様の機能ブロック（図２と同じ番号を付した機能ブロック）については、説明を省略する。
顔検出部１７０１は、画像データ（画像信号）から形成される画像中の特徴量を解析し人間の顔の部分を検出し、画像上における、その座標や顔の範囲についての情報を明度検出部に出力する。
明度検出部１７０２は、顔検出部１７０１が出力する、画像上の顔の座標や顔の範囲の情報を用いて、その明度を検出する。
【００６３】
Ｄレンジ拡大部２００２は、明度検出部１７０２からの出力および第１信号処理部３１１Ａから出力される画像信号を入力とし、明度検出部１７０２が出力する顔の明度が適正な明度になるように、画像信号に対してＤレンジ拡大処理を行う。
＜２．２：撮像装置の動作＞
次に、本実施形態に係る撮像装置の動作について、前述の図１２を用いて説明する。
各部のＤレンジについては第１実施形態と同様である場合について説明する。このため、図８も用いて説明する。
撮影シーンは前述と同じものとして説明する。第１実施形態では、顔などの主要被写体の部分２０２が撮像シーン２０１中央の主要被写体エリア２０３付近に存在するということを仮定して処理を行う撮像装置１００について説明した。第１実施形態の撮像装置では、常に最適条件で処理することは難しい。本実施形態では、上記仮定を必要とせず、常に最適な条件で処理を実行することができる撮像装置について説明する。具体的には、本実施形態の撮像装置では、露光制御において、撮像シーン２０１中の最明部の値のみに基づいた露光制御を行う。
【００６４】
以下、本実施形態の撮像装置の詳細について説明する。
制御部３４は、図示しない露出計の測定値または、ライブビューなどのために撮像部（イメージセンサ）１３で撮影し取得した直前のシーン中の最明部の値（空と雲の部分２０４に含まれる最明部の値）から、撮影する画像被写体シーンのハイライト部分が撮像部（イメージセンサ）１３で飽和しないように露光量ＡＰ１を計算する。そして、実際の露光量の制御（絞り量とシャッタ速度の制御）は、露光量ＡＰ１を用いて行う。したがって、最明部である空と雲の部分２０４は、１５０％の明るさになるため、撮像部（イメージセンサ）１３で飽和することはなく、撮像部１３で取得される画像信号において信号値が飽和することはない。また、本実施形態の撮像装置において、この露光量ＡＰ１を用いて撮影すると人物の顔の部分２０２は、第１実施形態の場合と同様に、２１％の明るさになる。
【００６５】
顔検出部３１８は、Ａ／Ｄ変換された画像データ（画像信号）が形成する画像を解析することにより、人間の顔の部分を検出し顔領域の画像上の座標を取得する。顔検出部３１８は、取得した顔領域の画像上の座標に関する情報を明度検出部３１９に出力する。
明度検出部３１９は、顔検出部３１８から出力された顔領域の画像上の座標をもとに、画像データ（画像信号）が形成する画像中の顔領域の平均明度を求める。この際、顔検出部３１８は、顔領域に含まれる髪や目など肌でない部分を除いて、顔領域の平均明度（この平均明度を「顔明度」とし、ここでは２１％の明るさであるものとする）を求める。そして、明度検出部３１９は、顔明度を適正な明るさである７０％の明るさにするＤレンジ拡大率（７０％／２１％＝３．３３）を求め、Ｄレンジ拡大部２００２に設定する。
Ｄレンジ拡大部２００２は、明度検出部３１９により設定されたＤレンジ拡大率に基づいて、画像信号に対してＤレンジ拡大処理を行う。つまり、主要被写体２０２が２１％×１０／３＝７０％の明るさになり、空と雲の部分２０４が１５０％×１０／３＝５００％の明るさになるように、画像信号に対してＤレンジ拡大処理が、Ｄレンジ拡大部２００２により実行される。そして、Ｄレンジ拡大部２００２は、Ｄレンジ拡大処理した画像信号をレジスタ２００４に出力する。
【００６６】
また、Ｄレンジ拡大部２００２と、その結果（Ｄレンジ拡大された画像信号）を保持するレジスタ２００４とにおいて、画像信号は、１２００％の明るさに相当する信号値まで飽和することはない。このため、本実施形態に係る撮像装置では、主要被写体２０２の部分を適正な明るさにすることと、空と雲の部分２０４が飽和するのを防止することと、の両方を実現することができる。
なお、Ｄレンジ圧縮部２００１の動作については、第１実施形態と同様であるため省略する。
以上の通り、本実施形態によると、第１実施形態と比べて高精度に顔の部分を望みの明るさに維持しつつ、ハイライト部分の階調を飽和させずに残すことができる撮像装置（カメラ）を実現することができる。
【００６７】
なお、顔検出部３１８は、学習を用いたパターンマッチング等により顔の輪郭や口、目、鼻の配置から顔の部分を検出する手法や、肌色などの色情報を用いて顔の部分を検出する手法他、公知の様々なアルゴリズムのものを使用することが可能である。
［第３実施形態］
本発明の第３実施形態における撮像装置（カメラ）のＤレンジ圧縮部２００１について説明する。前述の実施形態において、Ｄレンジ圧縮部２００１は、図２に示すような特性の非線形の変換特性（入力レンジ値８０％より大きい点と小さい点において変節点を有する変換特性）を用いてＤレンジ圧縮処理を行うとした。このような手法により、Ｄレンジ拡大部２００２で拡大された広範囲なＤレンジ（例えば、１０００％のＤレンジ）を有効に活用することができ、撮像装置による取得画像において、顔の部分などを望みの明るさに維持し、かつ広範囲なＤレンジに渡るハイライト領域の階調変化を飽和させずに残すことが可能になる。
【００６８】
しかし、図２のＤレンジ圧縮部２００１は、８０％以下の明るさに相当する信号値についてはＤレンジ圧縮させず、８０％から１２００％の明るさに相当する信号値を８０％から１００％の明るさに相当する信号値に圧縮する特性を用いてＤレンジ圧縮処理を行う。このため、このＤレンジ圧縮処理により、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、Ｄレンジ圧縮処理の入出力特性曲線（図２では直線）の傾きが非常に小さくなるため、コントラストが非常に低くなる。図２では、ハイライト領域のＤレンジ圧縮処理の入出力特性曲線の傾きが、
（１００−８０）／（１２００−８０）＝０．０１７６
であり、傾きが０．０１７６と高圧縮率に至っている。
言い換えると、Ｄレンジ圧縮部２００１が、Ｄレンジを圧縮すればするほど、ハイライト領域のＤレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において階調変化は残るが、階調変換後の階調値（信号値）の変化が小さすぎ、結果的に飽和している画像と大差がない出力値しか得られない（取得画像を観察したとき飽和しているように見える）画像しか取得できないという原理的な課題を有している。（図３に示すＤＲ圧縮変換特性によるＤＲ圧縮変換処理を、数１００％以下の領域において適用した場合、ハイライト領域のＤレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和（取得画像においてハイライト部分が飽和する現象）と比べて有意な効果があることは言うまでもない。）
この原理的な課題を打破できる技術として、画像中の位置ごとに導出される空間信号周囲の明度の値によりこの位置の階調特性を変化させるという技術がある。国際公開公報第ＷＯ２００５／０２７０４１号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法などが開示されている。この技術は、入力信号が既に飽和していないことが前提であり、この技術単独では本発明の効果が得られるものではない。
【００６９】
この技術を本発明の撮像装置（カメラ）のＤレンジ圧縮部２００１に導入すると前述の課題であるＤレンジ圧縮に伴うハイライト部のコントラストの低下の極めて少ない撮像装置（カメラ）が実現できる。即ち、Ｄレンジ拡大部２００２が拡大し作成したハイＤレンジの画像情報を、ほとんど人間の知覚上ではロスを感じさせないように、１００％以内の低Ｄレンジ情報に変換することが可能になり、本発明のＤレンジ拡大技術の効果を最大化することができる。
以下、本実施形態に係る撮像装置について説明する。
＜３．１：撮像装置の構成＞
本実施形態の撮像装置は、前述の実施形態に係る撮像装置のＤレンジ圧縮部２００１の構成を図１８に示す構成にしたものである。それ以外については、前述の実施形態と同様である。本実施形態の撮像装置において、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
【００７０】
Ｄレンジ圧縮部２００１は、図１８に示すように、周囲明度検出部３１６１および動的階調補正部３１６２を備える。
周囲明度検出部３１６１は、レジスタ２００４から出力される個々の画像信号を入力とし、画像信号が形成する画像において、処理すべき画素（着目画素）についての周囲の領域の明るさ（画素値）の代表値（例えば平均値など）を検出する。そして、周囲明度検出部は、検出した代表値を動的階調補正部３１６２に出力する。
動的階調補正部３１６２は、レジスタ２００４から出力される画像信号および周囲明度検出部３１６１から出力される代表値を入力とし、周囲明度検出部３１６１の出力に応じてＤレンジ圧縮カーブが変化する階調補正特性により、画像信号に対して、動的に階調補正処理を行う。つまり、動的階調補正部３１６２での階調補正処理は、画像中の位置（各々の空間的な位置（または、領域ごとに導出される周囲明度値））により、階調特性が変化する処理である。そして、動的階調補正部３１６２は、Ｄレンジ圧縮処理した画像信号を第２信号処理部３１７Ｂに出力する。
【００７１】
なお、ここで、第１信号処理部３１１Ａは、アナログ信号処理部２から出力される画像信号を入力とし、アナログ信号処理部２から出力される画像信号に対して、ホワイトバランス補正、画素補間、色補正、ノイズリダクション、輪郭強調等の処理を行い、Ｄレンジ拡大部２００２に出力する。なお、ここで、ホワイトバランス補正処理、画素補間処理、色補正処理、ノイズリダクション処理、輪郭強調処理等の処理は、第２信号処理部３１７Ｂで実行させてもよい。つまり、ホワイトバランス補正、画素補間、色補正、ノイズリダクション、輪郭強調等の処理は、第１信号処理部３１１Ａおよび第２信号処理部３１７Ｂのいずれかにより実行されればよく、処理の順序や各処理の第１信号処理部３１１Ａおよび第２信号処理部３１７Ｂへの割り当ては様々であってよい。
＜３．２：撮像装置の動作＞
次に、本実施形態の撮像装置の動作について説明する。Ｄレンジ圧縮部２００１以外の部分の動作については、前述の実施形態と同様であるため、説明を省略する。
【００７２】
図１９を用いて、本実施形態におけるＤレンジ圧縮部２００１の動作について説明する。
Ｄレンジ圧縮部２００１、着目画素（処理対象の画素）の周囲の明るさにより選択される５本の階調カーブ（階調変換特性曲線）（図１９に示す５つの階調カーブ）を有している。
図１９に示すように、着目画素の周囲が最も暗い場合の曲線をａ、着目画素の周囲が最も明るい場合の曲線をｃ、両者の中間の曲線をｂとしている。説明のために、Ｄレンジ圧縮部２００１が有している階調変換特性曲線を５本としているが、これに限定されることはない。実際には、数１０本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するＤレンジ圧縮部２００１により、画像信号に対して階調変換処理を行うことが望ましい。
【００７３】
ここで、画像中で着目画素の周囲が暗いところ（例えば図５の領域２０３など）に相当する画像信号を、Ｄレンジ圧縮部２００１により処理する場合、階調変換特性曲線ａが適用されることになるため、人の顔の部分に相当する画像信号は、７０％程度の適正な明るさに相当する階調値（信号値）に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ（例えば図５の領域２０４など）に相当する画像信号を、Ｄレンジ圧縮部３１６により処理する場合、階調変換特性曲線ｃが適用されることになるため、空と雲の部分２０４に相当する画像信号を階調変換特性曲線ｃにより階調変換した画像信号は、十分な階調数とその周囲領域の画素信号の値に対し十分なコントラスト（傾き）を有するものとなる。つまり、このように、Ｄレンジ圧縮部２００１で処理することにより、本実施形態の撮像装置では、（１）明るい領域については明るいレンジの値についての入出力特性の傾きが大きく、暗い領域については、（２）暗い領域の入出力特性変換の傾きが大きく設定されることにより、人間の知覚において（非常に）自然で高品位な画像（画像信号）を得ることが出来る。
【００７４】
この手法は、人間の視覚特性を利用したもので、視覚処理と呼ばれる。視覚処理は、人間が目で見る際の視覚特性である、（１）明るい領域は感度を下げて見る、（２）暗い領域は感度を上げてみることになる。即ち、所定の位置の明るさの知覚において、信号としての出力値が明るいか暗いかに関わらず、周囲領域との相対的な対比量が重要な要素である、という視覚上の特性を考慮した処理である。このため、本実施形態の撮像装置で視覚処理を用いて処理して取得した画像は、不自然に見えずに広範囲のＤレンジを効果的に圧縮したものとなる。
本発明の第３実施形態の撮像装置によると、Ｄレンジ拡大部３１２におけるＤレンジを数１０００％などの１０００％以上のＤレンジに拡大した場合でも、その広いＤレンジの信号値を、人間の視覚特性上損なわずに１００％以内のＤレンジに圧縮することが可能になる。
【００７５】
＜３．３：撮像装置の効果＞
次に、実際に撮像装置（カメラ）を用いて撮影した画像を用いて、本実施形態の撮像装置の効果を説明する。
図２０（Ａ）は、主要被写体である人物の顔が適切な明るさになるよう露光制御した従来のカメラ処理による画像であり、図２０（Ｂ）は本発明の本実施形態のＤレンジ圧縮部３１６を第２実施形態の信号処理部３１に導入した撮像装置において撮影した画像である。
図２０（Ａ）および図２０（Ｂ）は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図２０（Ａ）では飽和して白飛びしているのに対し、図２０（Ｂ）では連続的な階調変化が維持されているだけでなく、空と雲の輪郭や周囲領域とのコントラストも維持されて自然な仕上がりの画像が得られている。
【００７６】
また、空の色についても、図２０（Ａ）では白飛びし色が無くなっているのに対し、図２０（Ｂ）では青空が再現されている。このように、本実施形態のＤレンジ圧縮部２００１により画像信号を処理することで、Ｄレンジ拡大部２００２が拡大した広いＤレンジを有効に生かしながら１００％の狭いＤレンジに自然にＤレンジ圧縮することができることがわかる。
なお、本実施形態では、図１８の構成のＤレンジ圧縮部２００１を用いて説明したが、本発明はこの構成に限るものではなく、画像の空間的な位置毎の着目画素について、（この所定の着目画素の周囲明度値）に応じて入出力変換特性を変化させることができるものであれば、他の構成をとるものであってもよい。たとえば、本発明のＤレンジ圧縮部３１６の構成として、周囲領域との対比量を各々計算する、Ｒｅｔｉｎｅｘ理論による技術や局所的なヒストグラム均等化処理などの実質的に同様の視覚特性上の対比効果が得られる公知な技術を応用しつつ、これらをＤレンジ圧縮に用いた構成とすることも出来る。
【００７７】
また、動的階調補正部３１６２は、周囲明度値に応じて階調変換特性曲線を計算により導出、あるいは、出力値を計算により導出するのではなく、予めデータとして保持する２次元ＬＵＴを用いて実装されてもよい。
図２１は、この２次元ＬＵＴに登録されるデータの特性を例示する図である。
図２１は、Ｄレンジ圧縮部２００１に対し入力Ｄレンジが８００％（図２１では、「８．０」で示す。以下、同様。）まで拡張された場合に適用される２次元ＬＵＴのＤレンジ圧縮の変換特性のデータの例を示している。
図中、矢印（ｋ）で示す破線は、この２次元ＬＵＴによる画像の明るさの変換特性を示しており、この特性はカメラのＫｎｅｅ特性に合わせている。この変換特性（波線ｋで示す変換特性）は、動的階調補正部３１６２に、周囲明度値と入力値とが等しい値で入力された場合に出力される値を示している。
【００７８】
また、図中、実線の各曲線が前述した視覚特性（周囲の明るさに対して変化する特性）を利用した変換特性である。この視覚特性を利用した変換特性において、前述したのと同様に、着目画素の周囲が最も暗い場合に適用される曲線が曲線ａであり、着目画素の周囲が最も明るい場合に適用される曲線が曲線ｃである。
ここで、周囲明度値が小さい（暗い）場合ほど、左側の曲線が用いられる。これは、自然画においては暗い領域ほど、入力値が小さいレンジにおいてコントラストが保たれるように変換されることを意味する。前述の通り、人間は所定の画素の値につき、絶対的な明るさを知覚するのではなく、暗い領域なら暗い領域に閉じた範囲での相対的な明るさの比を、各画素についての明るさとして知覚するためである。
図２２に、この点を詳細に説明するための図を示す。
【００７９】
入力値が８０％（０．８以上）の領域（空と雲の領域）について、空の領域内の点の周辺領域（局所的な領域）は、空の領域内の点と同様に明るい値を有する領域である。したがって、当該領域（空と雲の領域）において、入力値と周囲領域の明度値とは略等しい値となる。そこで、この変換特性は、入力値と周囲明度値とが略等しい範囲（図中、付近Ａ、付近Ｂ、付近Ｃ）の入力に対して、破線Ｋ上の各点（図中、付近Ａ、付近Ｂ、付近Ｃ）でのコントラスト比が保たれるように（付近Ａ、Ｂ、およびＣにおいて、変換曲線ａ、ｂ、およびｃの傾きが、カメラのＫｎｅｅ特性により定義される曲線Ｋ（図２２では折れ線）の傾きより大きい傾きとなるように）、各曲線（曲線a〜ｃ）が設定される。
尚、図２２に示すように、Ｋｎｅｅ特性により定義される曲線Ｋと変換曲線ａ〜ｃとの各交差点の付近（図中、円で示した付近）における変換曲線の傾きは、視覚的なコントラストを維持しつつダイナミックレンジを圧縮する目的から原点を通る直線の傾きにあわせているが、図２３に示すよう、さらにコントラストを強める目的で明るい領域での階調変換特性の傾きが急峻となるように変換曲線（階調変換曲線）を設定してもよい。
【００８０】
尚、また、このＬＵＴ上に登録される変換特性データは、選択信号ＭＬｎ（絞り値）に応じて外部から各々データとして登録されるものであってもよい。この場合の撮像装置の構成例を図２４に示す。
この場合に登録されるプロファイルは、入力レンジが４００％（４．０）の場合、図２５に示す特性を実現するものとなり、入力レンジが２００％（２．０）の場合、図２６に示す特性を実現するものとなる。
また、Ｄレンジ拡大率毎にプロファイルを複数設けるのではなく、図２７に示すように、撮像装置にレンジ値調整部２６０１を設け、２次元ＬＵＴ３１６２は、１つのプロファイルのみを有する構成としてもよい。つまり、入力値が８０％以上の入力の信号値（信号Ｄの信号値）に対しては、レンジ値調整部２６０１によりレンジ値を調整し、レンジ値が調整された後の信号値（信号Ｄ１の信号値）を２次元ＬＵＴ３１６２に入力して処理するようにしてもよい。
【００８１】
例えば、２次元ＬＵＴ３１６２に、１倍用のプロファイル（入力レンジに対する出力レンジの比が１倍である変換特性を実現するプロファイル）を設定している場合について説明する。そして、レジスタ２００４から出力される信号の出力レンジが「４．０」であり、２次元ＬＵＴの入力レンジが「１．０」である場合について説明する。
この場合、レンジ値調整部２６０１は、「０．８」より大きい値の入力値（信号Ｄの信号値）に対して、Ｄレンジ拡大された後の信号Ｄの入力値Ｄとし、レンジ値調整部２６０１の出力値をＤｏｕｔとすると、
Ｄｏｕｔ＝０．８＋０．２×（Ｄ−０．８）／（４．０−０．８）
により求めた値Ｄｏｕｔを、レンジ値調整部２６０１から出力するようにしてもよい。
また、図２７に示すように、２次元ＬＵＴに８倍のプロファイル（入力レンジに対する出力レンジの比が８倍である変換特性を実現するプロファイル）を登録した場合であって、レジスタ２００４から出力される信号の出力レンジが「４．０」であり、２次元ＬＵＴの入力レンジが「８．０」である場合、レンジ値調整部２７０１は、４．０倍にＤレンジ拡大された後の信号Ｄの入力値Ｄとし、レンジ値調整部２６０１の出力値をＤｏｕｔとすると、
Ｄｏｕｔ＝０．８＋７．２×（Ｄ−０．８）／（４．０−０．８） （Ｄ＞０．８）
により求めた値Ｄｏｕｔを、レンジ値調整部２７０１から出力するようにしてもよい。
【００８２】
なお、図２７に示すように、レンジ値調整部２７０１は、信号Ｍａｇ２に基づいて、レンジ調整を行うようにするとよい。
さらに、図２８に示すように、Ｄレンジ拡大後の信号Ｄの１枚分の画像データ（１フレーム分の画像データ）中のピーク値を検出し、この値に応じて、Ｄレンジ拡大部２００２がＤレンジ拡大処理を行った後、取得された最大値Ｘが２次元ＬＵＴ３１６２の入力レンジに戻るように、８０％（０．８）より大きい入力値を最大値（Ｐｍａｘ）で調整してもよい。例えば、２次元ＬＵＴ３１６２に８倍のレンジのプロファイル（入力レンジに対する出力レンジの比が８倍である変換特性を実現するプロファイル）を登録する場合には、ピーク調整部２８０１は、その入力値をＤとし、その出力値をＤｏｕｔとしたとき、
Ｄｏｕｔ＝０．８＋７．２×（Ｄ−０．８）／（Ｐｍａｘ−０．８）
により求めた値Ｄｏｕｔを、ピーク調整部２８０１から出力するようにしてもよい。
【００８３】
また、図２８に示すように、ピーク調整部２８０１は、信号Ｍａｇ２に基づいて、ピーク調整を行うようにするとよい。
尚、上述例においては、２次元ＬＵＴ３１６２の入力値の最大値を「８．０」（８００％）までの入力値として説明したが、同様の特性（「０．８」より大きい入力値に対し入力値と周囲輝度値とが等しい点において、入出力変換係数（入出力変換曲線）の傾きがＫｎｅｅ特性から決定される曲線の傾きより大きい）傾向を有するものであれば、「１６．０」（１６００％レンジ）、「３２．０」（３２００％レンジ）等まで拡張できることは言うまでもない。
尚、また、２次元ＬＵＴ３１６２に登録されるデータ（出力データ）は、必ずしも入力値および周囲明度値に対する出力値そのものでなくても、出力値を導出するための係数であってもよい。
【００８４】
また、周囲明度検出部３１６１が扱う画像上の周辺領域のサイズは、効果に応じて、その領域の大きさが設定されるものであり、視覚効果を得るためには、周辺領域（周辺画素の領域）は、ある程度の大きさの領域に設定することが好ましい。例えば、対象とする画像の大きさがＸＧＡ（１０２４×７６８）では、周辺領域（周辺画素の領域）を８０画素×８０画素以上の大きさの領域に設定するのが好ましい。
また、周囲明度検出部３１６１において、着目画素（処理対象画素）の周囲情報を得るために用いられる低域空間フィルタとして、アンシャープ信号の生成に通常用いられるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタ、あるいはＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）型の低域空間フィルタなどを用いてもよい。また、図３０に示すように、代表値検出部３１６３を設け、画像データの一部の領域に対し、局所コントラストの効果を調整するようにしてもよい。
【００８５】
［第４実施形態］
次に、本発明の第４実施形態に係る撮像装置について説明する。
本発明の第４実施形態における撮像装置は、光量調節機能を持つ光学系によって結像された被写体の像を撮像素子で読み取るときに、Ａ／Ｄ変換部の出力が飽和しないように撮像素子を複数回に分けて次々に露光（短時間露光）することで、複数枚のサブフレームの撮像画像を撮像素子から得る。そして、Ａ／Ｄ変換部でこの複数枚のサブフレームの撮像画像をＡ／Ｄ変換し、変換された複数枚のサブフレームの画像を画素ごとにダイナミックレンジ（以下、「Ｄレンジ」と記す）拡張して加算することを特徴とする。
これによれば、複数回に分けて撮像素子を次々に露光し、撮像素子から得られる各サブフレームの撮像画像を暗くすることができるため、被写体の明るい領域でもＡ／Ｄ変換の出力は飽和しにくくなる。また、複数回に分けて撮影して得た複数枚のサブフレームの画像を画素ごとにＤレンジ拡張して加算し、その総和を算出することができるため、加算した出力の飽和を抑えつつ明るくすることができる。よって、本実施形態の撮像装置により、Ｓ／Ｎ比の劣化を抑え、Ｄレンジの広い画像を得ることができる。これにより、本実施形態の撮像装置では、屋外で人物を逆光で撮影した場合であっても、人物の顔等の暗い領域を適切な明るさに補正しても、雲や空等の明るい領域が飽和していない画像を得ることができる。
【００８６】
＜４．１：撮像装置の構成＞
まず、図３１〜図３３を用いて、本発明の第４実施形態における撮像装置４００の構成について説明する。図３１は本実施形態における撮像装置４００の構成を示すブロック図、図３２は本実施形態における撮像装置４００の動作を時系列に説明するタイミングチャート、図３３は撮像装置４００のＤレンジ拡大部４１１の構成を示すブロック図である。分割して露光する分割回数は必要なＤレンジの拡大率に応じて設定するが、ここでは、説明を容易にするため、分割回数を４回にした例について説明する。
図３１に示したように、本実施形態における撮像装置４００は、レンズ等の光学系４０２と光学系４０２の背部（後段）に設けられた入射光量を調整する絞り部４０３とを有する光学系４１６と、光学系４１６によって結像された被写体Ｐ２の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子（撮像部）４０４と、撮像素子（撮像部）４０４から出力されるアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部４０５と、を備える。また、撮像装置４００は、利用者の操作指示を入力する操作部４０７と、操作部４０７から設定に応じて撮像装置全体を統括制御するシステム制御部４０８と、システム制御部４０８からの指令信号に基づいて光学系４１６と、撮像素子４０４およびＡ／Ｄ変換部４０５を駆動制御する駆動部４０６と、を備える。さらに、撮像装置４００は、Ａ／Ｄ変換部４０５で変換して得たれた赤（以下、「Ｒ」と記す）、緑（以下、「Ｇ」と記す）および青（以下、「Ｂ」と記す）の画像（画像信号）からＤレンジを拡大したＤレンジ拡大画像（画像信号）を生成する画像処理部４１０と、画像処理部４１０で処理された画像（画像信号により形成される画像）を表示する表示部４１４と、画像処理部４１０で処理された画像を記憶する記憶部４１５と、を備えている。
【００８７】
光学系４１６は、光学系４０２と絞り部４０３とを有し、被写体Ｐ２の光学像を撮像素子（撮像部）４０４に結像させる。
光学系４０２は、公知のレンズ等を備える。
また、絞り部４０３は、後述する露光条件設定部４０９により、撮像素子４０４を複数回に分けて露光する前に、被写体の主要部（例えば、人物の顔等の部分）で所定の明るさが得られるように所定の露光時間に応じた入射光量の調節を行う。このように、光学系４１６は、光学系４０２と絞り部４０３とで光量調節機能を実現している。
撮像素子４０４は、同一感度の画素がアレイ上に配列され、絞り部４０３によって光量調節された入射光量を所定の露光時間受光し、入射光量と所定の露光時間の積で決定される露光量に比例した撮像信号（画像信号）を出力する。
【００８８】
Ａ／Ｄ変換部４０５は、撮像素子４０４から出力されるアナログの撮像画像（アナログの画像信号）をデジタルの画像（デジタルの画像信号）に変換する。
駆動部４０６は、システム制御部４０８からの指令信号に基づいて光学系４０２、絞り部４０３、撮像素子４０４およびＡ／Ｄ変換部４０５を駆動制御する。
システム制御部４０８は、プログラムに従って所定の処理機能を実行するＣＰＵ（中央処理装置）、プログラムやデータを格納した読み出し専用の記憶デバイスであるＲＯＭ（リードオンリメモリ）、データを読み書き可能に一時記憶するメモリであるＲＡＭ（ランダムアクセスメモリ）を備えている。
操作部４０７は、利用者が設定した撮影モード等の設定を、後述するシステム制御部４０８に出力する。利用者が設定する撮影モードは、例えば、被写体を撮影する撮影シーンに応じて設定されるモードであって、この撮影モードには、例えば、屋内用撮影モード、屋外用撮影モード、スポーツ用撮影モード、ポートレート用撮影モードおよび風景用撮影モードなどがある。特に、屋外用の撮影モードにより撮影する場合、入射光量のＤレンジが広いため、逆光等で暗くなっている被写体領域（人物の顔等の領域）での明るさを適切な明るさに調整した場合であっても、明るい被写体領域（例えば、雲や空等の領域）での出力が飽和しないように、撮像装置で処理する必要がある。
【００８９】
システム制御部４０８は、露光条件設定部４０９を有しており、Ａ／Ｄ変換部４０５から出力されるＲＧＢ画像信号を取り込んで、露光条件設定部４０９により、適切な露光条件を算出する。具体的には、システム制御部４０８は、被写体の主要部で所定の明るさ（適切な明るさ）が得られるように露光条件を、露光条件設定部４０９により決定する。システム制御部４０８は、決定した露光条件に従って駆動部４０６で適切な光量調節を行うための指令信号を、駆動部４０６に出力する。また、システム制御部４０８は、操作部４０７での設定に応じて撮像装置４００全体を統括制御する。
露光条件設定部４０９は、システム制御部４０８に設けられ、例えば、撮影する前のプレビュー時に、Ａ／Ｄ変換部４０５から出力されるＲＧＢ画像の１画面分（ＲＧＢ画像信号により形成されるＲＧＢ画像の1画面分のデータ）を内部のメモリ（図示せず）に仮に取り込み、被写体Ｐ２の主要な領域に対して、適切な明るさの出力値が得られるように露光条件を算出する。例えば、画像出力Ｄレンジ１００％（出力画像信号のＤレンジが０％〜１００％の明るさに対応する信号値をとるＤレンジ）に対して人物の顔領域で７０％の明るさになるように、撮像装置４００の露光条件を設定する。
【００９０】
画像処理部４１０は、Ａ／Ｄ変換部４０５から出力されるＲＧＢの画像信号に対してＤレンジを拡大する処理を行うＤレンジ拡大部４１１と、Ｄレンジ拡大部４１１で拡大されたＤレンジ拡大画像（Ｄレンジ拡大画像信号）のＤレンジを所定のＤレンジに圧縮するＤレンジ圧縮部４１２と、を備える。さらに、画像処理部４１０は、表示部４１４および記憶部４１５に適合する信号フォーマット（例えば、ＮＴＳＣ、ＪＰＥＧ、ＭＰＥＧ等）に合わせて信号処理する信号処理部４１３を備えている。
表示部４１４は、例えば、撮像装置４００の本体の背面等に設けられており、カラー液晶装置等の表示装置を有している。表示部４１４は、画像処理部４１０で処理された画像信号により形成される画像を、カラー液晶装置等の表示装置に表示する。
記憶部４１５は、信号処理部４１３により処理された画像（画像信号）を記憶する。記憶部４１５としては、ハードディスク装置（ＨＤＤ）や半導体メモリなどの公知の記録媒体から選択したものを用いることができる。
【００９１】
＜４．２：撮像装置の動作＞
次に、本実施形態の撮像装置４００における主な動作を時系列に説明する。
まず、図３２（ａ）に示すように、駆動部４０６は、周期Ｔとする同期信号（Ａ）に基づいて、撮像素子４０４および画像処理部４１０を制御する制御信号（Ｂ）を出力する。ここで、後述するように、被写体Ｐ２の主要部の領域が適切な明るさになるように（Ｃ）に示す露光時間ｔ０での露光条件を設定する。例えば、主要部が人物の顔であれば、出力Ｄレンジ１００％に対して、当該主要部（人物の顔の部分）の明るさが７０％の明るさになるように、撮像装置４００の露光条件を設定する。この露光条件に合わせて絞り部４０３により撮像素子４０４に入射される光量が調節される。また、Ａ／Ｄ変換部４０５の出力は、出力の余裕を持たせて１５０％まで飽和しないように設定されている。つまり、この設定により、Ａ／Ｄ変換部４０５から出力される画像信号において、１５０％の明るさに相当する信号値までは飽和しない。
【００９２】
また、撮像装置４００は、静止画を撮影する場合には、周期Ｔ（フレーム周期）の間に実行される処理を１回だけ行い、動画像を撮影する場合には、撮影時間に応じて周期Ｔの間に実行される処理を必要な回数だけ繰り返し行う。
ここでは、複数回に分けて次々に露光し、順次に得られる各画像をサブフレームとして説明し、Ａ／Ｄ変換する前をサブフレームの撮像画像(以下、サブフレームの撮像画像を、単に「撮像画像」と記す。また、この「撮像画像」を形成する画像信号を「撮像画像信号」と記す。)、Ａ／Ｄ変換した後をサブフレームの画像（サブフレームの画像を、単に「画像」と記す。また、このサブフレームの画像を形成する画像信号を「デジタル画像信号」と記す。）とする。また、動画、静止画を撮影する場合も、同様とする。
次に、図３２（ｂ）に示すように、駆動部４０６は、Ａ／Ｄ変換部４０５の出力の余裕をさらに大きくするため、露光時間ｔ０を４分割した時間ｔ１で撮像素子４０４を露光する。ここで、露光時間ｔ０＝４×ｔ１である。露光時間の制御は、例えば、撮像素子４０４の電子シャッタ機能を使い、駆動部４０６により撮像素子４０４に対する露光時間を制御することで実行される。
【００９３】
次に、（Ｂ）に従い、各露光時間ｔ１の露光で撮像して得られたアナログの撮像画像（撮像画像信号）は、制御信号（Ｃ）に示す時間ｔ２の間にＡ／Ｄ変換部４０５でデジタル画像信号に変換され、画像処理部４１０に転送される。
画像処理部４１０は、Ａ／Ｄ変換部４０５から転送された画像を各メモリ（画像記憶部）に記憶する。そして、各メモリに記憶されている画像の同じアドレスにある画像データをそれぞれ画素ごとに読み出し、Ｄレンジ拡張して加算し、（Ｅ）に示すＤレンジ拡大画像１０２を得る。
この露光時間ｔ１で露光して得られる撮像画像は、露光時間ｔ０で露光して得られる撮像画像と比較すると露光時間が短いため、撮像画像の出力値（撮像画像信号の信号値）は小さくなる。よって、各撮像画像の出力をＡ／Ｄ変換したときに出力の余裕が拡大する。よって、撮像素子４０４で複数回に分けて撮像され、Ａ／Ｄ変換部４０５で変換された４枚の画像をＤレンジ拡張して加算し、その総和を算出することで露光時間ｔ０のときの撮像画像と同じ出力値を得ることができる。その結果、露光時間ｔ０のときの撮像画像と同じＳ／Ｎ比を確保することができる。
【００９４】
さらに、撮像装置４００では、露光時間ｔ１で露光して得られた４枚の撮像画像を４枚の画像にＡ／Ｄ変換し、この４枚の画像を画素ごとにＤレンジ拡張して加算することで、さらに、Ｄレンジを拡大したＤレンジ拡大画像が得られるという格別の効果が得られる。
具体的には、露光時間ｔ１で得られる露光量が減少したことにより、撮像素子４０４から出力される各撮像画像の出力値を小さくすることで、Ａ／Ｄ変換部４０５での飽和レベルに対してｔ０／ｔ１倍の余裕ができる。このため、Ａ／Ｄ変換後の出力は飽和しにくくなる。
なお、撮像装置４００において、Ａ／Ｄ変換部４０５の出力が飽和しないように撮像素子４０４を複数回に分けて次々に露光し、Ａ／Ｄ変換部４０５で撮像素子４０４から得られた複数枚の撮像画像を複数枚の画像に変換し、変換された複数枚の画像を画素ごとにＤレンジ拡張して加算しても、同様の原理によって、Ｄレンジを拡大したＤレンジ拡大画像を得ることができる。
【００９５】
（４．２．１：Ｄレンジ拡大部４１１の詳細について）
次に、図３３〜図３５を用いて、本実施形態の撮像装置４００におけるＤレンジ拡大部４１１について詳細に説明する。
図３３はＤレンジ拡大部４１１の構成を示すブロック図、図３４は本実施形態の撮像装置４００におけるＤレンジ拡大部４１１を説明するための説明図、図３５は本実施形態の撮像装置４００で撮影される被写体Ｐ２の撮影状態を説明する説明図である。
Ｄレンジ拡大部４１１は、図３３に示すように、Ａ／Ｄ変換部４０５から出力される各画像（Ｒ、ＧおよびＢ画像を含む）を、それぞれ記憶する画像記憶部４３１ａ〜４３１ｄと、画像記憶部４３１ａ〜４３１ｄに記憶された画像を画素ごとにＤレンジ拡張して加算する加算部４３０とを備える。
【００９６】
例えば、加算部４３０は、Ｄレンジを拡張するために、ビット拡張した加算器を利用することができる。Ａ／Ｄ変換部４０５の出力が１０ビットで、露光時間が４分割される場合には、Ａ／Ｄ変換部４０５の出力ビット数に２ビット拡張した上で１２ビットの加算器を利用することで、Ｄレンジ拡張した加算器を構成できる。なお、ビット拡張は２ビットに限定されない。予め、分割回数に応じて拡張する。例えば、分割回数が８回であれば３ビット以上拡張すればよく、同様に、分割回数が１６回であれば４ビット以上拡張、２回であれば１ビット以上拡張すればよい。
図３４は、Ｄレンジ変換特性を示すグラフである。
図３４に示すように、例えば、露光時間ｔ０で入射光量が１５０％の明るさに相当する光量であるとき、Ａ／Ｄ変換部４０５の出力が飽和レベル（１５０％の明るさに相当するレベル）となるように絞り部４０３により調整する。このときの露光時間ｔ１は、ｔ１＝ｔ０÷４となる。
【００９７】
このため、同じ入射光量でも、露光時間ｔ１となるため、撮像素子４０４から得られる撮像画像（撮像画像信号）の出力値は３７．５％の明るさに相当する値に減少し、そのＡ／Ｄ変換後の出力値（図３４の入出力特性直線Ｌ１０５参照）も３７．５％の明るさに相当する信号値に減少する。よって、撮像装置４００は、Ａ／Ｄ変換部４０５の出力の飽和レベル（１５０％の明るさに相当するレベル）に対して４倍の余裕がある。これにより、撮像装置４００において、露光時間ｔ１としたとき、Ａ／Ｄ変換部４０５の出力は入射光量が６００％（４×１５０％）に相当する光量になるまで飽和しない。このため、例えば、人物の顔領域を７０％の明るさに調整しても、空と雲等の領域は５００％の明るさであるため、Ｄレンジを拡大した出力は飽和しない。
さらに、Ａ／Ｄ変換部４０５によりＡ／Ｄ変換された画像を画像記憶部４３１ａ〜４３１ｃにそれぞれ記憶し、記憶されている画像に対して加算部４３０は画素ごとにＤレンジ拡張して加算する。これにより、加算部４３０でＤレンジを０〜６００％までにＤレンジを拡大したＤレンジ拡大画像（図３４の入出力特性直線Ｌ１０２参照）を得ることができる。
【００９８】
（４．２．２：Ｄレンジ拡大の効果）
次に、図３５を用いて、このＤレンジが拡大されたときの効果について説明する。
屋外で被写体を撮影した場合に、被写体の領域によって入射光量が大きく変化する。例えば、被写体Ｐ２が逆光で撮影されて取得された撮影画像１０６の場合、被写体Ｐ２の顔領域１０８は暗くなる。この被写体Ｐ２の暗い顔領域１０８を適切な明るさ、例えば、Ｄレンジ拡大した出力で７０％の明るさに補正すると、明るい領域、例えば空と雲の領域１０７は、通常で５００％以上の明るさとなる。Ａ／Ｄ変換部４０５の出力が１５０％で飽和する撮像装置を用いて処理する場合、このような撮像装置により取得した画像において、空と雲の領域１０７は、階調が飽和してしまい、忠実に再現することができない。
一方、本実施形態の撮像装置４００では、Ｄレンジ拡大部４１１により、Ａ／Ｄ変換後の画像信号に対して、飽和させることなくＤレンジを０〜６００％に拡大しているため、撮像装置４００により取得される画像信号において信号値は飽和しない。これにより、撮像装置４００で取得した画像において、空や雲の領域（通常５００％以上の明るさなる領域）が飽和（階調飽和）することなく、自然な階調値を有する画像領域として再現される。
【００９９】
（４．２．３：Ｄレンジ圧縮部４１２について）
次に、図３５および図３６を用いて撮像装置４００のＤレンジ圧縮部４１２について詳細に説明する。図３６はＤレンジ圧縮部４１２を説明するための説明図である。
Ｄレンジ圧縮部４１２では、Ｄレンジ拡大された信号（図３４の入出力特性直線Ｌ１０２により階調変換された信号）に対して、出力を、Ｄレンジ１００％に抑えるために、大きな入力（大きな入力信号値）に対して出力（出力値）をＤレンジ圧縮する。このときに、撮影される被写体Ｐ２の顔の領域１０８で適切な明るさを確保しつつ、明るい領域での大きな入力（大きな信号値）に対してより圧縮する度合いを高める。例えば、被写体Ｐ２の顔の領域１０８を適切な明るさ、例えば、出力が７０％の明るさに相当する値になるようにする。ここでは、顔の領域１０８（７０％の明るさ）の近傍で出力がリニアに（線形的に）変化するように（７０％前後の明るさを有する画素の階調値が線形的に階調変換されるように）、図３６の点Ｓ（出力８０％）までリニアな変換特性直線１０３に従った出力とし、図３６の点Ｓから点Ｑまでの出力は、点Ｓから点Ｒに折れ曲がる曲線１０４（ｋｎｅｅ特性をもたせた曲線）の勾配でＤレンジ圧縮する。これにより、６００％に拡大された画像信号のＤレンジは１００％のＤレンジに圧縮される。
【０１００】
さらに、Ｄレンジ圧縮部４１２は、ｋｎｅｅ特性をもたせた曲線によるＤレンジ圧縮以外の他のＤレンジ圧縮方法を用いるものであってもよい。他のＤレンジ圧縮方法については後述する。
このように、撮像装置４００では、画像信号のＤレンジを拡大した後で所定のＤレンジに縮小することで、例えば、屋外のように入力光量が大きく変化する場合にも、Ａ／Ｄ変換部４０５の出力を飽和させない画像信号を得ることができる。したがって、撮像装置４００では、被写体の明るい領域に対しても、被写体の暗い領域に対しても適切なＤレンジに出力範囲（撮像装置４００により取得（出力）される画像信号の信号値のとり得る範囲）を抑えることができる。
（４．２．３：撮像装置の動作の手順）
次に、図３７に示すフローチャートを用いて、本実施形態の撮像装置４００における動作の手順を説明する。
【０１０１】
ステップＳ１００では、撮像装置４００は、撮像素子４０４を所定の露光時間ｔ０で露光したとき、被写体の主要な領域で適切な明るさが得られるように絞り部４０３で光量を調節する。
ステップＳ１０２では、所定の露光時間ｔ０を均等に分割した時間で４回に分けて撮像素子４０４を次々に露光し、４枚のアナログの撮像画像を撮像素子４０４から得る。
ステップＳ１０４では、Ａ／Ｄ変換部４０５で４枚のアナログの撮像画像をＡ／Ｄ変換し、４枚のデジタルの画像に変換する。
ステップＳ１０６では、Ａ／Ｄ変換部５で変換して得られた４枚のデジタルの画像を画素ごとにＤレンジ拡大部４１１でＤレンジ拡張して加算し、Ｄレンジを拡大したＤレンジ拡大画像１０２を得る。
【０１０２】
このように、撮像装置４００において、ステップＳ１００を実行することにより、例えば、複数回に分けて露光する前に、画像中の人物の顔が適切な明るさになるように所定の露光時間ｔ０に応じた光量調節を行う。その上で、撮像装置４００において、ステップＳ１０２〜Ｓ１０６を実行することで、Ｄレンジ拡大画像を得ることができる。
なお、Ｓ１００〜Ｓ１０６のステップにおいて行う処理は、以下の処理であってもよい。
すなわち、撮像素子４０４を４回に分けて短時間（高速シャッタ）で露光してＡ／Ｄ変換部４０５の出力が飽和しないように撮像素子４０４を駆動し、撮像素子４０４で４回に分けて撮像して得た４枚のアナログの撮像画像をＡ／Ｄ変換部４０５によって４枚のデジタルの画像に変換する。そして、変換された４枚の画像を画素ごとにＤレンジ拡張して加算し、Ｄレンジを拡大したＤレンジ拡大画像を得る。
【０１０３】
このような処理によっても、同様に、撮像装置４００において、Ｓ／Ｎ比の劣化を抑え、かつ、Ｄレンジを拡大したＤレンジ拡大画像を得ることができる。
≪変形例≫
次に、図３８〜図４０を用いてＤレンジを圧縮する変形例について説明する。
前述のＤレンジ圧縮部４１２では、図３６に示すような特性の非線形の階調カーブを用いてＤレンジを圧縮していた。このような手法により、Ｄレンジ拡大部４１１で拡大された６００％の広範囲なＤレンジを有効に活用し、顔等を望みの明るさに維持しながら、かつ広範囲なＤレンジに渡るハイライト領域の階調性を飽和させずに残すことが可能になる。
しかし、図３６に示すように、Ｄレンジ圧縮部４１２で用いられるＤレンジ圧縮変換特性（階調変換特性）は、０〜８０％の明るさに相当する階調値についてはＤレンジ圧縮せず、８０〜６００％の明るさに相当する階調値を８０〜１００％の明るさに相当する階調値にＤレンジ圧縮する特性である。そのため、高範囲のハイライト領域の階調性を残すことは可能であるが、ハイライト領域では、入出力の傾き（Ｄレンジ圧縮変換特性曲線の傾き）が非常に小さくなるため、コントラストが非常に低くなる。
【０１０４】
言い換えると、Ｄレンジ圧縮部１２がＤレンジを拡大すればするほど、ハイライト領域のＤレンジ圧縮処理の入出力特性曲線の傾きが小さくなる。この結果、ハイライト領域において、階調変化は残るが、階調変換後の階調値（信号値）の変化が小さすぎ、結果的に従来技術により取得される飽和している画像と大差がない（取得画像を観察したとき飽和しているように見える）画像しか取得できないという原理的な課題を有している。なお、図３６に示すＤＲ圧縮変換特性によるＤＲ圧縮変換処理を、数１００％以下の領域において適用した場合、ハイライト領域のＤレンジ圧縮処理の入出力特性曲線の傾きはそれ程小さくならないので、この手法でも従来の飽和（取得画像においてハイライト部分が飽和する現象）と比べて有意な効果があることは言うまでもない。
この原理的な課題を打破できる技術として、画像中の位置に応じて階調特性を変化させるという技術がある。国際公開公報第ＷＯ２００５／０２７０４１号は、その一例であり、この文献には、画像中の処理すべき着目画素を囲む周辺領域のヒストグラムをとり、その分布からその着目画素に適用する階調カーブを決める手法や、画像中の処理すべき着目画素を囲む周辺領域の平均的な明るさを求め、周辺の明るさに応じてその着目画素に適用する階調カーブを決める手法等が開示されている。
【０１０５】
Ｄレンジ圧縮部４１２において、この技術を導入することで、前述の課題であるＤレンジ圧縮に伴うコントラストの低下が極めて少ない撮像装置４００を実現することができる。すなわち、Ｄレンジ拡大部４１１が拡大したハイＤレンジの画像情報を、ほとんどロスなしに１００％以内の低Ｄレンジ情報に変換することが可能になり、本発明のＤレンジ拡大技術の効果を最大化することができる。
≪視覚処理を用いたＤレンジ圧縮処理≫
次に、図３８を用いて前述の技術を使用した場合のＤレンジ圧縮部４１２について説明する。図３８はＤレンジ圧縮部４１２の構成を示すブロック図である。
図３８に示すように、Ｄレンジ圧縮部４１２は、処理すべき画素（着目画素）の周囲の明るさの代表値（例えば平均値等）を検出する周囲明度検出部４１２１と、周囲明度検出部４１２１の出力に応じてＤレンジ圧縮カーブが変化する動的階調補正部４１２２と、を備えている。
【０１０６】
図３９は、Ｄレンジ圧縮部１０１の動作を説明する説明図である。
Ｄレンジ圧縮部４１２は、着目画素（処理対象の画素）の周囲の明るさにより選択される５本の階調カーブ（階調変換特性曲線）（図１２に示す５つの階調カーブ）を有している。図３９に示すように、着目画素の周囲が最も暗い場合の曲線をａ、着目画素の周囲が最も明るい場合の曲線をｃ、両者の中間の曲線をｂとしている。説明のために、Ｄレンジ圧縮部４１２が有している曲線を５本としているが、これに限定されることはない。実際には数１０本の階調変換特性曲線を有し、実質的に連続と見なせる本数の階調変換特性曲線を有するＤレンジ圧縮部４１２により、画像信号に対して階調変換処理を行うことが望ましい。
ここで、画像中の着目画素の周囲が暗いところ（例えば図３５の領域１０８等）に相当する画像信号を、Ｄレンジ圧縮部４１２により処理する場合、階調変換特性曲線ａが適用されることになるため、人の顔の部分（領域）に相当する画像信号は、７０％程度の適正な明るさに相当する階調値（信号値）に階調変換されることになる。また、画像中で着目画素の周囲が非常に明るいところ（例えば図３５の領域１０７等）に相当する画像信号を、Ｄレンジ圧縮部４１２により処理する場合、階調変換特性曲線ｃが適用されることになるため、空と雲の領域でも十分な階調数とコントラストを有するものとなる。つまり、このように、Ｄレンジ圧縮部４１２で処理することにより、本実施形態の撮像装置では、非常に自然で高品位な画像を得ることができる。
【０１０７】
この手法は、人間の視覚特性を利用したもので、視覚処理と呼ばれる。視覚処理は、人間が目で見る際の視覚特性である、明るい領域は感度を下げて見、暗い領域は感度を上げてみるという特性を考慮した処理である。このため、本実施形態の撮像装置で視覚処理を用いて処理して取得した画像は、不自然に見えずに広範囲のＤレンジを効果的に圧縮したものとなる。
本発明の第３実施形態の撮像装置によると、Ｄレンジ拡大部３１２におけるＤレンジを３２００％などの１０００％以上のＤレンジに拡大した場合でも、その広いＤレンジを視覚的に損なわずに１００％以内のＤレンジに圧縮することが可能になる。
＜４．３：撮像装置の効果＞
次に、図４０を用いて実際に撮像装置（カメラ）を用いて、本実施形態の撮像装置の効果を説明する。
【０１０８】
図４０（ａ）は、主要被写体である人物の顔が適切な明るさになるように露光制御した従来のカメラ処理による画像であり図４０（ｂ）は、Ｄレンジ圧縮部４１２を備える撮像装置４００で処理した画像である。
図４０（ａ）と図４０（ｂ）は、水車などの日陰で暗い部分の明るさは、ほぼ同じであり、顔の明るさもほぼ同じである。しかし、空と雲の部分や太陽光が服に反射する部分については、図４０（ａ）では飽和して白飛びしているのに対し、図４０（ｂ）では連続的な階調変化が維持されているだけでなく、雲と空の輪郭やコントラストも維持されており、自然な仕上がりの画像が得られている。
また、空の色についても、図４０（ａ）では白飛びし色が無くなっているのに対し、図４０（ｂ）では青空が再現されている。このように、本実施形態のＤレンジ圧縮部４１２は、Ｄレンジ拡大部４１１が拡大した広いＤレンジを有効に生かしながら１００％の狭いＤレンジに自然に圧縮することができることが分かる。
【０１０９】
以上のように、本実施形態の撮像装置４００では、露光時間ｔ０で露光したときに被写体の主要な領域で適切な明るさを得るように光量調節した後、この露光時間ｔ０を均等に４分割した時間ｔ１で露光し、撮像素子４０４から４枚の撮像画像を取得する。このため、撮像装置４００では、各撮像画像の出力値を１／４と小さくし、Ａ／Ｄ変換部４０５の出力で４倍の余裕を得ることができる。さらに、撮像装置４００では、暗くなった画像を明るくするために、４枚の画像を画素ごとにＤレンジ拡張して加算することで、露光時間ｔ０で撮像して得られる画像と同じ明るさにすることができる。これにより、撮像装置４００では、Ｓ／Ｎ比を劣化させることなく、Ｄレンジが拡大したＤレンジ拡大画像を得ることができる。
また、撮像装置４００では、Ｄレンジ拡大部４１１で画像信号のＤレンジを拡大した後で、Ｄレンジ圧縮部４１２で画像中の位置に応じて階調特性を変化させながらＤレンジを１００％以内に圧縮する。このため、Ｄレンジ拡大部４１１におけるＤレンジを１２００％などの１０００％以上のＤレンジに拡大した場合でも、その広いＤレンジを視覚的に損なわずに１００％以内のＤレンジに圧縮することができる。
【０１１０】
なお、上記では、説明を容易にするために露光時間ｔ０を４分割にし、露光時間ｔ１で４回に分けて露光を行う場合について説明したが、分割回数はこれに限定さられるものでない。例えば、必要なＤレンジの拡大率に応じて分割の数を２回にしても、１６回にしてもよく、さらに、必要に応じて分割数を増減するようにしてもよい。なお、２分割にすればＤレンジを２倍（３００％）に拡大することができ、１６分割にすればＤレンジを１６倍（２４００％）に拡大することができる。このように、必要となるＤレンジに応じて、分割数を増減させるようにすればよい。分割回数をＮ（Ｎは自然数）とした場合には、Ｄレンジの拡大率はＮ倍となり、出力を０〜Ｎ×（Ａ／Ｄ変換部４０５の出力の飽和レベル（％））にまで拡大することができる。撮像装置４００において、露光時間ｔ０を均等に２回以上分けるようにして前述の処理を実行すれば、前述の効果を発揮することができる。
【０１１１】
［第５実施形態］
次に、図４１〜図４３を用いて、本発明の第５実施形態について説明する。
そして、第５実施形態の撮像装置により、操作者の手振れによる画像間の画像ずれを補正し、画質を向上させる方法について説明する。
第５実施形態の撮像装置は、第４実施形態の撮像装置４００において、Ｄレンジ拡大部４１１を図４１に示すＤレンジ拡大部５１１に置換したものである。第５実施形態の撮像装置において、第４実施形態の撮像装置４００と同様の部分については、同じ符号を付し、説明を省略する。
まず、図４１〜図４３を用いて本発明の第５実施形態の撮像装置のＤレンジ拡大部５１１について説明する。
【０１１２】
図４１は、本実施形態の撮像装置のＤレンジ拡大部５１１の構成を示すブロック図、図４２は手振れの処理について説明する説明図、図４３は手振れ検出部５４２〜５４４を説明する説明図である。
第４実施形態の撮像装置４００のＤレンジ拡大部４１１では、分割して露光したときに得られる被写体Ｐ２の４枚の画像を画素ごとにＤレンジ拡張して加算していた。本実施形態の撮像装置Ｄレンジ拡大部５１１は、この４枚の画像を画素ごとにＤレンジ拡張して加算するときに、本実施形態の撮像装置を操作している者（以下、「操作者」と記す）の手振れによって発生する画像間の画像ずれを検出し、この画像ずれを抑えた画像を得ることができるようにしたものである。
このために、Ｄレンジ拡大部５１１は、Ａ／Ｄ変換部４０５から出力される各画像（Ｒ、ＧおよびＢ画像を含む）を制御信号のタイミングに従って記憶する画像記憶部５３１ａ〜５３１ｄと、画像記憶部５３１ａ〜５３１ｄに記憶された各画像から操作者の手振れによる画像ずれの大きさとその方向を検出する手振れ検出部５４２〜５４４と、画像ずれの大きさから手振れの有無を判断する手振れ判断部５４５と、手振れ判断部５４５によって手振れがあると判断された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて制御信号のタイミングに従って画像をずらして加算する加算部５４１と、を備えている。
【０１１３】
手振れ検出部５４２は、画像記憶部５３１ａ、５３１ｂに記憶されている２枚の画像を比較し、画像ずれの大きさとその方向を検出する。同様に、手振れ検出部５４３は、画像記憶部５３１ｂ、５３１ｃに記憶されている２枚の画像を比較して画像ずれの大きさとその方向を検出し、手振れ検出部５４４は、画像記憶部５３１ｃ、５３１ｄに記憶されている２枚の画像を比較して画像ずれの大きさとその方向を検出する。
加算部５４１は、手振れ判断部５４５により、画像記憶部５３１ａ、５３１ｂに記憶されている２枚の画像を処理するときは手振れ検出部５４２で検出された画像ずれの大きさとその方向に応じて補正値を算出する。同様に、加算部５４１は、画像記憶部５３１ｂ、５３１ｃに記憶されている２枚の画像を処理するときは手振れ検出部５４３で検出された画像ずれの大きさとその方向に応じて補正値を算出し、画像記憶部５３１ｃ、５３１ｄに記憶されている２枚の画像を処理するときは手振れ検出部５４３で検出された画像ずれの大きさとその方向に加え、手振れ検出部５４４で検出された画像ずれの大きさとその方向に応じて補正値を算出する。
【０１１４】
次に、図４２を用いて、手振れ処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
図４２（ａ）は、時刻ｔ−１〜ｔ＋２に分割して露光したときに撮像して取得された画像の状態を示す図である。なお、ここで時刻ｔを基準時刻とし、時刻ｔ−１とは、時刻ｔに取得されるフレーム画像（画像Ｂ）の１フレーム前のフレーム画像を取得した時刻をいい、時刻ｔ＋１とは、時刻ｔに取得されるフレーム画像の１フレーム後のフレーム画像を取得する時刻をいうものとする。また、時刻ｔ＋Ｎ、ｔ−Ｎ（Ｎは任意の自然数）も同様である。
また、基準画像（図４２の画像Ｂに相当。）としては、画像振れを合わせる観点からできるだけ撮像装置により撮影した時刻（シャッターを押した瞬間の時刻）の画像を選択することが望ましく、基準画像が時系列の中心となるように、時間的に前後する画像をＤレンジ拡大部５１１の画像記憶部５３１ａ〜５３１ｄに記憶することが望ましい。ここでは、図４２に示すように、時刻ｔの画像Ｂを基準画像とし、画像Ｂの基準Ｈに対する画像Ａ、画像Ｃおよび画像Ｄの画像ずれを説明する。
【０１１５】
図４２（ａ）に示すように、時刻ｔ−１で取得された画像Ａは画像Ｂに対してΔｈ１だけ下側に画像がずれている。同様に、時刻ｔ＋２で取得された画像Ｄは画像Ｂに対してΔｈ２だけ上側に画像がずれている。時刻ｔ＋１で取得された画像Ｃは画像Ｂに対して画像ずれしていない。
図４２（ｂ）に図示するように、このような手振れによる画像ずれがあった場合には、手振れ検出部５４２は、画像Ｂと画像Ａとを比較し、下側への画像ずれの大きさ「Δｈ１」を検出する。手振れ判断部５４５は、この画像ずれの大きさが所定の値Ｃより大きいか否かにより手振れの有無を判断する。加算部５４１は、手振れ判断部５４５が手振れありと判断（Δｈ１＞Ｃ）した場合には、上側方向に画像Ａの座標のずれを補正する補正値（Δｈ１）を加えた座標にある画素の値を加算する。
【０１１６】
同様に、手振れ検出部５４３は、画像Ｂと画像Ｃとを比較し、手振れ判断部４５が手振れなしと判断（（画像ずれの大きさ）＝０＜Ｃ）した場合には、加算部５４１は、画像Ｂの座標と同じ座標にある画像Ｃの画素を加算する。
また、手振れ検出部５４４は、画像Ｃと画像Ｄとを比較し、上側への画像ずれの大きさ「Δｈ２」を検出する。手振れ判断部５４５は、この画像ずれの大きさが所定の値Ｃより大きいか否かにより手振れの有無を判断する。
加算部５４１は、手振れ判断部５４５が手振れありと判断（Δｈ２＞Ｃ）した場合には、下側方向に画像Ｄの座標のずれを補正するように補正値（Δｈ２＋０）を減じた座標にある画素の値を加算する。ここで、加算部５４１は、画像Ｄの画像ずれを補正するときに、画像Ｂに対する画像Ｃの画像ずれも加えた座標で補正して加算する。また、加算部５４１は、対象とする画素が領域外にある場合には加算を行わない。
【０１１７】
これにより、加算部５４１は、画像Ｂに対して画像ずれをなくした画像Ａ、画像Ｃおよび画像Ｄの各画素をＤレンジ拡張して加算することができ、本実施形態の撮像装置を操作している利用者の手振れによっておこる画像の画像ずれの影響を除くことができる。
なお、図４３に示すように、手振れ検出部５４２は、画像記憶部５３１ａ、５３１ｂに記憶されている画像Ａ、Ｂを比較するときに、全体の画像領域の中から所定の領域５４５ａ〜５４５ｆを設定し、画像Ａの所定の領域５４５ａ〜５４５ｆを対応する画像Ｂの所定の領域５４６ａ〜５４６ｆと比較するようにし、領域ごとの比較によって得られた画像ずれの大きさとその方向Δｈａｖｅ１〜Δｈａｖｅ６を平均したものを加算部５４１に設定する補正値としてもよい。このとき、小数点以下の値が発生した場合には、小数点以下の割合に応じて、隣接する上下左右斜めにある画素の値と着目している画素とを補間処理する。なお、小数点以下の値は四捨五入して画像ずれの補正値を算出してもよい。これにより、比較する演算量を削減し、処理時間を短縮することができる。また、ハードウェアの規模を削減することができる。
【０１１８】
また、手振れ検出部５４３、５４４も同様に処理することができる。
以上のように、本実施形態の撮像装置では、Ｄレンジ拡大部５１１により、操作者の手振れによって発生する画像の画像ずれをなくした後、画像Ａ〜Ｄの各画素をＤレンジ拡張して加算することができるので、第４実施形態の撮像装置４００における効果に加えて、さらに、手振れによる画像ずれを抑え、Ｄレンジを拡大したＤレンジ拡大画像を得ることができる。
具体的には、本実施形態の撮像装置では、４回に分けて露光されるため、撮像素子４０４から得られた各撮像画像では露光時間が１／４に短縮され、操作者の手振れによる画像ずれも１／４に小さくなっている。また、被写体の動きによる被写体振れも同様に１／４に小さくなっている。本実施形態の撮像装置では、この４枚の各撮像画像をＡ／Ｄ変換部４０５で変換した後、手振れ検出部５４２〜５４４で得られた画像ずれの大きさとその方向に応じて、手振れによる画像ずれをなくす方向に各画像をずらして加算する。よって、従来のように複数回に分けないで露光する場合の画像と比較して、本実施形態の撮像装置では、手振れによる画像ずれを小さくすることができる。
【０１１９】
なお、上記では、画像間の比較によって画像ずれを検出することで手振れを検出する場合について説明したが、これに限定されることはなく、本実施形態の撮像装置において、例えば、ジャイロによって手振れの大きさとその方向を検出し、この手振れの大きさとその方向に応じて手振れによる画像ずれをなくす方向に画像をずらした後、画像Ａ〜Ｄの各画素をＤレンジ拡張して加算するようにしてもよい。
また、手振れ検出部５４２〜５４４では、画像Ａ〜ＤのＧ成分から画像ずれの大きさとその方向を検出するようにしてもよい。
また、加算部５４１で、手振れ検出部５４２〜５４４で検出される画像ずれの大きさがない場合、画像ずれ「０」として処理するようにすれば、手振れ判断部５４５を省略することも可能である。この場合、加算部５４１は、手振れ検出部５４２〜５４４で検出された画像ずれの大きさとその方向に応じて画像ずれをなくす方向に画像をずらして加算するだけでよい。
【０１２０】
［第６実施形態］
次に、図４４および図４５を用いて、本発明の第６実施形態について説明する。
第６実施形態の撮像装置は、第４実施形態の撮像装置４００において、Ｄレンジ拡大部４１１を図４４に示すＤレンジ拡大部６１１に置換したものである。第６実施形態の撮像装置において、第４実施形態の撮像装置４００と同様の部分については、同じ符号を付し、説明を省略する。
図４４は、本実施形態の撮像装置のＤレンジ拡大部６１１の構成を示すブロック図である。図４５は、手振れおよび被写体振れの処理について説明する説明図である。
第５実施形態の撮像装置におけるＤレンジ拡大部５１１では、操作者の手振れによる画像ずれをなくす方向に画像をずらして加算するようにし、手振れによる画像ずれの影響を抑えた画像を得るようにした。本実施形態の撮像装置におけるＤレンジ拡大部６１１では、さらに、手振れに加えて被写体Ｐ２の動きによる画像の振れ（以下、「被写体振れ」と記す）を抑えた画像を得るようにしたものである。
【０１２１】
このために、図４４に示すように、Ｄレンジ拡大部６１１は、Ａ／Ｄ変換部４０５から出力されるＲＧＢの画像を記憶する画像記憶部６３１ａ〜６３１ｄと、画像記憶部６３１ａ〜６３１ｄに記憶された画像から手振れによる画像ずれを検出する手振れ検出部６４２〜６４４と、画像ずれの大きさから手振れの有無を判断する手振れ判断部６４５と、を備える。また、Ｄレンジ拡大部６１１は、画像記憶部６３１ａ〜６３１ｄに記憶された２枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部６５２〜６５４と、手振れ検出部６４２〜６４４によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像信号をずらして加算する一方で、被写体振れ検出部６５２〜６５４で被写体振れが検出された場合には被写体振れのある画素を加算しない加算部６５１と、を備える。
【０１２２】
被写体振れ検出部６５２は、手振れ検出部６４２から得られる画像ずれの大きさとその方向に応じて画像をずらした後で画像記憶部６３１ａ、６３１ｂに記憶されている２枚の画像を画素ごとに比較し、被写体振れのある画素を検出する。同様に、被写体振れ検出部６５３は、手振れ検出部６４３から得られる画像ずれの大きさに応じて画像をずらした後で画像記憶部６３１ｂ、６３１ｃに記憶されている２枚の画像を画素ごとに比較して被写体振れのある画素を検出し、被写体振れ検出部６５４は手振れ検出部６４４から得られる画像ずれの大きさに応じて画像をずらした後で画像記憶部６３１ｃ、６３１ｄに記憶されている２枚の画像を画素ごとに比較して被写体振れのある画素を検出する。
次に、図４５を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
【０１２３】
図４５（ａ）は、時刻ｔ−１〜ｔ＋２に分割して露光したときに撮像して取得された画像信号の状態を示す図である。ここでは、画像Ｂの基準Ｈに対して画像Ａ、画像Ｃおよび画像Ｄの画像ずれを説明する。
図４５（ａ）に示すように、時刻ｔ−１で取得された画像Ａは画像Ｂに対してΔｈ１だけ下側に画像がずれている。同様に、時刻t＋２で取得された画像Ｄは画像Ｂに対してΔｈ２だけ上側に画像がずれている。時刻ｔ＋１で取得された画像Ｃは画像Ｂに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図４５（ｂ）に示すように、Ｄレンジ拡大部６１１は、まず、分割して露光して得た４枚の画像における手振れを、第５実施形態のＤレンジ拡大部６１１と同じ様に、手振れ検出部６４２〜６４４で検出された画像ずれの大きさとその方向に応じた補正値により画像ずれをなくした後、被写体振れ検出部６５２〜６５４により、画像Ａ〜Ｄの隣り合う画像のうち、選択された２枚の画像間で画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像Ａ〜Ｄを加算する。ここで図４５（ｂ）に示す領域Ｘ、Ｙは被写体振れが検出された領域である。
【０１２４】
なお、局所的な被写体Ｐ２の動きの検出は、このように２枚のサブフレーム画像の差分で画素ごとに直接に比較するだけでなく、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を通した後の画像により、着目画素を含む少し広めの領域を比較することで行うようにしてもよい。また、パターンマッチングによって比較することで、局所的な被写体Ｐ２の動きを検出するようにしてもよい。
加算部６５１は、被写体振れ検出部６５２〜６５４から被写体の動きがある局所領域（例えば領域Ｘ、領域Ｙ）の座標（画像上の座標）を取得し、この被写体振れがある領域Ｘ、Ｙでは手振れの画像ずれをなくした後の画素の加算を行わない。一方、加算部６５１は、被写体振れが検出されなかった領域では、手振れの画像ずれをなくした後の画素の加算を行う。
【０１２５】
加算を行わない画像がある場合、加算部６５１は、加算した画像の数に応じた明度調整を行う。例えば、図４５（ｂ）に示すように、画像Ａと画像Ｄの局所領域では被写体振れが発生しているため、その局所領域では画像Ｂと画像Ｃの画素が加算される。このため、明るさが２／４になるため、４／２倍に明るさを調整する。同様に、加算される画像が３枚の場合には明るさが３／４になるため、４／３倍に明るさを調整する。なお、この明るさ調整処理は、必ずしも加算部６５１で行う必要はなく、例えば、信号処理部４１３で行うようにしてもよい。
これにより、被写体振れがある領域Ｘ、Ｙ以外の領域では画素をＤレンジ拡張して加算するため、手振れおよび被写体振れのない画像信号が得られる。
以上のように、本実施形態の撮像装置では、Ｄレンジ拡大部６１１により被写体振れを考慮した処理を実行するので、第５実施形態の撮像装置のＤレンジ拡大部５１１の効果に加え、さらに、被写体振れのない画像信号を得ることができる。
【０１２６】
また、本実施形態の撮像装置では、露光時間を均等に４分割したことで、Ａ／Ｄ変換後の各画像での手振れの程度を同じにでき、手振れによる画像ずれをなくすときに、露光時間の違いによる画像ずれ量の影響を排除できる。このように、本実施形態の撮像装置では、撮像素子４０４を短時間露光（高速シャッタ）で利用することで、手振れおよび被写体振れを抑えた画像を得ることができる。
なお、本実施形態の撮像装置では、画像間の比較によって手振れを検出し、手振れによる画像ずれをなくす方向に画像をずらした後、被写体振れを検出するようにしたが、これに限定されることはない。例えば、三脚等の固定した台に設置したような場合で手振れによる画像ずれがないときには、本実施形態の撮像装置において、手振れ補正のない画像間を比較し、被写体振れを検出してもよい。
【０１２７】
また、本実施形態の撮像装置において、光学式の手振れ補正を使って、予め手振れ補正された複数枚の画像から上述の手法により被写体振れを検出するようにしてもよい。この場合、上述した効果と同様の効果を発揮することができ、本実施形態の撮像装置において、予め手振れ補正された複数枚の画像を有効に利用できる。この光学式の手振れ補正を活用した場合には、撮像素子４の撮像エリア内に手振れ検出用の領域を設ける必要がないため、撮像素子４０４の撮像エリアを有効に活用できる。
［第７実施形態］
次に、図４６および図４７を用いて、本発明の第７実施形態について説明する。
第７実施形態の撮像装置は、第４実施形態の撮像装置４００において、Ｄレンジ拡大部４１１を図４６に示すＤレンジ拡大部７１１に置換したものである。第７実施形態の撮像装置において、第４実施形態の撮像装置４００と同様の部分については、同じ符号を付し、説明を省略する。
【０１２８】
図４６は本実施形態の撮像装置のＤレンジ拡大部７１１の構成を示すブロック図である。図４７は、手振れおよび被写体振れの処理について説明する説明図である。
第６実施形態の撮像装置のＤレンジ拡大部６１１では、手振れによる画像ずれを補正する手振れ処理、被写体振れがある領域を除去する被写体振れの処理を行い、Ｄレンジ拡張して加算するときに、被写体振れをしている局所領域の画像信号を加算しないようにしていた。本実施形態の撮像装置におけるＤレンジ拡大部７１１では、さらに、手振れに加えて被写体振れをしている局所領域の画像信号を除去せずに、手振れおよび被写体振れを抑えた画像信号を得るようにしたものである。
このために、図４６に示すように、Ｄレンジ拡大部７１１は、Ａ／Ｄ変換部４０５から出力されるＲＧＢの画像を記憶する画像記憶部７３１ａ〜７３１ｄと、画像記憶部７３１ａ〜７３１ｄに記憶された画像から手振れによる画像ずれを検出する手振れ検出部７４２〜７４４と、画像ずれの大きさから手振れの有無を判断する手振れ判断部７４５と、を備える。また、Ｄレンジ拡大部７１１は、画像記憶部３１ａ〜３１ｄに記憶された２枚の画像を画素ごとに比較することにより局所領域の被写体振れの有無を検出する被写体振れ検出部７５２〜７５４と、局所領域の被写体振れがある画素に対して被写体振れをなくすように座標を変換する座標変換部７６２〜７６４と、を備える。さらに、Ｄレンジ拡大部７１１は、手振れ検出部７４２〜７４４によって手振れが検出された場合には画像ずれをなくす方向の補正値を算出し、補正値に応じて画像をずらして加算する一方で、被写体振れが検出された場合には座標変換部７６２〜７６４から出力される被写体振れのない画素を加算しない加算部７６１と、を備える。
【０１２９】
さらに、Ｄレンジ拡大部７１１は、被写体振れが検出された場合には、被写体振れが検出された局所領域の差を判断し、座標変換部７６２〜７６４が被写体振れをなくすことができるか否かを判断する被写体振れ判断部７５５を備える。
被写体振れ判断部７５５が被写体振れをなくすことができないと判断した場合、加算部７６１は、画素を加算しないようにし、一方、被写体振れ判断部７５５が被写体振れをなくすことができると判断した場合、加算部７６１は、座標変換部７６２〜７６４から出力される被写体振れのない画素を加算する。
このように、本実施形態の撮像装置のＤレンジ拡大部７１１では、被写体振れ判断部７５５により、被写体振れが検出された局所領域の差を判断することで、被写体の一部が検出できなくなった領域があっても対応することができる。例えば、被写体の手が被写体の背後に隠れても、その手の領域は画素を加算しないようにすることができる。
【０１３０】
座標変換部７６２は、手振れ検出部７４２から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部７３１ａに記憶されている画像信号の被写体振れが検出された画素を座標変換する。同様に、座標変換部７６３は、手振れ検出部７４３から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部７３１ｃに記憶されている画像の被写体振れが検出された画素を座標変換する。また、同様に、座標変換部７６４は、手振れ検出部７４４から得られる画像ずれの大きさとその方向に応じて画像をずらした後、画像記憶部７３１ｄに記憶されている画像の被写体振れが検出された画素を座標変換する。
次に、図４７を用いて、手振れおよび被写体振れの処理について説明する。
ここでは、上下方向と左右方向は同様な処理となるため、説明を容易にするために上下方向の手振れによる画像ずれについて説明する。
【０１３１】
図４７（ａ）に示すように、時刻ｔ−１で取得された画像Ａは画像Ｂに対してΔｈ１だけ下側に画像がずれている。同様に、時刻ｔ＋２で取得された画像Ｄは画像Ｂに対してΔｈ２だけ上側に画像がずれている。時刻ｔ＋１で取得された画像Ｃは画像Ｂに対して画像ずれしていない。
このような手振れによる画像ずれがあった場合には、図４７（ｂ）に示すように、Ｄレンジ拡大部６０は、まず、分割して露光された被写体Ｐ２の４枚の画像の手振れを、第５実施形態の撮像装置のＤレンジ拡大部５１１と同様に、手振れ検出部７４２〜７４４で検出された画像ずれの大きさとその方向に応じた補正値によりずれをなくした後、被写体振れ検出部７５２〜７５４により、画像Ａ〜Ｄの隣り合う画像のうち、選択された２枚の画像間について画素ごとに比較し、画素ごとに被写体振れの領域の有無を検出し、手振れおよび被写体ずれの有無に応じて画像Ａ〜Ｄを加算する。ここで、図４７（ｂ）に示す領域Ｘ、Ｙは、被写体振れが検出された領域である。
【０１３２】
座標変換部７６２〜７６４は、被写体振れ検出部７５２〜７５４によって検出された被写体振れを検出した局所領域（領域Ｘおよび領域Ｙ）について、画素ごとにアフィン変換による移動、回転処理を行い、被写体振れを補正した出力を加算部７６１に出力する。
なお、被写体振れ判断部７５５が、座標変換部７６２〜７６４の出力を判断し、被写体振れをなくすことができないと判断した場合には、加算部７６１は座標変換された画素を加算しないようにする。例えば、被写体Ｐ２の手が被写体Ｐ２自身の背後に隠れてしまい、手が検出できない場合等である。また、被写体Ｐ２の腕や顔等の一部が障害物に隠れた場合でも同様である。このように、座標変換部７６２〜７６４で変換して画像をずらしても重ねることができない場合には、加算部７６１は、座標変換された画像信号を加算しない。
【０１３３】
以上のように、本実施形態の撮像装置によれば、本発明の第６実施形態における撮像装置のＤレンジ拡大部６１１の効果に加え、さらに、局所領域の被写体振れがある画素に対して被写体振れをなくした後で画像Ａ〜Ｄの各画素をＤレンジ拡張して加算することができる。また、本実施形態の撮像装置によれば、被写体振れがあった場合でも、手振れおよび被写体振れを抑えて、Ｄレンジを拡大したＤレンジ拡大画像を得ることができる。なお、本実施形態の撮像装置では、第６実施形態と同様に加算された画像の枚数に応じて明るさ調整を行う。
［他の実施形態］
本発明の第４〜第７実施形態の説明では、通常のカメラで用いられる映像γ処理については省略して説明している。これは、説明を簡単にし、発明内容の理解を容易にすることを目的としているもので、本発明に本質的な影響のない映像γ処理についての説明を省略したものである。したがって、本発明が映像γ処理なしの構成に限定されるものではない。また、本発明の効果は映像γ処理が存在する場合であっても全く同様である。
【０１３４】
また、前述の各実施の形態で説明した機能ブロックは、他のカメラ信号処理機能と一体として集積回路などを用いたハードウェアにより実施してもよいし、集積回路の中に備えられた中央処理装置（以下、「ＣＰＵ」という）を用いて組み込みソフトウェアで実視されてもよい。また、独立したコンピュータのアプリケーションソフトウエアとして実施されてもよい。上記各種機能をソフトウェアおよびハードウェアの混在処理により実現してもよい。
まず、前述の各種機能をハードウェアで実施する場合は、各実施の形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように１チップ化された集積回路としてもよい。例えば、集積回路は、光学系４１６と、撮像素子４０４と、Ａ／Ｄ変換部４０５と、被写体の主要部で最適な明るさが得られるように所定の露光時間ｔ０に応じた光量の調節を行う光量調節部とを備えた撮像装置に用いる集積回路の場合には、前述したのと同様に所定の露光時間ｔ０を均等に分割した時間ｔ１で４回に分けて次々に露光し、４枚の撮像画像が得られるように撮像素子４０４を駆動する駆動部４０６と、Ａ／Ｄ変換部４０５で４枚の撮像画像を変換して得られた４枚の画像を画素ごとにＤレンジ拡張して加算し、Ｄレンジを拡大したＤレンジ拡大画像を出力するＤレンジ拡大部４１１（あるいは５１１、６１１、７１１）と、を備えている。
【０１３５】
また、集積回路は、Ａ／Ｄ変換部４０５の出力が飽和しないように撮像素子４０４を４回に分けて次々に露光し、４枚の撮像画像が得られるように撮像素子４０４を駆動する駆動部４０６と、Ａ／Ｄ変換部４０５で４枚の撮像画像を変換して得られた４枚の画像を画素ごとにＤレンジ拡張して加算し、Ｄレンジを拡大したＤレンジ拡大画像を出力するＤレンジ拡大部４１１（あるいは５１１、６１１、７１１）とを備えるようにしてもよい。
これにより、Ｓ／Ｎ比の劣化を抑え、Ｄレンジの広い画像信号が得られる集積回路を実現することができる。なお、露光の分割の回数は４回に限定されるものでない。必要なＤレンジに応じて、Ｎ回（Ｎ＞１）（Ｎは自然数）に分けて露光し、後でその分割して撮像された画像を画素ごとにＤレンジ拡張して加算すればよい。
なお、ここでの集積回路とは、ＬＳＩに限らず、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１３６】
また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
また、アプリケーションソフトウエアは、ディスク等に格納されて配布される形態のみ成らずネットワークを通じてダウンロードする形態のものでもよい。
また、前述の手振れおよび被写体振れの処理では、上下方向について処理する場合を例に説明したが、これに限定されるものではない。同様に、左右方向について処理するようにしてもよい。さらに、回転方向について処理するようにしてもよい。
【０１３７】
また、前述の実施形態において、フレーム単位の処理を行う場合について説明したが、これに限定されることはなく、例えば、フィールド単位の処理を行うようにしてもよい。
また、前述の実施形態において、画像記憶部（４３１ａ〜４３１ｄ、５３１ａ〜５３１ｄ、６３１ａ〜６３１ｄ、７３１ａ〜７３１ｄ）は、別々の機能ブロックであるものとして説明したが、これに限定されることはなく、例えば、共通のメモリをアドレスで分割して使用することで実現させてもよい。
また、前述の実施形態において、静止画を撮影するデジタルカメラを例にとって説明した部分があるが、これに限定されることはなく、動画を撮影するビデオカメラであっても、メカニカルシャッタが電子シャッタに替わる以外は同様であり、本発明は、ビデオカメラに利用することも可能である。
【０１３８】
また、本発明の各実施の形態における撮像装置は、静止した被写体を撮影するスチルカメラまたは動いている被写体を撮像するビデオカメラ等のデジタルカメラ、被写体を監視する監視カメラ、撮像機能を備えた携帯電話、撮像機能を備えた情報機器、撮像用集積回路等に応用することができる。
なお、本発明の具体的な構成は、前述の各実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
［付記］
本発明は、次のように表現することも可能である。
［第１付記］
（付記１）
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
を備える撮像装置。
（付記２）
電子的に被写体を撮影する撮像装置であって、
光量調節機能を有する光学系と、
前記光学系が結像する像を読み取るイメージセンサと、
前記イメージセンサの出力をＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像装置。
（付記３）
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記１または付記２に記載の撮像装置。
（付記４）
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記２または付記３に記載の撮像装置。
（付記５）
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記２、付記３または付記４に記載の撮像装置。
（付記６）
前記ダイナミックレンジ圧縮手段は、処理すべき画素の周囲の明るさに応じて異なる変換特性を用いて圧縮することを特徴とする、
付記２、付記３または付記４に記載の撮像装置。
（付記７）
電子的に被写体を撮影する撮像方法であって、
撮影シーンのハイライトが飽和しないようイメージセンサへの露光条件を設定するステップと、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像方法。
（付記８）
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の最明部のレベルに応じた変換特性で圧縮するものであることを特徴とする、
付記７に記載の撮像方法。
（付記９）
ダイナミックレンジを非線形に圧縮する前記ステップは、画像データ中の空間的な位置に応じて異なる変換特性を用いて圧縮するものであることを特徴とする、
付記７に記載の撮像方法。
（付記１０）
光量調節機能を有する光学系とイメージセンサとＡ／Ｄ変換器とを有する撮像装置に用いる撮像用集積回路であって、
前記Ａ／Ｄ変換器の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大手段と、
前記ダイナミックレンジ拡大手段の出力を所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮手段と、
を備える撮像用集積回路。
（付記１１）
前記ダイナミックレンジ拡大手段は、入力の感度をデジタルで高める増幅手段を有し、
前記増幅手段の出力を飽和させずに通過させることにより線形にダイナミックレンジ拡大を行うことを特徴とする、
付記１０に記載の撮像用集積回路。
（付記１２）
前記ダイナミックレンジ圧縮手段は、画像中の最明部の明度レベルに応じて変換特性を変化させる非線形圧縮であることを特徴とする、
付記１０または付記１１に記載の撮像用集積回路。
（付記１３）
前記ダイナミックレンジ圧縮手段は、画像の空間的な位置に応じて異なる変換特性を用いて圧縮することを特徴とする、
付記１０、付記１１または付記１２に記載の撮像用集積回路。
（付記１４）
光量調節機能を有する光学系とイメージセンサとＡ／Ｄ変換器とを有する撮像装置に用いる撮像用プログラムであって、
前記イメージセンサの出力をデジタルの画像データに変換するステップと、
前記画像データ中の主要被写体が所望の明るさになるように線形にダイナミックレンジを拡大するステップと、
前記拡大されたダイナミックレンジが所定のダイナミックレンジになるよう非線形に圧縮するステップと、
を備える撮像用プログラム。
【０１３９】
［第２付記］
（付記１）
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
（付記２）
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備えることを特徴とする、
付記１に記載の撮像装置。
（付記３）
前記ダイナミックレンジ拡大部において、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記１または付記２に記載の撮像装置。
（付記４）
前記ダイナミックレンジ圧縮部は、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記２に記載の撮像装置。
（付記５）
前記撮像素子を複数回に分けて露光する前に、
前記所定の露光時間において前記被写体の主要部で所定の明るさが得られるように光量の調節が行われることを特徴とする、
付記１から付記４のいずれか１項に記載の撮像装置。
（付記６）
前記複数枚の画像のうち、異なる２枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記１から付記５のいずれか１項に記載の撮像装置。
（付記７）
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記６に記載の撮像装置。
（付記８）
前記複数枚の画像のうち、異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記１から付記５のいずれか１項に記載の撮像装置。
（付記９）
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記１から付記５のいずれか１項に記載の撮像装置。
（付記１０）
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記９に記載の撮像装置。
（付記１１）
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算するようにしたことを特徴とする、
付記６に記載の撮像装置。
（付記１２）
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断部を備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記１１に記載の撮像装置。
（付記１３）
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像装置。
（付記１４）
光量調節機能を持つ光学部と、
前記光学部によって結像された被写体の像を読み取る撮像素子と、
前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記Ａ／Ｄ変換部で変換して得られた複数枚の画像のうち、異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算部と、
を備え、
前記加算部は、前記被写体振れ検出部で前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像装置。
（付記１５）
付記１から付記１４のいずれか１項に記載の撮像装置を備えるデジタルカメラ。
（付記１６）
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節部と、を備える撮像装置に用いる撮像用集積回路であって、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を駆動する駆動部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備えることを特徴とする、
撮像用集積回路。
（付記１７）
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記被写体の主要部で所定の明るさが得られるように所定の露光時間に応じた光量の調節を行う光量調節ステップと、
前記所定の露光時間を均等に分割した時間で複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
（付記１８）
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮ステップをさらに備えることを特徴とする、
付記１７に記載の撮像方法。
（付記１９）
前記ダイナミックレンジ拡大ステップにおいて、少なくとも入力ダイナミックレンジより大きな出力ダイナミックレンジを有することを特徴とする、
付記１７または付記１８に記載の撮像方法。
（付記２０）
前記ダイナミックレンジ圧縮ステップにおいて、画像の空間的な位置に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮することを特徴とする、
付記１８に記載の撮像方法。
（付記２１）
前記複数枚の画像のうち、異なる２枚の画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップにおいて、手振れ検出ステップにおいて検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記画像をずらして加算することを特徴とする、
付記１７から付記２０のいずれか１項に記載の撮像方法。
（付記２２）
前記複数枚の画像のうち、画像の手振れによる画像ずれをなくした異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップでは、前記被写体振れが検出された場合には、前記被写体振れがある画素を加算しないことを特徴とする、
付記２１に記載の撮像方法。
（付記２３）
前記複数枚の画像のうち、異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記１７から付記２０のいずれか１項に記載の撮像方法。
（付記２４）
手振れ補正された複数枚の画像を取得し、取得された前記複数枚の画像のうち、異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記１７から付記２０のいずれか１項に記載の撮像方法。
（付記２５）
前記手振れ補正が光学式の手振れ補正であることを特徴とする、
付記２４に記載の撮像方法。
（付記２６）
前記複数枚の画像のうち、前記手振れによる画像ずれをなくした異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記被写体振れ検出ステップで前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換ステップと、を備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ検出ステップで前記被写体振れが検出された画素に対しては前記座標変換ステップで変換された画素を加算するようにしたことを特徴とする、
付記２１に記載の撮像方法。
（付記２７）
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断ステップを備え、
前記ダイナミックレンジ拡大ステップは、前記被写体振れ判断ステップが前記被写体振れをなくすことができないと判断した場合には前記被写体振れがある画素を加算しないことを特徴とする、
付記２６に記載の撮像方法。
（付記２８）
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、前記撮像素子を駆動する駆動部と、を備える撮像装置に用いる撮像方法であって、
前記Ａ／Ｄ変換部の出力が飽和しないように前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備えることを特徴とする、
撮像方法。
（付記２９）
光量調節機能を持つ光学部と、前記光学部によって結像された被写体の像を読み取る撮像素子と、前記撮像素子から出力されたアナログの撮像画像をデジタルの画像に変換するＡ／Ｄ変換部と、を備える撮像装置に用いる撮像方法であって、
前記撮像素子を複数回に分けて次々に露光し、複数枚の撮像画像が得られるように前記撮像素子を前記駆動部で駆動する駆動ステップと、
前記Ａ／Ｄ変換部で変換して得られた複数枚の画像のうち、異なる２枚の画像を画素ごとに比較することにより局所領域の被写体振れを検出する被写体振れ検出ステップと、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた前記複数枚の画像を画素ごとに加算する加算ステップと、
を備え、
前記加算ステップにおいて、前記被写体振れ検出ステップで前記被写体振れが検出された場合には前記被写体振れがある画素を加算しないようにすることを特徴とする、
撮像方法。
【産業上の利用可能性】
【０１４０】
本発明に係る撮像装置、撮像方法、撮像用集積回路および撮像用プログラムによれば、自然界の広いＤレンジの画像を飽和させずに撮影し、従来の狭いＤレンジのディスプレイで自然に見える画像を得ることができ、さらに、Ｓ／Ｎ比の劣化を抑えることができるため、デジタルスティルカメラだけでなく、ビデオカメラ、携帯電話内蔵のカメラ、監視カメラ、セキュリティカメラ、ロボットの目など画像を撮影する多くの撮像機器や、デジタルスティルカメラ用のＲＡＷ現像ソフトやフォトレタッチソフトなどのアプリケーションソフトに利用することができる。
【符号の説明】
【０１４１】
Ｐ１、Ｐ２ 被写体
１００、４００ 撮像装置
１１、４０２ 撮像レンズ
１２、４０３ 絞り部
４１６ 光学系
１３、４０４ 撮像部（撮像素子）
２ アナログ信号処理部
３ デジタル信号処理部
２２ ＧＣＡ（Ｇａｉｎ Ｃｏｎｔｒｏｌ Ａｍｐｌｉｆｉｅｒ）
２３、４０５ Ａ／Ｄ変換部
３１、３１Ａ、３１’、３１’’、３１’’’ 信号処理部
３２、４１５ 記憶部（メモリ）
３４ 制御部
３５ 表示部制御部
４１４ 表示部
２０００ Ｄレンジ拡大処理部
２００１、３１２、４１２ Ｄレンジ圧縮部
２００２ Ｄレンジ拡大部
２００４ レジスタ
８００、８００’、８００’’’ パラメータ決定部
８０２、８０２’ ピーク検出部
１２０１ 代表値検出部
３１５ Ｄレンジ設定部
３１６ Ｄレンジ拡大部
１７０１ 顔検出部（特徴画像領域検出部）
１７０２ 明度検出部
３１４ ピーク検出部
３１５ Ｄレンジ設定部
３１６１ 周囲明度検出部
３１６２ 動的階調補正部
４０６ 駆動部
４０７ 操作部
４０８ システム制御部
４０９ 露光条件設定部
４１０ 画像処理部
４１１，５１１，６１１，７１１ Ｄレンジ拡大部
４１２ Ｄレンジ圧縮部
４１３ 信号処理部
１４ 表示部
１５ 記憶部
４１６ 光学系
４３０，５４１，６５１，７６１ 加算部
４３１ａ〜４３１ｄ，５３１ａ〜５３１ｄ，６３１ａ〜６３１ｄ，７３１ａ〜７３１ｄ 画像記憶部
５４２〜５４４、６４２〜６４４、７４２〜７４４ 手振れ検出部
７４５ 手振れ判断部
６５２〜６５４、７５２〜７５４ 被写体振れ検出部
７５５ 被写体振れ判断部
７６２〜７６４ 座標変換部
４１２１ 動的階調補正部
４１２２ 周囲明度検出部

【特許請求の範囲】
【請求項１】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部と、
を備える撮像装置。
【請求項２】
前記ダイナミックレンジ拡大画像のダイナミックレンジを所定のダイナミックレンジに非線形に圧縮するダイナミックレンジ圧縮部をさらに備える、
請求項１に記載の撮像装置。
【請求項３】
前記ダイナミックレンジ拡大部は、少なくとも入力ダイナミックレンジより大きい出力ダイナミックレンジを有している、
請求項１または請求項２に記載の撮像装置。
【請求項４】
前記ダイナミックレンジ圧縮部は、前記画像信号についての周囲明度値に応じて変化する変換特性を用いて前記ダイナミックレンジ拡大画像のダイナミックレンジを圧縮する、
請求項２に記載の撮像装置。
【請求項５】
前記光量調節部は、前記撮像部を複数回に分けて露光する前に、前記所定の露光時間において前記被写体の主要部で所定の明るさが得られるように前記光学系に入射される光量の調節を行う、
請求項１から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記複数枚のデジタル画像のうち、異なる２枚のデジタル画像から手振れによる画像ずれの大きさとその方向を検出する手振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記手振れ検出部で検出された前記画像ずれの大きさとその方向に応じて前記画像ずれをなくす方向に前記デジタル画像をずらして加算する、
請求項１から請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記手振れ検出部は、センサからの出力に応じて手振れによる画像ずれをなくす方向に画像をずらして複数毎のデジタル画像を生成し、
前記複数枚のデジタル画像のうち、前記手振れによる画像ずれをなくした異なる２枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項６に記載の撮像装置。
【請求項８】
前記複数枚のデジタル画像のうち、異なる２枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項１から請求項５のいずれか１項に記載の撮像装置。
【請求項９】
手振れ補正された複数枚のデジタル画像を取得し、取得された前記複数枚のデジタル画像のうち、異なる２枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された場合、前記被写体振れがある画素を加算しない、
請求項１から請求項５のいずれか１項に記載の撮像装置。
【請求項１０】
前記被写体振れ検出部は、光学式の手振れ補正により手振れ補正された前記複数枚のデジタル画像を用いて、前記被写体振れを検出する、
請求項９に記載の撮像装置。
【請求項１１】
前記複数枚のデジタル画像のうち、前記手振れによる画像ずれをなくした異なる２枚の前記デジタル画像を画素ごとに比較することにより前記デジタル画像上の局所領域の被写体振れを検出する被写体振れ検出部と、
前記被写体振れ検出部で前記被写体振れが検出された画素に対して前記被写体振れをなくすように座標を変換する座標変換部と、
をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ検出部で前記被写体振れが検出された画素に対しては前記座標変換部で変換された画素を加算する、
請求項６に記載の撮像装置。
【請求項１２】
前記被写体振れをなくすことができるか否かを判断する被写体振れ判断部をさらに備え、
前記ダイナミックレンジ拡大部は、前記被写体振れ判断部が前記被写体振れをなくすことができないと判断した場合、前記被写体振れがある画素を加算しない、
請求項１１に記載の撮像装置。
【請求項１３】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備える撮像装置。
【請求項１４】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、
Ａ／Ｄ変換部の出力値を調整するデジタル信号処理部と、
を備える撮像装置に用いられる撮像方法であって、
前記光量調整部を用いて前記光量を減少させる光量減少ステップと、
前記デジタル信号処理部を用いて、前記減少させた光量に応じた拡大率で、前記Ａ／Ｄ変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大ステップと、
を含む撮像方法。
【請求項１５】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
を備える撮像装置に用いられる撮像方法であって、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動ステップと、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大ステップと、
を備える撮像方法。
【請求項１６】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
を備える撮像装置に用いられる撮像方法であって、
前記Ａ／Ｄ変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動ステップと、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大ステップと、
を備える撮像方法。
【請求項１７】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、
Ａ／Ｄ変換部の出力値を調整するデジタル信号処理部と、
前記光量調整部と前記デジタル信号処理部とを制御する制御部と、
を備える撮像装置の制御部で実行されるプログラムであって、
前記制御部に、
前記光量調整部を用いて前記光量を減少させるための信号を生成させるステップと、
前記デジタル信号処理部を用いて、前記減少させた量に応じた拡大率で、前記Ａ／Ｄ変換部の出力のダイナミックレンジを線形に拡大させるための信号を生成させるダイナミックレンジ拡大ステップと、
を実行させるプログラム。
【請求項１８】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
Ａ／Ｄ変換部の出力値を調整するデジタル信号処理部と、
前記光量調整部と前記撮像部と前記デジタル信号処理部とを制御する制御部と、
を備える撮像装置の制御部で実行されるプログラムであって、
前記制御部に、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動させるための信号を生成する駆動ステップと、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算させ、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力させるための信号を生成するダイナミックレンジ拡大ステップと、
を実行させるためのプログラム。
【請求項１９】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、
を含む撮像装置に用いられる集積回路であって、
前記Ａ／Ｄ変換部の出力のダイナミックレンジを線形に拡大するダイナミックレンジ拡大部と、
前記拡大の度合いと相反する量で、前記光量調節部の光量を調節する制御部と、
を備える集積回路。
【請求項２０】
被写体からの光を集光する光学系と、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
所定の露光時間を均等に分割した時間で複数回に分けて次々に前記撮像部を露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
を含む撮像装置に用いられる集積回路であって、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚のデジタル画像を画素ごとにダイナミックレンジ拡張して加算し、
ダイナミックレンジを拡大したダイナミックレンジ拡大画像を生成し、出力するダイナミックレンジ拡大部、を備える集積回路。
【請求項２１】
被写体からの光を集光する光学系と共に用いられる集積回路であって、
前記光学系に入射される光量を調節する光量調節部と、
前記光学系で集光した光により結像された前記被写体の像を読み取り、画素からなる画像を形成することができる画像信号として出力する撮像部と、
前記撮像部から出力されたアナログの撮像画像をデジタル画像に変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換部の出力が飽和しないように前記撮像部を複数回に分けて次々に露光し、複数枚の前記撮像画像が得られるように前記撮像部を駆動する駆動部と、
前記Ａ／Ｄ変換部で前記複数枚の撮像画像を変換して得られた複数枚の前記デジタル画像を画素ごとにダイナミックレンジ拡張して加算し、ダイナミックレンジを拡大したダイナミックレンジ拡大画像を出力するダイナミックレンジ拡大部と、
を備える集積回路。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【公開番号】特開２０１２−２０９９５１（Ｐ２０１２−２０９９５１Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１２−１２７２８５（Ｐ２０１２−１２７２８５）
【出願日】平成２４年６月４日（２０１２．６．４）
【分割の表示】特願２００８−３２２１８（Ｐ２００８−３２２１８）の分割
【原出願日】平成２０年２月１３日（２００８．２．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】