説明

撮像装置及びその制御方法

【課題】 基準感度以下の感度で撮像された画像の暗部における解調性を改善する。
【解決手段】 基準感度を下回る感度に設定する場合、線形変換部(例えばゲイン回路)の入出力特性と、非線形変換部(例えばガンマ回路)の入出力特性との組み合わせにより、変更後の撮像感度に対応した出力が非線形変換部から得られるように、非線形変換部の入出力特性を基準感度に対応する入出力特性から変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置及びその制御方法に関し、特には感度設定に応じて、非線形入出力特性を最適に制御する技術に関する。
【背景技術】
【0002】
デジタルカメラや携帯電話などの撮像装置においては、撮像素子の入出力特性のうち線形性のある範囲を使い切れるよう、出力される撮像信号に対する増幅率(感度)を設定している。図6(b)は、ゲイン回路とも呼ばれる線形変換部の入出力特性例を示す。図6(b)において、左上のゼロ点から(ア)の黒点のポイントまで、線形変換部の入力(撮像素子の出力)に対して出力が線形に変化している。(ア)の黒点より大きくなると、撮像素子の光電変換素子の飽和特性により出力が線形に上昇しなくなり、(ア)の黒点から傾きが小さくなっている。そして、(ア)の黒点で線形変換の最大出力(ここでは511)が得られるように入出力特性が設定されている。この時の感度が前述の増幅率(感度)であり、これを以降、基準感度と呼ぶこととする。
【0003】
また、図6(a)はガンマ回路ともよばれる非線形変換部の入出力特性を示す。横軸は非線形変換部の入力であり、線形変換部の出力と等価である。縦軸は非線形変換部の出力であり、表示装置等の出力装置の特性に応じた入出力特性が設定される。
【0004】
図6(a)の曲線は、図6(b)における入出力特性が線形である領域(ゼロ点から黒点まで)を最大限利用したガンマ曲線である。ガンマ曲線は、線形変換部の最大出力値511がガンマ回路に入力された場合に、最大出力値255が得られるように設定されている。
【0005】
ここで、線形変換部に2倍(6dB)(1の折れ線)と1倍(0dB)(2の折れ線)の入出力特性が設定されていた場合を比較する。非線形変換部の出力がAになるためには6dB(1の折線)の場合は入力αが必要であり、0dB(2の折線)の場合は入力2αが必要となる。
【0006】
すなわち、6dBの設定(1の折線)であれば0dBの設定(2の折線)と比較して、半分の入力で同じ出力を得ることができる。換言すると、6dBの設定(1の折線)時のダイナミックレンジは0dBの設定(2の折線)の時の2倍となる。このように、被写体輝度に対する撮像装置のダイナミックレンジを大きくするためには、センサ出力信号の増幅率(感度)を増加させれば良い。ただし、感度を増加することによりSN比が低下する。
【0007】
シネマ撮影向けの撮像装置には大きなダイナミックレンジが要求されることが多く、SN比よりもダイナミックレンジを優先し、基準となる感度を高くしているのが現状である。ただし、基準感度を比較的高くした場合でもSN比を優先した撮像が可能なように、基準感度より低い感度を設定可能としていることが多い。
【0008】
しかしながら、感度を基準感度以下とした場合、以下のような問題が生じる。例えば基準感度が図6(b)に示す6dB(1の折線)に設定されていたとする。前述の通り、線形変換部の入出力特性は、ゼロ点から入力が2αとなる黒点までが線形であり、入力が2αを超えると非線形である。6dBの設定であれば、非線形変換部の全入力範囲を線形変換部の入出力特性が線形の範囲でまかなえる。しかし、感度を0dBに変更すると、非線形変換部の入力値のうちB〜511までの範囲(高輝度部分)が、線形変換部の入出力特性の非線形な部分に対応することになる。
【0009】
このような入力に対して非線形変換部で図6(a)の入出力特性1を適用すると、高輝度部分のRGBバランスが崩れ、不自然な色となってしまう。そのため、感度を基準感度よりも下げた場合、図6(a)の入出力曲線2に示すように、線形変換部の入出力特性が非線形になる部分の出力を一定にするクリップ処理を行い、不自然な色を見せないようにすることが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2010−51029号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、クリップ処理される範囲は入力値に関わらず出力が一定値となるため、非線形変換部の入力レンジが有効に使用されていない。そのため、非線形変換部への入力の変化量に対する非線形変換部からの出力の変化量が大きく、画像の暗部の緩やかなグラデーション部に疑似輪郭が生じて不自然な画像となることが考えられる。
【0012】
本発明はこのような従来技術の課題に鑑みてなされたもので、基準感度以下の感度で撮像された画像の暗部における解調性を改善することが可能な撮像装置及びその制御方法の提供を目的とする。
【課題を解決するための手段】
【0013】
上述の目的は、撮像素子の出力を線形的な入出力特性で変換して出力する線形変換手段と、線形変換手段の出力を非線形な入出力特性で変換して出力する非線形変換手段と、線形変換手段と非線形変換手段の入出力特性を制御する制御手段と、撮像感度の変更指示を受け付ける指示手段とを有する撮像装置であって、制御手段は、指示手段から撮像感度の変更指示を受け付けた場合、変更後の撮像感度が予め定められた基準感度を下回る場合には、線形変換手段の入出力特性と非線形変換手段の入出力特性との組み合わせにより、変更後の撮像感度に対応した出力が非線形変換手段から得られるように、非線形変換手段の入出力特性を基準感度に対応する入出力特性から変更する、ことを特徴とする撮像装置によって達成される。
【発明の効果】
【0014】
このような構成により、本発明によれば、基準感度以下の感度で撮像された画像の暗部における解調性を改善することが可能な撮像装置が実現できる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る撮像装置における、信号増幅に関する機能構成例を示すブロック図
【図2】図1の線形変換部及び非線形変換部の入出力特性を示す図
【図3】図1の線形変換部及び非線形変換部の入出力特性を示す図
【図4】本発明の効果を説明するための図
【図5】図1の動作を説明するためのフローチャート
【図6】従来の線形変換部及び非線形変換部の入出力特性を示す図
【発明を実施するための形態】
【0016】
以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。
図1は、本発明の実施形態に係る撮像装置において、撮像素子の出力を増幅するために設けられた構成を取り出して示したブロック図である。撮像素子100は例えばCMOSイメージセンサやCCDイメージセンサであり、入射した光を電気信号に変換して出力する。線形変換部101は、撮像素子100の出力を線形的な入出力特性で変換して出力する。線形変換部101は通常、ゲイン(dB)設定や撮像感度(ISO)設定を変更する為に設けられる、所謂ゲイン回路である。非線形変換部102は線形変換部101の出力を非線形的な入出力特性で変換して出力する。非線形変換部102は通常、ガンマ回路と呼ばれ、表示装置等の出力装置の特性に応じた入出力特性(ガンマ曲線)が設定される。例えば、テレビモニタであれば、ITU−BT709で規定されている、ガンマ=0.45のガンマ曲線を設定することにより、テレビモニタに入力された画像を正しく表示することができる。
【0017】
入出力特性算出部103は、撮像感度に応じた出力が非線形変換部102から得られるように、線形変換部101と非線形変換部102の入出力特性を制御する。例えば、線形変換部のゲインを基準感度(6dBとする)から3dB下降すべきと判断した場合、入出力特性算出部103は、線形変換部101に対して入出力特性の傾きを現在の約1/1.41倍に設定するよう指示する。また、非線形変換部102の入出力特性を基準感度に対応した特性から3dB分下降すべきと判断される場合、入出力特性算出部103は非線形変換部102に対し、各入力値において出力が1/1.41倍になるように入出力特性を変更するよう指示する。これらゲインの変更を、図2(a)は線形変換部101の入出力特性、図2(b)は非線形変換部102の入出力特性について示している。
【0018】
図1に戻って、ゲインスイッチ104は、ユーザが撮像装置に撮像感度の変更を指示するためのユーザインタフェースである。ゲインスイッチ104から、撮像感度を変更する指示が入力された場合、入出力特性算出部103は、その変更を線形変換部101と非線形変換部102のいずれによって、あるいは両方で実現すべきかを決定し、決定に応じた入出力特性の変更を制御する。
【0019】
なお、ゲインスイッチ104からの変更指示ではなく、線形変換部101の出力から被写体の明るさの変化を検出し、明るさの変化に相当する感度変更を実現する入出力特性の変更を、入出力特性算出部103が自動的に実行してもよい。
【0020】
以降、本実施形態ではゲインスイッチ104から撮像感度の変更指示がなされるものとする。また、感度以外に露出条件に関係する絞り値、NDフィルタの有無、電子シャッタスピードは固定であるとして、感度変更動作について説明する。
【0021】
次に、図3を使って本実施形態における感度設定動作について説明する。
図3は、図6と同様、非線形変換部102と線形変換部101の入出力特性を示す図である。まず、図3(b)の線形変換部101の入出力特性は、図6(b)において6dBのゲイン設定をした場合と同様、ゼロ点から所定値である黒点までの入力値に対して一定の傾きを有する。この入出力特性を基準感度に対応する入出力特性とする。図3(a)は非線形変換部の入出力特性を示す。図3(a)に破線で描かれた曲線は、線形変換部101の基準感度における入出力特性が線形である範囲を最大限利用した場合のガンマ曲線である。線形変換部101の基準感度に対応する入出力特性において黒点に対応する出力値が、非線形変換部102の最大入力値511となり、最大入力値511に対して最大出力値255が出力されるように非線形変換部102の入出力特性が決定されている。なお、ガンマ曲線の形状を決定するガンマ係数は出力機器に応じて設定される。
【0022】
ここで、ゲインスイッチ104を通じて、基準感度を1/2(−6dB)減ずるように指示されたものとする。この場合、従来の方法では、図6(b)の2の折れ線で示したように、線形変換部101の入出力特性の傾きを基準感度の折れ線の1/2にするように設定し、また、非線形変換部ではクリップ処理が行われる。
【0023】
これに対し本実施形態において入出力特性算出部103は、線形変換部101の入出力特性は変更せず、非線形変換部102の入出力特性を変更する。具体的には、入出力特性算出部103は、非線形変換部102の入出力特性(ガンマ曲線)を、全入力ポイントに対して出力を半分にするように変更する(図3(a)に実線で示す曲線)。これにより、あたかも線形変換部101で感度を1/2(−6dB)したのと同様の明るさを実現することができる。これは、線形変換部101で感度を1/2した場合(図3(b)に破線で示す)に線形の入出力特性が維持される範囲を、非線形変換部102の入力範囲に対応させることと等価であるため、非線形変換部102のレンジを有効に使用できるようになる。
【0024】
これにより、クリップ処理も不要となるので、非線形変換部102の入力における高輝度部分のRGBバランスが崩れない。また、画像暗部の階調性が改善される。図4は、非線形変換部102の入出力特性曲線の原点付近を拡大したものであり、(a)が感度変更前(基準感度設定時。図3(a)の破線に対応)、(b)が感度変更後(図3(a)の実線に対応)である。
【0025】
図3(a)では入力の変化量に対する出力の変化量が大きく、所謂「飛んだ」状態となっている。微小な輝度変化が生じている被写体を撮影した場合、この「飛び」が大きくなればなるほど疑似輪郭がはっきりと認識され、低画質となる。特に感度を低減すると画像のSN比が良くなり、疑似輪郭が見えやすくなるため、低感度において入力値の変化量に対する出力値の変化量が小さい(「飛び」が小さい)ことが、画質の面で重要である。本実施形態では、非線形変換部102の入出力特性を変更することにより感度低減を行うことで、原点付近の入出力特性は図4(b)のように、入力の変化量に対する出力の変化量が小さいので、疑似輪郭の発生を抑制できる。
【0026】
基準感度から感度を下げた場合を説明したが、基準感度以上から基準感度未満に感度を下げた場合、基準感度までは線形変換部101で感度を下げ、基準感度未満の部分は非線形変換部102の入出力特性を変更する。これにより、感度の低減時における非線形変換部102でのクリップ処理が不要となる。また、基準感度以上の範囲内での感度変更は従来通り線形変換部101のみで感度を変更すれば良い。
【0027】
図5に示すフローチャートを用いて、上述した本実施形態の動作を説明する。
制御手段としての入出力特性算出部103は、S500で、ゲインスイッチ104から、感度の変更指示が入力された場合、変更後の感度(変更予定感度)が基準感度未満かどうか判別する。入出力特性算出部103は、変更予定感度が基準感度未満であればS501に、基準感度以上であればS503に処理を進める。
【0028】
S501で入出力特性算出部103は、線形変換部101に入出力特性を(基準感度でなければ)基準感度に設定するよう指示する。これにより、撮像素子出力(線形変換部入力)が線形である部分を最大限に利用することができる。
【0029】
次に入出力特性算出部103はS502で、非線形変換部102に対し、入出力特性を(基準感度−変更予定感度)の分だけ、基準感度状態から変更するよう指示する。S501で指示した線形変換部101の感度変更と、S502で指示した非線形変換部102の入出力特性変更との合計により、ゲインスイッチ104を通じて指示された感度変更を実現する。
【0030】
一方、S500で変更予定感度が基準感度以上だった場合、入出力特性算出部103はS503にて線形変換部101の感度を変更予定感度に変更するよう指示する。非線形変換部102の入出力特性は変更しない。このように、変更予定感度が基準感度以上の場合には、線形変換部101の感度変更によって感度変更を実現する。
【0031】
以上、説明したように、本実施形態は、基準感度を下回る部分の感度変化については線形変換部の入出力特性は基準感度を維持し、非線形変換部の入出力特性を変更することで対応する。また、基準感度を上回る部分の感度変化については線形変換部の入出力特性を変更することによって対応する。これにより、感度設定により映像を暗くし、またはSN比を良くする際、特に画像の暗部における階調性を増加させ、より自然な画像を得ることができる。
【0032】
特にシネマ撮影用のカメラのように、基準感度を高くしてダイナミックレンジを拡げている撮像装置では、一般的な撮像装置よりも基準感度未満の感度設定が実施されやすいため、本発明は特に有効である。
【0033】
なお、上記の実施形態では、変更予定感度が基準感度未満の場合、入出力特性を基準感度に設定するよう指示したが、高輝度部分のRGBバランス及び画像暗部の階調性への影響が許容できる範囲であれば、基準感度未満の感度に設定するよう指示してもよい。その場合、非線形変換部102に対し、入出力特性を(変更後感度−変更予定感度)の分だけ、基準感度状態から変更するよう指示する。すなわち、変更予定感度が基準感度未満の場合、線形変換部101の入出力特性変更と非線形変換部102の入出力特性変更との組み合わせにより、ゲインスイッチ104で指示された撮像感度に対応した出力を得るようにしてもよい。このような方法であっても、従来の方法に比べると、基準感度以下の感度で撮像された画像の暗部における解調性を改善することが可能である。

【特許請求の範囲】
【請求項1】
撮像素子の出力を線形的な入出力特性で変換して出力する線形変換手段と、
前記線形変換手段の出力を非線形な入出力特性で変換して出力する非線形変換手段と、
前記線形変換手段と前記非線形変換手段の入出力特性を制御する制御手段と、
撮像感度の変更指示を受け付ける指示手段とを有する撮像装置であって、
前記制御手段は、前記指示手段から前記撮像感度の変更指示を受け付けた場合、
変更後の撮像感度が予め定められた基準感度を下回る場合には、前記線形変換手段の入出力特性と前記非線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性から変更する、ことを特徴とする撮像装置。
【請求項2】
前記制御手段は、前記変更後の撮像感度が予め定められた基準感度を下回る場合には、前記線形変換手段の前記基準感度に対応する入出力特性と前記非線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性から変更する、ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は、前記変更後の撮像感度が予め定められた基準感度以上の場合には、前記非線形変換手段の前記基準感度に対応する入出力特性と前記線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記線形変換手段の入出力特性を前記基準感度に対応する入出力特性から変更する、ことを特徴とする請求項1又は請求項2記載の撮像装置。
【請求項4】
前記線形変換手段の前記基準感度に対応する入出力特性が、ゼロ点から所定値までの入力に対して一定の傾きを有し、
前記非線形変換手段の入力範囲が、前記線形変換手段の前記基準感度に対応する入出力特性における前記所定値に対応する出力値を最大入力値とするように定められていることを特徴とする請求項1乃至請求項3のいずれか1項に記載の撮像装置。
【請求項5】
前記線形変換手段がゲイン回路であり、前記非線形変換手段がガンマ回路であることを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。
【請求項6】
撮像素子の出力を線形的な入出力特性で変換して出力する線形変換手段と、
前記線形変換手段の出力を非線形な入出力特性で変換して出力する非線形変換手段と、
前記線形変換手段と前記非線形変換手段の入出力特性を制御する制御手段と、
撮像感度の変更指示を受け付ける指示手段とを有する撮像装置の制御方法であって、
前記指示手段から前記撮像感度の変更指示を受け付けた場合、
前記制御手段が、変更後の撮像感度が予め定められた基準感度を下回る場合には、前記線形変換手段の入出力特性と前記非線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性から変更する工程、を有することを特徴とする撮像装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−98741(P2013−98741A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−239558(P2011−239558)
【出願日】平成23年10月31日(2011.10.31)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】