撮像システム及び画像処理方法並びに画像処理プログラム
【課題】階調とびを低減し、高品位な映像信号を得ること。
【解決手段】Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から第２階調変換特性を算出し、該第１階調変換特性を用いて第２階調変換特性を補正し、補正後の第２階調変換特性を用いて映像信号に第２階調変換処理を行う。
【解決手段】Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から第２階調変換特性を算出し、該第１階調変換特性を用いて第２階調変換特性を補正し、補正後の第２階調変換特性を用いて映像信号に第２階調変換処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム及び画像処理方法並びに画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、現在のデジタルスチルカメラやビデオカメラなどでは、映像信号に対して表示系を考慮した階調変換処理（例えば、ガンマ変換処理）が行われる。また、人間の目に好ましい映像信号にするため、ガンマ変換後の映像信号の情報、例えばヒストグラムの情報を用いて更に階調変換処理を行い、映像信号に応じたコントラスト調整を行うことにより、より高画質な映像信号を得る方法も知られている。
【０００３】
例えば、特開２００７−８８６５０号公報には、濃度補正処理により原画像に白飛び現象が発生する可能性があるか否かを事前に判断し、可能性のある場合に、白飛び現象が発生しないように濃度補正曲線を補正する方法が開示されている。また、特開２００７−４７２４４号公報には、階調範囲の伸張に伴って画像が劣化する場合に、その劣化位置に応じた伸張処理を行う方法が開示されている。
【特許文献１】特開２００７−８８６５０号公報
【特許文献２】特開２００７−４７２４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、いずれの方法もガンマ変換処理における階調幅の変化については考慮されておらず、階調幅が足りないために階調変換処理による階調とびが生ずるおそれがある。
【０００５】
本発明は、上記問題を解決するためになされたもので、階調とびを低減し、高品位な映像信号を得ることの可能な撮像システム及び画像処理方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、撮像系からの映像信号を階調変換して出力する撮像システムであって、Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する第２階調変換特性算出手段と、前記第１階調変換特性を用いて、前記第２階調変換特性算出手段により算出された第２階調変換特性を補正する第２階調変換特性補正手段と、前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う第１階調変換手段と、前記第２階調変換特性補正手段により補正された前記第２階調変換特性を用いて、前記第１階調変換手段により前記第１階調変換処理が施された映像信号に第２階調変換処理を行う第２階調変換手段とを具備する撮像システムである。
【０００７】
本発明の第２の態様は、撮像系からの映像信号を階調変換して出力する画像処理方法であって、Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する過程と、前記第１階調変換特性を用いて、前記第２階調変換特性を補正する過程と、前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う過程と、補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う過程とを有する画像処理方法である。
【０００８】
本発明の第３の態様は、撮像系からの映像信号に対する階調変換処理をコンピュータに実行させるための画像処理プログラムであって、Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する処理と、前記第１階調変換特性を用いて、前記第２階調変換特性を補正する処理と、前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う処理と、補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う処理とをコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、高品位な映像信号を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明に係る撮像システム及び画像処理方法並びに画像処理プログラムの一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態に係る撮像システムの概略構成を示したブロック図である。本実施形態に係る撮像システムは、例えば、デジタルカメラであり、図１に示されるように、撮像部２と画像処理部３とを備えている。撮像部２は、レンズ系１００、シャッター（図示略）、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４、及びＡＦモータ１０２等を備えている。撮像部２により取得されたアナログ信号の映像信号は、画像処理部３に入力される。
【００１１】
画像処理部３は、例えば、ＡＳＩＣであり、アナログ／デジタル変換部（以下「Ａ／Ｄ変換部」という。）１０５、バッファ１０６、撮影制御部１０７、信号処理部１０８、第１階調変換特性算出部１０９、第２階調変換特性算出部（第２階調変換特性算出手段）１１０、第２階調変換特性補正部（第２階調変換特性補正手段）１１１、第１階調変換部（第１階調変換手段）１１２、第２階調変換部（第２階調変換手段）１１３、圧縮部１１４、制御部１１６等を備えている。これら各部は、画像処理部３内のデータバス３０を介して相互に接続されている。更に、画像処理部３は、電源スイッチ、シャッターボタン、並びに撮影時の各種モードの切替を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１７、及び出力部１１５等を備えている。
【００１２】
画像処理部３において、制御部１１６は、各部の制御を行う。
Ａ／Ｄ変換部１０５は、アナログ信号の映像信号をデジタル信号の映像信号に変換し、バッファ１０６に出力する。バッファ１０６は、Ａ／Ｄ変換部１０５からの映像信号を保持する。
撮影制御部１０７は、制御部１１６からの制御信号に基づいて、バッファ１０６に保持されている単板状態の映像信号を読み出し、この映像信号のＡＦエリア内のコントラスト情報を検出する。そして、ＡＦエリア内のコントラストが最大となるようにＡＦモータ１０２を制御することで、被写体に焦点を合わせる。また、撮影制御部１０７は、バッファ１０６に保持されている映像信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるよう、絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。
なお、合焦処理においては、上記方法に代えて、例えば、外部赤外線センサを設け、撮影制御部１０７が、この外部赤外線センサにより測定された主要被写体までの距離に応じてＡＦモータ１０２を制御することで、被写体に焦点を合わせることとしてもよい。
【００１３】
信号処理部１０８は、制御部１１６からの制御信号に基づいて、バッファ１０６に保持されている単板状態の映像信号を読み出す。そして、読み出した映像信号に対して補間処理、ホワイトバランス処理等の公知の信号処理を実行し、各画素ＲＧＢの三板状態の映像信号を生成する。更に、信号処理部１０８は、以下の（１）式に示されるように、ＲＧＢ信号をＹＣｂＣｒ信号に変換することとしてもよい。
信号処理部１０８は、上記信号処理後の映像信号を第１階調変換特性算出部１０９、第２階調変換特性算出部１１０、及び第１階調変換部１１２に出力する。
【００１４】
【数１】
【００１５】
第１階調変換特性算出部１０９は、信号処理部１０８から転送されたＭビットの映像信号をＮビット（Ｍ，Ｎはともに整数であり、Ｍ＞Ｎ）の映像信号に変換するのに使用される第１階調変換特性（例えば、ガンマ曲線）を算出し、算出した第１階調変換特性を第２階調変換特性算出部１１０、第２階調変換特性補正部１１１、及び第１階調変換部１１２に出力する。
例えば、第１階調変換特性算出部１０９は、表示モードの切替、撮影モード等の撮影時における各種設定条件に対応付けられた複数の第１階調変換特性を保持している。そして、これら複数の第１階調変換特性の中から、制御部１１６から入力される撮影時の設定条件に対応する第１階調変換特性を抽出する。なお、第１階調変換特性の算出手法については、上記手法に限定されず、公知のその他の手法を用いることも可能である。
図２に第１階調変換特性の一例を示す。図２には、暗部の階調性を考慮した第１階調変換特性が示されている。第１階調変換特性は、例えば、所定の関数式或いはテーブルで表現されている。
【００１６】
第２階調変換特性算出部１１０は、図３に示すように、バッファ３００、階調変換部３０１、ヒストグラム作成部（ヒストグラム作成手段）３０２、クリッピング部（クリッピング手段）３０３、および累積正規化部（累積値算出手段）３０４を備えて構成されている。信号処理部１０８からの映像信号は、バッファ３００に転送され、保持される。階調変換部３０１は、制御部１１６からの制御信号に基づいて、バッファ３００から映像信号を読み出し、上述した第１階調変換特性算出部１０９から転送された第１階調変換特性を用いて、読み出した映像信号に対して第１階調変換処理を行い、処理後の映像信号をヒストグラム作成部３０２に出力する。
【００１７】
ヒストグラム作成部３０２は、階調変換部３０１からの映像信号のヒストグラムを算出し、クリッピング部３０３に出力する。図４は、ヒストグラム作成部３０２によって作成されるヒストグラムの一例を示した図である。
クリッピング部３０３は、図５に示すように、ヒストグラム作成部３０２により作成されたヒストグラムに対して予め決められている所定のクリッピング値を用いてクリッピング処理を行い、累積正規化部３０４に出力する。
累積正規化部３０４は、クリッピング部３０３から転送されたヒストグラムに対して、累積処理を行い、第２階調変換特性を算出し、第２階調変換特性補正部１１１に出力する。図６に、第２階調変換特性の一例を示す。図６において、実線はクリッピング処理前のヒストグラムから算出された第２階調変換特性の一例を、点線はクリッピング処理後のヒストグラムから算出された第２階調変換特性の一例を示している。図６から明らかなように、クリッピング処理を行うことによってコントラストをあまり強調しない第２階調変換特性を得ることが可能となる。
【００１８】
第２階調変換特性補正部１１１は、図７に示されるように、傾き算出部（傾き算出手段）２００、比較部（比較手段）２０１、補正部（補正手段）２０２、ＲＯＭ２０３を備えて構成されている。
傾き算出部２００は、第１階調変換特性算出部１０９によって算出された第１階調変換特性の各入力ビットの変化量に対する出力ビットの変化量を示す傾きをそれぞれ求め、比較部２０１に出力する。具体的には、第１階調変換特性の各入力ビットに対する傾きを、微分演算をすることによってそれぞれ算出する。
【００１９】
比較部２０１は、ＲＯＭ２０３に記憶されている所定の閾値を読み出し、この閾値と傾き算出部２００から入力された傾きとを比較し、傾きが閾値よりも小さい入力ビットの領域を特定し、その領域の情報とその傾きとを対応付けて補正部２０２に出力する。
【００２０】
補正部２０２には、上記第２階調変換特性算出部１１０からの第２階調変換特性と、比較部２０１からの傾き及び領域情報とが入力される。補正部２０２は、第１階調変換特性の傾きに応じて第２階調変換特性を補正する。より具体的には、第２階調変換特性における、比較部２０１によって特定された領域に対応する領域において、第２階調変換特性の傾きが小さくなるように、第２階調変換特性を補正する。例えば、図８に示されるような第１階調変換特性を想定した場合であって、比較部２０１により、入力ビット値ｘに対する傾きｍが所定の閾値よりも小さいと判断された場合には、補正部２０２は、図９に示すように、入力ビット値ｘに対応する入力輝度値ｉｋにおいて、第２階調変換特性の傾きを小さく補正することにより、入力輝度値ｉｋにおけるコントラストの強調具合を緩和させる。このように、ビット割当が少ないために通常であればコントラストが強調されてしまい、階調とびが目立ちやすいような領域に対して、コントラストの強調具合を緩和させる補正を行うので、階調とびの発生を防止することが可能となる。第２階調変換特性補正部１１１は、補正後の第２階調変換特性を第２階調変換部１１３に出力する。
【００２１】
図１に戻り、第１階調変換部１１２は、第１階調変換特性算出部１０９から転送された第１階調変換特性を用いて、信号処理部１０８からの映像信号に対して第１階調変換処理を行い、処理後の映像信号を第２階調変換部１１３に出力する。
【００２２】
第２階調変換部１１３は、第１階調変換部１１２から転送された映像信号に対して、第２階調変換特性補正部１１１から転送される第２階調変換特性を用いて階調変換処理を行い、圧縮部１１４に出力する。
圧縮部１１４は、第２階調変換部１１３から転送された映像信号に対して公知のＪＰＥＧ等の圧縮処理を行い、出力部１１５へ出力する。出力部１１５は、メモリカード（図示略）などへ圧縮信号を記録保存する。或いは、外部表示ディスプレイに映像信号を表示する。
【００２３】
次に、本実施形態に係る撮像システムの動作について参照する。
まず、ユーザによって、外部Ｉ／Ｆ部１１７を介してＩＳＯ感度、露出等の撮影条件が設定され、シャッターボタンが半押しされると、プリ撮影モードに入る。プリ撮影モードでは、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して映像信号が取得され、Ａ／Ｄ部１０５においてデジタル信号へ変換された後、バッファ１０６に転送される。なお、本実施形態例においてＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを想定し、Ａ／Ｄ部１０５による信号の階調幅をＭビットとする。
【００２４】
撮影制御部１０７は、バッファ１０６に保持される映像信号を読み出し、この映像信号のＡＦエリア内のコントラスト情報を検出し、検出したコントラスト情報が最大となるようにＡＦモータ１０２を制御することで、被写体に焦点を合わせる。更に、撮影制御部１０７は、信号中の輝度レベル等を用いて適正露光となるよう、絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。
【００２５】
次に、ユーザにより、外部Ｉ／Ｆ部１１７を介してシャッターボタンが全押しにされると、本撮影が行われる。本撮影では、撮影制御部１０７にて求められた合焦条件および露光条件に基づいて、被写体の撮影が行われる。撮像部２によって取得された映像信号は、Ａ／Ｄ変換部１０５によりデジタル信号に変換され、バッファ１０６に転送され、保存される。また、上記映像信号の取得と並行して、撮影時における露光条件、合焦条件等の各種設定情報が撮影制御部１０７から制御部１１６へ転送される。更に、撮影時における各種設定情報は、制御部１１６から第１階調変換特性算出部１０９に転送される。
【００２６】
信号処理部１０８は、制御部１１６の制御に基づきバッファ１０６上の単板状態の映像信号を読み込み、公知の補間処理、ホワイトバランス処理等を行うことで、各画素ＲＧＢの三板状態の映像信号を生成する。
【００２７】
信号処理部１０８で処理された映像信号は、第１階調変換特性算出部１０９、第２階調変換特性算出部１１０及び第１階調変換部１１２へ転送される。第１階調変換特性算出部１０９では、制御部１１６から転送された撮影時における各種設定条件、例えば、表示モードの設定条件、或いは撮影モードの設定条件等及び映像信号に基づいて、第１階調変換特性が求められ、求められた第１階調変換特性が第２階調変換特性算出部１１０、第２階調変換特性補正部１１１、及び第１階調変換部１１２に転送される。
【００２８】
第２階調変換特性算出部１１０（図３参照）では、階調変換部３０１により、第１階調変換特性を用いた第１階調変換処理が信号処理部１０８からの映像信号に対して施され、ヒストグラム作成部３０２において、第１階調変換処理後の映像信号に基づいてヒストグラムが作成され、更に、クリッピング部３０３において、該ヒストグラムのクリッピング処理が行われる。クリッピング処理後のヒストグラムは、累積正規化部３０４に転送され、ここで、第２階調変換特性が作成される。第２階調変換特性は、第２階調変換特性補正部１１１に転送される。
【００２９】
第２階調変換特性補正部１１１では、傾き算出部２００によって、第１階調変換算出部１０９からの第１階調変換特性の傾きが求められ、比較部２０１において傾きが閾値と比較されることにより、傾きが閾値よりも小さい入力ビット値の領域が特定され、この領域及び傾きの情報が補正部２０２に転送される。補正部２０２は、比較部２０１からの情報に基づいて第２階調変換特性を補正することにより、ビット割当の少ない領域に対する傾きを小さくすることにより、コントラストの強調具合を緩和させる。補正後の第２階調変換特性は、第２階調変換部１１３に転送される。
【００３０】
第１階調変換部１１２では、第１階調変換特性算出部１０９により求められた第１階調変換特性を用いた第１階調変換処理が、信号処理部１０８から転送されてきた映像信号に対して行われる。第１階調変換処理後の映像信号は、第２階調変換部１１３に転送される。第２階調変換部１１３では、第２階調変換特性補正部１１１により補正された後の第２階調変換特性を用いた第２階調変換処理が、第１階調変換処理後の映像信号に対して行われ、処理後の映像信号が圧縮部１１４を介して出力部１１５に送られる。
【００３１】
なお、上記説明ではハードウェアによる処理を前提としていたが、このような構成に限定されない。例えば、ＣＣＤ１０４からの映像信号を未処理のままのＲａｗデータとして、また、ＩＳＯ感度情報や映像信号サイズなどをヘッダ情報として、画像処理部３に情報を転送し、画像処理部３内において別途ソフトウェアにて処理する構成も可能である。
【００３２】
この場合、画像処理部３は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部３が備える各部と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３３】
以下、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理方法の処理手順について図１０を参照して説明する。
【００３４】
まず、ステップＳＡ１において、ヘッダ情報の読み出し処理が行われ、続くステップＳＡ２において映像信号の読み出し処理が行われる。ステップＳＡ３において、ステップＳＡ２で読み出された映像信号に対して、ホワイトバランス処理等の公知の信号処理が行われ、ステップＳＡ４において、ステップＳＡ３で第１階調変換特性の算出処理が行われる。
【００３５】
ステップＳＡ５において、ステップＳＡ２で得られた映像信号に対して、ステップＳＡ３で得られた第１階調変換特性を用いた第１階調変換処理が施され、更に、該処理後の映像信号に基づいて第２階調変換特性の算出処理が行われる。ステップＳＡ６において、ステップＳＡ４にて得られた第１階調変換特性を用いた第２階調変換特性の補正処理が行われる。
【００３６】
ステップＳＡ７において、ステップＳＡ４にて得られた第１階調変換特性を用いた第１階調変換処理がステップＳＡ３で得られた映像信号に対して行われ、続く、ステップＳＡ８において、ステップＳＡ６にて補正された第２階調変換特性を用いた第２階調変換処理が、ステップＳＡ７で得られた映像信号に対して行われる。
【００３７】
以上、説明してきたように、本実施形態に係る撮像システム及び画像処理方法並びに画像処理プログラムによれば、ビット割当が小さい領域に対するコントラストの強調具合を緩和させるように、第２階調変換特性を補正し、補正後の第２階調変換特性を用いて映像信号に対して第２階調変換を行う。このように、映像信号に応じて最適な階調変換処理を行うことで、階調とびを低減させることができ、高品位な映像信号を算出することができる。
【００３８】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３９】
〔変形例１〕
上述した実施形態では、第２階調変換特性の傾きを直接的に補正していたが、これに代えて、第２階調変換特性を算出するのに使用されるヒストグラムのクリッピング値を調整することにより、第２階調変換特性を補正することとしてもよい。
【００４０】
この場合、第２階調変換特性補正部１１１には、第２階調変換特性に加えて、ヒストグラム作成部３０２によって作成されたヒストグラム、及びクリッピング部３０３が用いているクリッピング値が第２階調変換特性算出部１１０から転送される。
第２階調変換特性補正部１１１は、比較部２０１の比較結果、換言すると、第１階調変換特性の傾きに応じて、クリッピング３０３が用いているクリッピング値を調整する。例えば、傾きが所定の閾値よりも小さい領域が全体に占める割合に応じて、クリッピング値を調整する。より具体的には、図８に示すような第１階調変換特性において、傾きが所定の閾値よりも小さい領域が多いほど、クリッピング値を小さい値に変更する。
補正部２０２は、補正後のクリッピング値を用いて、ヒストグラム作成部３０２によって作成されたヒストグラムのクリッピング処理を再度行い、クリッピング処理後のヒストグラムを用いて第２階調変換特性を再度算出することで、補正後の第２階調変換特性を得る。なお、クリッピング処理後のヒストグラムから第２階調変換特性を作成する方法は、上述した累積正規化部３０４と同様である。
【００４１】
このように、クリッピング値を変更することにより、第２階調変換特性を全体的に補正することにより、より自然な階調変換を行うことが可能となる。
なお、上記説明においては、補正部２０２がクリッピング処理、並びに第２階調変換特性の再生成を行うこととしたが、この構成に限られることなく、例えば、補正部２０２から調整後のクリッピング値を第２階調変換特性算出部１１０のクリッピング３０３に転送することとしてもよい。これにより、再度のクリッピング処理をクリッピング部３０３に行わせるとともに、クリッピング処理後のヒストグラムに基づく第２階調変換特性の算出処理を累積正規化部３０４に行わせることが可能となる。このようにすることで、装置構成をより簡略化することが可能となる。
【００４２】
〔変形例２〕
例えば、上述した実施形態に係る第２階調変換特性算出部１１０の構成は一例であり、図１１に示すように、局所領域抽出部３０５を更に備える構成としてもよい。このような構成に係る第２階調変換特性算出部１１０´においては、局所領域抽出部３０５において、階調変換部３０１から転送された映像信号に対して注目画素を中心とする局所領域が抽出され、ヒストグラム作成部３０２に転送される。ヒストグラム作成部３０２は、局所領域毎にヒストグラムを作成し、クリッピング部３０３へ転送する。クリッピング部３０３では、ヒストグラムにクリッピング処理を施し、処理後のヒストグラムを累積正規化部３０４に転送する。累積正規化部３０４では、クリッピング処理された各局所領域におけるヒストグラムに対して累積処理を行い、注目画素における階調変換特性を算出する。このような構成にすることによって、映像信号の画素毎に異なる階調変換特性を算出することができ、より自由度の高い階調変換処理を行うことが可能となる。
【００４３】
〔変形例３〕
また、更に、上記第２階調変換特性算出部１１０における累積正規化部１０４に代えて、例えば、複数の第２階調変換特性をテーブルとして予め保有しており、ヒストグラム作成部３０２によって作成されるヒストグラムの情報に応じて、複数の第２階調変換特性の中から適切なものを選択することで第２階調変換特性を求める算出部（算出手段）を設けることとしてもよい。
【００４４】
〔変形例４〕
また、上記第２階調変換特性算出部１１０における累積正規化部１０４に代えて、複数のガンマ値を保持し、ヒストグラムの情報に応じて適切なガンマ値を選択し、このガンマ値からガンマ曲線を設定することで、第２階調変換特性を求める算出部（算出手段）を設けることとしてもよい。
【００４５】
〔変形例５〕
また、本実施形態では、クリッピング部３０３によってクリッピング処理された後のヒストグラムを使用して、累積正規化部３０４が第２階調変換特性を作成することとしたが、これに代えて、クリッピング部３０３を構成要素からはずして、クリッピング処理がされていないヒストグラムを用いて、第２階調変換特性を求めることとしてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態に係る撮像システムの全体概略構成を示した図である。
【図２】第１階調変換特性の一例を示した図である。
【図３】第２階調変換特性算出部の一構成例を示したブロック図である。
【図４】ヒストグラム作成部によって作成されるヒストグラムの一例を示した図である。
【図５】クリッピング部によってクリッピング処理がされた後のヒストグラムの一例を示した図である。
【図６】クリッピング処理前のヒストグラムに基づいて作成される第２階調変換特性とクリッピング処理後のヒストグラムに基づいて作成される第２階調変換特性とを比較して示した図である。
【図７】第２階調変換特性補正部の一構成例を示した図である。
【図８】第１階調変換特性の一例を示した図である。
【図９】第２階調変換特性の変形について説明するための図である。
【図１０】画像処理方法の処理手順について示したフローチャートである。
【図１１】変形例２に係る第２階調変換特性算出部の一構成例を示した図である。
【符号の説明】
【００４７】
２ 撮像部
３ 画像処理部
１０８ 信号処理部
１０９ 第１階調変換特性算出部
１１０ 第２階調変換特性算出部
１１１ 第２階調変換特性補正部
１１２ 第１階調変換部
１１３ 第２階調変換部
１１６ 制御部
３００ バッファ
３０１ 階調変換部
３０２ ヒストグラム作成部
３０３ クリッピング部
３０４ 累積正規化部
２００ 傾き算出部
２０１ 比較部
２０２ 補正部
２０３ ＲＯＭ
３０５ 局所領域抽出部
【技術分野】
【０００１】
本発明は、撮像システム及び画像処理方法並びに画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、現在のデジタルスチルカメラやビデオカメラなどでは、映像信号に対して表示系を考慮した階調変換処理（例えば、ガンマ変換処理）が行われる。また、人間の目に好ましい映像信号にするため、ガンマ変換後の映像信号の情報、例えばヒストグラムの情報を用いて更に階調変換処理を行い、映像信号に応じたコントラスト調整を行うことにより、より高画質な映像信号を得る方法も知られている。
【０００３】
例えば、特開２００７−８８６５０号公報には、濃度補正処理により原画像に白飛び現象が発生する可能性があるか否かを事前に判断し、可能性のある場合に、白飛び現象が発生しないように濃度補正曲線を補正する方法が開示されている。また、特開２００７−４７２４４号公報には、階調範囲の伸張に伴って画像が劣化する場合に、その劣化位置に応じた伸張処理を行う方法が開示されている。
【特許文献１】特開２００７−８８６５０号公報
【特許文献２】特開２００７−４７２４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、いずれの方法もガンマ変換処理における階調幅の変化については考慮されておらず、階調幅が足りないために階調変換処理による階調とびが生ずるおそれがある。
【０００５】
本発明は、上記問題を解決するためになされたもので、階調とびを低減し、高品位な映像信号を得ることの可能な撮像システム及び画像処理方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、撮像系からの映像信号を階調変換して出力する撮像システムであって、Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する第２階調変換特性算出手段と、前記第１階調変換特性を用いて、前記第２階調変換特性算出手段により算出された第２階調変換特性を補正する第２階調変換特性補正手段と、前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う第１階調変換手段と、前記第２階調変換特性補正手段により補正された前記第２階調変換特性を用いて、前記第１階調変換手段により前記第１階調変換処理が施された映像信号に第２階調変換処理を行う第２階調変換手段とを具備する撮像システムである。
【０００７】
本発明の第２の態様は、撮像系からの映像信号を階調変換して出力する画像処理方法であって、Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する過程と、前記第１階調変換特性を用いて、前記第２階調変換特性を補正する過程と、前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う過程と、補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う過程とを有する画像処理方法である。
【０００８】
本発明の第３の態様は、撮像系からの映像信号に対する階調変換処理をコンピュータに実行させるための画像処理プログラムであって、Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する処理と、前記第１階調変換特性を用いて、前記第２階調変換特性を補正する処理と、前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う処理と、補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う処理とをコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、高品位な映像信号を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明に係る撮像システム及び画像処理方法並びに画像処理プログラムの一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態に係る撮像システムの概略構成を示したブロック図である。本実施形態に係る撮像システムは、例えば、デジタルカメラであり、図１に示されるように、撮像部２と画像処理部３とを備えている。撮像部２は、レンズ系１００、シャッター（図示略）、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４、及びＡＦモータ１０２等を備えている。撮像部２により取得されたアナログ信号の映像信号は、画像処理部３に入力される。
【００１１】
画像処理部３は、例えば、ＡＳＩＣであり、アナログ／デジタル変換部（以下「Ａ／Ｄ変換部」という。）１０５、バッファ１０６、撮影制御部１０７、信号処理部１０８、第１階調変換特性算出部１０９、第２階調変換特性算出部（第２階調変換特性算出手段）１１０、第２階調変換特性補正部（第２階調変換特性補正手段）１１１、第１階調変換部（第１階調変換手段）１１２、第２階調変換部（第２階調変換手段）１１３、圧縮部１１４、制御部１１６等を備えている。これら各部は、画像処理部３内のデータバス３０を介して相互に接続されている。更に、画像処理部３は、電源スイッチ、シャッターボタン、並びに撮影時の各種モードの切替を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１７、及び出力部１１５等を備えている。
【００１２】
画像処理部３において、制御部１１６は、各部の制御を行う。
Ａ／Ｄ変換部１０５は、アナログ信号の映像信号をデジタル信号の映像信号に変換し、バッファ１０６に出力する。バッファ１０６は、Ａ／Ｄ変換部１０５からの映像信号を保持する。
撮影制御部１０７は、制御部１１６からの制御信号に基づいて、バッファ１０６に保持されている単板状態の映像信号を読み出し、この映像信号のＡＦエリア内のコントラスト情報を検出する。そして、ＡＦエリア内のコントラストが最大となるようにＡＦモータ１０２を制御することで、被写体に焦点を合わせる。また、撮影制御部１０７は、バッファ１０６に保持されている映像信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるよう、絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。
なお、合焦処理においては、上記方法に代えて、例えば、外部赤外線センサを設け、撮影制御部１０７が、この外部赤外線センサにより測定された主要被写体までの距離に応じてＡＦモータ１０２を制御することで、被写体に焦点を合わせることとしてもよい。
【００１３】
信号処理部１０８は、制御部１１６からの制御信号に基づいて、バッファ１０６に保持されている単板状態の映像信号を読み出す。そして、読み出した映像信号に対して補間処理、ホワイトバランス処理等の公知の信号処理を実行し、各画素ＲＧＢの三板状態の映像信号を生成する。更に、信号処理部１０８は、以下の（１）式に示されるように、ＲＧＢ信号をＹＣｂＣｒ信号に変換することとしてもよい。
信号処理部１０８は、上記信号処理後の映像信号を第１階調変換特性算出部１０９、第２階調変換特性算出部１１０、及び第１階調変換部１１２に出力する。
【００１４】
【数１】
【００１５】
第１階調変換特性算出部１０９は、信号処理部１０８から転送されたＭビットの映像信号をＮビット（Ｍ，Ｎはともに整数であり、Ｍ＞Ｎ）の映像信号に変換するのに使用される第１階調変換特性（例えば、ガンマ曲線）を算出し、算出した第１階調変換特性を第２階調変換特性算出部１１０、第２階調変換特性補正部１１１、及び第１階調変換部１１２に出力する。
例えば、第１階調変換特性算出部１０９は、表示モードの切替、撮影モード等の撮影時における各種設定条件に対応付けられた複数の第１階調変換特性を保持している。そして、これら複数の第１階調変換特性の中から、制御部１１６から入力される撮影時の設定条件に対応する第１階調変換特性を抽出する。なお、第１階調変換特性の算出手法については、上記手法に限定されず、公知のその他の手法を用いることも可能である。
図２に第１階調変換特性の一例を示す。図２には、暗部の階調性を考慮した第１階調変換特性が示されている。第１階調変換特性は、例えば、所定の関数式或いはテーブルで表現されている。
【００１６】
第２階調変換特性算出部１１０は、図３に示すように、バッファ３００、階調変換部３０１、ヒストグラム作成部（ヒストグラム作成手段）３０２、クリッピング部（クリッピング手段）３０３、および累積正規化部（累積値算出手段）３０４を備えて構成されている。信号処理部１０８からの映像信号は、バッファ３００に転送され、保持される。階調変換部３０１は、制御部１１６からの制御信号に基づいて、バッファ３００から映像信号を読み出し、上述した第１階調変換特性算出部１０９から転送された第１階調変換特性を用いて、読み出した映像信号に対して第１階調変換処理を行い、処理後の映像信号をヒストグラム作成部３０２に出力する。
【００１７】
ヒストグラム作成部３０２は、階調変換部３０１からの映像信号のヒストグラムを算出し、クリッピング部３０３に出力する。図４は、ヒストグラム作成部３０２によって作成されるヒストグラムの一例を示した図である。
クリッピング部３０３は、図５に示すように、ヒストグラム作成部３０２により作成されたヒストグラムに対して予め決められている所定のクリッピング値を用いてクリッピング処理を行い、累積正規化部３０４に出力する。
累積正規化部３０４は、クリッピング部３０３から転送されたヒストグラムに対して、累積処理を行い、第２階調変換特性を算出し、第２階調変換特性補正部１１１に出力する。図６に、第２階調変換特性の一例を示す。図６において、実線はクリッピング処理前のヒストグラムから算出された第２階調変換特性の一例を、点線はクリッピング処理後のヒストグラムから算出された第２階調変換特性の一例を示している。図６から明らかなように、クリッピング処理を行うことによってコントラストをあまり強調しない第２階調変換特性を得ることが可能となる。
【００１８】
第２階調変換特性補正部１１１は、図７に示されるように、傾き算出部（傾き算出手段）２００、比較部（比較手段）２０１、補正部（補正手段）２０２、ＲＯＭ２０３を備えて構成されている。
傾き算出部２００は、第１階調変換特性算出部１０９によって算出された第１階調変換特性の各入力ビットの変化量に対する出力ビットの変化量を示す傾きをそれぞれ求め、比較部２０１に出力する。具体的には、第１階調変換特性の各入力ビットに対する傾きを、微分演算をすることによってそれぞれ算出する。
【００１９】
比較部２０１は、ＲＯＭ２０３に記憶されている所定の閾値を読み出し、この閾値と傾き算出部２００から入力された傾きとを比較し、傾きが閾値よりも小さい入力ビットの領域を特定し、その領域の情報とその傾きとを対応付けて補正部２０２に出力する。
【００２０】
補正部２０２には、上記第２階調変換特性算出部１１０からの第２階調変換特性と、比較部２０１からの傾き及び領域情報とが入力される。補正部２０２は、第１階調変換特性の傾きに応じて第２階調変換特性を補正する。より具体的には、第２階調変換特性における、比較部２０１によって特定された領域に対応する領域において、第２階調変換特性の傾きが小さくなるように、第２階調変換特性を補正する。例えば、図８に示されるような第１階調変換特性を想定した場合であって、比較部２０１により、入力ビット値ｘに対する傾きｍが所定の閾値よりも小さいと判断された場合には、補正部２０２は、図９に示すように、入力ビット値ｘに対応する入力輝度値ｉｋにおいて、第２階調変換特性の傾きを小さく補正することにより、入力輝度値ｉｋにおけるコントラストの強調具合を緩和させる。このように、ビット割当が少ないために通常であればコントラストが強調されてしまい、階調とびが目立ちやすいような領域に対して、コントラストの強調具合を緩和させる補正を行うので、階調とびの発生を防止することが可能となる。第２階調変換特性補正部１１１は、補正後の第２階調変換特性を第２階調変換部１１３に出力する。
【００２１】
図１に戻り、第１階調変換部１１２は、第１階調変換特性算出部１０９から転送された第１階調変換特性を用いて、信号処理部１０８からの映像信号に対して第１階調変換処理を行い、処理後の映像信号を第２階調変換部１１３に出力する。
【００２２】
第２階調変換部１１３は、第１階調変換部１１２から転送された映像信号に対して、第２階調変換特性補正部１１１から転送される第２階調変換特性を用いて階調変換処理を行い、圧縮部１１４に出力する。
圧縮部１１４は、第２階調変換部１１３から転送された映像信号に対して公知のＪＰＥＧ等の圧縮処理を行い、出力部１１５へ出力する。出力部１１５は、メモリカード（図示略）などへ圧縮信号を記録保存する。或いは、外部表示ディスプレイに映像信号を表示する。
【００２３】
次に、本実施形態に係る撮像システムの動作について参照する。
まず、ユーザによって、外部Ｉ／Ｆ部１１７を介してＩＳＯ感度、露出等の撮影条件が設定され、シャッターボタンが半押しされると、プリ撮影モードに入る。プリ撮影モードでは、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して映像信号が取得され、Ａ／Ｄ部１０５においてデジタル信号へ変換された後、バッファ１０６に転送される。なお、本実施形態例においてＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを想定し、Ａ／Ｄ部１０５による信号の階調幅をＭビットとする。
【００２４】
撮影制御部１０７は、バッファ１０６に保持される映像信号を読み出し、この映像信号のＡＦエリア内のコントラスト情報を検出し、検出したコントラスト情報が最大となるようにＡＦモータ１０２を制御することで、被写体に焦点を合わせる。更に、撮影制御部１０７は、信号中の輝度レベル等を用いて適正露光となるよう、絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。
【００２５】
次に、ユーザにより、外部Ｉ／Ｆ部１１７を介してシャッターボタンが全押しにされると、本撮影が行われる。本撮影では、撮影制御部１０７にて求められた合焦条件および露光条件に基づいて、被写体の撮影が行われる。撮像部２によって取得された映像信号は、Ａ／Ｄ変換部１０５によりデジタル信号に変換され、バッファ１０６に転送され、保存される。また、上記映像信号の取得と並行して、撮影時における露光条件、合焦条件等の各種設定情報が撮影制御部１０７から制御部１１６へ転送される。更に、撮影時における各種設定情報は、制御部１１６から第１階調変換特性算出部１０９に転送される。
【００２６】
信号処理部１０８は、制御部１１６の制御に基づきバッファ１０６上の単板状態の映像信号を読み込み、公知の補間処理、ホワイトバランス処理等を行うことで、各画素ＲＧＢの三板状態の映像信号を生成する。
【００２７】
信号処理部１０８で処理された映像信号は、第１階調変換特性算出部１０９、第２階調変換特性算出部１１０及び第１階調変換部１１２へ転送される。第１階調変換特性算出部１０９では、制御部１１６から転送された撮影時における各種設定条件、例えば、表示モードの設定条件、或いは撮影モードの設定条件等及び映像信号に基づいて、第１階調変換特性が求められ、求められた第１階調変換特性が第２階調変換特性算出部１１０、第２階調変換特性補正部１１１、及び第１階調変換部１１２に転送される。
【００２８】
第２階調変換特性算出部１１０（図３参照）では、階調変換部３０１により、第１階調変換特性を用いた第１階調変換処理が信号処理部１０８からの映像信号に対して施され、ヒストグラム作成部３０２において、第１階調変換処理後の映像信号に基づいてヒストグラムが作成され、更に、クリッピング部３０３において、該ヒストグラムのクリッピング処理が行われる。クリッピング処理後のヒストグラムは、累積正規化部３０４に転送され、ここで、第２階調変換特性が作成される。第２階調変換特性は、第２階調変換特性補正部１１１に転送される。
【００２９】
第２階調変換特性補正部１１１では、傾き算出部２００によって、第１階調変換算出部１０９からの第１階調変換特性の傾きが求められ、比較部２０１において傾きが閾値と比較されることにより、傾きが閾値よりも小さい入力ビット値の領域が特定され、この領域及び傾きの情報が補正部２０２に転送される。補正部２０２は、比較部２０１からの情報に基づいて第２階調変換特性を補正することにより、ビット割当の少ない領域に対する傾きを小さくすることにより、コントラストの強調具合を緩和させる。補正後の第２階調変換特性は、第２階調変換部１１３に転送される。
【００３０】
第１階調変換部１１２では、第１階調変換特性算出部１０９により求められた第１階調変換特性を用いた第１階調変換処理が、信号処理部１０８から転送されてきた映像信号に対して行われる。第１階調変換処理後の映像信号は、第２階調変換部１１３に転送される。第２階調変換部１１３では、第２階調変換特性補正部１１１により補正された後の第２階調変換特性を用いた第２階調変換処理が、第１階調変換処理後の映像信号に対して行われ、処理後の映像信号が圧縮部１１４を介して出力部１１５に送られる。
【００３１】
なお、上記説明ではハードウェアによる処理を前提としていたが、このような構成に限定されない。例えば、ＣＣＤ１０４からの映像信号を未処理のままのＲａｗデータとして、また、ＩＳＯ感度情報や映像信号サイズなどをヘッダ情報として、画像処理部３に情報を転送し、画像処理部３内において別途ソフトウェアにて処理する構成も可能である。
【００３２】
この場合、画像処理部３は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部３が備える各部と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３３】
以下、ＣＰＵが画像処理プログラムを実行することにより実現される画像処理方法の処理手順について図１０を参照して説明する。
【００３４】
まず、ステップＳＡ１において、ヘッダ情報の読み出し処理が行われ、続くステップＳＡ２において映像信号の読み出し処理が行われる。ステップＳＡ３において、ステップＳＡ２で読み出された映像信号に対して、ホワイトバランス処理等の公知の信号処理が行われ、ステップＳＡ４において、ステップＳＡ３で第１階調変換特性の算出処理が行われる。
【００３５】
ステップＳＡ５において、ステップＳＡ２で得られた映像信号に対して、ステップＳＡ３で得られた第１階調変換特性を用いた第１階調変換処理が施され、更に、該処理後の映像信号に基づいて第２階調変換特性の算出処理が行われる。ステップＳＡ６において、ステップＳＡ４にて得られた第１階調変換特性を用いた第２階調変換特性の補正処理が行われる。
【００３６】
ステップＳＡ７において、ステップＳＡ４にて得られた第１階調変換特性を用いた第１階調変換処理がステップＳＡ３で得られた映像信号に対して行われ、続く、ステップＳＡ８において、ステップＳＡ６にて補正された第２階調変換特性を用いた第２階調変換処理が、ステップＳＡ７で得られた映像信号に対して行われる。
【００３７】
以上、説明してきたように、本実施形態に係る撮像システム及び画像処理方法並びに画像処理プログラムによれば、ビット割当が小さい領域に対するコントラストの強調具合を緩和させるように、第２階調変換特性を補正し、補正後の第２階調変換特性を用いて映像信号に対して第２階調変換を行う。このように、映像信号に応じて最適な階調変換処理を行うことで、階調とびを低減させることができ、高品位な映像信号を算出することができる。
【００３８】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３９】
〔変形例１〕
上述した実施形態では、第２階調変換特性の傾きを直接的に補正していたが、これに代えて、第２階調変換特性を算出するのに使用されるヒストグラムのクリッピング値を調整することにより、第２階調変換特性を補正することとしてもよい。
【００４０】
この場合、第２階調変換特性補正部１１１には、第２階調変換特性に加えて、ヒストグラム作成部３０２によって作成されたヒストグラム、及びクリッピング部３０３が用いているクリッピング値が第２階調変換特性算出部１１０から転送される。
第２階調変換特性補正部１１１は、比較部２０１の比較結果、換言すると、第１階調変換特性の傾きに応じて、クリッピング３０３が用いているクリッピング値を調整する。例えば、傾きが所定の閾値よりも小さい領域が全体に占める割合に応じて、クリッピング値を調整する。より具体的には、図８に示すような第１階調変換特性において、傾きが所定の閾値よりも小さい領域が多いほど、クリッピング値を小さい値に変更する。
補正部２０２は、補正後のクリッピング値を用いて、ヒストグラム作成部３０２によって作成されたヒストグラムのクリッピング処理を再度行い、クリッピング処理後のヒストグラムを用いて第２階調変換特性を再度算出することで、補正後の第２階調変換特性を得る。なお、クリッピング処理後のヒストグラムから第２階調変換特性を作成する方法は、上述した累積正規化部３０４と同様である。
【００４１】
このように、クリッピング値を変更することにより、第２階調変換特性を全体的に補正することにより、より自然な階調変換を行うことが可能となる。
なお、上記説明においては、補正部２０２がクリッピング処理、並びに第２階調変換特性の再生成を行うこととしたが、この構成に限られることなく、例えば、補正部２０２から調整後のクリッピング値を第２階調変換特性算出部１１０のクリッピング３０３に転送することとしてもよい。これにより、再度のクリッピング処理をクリッピング部３０３に行わせるとともに、クリッピング処理後のヒストグラムに基づく第２階調変換特性の算出処理を累積正規化部３０４に行わせることが可能となる。このようにすることで、装置構成をより簡略化することが可能となる。
【００４２】
〔変形例２〕
例えば、上述した実施形態に係る第２階調変換特性算出部１１０の構成は一例であり、図１１に示すように、局所領域抽出部３０５を更に備える構成としてもよい。このような構成に係る第２階調変換特性算出部１１０´においては、局所領域抽出部３０５において、階調変換部３０１から転送された映像信号に対して注目画素を中心とする局所領域が抽出され、ヒストグラム作成部３０２に転送される。ヒストグラム作成部３０２は、局所領域毎にヒストグラムを作成し、クリッピング部３０３へ転送する。クリッピング部３０３では、ヒストグラムにクリッピング処理を施し、処理後のヒストグラムを累積正規化部３０４に転送する。累積正規化部３０４では、クリッピング処理された各局所領域におけるヒストグラムに対して累積処理を行い、注目画素における階調変換特性を算出する。このような構成にすることによって、映像信号の画素毎に異なる階調変換特性を算出することができ、より自由度の高い階調変換処理を行うことが可能となる。
【００４３】
〔変形例３〕
また、更に、上記第２階調変換特性算出部１１０における累積正規化部１０４に代えて、例えば、複数の第２階調変換特性をテーブルとして予め保有しており、ヒストグラム作成部３０２によって作成されるヒストグラムの情報に応じて、複数の第２階調変換特性の中から適切なものを選択することで第２階調変換特性を求める算出部（算出手段）を設けることとしてもよい。
【００４４】
〔変形例４〕
また、上記第２階調変換特性算出部１１０における累積正規化部１０４に代えて、複数のガンマ値を保持し、ヒストグラムの情報に応じて適切なガンマ値を選択し、このガンマ値からガンマ曲線を設定することで、第２階調変換特性を求める算出部（算出手段）を設けることとしてもよい。
【００４５】
〔変形例５〕
また、本実施形態では、クリッピング部３０３によってクリッピング処理された後のヒストグラムを使用して、累積正規化部３０４が第２階調変換特性を作成することとしたが、これに代えて、クリッピング部３０３を構成要素からはずして、クリッピング処理がされていないヒストグラムを用いて、第２階調変換特性を求めることとしてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態に係る撮像システムの全体概略構成を示した図である。
【図２】第１階調変換特性の一例を示した図である。
【図３】第２階調変換特性算出部の一構成例を示したブロック図である。
【図４】ヒストグラム作成部によって作成されるヒストグラムの一例を示した図である。
【図５】クリッピング部によってクリッピング処理がされた後のヒストグラムの一例を示した図である。
【図６】クリッピング処理前のヒストグラムに基づいて作成される第２階調変換特性とクリッピング処理後のヒストグラムに基づいて作成される第２階調変換特性とを比較して示した図である。
【図７】第２階調変換特性補正部の一構成例を示した図である。
【図８】第１階調変換特性の一例を示した図である。
【図９】第２階調変換特性の変形について説明するための図である。
【図１０】画像処理方法の処理手順について示したフローチャートである。
【図１１】変形例２に係る第２階調変換特性算出部の一構成例を示した図である。
【符号の説明】
【００４７】
２ 撮像部
３ 画像処理部
１０８ 信号処理部
１０９ 第１階調変換特性算出部
１１０ 第２階調変換特性算出部
１１１ 第２階調変換特性補正部
１１２ 第１階調変換部
１１３ 第２階調変換部
１１６ 制御部
３００ バッファ
３０１ 階調変換部
３０２ ヒストグラム作成部
３０３ クリッピング部
３０４ 累積正規化部
２００ 傾き算出部
２０１ 比較部
２０２ 補正部
２０３ ＲＯＭ
３０５ 局所領域抽出部
【特許請求の範囲】
【請求項１】
撮像系からの映像信号を階調変換して出力する撮像システムであって、
Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する第２階調変換特性算出手段と、
前記第１階調変換特性を用いて、前記第２階調変換特性算出手段により算出された第２階調変換特性を補正する第２階調変換特性補正手段と、
前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う第１階調変換手段と、
前記第２階調変換特性補正手段により補正された前記第２階調変換特性を用いて、前記第１階調変換手段により前記第１階調変換処理が施された映像信号に第２階調変換処理を行う第２階調変換手段と
を具備する撮像システム。
【請求項２】
前記第２階調変換特性補正手段は、
前記第１階調変換特性における入力信号の変化量に対する出力信号の変化量を示す傾きを算出する傾き算出手段と、
前記傾きに応じて前記第２階調変換特性の補正を行う補正手段と
を具備する請求項１に記載の撮像システム。
【請求項３】
前記第１階調変換特性における傾きと所定の閾値とを比較し、前記第１階調変換特性において、前記傾きが前記閾値よりも小さい領域を特定する比較手段を備え、
前記補正手段が、前記第２階調変換特性における前記比較手段によって特定された領域に対応する領域において、前記第２階調変換特性における入力信号の変化量に対する出力信号の変化量を示す傾きが小さくなるように、前記第２階調変換特性を補正する請求項２に記載の撮像システム。
【請求項４】
前記第２階調変換特性算出手段は、
前記第１階調変換特性を用いた前記第１階調変換処理が行われた後の前記映像信号のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムを所定のクリッピング値を用いてクリッピング処理するクリッピング手段と、
クリッピング処理後の前記ヒストグラムを用いて前記第２階調変換特性を算出する算出手段と
を備え、
前記補正手段は、前記比較手段の比較結果に基づいて前記クリッピング値を変更し、変更後の前記クリッピング値を用いて前記ヒストグラム算出手段により作成されたヒストグラムをクリッピング処理し、該クリッピング処理後のヒストグラムを用いて前記第２階調変換特性を算出し、この第２階調変換特性を補正後の前記第２階調変換特性として前記第２階調変換手段に出力する請求項２に記載の撮像システム。
【請求項５】
前記補正手段は、変更後の前記クリッピング値を前記第２階調変換特性算出手段に供給し、変更後の前記クリッピング値を用いたクリッピング処理を前記クリッピング手段に行わせ、該クリッピング処理後の前記ヒストグラムに基づく前記第２階調変換特性の算出処理を前記算出手段に行わせる請求項４に記載の撮像システム。
【請求項６】
前記補正手段は、前記第１階調変換特性において、前記所定の閾値よりも小さい傾きを示す領域が占める割合が多いほど、前記クリッピング値を小さな値に変更する請求項４または請求項５に記載の撮像システム。
【請求項７】
前記第２階調変換特性算出手段は、
前記第１階調変換特性を用いた前記第１階調変換処理が行われた後の前記映像信号のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムを用いて前記第２階調変換特性を算出する算出手段と
を具備する請求項１から請求項３のいずれかに記載の撮像システム。
【請求項８】
前記算出手段は、複数の前記第２階調変換特性を保持し、前記ヒストグラムに基づいて複数の前記第２階調変換特性の中から一の前記第２階調変換特性を選択する請求項７に記載の撮像システム。
【請求項９】
前記算出手段は、複数のガンマ値を保持し、前記ヒストグラムに基づいて複数の前記ガンマ値の中から一のガンマ値を選択し、選択したガンマ値を用いてガンマ曲線を設定し、該ガンマ曲線を前記第２階調変換特性とする請求項７に記載の撮像システム。
【請求項１０】
前記算出手段は、前記ヒストグラムに対してクリッピング処理を行うクリッピング手段と、前記クリッピング処理が行われたヒストグラムの累積値を算出することにより、前記第２階調変換特性を算出する累積値算出手段とを具備する請求項７に記載の撮像システム。
【請求項１１】
前記第１階調変換特性は、撮影時における表示モード、撮影モード等の各種設定条件に基づいて決定される請求項１から請求項１０のいずれかに記載の撮像システム。
【請求項１２】
撮像系からの映像信号を階調変換して出力する画像処理方法であって、
Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する過程と、
前記第１階調変換特性を用いて、前記第２階調変換特性を補正する過程と、
前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う過程と、
補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う過程と
を有する画像処理方法。
【請求項１３】
撮像系からの映像信号に対する階調変換処理をコンピュータに実行させるための画像処理プログラムであって、
Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する処理と、
前記第１階調変換特性を用いて、前記第２階調変換特性を補正する処理と、
前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う処理と、
補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う処理と
をコンピュータに実行させる画像処理プログラム。
【請求項１】
撮像系からの映像信号を階調変換して出力する撮像システムであって、
Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する第２階調変換特性算出手段と、
前記第１階調変換特性を用いて、前記第２階調変換特性算出手段により算出された第２階調変換特性を補正する第２階調変換特性補正手段と、
前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う第１階調変換手段と、
前記第２階調変換特性補正手段により補正された前記第２階調変換特性を用いて、前記第１階調変換手段により前記第１階調変換処理が施された映像信号に第２階調変換処理を行う第２階調変換手段と
を具備する撮像システム。
【請求項２】
前記第２階調変換特性補正手段は、
前記第１階調変換特性における入力信号の変化量に対する出力信号の変化量を示す傾きを算出する傾き算出手段と、
前記傾きに応じて前記第２階調変換特性の補正を行う補正手段と
を具備する請求項１に記載の撮像システム。
【請求項３】
前記第１階調変換特性における傾きと所定の閾値とを比較し、前記第１階調変換特性において、前記傾きが前記閾値よりも小さい領域を特定する比較手段を備え、
前記補正手段が、前記第２階調変換特性における前記比較手段によって特定された領域に対応する領域において、前記第２階調変換特性における入力信号の変化量に対する出力信号の変化量を示す傾きが小さくなるように、前記第２階調変換特性を補正する請求項２に記載の撮像システム。
【請求項４】
前記第２階調変換特性算出手段は、
前記第１階調変換特性を用いた前記第１階調変換処理が行われた後の前記映像信号のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムを所定のクリッピング値を用いてクリッピング処理するクリッピング手段と、
クリッピング処理後の前記ヒストグラムを用いて前記第２階調変換特性を算出する算出手段と
を備え、
前記補正手段は、前記比較手段の比較結果に基づいて前記クリッピング値を変更し、変更後の前記クリッピング値を用いて前記ヒストグラム算出手段により作成されたヒストグラムをクリッピング処理し、該クリッピング処理後のヒストグラムを用いて前記第２階調変換特性を算出し、この第２階調変換特性を補正後の前記第２階調変換特性として前記第２階調変換手段に出力する請求項２に記載の撮像システム。
【請求項５】
前記補正手段は、変更後の前記クリッピング値を前記第２階調変換特性算出手段に供給し、変更後の前記クリッピング値を用いたクリッピング処理を前記クリッピング手段に行わせ、該クリッピング処理後の前記ヒストグラムに基づく前記第２階調変換特性の算出処理を前記算出手段に行わせる請求項４に記載の撮像システム。
【請求項６】
前記補正手段は、前記第１階調変換特性において、前記所定の閾値よりも小さい傾きを示す領域が占める割合が多いほど、前記クリッピング値を小さな値に変更する請求項４または請求項５に記載の撮像システム。
【請求項７】
前記第２階調変換特性算出手段は、
前記第１階調変換特性を用いた前記第１階調変換処理が行われた後の前記映像信号のヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムを用いて前記第２階調変換特性を算出する算出手段と
を具備する請求項１から請求項３のいずれかに記載の撮像システム。
【請求項８】
前記算出手段は、複数の前記第２階調変換特性を保持し、前記ヒストグラムに基づいて複数の前記第２階調変換特性の中から一の前記第２階調変換特性を選択する請求項７に記載の撮像システム。
【請求項９】
前記算出手段は、複数のガンマ値を保持し、前記ヒストグラムに基づいて複数の前記ガンマ値の中から一のガンマ値を選択し、選択したガンマ値を用いてガンマ曲線を設定し、該ガンマ曲線を前記第２階調変換特性とする請求項７に記載の撮像システム。
【請求項１０】
前記算出手段は、前記ヒストグラムに対してクリッピング処理を行うクリッピング手段と、前記クリッピング処理が行われたヒストグラムの累積値を算出することにより、前記第２階調変換特性を算出する累積値算出手段とを具備する請求項７に記載の撮像システム。
【請求項１１】
前記第１階調変換特性は、撮影時における表示モード、撮影モード等の各種設定条件に基づいて決定される請求項１から請求項１０のいずれかに記載の撮像システム。
【請求項１２】
撮像系からの映像信号を階調変換して出力する画像処理方法であって、
Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する過程と、
前記第１階調変換特性を用いて、前記第２階調変換特性を補正する過程と、
前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う過程と、
補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う過程と
を有する画像処理方法。
【請求項１３】
撮像系からの映像信号に対する階調変換処理をコンピュータに実行させるための画像処理プログラムであって、
Ｍビットの映像信号をＮビット（Ｍ、Ｎは整数、Ｍ＞Ｎ）の映像信号に変換する第１階調変換特性を用いて第１階調変換処理された映像信号から、第２階調変換特性を算出する処理と、
前記第１階調変換特性を用いて、前記第２階調変換特性を補正する処理と、
前記第１階調変換特性を用いて、映像信号に前記第１階調変換処理を行う処理と、
補正後の前記第２階調変換特性を用いて、前記第１階調変換処理が施された映像信号に第２階調変換処理を行う処理と
をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１９４７２８（Ｐ２００９−１９４７２８Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３４８７６（Ｐ２００８−３４８７６）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]