信号処理装置及び信号処理方法
【課題】カラー画像信号に対して撮影時における焦点距離や撮影感度に応じた最適な階調変換を行う。
【解決手段】撮影時における焦点距離を示す焦点距離情報に応じて設定される特徴量抽出特性に従って、撮像素子１より出力される画像信号の画像特徴量を抽出する画像特徴量抽出回路１１と、抽出された画像特徴量と焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択回路１４と、階調変換特性選択回路１４により選択された階調変換特性に基づいて、撮像素子１から出力される画像信号に対して階調変換を行う輝度階調変換回路５とを備え、撮影時における焦点距離に応じて特徴量抽出特性及び階調変換特性を変化させて焦点距離に応じた階調変換を行えるようにする。
【解決手段】撮影時における焦点距離を示す焦点距離情報に応じて設定される特徴量抽出特性に従って、撮像素子１より出力される画像信号の画像特徴量を抽出する画像特徴量抽出回路１１と、抽出された画像特徴量と焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択回路１４と、階調変換特性選択回路１４により選択された階調変換特性に基づいて、撮像素子１から出力される画像信号に対して階調変換を行う輝度階調変換回路５とを備え、撮影時における焦点距離に応じて特徴量抽出特性及び階調変換特性を変化させて焦点距離に応じた階調変換を行えるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置及び信号処理方法に関し、詳しくは、撮影して得られる画像信号に撮影条件に応じて階調変換を行う信号処理技術に関する。
【背景技術】
【０００２】
従来の撮像装置での輝度信号作成例について説明する。
図９は従来の撮像装置における信号処理ユニットの構成を示すブロック図である。ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１からの信号（カラー画像信号）は、ホワイトバランス回路２で白のゲインが調整され、色信号作成回路３で色変換マトリックスや階調変換などの処理が行われ、色信号が作成されて出力される。
【０００３】
また、輝度信号処理として、ホワイトバランス回路２からの信号は、輝度信号作成回路４で補間やエッジ強調などの処理が行われ、輝度信号が作成される。その後、輝度階調変換回路５によって階調変換が行われ、輝度補正回路６によって輝度信号の色相に応じた輝度信号補正が行われて輝度信号として出力される。
【０００４】
前記作成された色信号と輝度信号は、画像圧縮回路７によって画像圧縮され、画像記録回路８によって記録媒体９に格納される。
【０００５】
ここで、近年のデジタルカメラにおける輝度階調変換は、モニタ特性の逆特性である、
Ｙ’＝Ｙγ ：γ＝０．４５
のように数値で定義し、その演算式に沿って階調変換する手法や、ルックアップテーブル（以下、ＬＵＴ）等を用いて所定の階調変換特性によってなされている。また、これらの階調特性も、デジタルカメラの撮影モードによって、例えばポートレートモードや風景モード等に応じて所定の階調変換特性を予めデジタルカメラ内に設定しておくことによって階調変換がなされている。これらの手法は、予めデジタルカメラ内に設定されている階調変換特性のみを用いて階調変換を行うことになる。
【０００６】
一方、実際にカメラで撮影を行うと、撮影条件によってはフレアーが生じたことにより、白っぽく霧がかかったような画像になることや、風景などのシーンなどではよりくっきりとした画像が求められることがある。
【０００７】
つまり、撮影シーンや被写体に応じて最適な階調特性はさまざまであり、撮影シーンに応じた最適な階調変換特性を選択することは、より好ましい画像を得る上において非常に重要である。それに対し、各社デジタルカメラにおいては、ユーザによってコントラストを選択できる機能を持つものも存在する。
【０００８】
また、特許文献１には、「情報取得手段で取得されたダイナミックレンジに関する情報を合成する情報合成回路と、該情報合成回路で合成された合成情報のヒストグラムを算出するヒストグラム演算回路と、該ヒストグラム演算回路で算出されたヒストグラムのうち、所定値以上の度数のヒストグラムに基づいて階調変換特性を算出する変換特性演算回路と、を有することを特徴とする撮像装置。」（請求項４参照）が開示されている。特許文献１には、階調を自動補正する手法として、基本的な階調変換特性に対して、演算によって階調変換特性を可変させる手法が提案されている。
【０００９】
また、特許文献２には、画像中のヒストグラム及び撮像装置の撮影モードに応じて、適応的に階調変換特性を可変するという手法が提案されている。
【００１０】
【特許文献１】特開２００２−１３５６４８号公報
【特許文献２】特開２００４−１２０５８９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
前述したように画像に最適な階調変換特性は被写体や撮影シーンによって異なるため、撮影を行う毎に階調変換特性を設定しなおす必要がある。しかしながら、現状のデジタルカメラの液晶ディスプレイは、パーソナルコンピュータ（ＰＣ）のモニタ上で見るのとは差があるため、出来上がりの画像を予想することが難しく、最適な階調変換特性を選択することは難しい。
【００１２】
また、ＰＣ上での画像閲覧用アプリケーションソフトにおいて、自動コントラスト補正やフレアー除去機能を有するものがある。しかしながら、これらの補正はデジタルカメラ等で画像圧縮された画像に対して行われる。一般的にデジタルカメラで用いられるファイルフォーマットであるＪＦＩＦ（JPEG File Interchange Format）は、各色８ビットで構成される。その画像に対して８ビット→８ビットの階調変換を行うと、階調飛びを生じることや、階調飛びを押さえるためのディザを加えるなどの処理を行うことになり、画像劣化が生じてしまう。
【００１３】
また、ユーザが階調変換特性の選択やＰＣアプリケーションでのレタッチ補正をせずに、デジタルカメラ内の機能として最適な階調変換特性が自動選択されることで、ユーザの面倒を減らすことができ、より好ましいことであることは言うまでもない。
【００１４】
前記特許文献１に記載のような手法の場合、階調変換特性を演算により求める必要があるため、所定の数式演算の範囲でしか変化させることができない。また、柔軟な階調変換特性に変化させるにはそれだけの演算が必要になり、演算規模が非常に大きくなってしまう。
また、ＬＵＴを参照して階調変換を行う場合には、一般的にＬＵＴからの補正量を演算等で定義し、階調変換特性を算出することが行われているが、この手法においても前記理由から柔軟な階調変換特性を変化させることは難しかった。
【００１５】
また、デジタルカメラのような撮像装置の場合、撮影において焦点距離が可変される、つまり光学ズーム機能を有するものが多く存在する。フレアーの発生頻度は、焦点距離に応じて大きく異なる。また、レンズのコントラストも焦点距離に応じて異なる。
前記特許文献２に記載のような手法の場合において、ある程度、最適な階調変換特性を選択することが可能ではあるが、そのレンズ性能に応じた焦点距離毎にフレアーやコントラストの検出及び階調の制御を最適に行うことが難しいという問題点があった。
【００１６】
本発明は、このような事情に鑑みてなされたものであり、撮影により得られた画像信号に対して、撮影条件に応じた最適な階調変換を行えるようにすることを目的とする。
【課題を解決するための手段】
【００１７】
本発明の信号処理装置は、撮影時における焦点距離を示す焦点距離情報を取得する情報取得手段と、光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得手段により取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された画像特徴量と前記情報取得手段により取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換手段とを備えることを特徴とする。
本発明の信号処理装置は、撮影時の焦点距離を取得する焦点距離取得手段と、前記焦点距離取得手段により取得された前記焦点距離に応じて特徴量抽出特性を設定する特徴量抽出特性設定手段と、前記特徴量抽出特性設定手段により設定された特徴量抽出特性に基づいて、光学像を電気信号に変換する撮像手段より出力される画像信号から画像特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された画像特徴量に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号の階調変換を行う階調変換手段と、前記階調変換手段により階調変換された画像信号を圧縮し記録する画像圧縮記録手段とを備えることを特徴とする。
本発明の信号処理方法は、撮影時における焦点距離を示す焦点距離情報を取得する情報取得工程と、光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得工程にて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出工程と、前記特徴量抽出工程にて抽出された画像特徴量と前記情報取得工程にて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択工程と、前記階調変換特性選択工程にて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換工程とを有することを特徴とする。
本発明のプログラムは、撮影時における焦点距離を示す焦点距離情報を取得する情報取得ステップと、光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得ステップにて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにて抽出された画像特徴量と前記情報取得ステップにて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択ステップと、前記階調変換特性選択ステップにて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換ステップとをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮影時における焦点距離に応じて特徴量抽出特性及び階調変換特性を変化させ、撮像手段より出力される画像信号に対して、撮影時の焦点距離に応じた最適な階調変換を行うことができる。特に、デジタルカメラのように撮像装置の中で、非可逆圧縮される前に最適な階調変換特性が選択されるようにした場合には、画像劣化させることなく最適な画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。
【００２０】
（第１の実施形態）
図１は、本発明の第１の実施形態による信号処理装置を適用した撮像装置の構成例を示すブロック図である。図１には、第１の実施形態の撮像装置における信号処理ユニットの構成を示している。なお、図１において、図９に示したブロック等と同一の機能を有するブロック等には同一の符号を付している。
【００２１】
ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１から出力された信号（カラー画像信号）は、ホワイトバランス回路２で白のゲインが調整され、色信号作成回路３で色変換マトリックスや階調変換等の処理が行われ、色信号が作成され出力される。また、輝度信号処理として、ホワイトバランス回路２からの信号は、輝度信号作成回路４で補間やエッジ強調などの処理が行われ、輝度信号が作成される。その後、その輝度信号は、階調変換特性選択回路１４により選択された階調変換特性に応じて輝度階調変換回路５によって階調変換が行われ、輝度補正回路６によって輝度信号の色相に応じた輝度信号補正が行われて輝度信号として出力される。前記作成された色信号と輝度信号は、画像圧縮回路７によって画像圧縮され、画像記録回路８によって記録媒体９に格納される。
【００２２】
また、撮像素子１からの信号（カラー画像信号）は、画像特徴量抽出回路１１で特徴量抽出特性設定部１２により設定された特徴量抽出特性（特徴量抽出設定値）に応じて画像の特徴量が抽出される。その際、特徴量抽出特性設定部１２は、焦点距離制御部１３からの焦点距離情報に基づいて、後述する設定方法によって画像の特徴量抽出特性（画像特徴量の抽出に係る抽出パラメータ）を決定する。
【００２３】
画像特徴量抽出回路１１で抽出された画像の特徴量は、階調変換特性選択回路１４に供給される。また、階調変換特性選択回路１４には、焦点距離制御部１３からの焦点距離情報、露出制御部１５からの撮影した際の露出制御情報（信号）、及び撮影モード制御部１６からの撮影モード情報（信号）が供給される。階調変換特性選択回路１４は、供給された画像の特徴量、焦点距離情報、露出制御情報、及び撮影モード情報をもとに、階調変換特性候補記憶部１７より最適な階調変換特性を選択し、その階調変換特性を輝度階調変換回路５に設定する。ここで、焦点距離情報は、撮影時における図示しないレンズの焦点距離を示す情報であり、露出制御情報は、撮影時における露出に係る情報であり、撮影モード情報は、設定されている撮影モードを示す情報である。
【００２４】
図２は、本実施形態における階調変換特性候補記憶部１７に記憶される階調変換特性候補の一例を示す図である。図２に示す例では、Ｇａｍ０がもっとも高コントラストの階調変換特性であり、Ｇａｍ３が低コントラストの階調変換特性である。
【００２５】
以下、具体的に階調変換特性の選択方法について説明する。
以下、フレアー現象が発生した例で具体的に動作について説明する。図３（Ｂ）は、例えば図３（Ａ）に示すような画像の輝度のヒストグラムを示した例であるとする。図３（Ａ）のシーンにおいてフレアーが生じた場合、画像は全体として白っぽくコントラストのない画像となる。そのように撮影された場合、図３（Ｂ）に示したヒストグラムに対して、図３（Ｃ）に示すようにヒストグラムが変化する。図３（Ｂ）、（Ｃ）において、横軸は輝度値を、縦軸は度数を表す。図３（Ｂ）、（Ｃ）を比較すると、フレアーが生じた場合には、フレアーのために黒浮きし、低輝度部の度数が減るという特徴がある。
【００２６】
フレアーが生じるシーンとしては、明るいシーンで画像内に強い光が入っている場合や、水面などから来る乱反射した光がある場合に良く起こる。そのような場合に、コントラストの高く、低輝度部を暗く再現する階調変換特性を選択することで、より最適な画像が得られる。
【００２７】
また、撮像装置においてレンズのズーム位置が望遠側になるほど、すなわち焦点距離が長くなるほどフレアーが起こる可能性が高くなる。そこで、本実施形態では、焦点距離が長くなるほど、特徴量抽出特性設定部１２による設定に応じて画像特徴量抽出回路１１でのフレアー検出レベルを高くすることで、より積極的にフレアー検出を行うことが可能である。
【００２８】
図４は、焦点距離に応じたフレアー検出用閾値の変化の一例を示すグラフである。図４において、横軸は焦点距離を、縦軸は画素値を表す。本実施形態では、画像特徴量抽出回路１１が、ヒストグラムより画素値が検出閾値以下の度数総計（ダーク画素数）を算出することでフレアー発生検出が可能となる。なお、本実施形態では、画像特徴量抽出回路１１がヒストグラムを用いて低輝度部の度数を算出するが、ある閾値以下の度数を算出するような低輝度部度数算出回路を画像特徴量抽出回路１１として用いても良いことは言うまでもない。また、画素値が検出閾値以下の度数総計（ダーク画素数）に代えて、画像の全画素数に対するダーク画素数の割合を算出するようにしても良い。
【００２９】
図５は前述のフレアー検出によって検出されたダーク画素数の割合に基づいて、階調変換特性（γカーブ）の選択を可変させる例を示す図である。図５においては、図２に示した階調変換特性の中から、検出されたダーク画素数の割合に応じて階調変換特性を選択する場合を一例として示している。図５において、横軸は焦点距離を、縦軸はダーク画素数（割合）を表す。
【００３０】
階調変換特性選択回路１４は、最もダーク画素数割合が低い場合（コントラスト強レベルＣ１より低い場合）に、最も高コントラストである階調変換特性Ｇａｍ０を選択する。また、最もダーク画素数割合が高い場合（コントラスト弱レベルＣ３より高い場合）に、最も低コントラストである階調変換特性Ｇａｍ３を選択する。同様に、コントラスト強レベルＣ１より高く、かつコントラスト中レベルＣ２より低い場合に、階調変換特性Ｇａｍ１を選択し、コントラスト中レベルＣ２より高く、かつコントラスト弱レベルＣ３より低い場合に、階調変換特性Ｇａｍ２を選択する。
【００３１】
図５に示すように本実施形態では、選択される階調変換特性を定めるダーク画素数の割合の境界値が焦点距離に応じて変化している。このように階調変換特性選択回路１４による階調変換特性の選択特性を設定することで、フレアーの発生頻度つまり焦点距離に応じて最適な階調変換特性の選択が可能となり、良好な画像を得ることができる。
【００３２】
なお、本実施形態において、適応的な階調変換はその実施のオン／オフ（実施／非実施）を撮影モードに応じて切り替えるようにしても良い。例えば、撮影モードがオートの場合には階調変換処理を実施し、撮影モードがマニュアル又は階調変換特性が指定された場合には階調変換処理を非実施というようにすることで実現可能である。
また、フレアーは、逆光シーンなど比較的輝度が明るいシーンで生じることが多い。そのため、被写体輝度に応じて適応的な階調変換処理の実施のオン／オフを切り替えるようにしても良い。
【００３３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図６は、第２の実施形態による信号処理装置を適用した撮像装置の構成例を示すブロック図である。図６には、第２の実施形態の撮像装置における信号処理ユニットの構成を示している。なお、図６において、図１、図９に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【００３４】
第２の実施形態においては、露出制御部１５は撮影時の感度情報を特徴量抽出特性設定部１２に送信する。特徴量抽出特性設定部１２は、焦点距離制御部１３からの焦点距離情報と露出制御部１５からの感度情報を用いて、フレアー検出のための低輝度部検出用閾値の決定を行う。ここで、感度情報は、撮影時の撮影感度を示す情報である。
【００３５】
図７は、特徴量抽出特性設定部１２によって設定される撮影感度別の焦点距離に応じた検出用閾値の一例を示す図である。図７において、横軸は焦点距離を、縦軸は画素値を表す。図７においては、一例として高感度時用の検出閾値及び低感度時用の検出閾値の設定例を示している。なお、第２の実施形態における動作は、焦点距離及び撮影感度に応じてフレアー検出用閾値が設定される点が異なるだけで第１の実施形態における動作と同様である。
【００３６】
第２の実施形態によれば、焦点距離に応じた最適な階調変換特性の選択が可能となる。また、本実施形態では、撮影感度が高感度であるときに、低輝度を沈める階調変換特性を選択した場合にはノイズが目立ちやすいという短所を補うために、高感度時にはあまり暗部を沈めないようにすることで、高感度時にも最適な階調変換特性の選択が可能となる。
【００３７】
なお、本実施形態では、検出用閾値として高感度用及び低感度用の２種類設けた場合を一例として説明したが、これに限定されず、検出用閾値として異なる３つ以上の撮影感度に対応させて検出用閾値を設けても良い。例えば、前述した低感度用検出閾値をＩＳＯ５０用とし、高感度用検出閾値をＩＳＯ４００用とし、その間の撮影感度に対する検出閾値は、ＩＳＯ５０用及びＩＳＯ４００用の検出閾値を用いて線形的に補間するなどしても良い。
【００３８】
また、本実施形態では、焦点距離情報に加え感度情報に応じて検出用閾値を変化させるようにしているが、階調変換特性選択回路１４による階調変換特性選択時においても同様に感度情報に応じて選択する階調変換特性を変化させても良いことは言うまでもない。
【００３９】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータ（ＣＰＵ或いはＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム或いは装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにおいて稼働しているオペレーティングシステム或いは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００４０】
例えば、第１及び第２の実施形態に示した信号処理装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により第１及び第２の実施形態での動作が実施される。
コンピュータ機能８００は、図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ９０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、第１及び第２の実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１及び第２の実施形態における前記処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。
【００４１】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００４２】
【図１】第１の実施形態による信号処理装置を適用した撮像装置の構成例を示す図である。
【図２】本実施形態における階調変換特性候補の一例を示す図である。
【図３】（Ａ）がサンプル画像を示す図、（Ｂ）がサンプル画像に係る輝度のヒストグラムを示す図、（Ｃ）がフレアー現象が発生したサンプル画像に係る輝度のヒストグラムを示す図である。
【図４】焦点距離に応じたフレアー検出用閾値の設定例を示す図である。
【図５】階調変換特性の選択方法を説明するための図である。
【図６】第２の実施形態による信号処理装置を適用した撮像装置の構成例を示す図である。
【図７】撮影感度及び焦点距離に応じたフレアー検出用閾値の設定例を示す図である。
【図８】本実施形態における信号処理装置を実現可能なコンピュータ機能を示すブロック図である。
【図９】従来の撮像装置における信号処理ユニットの構成を示す図である。
【符号の説明】
【００４３】
１ 撮像素子
２ ホワイトバランス回路
３ 色信号作成回路
４ 輝度信号作成回路
５ 輝度階調変換回路
６ 輝度補正回路
７ 画像圧縮回路
８ 画像記録回路
９ 記録媒体
１１ 画像特徴量抽出回路
１２ 特徴量抽出特性設定部
１３ 焦点距離制御部
１４ 階調変換特性選択回路
１５ 露出制御部
１６ 撮影モード制御部
１７ 階調変換特性候補記憶部
【技術分野】
【０００１】
本発明は、信号処理装置及び信号処理方法に関し、詳しくは、撮影して得られる画像信号に撮影条件に応じて階調変換を行う信号処理技術に関する。
【背景技術】
【０００２】
従来の撮像装置での輝度信号作成例について説明する。
図９は従来の撮像装置における信号処理ユニットの構成を示すブロック図である。ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１からの信号（カラー画像信号）は、ホワイトバランス回路２で白のゲインが調整され、色信号作成回路３で色変換マトリックスや階調変換などの処理が行われ、色信号が作成されて出力される。
【０００３】
また、輝度信号処理として、ホワイトバランス回路２からの信号は、輝度信号作成回路４で補間やエッジ強調などの処理が行われ、輝度信号が作成される。その後、輝度階調変換回路５によって階調変換が行われ、輝度補正回路６によって輝度信号の色相に応じた輝度信号補正が行われて輝度信号として出力される。
【０００４】
前記作成された色信号と輝度信号は、画像圧縮回路７によって画像圧縮され、画像記録回路８によって記録媒体９に格納される。
【０００５】
ここで、近年のデジタルカメラにおける輝度階調変換は、モニタ特性の逆特性である、
Ｙ’＝Ｙγ ：γ＝０．４５
のように数値で定義し、その演算式に沿って階調変換する手法や、ルックアップテーブル（以下、ＬＵＴ）等を用いて所定の階調変換特性によってなされている。また、これらの階調特性も、デジタルカメラの撮影モードによって、例えばポートレートモードや風景モード等に応じて所定の階調変換特性を予めデジタルカメラ内に設定しておくことによって階調変換がなされている。これらの手法は、予めデジタルカメラ内に設定されている階調変換特性のみを用いて階調変換を行うことになる。
【０００６】
一方、実際にカメラで撮影を行うと、撮影条件によってはフレアーが生じたことにより、白っぽく霧がかかったような画像になることや、風景などのシーンなどではよりくっきりとした画像が求められることがある。
【０００７】
つまり、撮影シーンや被写体に応じて最適な階調特性はさまざまであり、撮影シーンに応じた最適な階調変換特性を選択することは、より好ましい画像を得る上において非常に重要である。それに対し、各社デジタルカメラにおいては、ユーザによってコントラストを選択できる機能を持つものも存在する。
【０００８】
また、特許文献１には、「情報取得手段で取得されたダイナミックレンジに関する情報を合成する情報合成回路と、該情報合成回路で合成された合成情報のヒストグラムを算出するヒストグラム演算回路と、該ヒストグラム演算回路で算出されたヒストグラムのうち、所定値以上の度数のヒストグラムに基づいて階調変換特性を算出する変換特性演算回路と、を有することを特徴とする撮像装置。」（請求項４参照）が開示されている。特許文献１には、階調を自動補正する手法として、基本的な階調変換特性に対して、演算によって階調変換特性を可変させる手法が提案されている。
【０００９】
また、特許文献２には、画像中のヒストグラム及び撮像装置の撮影モードに応じて、適応的に階調変換特性を可変するという手法が提案されている。
【００１０】
【特許文献１】特開２００２−１３５６４８号公報
【特許文献２】特開２００４−１２０５８９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
前述したように画像に最適な階調変換特性は被写体や撮影シーンによって異なるため、撮影を行う毎に階調変換特性を設定しなおす必要がある。しかしながら、現状のデジタルカメラの液晶ディスプレイは、パーソナルコンピュータ（ＰＣ）のモニタ上で見るのとは差があるため、出来上がりの画像を予想することが難しく、最適な階調変換特性を選択することは難しい。
【００１２】
また、ＰＣ上での画像閲覧用アプリケーションソフトにおいて、自動コントラスト補正やフレアー除去機能を有するものがある。しかしながら、これらの補正はデジタルカメラ等で画像圧縮された画像に対して行われる。一般的にデジタルカメラで用いられるファイルフォーマットであるＪＦＩＦ（JPEG File Interchange Format）は、各色８ビットで構成される。その画像に対して８ビット→８ビットの階調変換を行うと、階調飛びを生じることや、階調飛びを押さえるためのディザを加えるなどの処理を行うことになり、画像劣化が生じてしまう。
【００１３】
また、ユーザが階調変換特性の選択やＰＣアプリケーションでのレタッチ補正をせずに、デジタルカメラ内の機能として最適な階調変換特性が自動選択されることで、ユーザの面倒を減らすことができ、より好ましいことであることは言うまでもない。
【００１４】
前記特許文献１に記載のような手法の場合、階調変換特性を演算により求める必要があるため、所定の数式演算の範囲でしか変化させることができない。また、柔軟な階調変換特性に変化させるにはそれだけの演算が必要になり、演算規模が非常に大きくなってしまう。
また、ＬＵＴを参照して階調変換を行う場合には、一般的にＬＵＴからの補正量を演算等で定義し、階調変換特性を算出することが行われているが、この手法においても前記理由から柔軟な階調変換特性を変化させることは難しかった。
【００１５】
また、デジタルカメラのような撮像装置の場合、撮影において焦点距離が可変される、つまり光学ズーム機能を有するものが多く存在する。フレアーの発生頻度は、焦点距離に応じて大きく異なる。また、レンズのコントラストも焦点距離に応じて異なる。
前記特許文献２に記載のような手法の場合において、ある程度、最適な階調変換特性を選択することが可能ではあるが、そのレンズ性能に応じた焦点距離毎にフレアーやコントラストの検出及び階調の制御を最適に行うことが難しいという問題点があった。
【００１６】
本発明は、このような事情に鑑みてなされたものであり、撮影により得られた画像信号に対して、撮影条件に応じた最適な階調変換を行えるようにすることを目的とする。
【課題を解決するための手段】
【００１７】
本発明の信号処理装置は、撮影時における焦点距離を示す焦点距離情報を取得する情報取得手段と、光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得手段により取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された画像特徴量と前記情報取得手段により取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換手段とを備えることを特徴とする。
本発明の信号処理装置は、撮影時の焦点距離を取得する焦点距離取得手段と、前記焦点距離取得手段により取得された前記焦点距離に応じて特徴量抽出特性を設定する特徴量抽出特性設定手段と、前記特徴量抽出特性設定手段により設定された特徴量抽出特性に基づいて、光学像を電気信号に変換する撮像手段より出力される画像信号から画像特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された画像特徴量に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号の階調変換を行う階調変換手段と、前記階調変換手段により階調変換された画像信号を圧縮し記録する画像圧縮記録手段とを備えることを特徴とする。
本発明の信号処理方法は、撮影時における焦点距離を示す焦点距離情報を取得する情報取得工程と、光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得工程にて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出工程と、前記特徴量抽出工程にて抽出された画像特徴量と前記情報取得工程にて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択工程と、前記階調変換特性選択工程にて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換工程とを有することを特徴とする。
本発明のプログラムは、撮影時における焦点距離を示す焦点距離情報を取得する情報取得ステップと、光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得ステップにて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出ステップと、前記特徴量抽出ステップにて抽出された画像特徴量と前記情報取得ステップにて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択ステップと、前記階調変換特性選択ステップにて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換ステップとをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮影時における焦点距離に応じて特徴量抽出特性及び階調変換特性を変化させ、撮像手段より出力される画像信号に対して、撮影時の焦点距離に応じた最適な階調変換を行うことができる。特に、デジタルカメラのように撮像装置の中で、非可逆圧縮される前に最適な階調変換特性が選択されるようにした場合には、画像劣化させることなく最適な画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。
【００２０】
（第１の実施形態）
図１は、本発明の第１の実施形態による信号処理装置を適用した撮像装置の構成例を示すブロック図である。図１には、第１の実施形態の撮像装置における信号処理ユニットの構成を示している。なお、図１において、図９に示したブロック等と同一の機能を有するブロック等には同一の符号を付している。
【００２１】
ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１から出力された信号（カラー画像信号）は、ホワイトバランス回路２で白のゲインが調整され、色信号作成回路３で色変換マトリックスや階調変換等の処理が行われ、色信号が作成され出力される。また、輝度信号処理として、ホワイトバランス回路２からの信号は、輝度信号作成回路４で補間やエッジ強調などの処理が行われ、輝度信号が作成される。その後、その輝度信号は、階調変換特性選択回路１４により選択された階調変換特性に応じて輝度階調変換回路５によって階調変換が行われ、輝度補正回路６によって輝度信号の色相に応じた輝度信号補正が行われて輝度信号として出力される。前記作成された色信号と輝度信号は、画像圧縮回路７によって画像圧縮され、画像記録回路８によって記録媒体９に格納される。
【００２２】
また、撮像素子１からの信号（カラー画像信号）は、画像特徴量抽出回路１１で特徴量抽出特性設定部１２により設定された特徴量抽出特性（特徴量抽出設定値）に応じて画像の特徴量が抽出される。その際、特徴量抽出特性設定部１２は、焦点距離制御部１３からの焦点距離情報に基づいて、後述する設定方法によって画像の特徴量抽出特性（画像特徴量の抽出に係る抽出パラメータ）を決定する。
【００２３】
画像特徴量抽出回路１１で抽出された画像の特徴量は、階調変換特性選択回路１４に供給される。また、階調変換特性選択回路１４には、焦点距離制御部１３からの焦点距離情報、露出制御部１５からの撮影した際の露出制御情報（信号）、及び撮影モード制御部１６からの撮影モード情報（信号）が供給される。階調変換特性選択回路１４は、供給された画像の特徴量、焦点距離情報、露出制御情報、及び撮影モード情報をもとに、階調変換特性候補記憶部１７より最適な階調変換特性を選択し、その階調変換特性を輝度階調変換回路５に設定する。ここで、焦点距離情報は、撮影時における図示しないレンズの焦点距離を示す情報であり、露出制御情報は、撮影時における露出に係る情報であり、撮影モード情報は、設定されている撮影モードを示す情報である。
【００２４】
図２は、本実施形態における階調変換特性候補記憶部１７に記憶される階調変換特性候補の一例を示す図である。図２に示す例では、Ｇａｍ０がもっとも高コントラストの階調変換特性であり、Ｇａｍ３が低コントラストの階調変換特性である。
【００２５】
以下、具体的に階調変換特性の選択方法について説明する。
以下、フレアー現象が発生した例で具体的に動作について説明する。図３（Ｂ）は、例えば図３（Ａ）に示すような画像の輝度のヒストグラムを示した例であるとする。図３（Ａ）のシーンにおいてフレアーが生じた場合、画像は全体として白っぽくコントラストのない画像となる。そのように撮影された場合、図３（Ｂ）に示したヒストグラムに対して、図３（Ｃ）に示すようにヒストグラムが変化する。図３（Ｂ）、（Ｃ）において、横軸は輝度値を、縦軸は度数を表す。図３（Ｂ）、（Ｃ）を比較すると、フレアーが生じた場合には、フレアーのために黒浮きし、低輝度部の度数が減るという特徴がある。
【００２６】
フレアーが生じるシーンとしては、明るいシーンで画像内に強い光が入っている場合や、水面などから来る乱反射した光がある場合に良く起こる。そのような場合に、コントラストの高く、低輝度部を暗く再現する階調変換特性を選択することで、より最適な画像が得られる。
【００２７】
また、撮像装置においてレンズのズーム位置が望遠側になるほど、すなわち焦点距離が長くなるほどフレアーが起こる可能性が高くなる。そこで、本実施形態では、焦点距離が長くなるほど、特徴量抽出特性設定部１２による設定に応じて画像特徴量抽出回路１１でのフレアー検出レベルを高くすることで、より積極的にフレアー検出を行うことが可能である。
【００２８】
図４は、焦点距離に応じたフレアー検出用閾値の変化の一例を示すグラフである。図４において、横軸は焦点距離を、縦軸は画素値を表す。本実施形態では、画像特徴量抽出回路１１が、ヒストグラムより画素値が検出閾値以下の度数総計（ダーク画素数）を算出することでフレアー発生検出が可能となる。なお、本実施形態では、画像特徴量抽出回路１１がヒストグラムを用いて低輝度部の度数を算出するが、ある閾値以下の度数を算出するような低輝度部度数算出回路を画像特徴量抽出回路１１として用いても良いことは言うまでもない。また、画素値が検出閾値以下の度数総計（ダーク画素数）に代えて、画像の全画素数に対するダーク画素数の割合を算出するようにしても良い。
【００２９】
図５は前述のフレアー検出によって検出されたダーク画素数の割合に基づいて、階調変換特性（γカーブ）の選択を可変させる例を示す図である。図５においては、図２に示した階調変換特性の中から、検出されたダーク画素数の割合に応じて階調変換特性を選択する場合を一例として示している。図５において、横軸は焦点距離を、縦軸はダーク画素数（割合）を表す。
【００３０】
階調変換特性選択回路１４は、最もダーク画素数割合が低い場合（コントラスト強レベルＣ１より低い場合）に、最も高コントラストである階調変換特性Ｇａｍ０を選択する。また、最もダーク画素数割合が高い場合（コントラスト弱レベルＣ３より高い場合）に、最も低コントラストである階調変換特性Ｇａｍ３を選択する。同様に、コントラスト強レベルＣ１より高く、かつコントラスト中レベルＣ２より低い場合に、階調変換特性Ｇａｍ１を選択し、コントラスト中レベルＣ２より高く、かつコントラスト弱レベルＣ３より低い場合に、階調変換特性Ｇａｍ２を選択する。
【００３１】
図５に示すように本実施形態では、選択される階調変換特性を定めるダーク画素数の割合の境界値が焦点距離に応じて変化している。このように階調変換特性選択回路１４による階調変換特性の選択特性を設定することで、フレアーの発生頻度つまり焦点距離に応じて最適な階調変換特性の選択が可能となり、良好な画像を得ることができる。
【００３２】
なお、本実施形態において、適応的な階調変換はその実施のオン／オフ（実施／非実施）を撮影モードに応じて切り替えるようにしても良い。例えば、撮影モードがオートの場合には階調変換処理を実施し、撮影モードがマニュアル又は階調変換特性が指定された場合には階調変換処理を非実施というようにすることで実現可能である。
また、フレアーは、逆光シーンなど比較的輝度が明るいシーンで生じることが多い。そのため、被写体輝度に応じて適応的な階調変換処理の実施のオン／オフを切り替えるようにしても良い。
【００３３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図６は、第２の実施形態による信号処理装置を適用した撮像装置の構成例を示すブロック図である。図６には、第２の実施形態の撮像装置における信号処理ユニットの構成を示している。なお、図６において、図１、図９に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
【００３４】
第２の実施形態においては、露出制御部１５は撮影時の感度情報を特徴量抽出特性設定部１２に送信する。特徴量抽出特性設定部１２は、焦点距離制御部１３からの焦点距離情報と露出制御部１５からの感度情報を用いて、フレアー検出のための低輝度部検出用閾値の決定を行う。ここで、感度情報は、撮影時の撮影感度を示す情報である。
【００３５】
図７は、特徴量抽出特性設定部１２によって設定される撮影感度別の焦点距離に応じた検出用閾値の一例を示す図である。図７において、横軸は焦点距離を、縦軸は画素値を表す。図７においては、一例として高感度時用の検出閾値及び低感度時用の検出閾値の設定例を示している。なお、第２の実施形態における動作は、焦点距離及び撮影感度に応じてフレアー検出用閾値が設定される点が異なるだけで第１の実施形態における動作と同様である。
【００３６】
第２の実施形態によれば、焦点距離に応じた最適な階調変換特性の選択が可能となる。また、本実施形態では、撮影感度が高感度であるときに、低輝度を沈める階調変換特性を選択した場合にはノイズが目立ちやすいという短所を補うために、高感度時にはあまり暗部を沈めないようにすることで、高感度時にも最適な階調変換特性の選択が可能となる。
【００３７】
なお、本実施形態では、検出用閾値として高感度用及び低感度用の２種類設けた場合を一例として説明したが、これに限定されず、検出用閾値として異なる３つ以上の撮影感度に対応させて検出用閾値を設けても良い。例えば、前述した低感度用検出閾値をＩＳＯ５０用とし、高感度用検出閾値をＩＳＯ４００用とし、その間の撮影感度に対する検出閾値は、ＩＳＯ５０用及びＩＳＯ４００用の検出閾値を用いて線形的に補間するなどしても良い。
【００３８】
また、本実施形態では、焦点距離情報に加え感度情報に応じて検出用閾値を変化させるようにしているが、階調変換特性選択回路１４による階調変換特性選択時においても同様に感度情報に応じて選択する階調変換特性を変化させても良いことは言うまでもない。
【００３９】
（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータ（ＣＰＵ或いはＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムを供給する。そして、そのシステム或いは装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、前記ソフトウェアのプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、供給されたプログラムがコンピュータにおいて稼働しているオペレーティングシステム或いは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００４０】
例えば、第１及び第２の実施形態に示した信号処理装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により第１及び第２の実施形態での動作が実施される。
コンピュータ機能８００は、図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３とを備える。また、操作部（ＣＯＮＳ）８０９のコントローラ（ＣＯＮＳＣ）８０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）８１０のディスプレイコントローラ（ＤＩＳＰＣ）８０６とを備える。さらに、ハードディスク（ＨＤ）８１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）８１２のコントローラ（ＤＣＯＮＴ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とを備える。それら機能部８０１、８０２、８０３、８０５、８０６、８０７、８０８は、システムバス８０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＳＴＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ９０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＳＴＤ８１２から読み出して実行することで、第１及び第２の実施形態での動作を実現するための制御を行う。ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ８０５は、ＣＯＮＳ８０９からの指示入力を制御する。ＤＩＳＰＣ８０６は、ＤＩＳＰ８１０の表示を制御する。ＤＣＯＮＴ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１及び第２の実施形態における前記処理プログラム等を記憶するＨＤ８１１及びＳＴＤ８１２とのアクセスを制御する。ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。
【００４１】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００４２】
【図１】第１の実施形態による信号処理装置を適用した撮像装置の構成例を示す図である。
【図２】本実施形態における階調変換特性候補の一例を示す図である。
【図３】（Ａ）がサンプル画像を示す図、（Ｂ）がサンプル画像に係る輝度のヒストグラムを示す図、（Ｃ）がフレアー現象が発生したサンプル画像に係る輝度のヒストグラムを示す図である。
【図４】焦点距離に応じたフレアー検出用閾値の設定例を示す図である。
【図５】階調変換特性の選択方法を説明するための図である。
【図６】第２の実施形態による信号処理装置を適用した撮像装置の構成例を示す図である。
【図７】撮影感度及び焦点距離に応じたフレアー検出用閾値の設定例を示す図である。
【図８】本実施形態における信号処理装置を実現可能なコンピュータ機能を示すブロック図である。
【図９】従来の撮像装置における信号処理ユニットの構成を示す図である。
【符号の説明】
【００４３】
１ 撮像素子
２ ホワイトバランス回路
３ 色信号作成回路
４ 輝度信号作成回路
５ 輝度階調変換回路
６ 輝度補正回路
７ 画像圧縮回路
８ 画像記録回路
９ 記録媒体
１１ 画像特徴量抽出回路
１２ 特徴量抽出特性設定部
１３ 焦点距離制御部
１４ 階調変換特性選択回路
１５ 露出制御部
１６ 撮影モード制御部
１７ 階調変換特性候補記憶部
【特許請求の範囲】
【請求項１】
撮影時における焦点距離を示す焦点距離情報を取得する情報取得手段と、
光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得手段により取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された画像特徴量と前記情報取得手段により取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、
前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換手段とを備えることを特徴とする信号処理装置。
【請求項２】
前記情報取得手段は、撮影感度を示す感度情報をさらに取得し、
前記特徴量抽出手段は、前記情報取得手段により取得された焦点距離情報及び感度情報に応じて設定される特徴量抽出特性に基づいて、前記撮像手段より出力される画像信号から画像特徴量を抽出することを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記階調変換特性選択手段は、前記特徴量抽出手段により抽出された画像特徴量と前記情報取得手段により取得された焦点距離情報及び感度情報に応じて前記階調変換特性を選択することを特徴とする請求項２記載の信号処理装置。
【請求項４】
撮影時の焦点距離を取得する焦点距離取得手段と、
前記焦点距離取得手段により取得された前記焦点距離に応じて特徴量抽出特性を設定する特徴量抽出特性設定手段と、
前記特徴量抽出特性設定手段により設定された特徴量抽出特性に基づいて、光学像を電気信号に変換する撮像手段より出力される画像信号から画像特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された画像特徴量に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、
前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号の階調変換を行う階調変換手段と、
前記階調変換手段により階調変換された画像信号を圧縮し記録する画像圧縮記録手段とを備えることを特徴とする信号処理装置。
【請求項５】
前記特徴量抽出特性設定手段は、前記焦点距離と撮影感度に応じて前記特徴量抽出特性を設定すること特徴とする請求項４記載の信号処理装置。
【請求項６】
前記特徴量抽出手段は、画像において画素値が検出閾値以下の画素数又は全画素に対する割合の検出を行い、
前記特徴量抽出特性設定手段は、前記検出閾値を設定することを特徴とする請求項４又は５記載の信号処理装置。
【請求項７】
前記階調変換特性選択手段は、前記特徴量抽出手段の出力及び前記焦点距離取得手段により取得された前記焦点距離に応じて、予め定められた階調変換特性の中から階調変換特性を選択することを特徴とする請求項４〜６の何れか１項に記載の信号処理装置。
【請求項８】
撮影時における焦点距離を示す焦点距離情報を取得する情報取得工程と、
光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得工程にて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程にて抽出された画像特徴量と前記情報取得工程にて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択工程と、
前記階調変換特性選択工程にて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換工程とを有することを特徴とする信号処理方法。
【請求項９】
撮影時における焦点距離を示す焦点距離情報を取得する情報取得ステップと、
光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得ステップにて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにて抽出された画像特徴量と前記情報取得ステップにて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択ステップと、
前記階調変換特性選択ステップにて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換ステップとをコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１】
撮影時における焦点距離を示す焦点距離情報を取得する情報取得手段と、
光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得手段により取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された画像特徴量と前記情報取得手段により取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、
前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換手段とを備えることを特徴とする信号処理装置。
【請求項２】
前記情報取得手段は、撮影感度を示す感度情報をさらに取得し、
前記特徴量抽出手段は、前記情報取得手段により取得された焦点距離情報及び感度情報に応じて設定される特徴量抽出特性に基づいて、前記撮像手段より出力される画像信号から画像特徴量を抽出することを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記階調変換特性選択手段は、前記特徴量抽出手段により抽出された画像特徴量と前記情報取得手段により取得された焦点距離情報及び感度情報に応じて前記階調変換特性を選択することを特徴とする請求項２記載の信号処理装置。
【請求項４】
撮影時の焦点距離を取得する焦点距離取得手段と、
前記焦点距離取得手段により取得された前記焦点距離に応じて特徴量抽出特性を設定する特徴量抽出特性設定手段と、
前記特徴量抽出特性設定手段により設定された特徴量抽出特性に基づいて、光学像を電気信号に変換する撮像手段より出力される画像信号から画像特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された画像特徴量に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択手段と、
前記階調変換特性選択手段により選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号の階調変換を行う階調変換手段と、
前記階調変換手段により階調変換された画像信号を圧縮し記録する画像圧縮記録手段とを備えることを特徴とする信号処理装置。
【請求項５】
前記特徴量抽出特性設定手段は、前記焦点距離と撮影感度に応じて前記特徴量抽出特性を設定すること特徴とする請求項４記載の信号処理装置。
【請求項６】
前記特徴量抽出手段は、画像において画素値が検出閾値以下の画素数又は全画素に対する割合の検出を行い、
前記特徴量抽出特性設定手段は、前記検出閾値を設定することを特徴とする請求項４又は５記載の信号処理装置。
【請求項７】
前記階調変換特性選択手段は、前記特徴量抽出手段の出力及び前記焦点距離取得手段により取得された前記焦点距離に応じて、予め定められた階調変換特性の中から階調変換特性を選択することを特徴とする請求項４〜６の何れか１項に記載の信号処理装置。
【請求項８】
撮影時における焦点距離を示す焦点距離情報を取得する情報取得工程と、
光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得工程にて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程にて抽出された画像特徴量と前記情報取得工程にて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択工程と、
前記階調変換特性選択工程にて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換工程とを有することを特徴とする信号処理方法。
【請求項９】
撮影時における焦点距離を示す焦点距離情報を取得する情報取得ステップと、
光学像を電気信号に変換する撮像手段より出力される画像信号から、前記情報取得ステップにて取得された焦点距離情報に応じて設定される特徴量抽出特性に基づいて画像特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにて抽出された画像特徴量と前記情報取得ステップにて取得された焦点距離情報に応じて、予め定められた階調変換特性の中から階調変換特性を選択する階調変換特性選択ステップと、
前記階調変換特性選択ステップにて選択された階調変換特性に基づいて、前記撮像手段から出力される画像信号に対して階調変換を行う階調変換ステップとをコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−６７０７１（Ｐ２００８−６７０７１Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４３０４０（Ｐ２００６−２４３０４０）
【出願日】平成１８年９月７日（２００６．９．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月７日（２００６．９．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]