画像処理装置、及び画像処理プログラム
【課題】瞳孔径に応じた各色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付ける。
【解決手段】画像入力部１０２は、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。収差補正処理部１０７は、撮影領域が暗いほど青色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
【解決手段】画像入力部１０２は、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。収差補正処理部１０７は、撮影領域が暗いほど青色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時の露光情報が添付された撮影画像データを撮影時の露光情報に基づいて処理する画像処理装置、詳しくは暗い環境における人間の視覚特性に合わせて撮影画像のリアリティを高める処理に関する。
【背景技術】
【０００２】
撮像素子、レンズ、撮影プログラム、画像処理等の各種技術開発に伴って、普及型の一般的なデジタルカメラ、デジタルビデオカメラにおいても高解像度、高精細、高彩度の撮影画像が得られるようになっている。また、デジタルカメラ、デジタルビデオカメラの撮影規格によって、撮影画像データには、撮影時のカメラ情報、露光情報、日時、ＧＰＳデータ等の各種情報が添付されるようになっている。このような添付された各種情報を用いて、撮影された画像を補正したり、リアリティを高めたりする画像処理についても各種の技術開発が行われている。
【０００３】
特許文献１には、撮影画像データに添付された撮影時の露光情報に基づいて撮影画像データのノイズ除去レベルを調整する画像処理が示される。シャッター速度が高い撮影画像データについてはノイズ除去レベルを高くして、みかけの画像品質を高めている。
【０００４】
特許文献２には、撮影画像における主被写体の前後に位置する物体に対して擬似的な焦点ずれに対応させたぼけ効果を加えることにより、撮影画像の立体感を高める画像処理が示されている。
【０００５】
ところで、最近のデジタルカメラ、デジタルビデオカメラは、撮影視野の明るさに合わせてシャッター速度と絞りの組み合わせが自動的に設定されて撮像素子の感度特性に適合させた所定の露光量で失敗の無い撮影が行える。絞りを固定して行う撮影でも、撮像素子の感度特性に適合させた所定の露光量で撮影が行われるようにシャッター速度が調整されて、カメラの機能を高度に発揮させた高品質の画像を撮影可能である。その結果、撮影時の撮影視野の明るさが違っていても、似たような色調や解像度の撮影画像が撮影されてしまい、撮影時にシャッターを押した際の印象、撮影しようとした雰囲気とは少しずれた画像が撮影されてしまうことがある。
【０００６】
このような問題を解決するために、撮影後に行われる画像編集においては、暗い環境で撮影された画像について、意図的に解像度を低下させたり、色調を青っぽくしたりすることが行われている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０６１７９号公報
【特許文献２】特開２０００−２０７５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、人間の目は、視界の明るさに応じて、赤色画像と青色画像の緑色画像に対する相対的な解像度が変化することが判明した。人間の目は、視界の明るさに合わせて虹彩が拡大縮小して瞳孔径を変化させており、視界が明るいと瞳孔径が縮小して、網膜上で観察される水晶体の色収差は小さくなる。しかし、視界が暗いと、瞳孔径が拡大するため、網膜上で観察される水晶体の色収差が大きくなる。その結果、視野が暗くなるほど赤色画像と青色画像の相対的な解像度が感覚の中心である緑色画像よりも大きく低下していることが判明した。
【０００９】
本発明は、瞳孔径に応じた各色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付けることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、撮影時の撮影領域が暗いほど前記青色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように前記撮影画像データを処理する処理部と、前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部とを備えるものである。
【発明の効果】
【００１１】
本発明の画像処理装置では、推定又は実測した撮影領域の撮影時の暗さに応じた割合で青色画像の解像度を緑色画像の解像度よりも相対的に低下させるため、緑色画像と青色画像の関係が撮影時の撮影領域で人間の目が取得する関係に近付く。
【００１２】
したがって、瞳孔径に応じた緑色画像と青色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付けることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１の画像処理装置の構成の説明図である。
【図２】瞳孔径推定処理のフローチャートである。
【図３】視野の暗さと瞳孔径の関係の説明図である。
【図４】収差補正処理のフローチャートである。
【図５】人間の目の色収差の影響の説明図である。
【図６】実施例２の画像処理装置の構成の説明図である。
【図７】類似画像検索処理の説明図である。
【図８】収差補正処理の別の例のフローチャートである。
【図９】人間の目の色収差を評価する実験の説明図である。
【図１０】瞳孔径の大きさの違いによる色収差の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を、図面を参照して詳細に説明する。本発明は、撮影時の撮影領域が暗いほど緑色画像に対する青色画像の相対的な解像度を低下させる限りにおいて、実施形態の構成の一部又は全部を、その代替的な構成で置き換えた別の実施形態でも実施できる。
【００１５】
本実施形態では、モニタ画面に画像を表示して画像処理を行うパーソナルコンピュータ用のプログラムを説明する。しかし、本発明は、デジタルカメラ、ビデオカメラ、テレビ、テレビゲーム装置等としても実施できる。これらの装置のマイコンや高速演算素子に格納されたプログラムとして実施できる。画像の表示媒体としては、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、印刷媒体、プリント画像を含む。以下の説明において画像とは、静止画だけでなく動画も含む用語である。
【００１６】
＜人間の目の色収差＞
近年、大画面、高精細度テレビ（ＨＤＴＶ）の普及が進み、パソコンのモニタ画面も解像度の高精細化、大画面化が進んでいる。また、映画分野においてもデジタルシネマシステムのように投影画素数の高画素数化が進んでいる。デジタルカメラやデジタルビデオカメラは、高解像度、大画素数、高彩度の機種にシフトしている。これにより、物理的仕様の向上による高画質化による画質の差別化が困難になってきた。
【００１７】
そのため、デジタルカメラ等の撮像装置により撮影した画像を、テレビ画面やパソコンのモニタ画面に表示する際には、各種デバイスの特性や視聴環境に合わせて、各種補正処理が行われている。画像データと関連づけられた撮影対象物の明るさに関連する撮影条件を用いて、ノイズを低減する度合いであるノイズ低減レベルを変更し、画像データの撮影条件に適した画像処理を行う補正処理が提案されている（特許文献１）。撮影した対象物が何か、また、いつどこでどんな撮影条件において撮影されたものかといった撮影時の情報を利用して、より撮影時の状態に合わせた適正な補正処理を行うことも提案されている（特許文献２）。これらの補正処理を施されて表示される画像は、物理的には極めて実物に近似したものになっている。
【００１８】
ところで、人間は、眼の水晶体により被写体の像を網膜上に光学的に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体や風景を知覚している。人間の水晶体は、いわば１枚の凸レンズと同等であり、収差の抑制はされていないため、網膜像には少なからず収差が含まれている。知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に無意識の補正を行なっているためである。しかし、暗い環境では、瞳孔径が拡大する結果、脳内でも補正しきれない収差が発生して、色収差を伴った像として知覚されている。
【００１９】
人間の眼の瞳孔の大きさ（瞳孔径）が周辺環境光の明るさにより変化することは、一般的によく知られており、瞳孔径と関連した収差として、球面収差や色収差が挙げられる。球面収差は、水晶体の中央を通ってきた光と周辺を通ってきた光での屈折率の違いから発生し、全ての光が一点に集光されず像がぼけて知覚される現象である。また、色収差は、光の波長（色）による焦点位置のずれが原因で発生し、その結果、焦点のずれた色による像がぼけて知覚される現象である。球面収差や色収差の量は、瞳孔径が大きい程増大するため、様々な条件によって瞳孔径が変化すると、それに伴って人間が知覚する見え方にも変化が起きている。
【００２０】
図１０は瞳孔径の大きさの違いによる色収差の説明図である。図１０中、（Ａ）は明るい環境下で瞳孔が閉じた状態、（Ｂ）は暗い環境下で瞳孔が開いた状態での、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の各光が眼球内で焦点を結ぶ様子を模式的に現したものである。
【００２１】
図１０の（Ａ）に示すように、明るい環境下では、赤色光１２０２ａ、緑色光１２０３ａ、青色光１２０４ａの各色の焦点位置がほぼ同じ位置となり、色収差の量は小さい。その一方で、図１０の（Ｂ）に示すように、暗い環境下においては、緑色光１２０３ｂに対し、青色光１２０２ｂは近い位置に、赤色光１２０４ｂは遠い位置に焦点を結び、色収差が大きくなっていることがわかる。
【００２２】
これに対して、デジタルカメラ等の撮像装置に使用されている光学レンズでは、複数枚のレンズを組み合わせて収差を抑制している。その結果として、暗い環境で撮影された画像は、必ずしも撮影現場にいた撮影者が実際に知覚していた像と一致しているとは限らない。そして、従来のテレビや画像処理ソフトウエアにおいては、入力画像を撮影した環境下での人間の眼の色収差は考慮されていない。従来のテレビや画像処理ソフトウエアにおいては、眼の色収差によって起こるぼけを含む画像、すなわち実際にその撮影環境下で人間が知覚していたと思われる被写体の像を近似して再現することはできなかった。特許文献１、２に記載された技術を用いた画像処理ソフトウエアでも、暗い環境で眼に発生する色収差の影響を考慮した画像を近似して再現することはできなかった。
【００２３】
このため、物理的には高画質な画像が得られていても、人間の水晶体で発生する色収差については全く考慮されていないため、その画像が必ずしも感性的に評価値が高い画像になるとは限らなかった。監視カメラで撮影した画像に対しては、被写体の視認性を重視した補正しか行われていないので、撮影画像のイメージが被写体の実物とは大きく異なることがあった。
【００２４】
したがって、暗い環境で撮影された画像については、画像を観察する人間にとっては、色収差をむしろ完全に補正しない方が、感性的には評価値が上がり、より高い質感や感動を味わえることにつながる。物理的に色収差が除去された撮影画像については、意図的にこれらの視覚特性を考慮した補正を行うことが望ましい。
【００２５】
そこで、以下の実施例では、画像データ取得時と同じ環境下での人間の視覚特性を推定し、該画像データに人間の視覚特性を考慮した補正処理を行う。動物の生態観察や無人の監視カメラ等、人間が介入できない場所で撮影した画像を、撮影時と同じ環境下で人間が存在していた場合に知覚していたと思われる像の再現を可能として、人間の感覚に近づけた、感性的に高い評価値を得られるようにしている。
【００２６】
＜実施例１＞
図１は実施例１の画像処理装置の構成の説明図である。図２は瞳孔径推定処理のフローチャートである。図３は視野の暗さと瞳孔径の関係の説明図である。図４は収差補正処理のフローチャートである。図５は人間の目の色収差の影響の説明図である。
【００２７】
図１に示すように、入力部の一例である画像入力部１０２は、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。処理部の一例である収差補正処理部１０７は、撮影時の露光情報に基づいて撮影時の撮影領域の暗さに応じた青色画像と緑色画像の解像度を設定する。結果的に、撮影領域が暗いほど青色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。出力部の一例である収差補正処理部１０７は、画像処理装置１００が撮影画像データを処理して得られた処理画像データを画像表示部１０８に出力する。収差補正処理部１０７において撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
【００２８】
画像処理装置１００は、コンピュータが画像処理ソフトウエアのプログラムを実行して入力画像の変換処理を行う。画像処理プログラムの第一ステップでは、コンピュータが、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。第二ステップでは、コンピュータが、撮影時の露光情報に基づいて撮影画像データの撮影時の撮影領域の暗さを推定する。第三ステップでは、コンピュータが、推定結果に基づいて、撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる。第三ステップでは、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づく割合で青色画像の解像度を緑色画像の解像度よりも相対的に低下させる。
【００２９】
第三ステップは、第三Ａステップ、第三Ｂステップ、第三Ｃステップにより構成される。第三Ａステップでは、コンピュータが、第二ステップで推定された撮影領域の暗さに基づいて撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。第三Ｂステップでは、コンピュータが、第三Ａステップで推定された瞳孔径から青色の色収差補正量を決定する。第三Ｃステップでは、コンピュータが、第三Ｂステップで決定された青色の色収差補正量を用いて青色画像の色収差補正処理を行う。第三Ｃステップの色収差補正処理は、画像の空間周波数を低減させるフィルタ処理である。
【００３０】
画像処理装置１００は、入力画像データの撮影時の露出情報から求めた撮影時の環境輝度を用いて、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。そして、瞳孔径から仮想の撮影者の眼に発生している色収差を求め、その色収差に相当する補正を撮影画像に対して行う。
【００３１】
（画像入力部）
画像入力部１０２は、処理対象の画像１０１が入力され、画像データと画像情報を分離する。画像１０１は、補正処理の対象となる入力画像である。画像入力部１０２は、入力された画像１０１の画像情報から、瞳孔径推定に用いる撮影時の露出情報（シャッター速度および絞り値）を抽出する。
【００３２】
デジタルカメラで撮影された画像の画像ファイルには、一般的に、画像ファイルフォーマット規格（Ｅｘｉｆ）に沿った形式で画像情報が付加されている。その画像情報の中に必要な露出情報が含まれている。デジタルカメラの撮影画像は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められた、画像ファイルフォーマット規格（Ｅｘｉｆ）の画像ファイルとして記憶媒体に記録される。
【００３３】
Ｅｘｉｆ規格の画像ファイルは、画像データと画像データに埋め込まれた撮影条件を記述するＥｘｉｆ情報とから構成される。Ｅｘｉｆ情報には、ＩＳＯ感度、ストロボ（フラッシュ）の使用の有無、レンズの焦点距離、画像圧縮率といった撮影条件が定められた位置に書き込まれている。したがって、Ｅｘｉｆ情報を解析することによって、画像データがどのような条件下で撮影されたかを知ることができる。
【００３４】
また、ＩＳＯ感度（ＩＳＯ速度）、画像圧縮率、フラッシュ（ストロボ）使用の有無、レンズ焦点距離、シャッター速度、光源、露出、ゲイン制御（増感・減感量）が格納されている。画像幅、画像高さ、３５ｍｍ換算レンズ焦点距離、焦点面の高さの解像度、焦点面の幅の解像度、焦点面解像度単位等の撮影条件に関する撮影情報が格納されている。ＪＰＥＧ画像のサムネイル画像データがＴＩＦＦ形式にて格納されている。撮影情報を含む付属情報は画像データがメモリカードＭＣに書き込まれる際に自動的に格納される。
【００３５】
Ｅｘｉｆ形式のファイルでは、各データを特定するためにタグが用いられている。したがって、画像入力部１０２は、タグを指定することによって、所望の撮影情報を取得することができる。
【００３６】
（瞳孔径推定部）
瞳孔径推定部１０４は、入力された画像データやその画像情報から撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。画像情報は、「画像データに付帯している撮影時の露出情報」である。収差補正量決定部１０６は、瞳孔径推定部１０４で推定した瞳孔径から、撮影時と同じ環境下にいる仮想の撮影者の眼に発生していた収差の効果を、近似的に再現する収差補正を行うための収差補正量を決定する。
【００３７】
瞳孔径推定部１０４は、画像入力部１０２から画像情報のひとつである撮影時の露出情報を得て、露出情報から撮影環境の輝度を算出し、環境輝度に対する瞳孔径記憶部１０３を参照して瞳孔径を推定する。瞳孔径記憶部１０３は、環境輝度に対する瞳孔径がＬＵＴ（ルックアップテーブル）として保存されている。
【００３８】
図２に示すように、瞳孔径推定部１０４は、撮影時の露出情報（シャッター速度と絞り値）からＥＶ値（露出値）を求める（Ｓ２０１）。
【００３９】
【表１】
【００４０】
シャッター速度Ｔと絞り値Ｆから決まる露出量であるＥＶ値は、数式１により求めてある。
【００４１】
【数１】
【００４２】
続いて、瞳孔径推定部１０４は、求めたＥＶ値を照度へ変換する（Ｓ２０２）。
【００４３】
【表２】
【００４４】
ＥＶ値と照度Ｌとの関係は数式２のように定められている。
【００４５】
【数２】
【００４６】
続いて、瞳孔径推定部１０４は、変換した照度を輝度へ変換する（Ｓ２０３）。
【００４７】
【表３】
【００４８】
照度Ｌと輝度Ｂとの関係は数式３のように定められている。
【００４９】
【数３】
【００５０】
以上の手順によって、露出情報から輝度への変換が終了したら、瞳孔径推定部１０４は、求めた輝度から、環境輝度に対する瞳孔径記憶部１０３を参照して瞳孔径を推定する（Ｓ２０４）。
【００５１】
図３に示すように、瞳孔径記憶部１０３には、人間の瞳孔径と輝度の一般的な関係を示すグラフ６０１をＬＵＴ化した値が保存されている。瞳孔径推定部１０４は、瞳孔径を推定したら、瞳孔径情報を収差補正量決定部１０６へ転送する。
【００５２】
なお、瞳孔径推定に用いる画像情報や瞳孔径推定の具体的な方法は、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定するものであれば上記に限定されない。また、瞳孔径推定の精度を上げるため、いくつかの瞳孔径推定方法を組み合わせて使用する形でもかまわない。
【００５３】
（収差補正量決定部）
収差補正量決定部１０６は、瞳孔径推定部１０４で推定した瞳孔径情報から、収差量記憶部１０５を参照して収差推定値を取得し、収差推定値から収差補正量を求める。収差量記憶部１０５は、瞳孔径に対する収差推定値がＬＵＴとして保存されている。
【００５４】
収差補正量決定部１０６は、瞳孔径推定部１０４より取得した瞳孔径情報を基に、収差量記憶部１０５の瞳孔径に対する収差量テーブルを参照して、該瞳孔径に対する収差推定値を取得し、収差推定値から収差補正量を求める。収差量記憶部１０５の瞳孔径に対する収差量テーブルには、あらかじめ人間の眼球モデルについて瞳孔径と色収差の関係を光学シミュレーションで計算した値が、ＬＵＴとして保存してある。
【００５５】
収差量テーブルの作成に用いた光学シミュレーションは、以下のとおりである。収差量テーブルの各収差量は、瞳孔径と、統計的に得られる水晶体の形状・屈折率分布情報を用いた変換特性（以下ＭＴＦ：ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）を光学シミュレーションにより計算している。収差推定値は、一般に光学設計で用いられる軸上収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、赤色画像、青色画像、緑色画像に関するＭＴＦの比（Ｒａｔｉｏ）を表す関数ＭＲ（ν，Ｒ）を使用した。数式４中、変数νは補正対象となる空間周波数、Ｒは瞳孔径である。
【００５６】
【数４】
【００５７】
ここで、λ（ν，Ｒ）は、入射光の波長がλの場合に、空間周波数ν，瞳孔径Ｒで生じる眼のＭＴＦである。ＭＴＦの入射光の波長は、分子分母各々に対し、４７０ｎｍ（青）、５５０ｎｍ（緑）としている。これらの数値は、青色及び緑色画素の分光輝度が最大になる波長を想定したものである。続く工程において、青色・緑色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するＭＴＦとの平均を用いれば良い。
【００５８】
空間周波数ν，瞳孔径Ｒを変数としたＭＴＦの比ＭＲ（ν，Ｒ）が、数式４で計算されると、入力２変数（空間周波数ν，瞳孔径Ｒ）、出力ＭＲ（ν，Ｒ）のルックアップテーブルとして瞳孔径に対する収差テーブルに記録される。
【００５９】
このように生成されたＭＴＦ比の関数ＭＲ（ν，Ｒ）が記録保持された収差テーブルは、瞳孔径情報から推定された瞳孔径Ｒ’を入力として、空間周波数νを変数としたデータ列である収差推定値ｆ（ν）を出力する。収差推定値ｆ（ν）が収差補正量決定部１０６に入力される。
ｆ（ν）＝ ＭＲ（ν，Ｒ’）
Ｒ’＝ｃｏｎｓｔ
【００６０】
収差補正量決定部１０６では、得られた収差推定値から収差補正量を算出する。ここで得られる収差補正量は、画像データのＢ面の空間周波数抑制に関する数値であり、数式５で与えられる。
【００６１】
【数５】
【００６２】
変数νｍｉｎ， νｍａｘは、補正対象となる空間周波数帯の最小及び最大値、ｎは空間周波数帯のサンプル点数である。
【００６３】
図５の（ａ）に示すように、入射光の波長が５５０ｎｍ（緑色光）で瞳孔径が最大の場合に相当する緑色ＭＴＦ８０１、及び入射光の波長が４７０ｎｍ（青色光）で瞳孔径が最大の場合に相当する青色ＭＴＦ８０２が求められる。色収差の影響で、緑色光と比較して青色光がぼけるため、高周波成分において差が生じている。
【００６４】
同様の効果を撮影画像において発生させるためには、処理後の画像における青色ＭＴＦが図５の（ａ）に示すＭＴＦ特性と重なるように、青色光が形成する光強度分布（つまりＢ面の画素値）の高周波数成分を抑制すればよい。理想的には、Ｂ面の空間周波数成分を細かく分離し、数式４で与えられる関数ＭＲを周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。
【００６５】
そこで、実施例１では、図５の（ｂ）に示すように、空間周波数の分離は二つとし、カットオフ周波数８０４以上の高周波成分を一律に抑制している。補正後の青色ＭＴＦ８０３は、高周波成分が抑制され、図５の（ａ）に示す青色ＭＴＦ８０２と近い特性となっており、色収差が再現できていることがわかる。
【００６６】
数式５により与えられる関数ｇは、高周波成分に一律に積算される増幅率であり、数式４で与えられるＭＴＦ比率の平均（相乗平均）値を用いている。平均を求める空間周波数帯域は、ｇの変数であるνｍｉｎ， νｍａｘにより指定され、空間周波数帯のサンプル点数はｎで指定される。νｍｉｎ， νｍａｘは、両者ともカットオフ周波数８０４付近の数値を選択する必要があるが、処理後の画像にノイズが目立つようであれば低周波の数値を選択することが望ましい。
【００６７】
処理後の青色ＭＴＦ８０３の形状からわかるように、カットオフ周波数８０４付近で不連続の段差が生じて画質劣化の要因となりうるが、処理自体が高周波成分の抑制であるため、実用上は問題ないことが確かめられている。
【００６８】
（収差補正処理部）
収差補正処理部１０７は、収差補正量決定部１０６で決定した収差補正量を用いて、画像に対する収差補正処理を行う。収差補正のための画像処理を、高周波成分を抑制する空間周波数成分処理により行う。
【００６９】
収差補正処理部１０７は、収差補正量決定部１０６で求めた収差補正量に従い、画像入力部１０２より取得した画像デーに対し補正処理を行う。収差補正処理部１０７では、画像入力部１０２に入力された処理対象画像データに対して、図５の（ｂ）に示すように決定された収差補正量（ＭＴＦ）に従って収差補正処理を行う。
【００７０】
図４に示すように、収差補正処理部１０７は、高周波成分抑制による収差補正処理を実行する。画像入力部１０２から読み込まれた画像データは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの三原色の色信号からなるカラー画像である。画像データは、Ｒｅｄ信号からなるＲ面、Ｇｒｅｅｎ信号からなるＧ面、Ｂｌｕｅ信号からなるＢ面の３枚のカラー画像平面（ＲＧＢ面）から構成される。
【００７１】
収差補正処理部１０７は、画像データのＲＧＢ面の中から補正対象であるＢ面を抽出した後（Ｓ７０１ａ）、カットオフ周波数８０４のフィルタ処理によりＢ面を低周波成分と高周波成分に分離する（Ｓ７０２ａ）。フィルタ処理は任意に決められるが、ここでは、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。収差補正処理部１０７は、Ｂ面の高周波成分に対し、収差補正量を積算する（Ｓ７０３ａ）。
【００７２】
収差補正処理部１０７は、次に、分離していた低周波成分に、収差補正処理したＢ面の高周波成分を合成して、収差補正後のＢ面を作成した後、Ｒ，Ｇ面と合わせることにより、収差補正後画像データを生成する（Ｓ７０４ａ）。
【００７３】
（画像表示部）
画像表示部１０８は、補正処理された画像を液晶ディスプレイ等の表示手段へ表示する。最後に、収差補正処理部１０７により収差補正された画像が、画像表示部１０８へと転送され補正画像が表示される。
【００７４】
なお、実施例１では、青色に対するぼけの補正を目的に、波長５５０ｎｍの緑色光と波長４７０ｎｍの青色光との比から収差によるＭＴＦの差を補正した。青色だけでも撮影画像を暗い環境での観察状態に近付ける十分な表現効果が得られる。しかし、後述するように、赤色についても、緑色に対する色収差のぼけが生じているので、赤色についても、赤色ＭＴＦを同様な手順で求めて補正を行うことが望ましい。赤色の収差による補正を行う場合、数式４の分母を目標とするＭＴＦ、分子を眼のＭＴＦとして補正すればよい。赤色に対するぼけを補正して再現したい場合は、分母のＭＴＦの波長を赤色画素の分光輝度が最大になる６３０ｎｍとすればよい。
【００７５】
この場合、収差補正処理部１０７は、結果的に、撮影領域が暗いほど赤色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。収差補正処理部１０７において撮影領域が暗いほど赤色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と赤色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
【００７６】
＜実施例２＞
図６は実施例２の画像処理装置の構成の説明図である。図７は類似画像検索処理の説明図である。
【００７７】
実施例１では瞳孔径推定処理において、画像データに付帯している画像撮影時の画像情報のひとつである露出情報を利用した。しかし、処理対象の画像データには必ずしも画像情報が付帯しているとは限らない。画像情報が付帯していない場合、実施例１による方法では、瞳孔径推定が不可能となり、色収差の補正を行うことができない。
【００７８】
そこで、実施例２では、入力された画像データを、あらかじめ撮影時の露出情報が付帯している画像データの画像群で構成されたデータベースに対して類似画像検索を行う。画像データに無い露出情報の代わりに「類似画像検索の一致画像から推定した露出情報」を用いる。類似画像検索の結果から、入力画像に対する撮影時の露出情報を推定し、推定した露出情報を用いることで、実施例１と同様な方法で、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定することができる。これにより、画像データに画像情報が付帯されておらず、露出情報を得ることができない場合にも、瞳孔径により変化する眼の収差補正を行うことができる。
【００７９】
図６に示すように、実施例２の画像処理装置９００は、破線で囲んで示す実施例１の構成に、露出情報推定部９１０と類似検索用画像記憶部９０９が追加された構成である。以下では、実施例１と共通する構成には図１と共通の符号を付して重複する説明を省略する。
【００８０】
データベースの一例である類似検索用画像記憶部９０９は、それぞれ撮影時の露光情報が添付された複数の基準画像データを集積している。照合部の一例である露出情報推定部９１０は、撮影画像データと類似検索用画像記憶部９０９の複数の基準画像データとを照合して一致度の高い基準画像データに添付された撮影時の露光情報を取得する。処理部の一例である収差補正処理部１０７は、撮影領域が暗いほど、青色画像の解像度を緑色画像の解像度よりも相対的に低下させるように、露出情報推定部９１０が取得した露光情報に基づいて撮影画像データを処理する。
【００８１】
類似検索用画像記憶部９０９は、類似検索用の様々な画像データがデータベースとして記憶されている。露出情報推定部９１０は、入力画像に対する類似画像検索結果から、撮影時の露出情報を推定する。露出情報推定後の処理については、実施例１と同様であるため、重複する説明を省略する。
【００８２】
露出情報推定部９１０は、画像入力部１０２に入力された画像１０１について、類似検索用画像記憶部９０９に記憶されている類似画像検索用画像データベースに対する類似画像検索を実行する。
【００８３】
図７に示すように、画像データ１００１に対し、類似検索画像データベース１００２へ類似画像検索を行った結果、画像Ｃ（以下画像１００３）が、各種特徴量の比較から最も近いとして抽出された画像であったとする。
【００８４】
抽出された画像１００３の露出情報を参照すると、シャッター速度１／１５、絞り値Ｆ４であることから、表１により、露出量＝８を入力画像の露出量と仮定し、これをその後の瞳孔径推定のための露出情報として採用する。
【００８５】
ここで、類似画像検索の方法としては、従来の様々な手法を利用できる。一例として、実施例２では、画像全体またはエリア毎に、「色」、「輝度」、「物体形状」、「テクスチャ」といった様々な要素についての特徴量をベクトル化しておき、それらを基に各要素のベクトル傾向から類似度を求める方法を用いている。
【００８６】
類似画像の検索結果については、類似検索画像データベース１００２から最も類似度の高い画像を１枚だけ抽出するようにしても良いが、上位何枚かを抽出するようにして平均値を取ってもよい。また、入力された画像データによっては、必ずしも適正な類似画像が抽出されない場合も考えられる。この場合、類似度が高いと判定された複数の候補画像を画像表示部１０８に表示して、マウスやキーボードを操作して手動選択する。
【００８７】
＜実施例３＞
図８は収差補正処理の別の例のフローチャートである。実施例１では、収差補正処理部１０７において、高周波成分抑制による補正処理を行った。しかし、本発明においては、撮影領域の暗さに応じた割合で緑色画像に対する青色画像の相対的な解像度の低下、すなわち「ぼけ効果」が得られる処理方法であれば、他の手法による補正方法を採用しても良い。他の手法の例として、平均化処理が挙げられる。図８では平均化処理を用いて収差補正量を決定している。
【００８８】
（平均化処理）
図１を参照して図８に示すように、画像の空間周波数を低減させるフィルタ処理の一例が「隣接する複数の画素の輝度の平均化を行う平均化処理」、いわゆるモザイクフィルタ処理である。平均化処理の場合も、収差補正量決定部１０６は、実施例１の高周波成分抑制の時と同様に、瞳孔径に対する収差量テーブルの参照で得た収差推定値から、数式４により収差推定値を算出する。その後、収差補正量決定部１０６は、収差推定値から収差補正量を数式５により算出する。平均化処理の場合、ここで求めた収差補正量を、事前に主観評価実験により作成した変換関数により平均化処理のパラメータに変換する。
【００８９】
具体的には、高周波成分抑制により収差補正を行った画像と、平均化処理を施した画像をいくつか生成し、その中から主観評価実験によって「解像度の低下効果」の類似性が高い組を複数抽出する。これにより、高周波成分抑制の補正量と平均化処理パラメータの組がいくつかできるので、これらに関数フィッティングを行うことで両者の関係を関数化している。
【００９０】
収差補正処理部１０７では、数式６で与えられるフィルタを使用する線形フィルタ処理により平均化処理を行う。
【００９１】
【数６】
【００９２】
パラメータαは、強調の程度を表すパラメータであり、収差補正量は、パラメータαを用いる。数式６の演算によって、実施例１の高周波成分抑制処理と同様に、青色画像の高周波成分を緑色画像よりも相対的に抑制できる。平均化処理は、計算負荷が高周波成分強調処理より小さいため、高速処理が可能である。数式６で与えられるフィルタは３×３の大きさのものを使用しているが、平均化性能を高めたければ、より大きいサイズのものを使用しても良い。
【００９３】
また、「ぼかし効果」を得るための他の手法による補正としては、画素の濃度を周囲の画素にガウス分布に従って分散させるフィルタ処理が挙げられる。
【００９４】
＜実施例４＞
図９は人間の目の色収差を評価する実験の説明図である。実施例１では、瞳孔径と色収差との関係を、人間の眼球モデルについて光学シミュレーションで計算して求めた。しかし、上述したように、人間は、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に無意識の補正を行なっているため知覚された像に色収差の影響が感じられにくい。このため、実施例４では、瞳孔径と色収差との関係を複数の被験者を用いて実験により求めた。また、本実験により、環境が暗くなると、人間の感覚において、緑色画像に対して青色画像、赤色画像の相対的な解像度が現実に低下していることが確認された。
【００９５】
実験により、眼に発生する色収差の違いによる影響は、人間が認識できるコントラスト感度の差として現れることが確認された。特に、Ｒ（赤色）Ｇ（緑色）Ｂ（青色）三原色の内、Ｂ（青色）におけるコントラスト感度がＧ（緑色）のコントラスト感度に比較して、より低下し易いことが確認された。Ｒ（赤色）におけるコントラスト感度もＢ（青色）におけるコントラスト感度ほどではないものの、Ｇ（緑色）のコントラスト感度に比較して低下していることが確認された。
【００９６】
モニタ画面上に輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、目視観察によって矩形画像の輝度差がどこまで判別できるかにより、コントラスト感度を評価した。
【００９７】
図９に示すように、輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、それぞれのパッチ領域の明るさ感覚量を示した。横軸に空間座標、縦軸に明るさ感覚量を示している。観察視野の明るさ及び矩形画像の明るさを異ならせて、４名の被験者で同一の実験を行った。
【００９８】
図１０の（Ｂ）に示すように、暗い環境で瞳孔径が拡大しても、テストパッチが緑色の時、その明るさ感覚は、二枚のパッチの位置に一致して感じられる（実線１１０１）ことが観察された。同じ暗い環境でも、青色に対する明るさ感覚は、眼の青色波長領域に対する色収差の影響でボケが生じるため、その明るさ感覚は、二枚のパッチの隣接部で混じり合い、緩やかな勾配をもって変化して観察された（破線１１０２と領域１１０３）。実線１１０１で表される感覚量の方が、破線１１０２で表される感覚量よりも高いコントラスト感度を示すことは明らかである。
【００９９】
その結果、図１０の（Ｂ）に示すように、瞳孔が大きく開いて水晶体に色収差が強く発生している場合、緑色に対するコントラスト感度に比較して、青色に対するコントラスト感度の方が低いことがわかった。
【０１００】
一方、被験者が目の前のピンホールを通して同じモニタ画面を見ることによって、図１０の（Ａ）に示す瞳孔径が小さい場合を模した同様の実験を行った。その結果、赤色、緑色、青色に対するコントラスト感度が同等、もしくは青色に対するコントラスト感度が赤色、緑色に対するそれに近付くという結果が得られた。これは、瞳孔径が狭められた結果、眼の色収差が減少してコントラスト感度が向上したことによるものと推測される。
【０１０１】
以上のように、明るさ感度の差であるコントラスト感度は、眼の色収差に大きく影響され、色収差による空間解像力が悪くなるほど、現実に、コントラスト感度も低下することが確認された。
【０１０２】
また、通常の視力の被験者では、青色において色収差によるぼけが起こり易いことが確認された。その一方、視力によっては、眼の網膜上で発生している色収差、及び色収差のぼけへの影響の様子が異なることも見出された。近視の被験者（裸眼）の場合には、赤色にぼけが発生し易いことが見出された。これは、近視の被験者の場合は焦点距離が短い青色に焦点が合い易くなっているためと考えられる。
【０１０３】
このため、撮影者が近視で眼鏡をかけていない場合、撮影画像の見え方を総合的により現実的にしたいならば、青色画像の相対的なぼかし量を少なくして赤色画像の相対的なぼかし量を増やすように、両方の画像を同時に補正することが望ましい。個人個人の視力に応じて色収差の補正割合を変化させてもよい。
【０１０４】
以上の実施例では、入力画像データやその画像情報から、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定し、瞳孔径から仮想の撮影者の眼に発生している色収差を求め、その収差に対する補正を画像に対して行った。そして、収差としては、瞳孔径の変化に伴う色収差を例に説明した。しかし、瞳孔径の変化に伴う収差において球面収差などの色収差以外の収差についても同様に本発明を適用可能である。
【０１０５】
＜実施例５＞
実施例１では、撮影済の撮影画像データを記録メディアやデジタルカメラからパソコンに取り込んで、添付された撮影情報に基づいて撮影画像処理を行う実施例を説明した。しかし、請求項１の発明は、デジタルカメラにおいて、撮影した画像に対して撮影時の前方視界の暗さに応じた画像処理を行う場合にも利用できる。すなわち、撮影情報に頼ることなく、カメラ本体で撮影時に測定された撮影領域の暗さに応じて人間の目の色収差に対応した画像処理を行ってもよい。デジタルカメラ、デジタルビデオカメラにおいて、環境が暗くなると人間の目において緑色画像に対して青色画像、赤色画像の相対的な解像度が低下する効果を撮影画像に付加して、その修正撮影画像を記録メディアに記録してもよい。
【符号の説明】
【０１０６】
１００、９００ 画像処理装置
１０１ 画像
１０２ 画像入力部
１０３ 瞳孔径記憶部
１０４ 瞳孔径推定部
１０５ 収差量記憶部
１０６ 収差補正量決定部
１０７ 収差補正処理部
１０８ 画像表示部
９０９ 類似検索用画像記憶部
９１０ 露出情報推定部
【技術分野】
【０００１】
本発明は、撮影時の露光情報が添付された撮影画像データを撮影時の露光情報に基づいて処理する画像処理装置、詳しくは暗い環境における人間の視覚特性に合わせて撮影画像のリアリティを高める処理に関する。
【背景技術】
【０００２】
撮像素子、レンズ、撮影プログラム、画像処理等の各種技術開発に伴って、普及型の一般的なデジタルカメラ、デジタルビデオカメラにおいても高解像度、高精細、高彩度の撮影画像が得られるようになっている。また、デジタルカメラ、デジタルビデオカメラの撮影規格によって、撮影画像データには、撮影時のカメラ情報、露光情報、日時、ＧＰＳデータ等の各種情報が添付されるようになっている。このような添付された各種情報を用いて、撮影された画像を補正したり、リアリティを高めたりする画像処理についても各種の技術開発が行われている。
【０００３】
特許文献１には、撮影画像データに添付された撮影時の露光情報に基づいて撮影画像データのノイズ除去レベルを調整する画像処理が示される。シャッター速度が高い撮影画像データについてはノイズ除去レベルを高くして、みかけの画像品質を高めている。
【０００４】
特許文献２には、撮影画像における主被写体の前後に位置する物体に対して擬似的な焦点ずれに対応させたぼけ効果を加えることにより、撮影画像の立体感を高める画像処理が示されている。
【０００５】
ところで、最近のデジタルカメラ、デジタルビデオカメラは、撮影視野の明るさに合わせてシャッター速度と絞りの組み合わせが自動的に設定されて撮像素子の感度特性に適合させた所定の露光量で失敗の無い撮影が行える。絞りを固定して行う撮影でも、撮像素子の感度特性に適合させた所定の露光量で撮影が行われるようにシャッター速度が調整されて、カメラの機能を高度に発揮させた高品質の画像を撮影可能である。その結果、撮影時の撮影視野の明るさが違っていても、似たような色調や解像度の撮影画像が撮影されてしまい、撮影時にシャッターを押した際の印象、撮影しようとした雰囲気とは少しずれた画像が撮影されてしまうことがある。
【０００６】
このような問題を解決するために、撮影後に行われる画像編集においては、暗い環境で撮影された画像について、意図的に解像度を低下させたり、色調を青っぽくしたりすることが行われている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０６１７９号公報
【特許文献２】特開２０００−２０７５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、人間の目は、視界の明るさに応じて、赤色画像と青色画像の緑色画像に対する相対的な解像度が変化することが判明した。人間の目は、視界の明るさに合わせて虹彩が拡大縮小して瞳孔径を変化させており、視界が明るいと瞳孔径が縮小して、網膜上で観察される水晶体の色収差は小さくなる。しかし、視界が暗いと、瞳孔径が拡大するため、網膜上で観察される水晶体の色収差が大きくなる。その結果、視野が暗くなるほど赤色画像と青色画像の相対的な解像度が感覚の中心である緑色画像よりも大きく低下していることが判明した。
【０００９】
本発明は、瞳孔径に応じた各色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付けることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、撮影時の撮影領域が暗いほど前記青色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように前記撮影画像データを処理する処理部と、前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部とを備えるものである。
【発明の効果】
【００１１】
本発明の画像処理装置では、推定又は実測した撮影領域の撮影時の暗さに応じた割合で青色画像の解像度を緑色画像の解像度よりも相対的に低下させるため、緑色画像と青色画像の関係が撮影時の撮影領域で人間の目が取得する関係に近付く。
【００１２】
したがって、瞳孔径に応じた緑色画像と青色画像の相対的な解像度の変化を盛り込んだ画像処理を行うことによって、暗い環境で撮影した撮影画像の印象を撮影時に目で見た被写体を含む撮影視野の印象や雰囲気に近付けることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１の画像処理装置の構成の説明図である。
【図２】瞳孔径推定処理のフローチャートである。
【図３】視野の暗さと瞳孔径の関係の説明図である。
【図４】収差補正処理のフローチャートである。
【図５】人間の目の色収差の影響の説明図である。
【図６】実施例２の画像処理装置の構成の説明図である。
【図７】類似画像検索処理の説明図である。
【図８】収差補正処理の別の例のフローチャートである。
【図９】人間の目の色収差を評価する実験の説明図である。
【図１０】瞳孔径の大きさの違いによる色収差の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を、図面を参照して詳細に説明する。本発明は、撮影時の撮影領域が暗いほど緑色画像に対する青色画像の相対的な解像度を低下させる限りにおいて、実施形態の構成の一部又は全部を、その代替的な構成で置き換えた別の実施形態でも実施できる。
【００１５】
本実施形態では、モニタ画面に画像を表示して画像処理を行うパーソナルコンピュータ用のプログラムを説明する。しかし、本発明は、デジタルカメラ、ビデオカメラ、テレビ、テレビゲーム装置等としても実施できる。これらの装置のマイコンや高速演算素子に格納されたプログラムとして実施できる。画像の表示媒体としては、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、印刷媒体、プリント画像を含む。以下の説明において画像とは、静止画だけでなく動画も含む用語である。
【００１６】
＜人間の目の色収差＞
近年、大画面、高精細度テレビ（ＨＤＴＶ）の普及が進み、パソコンのモニタ画面も解像度の高精細化、大画面化が進んでいる。また、映画分野においてもデジタルシネマシステムのように投影画素数の高画素数化が進んでいる。デジタルカメラやデジタルビデオカメラは、高解像度、大画素数、高彩度の機種にシフトしている。これにより、物理的仕様の向上による高画質化による画質の差別化が困難になってきた。
【００１７】
そのため、デジタルカメラ等の撮像装置により撮影した画像を、テレビ画面やパソコンのモニタ画面に表示する際には、各種デバイスの特性や視聴環境に合わせて、各種補正処理が行われている。画像データと関連づけられた撮影対象物の明るさに関連する撮影条件を用いて、ノイズを低減する度合いであるノイズ低減レベルを変更し、画像データの撮影条件に適した画像処理を行う補正処理が提案されている（特許文献１）。撮影した対象物が何か、また、いつどこでどんな撮影条件において撮影されたものかといった撮影時の情報を利用して、より撮影時の状態に合わせた適正な補正処理を行うことも提案されている（特許文献２）。これらの補正処理を施されて表示される画像は、物理的には極めて実物に近似したものになっている。
【００１８】
ところで、人間は、眼の水晶体により被写体の像を網膜上に光学的に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体や風景を知覚している。人間の水晶体は、いわば１枚の凸レンズと同等であり、収差の抑制はされていないため、網膜像には少なからず収差が含まれている。知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に無意識の補正を行なっているためである。しかし、暗い環境では、瞳孔径が拡大する結果、脳内でも補正しきれない収差が発生して、色収差を伴った像として知覚されている。
【００１９】
人間の眼の瞳孔の大きさ（瞳孔径）が周辺環境光の明るさにより変化することは、一般的によく知られており、瞳孔径と関連した収差として、球面収差や色収差が挙げられる。球面収差は、水晶体の中央を通ってきた光と周辺を通ってきた光での屈折率の違いから発生し、全ての光が一点に集光されず像がぼけて知覚される現象である。また、色収差は、光の波長（色）による焦点位置のずれが原因で発生し、その結果、焦点のずれた色による像がぼけて知覚される現象である。球面収差や色収差の量は、瞳孔径が大きい程増大するため、様々な条件によって瞳孔径が変化すると、それに伴って人間が知覚する見え方にも変化が起きている。
【００２０】
図１０は瞳孔径の大きさの違いによる色収差の説明図である。図１０中、（Ａ）は明るい環境下で瞳孔が閉じた状態、（Ｂ）は暗い環境下で瞳孔が開いた状態での、赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の各光が眼球内で焦点を結ぶ様子を模式的に現したものである。
【００２１】
図１０の（Ａ）に示すように、明るい環境下では、赤色光１２０２ａ、緑色光１２０３ａ、青色光１２０４ａの各色の焦点位置がほぼ同じ位置となり、色収差の量は小さい。その一方で、図１０の（Ｂ）に示すように、暗い環境下においては、緑色光１２０３ｂに対し、青色光１２０２ｂは近い位置に、赤色光１２０４ｂは遠い位置に焦点を結び、色収差が大きくなっていることがわかる。
【００２２】
これに対して、デジタルカメラ等の撮像装置に使用されている光学レンズでは、複数枚のレンズを組み合わせて収差を抑制している。その結果として、暗い環境で撮影された画像は、必ずしも撮影現場にいた撮影者が実際に知覚していた像と一致しているとは限らない。そして、従来のテレビや画像処理ソフトウエアにおいては、入力画像を撮影した環境下での人間の眼の色収差は考慮されていない。従来のテレビや画像処理ソフトウエアにおいては、眼の色収差によって起こるぼけを含む画像、すなわち実際にその撮影環境下で人間が知覚していたと思われる被写体の像を近似して再現することはできなかった。特許文献１、２に記載された技術を用いた画像処理ソフトウエアでも、暗い環境で眼に発生する色収差の影響を考慮した画像を近似して再現することはできなかった。
【００２３】
このため、物理的には高画質な画像が得られていても、人間の水晶体で発生する色収差については全く考慮されていないため、その画像が必ずしも感性的に評価値が高い画像になるとは限らなかった。監視カメラで撮影した画像に対しては、被写体の視認性を重視した補正しか行われていないので、撮影画像のイメージが被写体の実物とは大きく異なることがあった。
【００２４】
したがって、暗い環境で撮影された画像については、画像を観察する人間にとっては、色収差をむしろ完全に補正しない方が、感性的には評価値が上がり、より高い質感や感動を味わえることにつながる。物理的に色収差が除去された撮影画像については、意図的にこれらの視覚特性を考慮した補正を行うことが望ましい。
【００２５】
そこで、以下の実施例では、画像データ取得時と同じ環境下での人間の視覚特性を推定し、該画像データに人間の視覚特性を考慮した補正処理を行う。動物の生態観察や無人の監視カメラ等、人間が介入できない場所で撮影した画像を、撮影時と同じ環境下で人間が存在していた場合に知覚していたと思われる像の再現を可能として、人間の感覚に近づけた、感性的に高い評価値を得られるようにしている。
【００２６】
＜実施例１＞
図１は実施例１の画像処理装置の構成の説明図である。図２は瞳孔径推定処理のフローチャートである。図３は視野の暗さと瞳孔径の関係の説明図である。図４は収差補正処理のフローチャートである。図５は人間の目の色収差の影響の説明図である。
【００２７】
図１に示すように、入力部の一例である画像入力部１０２は、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。処理部の一例である収差補正処理部１０７は、撮影時の露光情報に基づいて撮影時の撮影領域の暗さに応じた青色画像と緑色画像の解像度を設定する。結果的に、撮影領域が暗いほど青色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。出力部の一例である収差補正処理部１０７は、画像処理装置１００が撮影画像データを処理して得られた処理画像データを画像表示部１０８に出力する。収差補正処理部１０７において撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
【００２８】
画像処理装置１００は、コンピュータが画像処理ソフトウエアのプログラムを実行して入力画像の変換処理を行う。画像処理プログラムの第一ステップでは、コンピュータが、撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する。第二ステップでは、コンピュータが、撮影時の露光情報に基づいて撮影画像データの撮影時の撮影領域の暗さを推定する。第三ステップでは、コンピュータが、推定結果に基づいて、撮影領域が暗いほど青色画像の解像度を緑色画像の解像度よりも相対的に低下させる。第三ステップでは、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づく割合で青色画像の解像度を緑色画像の解像度よりも相対的に低下させる。
【００２９】
第三ステップは、第三Ａステップ、第三Ｂステップ、第三Ｃステップにより構成される。第三Ａステップでは、コンピュータが、第二ステップで推定された撮影領域の暗さに基づいて撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。第三Ｂステップでは、コンピュータが、第三Ａステップで推定された瞳孔径から青色の色収差補正量を決定する。第三Ｃステップでは、コンピュータが、第三Ｂステップで決定された青色の色収差補正量を用いて青色画像の色収差補正処理を行う。第三Ｃステップの色収差補正処理は、画像の空間周波数を低減させるフィルタ処理である。
【００３０】
画像処理装置１００は、入力画像データの撮影時の露出情報から求めた撮影時の環境輝度を用いて、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。そして、瞳孔径から仮想の撮影者の眼に発生している色収差を求め、その色収差に相当する補正を撮影画像に対して行う。
【００３１】
（画像入力部）
画像入力部１０２は、処理対象の画像１０１が入力され、画像データと画像情報を分離する。画像１０１は、補正処理の対象となる入力画像である。画像入力部１０２は、入力された画像１０１の画像情報から、瞳孔径推定に用いる撮影時の露出情報（シャッター速度および絞り値）を抽出する。
【００３２】
デジタルカメラで撮影された画像の画像ファイルには、一般的に、画像ファイルフォーマット規格（Ｅｘｉｆ）に沿った形式で画像情報が付加されている。その画像情報の中に必要な露出情報が含まれている。デジタルカメラの撮影画像は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められた、画像ファイルフォーマット規格（Ｅｘｉｆ）の画像ファイルとして記憶媒体に記録される。
【００３３】
Ｅｘｉｆ規格の画像ファイルは、画像データと画像データに埋め込まれた撮影条件を記述するＥｘｉｆ情報とから構成される。Ｅｘｉｆ情報には、ＩＳＯ感度、ストロボ（フラッシュ）の使用の有無、レンズの焦点距離、画像圧縮率といった撮影条件が定められた位置に書き込まれている。したがって、Ｅｘｉｆ情報を解析することによって、画像データがどのような条件下で撮影されたかを知ることができる。
【００３４】
また、ＩＳＯ感度（ＩＳＯ速度）、画像圧縮率、フラッシュ（ストロボ）使用の有無、レンズ焦点距離、シャッター速度、光源、露出、ゲイン制御（増感・減感量）が格納されている。画像幅、画像高さ、３５ｍｍ換算レンズ焦点距離、焦点面の高さの解像度、焦点面の幅の解像度、焦点面解像度単位等の撮影条件に関する撮影情報が格納されている。ＪＰＥＧ画像のサムネイル画像データがＴＩＦＦ形式にて格納されている。撮影情報を含む付属情報は画像データがメモリカードＭＣに書き込まれる際に自動的に格納される。
【００３５】
Ｅｘｉｆ形式のファイルでは、各データを特定するためにタグが用いられている。したがって、画像入力部１０２は、タグを指定することによって、所望の撮影情報を取得することができる。
【００３６】
（瞳孔径推定部）
瞳孔径推定部１０４は、入力された画像データやその画像情報から撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する。画像情報は、「画像データに付帯している撮影時の露出情報」である。収差補正量決定部１０６は、瞳孔径推定部１０４で推定した瞳孔径から、撮影時と同じ環境下にいる仮想の撮影者の眼に発生していた収差の効果を、近似的に再現する収差補正を行うための収差補正量を決定する。
【００３７】
瞳孔径推定部１０４は、画像入力部１０２から画像情報のひとつである撮影時の露出情報を得て、露出情報から撮影環境の輝度を算出し、環境輝度に対する瞳孔径記憶部１０３を参照して瞳孔径を推定する。瞳孔径記憶部１０３は、環境輝度に対する瞳孔径がＬＵＴ（ルックアップテーブル）として保存されている。
【００３８】
図２に示すように、瞳孔径推定部１０４は、撮影時の露出情報（シャッター速度と絞り値）からＥＶ値（露出値）を求める（Ｓ２０１）。
【００３９】
【表１】
【００４０】
シャッター速度Ｔと絞り値Ｆから決まる露出量であるＥＶ値は、数式１により求めてある。
【００４１】
【数１】
【００４２】
続いて、瞳孔径推定部１０４は、求めたＥＶ値を照度へ変換する（Ｓ２０２）。
【００４３】
【表２】
【００４４】
ＥＶ値と照度Ｌとの関係は数式２のように定められている。
【００４５】
【数２】
【００４６】
続いて、瞳孔径推定部１０４は、変換した照度を輝度へ変換する（Ｓ２０３）。
【００４７】
【表３】
【００４８】
照度Ｌと輝度Ｂとの関係は数式３のように定められている。
【００４９】
【数３】
【００５０】
以上の手順によって、露出情報から輝度への変換が終了したら、瞳孔径推定部１０４は、求めた輝度から、環境輝度に対する瞳孔径記憶部１０３を参照して瞳孔径を推定する（Ｓ２０４）。
【００５１】
図３に示すように、瞳孔径記憶部１０３には、人間の瞳孔径と輝度の一般的な関係を示すグラフ６０１をＬＵＴ化した値が保存されている。瞳孔径推定部１０４は、瞳孔径を推定したら、瞳孔径情報を収差補正量決定部１０６へ転送する。
【００５２】
なお、瞳孔径推定に用いる画像情報や瞳孔径推定の具体的な方法は、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定するものであれば上記に限定されない。また、瞳孔径推定の精度を上げるため、いくつかの瞳孔径推定方法を組み合わせて使用する形でもかまわない。
【００５３】
（収差補正量決定部）
収差補正量決定部１０６は、瞳孔径推定部１０４で推定した瞳孔径情報から、収差量記憶部１０５を参照して収差推定値を取得し、収差推定値から収差補正量を求める。収差量記憶部１０５は、瞳孔径に対する収差推定値がＬＵＴとして保存されている。
【００５４】
収差補正量決定部１０６は、瞳孔径推定部１０４より取得した瞳孔径情報を基に、収差量記憶部１０５の瞳孔径に対する収差量テーブルを参照して、該瞳孔径に対する収差推定値を取得し、収差推定値から収差補正量を求める。収差量記憶部１０５の瞳孔径に対する収差量テーブルには、あらかじめ人間の眼球モデルについて瞳孔径と色収差の関係を光学シミュレーションで計算した値が、ＬＵＴとして保存してある。
【００５５】
収差量テーブルの作成に用いた光学シミュレーションは、以下のとおりである。収差量テーブルの各収差量は、瞳孔径と、統計的に得られる水晶体の形状・屈折率分布情報を用いた変換特性（以下ＭＴＦ：ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）を光学シミュレーションにより計算している。収差推定値は、一般に光学設計で用いられる軸上収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、赤色画像、青色画像、緑色画像に関するＭＴＦの比（Ｒａｔｉｏ）を表す関数ＭＲ（ν，Ｒ）を使用した。数式４中、変数νは補正対象となる空間周波数、Ｒは瞳孔径である。
【００５６】
【数４】
【００５７】
ここで、λ（ν，Ｒ）は、入射光の波長がλの場合に、空間周波数ν，瞳孔径Ｒで生じる眼のＭＴＦである。ＭＴＦの入射光の波長は、分子分母各々に対し、４７０ｎｍ（青）、５５０ｎｍ（緑）としている。これらの数値は、青色及び緑色画素の分光輝度が最大になる波長を想定したものである。続く工程において、青色・緑色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するＭＴＦとの平均を用いれば良い。
【００５８】
空間周波数ν，瞳孔径Ｒを変数としたＭＴＦの比ＭＲ（ν，Ｒ）が、数式４で計算されると、入力２変数（空間周波数ν，瞳孔径Ｒ）、出力ＭＲ（ν，Ｒ）のルックアップテーブルとして瞳孔径に対する収差テーブルに記録される。
【００５９】
このように生成されたＭＴＦ比の関数ＭＲ（ν，Ｒ）が記録保持された収差テーブルは、瞳孔径情報から推定された瞳孔径Ｒ’を入力として、空間周波数νを変数としたデータ列である収差推定値ｆ（ν）を出力する。収差推定値ｆ（ν）が収差補正量決定部１０６に入力される。
ｆ（ν）＝ ＭＲ（ν，Ｒ’）
Ｒ’＝ｃｏｎｓｔ
【００６０】
収差補正量決定部１０６では、得られた収差推定値から収差補正量を算出する。ここで得られる収差補正量は、画像データのＢ面の空間周波数抑制に関する数値であり、数式５で与えられる。
【００６１】
【数５】
【００６２】
変数νｍｉｎ， νｍａｘは、補正対象となる空間周波数帯の最小及び最大値、ｎは空間周波数帯のサンプル点数である。
【００６３】
図５の（ａ）に示すように、入射光の波長が５５０ｎｍ（緑色光）で瞳孔径が最大の場合に相当する緑色ＭＴＦ８０１、及び入射光の波長が４７０ｎｍ（青色光）で瞳孔径が最大の場合に相当する青色ＭＴＦ８０２が求められる。色収差の影響で、緑色光と比較して青色光がぼけるため、高周波成分において差が生じている。
【００６４】
同様の効果を撮影画像において発生させるためには、処理後の画像における青色ＭＴＦが図５の（ａ）に示すＭＴＦ特性と重なるように、青色光が形成する光強度分布（つまりＢ面の画素値）の高周波数成分を抑制すればよい。理想的には、Ｂ面の空間周波数成分を細かく分離し、数式４で与えられる関数ＭＲを周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。
【００６５】
そこで、実施例１では、図５の（ｂ）に示すように、空間周波数の分離は二つとし、カットオフ周波数８０４以上の高周波成分を一律に抑制している。補正後の青色ＭＴＦ８０３は、高周波成分が抑制され、図５の（ａ）に示す青色ＭＴＦ８０２と近い特性となっており、色収差が再現できていることがわかる。
【００６６】
数式５により与えられる関数ｇは、高周波成分に一律に積算される増幅率であり、数式４で与えられるＭＴＦ比率の平均（相乗平均）値を用いている。平均を求める空間周波数帯域は、ｇの変数であるνｍｉｎ， νｍａｘにより指定され、空間周波数帯のサンプル点数はｎで指定される。νｍｉｎ， νｍａｘは、両者ともカットオフ周波数８０４付近の数値を選択する必要があるが、処理後の画像にノイズが目立つようであれば低周波の数値を選択することが望ましい。
【００６７】
処理後の青色ＭＴＦ８０３の形状からわかるように、カットオフ周波数８０４付近で不連続の段差が生じて画質劣化の要因となりうるが、処理自体が高周波成分の抑制であるため、実用上は問題ないことが確かめられている。
【００６８】
（収差補正処理部）
収差補正処理部１０７は、収差補正量決定部１０６で決定した収差補正量を用いて、画像に対する収差補正処理を行う。収差補正のための画像処理を、高周波成分を抑制する空間周波数成分処理により行う。
【００６９】
収差補正処理部１０７は、収差補正量決定部１０６で求めた収差補正量に従い、画像入力部１０２より取得した画像デーに対し補正処理を行う。収差補正処理部１０７では、画像入力部１０２に入力された処理対象画像データに対して、図５の（ｂ）に示すように決定された収差補正量（ＭＴＦ）に従って収差補正処理を行う。
【００７０】
図４に示すように、収差補正処理部１０７は、高周波成分抑制による収差補正処理を実行する。画像入力部１０２から読み込まれた画像データは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの三原色の色信号からなるカラー画像である。画像データは、Ｒｅｄ信号からなるＲ面、Ｇｒｅｅｎ信号からなるＧ面、Ｂｌｕｅ信号からなるＢ面の３枚のカラー画像平面（ＲＧＢ面）から構成される。
【００７１】
収差補正処理部１０７は、画像データのＲＧＢ面の中から補正対象であるＢ面を抽出した後（Ｓ７０１ａ）、カットオフ周波数８０４のフィルタ処理によりＢ面を低周波成分と高周波成分に分離する（Ｓ７０２ａ）。フィルタ処理は任意に決められるが、ここでは、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。収差補正処理部１０７は、Ｂ面の高周波成分に対し、収差補正量を積算する（Ｓ７０３ａ）。
【００７２】
収差補正処理部１０７は、次に、分離していた低周波成分に、収差補正処理したＢ面の高周波成分を合成して、収差補正後のＢ面を作成した後、Ｒ，Ｇ面と合わせることにより、収差補正後画像データを生成する（Ｓ７０４ａ）。
【００７３】
（画像表示部）
画像表示部１０８は、補正処理された画像を液晶ディスプレイ等の表示手段へ表示する。最後に、収差補正処理部１０７により収差補正された画像が、画像表示部１０８へと転送され補正画像が表示される。
【００７４】
なお、実施例１では、青色に対するぼけの補正を目的に、波長５５０ｎｍの緑色光と波長４７０ｎｍの青色光との比から収差によるＭＴＦの差を補正した。青色だけでも撮影画像を暗い環境での観察状態に近付ける十分な表現効果が得られる。しかし、後述するように、赤色についても、緑色に対する色収差のぼけが生じているので、赤色についても、赤色ＭＴＦを同様な手順で求めて補正を行うことが望ましい。赤色の収差による補正を行う場合、数式４の分母を目標とするＭＴＦ、分子を眼のＭＴＦとして補正すればよい。赤色に対するぼけを補正して再現したい場合は、分母のＭＴＦの波長を赤色画素の分光輝度が最大になる６３０ｎｍとすればよい。
【００７５】
この場合、収差補正処理部１０７は、結果的に、撮影領域が暗いほど赤色画像の解像度が緑色画像の解像度よりも相対的に低下するように、撮影時の露光情報に基づいて撮影画像データを処理する。収差補正処理部１０７において撮影領域が暗いほど赤色画像の解像度を緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と赤色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいている。
【００７６】
＜実施例２＞
図６は実施例２の画像処理装置の構成の説明図である。図７は類似画像検索処理の説明図である。
【００７７】
実施例１では瞳孔径推定処理において、画像データに付帯している画像撮影時の画像情報のひとつである露出情報を利用した。しかし、処理対象の画像データには必ずしも画像情報が付帯しているとは限らない。画像情報が付帯していない場合、実施例１による方法では、瞳孔径推定が不可能となり、色収差の補正を行うことができない。
【００７８】
そこで、実施例２では、入力された画像データを、あらかじめ撮影時の露出情報が付帯している画像データの画像群で構成されたデータベースに対して類似画像検索を行う。画像データに無い露出情報の代わりに「類似画像検索の一致画像から推定した露出情報」を用いる。類似画像検索の結果から、入力画像に対する撮影時の露出情報を推定し、推定した露出情報を用いることで、実施例１と同様な方法で、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定することができる。これにより、画像データに画像情報が付帯されておらず、露出情報を得ることができない場合にも、瞳孔径により変化する眼の収差補正を行うことができる。
【００７９】
図６に示すように、実施例２の画像処理装置９００は、破線で囲んで示す実施例１の構成に、露出情報推定部９１０と類似検索用画像記憶部９０９が追加された構成である。以下では、実施例１と共通する構成には図１と共通の符号を付して重複する説明を省略する。
【００８０】
データベースの一例である類似検索用画像記憶部９０９は、それぞれ撮影時の露光情報が添付された複数の基準画像データを集積している。照合部の一例である露出情報推定部９１０は、撮影画像データと類似検索用画像記憶部９０９の複数の基準画像データとを照合して一致度の高い基準画像データに添付された撮影時の露光情報を取得する。処理部の一例である収差補正処理部１０７は、撮影領域が暗いほど、青色画像の解像度を緑色画像の解像度よりも相対的に低下させるように、露出情報推定部９１０が取得した露光情報に基づいて撮影画像データを処理する。
【００８１】
類似検索用画像記憶部９０９は、類似検索用の様々な画像データがデータベースとして記憶されている。露出情報推定部９１０は、入力画像に対する類似画像検索結果から、撮影時の露出情報を推定する。露出情報推定後の処理については、実施例１と同様であるため、重複する説明を省略する。
【００８２】
露出情報推定部９１０は、画像入力部１０２に入力された画像１０１について、類似検索用画像記憶部９０９に記憶されている類似画像検索用画像データベースに対する類似画像検索を実行する。
【００８３】
図７に示すように、画像データ１００１に対し、類似検索画像データベース１００２へ類似画像検索を行った結果、画像Ｃ（以下画像１００３）が、各種特徴量の比較から最も近いとして抽出された画像であったとする。
【００８４】
抽出された画像１００３の露出情報を参照すると、シャッター速度１／１５、絞り値Ｆ４であることから、表１により、露出量＝８を入力画像の露出量と仮定し、これをその後の瞳孔径推定のための露出情報として採用する。
【００８５】
ここで、類似画像検索の方法としては、従来の様々な手法を利用できる。一例として、実施例２では、画像全体またはエリア毎に、「色」、「輝度」、「物体形状」、「テクスチャ」といった様々な要素についての特徴量をベクトル化しておき、それらを基に各要素のベクトル傾向から類似度を求める方法を用いている。
【００８６】
類似画像の検索結果については、類似検索画像データベース１００２から最も類似度の高い画像を１枚だけ抽出するようにしても良いが、上位何枚かを抽出するようにして平均値を取ってもよい。また、入力された画像データによっては、必ずしも適正な類似画像が抽出されない場合も考えられる。この場合、類似度が高いと判定された複数の候補画像を画像表示部１０８に表示して、マウスやキーボードを操作して手動選択する。
【００８７】
＜実施例３＞
図８は収差補正処理の別の例のフローチャートである。実施例１では、収差補正処理部１０７において、高周波成分抑制による補正処理を行った。しかし、本発明においては、撮影領域の暗さに応じた割合で緑色画像に対する青色画像の相対的な解像度の低下、すなわち「ぼけ効果」が得られる処理方法であれば、他の手法による補正方法を採用しても良い。他の手法の例として、平均化処理が挙げられる。図８では平均化処理を用いて収差補正量を決定している。
【００８８】
（平均化処理）
図１を参照して図８に示すように、画像の空間周波数を低減させるフィルタ処理の一例が「隣接する複数の画素の輝度の平均化を行う平均化処理」、いわゆるモザイクフィルタ処理である。平均化処理の場合も、収差補正量決定部１０６は、実施例１の高周波成分抑制の時と同様に、瞳孔径に対する収差量テーブルの参照で得た収差推定値から、数式４により収差推定値を算出する。その後、収差補正量決定部１０６は、収差推定値から収差補正量を数式５により算出する。平均化処理の場合、ここで求めた収差補正量を、事前に主観評価実験により作成した変換関数により平均化処理のパラメータに変換する。
【００８９】
具体的には、高周波成分抑制により収差補正を行った画像と、平均化処理を施した画像をいくつか生成し、その中から主観評価実験によって「解像度の低下効果」の類似性が高い組を複数抽出する。これにより、高周波成分抑制の補正量と平均化処理パラメータの組がいくつかできるので、これらに関数フィッティングを行うことで両者の関係を関数化している。
【００９０】
収差補正処理部１０７では、数式６で与えられるフィルタを使用する線形フィルタ処理により平均化処理を行う。
【００９１】
【数６】
【００９２】
パラメータαは、強調の程度を表すパラメータであり、収差補正量は、パラメータαを用いる。数式６の演算によって、実施例１の高周波成分抑制処理と同様に、青色画像の高周波成分を緑色画像よりも相対的に抑制できる。平均化処理は、計算負荷が高周波成分強調処理より小さいため、高速処理が可能である。数式６で与えられるフィルタは３×３の大きさのものを使用しているが、平均化性能を高めたければ、より大きいサイズのものを使用しても良い。
【００９３】
また、「ぼかし効果」を得るための他の手法による補正としては、画素の濃度を周囲の画素にガウス分布に従って分散させるフィルタ処理が挙げられる。
【００９４】
＜実施例４＞
図９は人間の目の色収差を評価する実験の説明図である。実施例１では、瞳孔径と色収差との関係を、人間の眼球モデルについて光学シミュレーションで計算して求めた。しかし、上述したように、人間は、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に無意識の補正を行なっているため知覚された像に色収差の影響が感じられにくい。このため、実施例４では、瞳孔径と色収差との関係を複数の被験者を用いて実験により求めた。また、本実験により、環境が暗くなると、人間の感覚において、緑色画像に対して青色画像、赤色画像の相対的な解像度が現実に低下していることが確認された。
【００９５】
実験により、眼に発生する色収差の違いによる影響は、人間が認識できるコントラスト感度の差として現れることが確認された。特に、Ｒ（赤色）Ｇ（緑色）Ｂ（青色）三原色の内、Ｂ（青色）におけるコントラスト感度がＧ（緑色）のコントラスト感度に比較して、より低下し易いことが確認された。Ｒ（赤色）におけるコントラスト感度もＢ（青色）におけるコントラスト感度ほどではないものの、Ｇ（緑色）のコントラスト感度に比較して低下していることが確認された。
【００９６】
モニタ画面上に輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、目視観察によって矩形画像の輝度差がどこまで判別できるかにより、コントラスト感度を評価した。
【００９７】
図９に示すように、輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、それぞれのパッチ領域の明るさ感覚量を示した。横軸に空間座標、縦軸に明るさ感覚量を示している。観察視野の明るさ及び矩形画像の明るさを異ならせて、４名の被験者で同一の実験を行った。
【００９８】
図１０の（Ｂ）に示すように、暗い環境で瞳孔径が拡大しても、テストパッチが緑色の時、その明るさ感覚は、二枚のパッチの位置に一致して感じられる（実線１１０１）ことが観察された。同じ暗い環境でも、青色に対する明るさ感覚は、眼の青色波長領域に対する色収差の影響でボケが生じるため、その明るさ感覚は、二枚のパッチの隣接部で混じり合い、緩やかな勾配をもって変化して観察された（破線１１０２と領域１１０３）。実線１１０１で表される感覚量の方が、破線１１０２で表される感覚量よりも高いコントラスト感度を示すことは明らかである。
【００９９】
その結果、図１０の（Ｂ）に示すように、瞳孔が大きく開いて水晶体に色収差が強く発生している場合、緑色に対するコントラスト感度に比較して、青色に対するコントラスト感度の方が低いことがわかった。
【０１００】
一方、被験者が目の前のピンホールを通して同じモニタ画面を見ることによって、図１０の（Ａ）に示す瞳孔径が小さい場合を模した同様の実験を行った。その結果、赤色、緑色、青色に対するコントラスト感度が同等、もしくは青色に対するコントラスト感度が赤色、緑色に対するそれに近付くという結果が得られた。これは、瞳孔径が狭められた結果、眼の色収差が減少してコントラスト感度が向上したことによるものと推測される。
【０１０１】
以上のように、明るさ感度の差であるコントラスト感度は、眼の色収差に大きく影響され、色収差による空間解像力が悪くなるほど、現実に、コントラスト感度も低下することが確認された。
【０１０２】
また、通常の視力の被験者では、青色において色収差によるぼけが起こり易いことが確認された。その一方、視力によっては、眼の網膜上で発生している色収差、及び色収差のぼけへの影響の様子が異なることも見出された。近視の被験者（裸眼）の場合には、赤色にぼけが発生し易いことが見出された。これは、近視の被験者の場合は焦点距離が短い青色に焦点が合い易くなっているためと考えられる。
【０１０３】
このため、撮影者が近視で眼鏡をかけていない場合、撮影画像の見え方を総合的により現実的にしたいならば、青色画像の相対的なぼかし量を少なくして赤色画像の相対的なぼかし量を増やすように、両方の画像を同時に補正することが望ましい。個人個人の視力に応じて色収差の補正割合を変化させてもよい。
【０１０４】
以上の実施例では、入力画像データやその画像情報から、撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定し、瞳孔径から仮想の撮影者の眼に発生している色収差を求め、その収差に対する補正を画像に対して行った。そして、収差としては、瞳孔径の変化に伴う色収差を例に説明した。しかし、瞳孔径の変化に伴う収差において球面収差などの色収差以外の収差についても同様に本発明を適用可能である。
【０１０５】
＜実施例５＞
実施例１では、撮影済の撮影画像データを記録メディアやデジタルカメラからパソコンに取り込んで、添付された撮影情報に基づいて撮影画像処理を行う実施例を説明した。しかし、請求項１の発明は、デジタルカメラにおいて、撮影した画像に対して撮影時の前方視界の暗さに応じた画像処理を行う場合にも利用できる。すなわち、撮影情報に頼ることなく、カメラ本体で撮影時に測定された撮影領域の暗さに応じて人間の目の色収差に対応した画像処理を行ってもよい。デジタルカメラ、デジタルビデオカメラにおいて、環境が暗くなると人間の目において緑色画像に対して青色画像、赤色画像の相対的な解像度が低下する効果を撮影画像に付加して、その修正撮影画像を記録メディアに記録してもよい。
【符号の説明】
【０１０６】
１００、９００ 画像処理装置
１０１ 画像
１０２ 画像入力部
１０３ 瞳孔径記憶部
１０４ 瞳孔径推定部
１０５ 収差量記憶部
１０６ 収差補正量決定部
１０７ 収差補正処理部
１０８ 画像表示部
９０９ 類似検索用画像記憶部
９１０ 露出情報推定部
【特許請求の範囲】
【請求項１】
赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、
撮影時の撮影領域が暗いほど前記青色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように前記撮影画像データを処理する処理部と、
前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記入力部は、撮影時の露光情報が添付された撮影画像データを取得し、
前記処理部は、前記撮影時の露光情報に基づいて撮影時の撮影領域の暗さに応じた前記青色画像と前記緑色画像の解像度を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理部は、撮影領域が暗いほど前記赤色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように、前記撮影時の露光情報に基づいて前記撮影画像データを処理することを特徴とする請求項２記載の画像処理装置。
【請求項４】
撮影領域が暗いほど前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいており、
撮影領域が暗いほど前記赤色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と赤色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいていることを特徴とする請求項３記載の画像処理装置。
【請求項５】
撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する第一ステップと、
前記撮影時の露光情報に基づいて前記撮影画像データの撮影時の撮影領域の暗さを推定する第二ステップと、
推定結果に基づいて撮影領域が暗いほど前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる第三ステップと、を有することを特徴とする画像処理プログラム。
【請求項６】
前記第三ステップでは、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づく割合で前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させることを特徴とする請求項５記載の画像処理プログラム。
【請求項７】
前記第三ステップは、前記第二ステップで推定された撮影領域の暗さに基づいて撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する第三Ａステップと、前記第三Ａステップで推定された瞳孔径から青色の色収差補正量を決定する第三Ｂステップと、前記第三Ｂステップで決定された青色の色収差補正量を用いて前記青色画像の色収差補正処理を行う第三Ｃステップと、を含み、前記第三Ｃステップの前記色収差補正処理は、画像の空間周波数を低減させるフィルタ処理であることを特徴とする請求項６の画像処理プログラム。
【請求項８】
撮影時の露光情報が添付されていない、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、
それぞれ撮影時の露光情報が添付された複数の基準画像データを集積したデータベースと、
前記撮影画像データと前記複数の基準画像データとを照合して一致度の高い基準画像データに添付された撮影時の露光情報を取得する照合部と、
撮影領域が暗いほど、前記青色画像及び前記赤色画像の解像度を前記緑色画像の解像度よりも相対的に低下させるように、前記照合部が取得した露光情報に基づいて前記撮影画像データを処理する処理部と、
前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部と、を備えることを特徴とする画像処理装置。
【請求項１】
赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、
撮影時の撮影領域が暗いほど前記青色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように前記撮影画像データを処理する処理部と、
前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記入力部は、撮影時の露光情報が添付された撮影画像データを取得し、
前記処理部は、前記撮影時の露光情報に基づいて撮影時の撮影領域の暗さに応じた前記青色画像と前記緑色画像の解像度を設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理部は、撮影領域が暗いほど前記赤色画像の解像度が前記緑色画像の解像度よりも相対的に低下するように、前記撮影時の露光情報に基づいて前記撮影画像データを処理することを特徴とする請求項２記載の画像処理装置。
【請求項４】
撮影領域が暗いほど前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいており、
撮影領域が暗いほど前記赤色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる割合は、人間の水晶体における緑色光と赤色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づいていることを特徴とする請求項３記載の画像処理装置。
【請求項５】
撮影時の露光情報が添付され、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する第一ステップと、
前記撮影時の露光情報に基づいて前記撮影画像データの撮影時の撮影領域の暗さを推定する第二ステップと、
推定結果に基づいて撮影領域が暗いほど前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させる第三ステップと、を有することを特徴とする画像処理プログラム。
【請求項６】
前記第三ステップでは、人間の水晶体における緑色光と青色光の色収差と撮影領域の暗さに応じた瞳孔径との関係に基づく割合で前記青色画像の解像度を前記緑色画像の解像度よりも相対的に低下させることを特徴とする請求項５記載の画像処理プログラム。
【請求項７】
前記第三ステップは、前記第二ステップで推定された撮影領域の暗さに基づいて撮影時と同じ環境下にいる仮想の撮影者の瞳孔径を推定する第三Ａステップと、前記第三Ａステップで推定された瞳孔径から青色の色収差補正量を決定する第三Ｂステップと、前記第三Ｂステップで決定された青色の色収差補正量を用いて前記青色画像の色収差補正処理を行う第三Ｃステップと、を含み、前記第三Ｃステップの前記色収差補正処理は、画像の空間周波数を低減させるフィルタ処理であることを特徴とする請求項６の画像処理プログラム。
【請求項８】
撮影時の露光情報が添付されていない、赤色画像と緑色画像と青色画像とを分離可能な撮影画像データを取得する入力部と、
それぞれ撮影時の露光情報が添付された複数の基準画像データを集積したデータベースと、
前記撮影画像データと前記複数の基準画像データとを照合して一致度の高い基準画像データに添付された撮影時の露光情報を取得する照合部と、
撮影領域が暗いほど、前記青色画像及び前記赤色画像の解像度を前記緑色画像の解像度よりも相対的に低下させるように、前記照合部が取得した露光情報に基づいて前記撮影画像データを処理する処理部と、
前記処理部が前記撮影画像データを処理して得られた処理画像データを出力する出力部と、を備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２６７９３（Ｐ２０１３−２６７９３Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５９２４７（Ｐ２０１１−１５９２４７）
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２０日（２０１１．７．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]