画像撮像装置、画像表示装置、画像処理方法、画像処理プログラム、および画像撮像表示装置
【課題】 従来のデジタルカメラ等の撮像装置においては、人間の眼の収差は考慮されておらず、本来人間が見ている眼の収差を含むそのままの状態を再現することはできない。
【解決手段】 撮影時情報から撮影者の瞳孔径を推定し、瞳孔径から眼の収差量を求め、撮影画像に対してその補正を行い、人間の眼の収差を含む画像を再現することで、人間が撮影時に見ている、眼の収差を含むそのままの像を近似的して再現可能な画像撮像装置を提供する。
【解決手段】 撮影時情報から撮影者の瞳孔径を推定し、瞳孔径から眼の収差量を求め、撮影画像に対してその補正を行い、人間の眼の収差を含む画像を再現することで、人間が撮影時に見ている、眼の収差を含むそのままの像を近似的して再現可能な画像撮像装置を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像データ取得時の画像データ取得者の視覚特性を記録し、該画像データに記録保持する画像撮影装置、および前記視覚特性を考慮し画像データに補正処理を行う画像処理方法、および、該画像データを表示する画像表示装置に関する。
【背景技術】
【0002】
近年、デジタルカメラは小型・高性能化され、専用のカメラとして以外にも、携帯電話、モバイルパソコン、携帯ゲーム機等に搭載され、様々な用途で使用されている。
【0003】
そして撮影時には、被写体の明るさや照明等、撮影環境に応じてピントや露出、ホワイトバランス等の各種調整が、自動または手動で行なわれ、その撮影結果ができるだけ実際の被写体と撮影した画像で物理的に近似するようにされている。
【0004】
前記デジタルカメラ等に装着されている光学レンズには、一般に収差が抑制されるように設計されたものが用いられている。
【0005】
一方、人間は、眼の水晶体により被写体の像を網膜上に光学的に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体や風景を知覚する。水晶体は、前記光学レンズのように収差が抑制されてはいないので、前記網膜像には少なからず収差が含まれている。
【0006】
知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に補正を行なっているためである。しかし、脳内でも補正しきれない収差が発生している場合、収差を伴った像として、知覚される。
【0007】
その結果として、上記撮影画像は、必ずしも撮影者の知覚していた像と一致しているとは限らない。
【0008】
撮影した画像に対して、眼で見た状態に近似させ、高い質感を与えるため、被写体の各部分までの距離情報を基に、合焦状態に応じたぼけ効果を付加する画像処理装置が提案されている。(特許文献1)
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−207549号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、本発明者らが検討を行なったところ、特許文献1のような画像処理を行なったとしても、なお下記のような課題が残されていることが判明した。
【0011】
人間の眼の瞳孔の大きさ(瞳孔径)が周辺環境光の明るさにより変化することは、一般的によく知られている。この瞳孔径と関連した収差として、球面収差や色収差などが挙げられる。色収差は、光の波長(色)による焦点位置のずれが原因で発生し、その結果、焦点のずれた色による像がぼけて知覚されるものである。また、その色収差の量は瞳孔径が大きい程増大するため、様々な条件によって瞳孔径が変化すると、それに伴って人間が知覚する見え方にも変化が起きていることがわかった。
【0012】
以下、本発明は瞳孔径の変化に伴う色収差を例に説明する。
【0013】
ただし前述のように瞳孔径の変化に伴う収差において球面収差などの色収差以外の収差についても同様に本発明を適用可能である。
【0014】
本発明者らが行った実験によれば、眼に発生する色収差の違いによる影響は、人間が認識できるコントラスト感度の差として現れることがわかった。特にRGB3色の内、B(青色)におけるコントラスト感度がR(赤色)やG(緑色)のコントラスト感度に比較して、より低下し易いことが確認された。
【0015】
<コントラスト感度とぼけの関係>
本発明者らは輝度の異なる2枚の矩形画像(テストパッチ)を隣接して配置し、その輝度差がどこまで判別できるかにより、コントラスト感度を評価した。その結果、瞳孔が大きく開いている場合、すなわち色収差が強く発生している場合、赤色や緑色に対するコントラスト感度より青色に対するコントラスト感度の方が低いことがわかった。
【0016】
一方、ピンホールを通して見ることによって、瞳孔径が小さい場合を模した同様の実験では赤色、緑色、青色に対するコントラスト感度が同等、もしくは青色に対するコントラスト感度が赤色、緑色に対するそれに近づくという結果が得られた。これは瞳孔径が狭められた結果、眼の色収差が減少しコントラスト感度が向上したことによるものと推測される。
【0017】
図12を用いてその理由を概念的に説明する。
【0018】
図12は前述の輝度の異なる2枚の矩形画像(テストパッチ)を隣接して配置し、それぞれのパッチ領域の明るさ感覚量を示した図であり、横軸に空間座標、縦軸に明るさ感覚量を示してある。
【0019】
テストパッチが赤色、緑色の時、その明るさ感覚は、二枚のパッチの位置に一致して感じられる(実線1201)。
【0020】
一方、青色に対する明るさ感覚は、眼の青色波長領域に対する色収差の影響でボケが生じ、その明るさ感覚は、二枚のパッチの隣接部で混じり合い緩やかな勾配をもって変化するように感じる(破線1202と領域1203)。1201で表される感覚量の方が、1202で表される感覚量より高いコントラスト感度を示すことは明らかである。
【0021】
以上のように明るさ感度の差であるコントラスト感度は眼の色収差に大きく影響され、色収差による空間解像力が悪くなるほどコントラスト感度も低下する。
【0022】
前述では色収差によって青色においてぼけが起こり易いことについて説明した。視力によっては、眼の網膜上で発生している色収差、及び色収差のぼけへの影響の様子が異なることも見出されている。例えば近視の人の場合には、赤色にぼけが発生し易いことが知られている。これは、近視の人の場合は焦点距離が短い青色に焦点が合い易くなっているためと考えられる。
【0023】
前述の通り、従来のデジタルカメラ等の撮像装置においては、撮影者の眼の色収差は考慮されておらず、撮影者の眼の色収差によって起こるぼけを含む画像、すなわち撮影者が知覚している被写体の像を近似して再現することはできなかった。
【0024】
特許文献1に記載の技術では、距離情報を基にぼけ効果を付加し、仮想的な撮像光学系によって得られる像を再現しようとしている。更に、色収差についても考慮しているものの、撮影レンズの特性によって発生する色収差についてのみ考慮しており、撮影者の知覚した像を再現することは全く考慮されていない。従って、特許文献1に記載の技術を用いた場合でも、撮影者の眼に発生する色収差の影響を考慮することによる撮影者の知覚している被写体の像を近似して再現することは不可能であった。
【0025】
本発明は、撮影者の眼に発生している収差に関する情報を撮影画像に付加し、それを利用することにより、撮影者が知覚していた被写体の像を近似して再現することで、人間の感覚に近づけた、感性的に高い評価値が得られる画像撮像表示装置を提供することを目的としている。
【課題を解決するための手段】
【0026】
上記目的を達成するため、本発明による画像撮像装置では、撮影時情報を取得する撮影時情報取得部と、前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、前記瞳孔径推定部により得られた撮影者の瞳孔径情報を、前記画像データと共に前記記録媒体に記録する画像記録部と、を有することを特徴とする。
【0027】
また、上記目的を達成するため、本発明による画像表示装置では、画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定部と、前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、を有することを特徴とする。
【0028】
また、上記目的を達成するため、本発明による画像撮像表示装置では、撮影時情報を取得する撮影時情報取得部と、前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、前記瞳孔径推定部により得られた撮影者の瞳孔径情報から、収差補正のための収差補正量を決定する収差補正量決定部と、前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、を有することを特徴とする。
【発明の効果】
【0029】
撮影者の眼に発生している収差に関する情報を撮影画像に付加し、それを利用することにより、撮影者が見ていた像を再現することで、人間の感覚に近づけた、感性的に高い評価値が得られる画像撮像表示装置を提供することができる。
【図面の簡単な説明】
【0030】
【図1】実施例1および2の構成図である。
【図2】撮影スタイルのイメージ(ライブビュー)である。
【図3】シャッター速度と絞り値からのEV値への換算表である。
【図4】EV値/照度/輝度の対応表である。
【図5】環境光輝度に対する瞳孔径の一般特性である。
【図6】実施例2での青色及び緑色に関するMTFと色補正量の関係の説明図である。
【図7】実施例3の構成図である。
【図8】実施例3の背面サブカメラによる撮影者画像の撮影イメージである。
【図9】実施例3および4による画像記録部への保存ファイルデータである。
【図10】実施例4の構成図である。
【図11】実施例4による撮影時の外光照度の測定イメージである。
【図12】色収差によるぼけとコントラスト感度の関係についての説明図である。
【発明を実施するための形態】
【0031】
本発明は、各種の撮影時情報から撮影者の瞳孔径を推定し、瞳孔径から撮影者の眼に発生している収差を求め、その収差に対する補正を画像に対して行うことを主旨とする撮像装置、表示装置、処理装置、処理プログラム、撮像表示装置である。
【0032】
本発明において、画像とは、静止画だけでなく、動画も含む用語である。
【0033】
(撮影時情報取得部)
本発明における撮影時情報とは、撮影者の瞳孔径を推測するために用いられる撮影時の各種状態情報であり、その代表的なものは、以下の3種類に分類される。
1.撮影時の周辺の光量、天気、気温、場所といった「環境に関する情報」
2.撮影者の表情や心拍数等、精神的、肉体的な状態、撮影者の眼を含む画像といった「撮影者自身の情報」
3.撮影時の露出、色温度等、主に撮影機材から得られる「撮影条件に関する情報」
例えば光量や天気であればフォトダイオードを用いた外光センサ、温度計、気圧計等を用いて測定可能である。
【0034】
また、瞳孔径は周辺の明るさの変化だけでなく、精神的な要因によっても変化することが知られている。一例としては、興奮や感動状態にあるときは瞳孔径は大きくなり、緊張状態では瞳孔径は小さくなる。撮影者の精神的な状態を取得する方法としては、例えば、カメラのグリップ部に内蔵した心拍数のセンサで撮影者の心拍数情報を取得する方法、グリップ部に設けた抵抗計による皮膚表面の抵抗値を取得する方法等が挙げられる。
【0035】
ただし、本発明に用いられる撮影時情報、及び撮影時情報取得部は、撮影者の瞳孔径を推定するために用いることができるものであれば、上記のものに限定されず、他のものも用いられ得る。
【0036】
(瞳孔径推定部)
本発明における瞳孔径推定部では、前記撮影時情報から直接的に、もしくは間接的に撮影者の瞳孔径を推定する。
【0037】
本発明の実施例においては、代表的なものとして、「環境に関する情報として環境光照度」、「撮影者自身の情報として撮影者の眼を含む画像」、「撮影条件に関する情報として画像の露出情報」を用いた例で説明している。ただし、本発明に用いられる瞳孔径推定部は、撮影者の瞳孔径を推定することができるものであれば、上記のものに限定されず、用いられ得る。
【0038】
また、精度よく瞳孔径を推定するためには、複数の撮影時情報を併用する形がより望ましい。
【0039】
(画像記録部)
本発明における画像記録部では、前記瞳孔径推定部で得られた撮影者の瞳孔径情報を画像データと共に記録媒体に記録する。
【0040】
本発明においては、瞳孔径情報を記録する際に、瞳孔径の数値そのものを記録する場合に限らず、例えば所定の瞳孔径ランクのいずれに該当するかを記号化して記録するような場合も含む。また、瞳孔径情報と共に、前記撮影時情報も合わせて記録することは、撮影時の状況を記録する意味で、好ましい。
【0041】
(収差補正量決定部)
本発明における収差補正量決定部では、前記瞳孔径情報から、撮影者の眼に発生していた収差の効果を近似的に再現する収差補正を行なうための収差補正量を決定する。
【0042】
本発明の収差補正量決定部では、撮影者の眼に発生している収差を含む、撮影者が知覚した被写体の像を近似して表示するため、高調波成分の抑制のような空間周波数成分処理、平均化処理や階調処理のような処理により、視覚特性に合わせるように収差補正量を決定する。
【0043】
(収差補正処理部)
本発明における収差補正処理部では、前記収差補正量決定部で決定した補正量を用いて、画像に対する収差補正処理を行う。
【実施例1】
【0044】
実施例1は、撮影時の露出情報から求めた環境輝度を用いて撮影者の瞳孔径を推定し、撮影した画像に瞳孔径情報を埋め込んで保存する機能を持つ画像撮像装置である。
【0045】
以下、実施例1について図面を参照しながら説明する。
【0046】
<構成>
本発明による実施例1の画像撮像装置は、図1(a)に示すような構成となっている。
【0047】
構成中、画像取得部101、画像処理部102、画像記録部103は、一般的なデジタルカメラと共通な部分であるが、本実施例を説明する上で無関係な部分については、大幅にまとめて簡略化してある。
【0048】
そしてこれらに加え、本実施例での特徴的な構成として、撮影時情報取得部104、瞳孔径推定部105、環境輝度に対する瞳孔径テーブル110を備えている。
【0049】
各部の役割について簡単に説明する。
【0050】
画像取得部101は、レンズ等の光学部品、シャッター等の機械部品、各種操作部であるユーザーI/F、撮像素子、A/Dコンバータ等、撮影対象である被写体の光学情報が、デジタルデータに変換されるまでの機能を担う。
【0051】
画像処理部102は、デジタル化された画像の生信号データから、汎用の画像ファイルへの生成処理を担う。
【0052】
画像記録部103は、生成された画像を蓄えておく記録媒体(SDカード等)である。
【0053】
ここまでが、一般的なデジタルカメラと共通部分である。
【0054】
続いて、本実施例での特徴的な構成部分の役割を簡単に説明する。
【0055】
撮影時情報取得部104は、瞳孔径を推定するための情報として、撮影時の露出情報を得る。
【0056】
瞳孔径推定部105は、撮影時情報(本実施例においては露出情報)を基に、撮影者の瞳孔径を推定するまでの処理を担う。
【0057】
環境輝度に対する瞳孔径テーブル110は、環境輝度値から瞳孔径への変換値がLUTとして保存されている。
【0058】
<処理の流れ>
全体の処理の流れについて図1(a)を参照しながら説明する。
【0059】
まず、撮影者が撮影を行うと、画像取得部101は、撮影した画像の取得を行う。
【0060】
次に取得した画像から、画像処理部102でホワイトバランス等の各種パラメータに基づき、最終形態であるJPEG等、一般画像形式ファイルの生成処理を行う。
【0061】
次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部104は、画像取得部101から、撮影時の露出情報(シャッター速度、絞り値等)を得る。
【0062】
次に瞳孔径推定部105で、露出情報を輝度へ変換する。
【0063】
露出情報から輝度への変換は、一括で算出も可能だが、ここでは説明をわかり易くするため、3つのステップに分けて説明する。
(1)シャッター速度、絞り値からEV値へ変換する。(図3参照)
(2)EV値から照度へ変換する。(図4参照)
(3)照度から輝度へ変換する。(図4参照)
各ステップでの算出方法について以下に説明する。
【0064】
(1)シャッター速度Tと絞り値Fから決まる露出量であるEV値を次式により求める。
【0065】
【数1】
【0066】
(2)EV値から照度Lを次式により求める。
【0067】
【数2】
【0068】
(3)照度Lから輝度Bを次式により求める。
【0069】
【数3】
【0070】
露出情報から輝度への変換が終了したら、求めた輝度から、環境輝度に対する瞳孔径テーブル110を参照して瞳孔径を推定する。
【0071】
環境輝度に対する瞳孔径テーブルには、人間の瞳孔径と輝度の一般的な関係を示すグラフ(図5、501)をLUT化した値が保存されている。
【0072】
撮影者の瞳孔径を推定したら、撮影者瞳孔径情報を画像処理部102へ転送する。
画像処理部102では、生成した撮影画像ファイルにEXIF等を利用して瞳孔径情報を埋め込む。
【0073】
ここで、瞳孔径情報の保存に利用するEXIF(Exchangeable image file format)について説明する。
【0074】
EXIFは、デジタルカメラで撮影した画像データに、撮影条件に関する情報を追加して保存できる、画像ファイル形式の規格である。撮影した画像データと併せて、撮影した日時やデジタルカメラの機種、シャッター速度や絞り値、画素数、ISO感度、色空間、
といった様々な情報をまとめて記録することができる。
【0075】
これらの書き込みフォーマットは基本的には共通であり、独自のデータは埋め込めないが、別途メーカーノートと呼ばれるメーカー独自の形式で記録可能なデータ部分がある。本発明の実施例1では、このメーカーノート等を利用して、瞳孔径データを埋め込む。
【0076】
最後に、画像記録部103(SDカード等の記録媒体)に瞳孔径情報が埋め込まれた画像ファイルの保存を行い、一回の撮影に対する一通りの処理が終了となる。
【実施例2】
【0077】
次に実施例2について説明する。
【0078】
実施例2は、実施例1の画像撮像装置で撮影した撮影者の瞳孔径情報が埋め込まれた画像を、その瞳孔径情報を基に、色収差の補正を行い、画像を表示可能な画像表示装置である。
【0079】
<構成>
本発明による実施例2の画像表示装置は、図1(b)に示すような構成となっている。
【0080】
各部の役割について簡単に説明する。
【0081】
画像記録部103は、処理対象となる瞳孔径情報が埋め込まれた画像が記録されている。
【0082】
色補正量決定部106は、撮影者の瞳孔径情報から色収差を推定し、色収差の補正量を決定する処理を担う。
【0083】
瞳孔径に対する色収差量テーブル107は、各瞳孔径での色収差量があらかじめLUTとして保存してある。
【0084】
色補正処理部108は、オリジナル画像に対して高調波成分の抑制による色補正処理を施し、補正画像の生成処理を担う。
【0085】
画像表示部109は、液晶等の本表示装置に内蔵されたモニタであり、補正した画像を表示する。
【0086】
ただし、画像表示部については、直接の表示デバイスを持たずに、外部モニタ等への出力機能として置き換え、外部モニタで表示するような形としてもよい。
【0087】
また、画像記録部103は、PCのハードディスク等の記録装置とし、色補正処理を含む全処理をPCで行わせる画像処理装置としてもよい。
【0088】
<処理の流れ>
全体の処理の流れについて図1(b)を参照しながら説明する。
【0089】
まず、色補正量決定部106では、画像記録部103に保存されている処理対象の当該画像から、埋め込まれている撮影者瞳孔径情報を読み込み、撮影時の撮影者瞳孔径を得る。
【0090】
次に瞳孔径に対する色収差量テーブル107を参照して、色収差推定値を得る。瞳孔径に対する色収差量テーブルには、あらかじめ光学シミュレーションで計算した値が、LUTとして保存してある。
【0091】
ここで、色収差量テーブル107の作成方法について説明する。
【0092】
色収差量は、瞳孔径と、統計的に得られる水晶体の形状・屈折率分布情報を用いた、MTF(modulation transfer function)の光学シミュレーションにより計算する。色収差推定値は、一般に光学設計で用いられる軸上色収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、異なる色に関するMTFの比(Ratio)を表す関数MR(ν,R)(数式4)とする。 ここで、変数νは補正対象となる空間周波数、Rは瞳孔径である。
【0093】
【数4】
【0094】
ここで、MTFλ(ν,R)は、入射光の波長がλの場合に、空間周波数ν,瞳孔径Rで生じる眼のMTFである。 MTFの入射光の波長は、分子分母各々に対し、470、550nmとしている。これらの数値は、青色及び緑色画素の分光輝度が最大になる波長を想定したものである。続く工程において、青色・緑色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するMTFとの平均を用いれば良い。
【0095】
空間周波数ν,瞳孔径Rを変数としたMTFの比MR(ν,R)が計算されると[数4]は入力2変数(空間周波数ν,瞳孔径R)、出力MR(ν,R)のルックアップテーブルとして瞳孔径に対する色収差テーブル107に記録される。
【0096】
このように生成されたMTF比の関数MR(ν,R)が記録保持された色収差テーブル107は、撮影者瞳孔径情報から推定された瞳孔径R’を入力として、空間周波数νを変数としたデータ列であるf(ν)を出力し、色補正量決定部106に色収差推定値f(ν)として入力する。
f(ν)= MR(ν,R’) R’=const.
色補正量決定部106では、得られた色収差推定値から色補正量を算出する。ここで得られる色補正量は、画像データのB面の空間周波数抑制に関する数値であり、数式5で与えられる。
【0097】
【数5】
【0098】
変数νmin, νmaxは、補正対象となる空間周波数帯の最小及び最大値、nは空間周波数帯のサンプル点数である。数式5の内容を理解するには色補正処理の知識が必要となるので、次の色補正処理と合わせて説明する。
【0099】
色補正処理部108では、画像記録部103から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。
【0100】
ここで色補正処理の方法について説明する。
【0101】
画像記録部103から読み込まれた画像データは、Red、Green、Blueの3色の色信号からなるカラー画像であり、Red信号からなるR面、Green信号からなるG面、Blue信号からなるB面、の3枚のカラー画像平面(RGB面)から構成される。
【0102】
まず、画像データのRGB面の中から補正対象であるB面を抽出した後、フィルタ処理によりB面を低周波成分と高周波成分に分離する。フィルタ処理は任意に決められるが、本実施例では、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。カットオフ周波数については後述する。
【0103】
次にB面の高周波成分に対し、色補正量を積算する。分離していた、低周波成分に、補正処理したB面の高調波成分を合成して、色補正後のB面を作成した後、R,G面と合わせることにより、色補正後画像データを生成する。
【0104】
ここで、数式5の内容、および空間周波数成分の分離処理におけるカットオフ周波数の選び方について図6を用いて説明する。図6(a)は入射光の波長が550nm(緑色光)で瞳孔径が最大の場合に相当する緑色MTF601、及び入射光の波長が470nm(青色光)で瞳孔径が最大の場合に相当する青色MTF602を模式的に示している。色収差の影響で、緑色光と比較して青色光がぼけるため、高周波成分において差が生じていることが確認できる。
【0105】
色補正処理部108では、処理後の画像における青色MTFがこれと同じ程度のMTF特性となるように、青色光が形成する光強度分布(つまりB面の画素値)の高周波数成分を抑制する。
【0106】
理想的には、B面の空間周波数成分を細かく分離し、数式4で与えられる関数fを周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。そこで、空間周波数の分離は二つとし、高周波成分を一律に抑制する。補正後の青色MTF603を図6(b)に模式的に示す。このように、補正後は、高周波成分が抑制され、MTF602と近い特性となっており、色収差が再現できていることがわかる。
【0107】
数式5により与えられる関数gは、高周波成分に一律に積算される増幅率であり、数式4で与えられるMTF比率の平均(相乗平均)値を用いている。平均を求める空間周波数帯域は、gの変数であるνmin, νmaxにより指定され、空間周波数帯のサンプル点数はnで指定される。νmin, νmaxは、両者ともカットオフ周波数604付近の数値を選択する必要があるが、処理後の画像にノイズが目立つようであれば低周波の数値を選択する。
【0108】
処理後の青色MTF603の形状からわかるように、カットオフ周波数604付近で不連続の段差が生じて画質劣化の要因となりうるが、処理自体が高調波成分の抑制であるため、実用上は問題ない。
【0109】
最後に、色補正された画像が、画像表示部109へと転送され表示される。
【0110】
なお、本実施例では波長550nmの緑色光と波長470nmの青色光との比から色収差によるMTFの差を補正する事を目的としたが、他の収差による補正の場合(数4)の分母を目標とするMTF、分子を眼のMTFとして補正しても同様である。
【実施例3】
【0111】
次に実施例3について説明する。
【0112】
実施例3は、撮影から補正画像の表示まで、同じ装置内で行うようにした、画像撮像表示装置である。
【0113】
<構成>
本発明による実施例3の画像撮像表示装置の構成を図7に示した。基本的には、実施例1による画像撮像装置と、実施例2による画像表示装置を合わせたような構成となっている。
【0114】
実施例1との撮像装置としての違いは、撮影者の瞳孔径を推定するための撮影時情報として、撮影時に同時に撮影する撮影者画像を用いる点である。それに伴い、撮影時情報取得部704が、本実施例では、本体背面に内蔵された撮影者自身の画像を撮影するサブカメラ(図8、801)になっており、メイン画像の撮影と同時に、撮影者自身の画像を撮影可能となっている。その他処理上の違いとして、推定した瞳孔径の保存に、画像と対応した瞳孔径ファイルを別途生成し、瞳孔径情報として書き込む形としている。
【0115】
また、実施例2との画像表示装置としての違いは、視力補正を行っていない近視の観察者を想定し、R面に色補正を行っている。なお色補正のための画像処理は、高調波成分の抑制に替え、平均化処理にて行っている。
【0116】
なお、実施例3では、具体的な操作方法についての説明は省略するが、観察者の視力と眼鏡・コンタクトレンズの有無に関する情報を事前に設定画面等から登録してあることを前提とする。これらの情報は、補正を施す色の種類に影響する。観察者の視力が正常、あるいは、近視だが眼鏡をかけている場合は、実施例2と同じくB面への処理となるので省略し、観察者が近視で、眼鏡をかけていない場合についてのみ述べる。
【0117】
また、本実施例3では、撮影者の眼を含む画像を本体背面のサブカメラで撮影する都合上、図2のように、撮影者201は、片手または両手を伸ばすようにカメラ本体202を保持する。そして、カメラ背面の液晶モニタ203に表示された、レンズを通して撮像素子が撮像した画像を見ながら構図を決める、ライブビューと呼ばれるスタイルでの撮影を前提としている。
【0118】
全体の処理の流れについて図7を参照しながら説明する。
【0119】
<撮影時の処理の流れ>
まず、撮影者が撮影を行うと、画像取得部701は、撮影した画像の取得を行う。
【0120】
次に取得した画像から、画像処理部702でホワイトバランス等の各種パラメータに基づき、最終形態であるJPEG等、一般画像形式ファイルの生成処理を行い、画像記録部703に保存する。
【0121】
次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部704では、撮影者自身の画像を本体背面に設置されたサブカメラで撮影して取得する。
【0122】
そして瞳孔径推定部705では、取得した撮影者画像から撮影者の瞳孔径を推定する。
瞳孔径推定には、撮影者画像から顔認識技術を用いて顔部分を抽出し、さらに顔の各パーツの相対位置関係から眼を拡大抽出する。そして、瞳の虹彩と瞳孔の境界をエッジ検出することで瞳孔部分のみを領域分離し、撮影者の瞳孔径を求める。
【0123】
撮影者画像からの瞳孔径推定の方法には様々な手法が考えられるが、本実施例では、その手法を限定するものではない。
【0124】
瞳孔径が推定できたら、画像記録部703へ撮影者瞳孔径情報として別ファイルで保存する。
【0125】
図9(a)は3枚の画像を撮影した後の画像記録部内へ保存されているファイルデータ900の例を示している。オリジナル画像901として、D00001.JPGからD00003.JPGが保存されており、それに加えてそれぞれの瞳孔径を記録したファイル902である、P00001.###からP00003.###も保存されている。
【0126】
<再生時の処理の流れ>
撮影者(観察者)が、再生ボタン等、不図示のユーザーインターフェースにより画像の表示を指示すると、色補正量決定部706では、画像記録部703に保存されている処理対象の当該画像に対応した、撮影者瞳孔径情報ファイルを読み込み、撮影時の撮影者瞳孔径を得る。
【0127】
次に瞳孔径に対する色収差量テーブル707を参照して、色収差推定値を得る。瞳孔径に対する色収差量テーブルには、あらかじめ光学シミュレーションで計算した値が、LUTとして保存してあるのは、実施例2と同様である。
【0128】
また、瞳孔径から色収差推定値得る際にも、実施例2同様数式4により色収差推定値を算出するが、分母のMTFの波長を赤色画素の分光輝度が最大になる630nmとする。上述したように、本実施例では、観察者が近視で眼鏡をかけずに表示画面を見ていることを想定している。焦点距離が短い青色光側にピントが合いやすく、赤色光がぼけやすい状態であるので、補正対象色を赤色とした。より補正効果を高めたいならば、視力に応じて青色と赤色の割合を変え、両方の色を同時に補正しても良い。
【0129】
さらに色補正量決定部706では、得られた色収差推定値から色補正量を算出する。色補正量は、数式5で与えられる実施例2における色補正量を、平均化処理のパラメータに変換した値である。平均化処理パラメータへの変換関数は、事前に主観評価実験により作成する。具体的には、実施例2の色補正を行った画像と、R面に平均化処理を施した画像をいくつか生成し、その中から類似性が高い組を複数抽出する。実施例2の補正量と平均化処理パラメータの組がいくつかできるので、関数フィッティングにより両者の関係を関数化できる。
【0130】
色補正処理部708では、画像記録部703から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。
【0131】
ここで色補正処理の方法について説明する。
【0132】
基本的には実施例2での処理と同様であるが、違いは実施例2では空間周波数に関する処理だったのに対し、実施例3では平均化処理になった点だけであるので、ここでは、平均化処理についての説明のみ行う。
【0133】
平均化処理は、数式6で与えられるフィルタを使用する線形フィルタ処理である。
【0134】
【数6】
【0135】
パラメータαは強調の程度を表すパラメータであり、色補正量はパラメータαを用いている。実施例2での高周波成分抑制処理と同様に、画像の高周波成分を抑制できる。計算負荷が実施例2の高周波成分強調処理より小さいため、高速に処理可能である。数式6で与えられるフィルタは3×3の大きさのものを使用しているが、平均化性能を高めたければ、より大きいサイズのものを使用しても良い。
【0136】
最後に、色補正された画像が、画像表示部709へと転送され表示される。
【実施例4】
【0137】
次に実施例4について説明する。
【0138】
実施例4は、実施例3と同様に、撮影から補正画像の表示まで、同じ装置内で行うようにした、画像撮像表示装置である。
【0139】
<構成>
本発明による実施例4の画像撮像表示装置の構成を図10に示した。基本的には、実施例3による画像撮像表示装置と同じような構成となっている。
【0140】
実施例3との違いは、撮影時情報として外光照度を用いる点にある。そのため、外光照度を測定するためのセンサ(図11、1101)が、本体上部に設置されている。
【0141】
また、処理上の大きな違いとして、色補正処理量の決定において、撮影者の瞳孔径に加え、観察者の瞳孔径も考慮するようにしたことにある。なお、この観察者の瞳孔径の推定についても、外光測定用のセンサで測定した照度が用いられ、その処理は画像再生時に行われる。そして、色補正のための画像処理は、階調処理(階調変換)のみで行っている。
【0142】
実施例2や3にでは、補正された画像を観察する際、明るい視環境、すなわち瞳孔が十分閉じており、眼の色収差の少ない状態で観察することを前提としている。これは、観察時に瞳孔が開いている、すなわち色収差が大きい場合、補正された画像をさらに色収差のある肉眼で観察することになるため、二重に補正されたような状態となってしまうことを避けるためである。
【0143】
そこで、実施例4では、再生時も外光センサで測定した照度から観察時の瞳孔径を推定し、撮影時と観察時の瞳孔径を比較し、瞳孔径が同じなら補正はせず、異なった場合にのみ補正を行う。
【0144】
これにより、環境を選ばず、いつでも精度の高い状態で補正画像の確認が行える。
【0145】
全体の処理の流れについて図10を参照しながら説明する。
【0146】
<撮影時の処理の流れ>
まず、撮影者が撮影を行うと、画像取得部1001は、撮影した画像の取得を行う。
【0147】
次に取得した画像から、画像処理部1002でホワイトバランス等の各種パラメータに基づき、最終形態であるJPEG等、一般画像形式ファイルの生成処理を行い、画像記録部1003に保存する。
【0148】
次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部1004は、本体上部に設置された外光照度センサから、撮影時の環境照度を取得する。
【0149】
次に瞳孔径推定部1005で、撮影時の照度を輝度へ変換し、求めた輝度から、環境輝度に対する瞳孔径テーブル1010を参照して撮影時の瞳孔径を推定する。
【0150】
照度から輝度への変換は、次式を用いて算出する。
【0151】
【数7】
【0152】
瞳孔径が推定できたら、画像記録部1003へ撮影者瞳孔径情報として別ファイルで保存する。
【0153】
実施例3では、オリジナル画像と1対1で瞳孔径ファイルを保存したが、実施例4では、図9(b)のように、全画像分の瞳孔径情報をまとめて一つのファイル912とし、順次追記していく形としている。
【0154】
<再生時の処理の流れ>
観察者が、再生ボタン等、不図示のユーザーインターフェースにより画像の表示を指示すると、撮影時情報取得部1004は、本体上部に設置された外光照度センサから、再生時の環境照度を取得する。
【0155】
次に瞳孔径推定部1005で、再生時の照度を、撮影時同様な方法で輝度へ変換し、求めた輝度から環境輝度に対する瞳孔径テーブル1010を参照して、再生時の観察者の瞳孔径を推定する。推定した瞳孔径は色補正量決定部1006へ転送される。
【0156】
さらに色補正量決定部1006では、画像記録部1003に保存されている瞳孔径情報ファイルを読み込み、当該画像に対応した撮影時の撮影者瞳孔径も得る。
【0157】
次に瞳孔径に対する色収差量テーブル1007を参照して、LUTより再生時と撮影時それぞれにおける色収差推定値を得る。他の実施例における色収差推定値はMTFの比としていたが、本実施例においては階調変換により行っている。
【0158】
色収差の副次的効果として、色の異なる点像のピーク値の明るさが低下することが知られている。本実施例における色収差推定値は、明るさ感覚量の比である。ただし、再生時と撮影時では逆の補正処理を行うため、再生時の色収差推定値と撮影時の色収差推定値の算出においては、分母分子が逆となっている。再生時と撮影時の色収差推定値を掛け合わせることで、再生時と撮影時を合わせた色収差推定値を求めることができる。(数式8)
また、ここで求めた色収差推定値は、そのまま色補正量となる。
【0159】
【数8】
【0160】
f’は撮影時の色収差推定値、fは再生時の色収差推定値である。SENT,Rは、瞳孔径Rのときに色の種類Tの明るさに関する感覚量である。具体的には、部屋の照明の明るさを変化させて観察者の瞳孔径を操作し、瞳孔径が安定している状態で、色と明るさが異なる矩形パターンの比較を繰り返すような、主観評価実験で求めることができる。
【0161】
色補正処理部1008では、画像記録部1003から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。
【0162】
色補正処理は、実施例2での空間周波数関連の処理を階調変換に置き換えれば、実施例2と同じである。階調変換は、B面の全画素に対し、色補正量を一律に積算する階調変換処理を行う色補正となる。
【0163】
最後に、色補正された画像が、画像表示部1009へと転送され表示される。
【符号の説明】
【0164】
101 画像取得部
102 画像処理部
103 画像記録部
104 撮影時情報取得部
105 瞳孔径推定部
106 収差補正量決定部
107 瞳孔径に対する色収差量テーブル
108 収差補正処理部
109 画像表示部
110 環境輝度に対する瞳孔径テーブル
【技術分野】
【0001】
本発明は画像データ取得時の画像データ取得者の視覚特性を記録し、該画像データに記録保持する画像撮影装置、および前記視覚特性を考慮し画像データに補正処理を行う画像処理方法、および、該画像データを表示する画像表示装置に関する。
【背景技術】
【0002】
近年、デジタルカメラは小型・高性能化され、専用のカメラとして以外にも、携帯電話、モバイルパソコン、携帯ゲーム機等に搭載され、様々な用途で使用されている。
【0003】
そして撮影時には、被写体の明るさや照明等、撮影環境に応じてピントや露出、ホワイトバランス等の各種調整が、自動または手動で行なわれ、その撮影結果ができるだけ実際の被写体と撮影した画像で物理的に近似するようにされている。
【0004】
前記デジタルカメラ等に装着されている光学レンズには、一般に収差が抑制されるように設計されたものが用いられている。
【0005】
一方、人間は、眼の水晶体により被写体の像を網膜上に光学的に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体や風景を知覚する。水晶体は、前記光学レンズのように収差が抑制されてはいないので、前記網膜像には少なからず収差が含まれている。
【0006】
知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に補正を行なっているためである。しかし、脳内でも補正しきれない収差が発生している場合、収差を伴った像として、知覚される。
【0007】
その結果として、上記撮影画像は、必ずしも撮影者の知覚していた像と一致しているとは限らない。
【0008】
撮影した画像に対して、眼で見た状態に近似させ、高い質感を与えるため、被写体の各部分までの距離情報を基に、合焦状態に応じたぼけ効果を付加する画像処理装置が提案されている。(特許文献1)
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−207549号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、本発明者らが検討を行なったところ、特許文献1のような画像処理を行なったとしても、なお下記のような課題が残されていることが判明した。
【0011】
人間の眼の瞳孔の大きさ(瞳孔径)が周辺環境光の明るさにより変化することは、一般的によく知られている。この瞳孔径と関連した収差として、球面収差や色収差などが挙げられる。色収差は、光の波長(色)による焦点位置のずれが原因で発生し、その結果、焦点のずれた色による像がぼけて知覚されるものである。また、その色収差の量は瞳孔径が大きい程増大するため、様々な条件によって瞳孔径が変化すると、それに伴って人間が知覚する見え方にも変化が起きていることがわかった。
【0012】
以下、本発明は瞳孔径の変化に伴う色収差を例に説明する。
【0013】
ただし前述のように瞳孔径の変化に伴う収差において球面収差などの色収差以外の収差についても同様に本発明を適用可能である。
【0014】
本発明者らが行った実験によれば、眼に発生する色収差の違いによる影響は、人間が認識できるコントラスト感度の差として現れることがわかった。特にRGB3色の内、B(青色)におけるコントラスト感度がR(赤色)やG(緑色)のコントラスト感度に比較して、より低下し易いことが確認された。
【0015】
<コントラスト感度とぼけの関係>
本発明者らは輝度の異なる2枚の矩形画像(テストパッチ)を隣接して配置し、その輝度差がどこまで判別できるかにより、コントラスト感度を評価した。その結果、瞳孔が大きく開いている場合、すなわち色収差が強く発生している場合、赤色や緑色に対するコントラスト感度より青色に対するコントラスト感度の方が低いことがわかった。
【0016】
一方、ピンホールを通して見ることによって、瞳孔径が小さい場合を模した同様の実験では赤色、緑色、青色に対するコントラスト感度が同等、もしくは青色に対するコントラスト感度が赤色、緑色に対するそれに近づくという結果が得られた。これは瞳孔径が狭められた結果、眼の色収差が減少しコントラスト感度が向上したことによるものと推測される。
【0017】
図12を用いてその理由を概念的に説明する。
【0018】
図12は前述の輝度の異なる2枚の矩形画像(テストパッチ)を隣接して配置し、それぞれのパッチ領域の明るさ感覚量を示した図であり、横軸に空間座標、縦軸に明るさ感覚量を示してある。
【0019】
テストパッチが赤色、緑色の時、その明るさ感覚は、二枚のパッチの位置に一致して感じられる(実線1201)。
【0020】
一方、青色に対する明るさ感覚は、眼の青色波長領域に対する色収差の影響でボケが生じ、その明るさ感覚は、二枚のパッチの隣接部で混じり合い緩やかな勾配をもって変化するように感じる(破線1202と領域1203)。1201で表される感覚量の方が、1202で表される感覚量より高いコントラスト感度を示すことは明らかである。
【0021】
以上のように明るさ感度の差であるコントラスト感度は眼の色収差に大きく影響され、色収差による空間解像力が悪くなるほどコントラスト感度も低下する。
【0022】
前述では色収差によって青色においてぼけが起こり易いことについて説明した。視力によっては、眼の網膜上で発生している色収差、及び色収差のぼけへの影響の様子が異なることも見出されている。例えば近視の人の場合には、赤色にぼけが発生し易いことが知られている。これは、近視の人の場合は焦点距離が短い青色に焦点が合い易くなっているためと考えられる。
【0023】
前述の通り、従来のデジタルカメラ等の撮像装置においては、撮影者の眼の色収差は考慮されておらず、撮影者の眼の色収差によって起こるぼけを含む画像、すなわち撮影者が知覚している被写体の像を近似して再現することはできなかった。
【0024】
特許文献1に記載の技術では、距離情報を基にぼけ効果を付加し、仮想的な撮像光学系によって得られる像を再現しようとしている。更に、色収差についても考慮しているものの、撮影レンズの特性によって発生する色収差についてのみ考慮しており、撮影者の知覚した像を再現することは全く考慮されていない。従って、特許文献1に記載の技術を用いた場合でも、撮影者の眼に発生する色収差の影響を考慮することによる撮影者の知覚している被写体の像を近似して再現することは不可能であった。
【0025】
本発明は、撮影者の眼に発生している収差に関する情報を撮影画像に付加し、それを利用することにより、撮影者が知覚していた被写体の像を近似して再現することで、人間の感覚に近づけた、感性的に高い評価値が得られる画像撮像表示装置を提供することを目的としている。
【課題を解決するための手段】
【0026】
上記目的を達成するため、本発明による画像撮像装置では、撮影時情報を取得する撮影時情報取得部と、前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、前記瞳孔径推定部により得られた撮影者の瞳孔径情報を、前記画像データと共に前記記録媒体に記録する画像記録部と、を有することを特徴とする。
【0027】
また、上記目的を達成するため、本発明による画像表示装置では、画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定部と、前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、を有することを特徴とする。
【0028】
また、上記目的を達成するため、本発明による画像撮像表示装置では、撮影時情報を取得する撮影時情報取得部と、前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、前記瞳孔径推定部により得られた撮影者の瞳孔径情報から、収差補正のための収差補正量を決定する収差補正量決定部と、前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、を有することを特徴とする。
【発明の効果】
【0029】
撮影者の眼に発生している収差に関する情報を撮影画像に付加し、それを利用することにより、撮影者が見ていた像を再現することで、人間の感覚に近づけた、感性的に高い評価値が得られる画像撮像表示装置を提供することができる。
【図面の簡単な説明】
【0030】
【図1】実施例1および2の構成図である。
【図2】撮影スタイルのイメージ(ライブビュー)である。
【図3】シャッター速度と絞り値からのEV値への換算表である。
【図4】EV値/照度/輝度の対応表である。
【図5】環境光輝度に対する瞳孔径の一般特性である。
【図6】実施例2での青色及び緑色に関するMTFと色補正量の関係の説明図である。
【図7】実施例3の構成図である。
【図8】実施例3の背面サブカメラによる撮影者画像の撮影イメージである。
【図9】実施例3および4による画像記録部への保存ファイルデータである。
【図10】実施例4の構成図である。
【図11】実施例4による撮影時の外光照度の測定イメージである。
【図12】色収差によるぼけとコントラスト感度の関係についての説明図である。
【発明を実施するための形態】
【0031】
本発明は、各種の撮影時情報から撮影者の瞳孔径を推定し、瞳孔径から撮影者の眼に発生している収差を求め、その収差に対する補正を画像に対して行うことを主旨とする撮像装置、表示装置、処理装置、処理プログラム、撮像表示装置である。
【0032】
本発明において、画像とは、静止画だけでなく、動画も含む用語である。
【0033】
(撮影時情報取得部)
本発明における撮影時情報とは、撮影者の瞳孔径を推測するために用いられる撮影時の各種状態情報であり、その代表的なものは、以下の3種類に分類される。
1.撮影時の周辺の光量、天気、気温、場所といった「環境に関する情報」
2.撮影者の表情や心拍数等、精神的、肉体的な状態、撮影者の眼を含む画像といった「撮影者自身の情報」
3.撮影時の露出、色温度等、主に撮影機材から得られる「撮影条件に関する情報」
例えば光量や天気であればフォトダイオードを用いた外光センサ、温度計、気圧計等を用いて測定可能である。
【0034】
また、瞳孔径は周辺の明るさの変化だけでなく、精神的な要因によっても変化することが知られている。一例としては、興奮や感動状態にあるときは瞳孔径は大きくなり、緊張状態では瞳孔径は小さくなる。撮影者の精神的な状態を取得する方法としては、例えば、カメラのグリップ部に内蔵した心拍数のセンサで撮影者の心拍数情報を取得する方法、グリップ部に設けた抵抗計による皮膚表面の抵抗値を取得する方法等が挙げられる。
【0035】
ただし、本発明に用いられる撮影時情報、及び撮影時情報取得部は、撮影者の瞳孔径を推定するために用いることができるものであれば、上記のものに限定されず、他のものも用いられ得る。
【0036】
(瞳孔径推定部)
本発明における瞳孔径推定部では、前記撮影時情報から直接的に、もしくは間接的に撮影者の瞳孔径を推定する。
【0037】
本発明の実施例においては、代表的なものとして、「環境に関する情報として環境光照度」、「撮影者自身の情報として撮影者の眼を含む画像」、「撮影条件に関する情報として画像の露出情報」を用いた例で説明している。ただし、本発明に用いられる瞳孔径推定部は、撮影者の瞳孔径を推定することができるものであれば、上記のものに限定されず、用いられ得る。
【0038】
また、精度よく瞳孔径を推定するためには、複数の撮影時情報を併用する形がより望ましい。
【0039】
(画像記録部)
本発明における画像記録部では、前記瞳孔径推定部で得られた撮影者の瞳孔径情報を画像データと共に記録媒体に記録する。
【0040】
本発明においては、瞳孔径情報を記録する際に、瞳孔径の数値そのものを記録する場合に限らず、例えば所定の瞳孔径ランクのいずれに該当するかを記号化して記録するような場合も含む。また、瞳孔径情報と共に、前記撮影時情報も合わせて記録することは、撮影時の状況を記録する意味で、好ましい。
【0041】
(収差補正量決定部)
本発明における収差補正量決定部では、前記瞳孔径情報から、撮影者の眼に発生していた収差の効果を近似的に再現する収差補正を行なうための収差補正量を決定する。
【0042】
本発明の収差補正量決定部では、撮影者の眼に発生している収差を含む、撮影者が知覚した被写体の像を近似して表示するため、高調波成分の抑制のような空間周波数成分処理、平均化処理や階調処理のような処理により、視覚特性に合わせるように収差補正量を決定する。
【0043】
(収差補正処理部)
本発明における収差補正処理部では、前記収差補正量決定部で決定した補正量を用いて、画像に対する収差補正処理を行う。
【実施例1】
【0044】
実施例1は、撮影時の露出情報から求めた環境輝度を用いて撮影者の瞳孔径を推定し、撮影した画像に瞳孔径情報を埋め込んで保存する機能を持つ画像撮像装置である。
【0045】
以下、実施例1について図面を参照しながら説明する。
【0046】
<構成>
本発明による実施例1の画像撮像装置は、図1(a)に示すような構成となっている。
【0047】
構成中、画像取得部101、画像処理部102、画像記録部103は、一般的なデジタルカメラと共通な部分であるが、本実施例を説明する上で無関係な部分については、大幅にまとめて簡略化してある。
【0048】
そしてこれらに加え、本実施例での特徴的な構成として、撮影時情報取得部104、瞳孔径推定部105、環境輝度に対する瞳孔径テーブル110を備えている。
【0049】
各部の役割について簡単に説明する。
【0050】
画像取得部101は、レンズ等の光学部品、シャッター等の機械部品、各種操作部であるユーザーI/F、撮像素子、A/Dコンバータ等、撮影対象である被写体の光学情報が、デジタルデータに変換されるまでの機能を担う。
【0051】
画像処理部102は、デジタル化された画像の生信号データから、汎用の画像ファイルへの生成処理を担う。
【0052】
画像記録部103は、生成された画像を蓄えておく記録媒体(SDカード等)である。
【0053】
ここまでが、一般的なデジタルカメラと共通部分である。
【0054】
続いて、本実施例での特徴的な構成部分の役割を簡単に説明する。
【0055】
撮影時情報取得部104は、瞳孔径を推定するための情報として、撮影時の露出情報を得る。
【0056】
瞳孔径推定部105は、撮影時情報(本実施例においては露出情報)を基に、撮影者の瞳孔径を推定するまでの処理を担う。
【0057】
環境輝度に対する瞳孔径テーブル110は、環境輝度値から瞳孔径への変換値がLUTとして保存されている。
【0058】
<処理の流れ>
全体の処理の流れについて図1(a)を参照しながら説明する。
【0059】
まず、撮影者が撮影を行うと、画像取得部101は、撮影した画像の取得を行う。
【0060】
次に取得した画像から、画像処理部102でホワイトバランス等の各種パラメータに基づき、最終形態であるJPEG等、一般画像形式ファイルの生成処理を行う。
【0061】
次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部104は、画像取得部101から、撮影時の露出情報(シャッター速度、絞り値等)を得る。
【0062】
次に瞳孔径推定部105で、露出情報を輝度へ変換する。
【0063】
露出情報から輝度への変換は、一括で算出も可能だが、ここでは説明をわかり易くするため、3つのステップに分けて説明する。
(1)シャッター速度、絞り値からEV値へ変換する。(図3参照)
(2)EV値から照度へ変換する。(図4参照)
(3)照度から輝度へ変換する。(図4参照)
各ステップでの算出方法について以下に説明する。
【0064】
(1)シャッター速度Tと絞り値Fから決まる露出量であるEV値を次式により求める。
【0065】
【数1】
【0066】
(2)EV値から照度Lを次式により求める。
【0067】
【数2】
【0068】
(3)照度Lから輝度Bを次式により求める。
【0069】
【数3】
【0070】
露出情報から輝度への変換が終了したら、求めた輝度から、環境輝度に対する瞳孔径テーブル110を参照して瞳孔径を推定する。
【0071】
環境輝度に対する瞳孔径テーブルには、人間の瞳孔径と輝度の一般的な関係を示すグラフ(図5、501)をLUT化した値が保存されている。
【0072】
撮影者の瞳孔径を推定したら、撮影者瞳孔径情報を画像処理部102へ転送する。
画像処理部102では、生成した撮影画像ファイルにEXIF等を利用して瞳孔径情報を埋め込む。
【0073】
ここで、瞳孔径情報の保存に利用するEXIF(Exchangeable image file format)について説明する。
【0074】
EXIFは、デジタルカメラで撮影した画像データに、撮影条件に関する情報を追加して保存できる、画像ファイル形式の規格である。撮影した画像データと併せて、撮影した日時やデジタルカメラの機種、シャッター速度や絞り値、画素数、ISO感度、色空間、
といった様々な情報をまとめて記録することができる。
【0075】
これらの書き込みフォーマットは基本的には共通であり、独自のデータは埋め込めないが、別途メーカーノートと呼ばれるメーカー独自の形式で記録可能なデータ部分がある。本発明の実施例1では、このメーカーノート等を利用して、瞳孔径データを埋め込む。
【0076】
最後に、画像記録部103(SDカード等の記録媒体)に瞳孔径情報が埋め込まれた画像ファイルの保存を行い、一回の撮影に対する一通りの処理が終了となる。
【実施例2】
【0077】
次に実施例2について説明する。
【0078】
実施例2は、実施例1の画像撮像装置で撮影した撮影者の瞳孔径情報が埋め込まれた画像を、その瞳孔径情報を基に、色収差の補正を行い、画像を表示可能な画像表示装置である。
【0079】
<構成>
本発明による実施例2の画像表示装置は、図1(b)に示すような構成となっている。
【0080】
各部の役割について簡単に説明する。
【0081】
画像記録部103は、処理対象となる瞳孔径情報が埋め込まれた画像が記録されている。
【0082】
色補正量決定部106は、撮影者の瞳孔径情報から色収差を推定し、色収差の補正量を決定する処理を担う。
【0083】
瞳孔径に対する色収差量テーブル107は、各瞳孔径での色収差量があらかじめLUTとして保存してある。
【0084】
色補正処理部108は、オリジナル画像に対して高調波成分の抑制による色補正処理を施し、補正画像の生成処理を担う。
【0085】
画像表示部109は、液晶等の本表示装置に内蔵されたモニタであり、補正した画像を表示する。
【0086】
ただし、画像表示部については、直接の表示デバイスを持たずに、外部モニタ等への出力機能として置き換え、外部モニタで表示するような形としてもよい。
【0087】
また、画像記録部103は、PCのハードディスク等の記録装置とし、色補正処理を含む全処理をPCで行わせる画像処理装置としてもよい。
【0088】
<処理の流れ>
全体の処理の流れについて図1(b)を参照しながら説明する。
【0089】
まず、色補正量決定部106では、画像記録部103に保存されている処理対象の当該画像から、埋め込まれている撮影者瞳孔径情報を読み込み、撮影時の撮影者瞳孔径を得る。
【0090】
次に瞳孔径に対する色収差量テーブル107を参照して、色収差推定値を得る。瞳孔径に対する色収差量テーブルには、あらかじめ光学シミュレーションで計算した値が、LUTとして保存してある。
【0091】
ここで、色収差量テーブル107の作成方法について説明する。
【0092】
色収差量は、瞳孔径と、統計的に得られる水晶体の形状・屈折率分布情報を用いた、MTF(modulation transfer function)の光学シミュレーションにより計算する。色収差推定値は、一般に光学設計で用いられる軸上色収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、異なる色に関するMTFの比(Ratio)を表す関数MR(ν,R)(数式4)とする。 ここで、変数νは補正対象となる空間周波数、Rは瞳孔径である。
【0093】
【数4】
【0094】
ここで、MTFλ(ν,R)は、入射光の波長がλの場合に、空間周波数ν,瞳孔径Rで生じる眼のMTFである。 MTFの入射光の波長は、分子分母各々に対し、470、550nmとしている。これらの数値は、青色及び緑色画素の分光輝度が最大になる波長を想定したものである。続く工程において、青色・緑色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するMTFとの平均を用いれば良い。
【0095】
空間周波数ν,瞳孔径Rを変数としたMTFの比MR(ν,R)が計算されると[数4]は入力2変数(空間周波数ν,瞳孔径R)、出力MR(ν,R)のルックアップテーブルとして瞳孔径に対する色収差テーブル107に記録される。
【0096】
このように生成されたMTF比の関数MR(ν,R)が記録保持された色収差テーブル107は、撮影者瞳孔径情報から推定された瞳孔径R’を入力として、空間周波数νを変数としたデータ列であるf(ν)を出力し、色補正量決定部106に色収差推定値f(ν)として入力する。
f(ν)= MR(ν,R’) R’=const.
色補正量決定部106では、得られた色収差推定値から色補正量を算出する。ここで得られる色補正量は、画像データのB面の空間周波数抑制に関する数値であり、数式5で与えられる。
【0097】
【数5】
【0098】
変数νmin, νmaxは、補正対象となる空間周波数帯の最小及び最大値、nは空間周波数帯のサンプル点数である。数式5の内容を理解するには色補正処理の知識が必要となるので、次の色補正処理と合わせて説明する。
【0099】
色補正処理部108では、画像記録部103から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。
【0100】
ここで色補正処理の方法について説明する。
【0101】
画像記録部103から読み込まれた画像データは、Red、Green、Blueの3色の色信号からなるカラー画像であり、Red信号からなるR面、Green信号からなるG面、Blue信号からなるB面、の3枚のカラー画像平面(RGB面)から構成される。
【0102】
まず、画像データのRGB面の中から補正対象であるB面を抽出した後、フィルタ処理によりB面を低周波成分と高周波成分に分離する。フィルタ処理は任意に決められるが、本実施例では、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。カットオフ周波数については後述する。
【0103】
次にB面の高周波成分に対し、色補正量を積算する。分離していた、低周波成分に、補正処理したB面の高調波成分を合成して、色補正後のB面を作成した後、R,G面と合わせることにより、色補正後画像データを生成する。
【0104】
ここで、数式5の内容、および空間周波数成分の分離処理におけるカットオフ周波数の選び方について図6を用いて説明する。図6(a)は入射光の波長が550nm(緑色光)で瞳孔径が最大の場合に相当する緑色MTF601、及び入射光の波長が470nm(青色光)で瞳孔径が最大の場合に相当する青色MTF602を模式的に示している。色収差の影響で、緑色光と比較して青色光がぼけるため、高周波成分において差が生じていることが確認できる。
【0105】
色補正処理部108では、処理後の画像における青色MTFがこれと同じ程度のMTF特性となるように、青色光が形成する光強度分布(つまりB面の画素値)の高周波数成分を抑制する。
【0106】
理想的には、B面の空間周波数成分を細かく分離し、数式4で与えられる関数fを周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。そこで、空間周波数の分離は二つとし、高周波成分を一律に抑制する。補正後の青色MTF603を図6(b)に模式的に示す。このように、補正後は、高周波成分が抑制され、MTF602と近い特性となっており、色収差が再現できていることがわかる。
【0107】
数式5により与えられる関数gは、高周波成分に一律に積算される増幅率であり、数式4で与えられるMTF比率の平均(相乗平均)値を用いている。平均を求める空間周波数帯域は、gの変数であるνmin, νmaxにより指定され、空間周波数帯のサンプル点数はnで指定される。νmin, νmaxは、両者ともカットオフ周波数604付近の数値を選択する必要があるが、処理後の画像にノイズが目立つようであれば低周波の数値を選択する。
【0108】
処理後の青色MTF603の形状からわかるように、カットオフ周波数604付近で不連続の段差が生じて画質劣化の要因となりうるが、処理自体が高調波成分の抑制であるため、実用上は問題ない。
【0109】
最後に、色補正された画像が、画像表示部109へと転送され表示される。
【0110】
なお、本実施例では波長550nmの緑色光と波長470nmの青色光との比から色収差によるMTFの差を補正する事を目的としたが、他の収差による補正の場合(数4)の分母を目標とするMTF、分子を眼のMTFとして補正しても同様である。
【実施例3】
【0111】
次に実施例3について説明する。
【0112】
実施例3は、撮影から補正画像の表示まで、同じ装置内で行うようにした、画像撮像表示装置である。
【0113】
<構成>
本発明による実施例3の画像撮像表示装置の構成を図7に示した。基本的には、実施例1による画像撮像装置と、実施例2による画像表示装置を合わせたような構成となっている。
【0114】
実施例1との撮像装置としての違いは、撮影者の瞳孔径を推定するための撮影時情報として、撮影時に同時に撮影する撮影者画像を用いる点である。それに伴い、撮影時情報取得部704が、本実施例では、本体背面に内蔵された撮影者自身の画像を撮影するサブカメラ(図8、801)になっており、メイン画像の撮影と同時に、撮影者自身の画像を撮影可能となっている。その他処理上の違いとして、推定した瞳孔径の保存に、画像と対応した瞳孔径ファイルを別途生成し、瞳孔径情報として書き込む形としている。
【0115】
また、実施例2との画像表示装置としての違いは、視力補正を行っていない近視の観察者を想定し、R面に色補正を行っている。なお色補正のための画像処理は、高調波成分の抑制に替え、平均化処理にて行っている。
【0116】
なお、実施例3では、具体的な操作方法についての説明は省略するが、観察者の視力と眼鏡・コンタクトレンズの有無に関する情報を事前に設定画面等から登録してあることを前提とする。これらの情報は、補正を施す色の種類に影響する。観察者の視力が正常、あるいは、近視だが眼鏡をかけている場合は、実施例2と同じくB面への処理となるので省略し、観察者が近視で、眼鏡をかけていない場合についてのみ述べる。
【0117】
また、本実施例3では、撮影者の眼を含む画像を本体背面のサブカメラで撮影する都合上、図2のように、撮影者201は、片手または両手を伸ばすようにカメラ本体202を保持する。そして、カメラ背面の液晶モニタ203に表示された、レンズを通して撮像素子が撮像した画像を見ながら構図を決める、ライブビューと呼ばれるスタイルでの撮影を前提としている。
【0118】
全体の処理の流れについて図7を参照しながら説明する。
【0119】
<撮影時の処理の流れ>
まず、撮影者が撮影を行うと、画像取得部701は、撮影した画像の取得を行う。
【0120】
次に取得した画像から、画像処理部702でホワイトバランス等の各種パラメータに基づき、最終形態であるJPEG等、一般画像形式ファイルの生成処理を行い、画像記録部703に保存する。
【0121】
次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部704では、撮影者自身の画像を本体背面に設置されたサブカメラで撮影して取得する。
【0122】
そして瞳孔径推定部705では、取得した撮影者画像から撮影者の瞳孔径を推定する。
瞳孔径推定には、撮影者画像から顔認識技術を用いて顔部分を抽出し、さらに顔の各パーツの相対位置関係から眼を拡大抽出する。そして、瞳の虹彩と瞳孔の境界をエッジ検出することで瞳孔部分のみを領域分離し、撮影者の瞳孔径を求める。
【0123】
撮影者画像からの瞳孔径推定の方法には様々な手法が考えられるが、本実施例では、その手法を限定するものではない。
【0124】
瞳孔径が推定できたら、画像記録部703へ撮影者瞳孔径情報として別ファイルで保存する。
【0125】
図9(a)は3枚の画像を撮影した後の画像記録部内へ保存されているファイルデータ900の例を示している。オリジナル画像901として、D00001.JPGからD00003.JPGが保存されており、それに加えてそれぞれの瞳孔径を記録したファイル902である、P00001.###からP00003.###も保存されている。
【0126】
<再生時の処理の流れ>
撮影者(観察者)が、再生ボタン等、不図示のユーザーインターフェースにより画像の表示を指示すると、色補正量決定部706では、画像記録部703に保存されている処理対象の当該画像に対応した、撮影者瞳孔径情報ファイルを読み込み、撮影時の撮影者瞳孔径を得る。
【0127】
次に瞳孔径に対する色収差量テーブル707を参照して、色収差推定値を得る。瞳孔径に対する色収差量テーブルには、あらかじめ光学シミュレーションで計算した値が、LUTとして保存してあるのは、実施例2と同様である。
【0128】
また、瞳孔径から色収差推定値得る際にも、実施例2同様数式4により色収差推定値を算出するが、分母のMTFの波長を赤色画素の分光輝度が最大になる630nmとする。上述したように、本実施例では、観察者が近視で眼鏡をかけずに表示画面を見ていることを想定している。焦点距離が短い青色光側にピントが合いやすく、赤色光がぼけやすい状態であるので、補正対象色を赤色とした。より補正効果を高めたいならば、視力に応じて青色と赤色の割合を変え、両方の色を同時に補正しても良い。
【0129】
さらに色補正量決定部706では、得られた色収差推定値から色補正量を算出する。色補正量は、数式5で与えられる実施例2における色補正量を、平均化処理のパラメータに変換した値である。平均化処理パラメータへの変換関数は、事前に主観評価実験により作成する。具体的には、実施例2の色補正を行った画像と、R面に平均化処理を施した画像をいくつか生成し、その中から類似性が高い組を複数抽出する。実施例2の補正量と平均化処理パラメータの組がいくつかできるので、関数フィッティングにより両者の関係を関数化できる。
【0130】
色補正処理部708では、画像記録部703から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。
【0131】
ここで色補正処理の方法について説明する。
【0132】
基本的には実施例2での処理と同様であるが、違いは実施例2では空間周波数に関する処理だったのに対し、実施例3では平均化処理になった点だけであるので、ここでは、平均化処理についての説明のみ行う。
【0133】
平均化処理は、数式6で与えられるフィルタを使用する線形フィルタ処理である。
【0134】
【数6】
【0135】
パラメータαは強調の程度を表すパラメータであり、色補正量はパラメータαを用いている。実施例2での高周波成分抑制処理と同様に、画像の高周波成分を抑制できる。計算負荷が実施例2の高周波成分強調処理より小さいため、高速に処理可能である。数式6で与えられるフィルタは3×3の大きさのものを使用しているが、平均化性能を高めたければ、より大きいサイズのものを使用しても良い。
【0136】
最後に、色補正された画像が、画像表示部709へと転送され表示される。
【実施例4】
【0137】
次に実施例4について説明する。
【0138】
実施例4は、実施例3と同様に、撮影から補正画像の表示まで、同じ装置内で行うようにした、画像撮像表示装置である。
【0139】
<構成>
本発明による実施例4の画像撮像表示装置の構成を図10に示した。基本的には、実施例3による画像撮像表示装置と同じような構成となっている。
【0140】
実施例3との違いは、撮影時情報として外光照度を用いる点にある。そのため、外光照度を測定するためのセンサ(図11、1101)が、本体上部に設置されている。
【0141】
また、処理上の大きな違いとして、色補正処理量の決定において、撮影者の瞳孔径に加え、観察者の瞳孔径も考慮するようにしたことにある。なお、この観察者の瞳孔径の推定についても、外光測定用のセンサで測定した照度が用いられ、その処理は画像再生時に行われる。そして、色補正のための画像処理は、階調処理(階調変換)のみで行っている。
【0142】
実施例2や3にでは、補正された画像を観察する際、明るい視環境、すなわち瞳孔が十分閉じており、眼の色収差の少ない状態で観察することを前提としている。これは、観察時に瞳孔が開いている、すなわち色収差が大きい場合、補正された画像をさらに色収差のある肉眼で観察することになるため、二重に補正されたような状態となってしまうことを避けるためである。
【0143】
そこで、実施例4では、再生時も外光センサで測定した照度から観察時の瞳孔径を推定し、撮影時と観察時の瞳孔径を比較し、瞳孔径が同じなら補正はせず、異なった場合にのみ補正を行う。
【0144】
これにより、環境を選ばず、いつでも精度の高い状態で補正画像の確認が行える。
【0145】
全体の処理の流れについて図10を参照しながら説明する。
【0146】
<撮影時の処理の流れ>
まず、撮影者が撮影を行うと、画像取得部1001は、撮影した画像の取得を行う。
【0147】
次に取得した画像から、画像処理部1002でホワイトバランス等の各種パラメータに基づき、最終形態であるJPEG等、一般画像形式ファイルの生成処理を行い、画像記録部1003に保存する。
【0148】
次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部1004は、本体上部に設置された外光照度センサから、撮影時の環境照度を取得する。
【0149】
次に瞳孔径推定部1005で、撮影時の照度を輝度へ変換し、求めた輝度から、環境輝度に対する瞳孔径テーブル1010を参照して撮影時の瞳孔径を推定する。
【0150】
照度から輝度への変換は、次式を用いて算出する。
【0151】
【数7】
【0152】
瞳孔径が推定できたら、画像記録部1003へ撮影者瞳孔径情報として別ファイルで保存する。
【0153】
実施例3では、オリジナル画像と1対1で瞳孔径ファイルを保存したが、実施例4では、図9(b)のように、全画像分の瞳孔径情報をまとめて一つのファイル912とし、順次追記していく形としている。
【0154】
<再生時の処理の流れ>
観察者が、再生ボタン等、不図示のユーザーインターフェースにより画像の表示を指示すると、撮影時情報取得部1004は、本体上部に設置された外光照度センサから、再生時の環境照度を取得する。
【0155】
次に瞳孔径推定部1005で、再生時の照度を、撮影時同様な方法で輝度へ変換し、求めた輝度から環境輝度に対する瞳孔径テーブル1010を参照して、再生時の観察者の瞳孔径を推定する。推定した瞳孔径は色補正量決定部1006へ転送される。
【0156】
さらに色補正量決定部1006では、画像記録部1003に保存されている瞳孔径情報ファイルを読み込み、当該画像に対応した撮影時の撮影者瞳孔径も得る。
【0157】
次に瞳孔径に対する色収差量テーブル1007を参照して、LUTより再生時と撮影時それぞれにおける色収差推定値を得る。他の実施例における色収差推定値はMTFの比としていたが、本実施例においては階調変換により行っている。
【0158】
色収差の副次的効果として、色の異なる点像のピーク値の明るさが低下することが知られている。本実施例における色収差推定値は、明るさ感覚量の比である。ただし、再生時と撮影時では逆の補正処理を行うため、再生時の色収差推定値と撮影時の色収差推定値の算出においては、分母分子が逆となっている。再生時と撮影時の色収差推定値を掛け合わせることで、再生時と撮影時を合わせた色収差推定値を求めることができる。(数式8)
また、ここで求めた色収差推定値は、そのまま色補正量となる。
【0159】
【数8】
【0160】
f’は撮影時の色収差推定値、fは再生時の色収差推定値である。SENT,Rは、瞳孔径Rのときに色の種類Tの明るさに関する感覚量である。具体的には、部屋の照明の明るさを変化させて観察者の瞳孔径を操作し、瞳孔径が安定している状態で、色と明るさが異なる矩形パターンの比較を繰り返すような、主観評価実験で求めることができる。
【0161】
色補正処理部1008では、画像記録部1003から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。
【0162】
色補正処理は、実施例2での空間周波数関連の処理を階調変換に置き換えれば、実施例2と同じである。階調変換は、B面の全画素に対し、色補正量を一律に積算する階調変換処理を行う色補正となる。
【0163】
最後に、色補正された画像が、画像表示部1009へと転送され表示される。
【符号の説明】
【0164】
101 画像取得部
102 画像処理部
103 画像記録部
104 撮影時情報取得部
105 瞳孔径推定部
106 収差補正量決定部
107 瞳孔径に対する色収差量テーブル
108 収差補正処理部
109 画像表示部
110 環境輝度に対する瞳孔径テーブル
【特許請求の範囲】
【請求項1】
被写体を撮像して画像データを生成し、前記画像データを記録媒体に記録する画像撮像装置において、
撮影時情報を取得する撮影時情報取得部と、
前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、
前記瞳孔径推定部により得られた撮影者の瞳孔径情報を、前記画像データと共に前記記録媒体に記録する画像記録部と、
を有することを特徴とする画像撮像装置。
【請求項2】
前記撮影時情報は、撮影を行なう際の露出、外光センサで測定された光量及び撮影者の眼を含む画像のうち少なくとも一つを含むことを特徴とする、請求項1に記載の画像撮像装置。
【請求項3】
記録媒体に記録された画像データを読み込み、画像表示手段に画像を表示可能な画像表示装置において、
前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定部と、
前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、
を有することを特徴とする画像表示装置。
【請求項4】
前記収差補正処理は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを含むことを特徴とする、請求項3に記載の画像表示装置。
【請求項5】
記録媒体に記録された画像データを読み込み、画像表示手段に表示させるために画像を処理する画像処理方法において、
前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定工程と、
前記収差補正量決定工程により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理工程と、
を有することを特徴とする画像処理方法。
【請求項6】
前記収差補正工程は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを行なうことを特徴とする、請求項5に記載の画像処理方法。
【請求項7】
記録媒体に記録された画像データを読み込み、画像表示手段に表示させるために画像を処理する画像処理プログラムにおいて、
前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定工程と、
前記収差補正量決定工程により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理工程と、
をコンピュータに行なわせることを特徴とする画像処理プログラム。
【請求項8】
被写体を撮像して画像データを生成し、前記画像データを記録媒体に記録し、画像表示手段に画像を表示可能な画像撮像表示装置において、
撮影時情報を取得する撮影時情報取得部と、
前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、
前記瞳孔径推定部により得られた撮影者の瞳孔径情報から、収差補正のための収差補正量を決定する収差補正量決定部と、
前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、
を有することを特徴とする画像撮像表示装置。
【請求項9】
前記撮影時情報は、撮影を行なう際の露出、外光センサで測定された光量及び撮影者の眼を含む画像のうち少なくとも一つを含むことを特徴とする、請求項8に記載の画像撮像表示装置。
【請求項10】
前記収差補正処理は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを含むことを特徴とする、請求項9に記載の画像撮像表示装置。
【請求項1】
被写体を撮像して画像データを生成し、前記画像データを記録媒体に記録する画像撮像装置において、
撮影時情報を取得する撮影時情報取得部と、
前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、
前記瞳孔径推定部により得られた撮影者の瞳孔径情報を、前記画像データと共に前記記録媒体に記録する画像記録部と、
を有することを特徴とする画像撮像装置。
【請求項2】
前記撮影時情報は、撮影を行なう際の露出、外光センサで測定された光量及び撮影者の眼を含む画像のうち少なくとも一つを含むことを特徴とする、請求項1に記載の画像撮像装置。
【請求項3】
記録媒体に記録された画像データを読み込み、画像表示手段に画像を表示可能な画像表示装置において、
前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定部と、
前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、
を有することを特徴とする画像表示装置。
【請求項4】
前記収差補正処理は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを含むことを特徴とする、請求項3に記載の画像表示装置。
【請求項5】
記録媒体に記録された画像データを読み込み、画像表示手段に表示させるために画像を処理する画像処理方法において、
前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定工程と、
前記収差補正量決定工程により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理工程と、
を有することを特徴とする画像処理方法。
【請求項6】
前記収差補正工程は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを行なうことを特徴とする、請求項5に記載の画像処理方法。
【請求項7】
記録媒体に記録された画像データを読み込み、画像表示手段に表示させるために画像を処理する画像処理プログラムにおいて、
前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定工程と、
前記収差補正量決定工程により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理工程と、
をコンピュータに行なわせることを特徴とする画像処理プログラム。
【請求項8】
被写体を撮像して画像データを生成し、前記画像データを記録媒体に記録し、画像表示手段に画像を表示可能な画像撮像表示装置において、
撮影時情報を取得する撮影時情報取得部と、
前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、
前記瞳孔径推定部により得られた撮影者の瞳孔径情報から、収差補正のための収差補正量を決定する収差補正量決定部と、
前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、
を有することを特徴とする画像撮像表示装置。
【請求項9】
前記撮影時情報は、撮影を行なう際の露出、外光センサで測定された光量及び撮影者の眼を含む画像のうち少なくとも一つを含むことを特徴とする、請求項8に記載の画像撮像表示装置。
【請求項10】
前記収差補正処理は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを含むことを特徴とする、請求項9に記載の画像撮像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−104879(P2012−104879A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願番号】特願2010−248978(P2010−248978)
【出願日】平成22年11月5日(2010.11.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【出願日】平成22年11月5日(2010.11.5)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]