撮像装置、撮像方法、プログラム、記録媒体、および集積回路
【課題】距離を推定する撮像装置において、被写体の反射率推定値の精度を向上する。
【解決手段】
被写体に照明光を照射する照明発光部と、前記照明発光部の条件を変えて撮影すること
で、複数枚の画像を取得する撮像部と、前記複数枚の画像から前記照明光成分のみの画像
を取得する照明光成分取得部と、前記複数枚の画像および前記照明光成分のみの画像のう
ち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を
推定する反射率推定部と、前記照明光成分のみの画像と前記被写体の前記反射率から各画
素に対応する前記被写体までの距離情報を推定する距離情報推定部と、を備える。
【解決手段】
被写体に照明光を照射する照明発光部と、前記照明発光部の条件を変えて撮影すること
で、複数枚の画像を取得する撮像部と、前記複数枚の画像から前記照明光成分のみの画像
を取得する照明光成分取得部と、前記複数枚の画像および前記照明光成分のみの画像のう
ち、いずれかの画像から、照度ムラを除去して、各画素に対応する前記被写体の反射率を
推定する反射率推定部と、前記照明光成分のみの画像と前記被写体の前記反射率から各画
素に対応する前記被写体までの距離情報を推定する距離情報推定部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の各画素の距離情報（画素に対応する被写体と撮影点（カメ
ラの設置位置）との３次元空間内での距離）を、照明を用いて推定する撮像装置、撮像方
法、プログラム、記録媒体、および集積回路に関する。
【背景技術】
【０００２】
ディジタル一眼レフカメラの普及に伴い、シャッター時間を短くし、絞りを開いて被写
界深度を浅くして背景をぼかすなど、距離感を活かした写真表現が普及してきている。し
かしながら、コンパクトディジタルカメラやビデオカメラなどではレンズの大きさの制約
などにより、距離感を活かした写真表現が十分にできていない。そのため、距離を簡単に
測定できる技術があれば、測定された距離に基づいてレンズによるぼけ感をエミュレート
することにより、コンパクトディジタルカメラやビデオカメラなどでも一眼レフ並みのぼ
け感を作り出すことなどが可能となる。
【０００３】
そのため、距離（距離情報）を簡単に測定できるカメラのニーズは高い。また、この他
にも、距離情報を用いることで、さまざまな応用技術（アプリケーション）を実現するこ
とができる。
従来、距離を測定する技術として、複数のカメラを用いて距離を推定する技術（ステレ
オカメラ方式）がよく知られている。被写体を２台のカメラで撮影し、撮影された２枚の
画像における、被写体の各点のずれ（視差）から、３点測距の原理で距離を算出するもの
である。
【０００４】
しかしながら、ステレオカメラ方式は、複数のレンズが必要であり、さらにそれらをあ
る程度離れた間隔で設置する必要があるため、コンパクトカメラにステレオカメラ方式を
適用するのは現実的ではない。
また、距離を測定する技術として、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式も良
く知られている。これは、赤外線などの光を撮像装置から被写体に照射し、その光が戻っ
てくるまでの時間を計測して、撮像装置から撮像画像上の各画素に対応する被写体までの
距離（撮像装置と被写体との３次元空間内の距離）を測定するものである。
【０００５】
しかしながら、ＴＯＦ方式は、赤外線ＬＥＤや特殊ＣＣＤなどの専用機器が必要となり
、光波測距方式を用いた装置は比較的大規模になるため、同様に、小型・軽量を売りにす
るコンパクトカメラに、ＴＯＦ方式を適用することも、現実的ではない。
そこで、ほぼ全てのカメラ（撮像装置）に付属しているフラッシュ光発光装置を用いて
、被写体までの距離を推定する技術がある（例えば、特許文献１参照）。
【０００６】
特許文献１に開示されている従来の撮像装置（画像処理装置）では、フラッシュ光の距
離減衰特性を用いて、撮影された画像の各画素の被写体までの距離を推定する。フラッシ
ュ発光有無の２枚の撮像画像の差分からフラッシュ光のみの画像（距離の２乗に反比例し
て減衰）を算出し、これを撮像画像上の被写体の各画素の反射率推定値で除算して、被写
体距離推定値を得る。ただし、反射率推定値は、フラッシュ光無しの撮像画像に対して、
画素値０の部分を画素値１で置き換えた画像の画素値である。（ゼロ除算回避のみ）
【特許文献１】特開２００１−３５２４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の撮像装置では、フラッシュ光無しの撮像画像の画素値をその
ままを被写体反射率とみなしており、撮像画像内の照度ムラ（空間的な照度のバラツキ、
詳細下記）、すなわち、撮像画像上の各画素位置に対応する３次元空間内での実際の被写
体の照度の違いが考慮されていない。撮影画像内の全空間位置で照度が均一であれば、撮
影画像の各画素値（＝照度×反射率）は反射率に比例した値となるが、通常、各空間位置
で照度は異なり（照度ムラがあり）、その分だけ画素値も変化している。すなわち、フラ
ッシュ光無しの撮像画像の画素値は、反射率とは等しくない。よって、上記従来の撮像装
置では、被写体の反射率推定値の精度が低かったため、推定された被写体距離の精度が低
かった。
【０００８】
ここで、「照度ムラ」がある状態とは、距離による照明光の減衰や、影などの影響によ
り、各画素位置（撮像画像上の各画素位置に対応する被写体の３次元空間内の位置）にお
いて照度が異なる状態であることをいう。例えば、図１１（ａ）に示すように、照明ＬＳ
（照明ＬＳからの照明光は距離に比例して減衰するものとする。）、物体Ａ、および物体
Ｂ（撮像装置から物体Ａおよび物体Ｂまでの距離は等しいものとする。）を撮影した撮像
画像ＩＭＧ１の場合、つまり、物体Ａと照明ＬＳとの距離は短く、照明ＬＳからの光が強
く照射されるが、物体Ｂと照明ＬＳとの距離は長いので、照明ＬＳからの光が減衰し、物
体Ｂには、物体Ａほど強く照明ＬＳからの光が照射されない場合、物体ＡおよびＢの輝度
を、それぞれＹａおよびＹｂとすると、Ｙａ≧Ｙｂとなる状態となるが、この状態が「照
度ムラがある」状態である。さらに、図１１（ｂ）に示すように、照明ＬＳ、物体Ａ、遮
蔽物Ｓ、および物体Ｂ（撮像装置から物体Ａおよび物体Ｂまでの距離は等しいものとする
。）を撮影した撮像画像ＩＭＧ２の場合、つまり、物体Ａには照明ＬＳからの光が強く照
射されるが、物体Ｂには遮蔽物Ｓで照明ＬＳからの光が遮蔽されるため（遮蔽物Ｓの影が
発生するため）、照明ＬＳからの光がほとんど照射されない場合、この場合の物体Ｂの輝
度をＹｂ’とすると、Ｙａ≧Ｙｂ≧Ｙｂ’となり、撮像画像上において物体Ｂはさらに暗
い状態となる。この状態も「照度ムラがある」状態である。
【０００９】
通常、撮影画像内の全画素位置で照度が均一であることは少なく、照度ムラが存在する
ため、高精度に反射率推定を行うためには照度ムラ除去（照度の均一化）が必須である。
本発明では、画像内の全空間位置での照度が均一であれば画像データは反射率に比例し
た値になることに着眼し、前記画像の各画素に対して、その周辺平均輝度により異なる入
出力特性を有する変換により、撮影画像の照度ムラを除去して全空間位置での照度を均一
化した画像を生成してその画素値を被写体反射率とすることで、高精度に被写体反射率を
推定することにより、各画素に対応する被写体と撮像装置との３次元空間内での距離を高
精度に推定することができる撮像装置、撮像方法、プログラム、記録媒体、および集積回
路を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の発明は、照明発光部と、撮像部と、照明光成分取得部と、反射率推定部と、距離
情報推定部と、を備える撮像装置である。照明発光部は、被写体に照明光を照射する。撮
像部は、照明発光部の条件を変えて撮影することで、複数枚の画像を取得する。照明光成
分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複数
枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して
、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの画
像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
【００１１】
撮影画像内の全空間位置で照度が均一であれば、撮影画像の各画素値（＝照度×反射率
）は反射率に比例した値となるが、通常、各空間位置で照度は異なり（照度ムラがあり）
、その分だけ画素値も変化しているため、高精度に反射率推定を行うためには照度ムラ除
去（照度の均一化）が必須であり、この撮像装置では、反射率推定部により、複数枚の画
像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画
素に対応する被写体の反射率が推定されるので、高精度に被写体の反射率を推定すること
ができる。そして、この撮像装置では、この高精度に推定された被写体の反射率により、
各画素に対応する被写体と撮像装置との３次元空間内での距離を推定するので、高精度の
距離情報を取得することができる。
【００１２】
第２の発明は、照明発光部と、撮像部と、照明光成分取得部と、反射率推定部と、距離
情報推定部と、を備える撮像装置である。照明発光部は、被写体に照明光を照射する。撮
像部は、照明発光部の発光状態を所定の時間内に切り替え、照明光無しの状態で第１画像
信号を取得し、照明光有りの状態で第２画像信号を取得する。照明光成分取得部は、第２
画像信号から、第１画像信号成分を除去することで照明光成分のみの画像信号を取得する
。反射率推定部は、第１画像信号、第２画像信号、または、照明光成分のみの画像信号に
対して、各画素の輝度Ｋｉをその周辺平均輝度ＡＫｉに応じて異なる入出力特性により変
換し、照度ムラを除去して、各画素に対応する被写体の反射率を推定することで反射率デ
ータ信号を取得する。距離情報推定部は、前記照明光成分のみの画像信号から反射率デー
タ信号成分を除去して、各画素に対応する被写体までの距離情報を推定することで距離情
報データ信号を取得する。
【００１３】
本来、画素値は照度と反射率の積であり、分離不可能（不可逆）であるが、照度は空間
的になだらかに変化するものであるから、この撮像装置では、照度は周辺平均輝度とほぼ
同一であるとみなし、周辺平均輝度を均一化する変換を行うことで、照度が均一化された
状況に相当する画像を生成する。照度が画像内の全空間位置で同一であれば、画像データ
は反射率に比例したものとなる。これにより、入力画像のから照度ムラを除去することで
、本来分離不可能である反射率を分離・算出することが可能となる。
【００１４】
そして、この撮像装置では、この高精度に推定された被写体の反射率により、各画素に
対応する被写体と撮像装置との３次元空間内での距離を推定するので、高精度の距離情報
を取得することができる。
また、ここで、照明光成分取得部における「第１画像信号成分を除去」は、例えば、第
２画像信号から第１画像信号成分を減算することで行われる。ただし、第１・第２画像信
号を撮像部にて取得した際の露出設定が違う場合には、第１・第２画像信号に対して露出
あわせのためのゲイン調整を行ってから減算する必要があり、この概念も含まれる。
【００１５】
また、反射率推定部は、第２画像信号から照度ムラを除去して反射率を推定するように
してもよく、あるいは、減算結果データ信号から照度ムラを除去して反射率を推定するよ
うにしてもよい。
また、「周辺平均輝度」とは、処理対象である着目画素を中心とした、例えば４００ｘ
２４０程度（画像サイズ１９２０ｘ１０８０の場合）の領域の輝度平均値の概念であり、
領域とは、矩形領域・円形領域・楕円形領域などであり、また、輝度平均値とは、単純平
均値・加重平均値などを含む。
【００１６】
また、距離情報推定部における「反射率データ信号成分を除去」は、例えば、照明光成
分のみの画像信号を反射率データ信号で除算することで行われる。
また、「画素に対応する被写体までの距離情報」とは、撮像装置と画素に対応する被写
体との３次元空間内での距離についての情報であり、距離そのものを示す情報であっても
よく、また、距離を算出することができる物理量を示す情報（例えば、距離に比例定数を
乗算した値）であってもよい。
【００１７】
第３の発明は、第２の発明であって、反射率推定部は、輝度Ｋｉと、周辺平均輝度ＡＫ
ｉとが等しい場合、輝度Ｋｉを一定範囲内の輝度に変換する。
これにより、輝度変化のない（少ない）画像領域に含まれる画素の輝度が、一定範囲内
の輝度に変換されるため、照度ムラが効率良く除去される。
【００１８】
第４の発明は、第３の発明であって、反射率推定部は、輝度Ｋｉを、変換後の輝度がと
りうる範囲を範囲Ｒａｎｇｅとし、範囲Ｒａｎｇｅの中心値を中心値ＫｏＣｅｎｔとする
ものであり、輝度Ｋｉと、周辺平均輝度ＡＫｉとが等しい場合、輝度Ｋｉを、（中心値Ｋ
ｏＣｅｎｔ）−（範囲Ｒａｎｇｅ）×０．３から（中心値ＫｏＣｅｎｔ）＋（範囲Ｒａｎ
ｇｅ）×０．３の範囲内の輝度に変換する。
これにより、輝度変化のない（少ない）画像領域に含まれる画素の輝度が、変換後の輝
度のとり得る範囲（変換後の輝度のダイナミックレンジ）内の中心値から±３０％（変換
後輝度のダイナミックレンジの±３０％）の範囲内の輝度に変換されるため、照度ムラが
効率良く除去される。
【００１９】
第５の発明は、第２の発明であって、反射率推定部は、輝度Ｋｉを、周辺平均輝度ＡＫ
ｉで除算することで、照度ムラを除去して、反射率データ信号を取得する。
これにより、簡単な処理で、効率的に、照度ムラを除去することができるので、精度の
高い反射率データ信号を取得することができる。
【００２０】
第６の発明は、第１から第５の発明であって、反射率推定部は、照明光成分のみの画像
信号から、反射率データ信号を取得する。
これにより、詳細は後述するが、物体表面における拡散反射による精度低下の影響が除
去される。また、照明光に赤外光を用いた場合は、可視光・赤外の帯域での反射率違いに
よる精度低下がない。さらに、赤外光に遠赤外を用いた場合には、被写体の温度による赤
外放射の影響を打ち消すことができる。これらにより、精度の高い反射率データ信号を取
得することができる。
【００２１】
第７の発明は、第１から第６のいずれかの発明であって、照明光に、フラッシュ光を用
いる。
この撮像装置では、照明光としてフラッシュ光を用いるので、多くの撮像装置（カメラ
等）に既設のフラッシュ発光装置等による照明光を利用することができる。したがって、
この撮像装置は、フラッシュ光発光装置付きの、レンズの小さいコンパクトカメラやビデ
オカメラ等においても簡単に実現することができる。
【００２２】
第８の発明は、第１から第６のいずれかの発明であって、照明光に、赤外光を用いる。
この撮像装置では、照明光のとして赤外光を用いるので、被写体に照明光が見えないた
め、フラッシュ光が必要ない撮影シーンにおいて、被写体に不快感を与えることがない。
また、距離情報を動画で撮影する場合には、フラッシュ光が点滅すると被写体に不快感を
与えるが、赤外光では被写体に不快感を与えることなく距離情報を動画で取得することが
できる。
【００２３】
第９の発明は、第１から第８の発明であって、照明光の距離に対する減衰特性を示す関
数Ｂ（ｘ）（ｘ：距離）の逆関数Ｂ−１（ｘ）を用いて、画素ごとに、距離情報データ信
号を、画素に対応する被写体までの距離に変換する逆関数処理部をさらに備える。
これにより、精度良く距離情報データ信号を取得することができる。
一般に、照明光は、距離に対して減衰する特性（距離の２乗に反比例して減衰）を有し
ており、この照明光の距離に対する減衰特性は測定により簡単に取得することができる。
照明光の距離に対する減衰特性を特定することができると、その特性を示す関数Ｂ（ｘ）
およびＢ（ｘ）の逆関数Ｂ−１（ｘ）も特定することができる。
したがって、この撮像装置において、逆関数Ｂ−１（ｘ）を用いて、画素ごとに距離情
報を求めることで、精度良く距離情報データ信号を取得することができる。
【００２４】
第１０の発明は、第１から第９のいずれかの発明であって、距離情報データ信号に基づ
いて、画像信号に対して奥行き感を強調する奥行き感強調処理を行う距離関連信号処理部
をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度の高い奥行き感強調処理を
実現させることができる。
【００２５】
第１１の発明は、第１から第１０のいずれかの発明であって、距離情報データ信号に基
づいて、画像信号に対して背景をぼかす処理を行う距離関連信号処理部をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度の高い画像信号に対して背
景をぼかす処理を実現させることができる。
【００２６】
第１２の発明は、第１から第１１のいずれかの発明であって、距離情報データ信号に基
づいて、画像において照明が十分に届いていない画像領域を検出し、画像領域に含まれる
画素の輝度を高くする処理を行う距離関連信号処理部をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度よく、画像において照明が
届いていない画像領域を検出し、画像領域に含まれる画素の輝度を高くする処理を実現さ
せることができる。
【００２７】
第１３の発明は、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられる撮像
方法であって、照明光成分取得ステップと、反射率推定ステップと、距離情報推定ステッ
プと、を備える。照明光成分取得ステップでは、複数枚の画像から照明光成分のみの画像
を取得する。反射率推定ステップでは、複数枚の画像および照明光成分のみの画像のうち
、いずれかの画像から、照度ムラを除去して、各画素に対応する被写体の反射率を推定す
る。距離情報推定ステップでは、照明光成分のみの画像と被写体の反射率から各画素に対
応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、備える撮像装置に用いられることで、第
１の発明と同様の効果を奏する撮像方法を実現することができる。
【００２８】
第１４の発明は、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられるプロ
グラムであって、コンピュータを、照明光成分取得部、反射率推定部、距離情報推定部、
として機能させるためのプログラムである。照明光成分取得部では、複数枚の画像から照
明光成分のみの画像を取得する。反射率推定部では、複数枚の画像および照明光成分のみ
の画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する被写体の反
射率を推定する。距離情報推定部では、照明光成分のみの画像と被写体の反射率から各画
素に対応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、備える撮像装置に用いられることで、第
１の発明と同様の効果を奏するプログラムを実現することができる。
【００２９】
第１５の発明は、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられるプロ
グラムを記録したコンピュータにより読み取り可能な記録媒体であって、コンピュータを
、照明光成分取得部、反射率推定部、距離情報推定部、として機能させるためのプログラ
ムを記録したコンピュータにより読み取り可能な記録媒体である。照明光成分取得部は、
複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複数枚の画像およ
び照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対
応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの画像と被写体の
反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられることで、
第１の発明と同様の効果を奏するコンピュータにより読み取り可能な記録媒体を実現する
ことができる。
【００３０】
第１６の発明は、照明発光部と、撮像部と、照明光成分取得部と、反射率推定部と、距
離情報推定部と、を備える集積回路である。照明発光部は、被写体に照明光を照射する。
撮像部は、照明発光部の条件を変えて撮影することで、複数枚の画像を取得する。照明光
成分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複
数枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去し
て、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの
画像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【００３１】
第１７の発明は、照明条件を変えて撮影することで複数枚の画像を取得する撮像部を備
える撮像装置に用いられる集積回路であって、照明発光部と、照明光成分取得部と、反射
率推定部と、距離情報推定部と、を備える。照明発光部は、被写体に照明光を照射する。
照明光成分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部
は、複数枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを
除去して、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分
のみの画像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、照明条件を変えて撮影することで複数枚の画像を取得する撮像部を備える
撮像装置に用いられることで、第１の発明と同様の効果を奏する集積回路を実現すること
ができる。
【発明の効果】
【００３２】
本発明によれば、照度ムラを除去し、高精度に被写体反射率を推定することにより、各
画素に対応する被写体と撮像装置との３次元空間内での距離を高精度に推定することがで
きる撮像装置、撮像方法、プログラム、記録媒体、および集積回路を提供することができ
る。
さらに、本発明では、多くの撮像装置（カメラ等）に既設のフラッシュ発光装置等によ
る照明光を利用することで、高精度に距離を推定することができる。このため、本発明は
、レンズの小さいコンパクトカメラやビデオカメラ等にも用いることができ、距離に基づ
いた高精度な画像処理を、レンズの小さいコンパクトカメラやビデオカメラ等においても
、簡単に実現させることができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：撮像装置の構成＞
まず、第１実施形態に係る撮像装置１００について説明する。
図１に、本発明の第１実施形態に係る撮像装置１００（例えば、おけるディジタルカメ
ラ）の概略構成図を示す。図２に、信号処理部３１および記憶部３２の概略構図を示す。
また、図４に、距離推定部３１２の概略構成図を示す。
【００３４】
撮像装置１００は、図１に示すように、被写体Ｐ１からの光を集光する撮像レンズ１１
と、撮像レンズ１１で集光した被写体Ｐ１からの光量を調整する絞り１２と、被写体Ｐ１
からの光を光電変換により画像信号（映像信号）として取得する撮像部（撮像素子）１３
と、撮像部１３で取得した画像信号に対してアナログ信号処理を行うアナログ信号処理部
２と、アナログ信号処理が施された画像信号に対して、ディジタル信号処理を施すディジ
タル信号処理部３と、被写体Ｐ１に対してフラッシュ光を照射するフラッシュ発光部４と
、を備える。
【００３５】
撮像部１３は、撮像レンズ１１で集光され、絞り１２を通過した被写体Ｐ１からの光を
光電変換により画像信号（映像信号）として取得する。そして、撮像部１３は、取得した
画像信号をアナログ信号処理部２に出力する。撮像部１３としては、ＣＣＤ型イメージセ
ンサやＣＭＯＳ型イメージセンサを用いることが好ましい。
アナログ信号処理部２は、撮像部１３から出力された画像信号を入力とし、撮像部１３
から出力された画像信号に対してアナログ信号処理を施し、アナログ信号処理を施した画
像信号をディジタル画像信号に変換し、ディジタル信号処理部３に出力する。アナログ信
号処理部２は、例えば、カメラフロントエンドと呼ばれるアナログ回路により実現され、
主に、相関二重サンプリング回路（ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａ
ｍｐｌｉｎｇ））２１と、増幅回路（ＧＣＡ（Ｇａｉｎ Ｃｏｎｔｒｏｌ Ａｍｐｌｉｆ
ｉｉｅｒ））２２と、およびＡ／Ｄ変換器２３から構成される。
【００３６】
ディジタル信号処理部３は、アナログ信号処理部２から出力された画像信号に対して所
定の信号処理を行う信号処理部３１と、信号処理部３１からの出力を記憶する記憶部３２
と、記憶部３２に記憶された画像信号に対して符号化処理を行い、また、メモリカード６
等の記録メディアからの画像データ（符号化処理された画像データ）に対して復号処理を
行うコーデック部３３と、を有する。また、ディジタル信号処理部３は、ディジタル信号
処理部の各機能部の各種制御を行う制御部３４と、表示部５の制御を行う表示部制御部３
５と、メモリカード６とデータ（信号）の入出力を行うためのインターフェースであるカ
ードＩ／Ｆ３６と、フラッシュ発光部４の制御を行うフラッシュ発光制御部３７と、ディ
ジタル信号処理部３の各機能部をバス接続するバス３８と、を有する。なお、本実施形態
では、図１に示すように、ディジタル信号処理部３の各機能部がバス３８により接続され
ている場合について説明するが、必ずしも、ディジタル信号処理部３の各機能部がバス接
続されている必要はなく、必要なデータ（信号）のやりとりができるように、各機能ブロ
ックが直接接続される構成であってもよいことは言うまでもない。
【００３７】
信号処理部３１は、図２に示すように、第１信号処理部３１１と、距離推定部３１２と
、第２信号処理部３１３と、距離関連信号処理部３１４と、を有する。
第１信号処理部３１１は、アナログ信号処理部２から出力される画像信号を入力とし、
アナログ信号処理部２から出力される画像信号に対して、ダイナミック・レンジ圧縮処理
、画素補間処理などの処理を行い、第２信号処理部３１３および記憶部３２に出力する。
【００３８】
撮像部（撮像素子）１３の各画素には、Ｒ、Ｇ、Ｂの色フィルタが分散して配置されて
おり、各画素で取得される画像信号は、Ｒ、Ｇ、Ｂの何れかの情報しか持たない。このた
め、画素補間処理により、各画素により取得されなかった２色の情報を持つ画像信号を、
それぞれ、周りの画素（画素値）からの補間により推定（算出）する。これにより、撮像
部（撮像素子）１３の各画素に対応する画像信号において、Ｒ成分信号、Ｇ成分信号、お
よびＢ成分信号を取得することができる。
【００３９】
距離推定部３１２は、図４に示すように、減算部３１２１と、反射率推定部３１２２と
、除算部３１２３と、逆関数処理部３１２４と、を有する。
距離推定部３１２は、記憶部３２から出力される、フラッシュ光ありの撮影環境下で取
得された画像信号（この画像信号を「画像信号ｂ」または「画像データｂ」という。）と
、記憶部３２から出力される、フラッシュ光なしでの撮影環境下で取得された画像信号（
この画像信号を「画像信号ａ」または「画像データａ」という。）とを入力とし、画像信
号ａおよび画像信号ｂに基づいて、距離情報を推定（算出）し、推定した距離情報を距離
関連信号処理部３１４に出力する。
【００４０】
減算部３１２１は、記憶部３２から出力される画像信号ａ（画像信号ａを構成する各画
素の値は、当該画素に対応する被写体の反射率Ｒ０および照度Ｃ０の積Ｒ０・Ｃ０で表す
ことができる。）および画像信号ｂ（画像信号ｂを構成する各画素の値は、反射率Ｒ０、
照度Ｃ０、およびフラッシュ光の距離−照度特性を決定する関数Ｂ（ｘ）（ｘは、撮像装
置１００から被写体までの距離情報）を用いて、Ｒ０・（Ｃ０＋Ｂ（ｘ０））（ｘ０は、
撮像装置１００から当該画素に対応する被写体までの距離情報）で表すことができる。）
を入力とし、画像信号ｂから画像信号ａを減算する処理、すなわち、
Ｒ０・（Ｃ０＋Ｂ（ｘ０））−Ｒ０・Ｃ０
なる処理を行い、減算処理結果である、Ｒ０・Ｂ（ｘ０）を除算部３１２３に出力する。
【００４１】
反射率推定部３１２２は、記憶部３２から出力される画像信号ａを入力とし、画像信号
ａから照度ムラを除去して被写体反射率を推定する（詳細については後述）。つまり、反
射率推定部３１２２は、画像信号ａを構成する画素（処理対象画素）の画素値Ｒ０・Ｃ０
から反射率Ｒ０を求め、求めた反射率Ｒ０を除算部３１２３に出力する。
除算部３１２３は、減算部から出力されたＲ０・Ｂ（ｘ０）および反射率推定部３１２
２から出力された反射率Ｒ０を入力とし、
Ｒ０・Ｂ（ｘ０）／Ｒ０
なる除算処理を行うことで、Ｂ（ｘ０）を算出し、算出結果Ｂ（ｘ０）を逆関数処理部３
１２４に出力する。
【００４２】
逆関数処理部３１２４は、除算部３１２３から出力されたＢ（ｘ０）を入力とし、フラ
ッシュ光の距離−照度特性を決定する関数Ｂ（ｘ）の逆関数であるＢ−１（ｘ）なる処理
をＢ（ｘ０）に対して行うことで、距離情報ｘ０（処理対象画素の距離情報）を算出し、
算出した距離情報ｘ０を第２信号処理部３１３に出力する。なお、ここで、フラッシュ光
の距離−照度特性を示す関数Ｂ（ｘ）およびその逆関数Ｂ−１（ｘ）は、フラッシュ発光
部４により発光されるフラッシュ光の特性を予め測定することで求めておき、例えば、撮
像装置１００のＲＯＭ（不図示）等に予め記憶させておくようにしてもよい。
【００４３】
第２信号処理部３１３は、第１信号処理部３１１から出力された画像信号に対して、γ
補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処理を行い、距離
関連信号処理部３１４に出力する。
γ補正処理は、画像データ（画像信号）に対して、いわゆるガンマ補正を施す処理であ
り、通常は、γ＝１／２．２として、画像信号に対してγ補正処理が実行される。
【００４４】
色補正処理は、撮像部（撮像素子）１３の色フィルタの特性で決まるＲＧＢ値を規格化
された色空間（ＮＴＳＣ、ｓＲＧＢ等で規定される色空間）のＲＧＢ値への変換を行う処
理である。
ノイズリダクション処理は、画像信号の振幅、周波数などからノイズを判別し、判別さ
れたノイズを削減する処理である。
【００４５】
輪郭強調処理は、撮像レンズ１１のアパーチャー（レンズ口径）や絞り２２の影響によ
るＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下を補償
し解像度感のある画像にするための処理である。
距離関連信号処理部３１４は、逆関数処理部３１２４から出力される距離情報および第
２信号処理部３１３から出力される画像信号を入力とし、距離情報に基づいて、第２信号
処理部３１３から出力される画像信号に対して様々な処理を行う。例えば、処理対象とな
る画素（以下、「注目画素」という。）の距離情報から、注目画素が撮像画像上で近景領
域に含まれると判断される場合、例えば、注目画素の画素値を強調する処理や、注目画素
の周辺画素とのコントラストが強調されるように明るさ対比量や色対比量が強調される処
理等を行う。逆に、注目画素の距離情報から、注目画素が撮像画像上で遠景領域に含まれ
ると判断される場合、例えば、注目画素がぼけるように注目画素値を修正する処理や、注
目画素の周辺画素とのコントラストが抑制されるように明るさ対比量や色対比量が抑制さ
れる処理等を行う。距離関連信号処理部３１４で、このような処理を行うことで、撮像画
像において、近景領域をより強調し、遠景領域をぼかすことができ、撮像装置１００にお
いて、奥行き感や遠近感が強調された画像（例えば、被写界深度の浅い画像に相当する画
像）を生成することができる。なお、距離関連信号処理部３１４は、処理した画像信号を
記憶部３２に出力するようにしてもよい。
【００４６】
なお、第１信号処理部３１１および第２信号処理部３１３で行われる各種処理は、一例
であり、上記のものに限定されないのは言うまでもない。
記憶部３２は、制御部３４からの指令に基づいて、第１信号処理部３１１から出力され
る画像信号を記憶し、また、記憶している画像信号を距離推定部３１２に出力する。なお
、記憶部３２は、コーデック部３３により符号化された画像信号を記憶するものであって
もよい。また、記憶部３２は、距離関連信号処理部３１４から出力される画像信号を記憶
するものであってもよい。さらに、記憶部３２は、記憶している画像信号等を、バス３８
を介して、信号処理部３１や表示部制御部３５に出力するようにしてもよい。
【００４７】
コーデック部３３は、記憶部３２から出力される画像信号に対して符号化処理（ＪＰＥ
Ｇ等による符号化処理）を行い、符号化処理した画像信号（以下、「符号化画像信号」と
いう。）をカードＩ／Ｆ３６を介して、メモリカード６等の記録メディアに出力する。ま
た、コーデック部３３は、メモリカード６等の記録メディアから出力される符号化画像信
号に対して復号処理（ＪＰＥＧ等による復号処理）を行い、信号処理部３１や、記憶部３
２や、表示部制御部３５等に出力する。
【００４８】
制御部３４は、ディジタル信号処理部３の各機能部の各種制御を行う。制御部３４とし
ては、マイクロプロセッサを用いることが好ましい。
表示部制御部３５は、信号処理部３１から出力される画像信号や、コーデック部３３で
復号された画像信号や、記憶部３２から出力される画像信号等を入力とし、入力された画
像データを、例えば、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）（不図示）等に書き込むことで、表
示部５（ＬＣＤディスプレイ等による表示装置）で２次元画像として表示されるようにす
る。
【００４９】
カードＩ／Ｆ３６は、メモリカード６とデータ（信号）の入出力を行うためのインター
フェースである。カードＩ／Ｆ３６を介して、信号処理部３１から出力される画像信号や
、コーデック部３３により符号化された画像信号や、記憶部３２に記憶された画像信号等
が、メモリカード６に出力され、メモリカード６に書き込まれる。
フラッシュ発光制御部３７は、制御部３４からの指令に基づいて、フラッシュ発光部４
でのフラッシュ発光のタイミング、フラッシュ発光時間、フラッシュ発光量等の制御を行
う。
【００５０】
フラッシュ発光部４は、フラッシュ発光制御部３７により制御されることで、被写体に
対してフラッシュ光を照射する。
なお、フラッシュ発光部４、およびフラッシュ発光制御部３７が「照明発光部」に相当
する。撮像部１３が「撮像部」に相当する。また、減算部３１２１が「照明光成分取得部
」に相当する。また、反射率推定部３１２２が、「反射率推定部」に相当する。また、除
算部３１２３が「距離情報推定部」に相当する。
【００５１】
＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１００の動作について、以下、説明する。
撮影する被写体からの反射光は、撮像レンズ１１により撮像部（撮像素子）１３上に結
像され、光電変換により画像信号（映像信号）として取得される。また、この光路中に設
けられた絞り１２および図示していないシャッターにより撮像部（撮像素子）１３上に結
像する光量が調整される。撮像レンズ１１による結像（フォーカス制御）は、オートフォ
ーカス機能あるいはマニュアルフォーカス機能により撮像レンズ１１を前後（光路上の前
後方向に）に動かすことにより制御され適切な露光量となるように絞り調節がなされる。
ここで、図１では、撮像レンズ１１は、１枚の構成となっているが、実際には複数枚のレ
ンズ組が用いられる。ズームレンズの場合はさらに枚数は増加する。
【００５２】
図示していないシャッターは、メカニカルシャッタであってもよく、また、撮像部（撮
像素子）１３の駆動タイミングにより光量を調節する、いわゆる電子シャッターであって
もよい。
撮像部１３（ここでは、撮像部１３が、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）に塗り分
けられたカラーフィルタを持ち画素数が２０４８×１５３６のＣＣＤ型イメージセンサで
あるものとして説明するが、撮像部１３は、画素数および方式が他のものである撮像素子
（例えば、ＣＭＯＳ型イメージセンサ）であっても当然良い。）上に結像された画像は、
アナログ画像信号に変換され、撮像部１３からアナログ信号処理部２に出力される。
【００５３】
撮像部１３から出力された画像信号は、アナログ信号処理部２の相関二重サンプリング
（ＣＤＳ）部２１により、サンプリングノイズが低減され、アナログ増幅（ＧＣＡ）部２
２により信号レベルが調整され、Ａ／Ｄ変換器２３によりディジタル画像信号（画像デー
タ）に変換される。Ａ／Ｄ変換器２３によりＡ／Ｄ変換された各画素データ（例えば「０
」〜「４０９５」の階調レベルを持つ１２ｂｉｔのディジタル信号）は、ディジタル画像
信号として、ディジタル信号処理部３の信号処理部３１に出力される。
【００５４】
アナログ信号処理部２から出力された画像信号（画像データ）は、図３に示すように、
信号処理部３１の第１信号処理部３１１に入力される。そして、第１信号処理部３１１に
入力された画像信号は、第１信号処理部３１１により、ダイナック・レンジ圧縮処理、画
素補間処理などの処理が実行され、第２信号処理部３１３および記憶部３２に出力される
。
【００５５】
記憶部３２に出力された画像信号（画像データ）は、制御部３４の指令に基づいて、距
離推定部３１２に出力される。そして、記憶部３２に、フラッシュ光ありの撮影環境下で
取得された画像データである画像データｂと、フラッシュ光なしの撮影環境下で取得され
た画像データである画像データａと、が記憶されており、画像データａおよび画像データ
ｂが距離推定部３１２に入力される場合について、以下、説明する。また、説明便宜のた
め、処理対象画素（注目画素）をｉ０とし、画像データａの注目画素ｉ０の反射率をＲ０
、照度をＣ０、フラッシュ光の距離−照度特性を決定する関数Ｂ（ｘ）（ｘは、撮像装置
１００から被写体までの距離情報）、注目画素ｉ０の距離情報をｘ０として、画素単位の
処理が実行される場合について説明する。
【００５６】
記憶部３２から出力された画像データａ（＝Ｒ０・Ｃ０）は、反射率推定部３１２２に
入力され、例えば、図６に示す特性に基づく視覚処理（詳細については後述）が実行され
ることで、反射率推定部３１２２により、照度ムラを除去された反射率Ｒ０が算出され、
算出された反射率Ｒ０が除算部３１２３に出力される。なお、反射率推定部３１２２では
、上記視覚処理を用いる方法以外に、注目が画素ｉ０（＝Ｉ（ｘ，ｙ））を、その周辺画
素の平均値Ｉａｖｇ（ｘ，ｙ）で除算することで、照度ムラが除去された反射率Ｒ０を算
出するようにしてもよい。
【００５７】
また、記憶部３２から出力された画像データｂ（＝Ｒ０・（Ｃ０＋Ｂ（ｘ０）））は、
減算部３１２１に入力され、減算部３１２１により、画像データａ（＝Ｒ０・Ｃ０）が減
算されることで、減算結果（フラッシュ光のみの画像データ）が算出され、算出された減
算結果データ（フラッシュ光のみの画像データ）（＝Ｒ０・Ｂ（ｘ０））が除算部３１２
３に出力される。
【００５８】
除算部３１２３では、減算部３１２１から出力された減算結果データ（フラッシュ光の
みの画像データ）を、反射率推定部３１２２から出力された反射率Ｒ０により除算するこ
とで、除算結果データＢ（ｘ０）が算出される。
除算部３１２３により算出された除算結果データＢ（ｘ０）は、逆関数処理部３１２４
に入力され、Ｂ−１（Ｂ（ｘ０））なる処理が実行され、注目画素ｉ０の距離情報ｘ０が
算出される。算出された距離情報ｘ０は、距離関連信号処理部３１４に出力される。
【００５９】
第１信号処理部３１１から出力された信号は、第２信号処理部に入力され、第２信号処
理部により、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処
理が実行され、距離関連信号処理部３１４に出力される。
距離関連信号処理部３１４により、第２信号処理部３１３から出力された画像信号（画
像データ）（注目画素ｉ０）は、距離推定部３１２から出力された距離情報ｘ０に基づい
て、奥行き感強調処理等の各種距離情報に基づいて処理が実行される。
【００６０】
信号処理部３１により上記のような種々の処理が行なわれた画像データ（画像信号）は
、記憶部３２に書き込まれ、コーデック部３３によりＪＰＥＧ圧縮処理等の符号化処理が
施され、制御部３４によりヘッダ情報を付加され、例えば、Ｅｘｉｆファイルフォーマッ
トの画像データ（画像信号）として、カードＩ／Ｆ２５を介して、メモリカード６等の記
録メディアに書き込まれる。なお、記憶部３２に書き込みデータは、コーデック部３３に
より符号化されたデータ（画像信号）であってもよい。また、Ｅｘｉｆファイルフォーマ
ットの画像データ（画像信号）の記録先は、上記に限定されることはなく、例えば、撮像
装置に内蔵されたＨＤＤ（ハード・ディスク・ドライブ）装置等であっても当然よい。
【００６１】
また、メモリカード６に書き込まれた画像データは、制御部３４の制御の元で表示部制
御部３５によりＬＣＤ表示装置等の表示部５に表示される。
《距離推定処理》
次に、図５から図６を用いて、撮像装置１００の距離推定処理について説明する。
図５は、撮像装置１００の距離推定処理についての動作を模式的に示した説明図である
。
【００６２】
撮像装置１００の距離推定処理は、以下の５ステップから成る。
（１）フラッシュ光有無の状態で被写体を撮影し、２枚の撮像画像（画像データ）を取得
する。
（２）取得された２枚の画像データの差分からフラッシュ光のみの画像データを作成する
。
（３）フラッシュ光無しの状態で撮影することにより取得された画像データ（画像データ
ａ）から照度ムラを除去して被写体反射率を推定する。
【００６３】
なお、フラッシュ光有りの画像データ、または、フラッシュ光のみの画像データ（差分
画像）に対して被写体反射率推定（照度ムラ除去）を行ってもよい。このうち、フラッシ
ュ光のみの画像データ（差分画像）を用いると、さらに精度が向上する（詳細後述）。
（４）フラッシュ光のみの画像データを、推定した被写体反射率で除算して被写体距離（
撮像装置１００から被写体までの３次元空間内の距離）を算出する。
（５）被写体距離に基づいて画像処理を行う。
【００６４】
以下、この５ステップの詳細を説明し、また、図５に示すように、物体０と人物１を仮
定して、被写体距離が算出される仕組みを説明する。ここで、物体０と人物１への照度を
それぞれＣ０、Ｃ１とし、反射率をそれぞれＲ０、Ｒ１とし、カメラからの距離をそれぞ
れｘ０、ｘ１とする。
また、フラッシュ光の照度は、距離が遠くなるほど減衰するが、これをフラッシュ光発
光部からの距離（この距離は撮像装置１００からの距離と同じ長さであるものとする。）
ｘの関数Ｂ（ｘ）で表す。
【００６５】
なお、本実施形態では、輝度に対して処理を行うが、各波長帯域での反射率の違いを考
慮して、ＲＧＢなど色別に処理を行うようにしてよい。
（ステップ１：フラッシュ光有無の状態による２枚の撮像画像の取得）
まず、撮像装置１００によりフラッシュ光無しの状態で撮影し、撮像画像を取得する。
フラッシュ光無しの状態で撮影された物体０と人物１の画像信号は、それぞれ、
物体０：Ｃ０・Ｒ０
人物１：Ｃ１・Ｒ１
となる。
【００６６】
次に、撮像装置１００によりフラッシュ光有りの状態で撮影し、撮像画像を取得する。
このとき、２回の撮影は連写にすることが好ましい。
なお、この際、被写界深度を変えないため撮像装置１００の絞り値は、フラッシュ光無
しの状態での撮影時と同じにするとよい。
また、フラッシュ光による被写体からの反射光が多量に撮像部（撮像素子）１３に入力
され、撮像部１３から出力される画像信号（画像データ）が飽和しないように、フラッシ
ュ発光部４から発光されるフラッシュ光の光量が適度な光量となるように、フラッシュ発
光制御部３７によりフラッシュ光の発光強度を調整するとよい。
【００６７】
さらに、フラッシュ発光強度を調整する代わりに、撮像装置１００のシャッター時間を
短くして撮影するようにしてもよい。この際、ステップ２で、フラッシュ光有無の画像の
２枚の画像に対して減算処理を行う際に、シャッター時間を短くした分の露出あわせ用の
ゲイン乗算が必要となることは言うまでもない。以下では、撮像装置１００において、シ
ャッター時間を変えた場合の計算式は省略している。
【００６８】
フラッシュ光ありの状態で撮影された物体０と人物１の画像信号はそれぞれ、
物体０：（Ｃ０＋Ｂ（ｘ０））・Ｒ０
人物１：（Ｃ１＋Ｂ（ｘ１））・Ｒ１
となる。
なお、ステップ１では、撮影された２枚の画像は、記憶部３２に保存することを想定し
ているが、メモリカード６等の記録メディアに保存し、ステップ２〜ステップ５の各処理
を画像再生時に行うようにしてもよい。
【００６９】
（ステップ２：取得された２枚の画像データの差分からフラッシュ光のみの画像データ
を作成）
次に、フラッシュ光有りの状態で撮影された画像データｂからフラッシュ光無しの状態
で撮影された画像データａを減算し、フラッシュ光のみの画像データを取得する。
このとき、物体０と人物１のフラッシュ光のみの画像信号（画像データ）はそれぞれ、
物体０：Ｂ（ｘ０）・Ｒ０
人物１：Ｂ（ｘ１）・Ｒ１
となる。
【００７０】
なお、手ぶれや被写体ぶれによる被写体の位置ずれを防ぐため、撮像装置１００により
撮影された２枚の画像データに対し、位置あわせ処理を行ってから上記減算処理を行うよ
うにしてもよい。
（ステップ３：フラッシュ光無しの状態で取得された画像データから照度ムラを除去し
て被写体反射率を推定）
次に、フラッシュ光無しの状態で取得した画像データａから照度ムラを除去して被写体
反射率を推定する２通りの方法を説明する。
【００７１】
（ステップ３．１：第一の方法）
まず、第一の方法は、特開２００６−０２４１７６号公報に開示されている視覚処理装
置を応用する方法である。
上記視覚処理装置は、入力された各画素の輝度を、その周辺平均輝度に応じて異なる入
出力特性を有する変換により、変換した輝度を出力輝度として出力する。上記視覚処理装
置では、この変換の入出力特性を様々に変えることにより、局所コントラストを維持した
階調変換（ダイナミックレンジ圧縮、暗部補正など）、局所コントラスト強調などが可能
となる。
【００７２】
ここで、周辺平均輝度とは、処理対象である着目画素を中心とした、例えば４００ｘ２
４０程度（画像サイズ１９２０ｘ１０８０の場合）の領域の輝度平均値の概念であり、領
域とは、矩形領域・円形領域・楕円形領域などであり、また、輝度平均値とは、単純平均
値・加重平均値などを含む。
第一の方法は、この入出力特性を図６に示す特性とし、照度ムラを除去する方法である
。そして、この第一の方法は、撮像装置１００の反射率推定部３１２２により実行される
。
【００７３】
本来、画素値は照度と反射率の積であり、分離不可能（不可逆）であるが、照度は空間
的になだらかに変化するものであるから、撮像装置１００では、照度は周辺平均輝度とほ
ぼ同一であるとみなし、周辺平均輝度を均一化する変換を行うことで、照度が均一化され
た状況に相当する画像を生成する。照度が画像内の全空間位置で同一であれば、画像デー
タは反射率に比例したものとなる。これにより、入力画像のから照度ムラを除去すること
で、本来分離不可能である反射率を分離・算出することが可能となる。
【００７４】
図６は、本実施形態における照度ムラを除去する処理の入出力特性を示す図である。
この入出力特性は、周辺平均輝度により異なる複数の階調変換曲線により実現される。
曲線５１は周辺平均輝度が最暗時の変換曲線、曲線５２は周辺平均輝度が最明時の変換曲
線を指し、その間の曲線は、曲線５１に近いほど周辺平均輝度が低く、曲線５２に近いほ
ど周辺平均輝度が高い場合に選択される変換曲線である。
【００７５】
なお、上記入出力特性は、回路で実現してもよいが、回路規模削減のため、注目画素の
入力輝度と、その周辺平均輝度を入力とする、２次元のルックアップテーブルで構成して
もよい。
そして、太線５３は各変換曲線において、注目画素の入力輝度がその周辺平均輝度に一
致する点の出力輝度をプロットしてつないだ曲線であり、これは画像上において階調変化
のない（輝度に変化のない）大きな面積の領域の輝度が、どのように変換されるかを表し
ている。
【００７６】
図６に示す特性は、太線が常に一定の輝度に変換されるような特性となっているため、
照度が低い領域（周辺平均輝度：低）は明るくなり、逆に、照度が高い領域（周辺平均輝
度：高）は暗くなり、画像内の各領域の周辺平均輝度が常に一定となるよう、入力輝度が
変換される。
これにより、画像内の全空間位置における照度が均一化された（照度ムラが除去された
）画像が生成される。
【００７７】
なお、上述の方法では、一定の輝度としたが、可変範囲を設け、一定範囲内の輝度とし
ても良い。この場合、変換後の輝度のとり得る範囲（変換後の輝度のダイナミックレンジ
）内の中心値から±３０％（変換後輝度のダイナミックレンジの±３０％）程度が好まし
い。
これにより、物体０、人物１の画像信号
物体０：Ｃ０・Ｒ０
人物１：Ｃ１・Ｒ１
は、均一照明下の状況の画像信号に変換され、その照度Ｃとすれば、
物体０：Ｃ・Ｒ０
人物１：Ｃ・Ｒ１
と変換される。以下、説明を簡素化するため、これらを単に、
物体０：Ｒ０
人物１：Ｒ１
と表記し、説明する。
【００７８】
（ステップ３．２：第二の方法）
次に、第二の方法は、国際公開番号Ｗ０９７／４５８０９（日本：特表２０００−５１
１３１５）公表特許公報に開示されているディジタル画像を改善する方法を用いる方法で
ある。
上記公報では、シーン全体に亘って全ての種類およびレベルの照明で、画像が人間の視
覚によって知覚されるのと同様に見えるよう、ディジタル画像を改善する方法が開示され
ている。具体的には、ＤＳ（ｘ，ｙ）を光源の照明の空間分布とし、ＤＲ（ｘ，ｙ）をシ
ーンの反射の分布とすると、観測される強度値Ｉ（ｘ，ｙ）は、
Ｉ（ｘ，ｙ）＝ＤＳ（ｘ，ｙ）・ＤＲ（ｘ，ｙ）
である。
【００７９】
関連するレティネックス出力Ｒ（ｘ，ｙ）は、また、下付文字「ａｖｇ」は各項の空間
的に重み付けされた平均値を示すとすると、
Ｒ（ｘ，ｙ）＝ｌｏｇ｛ＤＳ（ｘ，ｙ）・ＤＲ（ｘ，ｙ）／ＤＳａｖｇ（ｘ，ｙ）・
ＤＲａｖｇ（ｘ，ｙ）｝ （式１）
と書くことができる。ＤＳ＝ＤＳａｖｇであるかぎり、空間的照明の寄与は、打ち消しあ
う。これが厳密に成り立たない場合でも、反射率関数ｌｏｇ（ＤＳ／ＤＳａｖｇ）は、照
明変化を支配するはずである。上述の考察は、画像の各スペクトル帯域に対して成り立つ
。
【００８０】
第二の方法は、上記ディジタル画像を改善する方法を用いる方法である。
画像信号Ｉ（ｘ，ｙ）（注目画素ｉ０に対応）に対して、その周辺画素の画素値の平均
値Ｉａｖｇ（ｘ，ｙ）で除算すると、出力画像信号Ｉｏｕｔ（ｘ，ｙ）は、
Ｉｏｕｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｉａｖｇ（ｘ，ｙ）
＝ＤＳ（ｘ，ｙ）・ＤＲ（ｘ，ｙ）／ＤＳａｖｇ（ｘ，ｙ）・ＤＲａｖｇ（ｘ，ｙ
）
であり、通常、照明の空間的な変化は、なだらかであるため、ＤＳ≒ＤＳａｖｇであり、
Ｉｏｕｔ（ｘ，ｙ）≒ＤＲ（ｘ，ｙ）／ＤＲａｖｇ（ｘ，ｙ）
となる。つまり、これは、（数式１）において、ＤＳ＝ＤＳａｖｇの場合と同じ（近似）
となり、空間的照明の寄与、すなわち、照度ムラが除去され、反射率が求められたことを
意味する。
【００８１】
すなわち、反射率推定部３１２２により、画像信号Ｉ（ｘ，ｙ）を、その周辺画素平均
Ｉａｖｇ（ｘ，ｙ）で除算することで、照度ムラが除去された反射率Ｒ０を算出すること
ができる。
よって、第二の方法を用いることで、物体０および人物１の画像信号
物体０：Ｃ０・Ｒ０
人物１：Ｃ１・Ｒ１
は、均一照明下の状況の画像信号に変換され、その照度Ｃとすれば、
物体０：Ｃ・Ｒ０
人物１：Ｃ・Ｒ１
と変換される。以下、説明を簡素化するため、第一の方法同様、これらを単に、
物体０：Ｒ０
人物１：Ｒ１
と表記し、説明する。
【００８２】
尚、第二の方法の説明としては、周囲領域の画素平均を算出することとしたが、これに
限定されることはなく、重み付け平均、または、中央値等、照度の影響がほぼ同じとされ
る領域の代表値として導出されるものであればよい。
また、上述の例では、着目画素値を周囲の画素値の平均値で除算することとしたが、こ
れに限定されることはなく、ｘ、ｙ位置における取得された輝度を、上記代表値により相
対的に比較した値であれば、ｘ、ｙ位置における反射率として仮定できる。
【００８３】
また、上述の方法以外にも、照度ムラの影響を除去するために、取得された画像データ
をそのまま反射率とするのではなく、画像データから照度ムラの影響が略同一である領域
に合わせて座標位置毎の反射率を導出できる方法を用いることも可能である。
たとえば、画像データ中から、遮蔽物等により発生したと暗い領域と（第１の領域）と
、明るい領域（第２領域）とを抽出し、ｘ、ｙ位置がどちらの領域に属するかにより算出
式、算出領域を変える方法を用いてもよい。
【００８４】
（ステップ４：フラッシュ光のみの画像データを、推定した被写体反射率で除算して被
写体距離を算出）
次に、得られた各画素の被写体反射率により、フラッシュ光のみの画像データを除算す
る。この際、「０」での除算を防ぐため、被写体反射率を正の小さい値でクリップ処理が
行なわれる。
【００８５】
これにより、フラッシュ光のみの画像データ、
物体０：Ｂ（ｘ０）・Ｒ０
人物１：Ｂ（ｘ１）・Ｒ１
は、被写体反射率
物体０：Ｒ０
人物１：Ｒ１
で除算され、物体０および人物１についての除算処理結果データ
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
が取得される。
【００８６】
さらに、物体０および人物１の除算処理結果データＢ（ｘ０）およびＢ（ｘ１）に対し
て、関数Ｂの逆関数による処理、つまり、
物体０：Ｂ−１（Ｂ（ｘ０））＝ｘ０
人物１：Ｂ−１（Ｂ（ｘ１））＝ｘ１
なる処理を行うことで、物体０および人物１の被写体距離（被写体距離情報）ｘ０および
ｘ１が算出される。なお、Ｂの逆関数は、フラッシュ発光部４から発光されるフラッシュ
光の特性から実験により求めることができる。
【００８７】
なお、Ｂ（ｘ０）およびＢ（ｘ１）は、距離（被写体と撮像装置１００との距離）が遠
くなるほど減衰する値であるため、撮像装置１００において、これらの値を用いて、ステ
ップ５以降の画像処理を行うようにしてもよい。
（ステップ３にて、「フラッシュ光のみ」の画像データ（差分画像）から被写体反射率を
推定し、ステップ４にて、除算処理して距離を算出した場合）
前述した、フラッシュ光のみの画像データ（差分画像）から被写体反射率を推定した場
合に精度が向上することを、ここで説明する。
【００８８】
反射の種類には、鏡面反射、拡散反射などがあり、一般に、多くの物体表面はざらざら
しているため、拡散反射成分が多く含まれる。このため、より高精度に距離を推定するた
めには、拡散反射を考慮することが必要である。
拡散反射では、あらゆる方向に同じ強度で反射する。また、その拡散反射光強度は、入
射光ベクトルＣ（大きさＣ）と反射面の法線ベクトルｎ（単位ベクトル）の内積に、反射
面の反射率Ｒを乗じた、
で表される（ランバートの余弦則：Ｌａｍｂｅｒｔ’ｓ ｃｏｓｉｎｅ ｌａｗ）。ここ
で、φは入射光ベクトルと反射面の法線ベクトルのなす角である。
【００８９】
これは、ｃｏｓφの分だけ反射光が減衰することを意味し、この拡散反射の影響を考慮
しないと、距離精度が低下する。
以下、画像データａまたはｂから被写体反射率を推定した場合に距離精度が低下する理
由と、フラッシュ光のみの画像データから被写体反射率を推定した場合は距離精度が低下
しない理由を、図７および図８を用いて説明する。
【００９０】
図７は、拡散反射を考慮した場合の外光およびフラッシュ光の反射光について説明する
ための説明図である。
図７（ａ）に、外光の入射角（＝外光の照射方向と被写体反射面の法線のなす角）が０
°以上の場合を示す。ここで、物体０、人物１への外光の入射角をそれぞれφ０、φ１と
すると、物体０、人物１についての外光反射光（拡散反射光）の画像信号は、
物体０の外光反射光：Ｃ０・Ｒ０・ｃｏｓ（φ０）
人物１の外光反射光：Ｃ１・Ｒ１・ｃｏｓ（φ１）
と表される。
【００９１】
図７（ｂ）に、フラッシュ光の入射角（＝フラッシュ光の照射方向と被写体反射面の法
線のなす角）が０°以上の場合を示す。ここで、物体０、人物１へのフラッシュ光の入射
角をそれぞれθ０、θ１とすると、物体０、人物１についてのフラッシュ反射光の画像信
号は、
物体０のフラッシュ反射光：Ｂ（ｘ０）・Ｒ０・ｃｏｓ（θ０）
人物１のフラッシュ反射光：Ｂ（ｘ１）・Ｒ１・ｃｏｓ（θ１）
と表される。
【００９２】
これらより、図８に示すように、画像データａの画像信号は、
物体０：Ｃ０・Ｒ０・ｃｏｓ（φ０）
人物１：Ｃ１・Ｒ１・ｃｏｓ（φ１）
画像データｂの画像信号は、
物体０：Ｃ０・Ｒ０・ｃｏｓ（φ０）＋Ｂ（ｘ０）・Ｒ０・ｃｏｓ（θ０）
人物１：Ｃ１・Ｒ１・ｃｏｓ（φ１）＋Ｂ（ｘ１）・Ｒ１・ｃｏｓ（θ１）
フラッシュ光のみの画像データ（＝画像データｂ−画像データａ）は、
物体０：Ｂ（ｘ０）・Ｒ０・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１・ｃｏｓ（θ１）
と表される。
【００９３】
次に、画像データａまたはｂから距離算出した場合に精度が低下する理由を説明する。
まず、画像データａに対して照度ムラ除去（詳細は後述）を行った場合、照度Ｃ０，Ｃ
１の項が打ち消され、推定反射率は、
物体０：Ｒ０・ｃｏｓ（φ０）
人物１：Ｒ１・ｃｏｓ（φ１）
となる。このため、除算処理により得られる距離情報は、
物体０：Ｂ（ｘ０）・ｃｏｓ（θ０）／ｃｏｓ（φ０）
人物１：Ｂ（ｘ１）・ｃｏｓ（θ１）／ｃｏｓ（φ１）
となり、外光およびフラッシュ光の入射角の違いの影響が残ってしまうため、距離精度が
低下する。
【００９４】
次に、画像データｂに対して照度ムラ除去を行った場合、照度Ｃ０，Ｃ１、Ｂ（ｘ０）
、Ｂ（ｘ１）の項が打ち消され、推定反射率は、
物体０：Ｒ０（ｃｏｓ（φ０）＋ｃｏｓ（θ０））
人物１：Ｒ１（ｃｏｓ（φ１）＋ｃｏｓ（θ１））
となる。このため、除算処理により得られる距離情報は、
物体０：Ｂ（ｘ０）・ｃｏｓ（θ０）／（ｃｏｓ（φ０）＋ｃｏｓ（θ０））
人物１：Ｂ（ｘ１）・ｃｏｓ（θ１）／（ｃｏｓ（φ１）＋ｃｏｓ（θ１））
となり、同様に、外光およびフラッシュ光の入射角の違いの影響が残ってしまうため、距
離精度が低下する。
【００９５】
一方、フラッシュ光のみの画像データに対して照度ムラ除去を行った場合、照度Ｂ（ｘ
０）、Ｂ（ｘ１）の項が打ち消され、推定反射率は、
物体０：Ｒ０・ｃｏｓ（θ０）
人物１：Ｒ１・ｃｏｓ（θ１）
となる。このため、除算処理により得られる距離情報は、
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
となり、外光およびフラッシュ光の入射角の違いの影響が打ち消され、距離精度が低下し
ない。
【００９６】
このように、撮像装置１００において、フラッシュ光のみの画像データから被写体反射
率を求めた場合、外光およびフラッシュ光の入射角の違いの影響が打ち消されるため、よ
り高精度に被写体距離を推定することが可能となる。
（ステップ３にて、「赤外光のみ」の画像データ（差分画像）から被写体反射率を推定し
、ステップ４にて、除算処理して距離を算出した場合）
なお、照明に赤外光を用いる場合にも、同様に、赤外光照明のみの画像データから反射
率を推定することが望ましい。
【００９７】
特には、赤外光は可視光ではないため発光のＯＮ／ＯＦＦが人に知覚されないことであ
る。他にも３つの利点がある。
第一の利点は、上記同様、拡散反射を考慮して高精度に距離推定を行うことが可能なこ
とである。理由は、上記で説明したのと同一であるので省略する。これにより、高精度な
距離推定が可能となる。
【００９８】
第二の利点は、可視光と赤外光の帯域での反射率の違いの影響を受けないことである。
これまで、反射率は全て定数扱いで記載してきたが、本来、反射率Ｒは波長λごとに異な
るため、Ｒ（λ）と表記するのが正しい。特に、照明光に赤外光を用いる場合には、波長
による反射率の違いを考慮する必要がある。この理由を説明する。
まず、画像データａから反射率推定を行った場合の精度低下原因を説明する。
【００９９】
物体０および人物１の可視光の反射率をＲ０（λ）、Ｒ１（λ）、赤外の反射率をそれ
ぞれＲ０（λ’）、Ｒ１（λ’）とすると、
画像データａ（可視光成分）は、
物体０：Ｃ０・Ｒ０（λ）・ｃｏｓ（φ０）
人物１：Ｃ１・Ｒ１（λ）・ｃｏｓ（φ１）
と表され、これに対して照度ムラ除去を行った場合、照度Ｃ０、Ｃ１の項が打ち消され、
推定反射率は、
物体０：Ｒ０（λ）・ｃｏｓ（φ０）
人物１：Ｒ１（λ）・ｃｏｓ（φ１）
となる。
【０１００】
ここで、赤外光のみの画像データ（＝画像データｂ−画像データａ）は、赤外光の帯域
での反射のため、
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
であるから、これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：（Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０））／（Ｒ０（λ）・ｃｏｓ（φ
０））
人物１：（Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１））／（Ｒ１（λ）・ｃｏｓ（φ
１））
となり、可視光と赤外光の帯域での反射率の違いにより、反射率の項が消去できず、距離
精度が低下する。これは画像データｂに対しても同様で、反射率の項が消去できない。
【０１０１】
一方、赤外光のみの画像データ
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
に対して照度ムラ除去を行った場合、照度Ｂ（ｘ０）、Ｂ（ｘ１）の項が打ち消され、推
定反射率は、
物体０：Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｒ１（λ’）・ｃｏｓ（θ１）
となる。これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
となり、可視光と赤外光の波長による反射率の違いの影響を受けず、高精度な距離の算出
が可能となる。
【０１０２】
第三の利点は、赤外光に遠赤外線等を用いた場合に、被写体の発熱による赤外放射の影
響を受けにくいことである。
一般に、サーモグラフィなどでよく知られているが、被写体は発熱により遠赤外を放射
しており、この被写体発熱成分が加算された画像データａまたは画像データｂからでは反
射率を正しく算出できず、距離精度が落ちてしまう。この点を図９を用いて説明する。
【０１０３】
物体０および人物１の遠赤外放射によるオフセット成分をそれぞれＦ０、Ｆ１とする。
このとき、画像データａの画像信号（赤外成分）は、
物体０：Ｃ０・Ｒ０（λ’）・ｃｏｓ（φ０）＋Ｆ０
人物１：Ｃ１・Ｒ１（λ’）・ｃｏｓ（φ１）＋Ｆ１
画像データｂの画像信号（赤外成分）は、
物体０：Ｃ０・Ｒ０（λ’）・ｃｏｓ（φ０）
＋Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）＋Ｆ０
人物１：Ｃ１・Ｒ１（λ’）・ｃｏｓ（φ１）
＋Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）＋Ｆ１
赤外光のみの画像データ（＝画像データｂ−画像データａ）は、
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
と表される。
【０１０４】
ここで、画像データａに対して照度ムラ除去を行った場合、照度Ｃ０、Ｃ１が除去され
るため、推定反射率は、
物体０：Ｒ０（λ’）・ｃｏｓ（φ０）＋Ｆ０
人物１：Ｒ１（λ’）・ｃｏｓ（φ１）＋Ｆ１
となる。
【０１０５】
これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：（Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０））
／（Ｒ０（λ’）・ｃｏｓ（φ０）＋Ｆ０）
人物１：（Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１））
／（Ｒ１（λ’）・ｃｏｓ（φ１）＋Ｆ１）
となり、遠赤外放射によるオフセットの影響で、距離精度が低下する。これは画像データ
ｂに対しても同様である。
【０１０６】
一方、遠赤外放射によるオフセットが減算により消去された赤外光のみの画像データ
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
に対して照度ムラ除去を行った場合、照度Ｂ（ｘ０）、Ｂ（ｘ１）の項が打ち消され、推
定反射率は、
物体０：Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｒ１（λ’）・ｃｏｓ（θ１）
となる。これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
となり、遠赤外放射によるオフセットの影響を受けることなく、高精度な距離推定が可能
となる。
【０１０７】
以上３つの利点を有するため、図８および図９に示すように、赤外光照明のみの画像デ
ータを用いて被写体反射率を推定する処理（反射率推定処理）を行うことが好ましい。
なお、ステップ３において、フラッシュ光のみの画像データから被写体反射率を推定し
た場合、最終的に算出される距離データは、フラッシュ光のみの画像データを空間的にぼ
かした値、すなわち、周辺画素平均値に近い値となる場合がある。フラッシュ光のみの画
像データをＩ（ｘ，ｙ）、その画像データの周辺画素平均値をＩａｖｅ（ｘ，ｙ）とする
と、上記ステップ３．２の第二の方法を用いた場合、推定反射率Ｒ（ｘ，ｙ）は、
Ｒ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｉａｖｅ（ｘ，ｙ）
と求められる。したがって、ステップ４で算出される除算データＢは、
Ｂ＝Ｉ（ｘ，ｙ）／Ｒ（ｘ，ｙ）＝Ｉａｖｅ（ｘ，ｙ）
となる。すなわち、撮像装置１００において、フラッシュ光のみの画像データを空間的に
ぼかして取得した画像データを距離推定値としてもよい。
【０１０８】
（ステップ５：被写体距離に基づいて画像処理を行う）
ここでは、被写体距離に基づいた画像処理として、２つの例を説明する。
まず、ぼけ感を強調する画像処理を説明する。具体的には、画像上の背景を、被写体距
離を用いてぼかすため、注目画素について算出された距離（距離情報）が遠いことを示す
値である程、注目画素に対してローパスフィルタのフィルタサイズを大きくして、注目画
素に対する処理が実行される。
【０１０９】
最大フィルタサイズＦＭＡＸ、最大距離ｘＭＡＸを設定し、距離ｘに応じてフィルタサ
イズＦ（ｘ）を以下の式で求める。
Ｆ（ｘ）＝ＦＭＡＸ・｛ＭＩＮ（ｘ，ｘＭＡＸ）／ｘＭＡＸ｝
次に、各画素に対しフィルタサイズＦ（ｘ）のローパスフィルタ処理を行う。このよう
な処理を撮像装置１００により実行することで、距離が遠い画素ほどぼけた画像（画像デ
ータ）を取得することができる。
【０１１０】
なお、ローパスフィルタ処理では、レンズによるぼけ感とは、かなり異なるため、撮像
装置１００において、一般の、レンズによるぼけ感をエミュレートするような処理を距離
に応じて行うようにしてもよい。
次に、フラッシュ光を届かせる効果（視覚的にフラッシュ光が届かない領域にフラッシ
ュ光が届いているように感じさせる効果）を持つ画像処理について説明する。
【０１１１】
具体的には、フラッシュ光有りの状態で取得した画像（画像データ）の背景（背景領域
）を、被写体距離（距離情報）を用いて明るくするため、撮像装置１００により取得され
た距離（距離情報）を用いて、距離がある閾値以上の領域（画像上の領域）をフラッシュ
光が届かない領域と判断する。そして、このフラッシュ光が届かないと判断された領域に
含まれる画素の輝度に、ゲインを乗算する、または、オフセットを加算する等の処理を施
すことにより、当該画素の輝度を高い値に変換することで、このフラッシュ光が届かない
と判断された領域の明るさを明るくする。
【０１１２】
上記２つの例で説明した処理は、例えば、撮像装置１００の距離関連信号処理部３１４
により実現される。
なお、撮像装置１００において、この他、ぼけ感強調、フラッシュ光を届かせる効果以
外にも、よく知られる距離に応じた様々な処理を、撮像装置１００で算出された距離情報
を用いて実現させることが可能である。
【０１１３】
例えば、撮像装置１００で算出された距離情報を用いることで、オブジェクト抽出処理
（人物等の切出）の高精度化が可能となる。従来、２次元画像のみでは、エッジや色情報
等のみでしかオブジェクトの境界を判断できず、抽出精度が低かった。撮像装置１００で
算出された距離情報を用いることで、より高精度にオブジェクト抽出が可能となる。これ
により、例えば、高画質化処理（ぼけ感創出処理、エッジ強調処理、ノイズ除去処理、記
憶色補正、階調補正、ホワイトバランス調整）、画像合成処理（クロマキー）、物体追尾
処理、動作認識／解析などをより高精度に行うことが可能となる。
【０１１４】
また、撮像装置１００で算出された距離情報を用いることで、画像認識処理の高精度化
が可能となる。距離情報によりオブジェクトの凹凸を考慮し、画像特徴量を３次元化する
ことで、認識精度が向上する。これにより、顔検出／顔認識、顔の向き検出、赤目補正処
理、立体感補正処理、画像傾き補正処理などの精度を向上できる。
また、撮像装置１００で算出された距離情報を、多視点画像符号化ＭＶＣ（Ｍｕｌｔｉ
Ｖｉｅｗ Ｃｏｄｉｎｇ）に適用することも可能である。従来、複数視点画像の符号化
には、レンダリング処理等の処理量が多く、実用化が難しかった。撮像装置１００で算出
された距離情報を用いることで、このレンダリング処理を高速に行うことが可能となる。
【０１１５】
また、撮像装置１００で算出された距離情報により、画像中の物体の大きさを測定可能
となる。これにより、建築や土木の分野に利用できる。
さらに、撮像装置１００で算出された距離情報を用いることで、自然画像にＣＧ画像な
どを合成するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）処理の高精度化も可能である。つまり
、撮像装置１００で算出された距離情報を用いることで、ＭＲ処理においても、合成位置
の距離に合わせて、ＣＧ物体を適切な大きさで合成可能となり、より自然なＭＲ処理が可
能となる。
【０１１６】
以上のように、本発明の撮像装置１００では、照度ムラを除去し、高精度に被写体反射
率を推定することにより、各画素に対応する被写体と撮像装置との３次元空間内での距離
（距離情報）を高精度に推定することができる。さらに、本発明の撮像装置１００では、
高精度に推定された距離情報を用いて高精度な画像処理を実現させることができる。
なお、撮像装置１００による具体的な処理データの一例を図１０に示す。符号８１によ
り示す画像データがフラッシュ発光無しの状態で取得された画像データａであり、符号８
２により示す画像データがフラッシュ発光ありの状態で取得された画像データｂである。
そして、画像データｂから画像データａを減算して求められたフラッシュ光のみの画像デ
ータが符号８４で示す画像データであり、画像データａから照度ムラを除去した画像デー
タが符号８３で示す画像データ（反射率推定値画像データ）である。そして、フラッシュ
光のみ画像データ８４を反射率推定値画像データ８３で除算処理した結果が、符号８５で
示す除算処理結果画像データである。
【０１１７】
図１０から分かるように、この撮像装置１００により、画像データａおよび画像データ
ｂから、距離情報を精度よく表した距離推定値画像データ８５を取得することができる。
なお、符号８６で示す画像データは、例えば特許文献１のように、照度ムラの除去を行
わなかった場合の除算処理結果画像データ（距離推定値画像データ）である。このように
、照度ムラがあった場合に、その除去を行わないと、同じ距離にある物体が異なる距離に
あるものとされ、距離推定を誤ってしまう場合がある。
【０１１８】
（変形例）
なお、信号処理部３１を、図３に示すように、信号処理部３１’に置換した構成として
もよい。つまり、信号処理部３１’を、第１信号処理部３１１から出力される画像信号（
画像データ）を画像データｂとして、距離推定部３１２に入力するような構成にする。こ
のような構成にすることで、フラッシュ発光なしの状態で行う撮影を明示的に行う必要が
なくなり、撮像装置１００のシャッターボタン（不図示）を押す直前のビューファインダ
ーに表示しているライブビュー画像に相当する画像データが画像データｂとして、距離推
定部３１２に入力され、撮像装置１００により、上記同様の処理が実行されることで、距
離情報を算出（推定）することができる。
【０１１９】
また、これにより、フラッシュ発光なしの状態で取得される撮影画像（つまり、シャッ
ターボタンを押す直前のビューファインダーに表示しているライブビュー画像）と、フラ
ッシュ発光して撮影した画像の撮影時刻の差を少なくすることができるため、被写体が動
くことによる悪影響を少なくすることができる。
【０１２０】
［他の実施形態］
上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置に
より個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良
い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スー
パーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実
現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐ
ｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設
定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１２１】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化
の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バ
イオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアに
より実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現し
ても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処
理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態にお
いては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の
詳細については省略している。
【０１２２】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨
を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１２３】
本発明に係る撮像装置、撮像方法、プログラム、記録媒体、および集積回路は、撮影さ
れた画像の各画素の被写体までの距離を照明を用いて推定する場合において、周辺平均輝
度により異なる入出力特性を有する変換により照度ムラを除去して被写体反射率を推定す
ることにより、高精度に被写体までの距離を推定することができ、かつ、簡単な構成によ
り実現することができるため、コンパクトディジタルカメラやビデオカメラなどに利用可
能である。
【図面の簡単な説明】
【０１２４】
【図１】本発明の第１実施形態に係る撮像装置１００の概略構成図
【図２】本発明の第１実施形態に係る信号処理部３１および記憶部３２の概略構成図
【図３】本発明の第１実施形態の変形例に係る信号処理部３１’および記憶部３２の概略構成図
【図４】本発明の第１実施形態に係る距離推定部３１２の概略構成図
【図５】本発明の第１実施形態に係る撮像装置１００の距離推定処理についての動作を模式的に示した説明図
【図６】本発明の第１実施形態に係る撮像装置１００における照度ムラを除去する処理の入出力特性を示す図
【図７】拡散反射を考慮した場合の外光およびフラッシュ光の反射光について説明するための説明図
【図８】本発明の第１実施形態に係る撮像装置１００の距離推定処理についての、拡散反射を考慮した場合の動作を模式的に示した説明図
【図９】本発明の第１実施形態に係る撮像装置１００の距離推定処理についての、被写体発熱による赤外放射を考慮した場合の動作を模式的に示した説明図
【図１０】本発明の第１実施形態に係る撮像装置１００による具体的な処理データの一例
【図１１】照度ムラがある状態を説明するための説明図
【符号の説明】
【０１２５】
１００ 撮像装置
３１２ 距離推定部
２ アナログ信号処理部
３ ディジタル信号処理部
４ フラッシュ発光部
３１、３１’ 信号処理部
３２ 記憶部
３３ コーデック部
３４ 制御部
３１１ 第１信号処理部
３１３ 第２信号処理部
３１４ 距離関連信号処理部
５１ 周辺平均輝度が最暗時の変換曲線
５２ 周辺平均輝度が最明時の変換曲線
５３ 各変換曲線において、入力輝度がその周辺平均輝度に一致する点をつないだ曲線
【技術分野】
【０００１】
本発明は、撮影された画像の各画素の距離情報（画素に対応する被写体と撮影点（カメ
ラの設置位置）との３次元空間内での距離）を、照明を用いて推定する撮像装置、撮像方
法、プログラム、記録媒体、および集積回路に関する。
【背景技術】
【０００２】
ディジタル一眼レフカメラの普及に伴い、シャッター時間を短くし、絞りを開いて被写
界深度を浅くして背景をぼかすなど、距離感を活かした写真表現が普及してきている。し
かしながら、コンパクトディジタルカメラやビデオカメラなどではレンズの大きさの制約
などにより、距離感を活かした写真表現が十分にできていない。そのため、距離を簡単に
測定できる技術があれば、測定された距離に基づいてレンズによるぼけ感をエミュレート
することにより、コンパクトディジタルカメラやビデオカメラなどでも一眼レフ並みのぼ
け感を作り出すことなどが可能となる。
【０００３】
そのため、距離（距離情報）を簡単に測定できるカメラのニーズは高い。また、この他
にも、距離情報を用いることで、さまざまな応用技術（アプリケーション）を実現するこ
とができる。
従来、距離を測定する技術として、複数のカメラを用いて距離を推定する技術（ステレ
オカメラ方式）がよく知られている。被写体を２台のカメラで撮影し、撮影された２枚の
画像における、被写体の各点のずれ（視差）から、３点測距の原理で距離を算出するもの
である。
【０００４】
しかしながら、ステレオカメラ方式は、複数のレンズが必要であり、さらにそれらをあ
る程度離れた間隔で設置する必要があるため、コンパクトカメラにステレオカメラ方式を
適用するのは現実的ではない。
また、距離を測定する技術として、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式も良
く知られている。これは、赤外線などの光を撮像装置から被写体に照射し、その光が戻っ
てくるまでの時間を計測して、撮像装置から撮像画像上の各画素に対応する被写体までの
距離（撮像装置と被写体との３次元空間内の距離）を測定するものである。
【０００５】
しかしながら、ＴＯＦ方式は、赤外線ＬＥＤや特殊ＣＣＤなどの専用機器が必要となり
、光波測距方式を用いた装置は比較的大規模になるため、同様に、小型・軽量を売りにす
るコンパクトカメラに、ＴＯＦ方式を適用することも、現実的ではない。
そこで、ほぼ全てのカメラ（撮像装置）に付属しているフラッシュ光発光装置を用いて
、被写体までの距離を推定する技術がある（例えば、特許文献１参照）。
【０００６】
特許文献１に開示されている従来の撮像装置（画像処理装置）では、フラッシュ光の距
離減衰特性を用いて、撮影された画像の各画素の被写体までの距離を推定する。フラッシ
ュ発光有無の２枚の撮像画像の差分からフラッシュ光のみの画像（距離の２乗に反比例し
て減衰）を算出し、これを撮像画像上の被写体の各画素の反射率推定値で除算して、被写
体距離推定値を得る。ただし、反射率推定値は、フラッシュ光無しの撮像画像に対して、
画素値０の部分を画素値１で置き換えた画像の画素値である。（ゼロ除算回避のみ）
【特許文献１】特開２００１−３５２４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の撮像装置では、フラッシュ光無しの撮像画像の画素値をその
ままを被写体反射率とみなしており、撮像画像内の照度ムラ（空間的な照度のバラツキ、
詳細下記）、すなわち、撮像画像上の各画素位置に対応する３次元空間内での実際の被写
体の照度の違いが考慮されていない。撮影画像内の全空間位置で照度が均一であれば、撮
影画像の各画素値（＝照度×反射率）は反射率に比例した値となるが、通常、各空間位置
で照度は異なり（照度ムラがあり）、その分だけ画素値も変化している。すなわち、フラ
ッシュ光無しの撮像画像の画素値は、反射率とは等しくない。よって、上記従来の撮像装
置では、被写体の反射率推定値の精度が低かったため、推定された被写体距離の精度が低
かった。
【０００８】
ここで、「照度ムラ」がある状態とは、距離による照明光の減衰や、影などの影響によ
り、各画素位置（撮像画像上の各画素位置に対応する被写体の３次元空間内の位置）にお
いて照度が異なる状態であることをいう。例えば、図１１（ａ）に示すように、照明ＬＳ
（照明ＬＳからの照明光は距離に比例して減衰するものとする。）、物体Ａ、および物体
Ｂ（撮像装置から物体Ａおよび物体Ｂまでの距離は等しいものとする。）を撮影した撮像
画像ＩＭＧ１の場合、つまり、物体Ａと照明ＬＳとの距離は短く、照明ＬＳからの光が強
く照射されるが、物体Ｂと照明ＬＳとの距離は長いので、照明ＬＳからの光が減衰し、物
体Ｂには、物体Ａほど強く照明ＬＳからの光が照射されない場合、物体ＡおよびＢの輝度
を、それぞれＹａおよびＹｂとすると、Ｙａ≧Ｙｂとなる状態となるが、この状態が「照
度ムラがある」状態である。さらに、図１１（ｂ）に示すように、照明ＬＳ、物体Ａ、遮
蔽物Ｓ、および物体Ｂ（撮像装置から物体Ａおよび物体Ｂまでの距離は等しいものとする
。）を撮影した撮像画像ＩＭＧ２の場合、つまり、物体Ａには照明ＬＳからの光が強く照
射されるが、物体Ｂには遮蔽物Ｓで照明ＬＳからの光が遮蔽されるため（遮蔽物Ｓの影が
発生するため）、照明ＬＳからの光がほとんど照射されない場合、この場合の物体Ｂの輝
度をＹｂ’とすると、Ｙａ≧Ｙｂ≧Ｙｂ’となり、撮像画像上において物体Ｂはさらに暗
い状態となる。この状態も「照度ムラがある」状態である。
【０００９】
通常、撮影画像内の全画素位置で照度が均一であることは少なく、照度ムラが存在する
ため、高精度に反射率推定を行うためには照度ムラ除去（照度の均一化）が必須である。
本発明では、画像内の全空間位置での照度が均一であれば画像データは反射率に比例し
た値になることに着眼し、前記画像の各画素に対して、その周辺平均輝度により異なる入
出力特性を有する変換により、撮影画像の照度ムラを除去して全空間位置での照度を均一
化した画像を生成してその画素値を被写体反射率とすることで、高精度に被写体反射率を
推定することにより、各画素に対応する被写体と撮像装置との３次元空間内での距離を高
精度に推定することができる撮像装置、撮像方法、プログラム、記録媒体、および集積回
路を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の発明は、照明発光部と、撮像部と、照明光成分取得部と、反射率推定部と、距離
情報推定部と、を備える撮像装置である。照明発光部は、被写体に照明光を照射する。撮
像部は、照明発光部の条件を変えて撮影することで、複数枚の画像を取得する。照明光成
分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複数
枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して
、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの画
像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
【００１１】
撮影画像内の全空間位置で照度が均一であれば、撮影画像の各画素値（＝照度×反射率
）は反射率に比例した値となるが、通常、各空間位置で照度は異なり（照度ムラがあり）
、その分だけ画素値も変化しているため、高精度に反射率推定を行うためには照度ムラ除
去（照度の均一化）が必須であり、この撮像装置では、反射率推定部により、複数枚の画
像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画
素に対応する被写体の反射率が推定されるので、高精度に被写体の反射率を推定すること
ができる。そして、この撮像装置では、この高精度に推定された被写体の反射率により、
各画素に対応する被写体と撮像装置との３次元空間内での距離を推定するので、高精度の
距離情報を取得することができる。
【００１２】
第２の発明は、照明発光部と、撮像部と、照明光成分取得部と、反射率推定部と、距離
情報推定部と、を備える撮像装置である。照明発光部は、被写体に照明光を照射する。撮
像部は、照明発光部の発光状態を所定の時間内に切り替え、照明光無しの状態で第１画像
信号を取得し、照明光有りの状態で第２画像信号を取得する。照明光成分取得部は、第２
画像信号から、第１画像信号成分を除去することで照明光成分のみの画像信号を取得する
。反射率推定部は、第１画像信号、第２画像信号、または、照明光成分のみの画像信号に
対して、各画素の輝度Ｋｉをその周辺平均輝度ＡＫｉに応じて異なる入出力特性により変
換し、照度ムラを除去して、各画素に対応する被写体の反射率を推定することで反射率デ
ータ信号を取得する。距離情報推定部は、前記照明光成分のみの画像信号から反射率デー
タ信号成分を除去して、各画素に対応する被写体までの距離情報を推定することで距離情
報データ信号を取得する。
【００１３】
本来、画素値は照度と反射率の積であり、分離不可能（不可逆）であるが、照度は空間
的になだらかに変化するものであるから、この撮像装置では、照度は周辺平均輝度とほぼ
同一であるとみなし、周辺平均輝度を均一化する変換を行うことで、照度が均一化された
状況に相当する画像を生成する。照度が画像内の全空間位置で同一であれば、画像データ
は反射率に比例したものとなる。これにより、入力画像のから照度ムラを除去することで
、本来分離不可能である反射率を分離・算出することが可能となる。
【００１４】
そして、この撮像装置では、この高精度に推定された被写体の反射率により、各画素に
対応する被写体と撮像装置との３次元空間内での距離を推定するので、高精度の距離情報
を取得することができる。
また、ここで、照明光成分取得部における「第１画像信号成分を除去」は、例えば、第
２画像信号から第１画像信号成分を減算することで行われる。ただし、第１・第２画像信
号を撮像部にて取得した際の露出設定が違う場合には、第１・第２画像信号に対して露出
あわせのためのゲイン調整を行ってから減算する必要があり、この概念も含まれる。
【００１５】
また、反射率推定部は、第２画像信号から照度ムラを除去して反射率を推定するように
してもよく、あるいは、減算結果データ信号から照度ムラを除去して反射率を推定するよ
うにしてもよい。
また、「周辺平均輝度」とは、処理対象である着目画素を中心とした、例えば４００ｘ
２４０程度（画像サイズ１９２０ｘ１０８０の場合）の領域の輝度平均値の概念であり、
領域とは、矩形領域・円形領域・楕円形領域などであり、また、輝度平均値とは、単純平
均値・加重平均値などを含む。
【００１６】
また、距離情報推定部における「反射率データ信号成分を除去」は、例えば、照明光成
分のみの画像信号を反射率データ信号で除算することで行われる。
また、「画素に対応する被写体までの距離情報」とは、撮像装置と画素に対応する被写
体との３次元空間内での距離についての情報であり、距離そのものを示す情報であっても
よく、また、距離を算出することができる物理量を示す情報（例えば、距離に比例定数を
乗算した値）であってもよい。
【００１７】
第３の発明は、第２の発明であって、反射率推定部は、輝度Ｋｉと、周辺平均輝度ＡＫ
ｉとが等しい場合、輝度Ｋｉを一定範囲内の輝度に変換する。
これにより、輝度変化のない（少ない）画像領域に含まれる画素の輝度が、一定範囲内
の輝度に変換されるため、照度ムラが効率良く除去される。
【００１８】
第４の発明は、第３の発明であって、反射率推定部は、輝度Ｋｉを、変換後の輝度がと
りうる範囲を範囲Ｒａｎｇｅとし、範囲Ｒａｎｇｅの中心値を中心値ＫｏＣｅｎｔとする
ものであり、輝度Ｋｉと、周辺平均輝度ＡＫｉとが等しい場合、輝度Ｋｉを、（中心値Ｋ
ｏＣｅｎｔ）−（範囲Ｒａｎｇｅ）×０．３から（中心値ＫｏＣｅｎｔ）＋（範囲Ｒａｎ
ｇｅ）×０．３の範囲内の輝度に変換する。
これにより、輝度変化のない（少ない）画像領域に含まれる画素の輝度が、変換後の輝
度のとり得る範囲（変換後の輝度のダイナミックレンジ）内の中心値から±３０％（変換
後輝度のダイナミックレンジの±３０％）の範囲内の輝度に変換されるため、照度ムラが
効率良く除去される。
【００１９】
第５の発明は、第２の発明であって、反射率推定部は、輝度Ｋｉを、周辺平均輝度ＡＫ
ｉで除算することで、照度ムラを除去して、反射率データ信号を取得する。
これにより、簡単な処理で、効率的に、照度ムラを除去することができるので、精度の
高い反射率データ信号を取得することができる。
【００２０】
第６の発明は、第１から第５の発明であって、反射率推定部は、照明光成分のみの画像
信号から、反射率データ信号を取得する。
これにより、詳細は後述するが、物体表面における拡散反射による精度低下の影響が除
去される。また、照明光に赤外光を用いた場合は、可視光・赤外の帯域での反射率違いに
よる精度低下がない。さらに、赤外光に遠赤外を用いた場合には、被写体の温度による赤
外放射の影響を打ち消すことができる。これらにより、精度の高い反射率データ信号を取
得することができる。
【００２１】
第７の発明は、第１から第６のいずれかの発明であって、照明光に、フラッシュ光を用
いる。
この撮像装置では、照明光としてフラッシュ光を用いるので、多くの撮像装置（カメラ
等）に既設のフラッシュ発光装置等による照明光を利用することができる。したがって、
この撮像装置は、フラッシュ光発光装置付きの、レンズの小さいコンパクトカメラやビデ
オカメラ等においても簡単に実現することができる。
【００２２】
第８の発明は、第１から第６のいずれかの発明であって、照明光に、赤外光を用いる。
この撮像装置では、照明光のとして赤外光を用いるので、被写体に照明光が見えないた
め、フラッシュ光が必要ない撮影シーンにおいて、被写体に不快感を与えることがない。
また、距離情報を動画で撮影する場合には、フラッシュ光が点滅すると被写体に不快感を
与えるが、赤外光では被写体に不快感を与えることなく距離情報を動画で取得することが
できる。
【００２３】
第９の発明は、第１から第８の発明であって、照明光の距離に対する減衰特性を示す関
数Ｂ（ｘ）（ｘ：距離）の逆関数Ｂ−１（ｘ）を用いて、画素ごとに、距離情報データ信
号を、画素に対応する被写体までの距離に変換する逆関数処理部をさらに備える。
これにより、精度良く距離情報データ信号を取得することができる。
一般に、照明光は、距離に対して減衰する特性（距離の２乗に反比例して減衰）を有し
ており、この照明光の距離に対する減衰特性は測定により簡単に取得することができる。
照明光の距離に対する減衰特性を特定することができると、その特性を示す関数Ｂ（ｘ）
およびＢ（ｘ）の逆関数Ｂ−１（ｘ）も特定することができる。
したがって、この撮像装置において、逆関数Ｂ−１（ｘ）を用いて、画素ごとに距離情
報を求めることで、精度良く距離情報データ信号を取得することができる。
【００２４】
第１０の発明は、第１から第９のいずれかの発明であって、距離情報データ信号に基づ
いて、画像信号に対して奥行き感を強調する奥行き感強調処理を行う距離関連信号処理部
をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度の高い奥行き感強調処理を
実現させることができる。
【００２５】
第１１の発明は、第１から第１０のいずれかの発明であって、距離情報データ信号に基
づいて、画像信号に対して背景をぼかす処理を行う距離関連信号処理部をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度の高い画像信号に対して背
景をぼかす処理を実現させることができる。
【００２６】
第１２の発明は、第１から第１１のいずれかの発明であって、距離情報データ信号に基
づいて、画像において照明が十分に届いていない画像領域を検出し、画像領域に含まれる
画素の輝度を高くする処理を行う距離関連信号処理部をさらに備える。
これにより、精度の高い距離情報データ信号を用いて、精度よく、画像において照明が
届いていない画像領域を検出し、画像領域に含まれる画素の輝度を高くする処理を実現さ
せることができる。
【００２７】
第１３の発明は、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられる撮像
方法であって、照明光成分取得ステップと、反射率推定ステップと、距離情報推定ステッ
プと、を備える。照明光成分取得ステップでは、複数枚の画像から照明光成分のみの画像
を取得する。反射率推定ステップでは、複数枚の画像および照明光成分のみの画像のうち
、いずれかの画像から、照度ムラを除去して、各画素に対応する被写体の反射率を推定す
る。距離情報推定ステップでは、照明光成分のみの画像と被写体の反射率から各画素に対
応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、備える撮像装置に用いられることで、第
１の発明と同様の効果を奏する撮像方法を実現することができる。
【００２８】
第１４の発明は、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられるプロ
グラムであって、コンピュータを、照明光成分取得部、反射率推定部、距離情報推定部、
として機能させるためのプログラムである。照明光成分取得部では、複数枚の画像から照
明光成分のみの画像を取得する。反射率推定部では、複数枚の画像および照明光成分のみ
の画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対応する被写体の反
射率を推定する。距離情報推定部では、照明光成分のみの画像と被写体の反射率から各画
素に対応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、備える撮像装置に用いられることで、第
１の発明と同様の効果を奏するプログラムを実現することができる。
【００２９】
第１５の発明は、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて
撮影することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられるプロ
グラムを記録したコンピュータにより読み取り可能な記録媒体であって、コンピュータを
、照明光成分取得部、反射率推定部、距離情報推定部、として機能させるためのプログラ
ムを記録したコンピュータにより読み取り可能な記録媒体である。照明光成分取得部は、
複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複数枚の画像およ
び照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去して、各画素に対
応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの画像と被写体の
反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、被写体に照明光を照射する照明発光部と、照明発光部の条件を変えて撮影
することで、複数枚の画像を取得する撮像部と、を備える撮像装置に用いられることで、
第１の発明と同様の効果を奏するコンピュータにより読み取り可能な記録媒体を実現する
ことができる。
【００３０】
第１６の発明は、照明発光部と、撮像部と、照明光成分取得部と、反射率推定部と、距
離情報推定部と、を備える集積回路である。照明発光部は、被写体に照明光を照射する。
撮像部は、照明発光部の条件を変えて撮影することで、複数枚の画像を取得する。照明光
成分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部は、複
数枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを除去し
て、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分のみの
画像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【００３１】
第１７の発明は、照明条件を変えて撮影することで複数枚の画像を取得する撮像部を備
える撮像装置に用いられる集積回路であって、照明発光部と、照明光成分取得部と、反射
率推定部と、距離情報推定部と、を備える。照明発光部は、被写体に照明光を照射する。
照明光成分取得部は、複数枚の画像から照明光成分のみの画像を取得する。反射率推定部
は、複数枚の画像および照明光成分のみの画像のうち、いずれかの画像から、照度ムラを
除去して、各画素に対応する被写体の反射率を推定する。距離情報推定部は、照明光成分
のみの画像と被写体の反射率から各画素に対応する被写体までの距離情報を推定する。
これにより、照明条件を変えて撮影することで複数枚の画像を取得する撮像部を備える
撮像装置に用いられることで、第１の発明と同様の効果を奏する集積回路を実現すること
ができる。
【発明の効果】
【００３２】
本発明によれば、照度ムラを除去し、高精度に被写体反射率を推定することにより、各
画素に対応する被写体と撮像装置との３次元空間内での距離を高精度に推定することがで
きる撮像装置、撮像方法、プログラム、記録媒体、および集積回路を提供することができ
る。
さらに、本発明では、多くの撮像装置（カメラ等）に既設のフラッシュ発光装置等によ
る照明光を利用することで、高精度に距離を推定することができる。このため、本発明は
、レンズの小さいコンパクトカメラやビデオカメラ等にも用いることができ、距離に基づ
いた高精度な画像処理を、レンズの小さいコンパクトカメラやビデオカメラ等においても
、簡単に実現させることができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：撮像装置の構成＞
まず、第１実施形態に係る撮像装置１００について説明する。
図１に、本発明の第１実施形態に係る撮像装置１００（例えば、おけるディジタルカメ
ラ）の概略構成図を示す。図２に、信号処理部３１および記憶部３２の概略構図を示す。
また、図４に、距離推定部３１２の概略構成図を示す。
【００３４】
撮像装置１００は、図１に示すように、被写体Ｐ１からの光を集光する撮像レンズ１１
と、撮像レンズ１１で集光した被写体Ｐ１からの光量を調整する絞り１２と、被写体Ｐ１
からの光を光電変換により画像信号（映像信号）として取得する撮像部（撮像素子）１３
と、撮像部１３で取得した画像信号に対してアナログ信号処理を行うアナログ信号処理部
２と、アナログ信号処理が施された画像信号に対して、ディジタル信号処理を施すディジ
タル信号処理部３と、被写体Ｐ１に対してフラッシュ光を照射するフラッシュ発光部４と
、を備える。
【００３５】
撮像部１３は、撮像レンズ１１で集光され、絞り１２を通過した被写体Ｐ１からの光を
光電変換により画像信号（映像信号）として取得する。そして、撮像部１３は、取得した
画像信号をアナログ信号処理部２に出力する。撮像部１３としては、ＣＣＤ型イメージセ
ンサやＣＭＯＳ型イメージセンサを用いることが好ましい。
アナログ信号処理部２は、撮像部１３から出力された画像信号を入力とし、撮像部１３
から出力された画像信号に対してアナログ信号処理を施し、アナログ信号処理を施した画
像信号をディジタル画像信号に変換し、ディジタル信号処理部３に出力する。アナログ信
号処理部２は、例えば、カメラフロントエンドと呼ばれるアナログ回路により実現され、
主に、相関二重サンプリング回路（ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａ
ｍｐｌｉｎｇ））２１と、増幅回路（ＧＣＡ（Ｇａｉｎ Ｃｏｎｔｒｏｌ Ａｍｐｌｉｆ
ｉｉｅｒ））２２と、およびＡ／Ｄ変換器２３から構成される。
【００３６】
ディジタル信号処理部３は、アナログ信号処理部２から出力された画像信号に対して所
定の信号処理を行う信号処理部３１と、信号処理部３１からの出力を記憶する記憶部３２
と、記憶部３２に記憶された画像信号に対して符号化処理を行い、また、メモリカード６
等の記録メディアからの画像データ（符号化処理された画像データ）に対して復号処理を
行うコーデック部３３と、を有する。また、ディジタル信号処理部３は、ディジタル信号
処理部の各機能部の各種制御を行う制御部３４と、表示部５の制御を行う表示部制御部３
５と、メモリカード６とデータ（信号）の入出力を行うためのインターフェースであるカ
ードＩ／Ｆ３６と、フラッシュ発光部４の制御を行うフラッシュ発光制御部３７と、ディ
ジタル信号処理部３の各機能部をバス接続するバス３８と、を有する。なお、本実施形態
では、図１に示すように、ディジタル信号処理部３の各機能部がバス３８により接続され
ている場合について説明するが、必ずしも、ディジタル信号処理部３の各機能部がバス接
続されている必要はなく、必要なデータ（信号）のやりとりができるように、各機能ブロ
ックが直接接続される構成であってもよいことは言うまでもない。
【００３７】
信号処理部３１は、図２に示すように、第１信号処理部３１１と、距離推定部３１２と
、第２信号処理部３１３と、距離関連信号処理部３１４と、を有する。
第１信号処理部３１１は、アナログ信号処理部２から出力される画像信号を入力とし、
アナログ信号処理部２から出力される画像信号に対して、ダイナミック・レンジ圧縮処理
、画素補間処理などの処理を行い、第２信号処理部３１３および記憶部３２に出力する。
【００３８】
撮像部（撮像素子）１３の各画素には、Ｒ、Ｇ、Ｂの色フィルタが分散して配置されて
おり、各画素で取得される画像信号は、Ｒ、Ｇ、Ｂの何れかの情報しか持たない。このた
め、画素補間処理により、各画素により取得されなかった２色の情報を持つ画像信号を、
それぞれ、周りの画素（画素値）からの補間により推定（算出）する。これにより、撮像
部（撮像素子）１３の各画素に対応する画像信号において、Ｒ成分信号、Ｇ成分信号、お
よびＢ成分信号を取得することができる。
【００３９】
距離推定部３１２は、図４に示すように、減算部３１２１と、反射率推定部３１２２と
、除算部３１２３と、逆関数処理部３１２４と、を有する。
距離推定部３１２は、記憶部３２から出力される、フラッシュ光ありの撮影環境下で取
得された画像信号（この画像信号を「画像信号ｂ」または「画像データｂ」という。）と
、記憶部３２から出力される、フラッシュ光なしでの撮影環境下で取得された画像信号（
この画像信号を「画像信号ａ」または「画像データａ」という。）とを入力とし、画像信
号ａおよび画像信号ｂに基づいて、距離情報を推定（算出）し、推定した距離情報を距離
関連信号処理部３１４に出力する。
【００４０】
減算部３１２１は、記憶部３２から出力される画像信号ａ（画像信号ａを構成する各画
素の値は、当該画素に対応する被写体の反射率Ｒ０および照度Ｃ０の積Ｒ０・Ｃ０で表す
ことができる。）および画像信号ｂ（画像信号ｂを構成する各画素の値は、反射率Ｒ０、
照度Ｃ０、およびフラッシュ光の距離−照度特性を決定する関数Ｂ（ｘ）（ｘは、撮像装
置１００から被写体までの距離情報）を用いて、Ｒ０・（Ｃ０＋Ｂ（ｘ０））（ｘ０は、
撮像装置１００から当該画素に対応する被写体までの距離情報）で表すことができる。）
を入力とし、画像信号ｂから画像信号ａを減算する処理、すなわち、
Ｒ０・（Ｃ０＋Ｂ（ｘ０））−Ｒ０・Ｃ０
なる処理を行い、減算処理結果である、Ｒ０・Ｂ（ｘ０）を除算部３１２３に出力する。
【００４１】
反射率推定部３１２２は、記憶部３２から出力される画像信号ａを入力とし、画像信号
ａから照度ムラを除去して被写体反射率を推定する（詳細については後述）。つまり、反
射率推定部３１２２は、画像信号ａを構成する画素（処理対象画素）の画素値Ｒ０・Ｃ０
から反射率Ｒ０を求め、求めた反射率Ｒ０を除算部３１２３に出力する。
除算部３１２３は、減算部から出力されたＲ０・Ｂ（ｘ０）および反射率推定部３１２
２から出力された反射率Ｒ０を入力とし、
Ｒ０・Ｂ（ｘ０）／Ｒ０
なる除算処理を行うことで、Ｂ（ｘ０）を算出し、算出結果Ｂ（ｘ０）を逆関数処理部３
１２４に出力する。
【００４２】
逆関数処理部３１２４は、除算部３１２３から出力されたＢ（ｘ０）を入力とし、フラ
ッシュ光の距離−照度特性を決定する関数Ｂ（ｘ）の逆関数であるＢ−１（ｘ）なる処理
をＢ（ｘ０）に対して行うことで、距離情報ｘ０（処理対象画素の距離情報）を算出し、
算出した距離情報ｘ０を第２信号処理部３１３に出力する。なお、ここで、フラッシュ光
の距離−照度特性を示す関数Ｂ（ｘ）およびその逆関数Ｂ−１（ｘ）は、フラッシュ発光
部４により発光されるフラッシュ光の特性を予め測定することで求めておき、例えば、撮
像装置１００のＲＯＭ（不図示）等に予め記憶させておくようにしてもよい。
【００４３】
第２信号処理部３１３は、第１信号処理部３１１から出力された画像信号に対して、γ
補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処理を行い、距離
関連信号処理部３１４に出力する。
γ補正処理は、画像データ（画像信号）に対して、いわゆるガンマ補正を施す処理であ
り、通常は、γ＝１／２．２として、画像信号に対してγ補正処理が実行される。
【００４４】
色補正処理は、撮像部（撮像素子）１３の色フィルタの特性で決まるＲＧＢ値を規格化
された色空間（ＮＴＳＣ、ｓＲＧＢ等で規定される色空間）のＲＧＢ値への変換を行う処
理である。
ノイズリダクション処理は、画像信号の振幅、周波数などからノイズを判別し、判別さ
れたノイズを削減する処理である。
【００４５】
輪郭強調処理は、撮像レンズ１１のアパーチャー（レンズ口径）や絞り２２の影響によ
るＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下を補償
し解像度感のある画像にするための処理である。
距離関連信号処理部３１４は、逆関数処理部３１２４から出力される距離情報および第
２信号処理部３１３から出力される画像信号を入力とし、距離情報に基づいて、第２信号
処理部３１３から出力される画像信号に対して様々な処理を行う。例えば、処理対象とな
る画素（以下、「注目画素」という。）の距離情報から、注目画素が撮像画像上で近景領
域に含まれると判断される場合、例えば、注目画素の画素値を強調する処理や、注目画素
の周辺画素とのコントラストが強調されるように明るさ対比量や色対比量が強調される処
理等を行う。逆に、注目画素の距離情報から、注目画素が撮像画像上で遠景領域に含まれ
ると判断される場合、例えば、注目画素がぼけるように注目画素値を修正する処理や、注
目画素の周辺画素とのコントラストが抑制されるように明るさ対比量や色対比量が抑制さ
れる処理等を行う。距離関連信号処理部３１４で、このような処理を行うことで、撮像画
像において、近景領域をより強調し、遠景領域をぼかすことができ、撮像装置１００にお
いて、奥行き感や遠近感が強調された画像（例えば、被写界深度の浅い画像に相当する画
像）を生成することができる。なお、距離関連信号処理部３１４は、処理した画像信号を
記憶部３２に出力するようにしてもよい。
【００４６】
なお、第１信号処理部３１１および第２信号処理部３１３で行われる各種処理は、一例
であり、上記のものに限定されないのは言うまでもない。
記憶部３２は、制御部３４からの指令に基づいて、第１信号処理部３１１から出力され
る画像信号を記憶し、また、記憶している画像信号を距離推定部３１２に出力する。なお
、記憶部３２は、コーデック部３３により符号化された画像信号を記憶するものであって
もよい。また、記憶部３２は、距離関連信号処理部３１４から出力される画像信号を記憶
するものであってもよい。さらに、記憶部３２は、記憶している画像信号等を、バス３８
を介して、信号処理部３１や表示部制御部３５に出力するようにしてもよい。
【００４７】
コーデック部３３は、記憶部３２から出力される画像信号に対して符号化処理（ＪＰＥ
Ｇ等による符号化処理）を行い、符号化処理した画像信号（以下、「符号化画像信号」と
いう。）をカードＩ／Ｆ３６を介して、メモリカード６等の記録メディアに出力する。ま
た、コーデック部３３は、メモリカード６等の記録メディアから出力される符号化画像信
号に対して復号処理（ＪＰＥＧ等による復号処理）を行い、信号処理部３１や、記憶部３
２や、表示部制御部３５等に出力する。
【００４８】
制御部３４は、ディジタル信号処理部３の各機能部の各種制御を行う。制御部３４とし
ては、マイクロプロセッサを用いることが好ましい。
表示部制御部３５は、信号処理部３１から出力される画像信号や、コーデック部３３で
復号された画像信号や、記憶部３２から出力される画像信号等を入力とし、入力された画
像データを、例えば、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）（不図示）等に書き込むことで、表
示部５（ＬＣＤディスプレイ等による表示装置）で２次元画像として表示されるようにす
る。
【００４９】
カードＩ／Ｆ３６は、メモリカード６とデータ（信号）の入出力を行うためのインター
フェースである。カードＩ／Ｆ３６を介して、信号処理部３１から出力される画像信号や
、コーデック部３３により符号化された画像信号や、記憶部３２に記憶された画像信号等
が、メモリカード６に出力され、メモリカード６に書き込まれる。
フラッシュ発光制御部３７は、制御部３４からの指令に基づいて、フラッシュ発光部４
でのフラッシュ発光のタイミング、フラッシュ発光時間、フラッシュ発光量等の制御を行
う。
【００５０】
フラッシュ発光部４は、フラッシュ発光制御部３７により制御されることで、被写体に
対してフラッシュ光を照射する。
なお、フラッシュ発光部４、およびフラッシュ発光制御部３７が「照明発光部」に相当
する。撮像部１３が「撮像部」に相当する。また、減算部３１２１が「照明光成分取得部
」に相当する。また、反射率推定部３１２２が、「反射率推定部」に相当する。また、除
算部３１２３が「距離情報推定部」に相当する。
【００５１】
＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１００の動作について、以下、説明する。
撮影する被写体からの反射光は、撮像レンズ１１により撮像部（撮像素子）１３上に結
像され、光電変換により画像信号（映像信号）として取得される。また、この光路中に設
けられた絞り１２および図示していないシャッターにより撮像部（撮像素子）１３上に結
像する光量が調整される。撮像レンズ１１による結像（フォーカス制御）は、オートフォ
ーカス機能あるいはマニュアルフォーカス機能により撮像レンズ１１を前後（光路上の前
後方向に）に動かすことにより制御され適切な露光量となるように絞り調節がなされる。
ここで、図１では、撮像レンズ１１は、１枚の構成となっているが、実際には複数枚のレ
ンズ組が用いられる。ズームレンズの場合はさらに枚数は増加する。
【００５２】
図示していないシャッターは、メカニカルシャッタであってもよく、また、撮像部（撮
像素子）１３の駆動タイミングにより光量を調節する、いわゆる電子シャッターであって
もよい。
撮像部１３（ここでは、撮像部１３が、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）に塗り分
けられたカラーフィルタを持ち画素数が２０４８×１５３６のＣＣＤ型イメージセンサで
あるものとして説明するが、撮像部１３は、画素数および方式が他のものである撮像素子
（例えば、ＣＭＯＳ型イメージセンサ）であっても当然良い。）上に結像された画像は、
アナログ画像信号に変換され、撮像部１３からアナログ信号処理部２に出力される。
【００５３】
撮像部１３から出力された画像信号は、アナログ信号処理部２の相関二重サンプリング
（ＣＤＳ）部２１により、サンプリングノイズが低減され、アナログ増幅（ＧＣＡ）部２
２により信号レベルが調整され、Ａ／Ｄ変換器２３によりディジタル画像信号（画像デー
タ）に変換される。Ａ／Ｄ変換器２３によりＡ／Ｄ変換された各画素データ（例えば「０
」〜「４０９５」の階調レベルを持つ１２ｂｉｔのディジタル信号）は、ディジタル画像
信号として、ディジタル信号処理部３の信号処理部３１に出力される。
【００５４】
アナログ信号処理部２から出力された画像信号（画像データ）は、図３に示すように、
信号処理部３１の第１信号処理部３１１に入力される。そして、第１信号処理部３１１に
入力された画像信号は、第１信号処理部３１１により、ダイナック・レンジ圧縮処理、画
素補間処理などの処理が実行され、第２信号処理部３１３および記憶部３２に出力される
。
【００５５】
記憶部３２に出力された画像信号（画像データ）は、制御部３４の指令に基づいて、距
離推定部３１２に出力される。そして、記憶部３２に、フラッシュ光ありの撮影環境下で
取得された画像データである画像データｂと、フラッシュ光なしの撮影環境下で取得され
た画像データである画像データａと、が記憶されており、画像データａおよび画像データ
ｂが距離推定部３１２に入力される場合について、以下、説明する。また、説明便宜のた
め、処理対象画素（注目画素）をｉ０とし、画像データａの注目画素ｉ０の反射率をＲ０
、照度をＣ０、フラッシュ光の距離−照度特性を決定する関数Ｂ（ｘ）（ｘは、撮像装置
１００から被写体までの距離情報）、注目画素ｉ０の距離情報をｘ０として、画素単位の
処理が実行される場合について説明する。
【００５６】
記憶部３２から出力された画像データａ（＝Ｒ０・Ｃ０）は、反射率推定部３１２２に
入力され、例えば、図６に示す特性に基づく視覚処理（詳細については後述）が実行され
ることで、反射率推定部３１２２により、照度ムラを除去された反射率Ｒ０が算出され、
算出された反射率Ｒ０が除算部３１２３に出力される。なお、反射率推定部３１２２では
、上記視覚処理を用いる方法以外に、注目が画素ｉ０（＝Ｉ（ｘ，ｙ））を、その周辺画
素の平均値Ｉａｖｇ（ｘ，ｙ）で除算することで、照度ムラが除去された反射率Ｒ０を算
出するようにしてもよい。
【００５７】
また、記憶部３２から出力された画像データｂ（＝Ｒ０・（Ｃ０＋Ｂ（ｘ０）））は、
減算部３１２１に入力され、減算部３１２１により、画像データａ（＝Ｒ０・Ｃ０）が減
算されることで、減算結果（フラッシュ光のみの画像データ）が算出され、算出された減
算結果データ（フラッシュ光のみの画像データ）（＝Ｒ０・Ｂ（ｘ０））が除算部３１２
３に出力される。
【００５８】
除算部３１２３では、減算部３１２１から出力された減算結果データ（フラッシュ光の
みの画像データ）を、反射率推定部３１２２から出力された反射率Ｒ０により除算するこ
とで、除算結果データＢ（ｘ０）が算出される。
除算部３１２３により算出された除算結果データＢ（ｘ０）は、逆関数処理部３１２４
に入力され、Ｂ−１（Ｂ（ｘ０））なる処理が実行され、注目画素ｉ０の距離情報ｘ０が
算出される。算出された距離情報ｘ０は、距離関連信号処理部３１４に出力される。
【００５９】
第１信号処理部３１１から出力された信号は、第２信号処理部に入力され、第２信号処
理部により、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処
理が実行され、距離関連信号処理部３１４に出力される。
距離関連信号処理部３１４により、第２信号処理部３１３から出力された画像信号（画
像データ）（注目画素ｉ０）は、距離推定部３１２から出力された距離情報ｘ０に基づい
て、奥行き感強調処理等の各種距離情報に基づいて処理が実行される。
【００６０】
信号処理部３１により上記のような種々の処理が行なわれた画像データ（画像信号）は
、記憶部３２に書き込まれ、コーデック部３３によりＪＰＥＧ圧縮処理等の符号化処理が
施され、制御部３４によりヘッダ情報を付加され、例えば、Ｅｘｉｆファイルフォーマッ
トの画像データ（画像信号）として、カードＩ／Ｆ２５を介して、メモリカード６等の記
録メディアに書き込まれる。なお、記憶部３２に書き込みデータは、コーデック部３３に
より符号化されたデータ（画像信号）であってもよい。また、Ｅｘｉｆファイルフォーマ
ットの画像データ（画像信号）の記録先は、上記に限定されることはなく、例えば、撮像
装置に内蔵されたＨＤＤ（ハード・ディスク・ドライブ）装置等であっても当然よい。
【００６１】
また、メモリカード６に書き込まれた画像データは、制御部３４の制御の元で表示部制
御部３５によりＬＣＤ表示装置等の表示部５に表示される。
《距離推定処理》
次に、図５から図６を用いて、撮像装置１００の距離推定処理について説明する。
図５は、撮像装置１００の距離推定処理についての動作を模式的に示した説明図である
。
【００６２】
撮像装置１００の距離推定処理は、以下の５ステップから成る。
（１）フラッシュ光有無の状態で被写体を撮影し、２枚の撮像画像（画像データ）を取得
する。
（２）取得された２枚の画像データの差分からフラッシュ光のみの画像データを作成する
。
（３）フラッシュ光無しの状態で撮影することにより取得された画像データ（画像データ
ａ）から照度ムラを除去して被写体反射率を推定する。
【００６３】
なお、フラッシュ光有りの画像データ、または、フラッシュ光のみの画像データ（差分
画像）に対して被写体反射率推定（照度ムラ除去）を行ってもよい。このうち、フラッシ
ュ光のみの画像データ（差分画像）を用いると、さらに精度が向上する（詳細後述）。
（４）フラッシュ光のみの画像データを、推定した被写体反射率で除算して被写体距離（
撮像装置１００から被写体までの３次元空間内の距離）を算出する。
（５）被写体距離に基づいて画像処理を行う。
【００６４】
以下、この５ステップの詳細を説明し、また、図５に示すように、物体０と人物１を仮
定して、被写体距離が算出される仕組みを説明する。ここで、物体０と人物１への照度を
それぞれＣ０、Ｃ１とし、反射率をそれぞれＲ０、Ｒ１とし、カメラからの距離をそれぞ
れｘ０、ｘ１とする。
また、フラッシュ光の照度は、距離が遠くなるほど減衰するが、これをフラッシュ光発
光部からの距離（この距離は撮像装置１００からの距離と同じ長さであるものとする。）
ｘの関数Ｂ（ｘ）で表す。
【００６５】
なお、本実施形態では、輝度に対して処理を行うが、各波長帯域での反射率の違いを考
慮して、ＲＧＢなど色別に処理を行うようにしてよい。
（ステップ１：フラッシュ光有無の状態による２枚の撮像画像の取得）
まず、撮像装置１００によりフラッシュ光無しの状態で撮影し、撮像画像を取得する。
フラッシュ光無しの状態で撮影された物体０と人物１の画像信号は、それぞれ、
物体０：Ｃ０・Ｒ０
人物１：Ｃ１・Ｒ１
となる。
【００６６】
次に、撮像装置１００によりフラッシュ光有りの状態で撮影し、撮像画像を取得する。
このとき、２回の撮影は連写にすることが好ましい。
なお、この際、被写界深度を変えないため撮像装置１００の絞り値は、フラッシュ光無
しの状態での撮影時と同じにするとよい。
また、フラッシュ光による被写体からの反射光が多量に撮像部（撮像素子）１３に入力
され、撮像部１３から出力される画像信号（画像データ）が飽和しないように、フラッシ
ュ発光部４から発光されるフラッシュ光の光量が適度な光量となるように、フラッシュ発
光制御部３７によりフラッシュ光の発光強度を調整するとよい。
【００６７】
さらに、フラッシュ発光強度を調整する代わりに、撮像装置１００のシャッター時間を
短くして撮影するようにしてもよい。この際、ステップ２で、フラッシュ光有無の画像の
２枚の画像に対して減算処理を行う際に、シャッター時間を短くした分の露出あわせ用の
ゲイン乗算が必要となることは言うまでもない。以下では、撮像装置１００において、シ
ャッター時間を変えた場合の計算式は省略している。
【００６８】
フラッシュ光ありの状態で撮影された物体０と人物１の画像信号はそれぞれ、
物体０：（Ｃ０＋Ｂ（ｘ０））・Ｒ０
人物１：（Ｃ１＋Ｂ（ｘ１））・Ｒ１
となる。
なお、ステップ１では、撮影された２枚の画像は、記憶部３２に保存することを想定し
ているが、メモリカード６等の記録メディアに保存し、ステップ２〜ステップ５の各処理
を画像再生時に行うようにしてもよい。
【００６９】
（ステップ２：取得された２枚の画像データの差分からフラッシュ光のみの画像データ
を作成）
次に、フラッシュ光有りの状態で撮影された画像データｂからフラッシュ光無しの状態
で撮影された画像データａを減算し、フラッシュ光のみの画像データを取得する。
このとき、物体０と人物１のフラッシュ光のみの画像信号（画像データ）はそれぞれ、
物体０：Ｂ（ｘ０）・Ｒ０
人物１：Ｂ（ｘ１）・Ｒ１
となる。
【００７０】
なお、手ぶれや被写体ぶれによる被写体の位置ずれを防ぐため、撮像装置１００により
撮影された２枚の画像データに対し、位置あわせ処理を行ってから上記減算処理を行うよ
うにしてもよい。
（ステップ３：フラッシュ光無しの状態で取得された画像データから照度ムラを除去し
て被写体反射率を推定）
次に、フラッシュ光無しの状態で取得した画像データａから照度ムラを除去して被写体
反射率を推定する２通りの方法を説明する。
【００７１】
（ステップ３．１：第一の方法）
まず、第一の方法は、特開２００６−０２４１７６号公報に開示されている視覚処理装
置を応用する方法である。
上記視覚処理装置は、入力された各画素の輝度を、その周辺平均輝度に応じて異なる入
出力特性を有する変換により、変換した輝度を出力輝度として出力する。上記視覚処理装
置では、この変換の入出力特性を様々に変えることにより、局所コントラストを維持した
階調変換（ダイナミックレンジ圧縮、暗部補正など）、局所コントラスト強調などが可能
となる。
【００７２】
ここで、周辺平均輝度とは、処理対象である着目画素を中心とした、例えば４００ｘ２
４０程度（画像サイズ１９２０ｘ１０８０の場合）の領域の輝度平均値の概念であり、領
域とは、矩形領域・円形領域・楕円形領域などであり、また、輝度平均値とは、単純平均
値・加重平均値などを含む。
第一の方法は、この入出力特性を図６に示す特性とし、照度ムラを除去する方法である
。そして、この第一の方法は、撮像装置１００の反射率推定部３１２２により実行される
。
【００７３】
本来、画素値は照度と反射率の積であり、分離不可能（不可逆）であるが、照度は空間
的になだらかに変化するものであるから、撮像装置１００では、照度は周辺平均輝度とほ
ぼ同一であるとみなし、周辺平均輝度を均一化する変換を行うことで、照度が均一化され
た状況に相当する画像を生成する。照度が画像内の全空間位置で同一であれば、画像デー
タは反射率に比例したものとなる。これにより、入力画像のから照度ムラを除去すること
で、本来分離不可能である反射率を分離・算出することが可能となる。
【００７４】
図６は、本実施形態における照度ムラを除去する処理の入出力特性を示す図である。
この入出力特性は、周辺平均輝度により異なる複数の階調変換曲線により実現される。
曲線５１は周辺平均輝度が最暗時の変換曲線、曲線５２は周辺平均輝度が最明時の変換曲
線を指し、その間の曲線は、曲線５１に近いほど周辺平均輝度が低く、曲線５２に近いほ
ど周辺平均輝度が高い場合に選択される変換曲線である。
【００７５】
なお、上記入出力特性は、回路で実現してもよいが、回路規模削減のため、注目画素の
入力輝度と、その周辺平均輝度を入力とする、２次元のルックアップテーブルで構成して
もよい。
そして、太線５３は各変換曲線において、注目画素の入力輝度がその周辺平均輝度に一
致する点の出力輝度をプロットしてつないだ曲線であり、これは画像上において階調変化
のない（輝度に変化のない）大きな面積の領域の輝度が、どのように変換されるかを表し
ている。
【００７６】
図６に示す特性は、太線が常に一定の輝度に変換されるような特性となっているため、
照度が低い領域（周辺平均輝度：低）は明るくなり、逆に、照度が高い領域（周辺平均輝
度：高）は暗くなり、画像内の各領域の周辺平均輝度が常に一定となるよう、入力輝度が
変換される。
これにより、画像内の全空間位置における照度が均一化された（照度ムラが除去された
）画像が生成される。
【００７７】
なお、上述の方法では、一定の輝度としたが、可変範囲を設け、一定範囲内の輝度とし
ても良い。この場合、変換後の輝度のとり得る範囲（変換後の輝度のダイナミックレンジ
）内の中心値から±３０％（変換後輝度のダイナミックレンジの±３０％）程度が好まし
い。
これにより、物体０、人物１の画像信号
物体０：Ｃ０・Ｒ０
人物１：Ｃ１・Ｒ１
は、均一照明下の状況の画像信号に変換され、その照度Ｃとすれば、
物体０：Ｃ・Ｒ０
人物１：Ｃ・Ｒ１
と変換される。以下、説明を簡素化するため、これらを単に、
物体０：Ｒ０
人物１：Ｒ１
と表記し、説明する。
【００７８】
（ステップ３．２：第二の方法）
次に、第二の方法は、国際公開番号Ｗ０９７／４５８０９（日本：特表２０００−５１
１３１５）公表特許公報に開示されているディジタル画像を改善する方法を用いる方法で
ある。
上記公報では、シーン全体に亘って全ての種類およびレベルの照明で、画像が人間の視
覚によって知覚されるのと同様に見えるよう、ディジタル画像を改善する方法が開示され
ている。具体的には、ＤＳ（ｘ，ｙ）を光源の照明の空間分布とし、ＤＲ（ｘ，ｙ）をシ
ーンの反射の分布とすると、観測される強度値Ｉ（ｘ，ｙ）は、
Ｉ（ｘ，ｙ）＝ＤＳ（ｘ，ｙ）・ＤＲ（ｘ，ｙ）
である。
【００７９】
関連するレティネックス出力Ｒ（ｘ，ｙ）は、また、下付文字「ａｖｇ」は各項の空間
的に重み付けされた平均値を示すとすると、
Ｒ（ｘ，ｙ）＝ｌｏｇ｛ＤＳ（ｘ，ｙ）・ＤＲ（ｘ，ｙ）／ＤＳａｖｇ（ｘ，ｙ）・
ＤＲａｖｇ（ｘ，ｙ）｝ （式１）
と書くことができる。ＤＳ＝ＤＳａｖｇであるかぎり、空間的照明の寄与は、打ち消しあ
う。これが厳密に成り立たない場合でも、反射率関数ｌｏｇ（ＤＳ／ＤＳａｖｇ）は、照
明変化を支配するはずである。上述の考察は、画像の各スペクトル帯域に対して成り立つ
。
【００８０】
第二の方法は、上記ディジタル画像を改善する方法を用いる方法である。
画像信号Ｉ（ｘ，ｙ）（注目画素ｉ０に対応）に対して、その周辺画素の画素値の平均
値Ｉａｖｇ（ｘ，ｙ）で除算すると、出力画像信号Ｉｏｕｔ（ｘ，ｙ）は、
Ｉｏｕｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｉａｖｇ（ｘ，ｙ）
＝ＤＳ（ｘ，ｙ）・ＤＲ（ｘ，ｙ）／ＤＳａｖｇ（ｘ，ｙ）・ＤＲａｖｇ（ｘ，ｙ
）
であり、通常、照明の空間的な変化は、なだらかであるため、ＤＳ≒ＤＳａｖｇであり、
Ｉｏｕｔ（ｘ，ｙ）≒ＤＲ（ｘ，ｙ）／ＤＲａｖｇ（ｘ，ｙ）
となる。つまり、これは、（数式１）において、ＤＳ＝ＤＳａｖｇの場合と同じ（近似）
となり、空間的照明の寄与、すなわち、照度ムラが除去され、反射率が求められたことを
意味する。
【００８１】
すなわち、反射率推定部３１２２により、画像信号Ｉ（ｘ，ｙ）を、その周辺画素平均
Ｉａｖｇ（ｘ，ｙ）で除算することで、照度ムラが除去された反射率Ｒ０を算出すること
ができる。
よって、第二の方法を用いることで、物体０および人物１の画像信号
物体０：Ｃ０・Ｒ０
人物１：Ｃ１・Ｒ１
は、均一照明下の状況の画像信号に変換され、その照度Ｃとすれば、
物体０：Ｃ・Ｒ０
人物１：Ｃ・Ｒ１
と変換される。以下、説明を簡素化するため、第一の方法同様、これらを単に、
物体０：Ｒ０
人物１：Ｒ１
と表記し、説明する。
【００８２】
尚、第二の方法の説明としては、周囲領域の画素平均を算出することとしたが、これに
限定されることはなく、重み付け平均、または、中央値等、照度の影響がほぼ同じとされ
る領域の代表値として導出されるものであればよい。
また、上述の例では、着目画素値を周囲の画素値の平均値で除算することとしたが、こ
れに限定されることはなく、ｘ、ｙ位置における取得された輝度を、上記代表値により相
対的に比較した値であれば、ｘ、ｙ位置における反射率として仮定できる。
【００８３】
また、上述の方法以外にも、照度ムラの影響を除去するために、取得された画像データ
をそのまま反射率とするのではなく、画像データから照度ムラの影響が略同一である領域
に合わせて座標位置毎の反射率を導出できる方法を用いることも可能である。
たとえば、画像データ中から、遮蔽物等により発生したと暗い領域と（第１の領域）と
、明るい領域（第２領域）とを抽出し、ｘ、ｙ位置がどちらの領域に属するかにより算出
式、算出領域を変える方法を用いてもよい。
【００８４】
（ステップ４：フラッシュ光のみの画像データを、推定した被写体反射率で除算して被
写体距離を算出）
次に、得られた各画素の被写体反射率により、フラッシュ光のみの画像データを除算す
る。この際、「０」での除算を防ぐため、被写体反射率を正の小さい値でクリップ処理が
行なわれる。
【００８５】
これにより、フラッシュ光のみの画像データ、
物体０：Ｂ（ｘ０）・Ｒ０
人物１：Ｂ（ｘ１）・Ｒ１
は、被写体反射率
物体０：Ｒ０
人物１：Ｒ１
で除算され、物体０および人物１についての除算処理結果データ
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
が取得される。
【００８６】
さらに、物体０および人物１の除算処理結果データＢ（ｘ０）およびＢ（ｘ１）に対し
て、関数Ｂの逆関数による処理、つまり、
物体０：Ｂ−１（Ｂ（ｘ０））＝ｘ０
人物１：Ｂ−１（Ｂ（ｘ１））＝ｘ１
なる処理を行うことで、物体０および人物１の被写体距離（被写体距離情報）ｘ０および
ｘ１が算出される。なお、Ｂの逆関数は、フラッシュ発光部４から発光されるフラッシュ
光の特性から実験により求めることができる。
【００８７】
なお、Ｂ（ｘ０）およびＢ（ｘ１）は、距離（被写体と撮像装置１００との距離）が遠
くなるほど減衰する値であるため、撮像装置１００において、これらの値を用いて、ステ
ップ５以降の画像処理を行うようにしてもよい。
（ステップ３にて、「フラッシュ光のみ」の画像データ（差分画像）から被写体反射率を
推定し、ステップ４にて、除算処理して距離を算出した場合）
前述した、フラッシュ光のみの画像データ（差分画像）から被写体反射率を推定した場
合に精度が向上することを、ここで説明する。
【００８８】
反射の種類には、鏡面反射、拡散反射などがあり、一般に、多くの物体表面はざらざら
しているため、拡散反射成分が多く含まれる。このため、より高精度に距離を推定するた
めには、拡散反射を考慮することが必要である。
拡散反射では、あらゆる方向に同じ強度で反射する。また、その拡散反射光強度は、入
射光ベクトルＣ（大きさＣ）と反射面の法線ベクトルｎ（単位ベクトル）の内積に、反射
面の反射率Ｒを乗じた、
で表される（ランバートの余弦則：Ｌａｍｂｅｒｔ’ｓ ｃｏｓｉｎｅ ｌａｗ）。ここ
で、φは入射光ベクトルと反射面の法線ベクトルのなす角である。
【００８９】
これは、ｃｏｓφの分だけ反射光が減衰することを意味し、この拡散反射の影響を考慮
しないと、距離精度が低下する。
以下、画像データａまたはｂから被写体反射率を推定した場合に距離精度が低下する理
由と、フラッシュ光のみの画像データから被写体反射率を推定した場合は距離精度が低下
しない理由を、図７および図８を用いて説明する。
【００９０】
図７は、拡散反射を考慮した場合の外光およびフラッシュ光の反射光について説明する
ための説明図である。
図７（ａ）に、外光の入射角（＝外光の照射方向と被写体反射面の法線のなす角）が０
°以上の場合を示す。ここで、物体０、人物１への外光の入射角をそれぞれφ０、φ１と
すると、物体０、人物１についての外光反射光（拡散反射光）の画像信号は、
物体０の外光反射光：Ｃ０・Ｒ０・ｃｏｓ（φ０）
人物１の外光反射光：Ｃ１・Ｒ１・ｃｏｓ（φ１）
と表される。
【００９１】
図７（ｂ）に、フラッシュ光の入射角（＝フラッシュ光の照射方向と被写体反射面の法
線のなす角）が０°以上の場合を示す。ここで、物体０、人物１へのフラッシュ光の入射
角をそれぞれθ０、θ１とすると、物体０、人物１についてのフラッシュ反射光の画像信
号は、
物体０のフラッシュ反射光：Ｂ（ｘ０）・Ｒ０・ｃｏｓ（θ０）
人物１のフラッシュ反射光：Ｂ（ｘ１）・Ｒ１・ｃｏｓ（θ１）
と表される。
【００９２】
これらより、図８に示すように、画像データａの画像信号は、
物体０：Ｃ０・Ｒ０・ｃｏｓ（φ０）
人物１：Ｃ１・Ｒ１・ｃｏｓ（φ１）
画像データｂの画像信号は、
物体０：Ｃ０・Ｒ０・ｃｏｓ（φ０）＋Ｂ（ｘ０）・Ｒ０・ｃｏｓ（θ０）
人物１：Ｃ１・Ｒ１・ｃｏｓ（φ１）＋Ｂ（ｘ１）・Ｒ１・ｃｏｓ（θ１）
フラッシュ光のみの画像データ（＝画像データｂ−画像データａ）は、
物体０：Ｂ（ｘ０）・Ｒ０・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１・ｃｏｓ（θ１）
と表される。
【００９３】
次に、画像データａまたはｂから距離算出した場合に精度が低下する理由を説明する。
まず、画像データａに対して照度ムラ除去（詳細は後述）を行った場合、照度Ｃ０，Ｃ
１の項が打ち消され、推定反射率は、
物体０：Ｒ０・ｃｏｓ（φ０）
人物１：Ｒ１・ｃｏｓ（φ１）
となる。このため、除算処理により得られる距離情報は、
物体０：Ｂ（ｘ０）・ｃｏｓ（θ０）／ｃｏｓ（φ０）
人物１：Ｂ（ｘ１）・ｃｏｓ（θ１）／ｃｏｓ（φ１）
となり、外光およびフラッシュ光の入射角の違いの影響が残ってしまうため、距離精度が
低下する。
【００９４】
次に、画像データｂに対して照度ムラ除去を行った場合、照度Ｃ０，Ｃ１、Ｂ（ｘ０）
、Ｂ（ｘ１）の項が打ち消され、推定反射率は、
物体０：Ｒ０（ｃｏｓ（φ０）＋ｃｏｓ（θ０））
人物１：Ｒ１（ｃｏｓ（φ１）＋ｃｏｓ（θ１））
となる。このため、除算処理により得られる距離情報は、
物体０：Ｂ（ｘ０）・ｃｏｓ（θ０）／（ｃｏｓ（φ０）＋ｃｏｓ（θ０））
人物１：Ｂ（ｘ１）・ｃｏｓ（θ１）／（ｃｏｓ（φ１）＋ｃｏｓ（θ１））
となり、同様に、外光およびフラッシュ光の入射角の違いの影響が残ってしまうため、距
離精度が低下する。
【００９５】
一方、フラッシュ光のみの画像データに対して照度ムラ除去を行った場合、照度Ｂ（ｘ
０）、Ｂ（ｘ１）の項が打ち消され、推定反射率は、
物体０：Ｒ０・ｃｏｓ（θ０）
人物１：Ｒ１・ｃｏｓ（θ１）
となる。このため、除算処理により得られる距離情報は、
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
となり、外光およびフラッシュ光の入射角の違いの影響が打ち消され、距離精度が低下し
ない。
【００９６】
このように、撮像装置１００において、フラッシュ光のみの画像データから被写体反射
率を求めた場合、外光およびフラッシュ光の入射角の違いの影響が打ち消されるため、よ
り高精度に被写体距離を推定することが可能となる。
（ステップ３にて、「赤外光のみ」の画像データ（差分画像）から被写体反射率を推定し
、ステップ４にて、除算処理して距離を算出した場合）
なお、照明に赤外光を用いる場合にも、同様に、赤外光照明のみの画像データから反射
率を推定することが望ましい。
【００９７】
特には、赤外光は可視光ではないため発光のＯＮ／ＯＦＦが人に知覚されないことであ
る。他にも３つの利点がある。
第一の利点は、上記同様、拡散反射を考慮して高精度に距離推定を行うことが可能なこ
とである。理由は、上記で説明したのと同一であるので省略する。これにより、高精度な
距離推定が可能となる。
【００９８】
第二の利点は、可視光と赤外光の帯域での反射率の違いの影響を受けないことである。
これまで、反射率は全て定数扱いで記載してきたが、本来、反射率Ｒは波長λごとに異な
るため、Ｒ（λ）と表記するのが正しい。特に、照明光に赤外光を用いる場合には、波長
による反射率の違いを考慮する必要がある。この理由を説明する。
まず、画像データａから反射率推定を行った場合の精度低下原因を説明する。
【００９９】
物体０および人物１の可視光の反射率をＲ０（λ）、Ｒ１（λ）、赤外の反射率をそれ
ぞれＲ０（λ’）、Ｒ１（λ’）とすると、
画像データａ（可視光成分）は、
物体０：Ｃ０・Ｒ０（λ）・ｃｏｓ（φ０）
人物１：Ｃ１・Ｒ１（λ）・ｃｏｓ（φ１）
と表され、これに対して照度ムラ除去を行った場合、照度Ｃ０、Ｃ１の項が打ち消され、
推定反射率は、
物体０：Ｒ０（λ）・ｃｏｓ（φ０）
人物１：Ｒ１（λ）・ｃｏｓ（φ１）
となる。
【０１００】
ここで、赤外光のみの画像データ（＝画像データｂ−画像データａ）は、赤外光の帯域
での反射のため、
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
であるから、これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：（Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０））／（Ｒ０（λ）・ｃｏｓ（φ
０））
人物１：（Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１））／（Ｒ１（λ）・ｃｏｓ（φ
１））
となり、可視光と赤外光の帯域での反射率の違いにより、反射率の項が消去できず、距離
精度が低下する。これは画像データｂに対しても同様で、反射率の項が消去できない。
【０１０１】
一方、赤外光のみの画像データ
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
に対して照度ムラ除去を行った場合、照度Ｂ（ｘ０）、Ｂ（ｘ１）の項が打ち消され、推
定反射率は、
物体０：Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｒ１（λ’）・ｃｏｓ（θ１）
となる。これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
となり、可視光と赤外光の波長による反射率の違いの影響を受けず、高精度な距離の算出
が可能となる。
【０１０２】
第三の利点は、赤外光に遠赤外線等を用いた場合に、被写体の発熱による赤外放射の影
響を受けにくいことである。
一般に、サーモグラフィなどでよく知られているが、被写体は発熱により遠赤外を放射
しており、この被写体発熱成分が加算された画像データａまたは画像データｂからでは反
射率を正しく算出できず、距離精度が落ちてしまう。この点を図９を用いて説明する。
【０１０３】
物体０および人物１の遠赤外放射によるオフセット成分をそれぞれＦ０、Ｆ１とする。
このとき、画像データａの画像信号（赤外成分）は、
物体０：Ｃ０・Ｒ０（λ’）・ｃｏｓ（φ０）＋Ｆ０
人物１：Ｃ１・Ｒ１（λ’）・ｃｏｓ（φ１）＋Ｆ１
画像データｂの画像信号（赤外成分）は、
物体０：Ｃ０・Ｒ０（λ’）・ｃｏｓ（φ０）
＋Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）＋Ｆ０
人物１：Ｃ１・Ｒ１（λ’）・ｃｏｓ（φ１）
＋Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）＋Ｆ１
赤外光のみの画像データ（＝画像データｂ−画像データａ）は、
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
と表される。
【０１０４】
ここで、画像データａに対して照度ムラ除去を行った場合、照度Ｃ０、Ｃ１が除去され
るため、推定反射率は、
物体０：Ｒ０（λ’）・ｃｏｓ（φ０）＋Ｆ０
人物１：Ｒ１（λ’）・ｃｏｓ（φ１）＋Ｆ１
となる。
【０１０５】
これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：（Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０））
／（Ｒ０（λ’）・ｃｏｓ（φ０）＋Ｆ０）
人物１：（Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１））
／（Ｒ１（λ’）・ｃｏｓ（φ１）＋Ｆ１）
となり、遠赤外放射によるオフセットの影響で、距離精度が低下する。これは画像データ
ｂに対しても同様である。
【０１０６】
一方、遠赤外放射によるオフセットが減算により消去された赤外光のみの画像データ
物体０：Ｂ（ｘ０）・Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｂ（ｘ１）・Ｒ１（λ’）・ｃｏｓ（θ１）
に対して照度ムラ除去を行った場合、照度Ｂ（ｘ０）、Ｂ（ｘ１）の項が打ち消され、推
定反射率は、
物体０：Ｒ０（λ’）・ｃｏｓ（θ０）
人物１：Ｒ１（λ’）・ｃｏｓ（θ１）
となる。これから得られる距離情報（＝赤外光のみの画像データ÷推定反射率）は、
物体０：Ｂ（ｘ０）
人物１：Ｂ（ｘ１）
となり、遠赤外放射によるオフセットの影響を受けることなく、高精度な距離推定が可能
となる。
【０１０７】
以上３つの利点を有するため、図８および図９に示すように、赤外光照明のみの画像デ
ータを用いて被写体反射率を推定する処理（反射率推定処理）を行うことが好ましい。
なお、ステップ３において、フラッシュ光のみの画像データから被写体反射率を推定し
た場合、最終的に算出される距離データは、フラッシュ光のみの画像データを空間的にぼ
かした値、すなわち、周辺画素平均値に近い値となる場合がある。フラッシュ光のみの画
像データをＩ（ｘ，ｙ）、その画像データの周辺画素平均値をＩａｖｅ（ｘ，ｙ）とする
と、上記ステップ３．２の第二の方法を用いた場合、推定反射率Ｒ（ｘ，ｙ）は、
Ｒ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｉａｖｅ（ｘ，ｙ）
と求められる。したがって、ステップ４で算出される除算データＢは、
Ｂ＝Ｉ（ｘ，ｙ）／Ｒ（ｘ，ｙ）＝Ｉａｖｅ（ｘ，ｙ）
となる。すなわち、撮像装置１００において、フラッシュ光のみの画像データを空間的に
ぼかして取得した画像データを距離推定値としてもよい。
【０１０８】
（ステップ５：被写体距離に基づいて画像処理を行う）
ここでは、被写体距離に基づいた画像処理として、２つの例を説明する。
まず、ぼけ感を強調する画像処理を説明する。具体的には、画像上の背景を、被写体距
離を用いてぼかすため、注目画素について算出された距離（距離情報）が遠いことを示す
値である程、注目画素に対してローパスフィルタのフィルタサイズを大きくして、注目画
素に対する処理が実行される。
【０１０９】
最大フィルタサイズＦＭＡＸ、最大距離ｘＭＡＸを設定し、距離ｘに応じてフィルタサ
イズＦ（ｘ）を以下の式で求める。
Ｆ（ｘ）＝ＦＭＡＸ・｛ＭＩＮ（ｘ，ｘＭＡＸ）／ｘＭＡＸ｝
次に、各画素に対しフィルタサイズＦ（ｘ）のローパスフィルタ処理を行う。このよう
な処理を撮像装置１００により実行することで、距離が遠い画素ほどぼけた画像（画像デ
ータ）を取得することができる。
【０１１０】
なお、ローパスフィルタ処理では、レンズによるぼけ感とは、かなり異なるため、撮像
装置１００において、一般の、レンズによるぼけ感をエミュレートするような処理を距離
に応じて行うようにしてもよい。
次に、フラッシュ光を届かせる効果（視覚的にフラッシュ光が届かない領域にフラッシ
ュ光が届いているように感じさせる効果）を持つ画像処理について説明する。
【０１１１】
具体的には、フラッシュ光有りの状態で取得した画像（画像データ）の背景（背景領域
）を、被写体距離（距離情報）を用いて明るくするため、撮像装置１００により取得され
た距離（距離情報）を用いて、距離がある閾値以上の領域（画像上の領域）をフラッシュ
光が届かない領域と判断する。そして、このフラッシュ光が届かないと判断された領域に
含まれる画素の輝度に、ゲインを乗算する、または、オフセットを加算する等の処理を施
すことにより、当該画素の輝度を高い値に変換することで、このフラッシュ光が届かない
と判断された領域の明るさを明るくする。
【０１１２】
上記２つの例で説明した処理は、例えば、撮像装置１００の距離関連信号処理部３１４
により実現される。
なお、撮像装置１００において、この他、ぼけ感強調、フラッシュ光を届かせる効果以
外にも、よく知られる距離に応じた様々な処理を、撮像装置１００で算出された距離情報
を用いて実現させることが可能である。
【０１１３】
例えば、撮像装置１００で算出された距離情報を用いることで、オブジェクト抽出処理
（人物等の切出）の高精度化が可能となる。従来、２次元画像のみでは、エッジや色情報
等のみでしかオブジェクトの境界を判断できず、抽出精度が低かった。撮像装置１００で
算出された距離情報を用いることで、より高精度にオブジェクト抽出が可能となる。これ
により、例えば、高画質化処理（ぼけ感創出処理、エッジ強調処理、ノイズ除去処理、記
憶色補正、階調補正、ホワイトバランス調整）、画像合成処理（クロマキー）、物体追尾
処理、動作認識／解析などをより高精度に行うことが可能となる。
【０１１４】
また、撮像装置１００で算出された距離情報を用いることで、画像認識処理の高精度化
が可能となる。距離情報によりオブジェクトの凹凸を考慮し、画像特徴量を３次元化する
ことで、認識精度が向上する。これにより、顔検出／顔認識、顔の向き検出、赤目補正処
理、立体感補正処理、画像傾き補正処理などの精度を向上できる。
また、撮像装置１００で算出された距離情報を、多視点画像符号化ＭＶＣ（Ｍｕｌｔｉ
Ｖｉｅｗ Ｃｏｄｉｎｇ）に適用することも可能である。従来、複数視点画像の符号化
には、レンダリング処理等の処理量が多く、実用化が難しかった。撮像装置１００で算出
された距離情報を用いることで、このレンダリング処理を高速に行うことが可能となる。
【０１１５】
また、撮像装置１００で算出された距離情報により、画像中の物体の大きさを測定可能
となる。これにより、建築や土木の分野に利用できる。
さらに、撮像装置１００で算出された距離情報を用いることで、自然画像にＣＧ画像な
どを合成するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）処理の高精度化も可能である。つまり
、撮像装置１００で算出された距離情報を用いることで、ＭＲ処理においても、合成位置
の距離に合わせて、ＣＧ物体を適切な大きさで合成可能となり、より自然なＭＲ処理が可
能となる。
【０１１６】
以上のように、本発明の撮像装置１００では、照度ムラを除去し、高精度に被写体反射
率を推定することにより、各画素に対応する被写体と撮像装置との３次元空間内での距離
（距離情報）を高精度に推定することができる。さらに、本発明の撮像装置１００では、
高精度に推定された距離情報を用いて高精度な画像処理を実現させることができる。
なお、撮像装置１００による具体的な処理データの一例を図１０に示す。符号８１によ
り示す画像データがフラッシュ発光無しの状態で取得された画像データａであり、符号８
２により示す画像データがフラッシュ発光ありの状態で取得された画像データｂである。
そして、画像データｂから画像データａを減算して求められたフラッシュ光のみの画像デ
ータが符号８４で示す画像データであり、画像データａから照度ムラを除去した画像デー
タが符号８３で示す画像データ（反射率推定値画像データ）である。そして、フラッシュ
光のみ画像データ８４を反射率推定値画像データ８３で除算処理した結果が、符号８５で
示す除算処理結果画像データである。
【０１１７】
図１０から分かるように、この撮像装置１００により、画像データａおよび画像データ
ｂから、距離情報を精度よく表した距離推定値画像データ８５を取得することができる。
なお、符号８６で示す画像データは、例えば特許文献１のように、照度ムラの除去を行
わなかった場合の除算処理結果画像データ（距離推定値画像データ）である。このように
、照度ムラがあった場合に、その除去を行わないと、同じ距離にある物体が異なる距離に
あるものとされ、距離推定を誤ってしまう場合がある。
【０１１８】
（変形例）
なお、信号処理部３１を、図３に示すように、信号処理部３１’に置換した構成として
もよい。つまり、信号処理部３１’を、第１信号処理部３１１から出力される画像信号（
画像データ）を画像データｂとして、距離推定部３１２に入力するような構成にする。こ
のような構成にすることで、フラッシュ発光なしの状態で行う撮影を明示的に行う必要が
なくなり、撮像装置１００のシャッターボタン（不図示）を押す直前のビューファインダ
ーに表示しているライブビュー画像に相当する画像データが画像データｂとして、距離推
定部３１２に入力され、撮像装置１００により、上記同様の処理が実行されることで、距
離情報を算出（推定）することができる。
【０１１９】
また、これにより、フラッシュ発光なしの状態で取得される撮影画像（つまり、シャッ
ターボタンを押す直前のビューファインダーに表示しているライブビュー画像）と、フラ
ッシュ発光して撮影した画像の撮影時刻の差を少なくすることができるため、被写体が動
くことによる悪影響を少なくすることができる。
【０１２０】
［他の実施形態］
上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置に
より個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良
い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スー
パーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実
現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐ
ｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設
定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１２１】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化
の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バ
イオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアに
より実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現し
ても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処
理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態にお
いては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の
詳細については省略している。
【０１２２】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨
を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１２３】
本発明に係る撮像装置、撮像方法、プログラム、記録媒体、および集積回路は、撮影さ
れた画像の各画素の被写体までの距離を照明を用いて推定する場合において、周辺平均輝
度により異なる入出力特性を有する変換により照度ムラを除去して被写体反射率を推定す
ることにより、高精度に被写体までの距離を推定することができ、かつ、簡単な構成によ
り実現することができるため、コンパクトディジタルカメラやビデオカメラなどに利用可
能である。
【図面の簡単な説明】
【０１２４】
【図１】本発明の第１実施形態に係る撮像装置１００の概略構成図
【図２】本発明の第１実施形態に係る信号処理部３１および記憶部３２の概略構成図
【図３】本発明の第１実施形態の変形例に係る信号処理部３１’および記憶部３２の概略構成図
【図４】本発明の第１実施形態に係る距離推定部３１２の概略構成図
【図５】本発明の第１実施形態に係る撮像装置１００の距離推定処理についての動作を模式的に示した説明図
【図６】本発明の第１実施形態に係る撮像装置１００における照度ムラを除去する処理の入出力特性を示す図
【図７】拡散反射を考慮した場合の外光およびフラッシュ光の反射光について説明するための説明図
【図８】本発明の第１実施形態に係る撮像装置１００の距離推定処理についての、拡散反射を考慮した場合の動作を模式的に示した説明図
【図９】本発明の第１実施形態に係る撮像装置１００の距離推定処理についての、被写体発熱による赤外放射を考慮した場合の動作を模式的に示した説明図
【図１０】本発明の第１実施形態に係る撮像装置１００による具体的な処理データの一例
【図１１】照度ムラがある状態を説明するための説明図
【符号の説明】
【０１２５】
１００ 撮像装置
３１２ 距離推定部
２ アナログ信号処理部
３ ディジタル信号処理部
４ フラッシュ発光部
３１、３１’ 信号処理部
３２ 記憶部
３３ コーデック部
３４ 制御部
３１１ 第１信号処理部
３１３ 第２信号処理部
３１４ 距離関連信号処理部
５１ 周辺平均輝度が最暗時の変換曲線
５２ 周辺平均輝度が最明時の変換曲線
５３ 各変換曲線において、入力輝度がその周辺平均輝度に一致する点をつないだ曲線
【特許請求の範囲】
【請求項１】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部と、
を備える撮像装置。
【請求項２】
被写体に照明光を照射する照明発光部と、
前記照明発光部の発光状態を所定の時間内に切り替え、照明光無しの状態で第１画像信
号を取得し、照明光有りの状態で第２画像信号を取得する撮像部と、
前記第２画像信号から、前記第１画像信号成分を除去することで前記照明光成分のみの
画像信号を取得する照明光成分取得部と、
前記第１画像信号、前記第２画像信号、または前記照明光成分のみの画像信号に対して
、各画素の輝度Ｋｉをその周辺平均輝度ＡＫｉに応じて異なる入出力特性により変換し、
照度ムラを除去して、各画素に対応する前記被写体の反射率を推定することで反射率デー
タ信号を取得する反射率推定部と、
前記照明光成分のみの画像信号から前記反射率データ信号成分を除去して、各画素に対
応する前記被写体までの距離情報を推定することで距離情報データ信号を取得する距離情
報推定部と、
を備える撮像装置。
【請求項３】
前記反射率推定部は、前記輝度Ｋｉと、前記周辺平均輝度ＡＫｉとが等しい場合、前記
輝度Ｋｉを一定範囲内の輝度に変換する、
請求項２に記載の撮像装置。
【請求項４】
前記反射率推定部は、前記輝度Ｋｉを、変換後の輝度がとりうる範囲を範囲Ｒａｎｇｅ
とし、前記範囲Ｒａｎｇｅの中心値を中心値ＫｏＣｅｎｔとするものであり、
前記輝度Ｋｉと、前記周辺平均輝度ＡＫｉとが等しい場合、前記輝度Ｋｉを、（前記中
心値ＫｏＣｅｎｔ）−（前記範囲Ｒａｎｇｅ）×０．３から（前記中心値ＫｏＣｅｎｔ）
＋（前記範囲Ｒａｎｇｅ）×０．３の範囲内の輝度に変換する、
請求項３に記載の撮像装置。
【請求項５】
前記反射率推定部は、前記輝度Ｋｉを、前記周辺平均輝度ＡＫｉで除算することで、照
度ムラを除去して、前記反射率データ信号を取得する、
請求項２に記載の撮像装置。
【請求項６】
前記反射率推定部は、前記照明光成分のみの画像信号から、前記反射率データ信号を取
得する、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記照明光に、フラッシュ光を用いる、
請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記照明光に、赤外光を用いる、
請求項１から６のいずれかに記載の撮像装置。
【請求項９】
前記照明光の距離に対する減衰特性を示す関数Ｂ（ｘ）（ｘ：距離）の逆関数Ｂ−１（
ｘ）を用いて、前記画素ごとに、前記距離情報データ信号を、前記画素に対応する前記被
写体までの距離に変換する逆関数処理部をさらに備える、
請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記距離情報データ信号に基づいて、前記画像信号に対して奥行き感を強調する奥行き
感強調処理を行う距離関連信号処理部をさらに備える、
請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記距離情報データ信号に基づいて、前記画像信号に対して背景をぼかす処理を行う距
離関連信号処理部をさらに備える、
請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記距離情報データ信号に基づいて、前記画像において前記照明が十分に届いていない
画像領域を検出し、前記画像領域に含まれる前記画素の輝度を高くする処理を行う距離関
連信号処理部をさらに備える、
請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられる撮像方法であって、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得ステップと
、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定ステップと
、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定ステップと、
を備える撮像方法。
【請求項１４】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられるプログラムであって、
コンピュータを、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部、
として機能させるためのプログラム。
【請求項１５】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられるプログラムを記録したコンピュータにより読み取り可能な
記録媒体であって、
コンピュータを、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部、
として機能させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒
体。
【請求項１６】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部と、
を備える集積回路。
【請求項１７】
照明条件を変えて撮影することで、複数枚の画像を取得する撮像部を備える撮像装置に
用いられる集積回路であって、
被写体に照明光を照射する照明発光部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部と、
を備える集積回路。
【請求項１８】
画像データを入力し画像データの空間位置毎に反射率を導出する反射率推定部と、
前記画像データ中の所定の位置の輝度値と導出された前記位置の前記反射率とを用いて
前記位置の距離情報を出力する距離情報推定部とを含み、
前記反射率推定部は、前記位置の周辺位置の画像信号の輝度値から周辺平均輝度値を導
出し、前記周辺輝度値に対する前記輝度値の相対値を前記位置の前記反射率として出力す
る、
撮像装置。
【請求項１９】
前記反射率推定部は、前記周辺輝度値と前記輝度値とを入力し前記相対値を出力する二
次元ルックアップテーブルである、
請求項１８記載の撮像装置。
【請求項２０】
更に、フラッシュ発光部と、
フラッシュ発光時に取得された第１の画像データと発光しないで取得された第２画像デ
ータとの差分画像データを出力する減算部と、を有し、
前記反射率推定部は、前記差分データを前記画像データとして入力する、
請求項１８または１９に記載の撮像装置。
【請求項１】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部と、
を備える撮像装置。
【請求項２】
被写体に照明光を照射する照明発光部と、
前記照明発光部の発光状態を所定の時間内に切り替え、照明光無しの状態で第１画像信
号を取得し、照明光有りの状態で第２画像信号を取得する撮像部と、
前記第２画像信号から、前記第１画像信号成分を除去することで前記照明光成分のみの
画像信号を取得する照明光成分取得部と、
前記第１画像信号、前記第２画像信号、または前記照明光成分のみの画像信号に対して
、各画素の輝度Ｋｉをその周辺平均輝度ＡＫｉに応じて異なる入出力特性により変換し、
照度ムラを除去して、各画素に対応する前記被写体の反射率を推定することで反射率デー
タ信号を取得する反射率推定部と、
前記照明光成分のみの画像信号から前記反射率データ信号成分を除去して、各画素に対
応する前記被写体までの距離情報を推定することで距離情報データ信号を取得する距離情
報推定部と、
を備える撮像装置。
【請求項３】
前記反射率推定部は、前記輝度Ｋｉと、前記周辺平均輝度ＡＫｉとが等しい場合、前記
輝度Ｋｉを一定範囲内の輝度に変換する、
請求項２に記載の撮像装置。
【請求項４】
前記反射率推定部は、前記輝度Ｋｉを、変換後の輝度がとりうる範囲を範囲Ｒａｎｇｅ
とし、前記範囲Ｒａｎｇｅの中心値を中心値ＫｏＣｅｎｔとするものであり、
前記輝度Ｋｉと、前記周辺平均輝度ＡＫｉとが等しい場合、前記輝度Ｋｉを、（前記中
心値ＫｏＣｅｎｔ）−（前記範囲Ｒａｎｇｅ）×０．３から（前記中心値ＫｏＣｅｎｔ）
＋（前記範囲Ｒａｎｇｅ）×０．３の範囲内の輝度に変換する、
請求項３に記載の撮像装置。
【請求項５】
前記反射率推定部は、前記輝度Ｋｉを、前記周辺平均輝度ＡＫｉで除算することで、照
度ムラを除去して、前記反射率データ信号を取得する、
請求項２に記載の撮像装置。
【請求項６】
前記反射率推定部は、前記照明光成分のみの画像信号から、前記反射率データ信号を取
得する、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記照明光に、フラッシュ光を用いる、
請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記照明光に、赤外光を用いる、
請求項１から６のいずれかに記載の撮像装置。
【請求項９】
前記照明光の距離に対する減衰特性を示す関数Ｂ（ｘ）（ｘ：距離）の逆関数Ｂ−１（
ｘ）を用いて、前記画素ごとに、前記距離情報データ信号を、前記画素に対応する前記被
写体までの距離に変換する逆関数処理部をさらに備える、
請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記距離情報データ信号に基づいて、前記画像信号に対して奥行き感を強調する奥行き
感強調処理を行う距離関連信号処理部をさらに備える、
請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記距離情報データ信号に基づいて、前記画像信号に対して背景をぼかす処理を行う距
離関連信号処理部をさらに備える、
請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記距離情報データ信号に基づいて、前記画像において前記照明が十分に届いていない
画像領域を検出し、前記画像領域に含まれる前記画素の輝度を高くする処理を行う距離関
連信号処理部をさらに備える、
請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられる撮像方法であって、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得ステップと
、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定ステップと
、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定ステップと、
を備える撮像方法。
【請求項１４】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられるプログラムであって、
コンピュータを、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部、
として機能させるためのプログラム。
【請求項１５】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
を備える撮像装置に用いられるプログラムを記録したコンピュータにより読み取り可能な
記録媒体であって、
コンピュータを、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部、
として機能させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒
体。
【請求項１６】
被写体に照明光を照射する照明発光部と、
前記照明発光部の条件を変えて撮影することで、複数枚の画像を取得する撮像部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部と、
を備える集積回路。
【請求項１７】
照明条件を変えて撮影することで、複数枚の画像を取得する撮像部を備える撮像装置に
用いられる集積回路であって、
被写体に照明光を照射する照明発光部と、
前記複数枚の画像から前記照明光成分のみの画像を取得する照明光成分取得部と、
前記複数枚の画像および前記照明光成分のみの画像のうち、いずれかの画像から、照度
ムラを除去して、各画素に対応する前記被写体の反射率を推定する反射率推定部と、
前記照明光成分のみの画像と前記被写体の前記反射率から各画素に対応する前記被写体
までの距離情報を推定する距離情報推定部と、
を備える集積回路。
【請求項１８】
画像データを入力し画像データの空間位置毎に反射率を導出する反射率推定部と、
前記画像データ中の所定の位置の輝度値と導出された前記位置の前記反射率とを用いて
前記位置の距離情報を出力する距離情報推定部とを含み、
前記反射率推定部は、前記位置の周辺位置の画像信号の輝度値から周辺平均輝度値を導
出し、前記周辺輝度値に対する前記輝度値の相対値を前記位置の前記反射率として出力す
る、
撮像装置。
【請求項１９】
前記反射率推定部は、前記周辺輝度値と前記輝度値とを入力し前記相対値を出力する二
次元ルックアップテーブルである、
請求項１８記載の撮像装置。
【請求項２０】
更に、フラッシュ発光部と、
フラッシュ発光時に取得された第１の画像データと発光しないで取得された第２画像デ
ータとの差分画像データを出力する減算部と、を有し、
前記反射率推定部は、前記差分データを前記画像データとして入力する、
請求項１８または１９に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１０】
【公開番号】特開２００９−２６７４３６（Ｐ２００９−２６７４３６Ａ）
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願番号】特願２００８−１０３０４３（Ｐ２００８−１０３０４３）
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]