撮像装置
【課題】外部発光に起因する影を抑えた画像を簡易に取得する撮像装置を提供する。
【解決手段】撮像装置１００は、被写体に向けて光を照射する発光部１０３と、被写体を撮像する撮像部１０１と、被写体までの距離を取得する撮像部１０１、距離情報取得部１０２及び距離算出部２０３と、撮像部１０１を用いて撮影された画像の中から発光部１０３の光に起因する影４０３を距離算出部２０３で算出された距離に基づいて推定する影推定部２０４と、影推定部２０４により推定された影４０３を薄くなるように補正する影補正部２０５とを備えている。
【解決手段】撮像装置１００は、被写体に向けて光を照射する発光部１０３と、被写体を撮像する撮像部１０１と、被写体までの距離を取得する撮像部１０１、距離情報取得部１０２及び距離算出部２０３と、撮像部１０１を用いて撮影された画像の中から発光部１０３の光に起因する影４０３を距離算出部２０３で算出された距離に基づいて推定する影推定部２０４と、影推定部２０４により推定された影４０３を薄くなるように補正する影補正部２０５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、光を被写体に向けて照射する発光部を備えた撮像装置に関する。
【背景技術】
【０００２】
非特許文献１に開示された撮像装置は、外部発光（フラッシュ、補助光など）に起因する被写体の影を補正するものである。詳しくは、該撮像装置は、同一被写体に対して、外部発光を伴う撮影と外部発光を伴わない撮影とを合計２回行う。そして、外部発光を伴う撮影によって得られた画像（主に発光の輝度成分の変化により影が発生）の色成分と、外部発光を伴わない撮影によって得られた画像の輝度成分とを１つの画像に合成することで、外部発光に起因する影を含まない画像を生成する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Keiichiro SHIRAI, Masaaki IKEHARA, and Masayuki OKAMOTO, “Color and Shadow Replacing of Flash and No-Flash Photos to Create Noiseless Images”, IEICE Transaction (Japanese Edition), Vol. J94-A, No. 4, pp. 275-284, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、外部発光に起因する影を抑えた画像を簡易に取得する撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における撮像装置は、被写体に向けて光を照射する発光部と、被写体を撮像する撮像部と、被写体までの距離を取得する距離取得部と、前記撮像部を用いて撮影された画像の中から前記発光部の光に起因する影を前記距離取得部により取得された距離に基づいて推定する影推定部と、前記影推定部により推定された影を薄く補正する影補正部とを備えるものとする。ここで、「薄く補正する」とは、補正前よりも影の存在を目立たなくさせることを意味し、補正後に薄い影が残存する場合だけでなく、補正後に影を完全に消してしまうことも含む。
【発明の効果】
【０００６】
本開示における撮像装置によれば、外部発光に起因する影を抑えた画像を簡易に取得することができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の外観を示す斜視図である。
【図２】撮像装置の構成を示すブロック図である。
【図３】撮像装置の処理の手順を示すフローチャートである。
【図４】撮像部と発光部と被写体との位置関係の例を示す図である。
【図５】影推定の手順を示すフローチャートである。
【図６】距離算出部により算出した被写体までの距離の一例を示す図である。
【図７】影を含む撮影画像を示す図である。
【図８】推定された影を示す図である。
【図９】補正画像を示す図である。
【図１０】２回の撮影で影を補正する場合に得られる画像を示す図である。
【図１１】影を漸次補正した場合の補正画像を示す図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
［１．撮像装置の構成］
［１−１．概略構成］
図１は、撮像装置１００の外観を示す斜視図であり、図２は、撮像装置１００の主要な構成を示すブロック図である。
【００１１】
撮像装置１００は、本体１０５と、本体１０５の内部に設けられ、被写体を撮像する撮像部１０１と、撮像装置１００から被写体までの距離に関する情報を取得する距離情報取得部１０２と、被写体に向かって発光する発光部１０３と、これらを制御する制御部１０４（図２にのみ図示）とを備える。撮像装置１００は、いわゆるデジタルカメラである。
【００１２】
本体１０５は、被写体側の面の略中央にレンズ鏡筒１０６を有している。レンズ鏡筒１０６は、撮像光学系（図示省略）を有している。撮像光学系は、被写体像を撮像部１０１に結像させる。
【００１３】
撮像部１０１は、被写体を撮像して、画像を取得する。撮像部１０１は、イメージセンサであり、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。撮像装置１００は、撮像部１０１を用いて撮影を行う。
【００１４】
距離情報取得部１０２は、被写体までの距離に関する情報を取得する。距離情報取得部１０２は、イメージセンサであり、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。つまり、距離情報取得部１０２は、被写体を撮像して、画像を取得する。距離情報取得部１０２は、撮像部１０１とは異なる位置に設けられている。具体的には、距離情報取得部１０２は、光軸方向被写体側を向いて見たときに、レンズ鏡筒１０６の左側に設けられている。そのため、距離情報取得部１０２で撮影される画像は、撮像部１０１で撮影される画像とは視差を有する。この視差を有する画像は、詳しくは後述するが、被写体までの距離を算出する際に参照する画像であり、撮像装置１００から被写体までの距離に関する情報である。尚、距離情報取得部１０２は、撮像部１０１と同じ種類のイメージセンサであっても、異なる種類のイメージセンサであってもよい。また、距離情報取得部１０２の画素数は、撮像部１０１の画素数と同じであっても、異なっていてもよい。
【００１５】
以下、特に断りがない限り、単に「撮影画像」というときには撮像部１０１で撮影した画像を意味し、「参照画像」というときには距離情報取得部１０２により撮影した画像を意味する。
【００１６】
発光部１０３は、撮像部１０１による撮影時に、被写体に向けて発光を行う。発光部１０３は、本体１０５の角部、具体的には、光軸方向被写体側を向いて見たときに本体１０５の左上に設けられている。発光部１０３は、発光量を調整可能に構成されている。
【００１７】
［１−２．制御部の構成］
制御部１０４は、撮影制御部２０１と、画像記録部２０２と、距離算出部２０３と、影推定部２０４と、影補正部２０５と、輝度算出部２０６とを備えている。制御部１０４は、マイクロコンピュータで構成され得る。尚、制御部１０４は、ハードロジックで実現してもよい。制御部１０４をハードロジックで実現すれば、処理速度の向上に有効である。制御部１０４は、１つの素子で構成してもよいし、物理的に複数の素子で構成してもよい。複数の素子で構成する場合、特許請求の範囲に記載の各制御を別々の素子で実現してもよい。この場合、それらの複数の素子で一つの制御部１０４を構成すると考えることができる。また、制御部１０４と別の機能を有する部材とを１つの素子で構成してもよい。要するに、制御部１０４は、撮像装置１００を制御するものであれば、物理的にどのように構成してもよい。
【００１８】
撮影制御部２０１は、撮像装置１００の主な制御を司るものであり、例えば、撮影時に撮像部１０１、距離情報取得部１０２及び発光部１０３の動作を制御する。すなわち、撮影制御部２０１は、撮像部１０１に撮像を行わせたり、撮像部１０１の出力から測光を行ったり、距離情報取得部１０２に撮像（即ち、距離に関する情報の取得）を行わせたり、発光部１０３を作動させたりする。
【００１９】
撮影制御部２０１の制御の１つに発光制御がある。発光部１０３は、自動モードと手動モードとに設定可能となっている。具体的には、発光部１０３が自動モードに設定されているときには、撮影制御部２０１は、撮像部１０１を用いて被写体の光量を測定し、該光量に基づいて発光部１０３を作動させるか否かを判定する。撮影制御部２０１は、光量が所定の閾値以下のときには、撮影時に発光部１０３を作動させる一方、光量が該閾値よりも大きいときには、撮影時に発光部１０３を作動させない。尚、測光用のセンサを別途設け、発光部１０３を作動させるか否かを該センサの出力に基づいて判定してもよい。手動モードには、強制発光モードと発光禁止モードとが含まれる。発光部１０３が強制発光モードに設定されているときには、撮影制御部２０１は、撮影時に常に発光部１０３を作動させる。一方、発光部１０３が発光禁止モードに設定されている時には、撮影制御部２０１は、撮影時に常に発光部１０３を作動させない。さらに、撮影制御部２０１は、自動モード及び手動モードにおいて発光部１０３を作動させるときには、被写体の光量及びシャッタスピードに応じて、発光部１０３の発光量を調整する。つまり、撮影制御部２０１は、被写体の光量が少ない場合には発光部１０３の発光量を多くし、被写体の光量が多い場合には発光部１０３の発光量を少なくする。また、撮影制御部２０１は、シャッタスピードが速い場合には発光部１０３の発光量を多くし、シャッタスピードが遅い場合には発光部１０３の発光量を少なくする。
【００２０】
画像記録部２０２は、撮像部１０１で撮影した画像を記録する。画像記録部２０２は、メモリであり得る。また、画像記録部２０２は、距離情報取得部１０２で撮影した画像も記録する。
【００２１】
距離算出部２０３は、撮像部１０１の撮影画像及び距離情報取得部１０２の参照画像に基づいて、該撮影画像の各画素に写された被写体の、撮像装置１００からの距離を算出する。つまり、距離算出部２０３は、撮影画像と参照画像との視差に基づいて、被写体までの距離を算出する。尚、参照画像の解像度と撮影画像の解像度とが異なる場合には、Ｂｉ−ｃｕｂｉｃやＢｉ−ｌｉｎｅａｒ補間法を用いて、各画素の被写体までの距離を算出する。距離算出部２０３は、算出した距離を影推定部２０４へ出力する。尚、距離算出部２０３は、画像記録部２０２に記録された撮影画像及び参照画像が入力されているが、撮像部１０１及び距離情報取得部１０２からそれぞれ撮影画像及び参照画像が直接入力されてもよい。
【００２２】
これら撮像部１０１、距離情報取得部１０２及び距離算出部２０３は、距離取得部の一例である。
【００２３】
影推定部２０４は、撮像部１０１及び発光部１０３の位置関係と距離算出部２０３で算出された距離とに基づいて、撮影画像において発光部１０３の発光に起因する影を推定する。撮像部１０１及び発光部１０３の位置関係は、予め決まっており、図示省略の記憶部に記憶されている。影の推定方法については後述する。影推定部２０４は、推定した影（例えば、影に相当する画素の位置情報）を影補正部２０５へ出力する。
【００２４】
輝度算出部２０６は、撮影画像の輝度を算出する。具体的には、輝度算出部２０６は、画像記録部２０２に記録されている撮影画像を読み込み、該撮影画像における各画素の輝度を算出する。輝度算出部２０６は、算出した輝度を影補正部２０５へ出力する。
【００２５】
影補正部２０５は、影推定部２０４が推定した影に対し、影を薄くする（即ち、抑える）画像補正を行う。影の補正方法については後述する。影補正部２０５は、補正画像を出力する。
【００２６】
［２．撮影手順］
図３は、制御部１０４の撮影処理の手順を示すフローチャートである。
【００２７】
まず、ステップＳ３０１では、制御部１０４は、外部発光を行うか否かを判定する。具体的には、制御部１０４は、まず、発光部１０３が自動モードに設定されているのか、手動モードに設定されているのかを判定する。次に、自動モードの場合には、制御部１０４は、撮像部１０１による測光の結果に基づいて発光部１０３を作動させるか否かを判定する。手動モードの場合には、制御部１０４は、強制発光モードか発光禁止モードかを判定する。自動モード及び手動モードの何れであっても、発光部１０３を作動させた撮影を行う場合（Ｙｅｓ）には、ステップＳ３０２へ進む一方、発光部１０３を作動させずに撮影を行う場合（Ｎｏ）には、ステップＳ３１１へ進む。
【００２８】
ステップＳ３０２では、制御部１０４は、発光部１０３を作動させつつ、撮像部１０１を用いて撮影を行う。この撮影と同時に、制御部１０４は、距離情報取得部１０２による距離情報の取得（本実施形態では、距離情報取得部１０２による撮影）を行う。
【００２９】
ステップＳ３０３において、制御部１０４は、撮像部１０１の撮影画像及び距離情報取得部１０２の参照画像に基づいて、撮影画像の各画素における被写体の、撮像装置１００からの距離を算出する。
【００３０】
ステップＳ３０４では、制御部１０４は、算出した距離に基づいて、撮影画像中の発光部１０３の発光に起因する影を推定する。
【００３１】
ステップＳ３０５において、制御部１０４は、推定した影に対して影を薄くする画像補正を行う。その後、ステップＳ３０６において、制御部１０４は、補正画像を出力する。
【００３２】
一方、外部発光を行わない場合（ステップＳ３０１でＮＯの場合）は、ステップＳ３１１において、制御部１０４は、発光部１０３を作動させることなく、撮像部１０１を用いて撮影を行う。その後、ステップＳ３１２において、制御部１０４は、撮影画像を出力する。
【００３３】
［３．影の補正方法］
続いて、影の補正方法について説明する。
【００３４】
［３−１．影の発生］
まず、図４を参照して、外部発光に起因して生じる影について説明する。図４に、撮像部１０１と発光部１０３と被写体との位置関係の例を示す。図４は、該位置関係を説明し易くするために、水平面における位置関係を示している。図４の例では、平面被写体４０２よりも撮像装置側に球形被写体４０１が存在している。
【００３５】
図４の例で撮影を行うと、球形被写体４０１が平面被写体４０２を背景にして撮影される。このとき、発光部１０３が発光すると、球形被写体４０１の影が平面被写体４０２及び球形被写体４０１の一部に生じる。球形被写体４０１の影は、発光部１０３と球形被写体４０１とを結ぶ直線の方向に球形被写体４０１を投影した位置に生じる。仮に撮像部１０１が発光部１０３と同じ位置に位置するとすれば、撮像部１０１から影を見ることはできず、影４０３が撮影されることはない。しかし、図４に示すように、撮像装置１００では撮像部１０１と発光部１０３との位置がずれているため、影４０３が撮像部１０１から見えてしまう。つまり、影４０３は、撮像部１０１により撮影されてしまう。
【００３６】
［３−２．影の推定］
次に、こうして撮影された影４０３を撮像画像の中から推定する手順を図５を参照しながら説明する。図５は、影推定の手順を示すフローチャートである。
【００３７】
ステップＳ５０１において、距離算出部２０３に算出された被写体の距離が影推定部２０４に入力される。図４に示す例の場合、距離算出部２０３が算出する各画素における被写体の距離は、図６に示すようになる。図６は、撮像装置１００から被写体までの距離分布（或る高さ位置において水平方向に並ぶ各画素の距離）を示しており、図６の下側に撮像装置１００が位置し、図６の上側ほど撮像装置１００からの距離が遠いことを表している。図６において、下方に凸な部分４０７は、球形被写体４０１までの距離を表しており、平坦な部分４０８は、平面被写体４０２までの距離を表している。ただし、この距離分布は、二次元の画像における或る水平線上（即ち、或る高さ位置）の被写体の距離分布である。つまり、各高さ位置における被写体の距離を網羅的に算出することによって、撮影画像全体の距離分布を算出することができる。
【００３８】
次に、ステップＳ５０２において、影推定部２０４は、各点（画素）における距離分布（図６に示す線）の接線の傾き（距離の変化量／水平方向の変化量）と発光部１０３から各点（画素）への光線（即ち、該点（画素）と発光部１０３とを結ぶ直線）の傾きとを比較し、接線の傾きが光線の傾きよりも大きくなる点（画素）を求める。ここで、「傾き」とは、水平方向の変化量に対する距離の変化量である（傾き＝距離の変化量／水平方向の変化量）。図６では、矢印４０９で示す点（画素）において、接線の傾きが光線の傾きよりも大きくなる。この矢印４０９で示す点（画素）は、図４の４０６で示す、発光部１０３からの光線と被写体４０１とが接する部分に対応する。図６の矢印４０９で示す点（画素）が影４０３の一方の境界となる。
【００３９】
続いて、ステップＳ５０３において、影推定部２０４は、発光部１０３から延びて、矢印４０９で示す点（画素）を通る直線と該点（画素）よりも背景側の被写体との交点とを求める。図６においては、該直線は、平面被写体４０２に対応する平坦な部分４０８と交差する。この平坦な部分４０８上の交点に対応する、矢印４１０で示す点（画素）が、影４０３の他方の境界となる。
【００４０】
影推定部２０４は、こうして求めた矢印４０９で示す点（画素）と矢印４１０で示す点（画素）との間の領域を影４０３と推定する。影推定部２０４は、ステップＳ５０２，Ｓ５０３の処理を各高さ位置における被写体の距離分布に対して行うことによって、撮影画像中の二次元的な影４０３を推定する。
【００４１】
図７に、図４に示す例における撮影画像を示し、図８に、撮影画像から推定した影を示し、図９に、影を補正した補正画像を示す。図７に示す撮影画像においては、被写体４０１が撮影されており、その背景に外部発光に起因する影４０３が映っている。影推定部２０４が前述の方法により撮影画像から影を推定すると、図８に示すように、円の一部を別の円で切り欠いた形状の影４０３が推定される。
【００４２】
［３−３．影の補正］
次に、影の補正方法を説明する。
【００４３】
影補正部２０５は、影４０３の輝度を補正することによって、影を補正する。具体的には、影補正部２０５は、影４０３の外側の領域の輝度を用いて影４０３の輝度を補正する。例えば、影補正部２０５は、影４０３が生じている被写体である平面被写体４０２における影４０３と隣接する帯領域４１１の輝度の平均値（即ち、平均輝度）を求める。この帯領域４１１は、所定の個数の画素に対応する幅を有し、影４０３の境界に沿って延びる帯状の領域である。帯状領域の幅に対応する画素の個数は、任意に設定することができる。影補正部２０５は、影４０３の輝度を、帯領域４１１の輝度の平均値に置き換える。その結果、図９に示すように、影が削除された補正画像が得られる。
【００４４】
尚、影４０３のうち球形被写体４０１に生じる部分は、球形被写体４０１における影４０３と隣接する所定の範囲の帯領域の輝度の平均値により補正する。ただし、影４０３のうち球形被写体４０１に生じる部分は微小なので、補正しなくてもよいし、あるいは、前記帯領域４１１の輝度の平均値で補正してもよい。
【００４５】
影補正部２０５は、このような影補正を撮像装置１００と被写体との距離に応じて行う。具体的には、影補正部２０５は、距離算出部２０３からの算出結果に基づいて、撮像装置１００から被写体までの距離が所定の閾値以下のときには影補正を行い、該距離が該閾値を越えるときには影補正を行わない。この閾値は、発光部１０３からの光に起因する影の影響が小さくなる距離に設定され得る。つまり、１つの撮影画像中であっても、撮像装置１００からの距離が遠い被写体については影補正を行わず、撮像装置１００からの距離が近い被写体については影補正を行う。例えば、平面被写体４０２までの距離が閾値を超えているときには前記の影補正を行わない。これにより、発光部１０３の光の影響の小さい被写体に対しては影補正を省略することができ、処理量を低減することができる。その結果、画像取得までの時間を短縮することができると共に、演算回路の消費電力を節約することができる。
【００４６】
尚、前記閾値は、発光部１０３の発光量に応じて変化させてもよい。つまり、発光部１０３の発光量が多い場合には、該閾値を大きくする一方、発光部１０３の発光量が少ない場合には、該閾値を小さくしてもよい。つまり、発光部１０３の光の影響を受ける距離は、発光部１０３の発光量に応じて変化する。そのため、閾値を発光量に応じて変化させることによって、影補正の有無の切換を実際の補正の必要性に合わせることができる。
【００４７】
また、距離による影補正の有無は、影を推定する前に判定してもよいし、影を推定した後に判定してもよい。
【００４８】
また、影補正部２０５は、発光部１０３の発光量に応じて影補正を行う。具体的には、影補正部２０５は、発光部１０３の発光量が所定の閾値以上のときには影補正を行い、発光量が該閾値を下回るときには影補正を行わない。この閾値は、発光部１０３からの光に起因する影の影響が小さくなる発光量に設定され得る。これにより、発光部１０３の発光量が少ないために発光部１０３からの光の影響が小さい場合には影補正を省略することができ、処理量を低減することができる。その結果、画像取得までの時間を短縮することができると共に、演算回路の消費電力を節約することができる。
【００４９】
［４．効果］
以上のように、本実施形態においては、撮像装置１００は、被写体に向けて光を照射する発光部１０３と、被写体を撮像する撮像部１０１と、被写体までの距離を取得する撮像部１０１、距離情報取得部１０２及び距離算出部２０３と、前記撮像部１０１を用いて撮影された画像の中から前記発光部１０３の光に起因する影４０３を前記距離算出部２０３で算出された距離に基づいて推定する影推定部２０４と、前記影推定部２０４により推定された影４０３を薄くなるように補正する影補正部２０５とを備えている。
【００５０】
この構成によれば、１回の撮影で影４０３を補正できるので、外部発光に起因する影を抑えた画像を簡易に取得することができる。
【００５１】
また、この構成によれば、動いている被写体を撮影する場合に特に有効である。例えば、外部発光を伴う撮影と外部発光を伴わない撮影とを合計２回行い、外部発光を伴う撮影による画像の色成分と外部発光を伴わない撮影による画像の輝度成分とを１つの画像に合成する方法の場合、被写体４０１が図７において右側に移動していたとすると、１回目の撮影と２回目の撮影とで被写体の位置が異なる。そのため、図１０に示すように、色成分の像６０１と輝度成分の像６０２の位置が移動方向に分離し、不自然な画像が形成される。
【００５２】
それに対し、前記撮像装置１００によれば、１回の撮影で影の補正を行うことができるため、移動する被写体に対して色成分と輝度成分とがずれた画像が取得されるということを防止することができる。
【００５３】
また、前記影補正部２０５は、少なくとも前記影４０３の輝度を補正する。
【００５４】
影４０３とそれ以外の部分との大きな違いは輝度である。そのため、輝度を補正することによって影を補正することができる。
【００５５】
前記影補正部２０５は、前記影４０３の輝度を、該影４０３が生じている平面被写体４０２における該影４０３と隣接する帯領域４１１の輝度に基づいて補正する。
【００５６】
この構成によれば、影４０３の輝度を自然な輝度に補正することができる。つまり、影４０３の部分の本来の輝度は、該影４０３が生じている平面被写体４０２における該影４０３と隣接する帯領域４１１の輝度に近似するはずである。そのため、該隣接する帯領域４１１の輝度を用いると、影４０３の輝度を自然な輝度に補正することができる。
【００５７】
また、前記影補正部２０５は、前記影４０３の輝度を、該影４０３が生じている平面被写体４０２における該影４０３と隣接する所定の範囲の帯領域４１１の平均輝度に変更する。
【００５８】
この構成によれば、影４０３の輝度を隣接する領域の或る１つの画素の輝度を用いて補正するのではなく、所定の範囲の帯領域４１１の平均輝度に補正するので、隣接する帯領域４１１の輝度と概ね近似した輝度に影４０３の輝度を補正することができる。
【００５９】
また、前記影補正部２０５は、前記撮像部１０１、距離情報取得部１０２及び距離算出部２０３により取得された被写体までの距離が所定の閾値以下であるときには前記影４０３を補正する一方、該距離が該閾値を超えるときには前記影４０３を補正しない。
【００６０】
この構成によれば、発光部１０３の発光による影響を受けない、又は、発光部１０３の発光により影が生じたとしてもその影があまり目立たない程度に距離が離れている被写体に対しては影の補正を行わないようにすることができる。その結果、無駄な処理を省略して、処理時間を短縮することができる。
【００６１】
前記発光部１０３は、発光量を調整可能に構成されており、前記影補正部２０５は、前記発光部１０３の発光量が所定の閾値以上であるときには前記影４０３を補正する一方、該発光量が該閾値未満であるときには前記４０３影を補正しない。
【００６２】
この構成によれば、発光部１０３の発光による影響を受けない、又は、発光部１０３の発光により影が生じたとしてもその影があまり目立たない程度に発光量が少ない場合には影の補正を行わないようにすることができる。その結果、無駄な処理を省略して、処理時間を短縮することができる。
【００６３】
《その他の実施形態》
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００６４】
そこで、以下、他の実施の形態を例示する。
【００６５】
前記撮像装置１００は、静止画に対する影補正を行っているが、静止画に限られるものではない。つまり、動画の各フレーム画像に対して影補正を行うことによって、動画に対しても影補正を行うことができる。
【００６６】
前記実施形態では、発光部１０３は、本体１０５に内蔵されているが、これに限られるものではない。発光部は、被写体に向けて光を照射するものであれば、任意の構成を採用することができる。
【００６７】
前記実施形態では、撮像部１０１、距離情報取得部１０２及び距離算出部２０３が距離取得部を構成している。しかし、これに限られるものではない。距離情報取得部１０２はＴＯＦ（Time of Flight）センサを距離取得部として用いてもよい。ＴＯＦセンサを用いると、被写体までの距離を直接計測することができる。つまり、前記実施形態における撮影画像と参照画像との視差に基づいて被写体までの距離を算出するという処理を省略することができる。
【００６８】
また、前記実施形態では、距離情報取得部１０２を被写体までの距離を算出するためだけに使用しているが、これに限られるものではない。複数の撮像部を備え、ステレオ撮影（又は多眼撮影）を行う撮像装置（例えば、３Ｄカメラ）において、一方の撮像部を距離情報取得部１０２として用いてもよい。つまり、一方の撮像部は、通常は、ステレオ撮影のために使用され、影補正を行う場合には、視差を有する参照画像を取得するための距離情報取得部１０２として使用される。すなわち、３Ｄカメラは、１回の撮影で視差を有する２つの画像を撮影できるので、影補正を容易に行うことができる。この構成によれば、前述のＴＯＦセンサのような影補正専用の部材を設ける必要がなく、部品点数を削減することができる。さらには、一方の撮像部で取得した画像を影補正及びステレオ撮影の両方に用いることによって、ステレオ撮影においても発光部に起因する影の影響を抑制することができる。
【００６９】
前述の影の補正の方法は一例であって、異なる方法であってもよい。
【００７０】
例えば、前記実施形態では、影４０３の全域を帯領域４１１の輝度で補正しているが、参照する輝度は帯領域４１１の輝度に限られない。すなわち、影４０３の輝度を補正する上で参照する輝度は、影４０３を、影４０３が生じている部分本来の輝度に近づけることができる限りは、どの部分の輝度を参照してもよい。例えば、帯領域４１１の形状は、前記の形状に限られるものではない。
【００７１】
また、前記実施形態では、影４０３の全域を帯領域４１１の平均値という１つの値で補正しているが、これに限られるものではない。例えば、高さ位置に応じて異なる輝度に補正してもよい。具体的には、影４０３内の或る高さ位置の全画素を、影４０３が生じている平面被写体４０２において影４０３に対して水平方向外側に隣接する１つの画素の輝度又は所定個数の画素の輝度の平均値に補正してもよい。つまり、影４０３内の各画素は、同じ高さ位置における影４０３の外側の画素の輝度に補正される。この方法によれば、影４０３の画素が高さに応じて異なる輝度で補正されるので、影４０３の全画素を１つの平均値で補正する場合と比較して、より細かな補正を行うことができる。
【００７２】
また、影４０３内で輝度を滑らかに変化するように影４０３を補正してもよい。つまり、前記影補正では、影がほとんど削除される。それに対し、影４０３のうち、影４０３を発生させている被写体４０１から離れるほど補正量が多く（即ち、影が薄く）なるように補正してもよい。補正量を変化させる方法としては、影４０３の画素の補正量を被写体４０１からの距離に応じて連続的に変化させてもよし、影４０３を被写体４０１からの距離に応じて複数の領域に分割し、各領域ごとに補正量を変化させてもよい。図１１に、後者の例を示す。図１１に示すように、影４０３を相対的に被写体４０１に近い近接領域４０４と相対的に被写体４０１から遠い離間領域４０５とに分割し、近接領域４０４の補正量を相対的に多くし、離間領域４０５の補正量を相対的に少なくしている。こうすることで、完全に影を無くすのではなく、影をぼかした状態で残すことができる。その結果、間接照明を用いた商用撮影のような映像表現と同様の画像を得ることができる。尚、影４０３は、２分割に限られず、３分割以上に分割してもよい。また、影４０３のうち被写体４０１に近い領域は、補正をしないようにしてもよい。このように影４０３の一部に補正をしない部分があったとしても、影４０３の全体としては薄くなるように補正がなされている。これにより、補正処理を簡便にして、処理量を低減することができる。
【００７３】
また、影補正は、輝度を補正することで行っているが、影を薄くする方法はこれに限られるものではない。例えば、影の色を補正することによって影を薄くしてもよい。あるいは、影の輝度及び色を補正することによって影を薄くしてもよい。尚、色を補正する場合には、影の色を影の周辺の領域の色に近づけるように補正する。
【００７４】
また、前記実施形態では、影補正を行うか否かを撮像装置１００と各画素の被写体との距離に応じて決めているが、これに限られるものではない。例えば、撮影画像全体で、撮像装置１００と代表的な被写体との距離に応じて影補正を行うか否かを判定してもよい。代表的な被写体は、撮影画像を代表する被写体を決定できれば、どのような方法で決定しても良い。例えば、撮影画像から顕著領域を抽出し、該顕著領域を代表的な被写体としてもよいし、撮影画像の中央に位置する被写体を代表的な被写体としてもよい。
【００７５】
尚、撮像装置１００と被写体との距離に応じた影補正の有無の切換を行わなくてもよい。すなわち、該距離にかかわらず、影補正を行うようにしてもよい。これにより、影補正の処理を単純化することができる。
【００７６】
さらには、前記実施形態では、影補正を行うか否かを発光部１０３の発光量に応じて決めているが、該発光量にかかわらず、影補正を行うようにしてもよい。これにより、影補正の処理が単純化することができる。例えば、発光部１０３の発光量が不変である場合には、発光量に応じた影補正の有無の切換を行わない。
【００７７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８０】
以上に説明した撮像装置は、照明を補うための外部発光を必要とする撮像装置の分野において有用である。
【符号の説明】
【００８１】
１００ 撮像装置
１０１ 撮像部
１０２ 距離情報取得部
１０３ 発光部
１０４ 制御部
２０１ 撮影制御部
２０２ 画像記録部
２０３ 距離算出部
２０４ 影推定部
２０５ 影補正部
２０６ 輝度算出部
【技術分野】
【０００１】
本開示は、光を被写体に向けて照射する発光部を備えた撮像装置に関する。
【背景技術】
【０００２】
非特許文献１に開示された撮像装置は、外部発光（フラッシュ、補助光など）に起因する被写体の影を補正するものである。詳しくは、該撮像装置は、同一被写体に対して、外部発光を伴う撮影と外部発光を伴わない撮影とを合計２回行う。そして、外部発光を伴う撮影によって得られた画像（主に発光の輝度成分の変化により影が発生）の色成分と、外部発光を伴わない撮影によって得られた画像の輝度成分とを１つの画像に合成することで、外部発光に起因する影を含まない画像を生成する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Keiichiro SHIRAI, Masaaki IKEHARA, and Masayuki OKAMOTO, “Color and Shadow Replacing of Flash and No-Flash Photos to Create Noiseless Images”, IEICE Transaction (Japanese Edition), Vol. J94-A, No. 4, pp. 275-284, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、外部発光に起因する影を抑えた画像を簡易に取得する撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における撮像装置は、被写体に向けて光を照射する発光部と、被写体を撮像する撮像部と、被写体までの距離を取得する距離取得部と、前記撮像部を用いて撮影された画像の中から前記発光部の光に起因する影を前記距離取得部により取得された距離に基づいて推定する影推定部と、前記影推定部により推定された影を薄く補正する影補正部とを備えるものとする。ここで、「薄く補正する」とは、補正前よりも影の存在を目立たなくさせることを意味し、補正後に薄い影が残存する場合だけでなく、補正後に影を完全に消してしまうことも含む。
【発明の効果】
【０００６】
本開示における撮像装置によれば、外部発光に起因する影を抑えた画像を簡易に取得することができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の外観を示す斜視図である。
【図２】撮像装置の構成を示すブロック図である。
【図３】撮像装置の処理の手順を示すフローチャートである。
【図４】撮像部と発光部と被写体との位置関係の例を示す図である。
【図５】影推定の手順を示すフローチャートである。
【図６】距離算出部により算出した被写体までの距離の一例を示す図である。
【図７】影を含む撮影画像を示す図である。
【図８】推定された影を示す図である。
【図９】補正画像を示す図である。
【図１０】２回の撮影で影を補正する場合に得られる画像を示す図である。
【図１１】影を漸次補正した場合の補正画像を示す図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
［１．撮像装置の構成］
［１−１．概略構成］
図１は、撮像装置１００の外観を示す斜視図であり、図２は、撮像装置１００の主要な構成を示すブロック図である。
【００１１】
撮像装置１００は、本体１０５と、本体１０５の内部に設けられ、被写体を撮像する撮像部１０１と、撮像装置１００から被写体までの距離に関する情報を取得する距離情報取得部１０２と、被写体に向かって発光する発光部１０３と、これらを制御する制御部１０４（図２にのみ図示）とを備える。撮像装置１００は、いわゆるデジタルカメラである。
【００１２】
本体１０５は、被写体側の面の略中央にレンズ鏡筒１０６を有している。レンズ鏡筒１０６は、撮像光学系（図示省略）を有している。撮像光学系は、被写体像を撮像部１０１に結像させる。
【００１３】
撮像部１０１は、被写体を撮像して、画像を取得する。撮像部１０１は、イメージセンサであり、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。撮像装置１００は、撮像部１０１を用いて撮影を行う。
【００１４】
距離情報取得部１０２は、被写体までの距離に関する情報を取得する。距離情報取得部１０２は、イメージセンサであり、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。つまり、距離情報取得部１０２は、被写体を撮像して、画像を取得する。距離情報取得部１０２は、撮像部１０１とは異なる位置に設けられている。具体的には、距離情報取得部１０２は、光軸方向被写体側を向いて見たときに、レンズ鏡筒１０６の左側に設けられている。そのため、距離情報取得部１０２で撮影される画像は、撮像部１０１で撮影される画像とは視差を有する。この視差を有する画像は、詳しくは後述するが、被写体までの距離を算出する際に参照する画像であり、撮像装置１００から被写体までの距離に関する情報である。尚、距離情報取得部１０２は、撮像部１０１と同じ種類のイメージセンサであっても、異なる種類のイメージセンサであってもよい。また、距離情報取得部１０２の画素数は、撮像部１０１の画素数と同じであっても、異なっていてもよい。
【００１５】
以下、特に断りがない限り、単に「撮影画像」というときには撮像部１０１で撮影した画像を意味し、「参照画像」というときには距離情報取得部１０２により撮影した画像を意味する。
【００１６】
発光部１０３は、撮像部１０１による撮影時に、被写体に向けて発光を行う。発光部１０３は、本体１０５の角部、具体的には、光軸方向被写体側を向いて見たときに本体１０５の左上に設けられている。発光部１０３は、発光量を調整可能に構成されている。
【００１７】
［１−２．制御部の構成］
制御部１０４は、撮影制御部２０１と、画像記録部２０２と、距離算出部２０３と、影推定部２０４と、影補正部２０５と、輝度算出部２０６とを備えている。制御部１０４は、マイクロコンピュータで構成され得る。尚、制御部１０４は、ハードロジックで実現してもよい。制御部１０４をハードロジックで実現すれば、処理速度の向上に有効である。制御部１０４は、１つの素子で構成してもよいし、物理的に複数の素子で構成してもよい。複数の素子で構成する場合、特許請求の範囲に記載の各制御を別々の素子で実現してもよい。この場合、それらの複数の素子で一つの制御部１０４を構成すると考えることができる。また、制御部１０４と別の機能を有する部材とを１つの素子で構成してもよい。要するに、制御部１０４は、撮像装置１００を制御するものであれば、物理的にどのように構成してもよい。
【００１８】
撮影制御部２０１は、撮像装置１００の主な制御を司るものであり、例えば、撮影時に撮像部１０１、距離情報取得部１０２及び発光部１０３の動作を制御する。すなわち、撮影制御部２０１は、撮像部１０１に撮像を行わせたり、撮像部１０１の出力から測光を行ったり、距離情報取得部１０２に撮像（即ち、距離に関する情報の取得）を行わせたり、発光部１０３を作動させたりする。
【００１９】
撮影制御部２０１の制御の１つに発光制御がある。発光部１０３は、自動モードと手動モードとに設定可能となっている。具体的には、発光部１０３が自動モードに設定されているときには、撮影制御部２０１は、撮像部１０１を用いて被写体の光量を測定し、該光量に基づいて発光部１０３を作動させるか否かを判定する。撮影制御部２０１は、光量が所定の閾値以下のときには、撮影時に発光部１０３を作動させる一方、光量が該閾値よりも大きいときには、撮影時に発光部１０３を作動させない。尚、測光用のセンサを別途設け、発光部１０３を作動させるか否かを該センサの出力に基づいて判定してもよい。手動モードには、強制発光モードと発光禁止モードとが含まれる。発光部１０３が強制発光モードに設定されているときには、撮影制御部２０１は、撮影時に常に発光部１０３を作動させる。一方、発光部１０３が発光禁止モードに設定されている時には、撮影制御部２０１は、撮影時に常に発光部１０３を作動させない。さらに、撮影制御部２０１は、自動モード及び手動モードにおいて発光部１０３を作動させるときには、被写体の光量及びシャッタスピードに応じて、発光部１０３の発光量を調整する。つまり、撮影制御部２０１は、被写体の光量が少ない場合には発光部１０３の発光量を多くし、被写体の光量が多い場合には発光部１０３の発光量を少なくする。また、撮影制御部２０１は、シャッタスピードが速い場合には発光部１０３の発光量を多くし、シャッタスピードが遅い場合には発光部１０３の発光量を少なくする。
【００２０】
画像記録部２０２は、撮像部１０１で撮影した画像を記録する。画像記録部２０２は、メモリであり得る。また、画像記録部２０２は、距離情報取得部１０２で撮影した画像も記録する。
【００２１】
距離算出部２０３は、撮像部１０１の撮影画像及び距離情報取得部１０２の参照画像に基づいて、該撮影画像の各画素に写された被写体の、撮像装置１００からの距離を算出する。つまり、距離算出部２０３は、撮影画像と参照画像との視差に基づいて、被写体までの距離を算出する。尚、参照画像の解像度と撮影画像の解像度とが異なる場合には、Ｂｉ−ｃｕｂｉｃやＢｉ−ｌｉｎｅａｒ補間法を用いて、各画素の被写体までの距離を算出する。距離算出部２０３は、算出した距離を影推定部２０４へ出力する。尚、距離算出部２０３は、画像記録部２０２に記録された撮影画像及び参照画像が入力されているが、撮像部１０１及び距離情報取得部１０２からそれぞれ撮影画像及び参照画像が直接入力されてもよい。
【００２２】
これら撮像部１０１、距離情報取得部１０２及び距離算出部２０３は、距離取得部の一例である。
【００２３】
影推定部２０４は、撮像部１０１及び発光部１０３の位置関係と距離算出部２０３で算出された距離とに基づいて、撮影画像において発光部１０３の発光に起因する影を推定する。撮像部１０１及び発光部１０３の位置関係は、予め決まっており、図示省略の記憶部に記憶されている。影の推定方法については後述する。影推定部２０４は、推定した影（例えば、影に相当する画素の位置情報）を影補正部２０５へ出力する。
【００２４】
輝度算出部２０６は、撮影画像の輝度を算出する。具体的には、輝度算出部２０６は、画像記録部２０２に記録されている撮影画像を読み込み、該撮影画像における各画素の輝度を算出する。輝度算出部２０６は、算出した輝度を影補正部２０５へ出力する。
【００２５】
影補正部２０５は、影推定部２０４が推定した影に対し、影を薄くする（即ち、抑える）画像補正を行う。影の補正方法については後述する。影補正部２０５は、補正画像を出力する。
【００２６】
［２．撮影手順］
図３は、制御部１０４の撮影処理の手順を示すフローチャートである。
【００２７】
まず、ステップＳ３０１では、制御部１０４は、外部発光を行うか否かを判定する。具体的には、制御部１０４は、まず、発光部１０３が自動モードに設定されているのか、手動モードに設定されているのかを判定する。次に、自動モードの場合には、制御部１０４は、撮像部１０１による測光の結果に基づいて発光部１０３を作動させるか否かを判定する。手動モードの場合には、制御部１０４は、強制発光モードか発光禁止モードかを判定する。自動モード及び手動モードの何れであっても、発光部１０３を作動させた撮影を行う場合（Ｙｅｓ）には、ステップＳ３０２へ進む一方、発光部１０３を作動させずに撮影を行う場合（Ｎｏ）には、ステップＳ３１１へ進む。
【００２８】
ステップＳ３０２では、制御部１０４は、発光部１０３を作動させつつ、撮像部１０１を用いて撮影を行う。この撮影と同時に、制御部１０４は、距離情報取得部１０２による距離情報の取得（本実施形態では、距離情報取得部１０２による撮影）を行う。
【００２９】
ステップＳ３０３において、制御部１０４は、撮像部１０１の撮影画像及び距離情報取得部１０２の参照画像に基づいて、撮影画像の各画素における被写体の、撮像装置１００からの距離を算出する。
【００３０】
ステップＳ３０４では、制御部１０４は、算出した距離に基づいて、撮影画像中の発光部１０３の発光に起因する影を推定する。
【００３１】
ステップＳ３０５において、制御部１０４は、推定した影に対して影を薄くする画像補正を行う。その後、ステップＳ３０６において、制御部１０４は、補正画像を出力する。
【００３２】
一方、外部発光を行わない場合（ステップＳ３０１でＮＯの場合）は、ステップＳ３１１において、制御部１０４は、発光部１０３を作動させることなく、撮像部１０１を用いて撮影を行う。その後、ステップＳ３１２において、制御部１０４は、撮影画像を出力する。
【００３３】
［３．影の補正方法］
続いて、影の補正方法について説明する。
【００３４】
［３−１．影の発生］
まず、図４を参照して、外部発光に起因して生じる影について説明する。図４に、撮像部１０１と発光部１０３と被写体との位置関係の例を示す。図４は、該位置関係を説明し易くするために、水平面における位置関係を示している。図４の例では、平面被写体４０２よりも撮像装置側に球形被写体４０１が存在している。
【００３５】
図４の例で撮影を行うと、球形被写体４０１が平面被写体４０２を背景にして撮影される。このとき、発光部１０３が発光すると、球形被写体４０１の影が平面被写体４０２及び球形被写体４０１の一部に生じる。球形被写体４０１の影は、発光部１０３と球形被写体４０１とを結ぶ直線の方向に球形被写体４０１を投影した位置に生じる。仮に撮像部１０１が発光部１０３と同じ位置に位置するとすれば、撮像部１０１から影を見ることはできず、影４０３が撮影されることはない。しかし、図４に示すように、撮像装置１００では撮像部１０１と発光部１０３との位置がずれているため、影４０３が撮像部１０１から見えてしまう。つまり、影４０３は、撮像部１０１により撮影されてしまう。
【００３６】
［３−２．影の推定］
次に、こうして撮影された影４０３を撮像画像の中から推定する手順を図５を参照しながら説明する。図５は、影推定の手順を示すフローチャートである。
【００３７】
ステップＳ５０１において、距離算出部２０３に算出された被写体の距離が影推定部２０４に入力される。図４に示す例の場合、距離算出部２０３が算出する各画素における被写体の距離は、図６に示すようになる。図６は、撮像装置１００から被写体までの距離分布（或る高さ位置において水平方向に並ぶ各画素の距離）を示しており、図６の下側に撮像装置１００が位置し、図６の上側ほど撮像装置１００からの距離が遠いことを表している。図６において、下方に凸な部分４０７は、球形被写体４０１までの距離を表しており、平坦な部分４０８は、平面被写体４０２までの距離を表している。ただし、この距離分布は、二次元の画像における或る水平線上（即ち、或る高さ位置）の被写体の距離分布である。つまり、各高さ位置における被写体の距離を網羅的に算出することによって、撮影画像全体の距離分布を算出することができる。
【００３８】
次に、ステップＳ５０２において、影推定部２０４は、各点（画素）における距離分布（図６に示す線）の接線の傾き（距離の変化量／水平方向の変化量）と発光部１０３から各点（画素）への光線（即ち、該点（画素）と発光部１０３とを結ぶ直線）の傾きとを比較し、接線の傾きが光線の傾きよりも大きくなる点（画素）を求める。ここで、「傾き」とは、水平方向の変化量に対する距離の変化量である（傾き＝距離の変化量／水平方向の変化量）。図６では、矢印４０９で示す点（画素）において、接線の傾きが光線の傾きよりも大きくなる。この矢印４０９で示す点（画素）は、図４の４０６で示す、発光部１０３からの光線と被写体４０１とが接する部分に対応する。図６の矢印４０９で示す点（画素）が影４０３の一方の境界となる。
【００３９】
続いて、ステップＳ５０３において、影推定部２０４は、発光部１０３から延びて、矢印４０９で示す点（画素）を通る直線と該点（画素）よりも背景側の被写体との交点とを求める。図６においては、該直線は、平面被写体４０２に対応する平坦な部分４０８と交差する。この平坦な部分４０８上の交点に対応する、矢印４１０で示す点（画素）が、影４０３の他方の境界となる。
【００４０】
影推定部２０４は、こうして求めた矢印４０９で示す点（画素）と矢印４１０で示す点（画素）との間の領域を影４０３と推定する。影推定部２０４は、ステップＳ５０２，Ｓ５０３の処理を各高さ位置における被写体の距離分布に対して行うことによって、撮影画像中の二次元的な影４０３を推定する。
【００４１】
図７に、図４に示す例における撮影画像を示し、図８に、撮影画像から推定した影を示し、図９に、影を補正した補正画像を示す。図７に示す撮影画像においては、被写体４０１が撮影されており、その背景に外部発光に起因する影４０３が映っている。影推定部２０４が前述の方法により撮影画像から影を推定すると、図８に示すように、円の一部を別の円で切り欠いた形状の影４０３が推定される。
【００４２】
［３−３．影の補正］
次に、影の補正方法を説明する。
【００４３】
影補正部２０５は、影４０３の輝度を補正することによって、影を補正する。具体的には、影補正部２０５は、影４０３の外側の領域の輝度を用いて影４０３の輝度を補正する。例えば、影補正部２０５は、影４０３が生じている被写体である平面被写体４０２における影４０３と隣接する帯領域４１１の輝度の平均値（即ち、平均輝度）を求める。この帯領域４１１は、所定の個数の画素に対応する幅を有し、影４０３の境界に沿って延びる帯状の領域である。帯状領域の幅に対応する画素の個数は、任意に設定することができる。影補正部２０５は、影４０３の輝度を、帯領域４１１の輝度の平均値に置き換える。その結果、図９に示すように、影が削除された補正画像が得られる。
【００４４】
尚、影４０３のうち球形被写体４０１に生じる部分は、球形被写体４０１における影４０３と隣接する所定の範囲の帯領域の輝度の平均値により補正する。ただし、影４０３のうち球形被写体４０１に生じる部分は微小なので、補正しなくてもよいし、あるいは、前記帯領域４１１の輝度の平均値で補正してもよい。
【００４５】
影補正部２０５は、このような影補正を撮像装置１００と被写体との距離に応じて行う。具体的には、影補正部２０５は、距離算出部２０３からの算出結果に基づいて、撮像装置１００から被写体までの距離が所定の閾値以下のときには影補正を行い、該距離が該閾値を越えるときには影補正を行わない。この閾値は、発光部１０３からの光に起因する影の影響が小さくなる距離に設定され得る。つまり、１つの撮影画像中であっても、撮像装置１００からの距離が遠い被写体については影補正を行わず、撮像装置１００からの距離が近い被写体については影補正を行う。例えば、平面被写体４０２までの距離が閾値を超えているときには前記の影補正を行わない。これにより、発光部１０３の光の影響の小さい被写体に対しては影補正を省略することができ、処理量を低減することができる。その結果、画像取得までの時間を短縮することができると共に、演算回路の消費電力を節約することができる。
【００４６】
尚、前記閾値は、発光部１０３の発光量に応じて変化させてもよい。つまり、発光部１０３の発光量が多い場合には、該閾値を大きくする一方、発光部１０３の発光量が少ない場合には、該閾値を小さくしてもよい。つまり、発光部１０３の光の影響を受ける距離は、発光部１０３の発光量に応じて変化する。そのため、閾値を発光量に応じて変化させることによって、影補正の有無の切換を実際の補正の必要性に合わせることができる。
【００４７】
また、距離による影補正の有無は、影を推定する前に判定してもよいし、影を推定した後に判定してもよい。
【００４８】
また、影補正部２０５は、発光部１０３の発光量に応じて影補正を行う。具体的には、影補正部２０５は、発光部１０３の発光量が所定の閾値以上のときには影補正を行い、発光量が該閾値を下回るときには影補正を行わない。この閾値は、発光部１０３からの光に起因する影の影響が小さくなる発光量に設定され得る。これにより、発光部１０３の発光量が少ないために発光部１０３からの光の影響が小さい場合には影補正を省略することができ、処理量を低減することができる。その結果、画像取得までの時間を短縮することができると共に、演算回路の消費電力を節約することができる。
【００４９】
［４．効果］
以上のように、本実施形態においては、撮像装置１００は、被写体に向けて光を照射する発光部１０３と、被写体を撮像する撮像部１０１と、被写体までの距離を取得する撮像部１０１、距離情報取得部１０２及び距離算出部２０３と、前記撮像部１０１を用いて撮影された画像の中から前記発光部１０３の光に起因する影４０３を前記距離算出部２０３で算出された距離に基づいて推定する影推定部２０４と、前記影推定部２０４により推定された影４０３を薄くなるように補正する影補正部２０５とを備えている。
【００５０】
この構成によれば、１回の撮影で影４０３を補正できるので、外部発光に起因する影を抑えた画像を簡易に取得することができる。
【００５１】
また、この構成によれば、動いている被写体を撮影する場合に特に有効である。例えば、外部発光を伴う撮影と外部発光を伴わない撮影とを合計２回行い、外部発光を伴う撮影による画像の色成分と外部発光を伴わない撮影による画像の輝度成分とを１つの画像に合成する方法の場合、被写体４０１が図７において右側に移動していたとすると、１回目の撮影と２回目の撮影とで被写体の位置が異なる。そのため、図１０に示すように、色成分の像６０１と輝度成分の像６０２の位置が移動方向に分離し、不自然な画像が形成される。
【００５２】
それに対し、前記撮像装置１００によれば、１回の撮影で影の補正を行うことができるため、移動する被写体に対して色成分と輝度成分とがずれた画像が取得されるということを防止することができる。
【００５３】
また、前記影補正部２０５は、少なくとも前記影４０３の輝度を補正する。
【００５４】
影４０３とそれ以外の部分との大きな違いは輝度である。そのため、輝度を補正することによって影を補正することができる。
【００５５】
前記影補正部２０５は、前記影４０３の輝度を、該影４０３が生じている平面被写体４０２における該影４０３と隣接する帯領域４１１の輝度に基づいて補正する。
【００５６】
この構成によれば、影４０３の輝度を自然な輝度に補正することができる。つまり、影４０３の部分の本来の輝度は、該影４０３が生じている平面被写体４０２における該影４０３と隣接する帯領域４１１の輝度に近似するはずである。そのため、該隣接する帯領域４１１の輝度を用いると、影４０３の輝度を自然な輝度に補正することができる。
【００５７】
また、前記影補正部２０５は、前記影４０３の輝度を、該影４０３が生じている平面被写体４０２における該影４０３と隣接する所定の範囲の帯領域４１１の平均輝度に変更する。
【００５８】
この構成によれば、影４０３の輝度を隣接する領域の或る１つの画素の輝度を用いて補正するのではなく、所定の範囲の帯領域４１１の平均輝度に補正するので、隣接する帯領域４１１の輝度と概ね近似した輝度に影４０３の輝度を補正することができる。
【００５９】
また、前記影補正部２０５は、前記撮像部１０１、距離情報取得部１０２及び距離算出部２０３により取得された被写体までの距離が所定の閾値以下であるときには前記影４０３を補正する一方、該距離が該閾値を超えるときには前記影４０３を補正しない。
【００６０】
この構成によれば、発光部１０３の発光による影響を受けない、又は、発光部１０３の発光により影が生じたとしてもその影があまり目立たない程度に距離が離れている被写体に対しては影の補正を行わないようにすることができる。その結果、無駄な処理を省略して、処理時間を短縮することができる。
【００６１】
前記発光部１０３は、発光量を調整可能に構成されており、前記影補正部２０５は、前記発光部１０３の発光量が所定の閾値以上であるときには前記影４０３を補正する一方、該発光量が該閾値未満であるときには前記４０３影を補正しない。
【００６２】
この構成によれば、発光部１０３の発光による影響を受けない、又は、発光部１０３の発光により影が生じたとしてもその影があまり目立たない程度に発光量が少ない場合には影の補正を行わないようにすることができる。その結果、無駄な処理を省略して、処理時間を短縮することができる。
【００６３】
《その他の実施形態》
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００６４】
そこで、以下、他の実施の形態を例示する。
【００６５】
前記撮像装置１００は、静止画に対する影補正を行っているが、静止画に限られるものではない。つまり、動画の各フレーム画像に対して影補正を行うことによって、動画に対しても影補正を行うことができる。
【００６６】
前記実施形態では、発光部１０３は、本体１０５に内蔵されているが、これに限られるものではない。発光部は、被写体に向けて光を照射するものであれば、任意の構成を採用することができる。
【００６７】
前記実施形態では、撮像部１０１、距離情報取得部１０２及び距離算出部２０３が距離取得部を構成している。しかし、これに限られるものではない。距離情報取得部１０２はＴＯＦ（Time of Flight）センサを距離取得部として用いてもよい。ＴＯＦセンサを用いると、被写体までの距離を直接計測することができる。つまり、前記実施形態における撮影画像と参照画像との視差に基づいて被写体までの距離を算出するという処理を省略することができる。
【００６８】
また、前記実施形態では、距離情報取得部１０２を被写体までの距離を算出するためだけに使用しているが、これに限られるものではない。複数の撮像部を備え、ステレオ撮影（又は多眼撮影）を行う撮像装置（例えば、３Ｄカメラ）において、一方の撮像部を距離情報取得部１０２として用いてもよい。つまり、一方の撮像部は、通常は、ステレオ撮影のために使用され、影補正を行う場合には、視差を有する参照画像を取得するための距離情報取得部１０２として使用される。すなわち、３Ｄカメラは、１回の撮影で視差を有する２つの画像を撮影できるので、影補正を容易に行うことができる。この構成によれば、前述のＴＯＦセンサのような影補正専用の部材を設ける必要がなく、部品点数を削減することができる。さらには、一方の撮像部で取得した画像を影補正及びステレオ撮影の両方に用いることによって、ステレオ撮影においても発光部に起因する影の影響を抑制することができる。
【００６９】
前述の影の補正の方法は一例であって、異なる方法であってもよい。
【００７０】
例えば、前記実施形態では、影４０３の全域を帯領域４１１の輝度で補正しているが、参照する輝度は帯領域４１１の輝度に限られない。すなわち、影４０３の輝度を補正する上で参照する輝度は、影４０３を、影４０３が生じている部分本来の輝度に近づけることができる限りは、どの部分の輝度を参照してもよい。例えば、帯領域４１１の形状は、前記の形状に限られるものではない。
【００７１】
また、前記実施形態では、影４０３の全域を帯領域４１１の平均値という１つの値で補正しているが、これに限られるものではない。例えば、高さ位置に応じて異なる輝度に補正してもよい。具体的には、影４０３内の或る高さ位置の全画素を、影４０３が生じている平面被写体４０２において影４０３に対して水平方向外側に隣接する１つの画素の輝度又は所定個数の画素の輝度の平均値に補正してもよい。つまり、影４０３内の各画素は、同じ高さ位置における影４０３の外側の画素の輝度に補正される。この方法によれば、影４０３の画素が高さに応じて異なる輝度で補正されるので、影４０３の全画素を１つの平均値で補正する場合と比較して、より細かな補正を行うことができる。
【００７２】
また、影４０３内で輝度を滑らかに変化するように影４０３を補正してもよい。つまり、前記影補正では、影がほとんど削除される。それに対し、影４０３のうち、影４０３を発生させている被写体４０１から離れるほど補正量が多く（即ち、影が薄く）なるように補正してもよい。補正量を変化させる方法としては、影４０３の画素の補正量を被写体４０１からの距離に応じて連続的に変化させてもよし、影４０３を被写体４０１からの距離に応じて複数の領域に分割し、各領域ごとに補正量を変化させてもよい。図１１に、後者の例を示す。図１１に示すように、影４０３を相対的に被写体４０１に近い近接領域４０４と相対的に被写体４０１から遠い離間領域４０５とに分割し、近接領域４０４の補正量を相対的に多くし、離間領域４０５の補正量を相対的に少なくしている。こうすることで、完全に影を無くすのではなく、影をぼかした状態で残すことができる。その結果、間接照明を用いた商用撮影のような映像表現と同様の画像を得ることができる。尚、影４０３は、２分割に限られず、３分割以上に分割してもよい。また、影４０３のうち被写体４０１に近い領域は、補正をしないようにしてもよい。このように影４０３の一部に補正をしない部分があったとしても、影４０３の全体としては薄くなるように補正がなされている。これにより、補正処理を簡便にして、処理量を低減することができる。
【００７３】
また、影補正は、輝度を補正することで行っているが、影を薄くする方法はこれに限られるものではない。例えば、影の色を補正することによって影を薄くしてもよい。あるいは、影の輝度及び色を補正することによって影を薄くしてもよい。尚、色を補正する場合には、影の色を影の周辺の領域の色に近づけるように補正する。
【００７４】
また、前記実施形態では、影補正を行うか否かを撮像装置１００と各画素の被写体との距離に応じて決めているが、これに限られるものではない。例えば、撮影画像全体で、撮像装置１００と代表的な被写体との距離に応じて影補正を行うか否かを判定してもよい。代表的な被写体は、撮影画像を代表する被写体を決定できれば、どのような方法で決定しても良い。例えば、撮影画像から顕著領域を抽出し、該顕著領域を代表的な被写体としてもよいし、撮影画像の中央に位置する被写体を代表的な被写体としてもよい。
【００７５】
尚、撮像装置１００と被写体との距離に応じた影補正の有無の切換を行わなくてもよい。すなわち、該距離にかかわらず、影補正を行うようにしてもよい。これにより、影補正の処理を単純化することができる。
【００７６】
さらには、前記実施形態では、影補正を行うか否かを発光部１０３の発光量に応じて決めているが、該発光量にかかわらず、影補正を行うようにしてもよい。これにより、影補正の処理が単純化することができる。例えば、発光部１０３の発光量が不変である場合には、発光量に応じた影補正の有無の切換を行わない。
【００７７】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７８】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７９】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８０】
以上に説明した撮像装置は、照明を補うための外部発光を必要とする撮像装置の分野において有用である。
【符号の説明】
【００８１】
１００ 撮像装置
１０１ 撮像部
１０２ 距離情報取得部
１０３ 発光部
１０４ 制御部
２０１ 撮影制御部
２０２ 画像記録部
２０３ 距離算出部
２０４ 影推定部
２０５ 影補正部
２０６ 輝度算出部
【特許請求の範囲】
【請求項１】
被写体に向けて光を照射する発光部と、
被写体を撮像する撮像部と、
被写体までの距離を取得する距離取得部と、
前記撮像部を用いて撮影された画像の中から前記発光部の光に起因する影を前記距離取得部により取得された距離に基づいて推定する影推定部と、
前記影推定部により推定された影を薄く補正する影補正部とを備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記影補正部は、少なくとも前記影の輝度を補正する撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記影補正部は、前記影の輝度を、該影が生じている被写体における該影と隣接する領域の輝度に基づいて補正する撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記影補正部は、前記影の輝度を、該影が生じている被写体における該影と隣接する所定の範囲の領域の平均輝度に変更する撮像装置。
【請求項５】
請求項３に記載の撮像装置において、
前記影補正部は、前記影において該影を形成している被写体との境界から該影が生じている被写体における該影と隣接する領域に向かって輝度が漸次高くなるように該影の輝度を補正する撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記影補正部は、前記距離取得部により取得された被写体までの距離が所定の閾値以下であるときには前記影を補正する一方、該距離が該閾値を超えるときには前記影を補正しない撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記発光部は、発光量を調整可能に構成されており、
前記影補正部は、前記発光部の発光量が所定の閾値以上であるときには前記影を補正する一方、該発光量が該閾値未満であるときには前記影を補正しない撮像装置。
【請求項１】
被写体に向けて光を照射する発光部と、
被写体を撮像する撮像部と、
被写体までの距離を取得する距離取得部と、
前記撮像部を用いて撮影された画像の中から前記発光部の光に起因する影を前記距離取得部により取得された距離に基づいて推定する影推定部と、
前記影推定部により推定された影を薄く補正する影補正部とを備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記影補正部は、少なくとも前記影の輝度を補正する撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記影補正部は、前記影の輝度を、該影が生じている被写体における該影と隣接する領域の輝度に基づいて補正する撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記影補正部は、前記影の輝度を、該影が生じている被写体における該影と隣接する所定の範囲の領域の平均輝度に変更する撮像装置。
【請求項５】
請求項３に記載の撮像装置において、
前記影補正部は、前記影において該影を形成している被写体との境界から該影が生じている被写体における該影と隣接する領域に向かって輝度が漸次高くなるように該影の輝度を補正する撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記影補正部は、前記距離取得部により取得された被写体までの距離が所定の閾値以下であるときには前記影を補正する一方、該距離が該閾値を超えるときには前記影を補正しない撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記発光部は、発光量を調整可能に構成されており、
前記影補正部は、前記発光部の発光量が所定の閾値以上であるときには前記影を補正する一方、該発光量が該閾値未満であるときには前記影を補正しない撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−７８１１２（Ｐ２０１３−７８１１２Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１２−１７２１８９（Ｐ２０１２−１７２１８９）
【出願日】平成２４年８月２日（２０１２．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２４年８月２日（２０１２．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]