自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法
【課題】簡易かつ高精度に自分撮りを判断することができる。
【解決手段】撮像素子によって撮像された画像から顔領域を検出する顔領域検出手段(S109、S111)と、検出された顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段(S117)と、合焦状態検出手段によって検出された左下領域および右下領域の少なくとも一方の合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、を備えた。
【解決手段】撮像素子によって撮像された画像から顔領域を検出する顔領域検出手段(S109、S111)と、検出された顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段(S117)と、合焦状態検出手段によって検出された左下領域および右下領域の少なくとも一方の合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影モードに応じて的確な撮像条件を設定することができる自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法に関する。
【背景技術】
【0002】
近年、デジタルカメラやデジタルカメラ付き携帯電話機等の撮像装置が普及し、撮影者が日常的にそれらの撮像装置で撮像した画像を気軽に保管したり送受信したりできるようになった。それに伴い、撮影者が撮像装置を手に保持した状態で自分自身を被写体として撮影する自分撮りを行うことが一般的になってきた。しかしながら、撮影者が自分撮りを行う場合には、撮像装置と顔との距離が近すぎるため、フラッシュが強く当たり過ぎて顔が白浮きしてしまったり、顔または背景に焦点が合わずに撮影画像がぼやけてしまったりするという問題があった。
【0003】
こうしたことから、近年では、撮影時に自分撮りか自分撮りでないかを判別できる撮像装置が知られている(特許文献1参照)。この撮像装置は、顔領域検出部によって、処理対象である対象画像から顔領域を検出すると共に、腕検出部によって、上記顔領域検出部によって検出された顔領域を基に上記対象画像から腕を検出し、自分撮り判定部によって、少なくとも、上記顔領域検出部によって検出された顔領域の大きさと、上記顔領域及び上記腕検出部によって検出された腕領域の位置関係とを用いることにより、撮影者が自分撮りを行っているか否かを判定する撮像装置である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−81357号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1記載の撮像装置のように顔領域及び腕領域の大きさや位置関係を導出してその導出結果によって自分撮りを判断する方法では、複雑な処理が必要となってしまい、さらに、撮像装置を保持している腕が正しく認識されずに自分撮りを行っているにも関わらず自分撮りが検出されない可能性もあるという課題があった。
【0006】
本発明は上記課題に鑑みてなされたものであり、簡易かつ高精度に自分撮りを判断することができる自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る自分撮り判断装置は、請求項1に記載したように、撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、を備えている。
【0008】
請求項1に記載の自分撮り判断装置によれば、顔領域検出手段により、撮像素子によって撮像された画像から被写体の顔領域が検出され、合焦状態検出手段により、前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態が検出され、判断手段により、前記合焦状態検出手段によって検出された左下領域および右下領域の少なくとも一方の合焦状態が予め定められたレベルより低い場合に、自分撮りと判断される。なお、ここで言う「左下」及び「右下」は、それぞれ正対した状態における左下及び右下を意味する。これにより、顔領域の左下領域及び右下領域の合焦状態を用いることにより、腕を検出する方法を採用した場合に比較して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0009】
また、本発明に係る自分撮り判断装置において、請求項2に記載したように、前記顔領域に対応する被写体の顔までの距離を検出する第1の距離検出手段をさらに備え、前記判断手段は、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低く、かつ前記第1の距離検出手段により検出された距離が予め定められた距離以下である場合に、自分撮りと判断するようにしても良い。これにより、顔領域の左下領域及び右下領域の合焦状態と、被写体の顔までの距離を用いることにより、腕を検出する方法を採用した場合に比較して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0010】
また、本発明に係る自分撮り判断装置において、請求項3に記載したように、前記予め定められた距離がマクロ撮影時の最長距離であるようにしても良い。これにより、撮影時に自分撮りを行おうとしていると判断されなくても、マクロ撮影か否かを判断することによって、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0011】
また、上記目的を達成するために、本発明に係る自分撮り判断装置は、請求項4に記載したように、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、を備えている。
【0012】
請求項4に記載の自分撮り判断装置によれば、顔領域検出手段により、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域が検出され、距離情報取得手段により、前記第1視点画像および第2視点画像から距離情報が取得され、前記第2の距離検出手段により、前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値が第1距離として検出され、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値が第2距離として検出され、判断手段により、前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断される。これにより、被写体の顔までの距離及び顔領域の左下領域および右下領域の少なくとも一方に含まれる物体までの距離を用いることにより、腕を検出する方法を採用した場合に比較して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0013】
また、上記目的を達成するために、本発明に係る自分撮り判断装置は、請求項5に記載したように、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、を備えている。
【0014】
請求項5に記載の自分撮り判断装置によれば、顔領域検出手段により、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域が検出され、距離情報取得手段により、前記第1視点画像及び第2視点画像から距離情報が取得され、判断手段により、前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断される。これにより、第1視点画像と第2視点画像との対応関係を利用して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0015】
また、本発明に係る自分撮り判断装置において、請求項6に記載したように、前記距離情報取得手段は、前記第1視点画像と前記第2視点画像の対応点を探索し、画素毎に前記第1視点画像と前記第2視点画像の視差量を算出するようにしても良い。これにより、画素毎の第1視点画像と第2視点画像の視差量を用いて、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0016】
また、本発明に係る自分撮り判断装置において、請求項7に記載したように、前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングで前記顔領域検出手段により前記撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断するようにしても良い。これにより、撮影前のタイミングにおける自分撮り撮影の判断を考慮して、自分撮りを判断することができる、という効果を奏する。
【0017】
また、本発明に係る自分撮り判断装置において、請求項8に記載したように、前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングで前記顔領域検出手段により前記撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断するようにしても良い。これにより、撮影前のタイミングにおける判断を考慮して、自分撮りを判断することができる、という効果を奏する。
【0018】
また、本発明に係る自分撮り判断装置において、請求項9に記載したように、前記顔領域検出手段によって検出された前記顔領域における被写体の目に対応する領域に予め定められた輝度以上の領域が存在する場合に、警告する警告手段をさらに備えるようにしても良い。これにより、フラッシュの光が被写体の眼鏡に反射していた場合に、これを撮影者に警告することができる、という効果を奏する。
【0019】
一方、上記目的を達成するために、請求項10に記載の撮影装置は、請求項1から請求項9の何れか1項記載の自分撮り判断装置と、前記自分撮り判断装置によって自分撮りと判断された場合に、当該自分撮りに適した条件に撮影条件を設定する設定手段と、を備えている。これにより、前記自分撮り判断装置によって自分撮りと判断された場合に、適切な撮影条件を設定することができる、という効果を奏する。
【0020】
また、本発明に係る撮影装置において、請求項11に記載したように、前記自分撮り判断装置によって自分撮りと判断された場合に、自分撮り撮影時の設定で撮影することを提示する提示手段をさらに備えている。これにより、前記自分撮り判断装置によって自分撮りと判断された場合に、これを撮影者に提示することができる、という効果を奏する。
【0021】
また、本発明に係る撮影装置において、請求項12に記載したように、前記自分撮り判断装置によって自分撮りと判断された場合に、撮影によって記録する画像情報に関連付けて自分撮り撮影時の設定で撮影したことを示す情報を記録する記録手段をさらに有するようにしても良い。これにより、前記自分撮り判断装置によって自分撮りと判断された場合に、撮影された画像の画像情報に自分撮り撮影時の設定で撮影されたことを示す情報を記録することができる、という効果を奏する。
【0022】
一方、上記目的を達成するために、請求項13に記載のプログラムは、コンピュータを、撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、として機能させるためのプログラムである。
【0023】
従って、請求項13に記載のプログラムによれば、コンピュータを請求項1に記載の発明と同様に作用させることができるので、請求項1に記載の発明と同様に、腕を検出する方法を採用した場合に比較すると、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0024】
また、請求項14に記載したプログラムは、コンピュータを、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、として機能させるためのプログラムである。
【0025】
従って、請求項14に記載のプログラムによれば、コンピュータを請求項4に記載の発明と同様に作用させることができるので、請求項4に記載の発明と同様に、被写体の顔までの距離及び顔領域の左下領域および右下領域の少なくとも一方に含まれる物体までの距離を用いることにより、腕を検出する方法を採用した場合に比較すると、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0026】
また、請求項15に記載したプログラムは、コンピュータを、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、として機能させるためのプログラムである。
【0027】
従って、請求項15に記載のプログラムによれば、コンピュータを請求項5に記載の発明と同様に作用させることができるので、請求項5に記載の発明と同様に、第1視点画像と第2視点画像との対応関係を利用して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0028】
一方、上記目的を達成するために、請求項16に記載の自分撮り判断方法は、撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップによって検出した前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出ステップと、前記合焦状態検出ステップによって検出した合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断ステップと、を行う自分撮り判断方法である。
【0029】
従って、請求項16に記載の自分撮り判断方法によれば、請求項1に記載の発明と同様に作用することができるので、請求項1に記載の発明と同様に、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0030】
また、請求項17に記載の自分撮り判断方法は、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出ステップと、前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得ステップと、前記距離情報取得ステップにより得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出ステップにより検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出ステップと、前記第2の距離検出ステップによって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断ステップと、を行う自分撮り判断方法である。
【0031】
従って、請求項17に記載の自分撮り判断方法によれば、請求項4に記載の発明と同様に作用することができるので、請求項4に記載の発明と同様に、被写体の顔までの距離及び顔領域の左下領域および右下領域の少なくとも一方に含まれる物体までの距離を用いることにより、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0032】
また、請求項18記載の自分撮り判断方法は、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出ステップと、前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得ステップと、前記距離情報取得ステップにより得られた距離情報から、前記顔領域検出ステップにより検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断ステップと、を行う自分撮り判断方法である。
【0033】
従って、請求項18に記載の自分撮り判断方法によれば、請求項5に記載の発明と同様に作用することができるので、請求項5に記載の発明と同様に、第1視点画像と第2視点画像との対応関係を利用して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【発明の効果】
【0034】
本発明によれば、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【図面の簡単な説明】
【0035】
【図1】第1、4、6実施形態に係る撮像装置の外観を示す図であり、(A)は上面図、(B)は正面図、(C)は背面図である。
【図2】第1、4、6実施形態に係る撮像装置の構成を示すブロック図である。
【図3】実施形態に係る撮影情報の一例を示す模式図である。
【図4】第1実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図5】(A)は、第1実施形態に係る撮像装置による撮影画像の一例を示す図であり、(B)は、撮影画像を用いて自分撮り判断を行う際の判断方法を説明するための概略図である。
【図6】第2、3、5実施形態に係る撮像装置の外観を示す図であり、(A)は上面図、(B)は正面図、(C)は背面図である。
【図7】第2、3、5実施形態に係る撮像装置の構成を示すブロック図である。
【図8】第2実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図9】第2実施形態に係る撮像装置による撮影画像の一例を示す図であり、(A)は左側画像であり、(B)は右側画像である。
【図10】第2実施形態に係る撮像装置による視差マップの一例を示す図であり、(A)は左側視差マップであり、(B)は右側視差マップである。
【図11】第3実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図12】第3実施形態に係る撮像装置による視差マップを用いて自分撮り判断を行う際の判断方法を説明するための概略図であり、(A)は左側視差マップを用いた場合、(B)は右側視差マップを用いた場合である。
【図13】第4実施形態に係る撮影前判定処理プログラムの処理の流れを示すフローチャートである。
【図14】第4実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図15】第4実施形態に係る撮像装置による撮影画像を用いてスルー画像表示中に自分撮り判断を行う際の判断方法を説明するための概略図であり、(A)は、スルー画像表示中における図であり、(B)は、半押し状態における図である。
【図16】第5実施形態に係る撮影前判定処理プログラムの処理の流れを示すフローチャートである。
【図17】第5実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図18】第5実施形態に係る撮像装置による撮影画像の視差マップを用いてスルー画像表示中に自分撮り判断を行う際の判断方法を説明するための概略図であり、(A)は、スルー画像表示中における図であり、(B)は、半押し状態における図である。
【図19】第6実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図20】(A)は、第6実施形態に係る撮像装置による撮影画像の一例を示す図であり、(B)は、第6実施形態に係る撮像装置における警告表示の一例を示す図である。
【発明を実施するための形態】
【0036】
〔第1実施形態〕
以下、第1実施形態に係る撮像装置1について添付図面を用いて詳細に説明する。
【0037】
図1は、第1実施形態に係る撮像装置1の外観を示す図であり、図1(A)は上面図、図1(B)は正面図、図1(C)は背面図である。
【0038】
図1に示すように、撮像装置1は、所謂単眼カメラであり、内部に撮像に用いられる各種電子部品が収納された筐体2を有する。筐体2の正面には、複数のレンズからなる光学撮像系3、及び撮影時に周囲を照らすために発光するストロボ4が設けられている。また、筐体2の背面には、LCD(Liquid Crystal Display)等を有し撮影画像等を表示する表示部5、ユーザ操作により設定指示を入力するメニュー操作部6Aが設けられている。一方で、筐体2の上面部には、ユーザ操作により半押し操作または全押し操作によって撮影指示等を入力するレリーズボタン6B、ユーザ操作により電源のオン/オフ状態の切替指示を入力する電源ボタン6C、及びユーザ操作によりモード切替指示を入力するモード切替ボタン6Dが設けられている。以下、メニュー操作部6A、レリーズボタン6B、電源ボタン6C、及びモード切替ボタン6Dをまとめて操作部6と言う。
【0039】
表示部5は、本撮影に先立って撮像される画素数の小さい画像が後述するスルー画像として表示されることによりファインダとして機能する。また、表示部5には、撮影後に撮影画像が表示されたり、メモリカード等の記憶媒体(図示省略)に記憶された画像が表示されたり、または、ユーザによる操作部6の操作に応じて操作メニュー画面や設定メニュー画面等が表示されたりする。なお、モード切替ボタン6Dにより切り替えられるモードは、撮影を行うモードである撮影モード、表示部5に既に撮影された撮影画像を表示するモードである再生モード、及び各種設定を行うモードである設定モード等である。
【0040】
図2は、撮像装置1の電気系の要部構成を示す概略ブロック図である。図2に示すように、撮像装置1は、主制御部10、撮影部11、撮影制御部12、画像処理部13、圧縮/伸張処理部14、フレームメモリ15、表示制御部16、メディア制御部17、及び内部メモリ18を備えている。
【0041】
主制御部10は、CPU(Central Processing Unit)やRAM(Random Access Memory)等を備えていて、操作部6を介したユーザ操作に従って、撮像装置1を総括的に制御する。また、主制御部10は、レリーズボタン6Bの操作状態(半押し状態、全押し状態、または押されていない開放状態等)を取得して、当該操作状態に応じて、後述する撮影制御処理プログラム(後述する第4実施形態、第5実施形態では撮影前判定処理プログラムも含む)を含む各種プログラムを実行する。
【0042】
撮影部11は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成された撮像素子を有し、光学撮像系3に入射した光を受光して電気信号に変換して画像データを生成する。
【0043】
撮影制御部12は、AF(Automatic Focusing)処理部(図示せず)及びAE(Automatic Exposure)処理部(図示せず)を備えていて、ユーザ操作によりレリーズボタン6Bの半押し操作がされると、AE/AF処理を行う。すなわち、レリーズボタン6Bの半押し操作がされると、AF処理部は、撮影部11によって取得されたプレ画像(レンズから入射されている画像)に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、撮影部11に合焦領域や焦点位置を示すデータを出力する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部11にシャッタ速度や絞り値を示すデータを出力する。
【0044】
また、撮影制御部12は、ユーザ操作によりレリーズボタン6Bの全押し操作がされると、撮影部11に対して本画像を取得する本撮影を行うように指示を出す。なお、レリーズボタン6Bが操作される前は、撮影制御部12は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を撮影部11に対して行っている。
【0045】
画像処理部13は、撮影部11が取得した画像データの各々に対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正などの様々な画像処理を施す。
【0046】
圧縮/伸張処理部14は、画像処理部13によって画像処理が施された画像を表す画像データに対して、例えばJPEGなどの圧縮形式で圧縮処理を行う。また、圧縮/伸張処理部14は、圧縮処理が施された画像データに対して圧縮形式に応じた伸張形式で伸張処理を行う。
【0047】
フレームメモリ15は、撮影部11が取得した画像の画像データに対して、前述の画像処理部13が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
【0048】
表示制御部16は、主制御部10または撮影制御部12による制御に基づいて、撮影時においてフレームメモリ15に格納された画像データから二次元表示用画像を生成して表示部5に表示させたり、記録メディア17Aに記憶されている画像データから二次元表示用画像を生成して表示部5に表示させたりする。
【0049】
メディア制御部17は、撮像装置1に記録メディア17Aなどの各種記録メディアが電気接続された際に、主制御部10の制御に基づいて、この記録メディア17Aの記憶領域に対する画像データ等のデータの読み書き制御を行う。
【0050】
内部メモリ18は、撮像装置1において設定される各種設定事項を示すデータ、撮像装置1により撮影された撮影画像の画像データ、及び主制御部10が実行するプログラムや当該プログラムの処理に使用されるデータを記憶する。なお、この内部メモリ18は、後述する撮影制御処理プログラム(後述する第4実施形態、第5実施形態では、撮影前判定処理プログラムを含む)を記憶している。
【0051】
ところで、本実施形態に係る撮像装置1は、設定されている撮影モードに応じて最適な撮影条件を設定する機能を備えている。本実施形態に係る撮像装置1において設定される撮影モードは、通常撮影モード、通常マクロ撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モード等である。通常マクロ撮影モードは、被写体に近接して撮影するモードであり、マクロポートレート撮影モードは、人物を被写体として所定距離より近接して撮影するモードであり、自分撮り撮影モードは、撮影者が自分自身にレンズを向けて被写体となって撮影するモードである。
【0052】
特に、自分撮り撮影モードで撮影する場合には、撮像装置1と撮影者との距離が近すぎて、顔にフラッシュが強く当たりすぎて顔が白浮きしてしまったり、顔または背景に焦点が合わず撮影画像がぼけてしまったりする可能性がある。そのため、撮像装置1が自分撮り撮影モードに設定されている場合には、自分撮り撮影モードに最適なフラッシュの発光量や焦点被写界深度等の撮影条件が設定されることが望ましい。
【0053】
そこで、本実施形態に係る撮像装置1は、レリーズボタン6Bの半押し状態において、スルー画像により自分撮り撮影モードに設定すべきか否かを判断して、自分撮り撮影モードに設定すべき状況であった場合には自分撮り撮影モードに最適な撮影条件に設定する機能を備えている。
【0054】
撮像装置1は、以下の(1)乃至(3)の自分撮り設定条件を満たしている場合に、撮影者が自分撮りを行っている可能性が高いため、自分撮り撮影モードに設定すべきであると判断する。
(1)撮像画像内において顔が検出されていること
(2)AF処理に伴って得られた撮像装置1から被写体までの距離が所定距離(本実施形態では1m)以内であること
(3)上記(1)で検出された顔のうちの1つの左下または右下に、撮像装置1を保持している腕の領域である高周波成分が少ない(すなわち焦点が合わずにぼやけている)領域が存在すること
【0055】
なお、本実施形態、及び後述する第2実施形態乃至第6実施形態における「左下」及び「右下」は、それぞれ正対した状態における左下及び右下を意味する。また、「左側」及び「右側」についても同様である。
【0056】
また、本実施形態に係る撮像装置1は、撮影モードに合わせて撮影条件を決定するために、内部メモリ18に、撮影モード毎の撮影条件等を示す撮影情報20を記憶している。図3は、撮影情報20の一例を示す図である。図3に示すように、撮影情報20は、撮影モード毎に、撮影時に出力する音声を示す音声情報21、撮影後にポストビューとして撮影画像を表示する時間を示すポストビュー時間情報22、眼鏡に光が反射していた場合に警告を行うか否かを示す眼鏡警告情報23、フラッシュ発光量、焦点距離、感度、ホワイトバランス、及び被写界深度等が関連付けられた情報である。
【0057】
なお、撮影情報20において、自分撮り撮影モードで撮影されることを撮影者が認識できるように、自分撮り撮影モードの場合のみ異なる音声に設定されているとともに、自分撮り撮影モードの場合には撮影者が撮影装置1の正面を自分自身に向けて撮影していて撮影後に表示部5を即座に視認できないことが予想されるため、自分撮り撮影モードの場合に他の撮影モードの場合よりもポストビュー時間が長く設定されている。また、自分撮り撮影モードの場合にはストロボ4と顔が近すぎて眼鏡にフラッシュが反射して眼鏡が光ってしまうことを防止するために、自分撮り撮影モードの場合には眼鏡の警告を行うように設定されている。これらの各種情報は予め設定されて記憶されている。
【0058】
本実施形態に係る撮像装置1は、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図4は、本実施形態に係る撮像装置1の主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。図4に基づいて、撮像装置1の当該撮影制御処理について説明する。
【0059】
始めに、ステップS101において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS101において半押しされていると判定された場合は、ステップS103において、主制御部10は、AE/AF処理を実行するように撮影制御部12を制御する。
【0060】
ステップS105において、主制御部10は、ステップS103にて行ったAF処理に伴って得られた撮像装置1から被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。この際、主制御部10は、例えば撮像装置1から被写体までの距離が予め定められた距離以下である場合にマクロ撮影時での距離に該当すると判定する。なお、この際、撮像装置1から被写体までの距離がマクロ撮影を行う最長距離以下である場合に、マクロ撮影時での距離であると判断されると良い。
【0061】
ステップS105において撮像装置1から被写体までの距離がマクロ撮影時での距離に該当しないと判定された場合は、ステップS107において、主制御部10は、当該撮影が通常マクロ領域撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モードの何れの撮影でもないと判断し、撮影モードを通常撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常撮影モードの撮影条件を設定する。
【0062】
なお、本実施形態に係る撮像装置1では、撮像光学系3に設けられたフォーカスレンズの合焦時の位置と、AF処理の対象とする領域として予め定められたAF領域(本実施の形態に係る撮像装置1では、スルー画像の中央部を含む一部領域)に存在する被写体までの合焦時における距離とが関連付けられた情報が内部メモリ18に予め記憶されている。そこで、本実施形態に係る撮像装置1では、当該情報から、AF処理部による合焦時のフォーカスレンズの位置より、被写体までの距離を導出するようにしている。
【0063】
ステップS105において撮像装置1から被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS109において、主制御部10は、スルー画像から人間の顔を検出する顔検出処理を実行する。顔を検出する処理は、画像において顔を特徴付ける目や眉や口等の特徴点を検出した場合に顔だと判断する手法等、従来既知の何れかの手法で行われる。そして、ステップS111において、主制御部10は、ステップS109により顔が一つ以上検出されたか否かを判定する。
【0064】
ステップS111において顔が1つも検出されなかったと判定された場合は、ステップS113において、主制御部10は、当該撮影が通常のマクロ撮影時での距離における撮影であるものと判断し、撮影モードを通常マクロ撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常マクロ撮影モードの撮影条件を設定する。
【0065】
ステップS111において顔が1つ以上検出された場合は、ステップS115において、主制御部10は、自分撮り撮影モードか否かを判定するために、ステップS109にて検出した顔領域の周辺領域の空間周波数を導出する。この際、主制御部10は、撮影画像25における顔領域26の左下に位置する所定範囲の領域を左下領域27Aとし、撮影画像25における顔領域26の右下に位置する所定範囲の領域を右下領域27Bとする。本実施形態では、左下領域27A及び右下領域27Bは、顔領域26から所定距離離れた位置を中心とし、それぞれ縦横方向の各々に予め定められた長さの辺を有する矩形の領域であるが、これに限定されず、顔領域26から所定距離離れた位置を中心とし、予め定められた半径を有する円形や楕円形であっても良く、その他の形状であっても良い。
【0066】
図5(A)は、撮像装置1による撮影画像25(スルー画像)を示す図であり、図5(B)は、撮影画像25を用いて自分撮り判定を行う際の判定方法を説明するための概略図である。図5(A)に示す撮影画像25において、図5(B)に示すように、ステップS111にて検出された顔の顔領域26の左下領域27A、右下領域27Bが特定され、左下領域27A、右下領域27Bの各々の空間周波数が導出される。
【0067】
なお、本実施形態に係る撮像装置1では、AF処理部により、上記AF領域の空間周波数を導出している。そこで、本実施形態に係る撮像装置1では、左下領域27Aおよび右下領域27Bにおける空間周波数を導出させるようにAF処理部を制御することにより、当該空間周波数を導出するようにしている。
【0068】
ステップS117において、主制御部10は、ステップS115により導出された左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分よりも少ないか否かを判定する。すなわち、撮影者が撮像装置1で自分撮りを行っている場合には、いずれかの手で撮像装置1を保持しているため、撮像装置1を保持している側の腕が撮像装置1に接近して焦点がずれ、高周波成分が少なくなる。撮像装置1は、これを利用して、高周波成分の割合すなわち合焦状態のレベルに応じて自分撮り撮影か否かの判定を行う。
【0069】
なお、このように本実施形態では左下領域27A、右下領域27Bの高周波成分を当該左下領域27A、右下領域27B以外の領域の高周波成分と比較しているが、これに限定されず、左下領域27A、右下領域27Bの高周波成分を予め定められた閾値と比較する形態としても良い。
【0070】
ステップS117において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分の割合以上であると判定された場合は、ステップS119において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0071】
ステップS117において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分より少なかった場合(図5(B)においては、右下領域27Bの高周波成分が、他の領域の高周波成分より少ない)は、ステップS121において、主制御部10は、当該撮影が、所定距離以内に近接して行う撮影であるマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0072】
この際、撮像装置1が自分撮り撮影モードに設定されていることを撮影者が認識できるように、主制御部10は、自分撮りモードに設定されていることを撮影者に対して提示する。例えば、主制御部10は、表示部5に自分撮り撮影モードに設定されていることを表す情報を表示すると良い。また、撮像装置1が撮影時に図示しないLEDを発光させる場合には、自分撮り撮影モードに設定されていることを表す発光方法(色や点滅等)で当該LEDを発光させると良い。あるいは、自分撮り撮影モードに設定されていることを表す音声を出力することで撮影者に自分撮り撮影モードに設定されていることを報知するようにしても良い。
【0073】
ステップS107、S113、S119またはS121において撮影モードが設定されると、ステップS123において、主制御部10は、レリーズボタン6Bが全押しされた否かを判定する。ステップS123において全押しされていないと判定された場合は、ステップS125において、主制御部10は、ステップS101にて半押しされていたレリーズボタン6Bが開放されたか否かを判定する。
【0074】
ステップS125においてレリーズボタン6Bが開放されたと判定された場合は、ステップS101に移行する。一方、ステップS125においてレリーズボタン6Bが開放されていないと判定された場合は、ステップS123に移行する。
【0075】
ステップS123において全押しされたと判定された場合は、ステップS127において、主制御部10は、ステップS107、S113、S119またはS121において設定された撮影モードに応じて、撮影情報20に基づいて撮影条件を決定して撮影処理を実行する。
【0076】
この際、主制御部10は、撮影処理により撮影された撮影画像を内部メモリ18に記録するとともに、ステップS107、S113、S119またはS121において設定された撮影モードと、ステップS127において決定された撮影条件とを、当該撮影画像に関連付けて(例えばExifタグ等にて)記録する。
【0077】
また、この際、撮影情報20に基づいて、撮像装置1が自分撮り撮影モード以外に設定されている場合には、撮影時に出力される音声を音声Aとするのに対し、撮像装置1が自分撮り撮影モードに設定されている場合には、撮影時に出力される音声を音声Bとすることで自分撮り撮影モードであることを報知する。また、撮像装置1が自分撮り撮影モード以外に設定されている場合には、撮影終了時に撮影画像を表示する時間(ポストビュー時間)を5秒とするのに対し、撮像装置1が自分撮り撮影モードに設定されている場合には、撮影終了時に撮影画像を表示する時間(ポストビュー時間)を通常より長い10秒とする。
【0078】
このようにして本実施形態に係る撮像装置1は、撮像素子によって撮像された被写体像から顔領域を検出し、被写体像の顔領域における左下領域および右下領域の合焦状態を検出し、検出された左下領域および右下領域の少なくとも一方の合焦状態が予め定められたレベルより低い場合に、自分撮りを行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0079】
また、撮像装置1を用いて自分撮りをした際に、フラッシュが強すぎて顔が白飛びしたり、背景に焦点が合わなくなったりすることがなくなり、きれいな写真が撮影可能となる。
【0080】
さらに、自分撮り撮影モードでの撮影時に、撮影者が自分撮り撮影モードで撮影していること、あるいは撮影されたことを確認できるとともに、自分撮り撮影モードでの撮影後に、ポストビュー時間を通常より長くすることで、撮影者が撮影画像をゆっくり確認することができる。
【0081】
〔第2実施形態〕
以下、第2実施形態に係る撮像装置1Aについて添付図面を用いて詳細に説明する。
【0082】
図6は、第2実施形態に係る撮像装置1Aの外観を示す図であり、図6(A)は上面図、図6(B)は正面図、図6(C)は背面図である。なお、第1実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0083】
第1実施形態の撮像装置1は所謂単眼カメラであったが、第2実施形態の撮像装置1Aは、図6に示すように、所謂複眼カメラである。筐体2の正面には、複数(本実施形態では2つ)のレンズからなる複数の光学撮像系3A、3Bが設けられている。撮像装置1Aは、また、筐体2の背面には、立体表示可能なディスプレイを有する表示部5Aが設けられている。
【0084】
表示部5Aには、前述したスルー画像が表示され、これにより表示部5Aがファインダとして機能する。また、表示部5Aには、メモリカード等の記憶メディア16Aに記憶された画像が表示されたり、操作部6のユーザ操作に応じた操作メニューや設定メニュー等が表示されたりする。
【0085】
図7は、撮像装置1Aの電気系の要部構成を示す概略ブロック図である。図7に示すように、第2実施形態の撮像装置1Aは、第1実施形態の撮像装置1と略同様の構成を有するが、第1実施形態の撮像装置1の撮像部11に代えて、複数の撮影部である左用撮影部11A及び右用撮影部11Bを備えている。左用撮影部11Aは左目の視点に相当する左側画像を撮影し、右用撮影部11Bは右目の視点に相当する右側画像を撮影し、これらの左側画像及び右側画像により三次元画像が生成される。
【0086】
左用撮影部11Aは、CCDやCMOSで構成された撮像素子を有し、撮像光学系3Aに入射した光を受光して電気信号に変換して画像を再構成する。同様に、右用撮影部11Bは、CCDやCMOSで構成された撮像素子を有し、撮像光学系3Bに入射した光を受光して電気信号に変換して画像を再構成する。左用撮影部11A及び右用撮影部11Bは、被写体を見込む輻輳角を持って予め定められた基線長となる位置に配置されている。なお、輻輳角、基線長の情報は内部メモリ18に記憶されている。
【0087】
また、第2実施形態に係る撮像装置1Aは、第1実施形態に係る撮像装置1が有する構成に加えて、三次元処理部30及び視差マップ生成部31を備えている。
【0088】
三次元処理部30は、主制御部10または撮影制御部12による制御に基づいて、表示制御部17が画像の立体視表示を行う際に、立体視用の画像データに含まれる左側画像及び右側画像の画像データにそれぞれ三次元処理を行って立体視用の画像を生成する。
【0089】
視差マップ生成部31は、主制御部10または撮影制御部12による制御に基づいて、左側画像と右側画像との相互の視差マップを生成する。ここで、視差は、左側画像及び右側画像の双方に含まれる被写体の左側画像と右側画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用の画像に含まれる被写体の立体感を適切なものとすることができる。また、視差マップ生成部31は、被写体の左側画像と右側画像との水平方向における画素位置の相違から、当該撮像装置1Aから被写体までの距離を導出することができる。
【0090】
表示制御部16Aは、主制御部10または撮影制御部12による制御に基づいて、撮影時においてフレームメモリ15に格納された各々の画像データから三次元表示用画像を生成して表示部5Aに表示させたり、記録メディア17Aに記憶されている画像データから三次元表示用画像を生成して表示部5Aに表示させたりする。
【0091】
ここで、第2実施形態に係る撮像装置1Aは、第1実施形態に係る撮像装置1と同様に、撮影モードとして、通常撮影モード、通常マクロ撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モードの各々に切り替えることができる。また、撮像装置1Aは、レリーズボタン6Bの半押し状態において、スルー画像により自分撮り撮影モードに設定すべきか否かを判断して、自分撮り撮影モードであった場合には自分撮り撮影モードに最適な撮影条件に設定する機能を備えている。
【0092】
撮像装置1Aは、以下の(1)乃至(3)の3条件を満たしている場合に、自分撮りを行っている可能性が高いため、自分撮り撮影モードに設定すべきであると判断する。
(1)撮像画像内において顔が検出されていること
(2)AF処理に伴って得られた撮像装置1から被写体までの距離が所定距離(本実施形態では1m)以内であること
(3)視差マップにおいて、検出された顔のうちの1つの左下または右下に、顔より距離が近いオブジェクトがあること
【0093】
本実施形態に係る撮像装置1Aは、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図8は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。図8に基づいて、撮像装置1Aの当該撮影制御処理について説明する。
【0094】
始めに、ステップS201において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS201において半押しされていると判定された場合は、ステップS203において、主制御部10は、AE/AF処理を実行するように撮影制御部12を制御する。
【0095】
ステップS205において、主制御部10は、ステップS203にて行ったAF処理に伴って得られた撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。この際、主制御部10は、例えば撮像装置1Aから被写体までの距離が予め定められた距離以下である場合にマクロ撮影時での距離に該当すると判定する。なお、この際、撮像装置1Aから被写体までの距離がマクロ撮影を行う最長距離以下である場合に、マクロ撮影時での距離であると判断されると良い。
【0096】
ステップS205において撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当しないと判定された場合は、ステップS207において、主制御部10は、当該撮影が通常マクロ領域撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モードの何れの撮影でもないと判断し、撮影モードを通常撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常撮影モードの撮影条件を設定する。
【0097】
ステップS205においてAF処理に伴って得られた撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS209において、主制御部10は、撮影前のスルー画像から人間の顔を検出する顔検出処理を実行する。顔を検出する処理は、ステップS109と同様の手法で行われる。そして、ステップS211において、主制御部10は、ステップS209により顔が一つ以上検出されたか否かを判定する。
【0098】
ステップS211において顔が1つも検出されなかった場合は、ステップS213において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではあるがポートレート撮影ではないものと判断し、撮影モードを通常マクロ撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常マクロ撮影モードの撮影条件を設定する。
【0099】
ステップS211において顔が1つ以上検出された場合は、ステップS215において、主制御部10は、自分撮り撮影モードか否かを判定するために、撮像光学系3Aを介して取得した左側画像、及び撮像光学系3Bを介して取得した右側画像から視差マップを生成する。
【0100】
ここで、視差マップを生成する方法について説明する。まず、左側画像と右側画像との間でステレオ・マッチングを行うことにより、例えば左側画像を基準として、左側画像上の画素(x1,y1)に対応する右側画像上の対応点の画素(x2,y2)を抽出する。なお、ここでは、視差が画像の横方向(水平方向)に発生しており、縦方向(垂直方向)にずれは生じていないものとして説明する。
【0101】
次に、左側画像上の画素(x1,y1)と右側画像上の対応点の画素(x2,y2)との視差dを、d=x2−x1により算出し、この視差dを、基準とした左側画像の画素位置(x1,y1)に格納する。そして、左側画像の各画素について計算した視差dを左側画像の画素位置に対応させて格納して画像化する。この画像化したものが「視差マップ」である。
【0102】
なお、本実施形態に係る撮像装置1Aでは、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用するものとしている。また、本実施形態に係る撮像装置1Aでは、視差マップとして、左側画像を基準としたもの(以下、「左側視差マップ」という。)と、右側画像を基準としたもの(以下、「右側視差マップ」という。)の2種類を生成する。
【0103】
図9(A)は、撮像光学系3Aを介して取得した左側画像を示す図であり、図9(B)は、撮像光学系3Bを介して取得した右側画像を示す図である。また、図10(A)は、左側画像の右側画像に対する視差マップ(左側視差マップ)を示す図であり、図10(B)は、右側画像の左側画像に対する視差マップ’(右側視差マップ)を示す図である。本実施形態における視差マップは、視差が大きくなるにつれて濃い色になるように生成される。
【0104】
図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図10(A)に示すような左側視差マップ36Aが生成され、この左側視差マップ36Aから、顔領域37Aの左下領域38A、右下領域38Bが特定され、顔領域37A、左下領域38A、及び右下領域38Bの各々の距離が求められる。
【0105】
同様に、図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図10(B)に示すような右側視差マップ36Bが生成され、この右側視差マップ36Bから、顔領域37Bの左下領域38C、右下領域38Dが特定され、顔領域37B、左下領域38C、及び右下領域38Dの各々の距離が求められる。
【0106】
ステップS217において、主制御部10は、ステップS215により生成された左側視差マップ36Aにて、顔領域37Aの左下領域38A、または顔領域37Bの右下領域38Bの距離が、顔領域37Aの距離よりも近いか否かを判定する。すなわち、撮影者が撮像装置1Aで自分撮りを行っている場合には、いずれかの手で撮像装置1Aを保持しているため、撮像装置1Aを保持している側の腕が撮像装置1Aに接近して距離が近くなる。撮像装置1Aは、これを利用して自分撮り撮影か否かの判断を行う。
【0107】
ステップS217において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近かった場合は、ステップS219において、主制御部10は、左側視差マップ36A及び右側視差マップ36Bにおける顔領域37Aの左下領域38Aまたは右下領域38Bの相互の対応点が他の領域より少ないか否かを判定する。
【0108】
ステップS219において左下領域38Aまたは右下領域38Bの相互の対応点が他の領域より少なくない場合は、ステップS221において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0109】
ステップS217において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近くなかった場合、または、ステップS219において左下領域38Aまたは右下領域38Bの相互の対応点が他の領域より少なかった場合は、ステップS223において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0110】
ステップS207、S213、S221またはS223において撮影モードが設定されると、ステップS225において、主制御部10は、レリーズボタン6Bが全押しされているか否かを判定する。ステップS225において全押しされていないと判定された場合は、ステップS227において、主制御部10は、ステップS201にて半押しされていたレリーズボタン6Bが開放されたか否かを判定する。
【0111】
ステップS227においてレリーズボタン6Bが開放されたと判定された場合は、ステップS201に移行する。一方、ステップS227においてレリーズボタン6Bが開放されていないと判定された場合は、ステップS225に移行する。
【0112】
ステップS225において全押しされたと判定された場合は、ステップS229において、主制御部10は、ステップS207、S213、S221またはS223において設定された撮影モードに応じて、撮影情報20に基づいて撮影条件を決定して撮影処理を実行する。
【0113】
この際、撮像装置1Aは、自分撮り撮影モードに設定されている場合は、顔の視差が0に、背景の視差が奥行き方向に近くなるように視差を調整すると良い。また、撮像装置1Aは、絞りを絞って被写界深度を深く設定し、顔と背景の両方に焦点が合うようにする。
【0114】
このようにして本実施形態に係る撮像装置1Aは、 撮像素子によって撮像された被写体像から顔領域を検出し、検出された顔領域までの第1距離を検出し、被写体像の顔領域における左下領域および右下領域に含まれる物体までの第2距離を検出し、検出された第2距離に第1距離より近いものが存在する場合に、自分撮りを行おうとしていると判断する。
【0115】
また、被写体像として3次元撮影によって得られた左側画像および右側画像が利用可能であり、被写体像の前記顔領域の左下領域および右下領域に含まれる物体に、左側画像と前記右側画像とで対応がとれない物体が存在する場合に、自分撮りを行おうとしていると判断する。これにより、撮像装置1Aは、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0116】
また、撮像装置1Aは、自分撮り撮影モードに設定された場合に、自分撮り撮影モードに最適な視差とクロスポイントに調整することができる。
【0117】
また、撮像装置1Aを用いて自分撮りをした際に、フラッシュが強すぎて顔が白飛びしたり、背景に焦点が合わなくなったりすることがなくなり、きれいな写真が撮影可能となる。
【0118】
さらに、自分撮り撮影モードでの撮影時に、撮影者が自分撮り撮影モードで撮影していること、あるいは撮影されたことを確認できるとともに、自分撮り撮影モードでの撮影後に、ポストビュー時間を通常より長くすることで、撮影者が撮影画像をゆっくり確認することができる。
【0119】
〔第3実施形態〕
以下、第3実施形態に係る撮像装置1Aについて添付図面を用いて詳細に説明する。
【0120】
なお、第3実施形態の撮像装置1Aは、第2実施形態と同一の構成を有するため、第2実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0121】
第3実施形態に係る撮像装置1Aは、以下の(1)乃至(3)の3条件を満たしている場合に、自分撮りを行っている可能性が高いため、自分撮り撮影モードに設定すべきであると判断する。
(1)撮像画像内において顔が検出されていること
(2)AF処理に伴って得られた撮像装置1Aから被写体までの距離が予め定められた所定距離(本実施形態では1m)以内であること
(3)視差マップにおいて、検出された顔の領域に左右どちらかの視点からしか見えない死角(オクルージョン領域)が一定以上の割合(本実施形態では5%以上)で発生していること
【0122】
上記(3)の条件は、背景の左右対応が取れているが顔の左右対応が取れていない場合にオクルージョン領域が大きくなるため、撮像装置1Aから顔までの距離及び撮像装置1Aから背景までの距離の差が大きい場合に自分撮りがされていることが推測されることによる。
【0123】
第3実施形態に係る撮像装置1Aは、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図11は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。図11に基づいて、撮像装置1Aの当該撮影制御処理について説明する。
【0124】
始めに、ステップS301において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS201において半押しされていると判定された場合は、ステップS303乃至S317において、第2実施形態のステップS203乃至S217と同様の処理を行う。
【0125】
そして、ステップS317において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近かった場合は、ステップS319において、主制御部10は、左側視差マップ36Aまたは右側視差マップ36Bにおける顔領域37Aにおいてオクルージョン領域が予め定められた値(本実施形態では5%)以上であるか否かを判定する。
【0126】
オクルージョン領域とは、左側画像35Aには写っているが右側画像35Bには写っていない領域、あるいは右側画像35Bには写っているが左側画像35Aには写っていない領域であり、左側画像35Aと右側画像35Bとの対応点を求めることにより、オクルージョン領域を求めることができる。本実施形態に係る視差マップは、前述したように、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用しているので、左側画像視差マップおよび右側画像視差マップにおいて、同一の視差dが連続的に記憶されている対応点の数を計数することによりオクルージョン領域の面積を導出する。
【0127】
図12(A)は、左側画像の右側画像に対する視差マップ(左側視差マップ)を示す図であり、図12(B)は、右側画像の左側画像に対する視差マップ(右側視差マップ)を示す図である。なお、本実施形態における視差マップは、視差が大きくなるにつれて濃い色になるように生成される。
【0128】
図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図12(A)に示すような左側視差マップ40Aが生成され、この左側視差マップ40Aから、顔領域41Aのオクルージョン領域42Aが特定される。
【0129】
同様に、図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図12(B)に示すような右側視差マップ40Bが生成され、この右側視差マップ40Bから、顔領域41Bのオクルージョン領域42Bが特定される。
【0130】
ステップS319においてオクルージョン領域が5%以上でない場合は、ステップS321において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0131】
ステップS317において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近くなかった場合、または、ステップS319においてオクルージョン領域が5%以上であった場合は、ステップS323において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0132】
そして、ステップS325乃至S327において、第2実施形態のステップS225乃至S227とそれぞれ同様の処理を行う。
【0133】
このようにして撮像装置1Aは、被写体像として3次元撮影によって得られた左側画像および右側画像が利用可能であり、左側画像に写っていて前記右側画像に写っていない領域、及び、右側画像には写っていて右下領域には写っていない領域の全体に対する割合が所定値以上であった場合に、自分撮りを行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0134】
〔第4実施形態〕
以下、第4実施形態に係る撮像装置1について添付図面を用いて詳細に説明する。
【0135】
なお、第4実施形態に係る撮像装置1は、第1実施形態に係る撮像装置1と同一の構成を有するため、第1実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0136】
第4実施形態に係る撮像装置1は、撮影者が撮影前にスルー画像を見ながら撮像装置1を保持している腕が撮影されないように撮像装置1の位置や向きを調整することを考慮し、レリーズボタン6Bが半押しされる前に自分撮り撮影か否かを判定し、自分撮り撮影であると判定された場合には、レリーズボタン6Bの半押し時に自分撮り撮影だと判定されなかった場合でも自分撮り撮影モードに設定するものである。
【0137】
本実施形態に係る撮像装置1は、撮影前にスルー画像を表示した状態において撮影モードを判定する撮影前判定処理、及び、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図13は、本実施形態に係る撮像装置1の主制御部10により実行される撮影前判定処理プログラムの処理の流れを示すフローチャートであり、図14は、本実施形態に係る撮像装置1の主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。
【0138】
ステップS401において、主制御部10は、スルー画像が表示中であるか否かを判定する。そして、ステップS401においてスルー画像が表示中であると判定された場合は、ステップS403において、主制御部10は、AE/AF処理を実行する。
【0139】
ステップS405において、ステップS105と同様に、主制御部10は、ステップS403にて行ったAF処理に伴って得られた撮像装置1から被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。
【0140】
ステップS405において撮像装置1から被写体までの距離がマクロ撮影時での距離に該当しないと判定された場合は、ステップS407において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではないと判断し、撮影モードを通常撮影モードに設定する。
【0141】
ステップS405においてAF処理に伴って得られた撮像装置1から被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS409において、主制御部10は、撮影前のスルー画像から人間の顔を検出する顔検出処理を実行する。顔を検出する処理は、画像において顔を特徴付ける目や眉や口等の特徴点を検出した場合に顔だと判定して当該顔を検出する方法等、任意の方法で行われる。そして、ステップS411において、主制御部10は、ステップS409の処理により顔が一つ以上検出されたか否かを判定する。
【0142】
ステップS411において顔が1つも検出されなかった場合は、ステップS413において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではあるがポートレート撮影ではないものと判断し、撮影モードを通常マクロ撮影モードに設定する。
【0143】
ステップS411において顔が1つ以上検出された場合は、ステップS415において、主制御部10は、自分撮り撮影モードか否かを判定するために、ステップS411にて検出した顔領域の周辺領域の空間周波数を導出する。
【0144】
図15(A)は、撮影画像25を用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図15(A)に示す撮影画像25において、ステップS411にて検出された顔の顔領域26の左下領域27A、右下領域27Bが特定され、左下領域27A、右下領域27Bの各々の空間周波数が導出される。
【0145】
ステップS417において、主制御部10は、ステップS415により導出された左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分よりも少ないか否かを判定する。すなわち、撮影者が撮像装置1で自分撮りを行っている場合には、いずれかの手で撮像装置1を保持しているため、撮像装置1を保持している側の腕が撮像装置1に接近して焦点がずれ、高周波成分が少なくなる。撮像装置1は、これを利用して自分撮り撮影か否かの判断を行う。
【0146】
ステップS417において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分の量以上であった場合は、ステップS419において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。
【0147】
ステップS417において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分より少なかった場合は、ステップS421において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。そして、ステップS423において、主制御部10は、ステップS409、S411、S415にて判定に使用した画像の画像データを内部メモリ18に記憶する。なお、この記憶された画像データは、後述するように、顔が同一か否かを判定する際に使用される。
【0148】
次に、撮像装置1がステップS407、S413、S419またはS421にて設定された撮影モードを利用して行う撮影制御処理について、図14に基づいて説明する。
【0149】
始めに、ステップS501において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS501において半押しされていると判定された場合は、ステップS503において、主制御部10は、AE/AF処理を実行する。
【0150】
ステップS505において、主制御部10は、ステップS503にて行ったAF処理に伴って得られた撮像装置Aから被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。この際、主制御部10は、例えば撮像装置1Aから被写体までの距離が予め定められた値以下である場合にマクロ撮影時での距離に該当すると判定する。ステップS505においてマクロ撮影時での距離でないと判定された場合は、ステップS507において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードを通常撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常撮影モードの撮影条件を設定する。
【0151】
ステップS505において撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS509において、主制御部10は、ステップS409と同様の手法で、撮影前のスルー画像から人間の顔を検出する顔検出処理を実行する。そして、ステップS511において、主制御部10は、ステップS409の処理により顔が一つ以上検出されたか否かを判定する。
【0152】
ステップS511において顔が1つも検出されなかった場合は、ステップS513において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではあるがポートレート撮影ではないものと判断し、撮影モードを通常マクロ撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常マクロ撮影モードの撮影条件を設定する。
【0153】
ステップS511において顔が1つ以上検出された場合は、ステップS515において、主制御部10は、自分撮り撮影モードか否かを判定するために、ステップS511にて検出した顔領域の周辺領域の空間周波数を導出する。
【0154】
ステップS517において、主制御部10は、ステップS515により導出された左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分よりも少ないか否かを判定する。
【0155】
ステップS517において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分の量以上であった場合は、ステップS519において、主制御部10は、ステップS511において検出された顔が、ステップS423において記憶された顔と同一であるか否かを判定する。同一の顔か否かの判断は、例えば、顔認識機能によって同一顔だと判断しても良く、顔検出がスルー画像表示時から撮影時まで同じ位置に継続して検出された場合に同一顔だと判断しても良く、あるいは、テンプレートマッチング等の画像検索により同一顔を検索することにより同一顔だと判断しても良い。
【0156】
ステップS519において顔が同一でないと判定された場合は、ステップS521において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0157】
ステップS517において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分より少なかった場合、及びステップS519において顔が同一であると判定された場合は、ステップS523において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0158】
図15(B)は、撮影画像25を用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図15(B)に示す撮影画像25のように、レリーズボタン6Bが半押しされた状態において、検出された顔の顔領域26の左下領域27A、右下領域27Bにおける高周波成分が他の領域より少なくない場合でも、スルー画像表示中に顔領域26の左下領域27A、右下領域27Bにおける高周波成分が他の領域より少ない場合には、撮影モードが自分撮り撮影モードに設定される。
【0159】
そして、ステップS525乃至S529において、主制御部10は、第1実施形態のステップS123乃至S127と同様の処理を行う。
【0160】
このようにして撮像装置1は、撮影前のタイミングで判断の条件が成立すると共に、撮影時のタイミングで撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ判断の条件が成立しない場合に、自分撮り撮影を行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0161】
なお、上述した撮影前判定処理において、自分撮り撮影モードではなかった場合(ステップS405で否定判定、ステップS411で否定判定、あるいはステップS417で否定判定された場合、ステップS407、S413、あるいはS419の処理は省略しても良い。
【0162】
〔第5実施形態〕
以下、第5実施形態に係る撮像装置1Aについて添付図面を用いて詳細に説明する。
【0163】
なお、第5実施形態に係る撮像装置1Aは、第2実施形態に係る撮像装置1Aと同一の構成を有するため、第2実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0164】
第5実施形態に係る撮像装置1Aは、第4実施形態と同様に、撮影者が撮影前にスルー画像を見ながら撮像装置1Aを保持している腕が撮影されないように調整することを考慮し、レリーズボタン6Bが半押しされる前に自分撮り撮影か否かを判断し、自分撮り撮影であると判断された場合には、レリーズボタン6Bの半押し時に自分撮り撮影だと判断されなかった場合でも自分撮り撮影モードに設定するものである。
【0165】
本実施形態に係る撮像装置1Aは、撮影前にスルー画像を表示した状態において撮影モードを判定する撮影前判定処理、及び、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図16は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影前判定処理プログラムの処理の流れを示すフローチャートであり、図17は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。
【0166】
始めに、ステップS601において、主制御部10は、スルー画像が表示中であるか否かを判定する。そして、ステップS601においてスルー画像が表示中であると判定された場合は、ステップS603乃至S623において、第2実施形態のステップS203乃至S223と同様の処理を行う。
【0167】
そして、ステップS623において自分撮り撮影モードに設定された場合は、ステップS625において、主制御部10は、視差マップ上の顔領域の平均視差と、背景領域の平均視差との差分Aを記憶する。
【0168】
この際、主制御部10は、撮影画像を視差マップによって複数の領域に区分した場合に、顔領域以外の領域で最も広い領域を背景領域とすると良い。
【0169】
図18(A)は、視差マップ45Aを用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図18(A)に示す視差マップ45Aにおいて、ステップS623にて検出された顔の顔領域A1の平均視差と、背景領域B1の平均視差との差分が導出される。
【0170】
次に、撮像装置1AがステップS607、S613、S621またはS623にて設定された撮影モードを利用して行う撮影制御処理について、図17に基づいて説明する。
【0171】
始めに、ステップS701において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS701において半押しされていると判定された場合は、ステップS703において、主制御部10は、AE/AF処理を実行する。
【0172】
ステップS705において、主制御部10は、スルー画像表示中に撮影モードが自分撮り撮影モードに設定されたか否かを判定する。この際、主制御部10は、ステップS623において自分撮り撮影モードに設定された場合に、スルー画像表示中に撮影モードが自分撮り撮影モードに設定されたものと判定する。
【0173】
ステップS705において自分撮り撮影モードに設定されたと判定された場合は、ステップS707において、主制御部10は、視差マップ上の顔領域の平均視差と、背景領域の平均視差との差分Bを導出して、ステップS625にて記憶された差分Aと比較し、差分Aと差分Bとの差が予め定められた値以下であるか否かを判定する。
【0174】
図18(B)は、視差マップ45Bを用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図18(B)に示す視差マップ45Bにおいて、顔領域A1の平均視差と、背景領域B1の平均視差との差分が導出される。
【0175】
ステップS707において予め定められた値以下であると判定された場合は、ステップS709において、主制御部10は、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0176】
そして、ステップS711乃至S733の処理は、第2実施形態のステップS205乃至S229の処理と同様の処理を行う。
【0177】
なお、撮像装置1Aにおいてズーム操作やカメラ電源のオンオフ切替、再生モードや設定モードに切り替えられた場合は、記憶している視差の差分Aを消去する。
【0178】
また、顔領域の視差の中で左右側画像のどちらかにしか写らない死角(オクルージョン)領域の面先費が同程度になった場合に、自分撮り撮影モードに設定するようにしても良い。
【0179】
このようにして撮像装置1Aは、撮影前のタイミングで判断の条件が成立すると共に、撮影時のタイミングにおける顔部分の視差と背景の視差の差分と、撮影前のタイミングにおける顔部分の視差と背景の視差の差分との差が、所定値以下であり、かつ判断の条件が成立しない場合に、自分撮り撮影を行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0180】
また、自分撮り時に背景と自分との構図によっては自分撮りの判断ができない場合であっても、撮影準備中に自分撮りを判断しておくことで、同一被写体を撮影する場合に、自分撮り撮影モードに設定することができる。
【0181】
なお、上述した撮影前判定処理において、自分撮り撮影モードではなかった場合(ステップS605で否定判定、ステップS611で否定判定、あるいはステップS619で否定判定された場合、ステップS607、S613、あるいはS621の処理は省略しても良い。
【0182】
〔第6実施形態〕
以下、第6実施形態に係る撮像装置1について添付図面を用いて詳細に説明する。
【0183】
なお、第6実施形態に係る撮像装置1は、第1実施形態に係る撮像装置1と同一の構成を有するため、第1実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0184】
第6実施形態に係る撮像装置1は、撮影者が撮像装置1を用いて自分撮りを行う際には、表示部5が背面側になって撮影者が撮影時に視認できないため、眼鏡の反射を確認できないことを考慮し、撮影時に眼鏡の反射を検出して撮影者に警告するものである。
【0185】
本実施形態に係る撮像装置1は、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図19は、本実施形態に係る撮像装置1の主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。
【0186】
始めに、ステップS801において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS801において半押しされていると判定された場合は、ステップS803乃至S821において、第1実施形態のステップS103乃至S121と同様の処理を行う。
【0187】
そして、ステップS821において撮影モードが自分撮り撮影モードに設定されると、ステップS823において、主制御部10は、ステップS809における顔検出処理によって検出された目の領域の平均輝度が、顔領域の平均輝度よりも高いか否かを判定する。撮影者が眼鏡をかけた状態で自分撮り撮影モードで撮影した場合、強いフラッシュが眼鏡で反射している可能性があるためである。
【0188】
ステップS823において目の領域の平均輝度が顔領域の平均輝度よりも高いと判定された場合は、ステップS825において、主制御部10は、眼鏡が反射している旨を撮影者に対して警告する。
【0189】
図20(A)は、撮像装置1による撮影画像50を示す図であり、図20(B)は、警告表示を行っている撮影画像50を示す図である。図20(A)に示すように、撮影画像50においてフラッシュが眼鏡に反射して眼鏡が光っている場合、図20(B)に示すように、撮影画像50と併せて警告文51が表示部5に表示される。
【0190】
そして、ステップS827乃至S831において、第1実施形態のステップS123乃至S127とそれぞれ同様の処理を行う。
【0191】
なお、第6実施形態として、第1実施形態の撮像装置1(単眼カメラ)について説明したが、これに限定されず、第2実施形態の撮像装置1A(複眼カメラ)であっても、同様の処理を行うことができる。この場合、左側画像35Aまたは右側画像35Bにおいて、顔検出処理によって検出された目の領域の平均輝度が顔領域の平均輝度よりも高い場合に、眼鏡が反射している旨を撮影者に対して警告すると良い。
【0192】
このようにして撮像装置1Aは、被写体像の顔領域の目に対応する領域に予め定められた輝度以上の領域が存在する場合に、警告を報知する。これにより、撮影者が撮像装置1を用いて自分撮りを行おうとしている場合に、眼鏡の反射を警告することができる。
【0193】
また、自分撮りをする場合には撮影者が撮像装置1Aの背面の画像表示を見ることができないため、撮影後に眼鏡の反射に気付いて取り直しになってしまう可能性があるが、本実施形態の構成により、撮影者が撮影時に眼鏡の反射を確認することができる。
【符号の説明】
【0194】
1、1A…撮像装置,2…筐体,3、3A、3B…光学撮像系,4…ストロボ,5、5A…表示部,6…操作部,6A…メニュー操作部,6B…レリーズボタン,6C…電源ボタン,6D…モード切替ボタン,10…主制御部,11…撮影部,12…撮影制御部,13…画像処理部,14…圧縮/伸張処理部,15…フレームメモリ,16…表示制御部,17…メディア制御部,17A…記録メディア,18…内部メモリ,20…撮影情報,25、25B、25C、50…撮影画像,26…顔領域,27A…左下領域,27B…右下領域,30…三次元処理部,31…視差マップ生成部,35A…左側画像,35B…右側画像,36A、40A、45A…左側視差マップ,36B、40B、45B…右側視差マップ,37A、37B…顔領域,38A、38C…左下領域,38B、38D…右下領域,41、42…オクルージョン領域,51…警告文。
【技術分野】
【0001】
本発明は、撮影モードに応じて的確な撮像条件を設定することができる自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法に関する。
【背景技術】
【0002】
近年、デジタルカメラやデジタルカメラ付き携帯電話機等の撮像装置が普及し、撮影者が日常的にそれらの撮像装置で撮像した画像を気軽に保管したり送受信したりできるようになった。それに伴い、撮影者が撮像装置を手に保持した状態で自分自身を被写体として撮影する自分撮りを行うことが一般的になってきた。しかしながら、撮影者が自分撮りを行う場合には、撮像装置と顔との距離が近すぎるため、フラッシュが強く当たり過ぎて顔が白浮きしてしまったり、顔または背景に焦点が合わずに撮影画像がぼやけてしまったりするという問題があった。
【0003】
こうしたことから、近年では、撮影時に自分撮りか自分撮りでないかを判別できる撮像装置が知られている(特許文献1参照)。この撮像装置は、顔領域検出部によって、処理対象である対象画像から顔領域を検出すると共に、腕検出部によって、上記顔領域検出部によって検出された顔領域を基に上記対象画像から腕を検出し、自分撮り判定部によって、少なくとも、上記顔領域検出部によって検出された顔領域の大きさと、上記顔領域及び上記腕検出部によって検出された腕領域の位置関係とを用いることにより、撮影者が自分撮りを行っているか否かを判定する撮像装置である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−81357号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1記載の撮像装置のように顔領域及び腕領域の大きさや位置関係を導出してその導出結果によって自分撮りを判断する方法では、複雑な処理が必要となってしまい、さらに、撮像装置を保持している腕が正しく認識されずに自分撮りを行っているにも関わらず自分撮りが検出されない可能性もあるという課題があった。
【0006】
本発明は上記課題に鑑みてなされたものであり、簡易かつ高精度に自分撮りを判断することができる自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る自分撮り判断装置は、請求項1に記載したように、撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、を備えている。
【0008】
請求項1に記載の自分撮り判断装置によれば、顔領域検出手段により、撮像素子によって撮像された画像から被写体の顔領域が検出され、合焦状態検出手段により、前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態が検出され、判断手段により、前記合焦状態検出手段によって検出された左下領域および右下領域の少なくとも一方の合焦状態が予め定められたレベルより低い場合に、自分撮りと判断される。なお、ここで言う「左下」及び「右下」は、それぞれ正対した状態における左下及び右下を意味する。これにより、顔領域の左下領域及び右下領域の合焦状態を用いることにより、腕を検出する方法を採用した場合に比較して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0009】
また、本発明に係る自分撮り判断装置において、請求項2に記載したように、前記顔領域に対応する被写体の顔までの距離を検出する第1の距離検出手段をさらに備え、前記判断手段は、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低く、かつ前記第1の距離検出手段により検出された距離が予め定められた距離以下である場合に、自分撮りと判断するようにしても良い。これにより、顔領域の左下領域及び右下領域の合焦状態と、被写体の顔までの距離を用いることにより、腕を検出する方法を採用した場合に比較して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0010】
また、本発明に係る自分撮り判断装置において、請求項3に記載したように、前記予め定められた距離がマクロ撮影時の最長距離であるようにしても良い。これにより、撮影時に自分撮りを行おうとしていると判断されなくても、マクロ撮影か否かを判断することによって、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0011】
また、上記目的を達成するために、本発明に係る自分撮り判断装置は、請求項4に記載したように、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、を備えている。
【0012】
請求項4に記載の自分撮り判断装置によれば、顔領域検出手段により、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域が検出され、距離情報取得手段により、前記第1視点画像および第2視点画像から距離情報が取得され、前記第2の距離検出手段により、前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値が第1距離として検出され、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値が第2距離として検出され、判断手段により、前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断される。これにより、被写体の顔までの距離及び顔領域の左下領域および右下領域の少なくとも一方に含まれる物体までの距離を用いることにより、腕を検出する方法を採用した場合に比較して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0013】
また、上記目的を達成するために、本発明に係る自分撮り判断装置は、請求項5に記載したように、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、を備えている。
【0014】
請求項5に記載の自分撮り判断装置によれば、顔領域検出手段により、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域が検出され、距離情報取得手段により、前記第1視点画像及び第2視点画像から距離情報が取得され、判断手段により、前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断される。これにより、第1視点画像と第2視点画像との対応関係を利用して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0015】
また、本発明に係る自分撮り判断装置において、請求項6に記載したように、前記距離情報取得手段は、前記第1視点画像と前記第2視点画像の対応点を探索し、画素毎に前記第1視点画像と前記第2視点画像の視差量を算出するようにしても良い。これにより、画素毎の第1視点画像と第2視点画像の視差量を用いて、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0016】
また、本発明に係る自分撮り判断装置において、請求項7に記載したように、前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングで前記顔領域検出手段により前記撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断するようにしても良い。これにより、撮影前のタイミングにおける自分撮り撮影の判断を考慮して、自分撮りを判断することができる、という効果を奏する。
【0017】
また、本発明に係る自分撮り判断装置において、請求項8に記載したように、前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングで前記顔領域検出手段により前記撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断するようにしても良い。これにより、撮影前のタイミングにおける判断を考慮して、自分撮りを判断することができる、という効果を奏する。
【0018】
また、本発明に係る自分撮り判断装置において、請求項9に記載したように、前記顔領域検出手段によって検出された前記顔領域における被写体の目に対応する領域に予め定められた輝度以上の領域が存在する場合に、警告する警告手段をさらに備えるようにしても良い。これにより、フラッシュの光が被写体の眼鏡に反射していた場合に、これを撮影者に警告することができる、という効果を奏する。
【0019】
一方、上記目的を達成するために、請求項10に記載の撮影装置は、請求項1から請求項9の何れか1項記載の自分撮り判断装置と、前記自分撮り判断装置によって自分撮りと判断された場合に、当該自分撮りに適した条件に撮影条件を設定する設定手段と、を備えている。これにより、前記自分撮り判断装置によって自分撮りと判断された場合に、適切な撮影条件を設定することができる、という効果を奏する。
【0020】
また、本発明に係る撮影装置において、請求項11に記載したように、前記自分撮り判断装置によって自分撮りと判断された場合に、自分撮り撮影時の設定で撮影することを提示する提示手段をさらに備えている。これにより、前記自分撮り判断装置によって自分撮りと判断された場合に、これを撮影者に提示することができる、という効果を奏する。
【0021】
また、本発明に係る撮影装置において、請求項12に記載したように、前記自分撮り判断装置によって自分撮りと判断された場合に、撮影によって記録する画像情報に関連付けて自分撮り撮影時の設定で撮影したことを示す情報を記録する記録手段をさらに有するようにしても良い。これにより、前記自分撮り判断装置によって自分撮りと判断された場合に、撮影された画像の画像情報に自分撮り撮影時の設定で撮影されたことを示す情報を記録することができる、という効果を奏する。
【0022】
一方、上記目的を達成するために、請求項13に記載のプログラムは、コンピュータを、撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、として機能させるためのプログラムである。
【0023】
従って、請求項13に記載のプログラムによれば、コンピュータを請求項1に記載の発明と同様に作用させることができるので、請求項1に記載の発明と同様に、腕を検出する方法を採用した場合に比較すると、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0024】
また、請求項14に記載したプログラムは、コンピュータを、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、として機能させるためのプログラムである。
【0025】
従って、請求項14に記載のプログラムによれば、コンピュータを請求項4に記載の発明と同様に作用させることができるので、請求項4に記載の発明と同様に、被写体の顔までの距離及び顔領域の左下領域および右下領域の少なくとも一方に含まれる物体までの距離を用いることにより、腕を検出する方法を採用した場合に比較すると、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0026】
また、請求項15に記載したプログラムは、コンピュータを、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、として機能させるためのプログラムである。
【0027】
従って、請求項15に記載のプログラムによれば、コンピュータを請求項5に記載の発明と同様に作用させることができるので、請求項5に記載の発明と同様に、第1視点画像と第2視点画像との対応関係を利用して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0028】
一方、上記目的を達成するために、請求項16に記載の自分撮り判断方法は、撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップによって検出した前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出ステップと、前記合焦状態検出ステップによって検出した合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断ステップと、を行う自分撮り判断方法である。
【0029】
従って、請求項16に記載の自分撮り判断方法によれば、請求項1に記載の発明と同様に作用することができるので、請求項1に記載の発明と同様に、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0030】
また、請求項17に記載の自分撮り判断方法は、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出ステップと、前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得ステップと、前記距離情報取得ステップにより得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出ステップにより検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出ステップと、前記第2の距離検出ステップによって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断ステップと、を行う自分撮り判断方法である。
【0031】
従って、請求項17に記載の自分撮り判断方法によれば、請求項4に記載の発明と同様に作用することができるので、請求項4に記載の発明と同様に、被写体の顔までの距離及び顔領域の左下領域および右下領域の少なくとも一方に含まれる物体までの距離を用いることにより、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【0032】
また、請求項18記載の自分撮り判断方法は、異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出ステップと、前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得ステップと、前記距離情報取得ステップにより得られた距離情報から、前記顔領域検出ステップにより検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断ステップと、を行う自分撮り判断方法である。
【0033】
従って、請求項18に記載の自分撮り判断方法によれば、請求項5に記載の発明と同様に作用することができるので、請求項5に記載の発明と同様に、第1視点画像と第2視点画像との対応関係を利用して、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【発明の効果】
【0034】
本発明によれば、簡易かつ高精度に自分撮りを判断することができる、という効果を奏する。
【図面の簡単な説明】
【0035】
【図1】第1、4、6実施形態に係る撮像装置の外観を示す図であり、(A)は上面図、(B)は正面図、(C)は背面図である。
【図2】第1、4、6実施形態に係る撮像装置の構成を示すブロック図である。
【図3】実施形態に係る撮影情報の一例を示す模式図である。
【図4】第1実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図5】(A)は、第1実施形態に係る撮像装置による撮影画像の一例を示す図であり、(B)は、撮影画像を用いて自分撮り判断を行う際の判断方法を説明するための概略図である。
【図6】第2、3、5実施形態に係る撮像装置の外観を示す図であり、(A)は上面図、(B)は正面図、(C)は背面図である。
【図7】第2、3、5実施形態に係る撮像装置の構成を示すブロック図である。
【図8】第2実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図9】第2実施形態に係る撮像装置による撮影画像の一例を示す図であり、(A)は左側画像であり、(B)は右側画像である。
【図10】第2実施形態に係る撮像装置による視差マップの一例を示す図であり、(A)は左側視差マップであり、(B)は右側視差マップである。
【図11】第3実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図12】第3実施形態に係る撮像装置による視差マップを用いて自分撮り判断を行う際の判断方法を説明するための概略図であり、(A)は左側視差マップを用いた場合、(B)は右側視差マップを用いた場合である。
【図13】第4実施形態に係る撮影前判定処理プログラムの処理の流れを示すフローチャートである。
【図14】第4実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図15】第4実施形態に係る撮像装置による撮影画像を用いてスルー画像表示中に自分撮り判断を行う際の判断方法を説明するための概略図であり、(A)は、スルー画像表示中における図であり、(B)は、半押し状態における図である。
【図16】第5実施形態に係る撮影前判定処理プログラムの処理の流れを示すフローチャートである。
【図17】第5実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図18】第5実施形態に係る撮像装置による撮影画像の視差マップを用いてスルー画像表示中に自分撮り判断を行う際の判断方法を説明するための概略図であり、(A)は、スルー画像表示中における図であり、(B)は、半押し状態における図である。
【図19】第6実施形態に係る撮影制御処理プログラムの処理の流れを示すフローチャートである。
【図20】(A)は、第6実施形態に係る撮像装置による撮影画像の一例を示す図であり、(B)は、第6実施形態に係る撮像装置における警告表示の一例を示す図である。
【発明を実施するための形態】
【0036】
〔第1実施形態〕
以下、第1実施形態に係る撮像装置1について添付図面を用いて詳細に説明する。
【0037】
図1は、第1実施形態に係る撮像装置1の外観を示す図であり、図1(A)は上面図、図1(B)は正面図、図1(C)は背面図である。
【0038】
図1に示すように、撮像装置1は、所謂単眼カメラであり、内部に撮像に用いられる各種電子部品が収納された筐体2を有する。筐体2の正面には、複数のレンズからなる光学撮像系3、及び撮影時に周囲を照らすために発光するストロボ4が設けられている。また、筐体2の背面には、LCD(Liquid Crystal Display)等を有し撮影画像等を表示する表示部5、ユーザ操作により設定指示を入力するメニュー操作部6Aが設けられている。一方で、筐体2の上面部には、ユーザ操作により半押し操作または全押し操作によって撮影指示等を入力するレリーズボタン6B、ユーザ操作により電源のオン/オフ状態の切替指示を入力する電源ボタン6C、及びユーザ操作によりモード切替指示を入力するモード切替ボタン6Dが設けられている。以下、メニュー操作部6A、レリーズボタン6B、電源ボタン6C、及びモード切替ボタン6Dをまとめて操作部6と言う。
【0039】
表示部5は、本撮影に先立って撮像される画素数の小さい画像が後述するスルー画像として表示されることによりファインダとして機能する。また、表示部5には、撮影後に撮影画像が表示されたり、メモリカード等の記憶媒体(図示省略)に記憶された画像が表示されたり、または、ユーザによる操作部6の操作に応じて操作メニュー画面や設定メニュー画面等が表示されたりする。なお、モード切替ボタン6Dにより切り替えられるモードは、撮影を行うモードである撮影モード、表示部5に既に撮影された撮影画像を表示するモードである再生モード、及び各種設定を行うモードである設定モード等である。
【0040】
図2は、撮像装置1の電気系の要部構成を示す概略ブロック図である。図2に示すように、撮像装置1は、主制御部10、撮影部11、撮影制御部12、画像処理部13、圧縮/伸張処理部14、フレームメモリ15、表示制御部16、メディア制御部17、及び内部メモリ18を備えている。
【0041】
主制御部10は、CPU(Central Processing Unit)やRAM(Random Access Memory)等を備えていて、操作部6を介したユーザ操作に従って、撮像装置1を総括的に制御する。また、主制御部10は、レリーズボタン6Bの操作状態(半押し状態、全押し状態、または押されていない開放状態等)を取得して、当該操作状態に応じて、後述する撮影制御処理プログラム(後述する第4実施形態、第5実施形態では撮影前判定処理プログラムも含む)を含む各種プログラムを実行する。
【0042】
撮影部11は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成された撮像素子を有し、光学撮像系3に入射した光を受光して電気信号に変換して画像データを生成する。
【0043】
撮影制御部12は、AF(Automatic Focusing)処理部(図示せず)及びAE(Automatic Exposure)処理部(図示せず)を備えていて、ユーザ操作によりレリーズボタン6Bの半押し操作がされると、AE/AF処理を行う。すなわち、レリーズボタン6Bの半押し操作がされると、AF処理部は、撮影部11によって取得されたプレ画像(レンズから入射されている画像)に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、撮影部11に合焦領域や焦点位置を示すデータを出力する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部11にシャッタ速度や絞り値を示すデータを出力する。
【0044】
また、撮影制御部12は、ユーザ操作によりレリーズボタン6Bの全押し操作がされると、撮影部11に対して本画像を取得する本撮影を行うように指示を出す。なお、レリーズボタン6Bが操作される前は、撮影制御部12は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を撮影部11に対して行っている。
【0045】
画像処理部13は、撮影部11が取得した画像データの各々に対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正などの様々な画像処理を施す。
【0046】
圧縮/伸張処理部14は、画像処理部13によって画像処理が施された画像を表す画像データに対して、例えばJPEGなどの圧縮形式で圧縮処理を行う。また、圧縮/伸張処理部14は、圧縮処理が施された画像データに対して圧縮形式に応じた伸張形式で伸張処理を行う。
【0047】
フレームメモリ15は、撮影部11が取得した画像の画像データに対して、前述の画像処理部13が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
【0048】
表示制御部16は、主制御部10または撮影制御部12による制御に基づいて、撮影時においてフレームメモリ15に格納された画像データから二次元表示用画像を生成して表示部5に表示させたり、記録メディア17Aに記憶されている画像データから二次元表示用画像を生成して表示部5に表示させたりする。
【0049】
メディア制御部17は、撮像装置1に記録メディア17Aなどの各種記録メディアが電気接続された際に、主制御部10の制御に基づいて、この記録メディア17Aの記憶領域に対する画像データ等のデータの読み書き制御を行う。
【0050】
内部メモリ18は、撮像装置1において設定される各種設定事項を示すデータ、撮像装置1により撮影された撮影画像の画像データ、及び主制御部10が実行するプログラムや当該プログラムの処理に使用されるデータを記憶する。なお、この内部メモリ18は、後述する撮影制御処理プログラム(後述する第4実施形態、第5実施形態では、撮影前判定処理プログラムを含む)を記憶している。
【0051】
ところで、本実施形態に係る撮像装置1は、設定されている撮影モードに応じて最適な撮影条件を設定する機能を備えている。本実施形態に係る撮像装置1において設定される撮影モードは、通常撮影モード、通常マクロ撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モード等である。通常マクロ撮影モードは、被写体に近接して撮影するモードであり、マクロポートレート撮影モードは、人物を被写体として所定距離より近接して撮影するモードであり、自分撮り撮影モードは、撮影者が自分自身にレンズを向けて被写体となって撮影するモードである。
【0052】
特に、自分撮り撮影モードで撮影する場合には、撮像装置1と撮影者との距離が近すぎて、顔にフラッシュが強く当たりすぎて顔が白浮きしてしまったり、顔または背景に焦点が合わず撮影画像がぼけてしまったりする可能性がある。そのため、撮像装置1が自分撮り撮影モードに設定されている場合には、自分撮り撮影モードに最適なフラッシュの発光量や焦点被写界深度等の撮影条件が設定されることが望ましい。
【0053】
そこで、本実施形態に係る撮像装置1は、レリーズボタン6Bの半押し状態において、スルー画像により自分撮り撮影モードに設定すべきか否かを判断して、自分撮り撮影モードに設定すべき状況であった場合には自分撮り撮影モードに最適な撮影条件に設定する機能を備えている。
【0054】
撮像装置1は、以下の(1)乃至(3)の自分撮り設定条件を満たしている場合に、撮影者が自分撮りを行っている可能性が高いため、自分撮り撮影モードに設定すべきであると判断する。
(1)撮像画像内において顔が検出されていること
(2)AF処理に伴って得られた撮像装置1から被写体までの距離が所定距離(本実施形態では1m)以内であること
(3)上記(1)で検出された顔のうちの1つの左下または右下に、撮像装置1を保持している腕の領域である高周波成分が少ない(すなわち焦点が合わずにぼやけている)領域が存在すること
【0055】
なお、本実施形態、及び後述する第2実施形態乃至第6実施形態における「左下」及び「右下」は、それぞれ正対した状態における左下及び右下を意味する。また、「左側」及び「右側」についても同様である。
【0056】
また、本実施形態に係る撮像装置1は、撮影モードに合わせて撮影条件を決定するために、内部メモリ18に、撮影モード毎の撮影条件等を示す撮影情報20を記憶している。図3は、撮影情報20の一例を示す図である。図3に示すように、撮影情報20は、撮影モード毎に、撮影時に出力する音声を示す音声情報21、撮影後にポストビューとして撮影画像を表示する時間を示すポストビュー時間情報22、眼鏡に光が反射していた場合に警告を行うか否かを示す眼鏡警告情報23、フラッシュ発光量、焦点距離、感度、ホワイトバランス、及び被写界深度等が関連付けられた情報である。
【0057】
なお、撮影情報20において、自分撮り撮影モードで撮影されることを撮影者が認識できるように、自分撮り撮影モードの場合のみ異なる音声に設定されているとともに、自分撮り撮影モードの場合には撮影者が撮影装置1の正面を自分自身に向けて撮影していて撮影後に表示部5を即座に視認できないことが予想されるため、自分撮り撮影モードの場合に他の撮影モードの場合よりもポストビュー時間が長く設定されている。また、自分撮り撮影モードの場合にはストロボ4と顔が近すぎて眼鏡にフラッシュが反射して眼鏡が光ってしまうことを防止するために、自分撮り撮影モードの場合には眼鏡の警告を行うように設定されている。これらの各種情報は予め設定されて記憶されている。
【0058】
本実施形態に係る撮像装置1は、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図4は、本実施形態に係る撮像装置1の主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。図4に基づいて、撮像装置1の当該撮影制御処理について説明する。
【0059】
始めに、ステップS101において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS101において半押しされていると判定された場合は、ステップS103において、主制御部10は、AE/AF処理を実行するように撮影制御部12を制御する。
【0060】
ステップS105において、主制御部10は、ステップS103にて行ったAF処理に伴って得られた撮像装置1から被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。この際、主制御部10は、例えば撮像装置1から被写体までの距離が予め定められた距離以下である場合にマクロ撮影時での距離に該当すると判定する。なお、この際、撮像装置1から被写体までの距離がマクロ撮影を行う最長距離以下である場合に、マクロ撮影時での距離であると判断されると良い。
【0061】
ステップS105において撮像装置1から被写体までの距離がマクロ撮影時での距離に該当しないと判定された場合は、ステップS107において、主制御部10は、当該撮影が通常マクロ領域撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モードの何れの撮影でもないと判断し、撮影モードを通常撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常撮影モードの撮影条件を設定する。
【0062】
なお、本実施形態に係る撮像装置1では、撮像光学系3に設けられたフォーカスレンズの合焦時の位置と、AF処理の対象とする領域として予め定められたAF領域(本実施の形態に係る撮像装置1では、スルー画像の中央部を含む一部領域)に存在する被写体までの合焦時における距離とが関連付けられた情報が内部メモリ18に予め記憶されている。そこで、本実施形態に係る撮像装置1では、当該情報から、AF処理部による合焦時のフォーカスレンズの位置より、被写体までの距離を導出するようにしている。
【0063】
ステップS105において撮像装置1から被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS109において、主制御部10は、スルー画像から人間の顔を検出する顔検出処理を実行する。顔を検出する処理は、画像において顔を特徴付ける目や眉や口等の特徴点を検出した場合に顔だと判断する手法等、従来既知の何れかの手法で行われる。そして、ステップS111において、主制御部10は、ステップS109により顔が一つ以上検出されたか否かを判定する。
【0064】
ステップS111において顔が1つも検出されなかったと判定された場合は、ステップS113において、主制御部10は、当該撮影が通常のマクロ撮影時での距離における撮影であるものと判断し、撮影モードを通常マクロ撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常マクロ撮影モードの撮影条件を設定する。
【0065】
ステップS111において顔が1つ以上検出された場合は、ステップS115において、主制御部10は、自分撮り撮影モードか否かを判定するために、ステップS109にて検出した顔領域の周辺領域の空間周波数を導出する。この際、主制御部10は、撮影画像25における顔領域26の左下に位置する所定範囲の領域を左下領域27Aとし、撮影画像25における顔領域26の右下に位置する所定範囲の領域を右下領域27Bとする。本実施形態では、左下領域27A及び右下領域27Bは、顔領域26から所定距離離れた位置を中心とし、それぞれ縦横方向の各々に予め定められた長さの辺を有する矩形の領域であるが、これに限定されず、顔領域26から所定距離離れた位置を中心とし、予め定められた半径を有する円形や楕円形であっても良く、その他の形状であっても良い。
【0066】
図5(A)は、撮像装置1による撮影画像25(スルー画像)を示す図であり、図5(B)は、撮影画像25を用いて自分撮り判定を行う際の判定方法を説明するための概略図である。図5(A)に示す撮影画像25において、図5(B)に示すように、ステップS111にて検出された顔の顔領域26の左下領域27A、右下領域27Bが特定され、左下領域27A、右下領域27Bの各々の空間周波数が導出される。
【0067】
なお、本実施形態に係る撮像装置1では、AF処理部により、上記AF領域の空間周波数を導出している。そこで、本実施形態に係る撮像装置1では、左下領域27Aおよび右下領域27Bにおける空間周波数を導出させるようにAF処理部を制御することにより、当該空間周波数を導出するようにしている。
【0068】
ステップS117において、主制御部10は、ステップS115により導出された左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分よりも少ないか否かを判定する。すなわち、撮影者が撮像装置1で自分撮りを行っている場合には、いずれかの手で撮像装置1を保持しているため、撮像装置1を保持している側の腕が撮像装置1に接近して焦点がずれ、高周波成分が少なくなる。撮像装置1は、これを利用して、高周波成分の割合すなわち合焦状態のレベルに応じて自分撮り撮影か否かの判定を行う。
【0069】
なお、このように本実施形態では左下領域27A、右下領域27Bの高周波成分を当該左下領域27A、右下領域27B以外の領域の高周波成分と比較しているが、これに限定されず、左下領域27A、右下領域27Bの高周波成分を予め定められた閾値と比較する形態としても良い。
【0070】
ステップS117において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分の割合以上であると判定された場合は、ステップS119において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0071】
ステップS117において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分より少なかった場合(図5(B)においては、右下領域27Bの高周波成分が、他の領域の高周波成分より少ない)は、ステップS121において、主制御部10は、当該撮影が、所定距離以内に近接して行う撮影であるマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0072】
この際、撮像装置1が自分撮り撮影モードに設定されていることを撮影者が認識できるように、主制御部10は、自分撮りモードに設定されていることを撮影者に対して提示する。例えば、主制御部10は、表示部5に自分撮り撮影モードに設定されていることを表す情報を表示すると良い。また、撮像装置1が撮影時に図示しないLEDを発光させる場合には、自分撮り撮影モードに設定されていることを表す発光方法(色や点滅等)で当該LEDを発光させると良い。あるいは、自分撮り撮影モードに設定されていることを表す音声を出力することで撮影者に自分撮り撮影モードに設定されていることを報知するようにしても良い。
【0073】
ステップS107、S113、S119またはS121において撮影モードが設定されると、ステップS123において、主制御部10は、レリーズボタン6Bが全押しされた否かを判定する。ステップS123において全押しされていないと判定された場合は、ステップS125において、主制御部10は、ステップS101にて半押しされていたレリーズボタン6Bが開放されたか否かを判定する。
【0074】
ステップS125においてレリーズボタン6Bが開放されたと判定された場合は、ステップS101に移行する。一方、ステップS125においてレリーズボタン6Bが開放されていないと判定された場合は、ステップS123に移行する。
【0075】
ステップS123において全押しされたと判定された場合は、ステップS127において、主制御部10は、ステップS107、S113、S119またはS121において設定された撮影モードに応じて、撮影情報20に基づいて撮影条件を決定して撮影処理を実行する。
【0076】
この際、主制御部10は、撮影処理により撮影された撮影画像を内部メモリ18に記録するとともに、ステップS107、S113、S119またはS121において設定された撮影モードと、ステップS127において決定された撮影条件とを、当該撮影画像に関連付けて(例えばExifタグ等にて)記録する。
【0077】
また、この際、撮影情報20に基づいて、撮像装置1が自分撮り撮影モード以外に設定されている場合には、撮影時に出力される音声を音声Aとするのに対し、撮像装置1が自分撮り撮影モードに設定されている場合には、撮影時に出力される音声を音声Bとすることで自分撮り撮影モードであることを報知する。また、撮像装置1が自分撮り撮影モード以外に設定されている場合には、撮影終了時に撮影画像を表示する時間(ポストビュー時間)を5秒とするのに対し、撮像装置1が自分撮り撮影モードに設定されている場合には、撮影終了時に撮影画像を表示する時間(ポストビュー時間)を通常より長い10秒とする。
【0078】
このようにして本実施形態に係る撮像装置1は、撮像素子によって撮像された被写体像から顔領域を検出し、被写体像の顔領域における左下領域および右下領域の合焦状態を検出し、検出された左下領域および右下領域の少なくとも一方の合焦状態が予め定められたレベルより低い場合に、自分撮りを行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0079】
また、撮像装置1を用いて自分撮りをした際に、フラッシュが強すぎて顔が白飛びしたり、背景に焦点が合わなくなったりすることがなくなり、きれいな写真が撮影可能となる。
【0080】
さらに、自分撮り撮影モードでの撮影時に、撮影者が自分撮り撮影モードで撮影していること、あるいは撮影されたことを確認できるとともに、自分撮り撮影モードでの撮影後に、ポストビュー時間を通常より長くすることで、撮影者が撮影画像をゆっくり確認することができる。
【0081】
〔第2実施形態〕
以下、第2実施形態に係る撮像装置1Aについて添付図面を用いて詳細に説明する。
【0082】
図6は、第2実施形態に係る撮像装置1Aの外観を示す図であり、図6(A)は上面図、図6(B)は正面図、図6(C)は背面図である。なお、第1実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0083】
第1実施形態の撮像装置1は所謂単眼カメラであったが、第2実施形態の撮像装置1Aは、図6に示すように、所謂複眼カメラである。筐体2の正面には、複数(本実施形態では2つ)のレンズからなる複数の光学撮像系3A、3Bが設けられている。撮像装置1Aは、また、筐体2の背面には、立体表示可能なディスプレイを有する表示部5Aが設けられている。
【0084】
表示部5Aには、前述したスルー画像が表示され、これにより表示部5Aがファインダとして機能する。また、表示部5Aには、メモリカード等の記憶メディア16Aに記憶された画像が表示されたり、操作部6のユーザ操作に応じた操作メニューや設定メニュー等が表示されたりする。
【0085】
図7は、撮像装置1Aの電気系の要部構成を示す概略ブロック図である。図7に示すように、第2実施形態の撮像装置1Aは、第1実施形態の撮像装置1と略同様の構成を有するが、第1実施形態の撮像装置1の撮像部11に代えて、複数の撮影部である左用撮影部11A及び右用撮影部11Bを備えている。左用撮影部11Aは左目の視点に相当する左側画像を撮影し、右用撮影部11Bは右目の視点に相当する右側画像を撮影し、これらの左側画像及び右側画像により三次元画像が生成される。
【0086】
左用撮影部11Aは、CCDやCMOSで構成された撮像素子を有し、撮像光学系3Aに入射した光を受光して電気信号に変換して画像を再構成する。同様に、右用撮影部11Bは、CCDやCMOSで構成された撮像素子を有し、撮像光学系3Bに入射した光を受光して電気信号に変換して画像を再構成する。左用撮影部11A及び右用撮影部11Bは、被写体を見込む輻輳角を持って予め定められた基線長となる位置に配置されている。なお、輻輳角、基線長の情報は内部メモリ18に記憶されている。
【0087】
また、第2実施形態に係る撮像装置1Aは、第1実施形態に係る撮像装置1が有する構成に加えて、三次元処理部30及び視差マップ生成部31を備えている。
【0088】
三次元処理部30は、主制御部10または撮影制御部12による制御に基づいて、表示制御部17が画像の立体視表示を行う際に、立体視用の画像データに含まれる左側画像及び右側画像の画像データにそれぞれ三次元処理を行って立体視用の画像を生成する。
【0089】
視差マップ生成部31は、主制御部10または撮影制御部12による制御に基づいて、左側画像と右側画像との相互の視差マップを生成する。ここで、視差は、左側画像及び右側画像の双方に含まれる被写体の左側画像と右側画像との水平方向における画素位置の相違として算出することができる。視差マップを適切に生成することにより、立体視用の画像に含まれる被写体の立体感を適切なものとすることができる。また、視差マップ生成部31は、被写体の左側画像と右側画像との水平方向における画素位置の相違から、当該撮像装置1Aから被写体までの距離を導出することができる。
【0090】
表示制御部16Aは、主制御部10または撮影制御部12による制御に基づいて、撮影時においてフレームメモリ15に格納された各々の画像データから三次元表示用画像を生成して表示部5Aに表示させたり、記録メディア17Aに記憶されている画像データから三次元表示用画像を生成して表示部5Aに表示させたりする。
【0091】
ここで、第2実施形態に係る撮像装置1Aは、第1実施形態に係る撮像装置1と同様に、撮影モードとして、通常撮影モード、通常マクロ撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モードの各々に切り替えることができる。また、撮像装置1Aは、レリーズボタン6Bの半押し状態において、スルー画像により自分撮り撮影モードに設定すべきか否かを判断して、自分撮り撮影モードであった場合には自分撮り撮影モードに最適な撮影条件に設定する機能を備えている。
【0092】
撮像装置1Aは、以下の(1)乃至(3)の3条件を満たしている場合に、自分撮りを行っている可能性が高いため、自分撮り撮影モードに設定すべきであると判断する。
(1)撮像画像内において顔が検出されていること
(2)AF処理に伴って得られた撮像装置1から被写体までの距離が所定距離(本実施形態では1m)以内であること
(3)視差マップにおいて、検出された顔のうちの1つの左下または右下に、顔より距離が近いオブジェクトがあること
【0093】
本実施形態に係る撮像装置1Aは、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図8は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。図8に基づいて、撮像装置1Aの当該撮影制御処理について説明する。
【0094】
始めに、ステップS201において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS201において半押しされていると判定された場合は、ステップS203において、主制御部10は、AE/AF処理を実行するように撮影制御部12を制御する。
【0095】
ステップS205において、主制御部10は、ステップS203にて行ったAF処理に伴って得られた撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。この際、主制御部10は、例えば撮像装置1Aから被写体までの距離が予め定められた距離以下である場合にマクロ撮影時での距離に該当すると判定する。なお、この際、撮像装置1Aから被写体までの距離がマクロ撮影を行う最長距離以下である場合に、マクロ撮影時での距離であると判断されると良い。
【0096】
ステップS205において撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当しないと判定された場合は、ステップS207において、主制御部10は、当該撮影が通常マクロ領域撮影モード、マクロポートレート撮影モード、及び自分撮り撮影モードの何れの撮影でもないと判断し、撮影モードを通常撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常撮影モードの撮影条件を設定する。
【0097】
ステップS205においてAF処理に伴って得られた撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS209において、主制御部10は、撮影前のスルー画像から人間の顔を検出する顔検出処理を実行する。顔を検出する処理は、ステップS109と同様の手法で行われる。そして、ステップS211において、主制御部10は、ステップS209により顔が一つ以上検出されたか否かを判定する。
【0098】
ステップS211において顔が1つも検出されなかった場合は、ステップS213において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではあるがポートレート撮影ではないものと判断し、撮影モードを通常マクロ撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常マクロ撮影モードの撮影条件を設定する。
【0099】
ステップS211において顔が1つ以上検出された場合は、ステップS215において、主制御部10は、自分撮り撮影モードか否かを判定するために、撮像光学系3Aを介して取得した左側画像、及び撮像光学系3Bを介して取得した右側画像から視差マップを生成する。
【0100】
ここで、視差マップを生成する方法について説明する。まず、左側画像と右側画像との間でステレオ・マッチングを行うことにより、例えば左側画像を基準として、左側画像上の画素(x1,y1)に対応する右側画像上の対応点の画素(x2,y2)を抽出する。なお、ここでは、視差が画像の横方向(水平方向)に発生しており、縦方向(垂直方向)にずれは生じていないものとして説明する。
【0101】
次に、左側画像上の画素(x1,y1)と右側画像上の対応点の画素(x2,y2)との視差dを、d=x2−x1により算出し、この視差dを、基準とした左側画像の画素位置(x1,y1)に格納する。そして、左側画像の各画素について計算した視差dを左側画像の画素位置に対応させて格納して画像化する。この画像化したものが「視差マップ」である。
【0102】
なお、本実施形態に係る撮像装置1Aでは、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用するものとしている。また、本実施形態に係る撮像装置1Aでは、視差マップとして、左側画像を基準としたもの(以下、「左側視差マップ」という。)と、右側画像を基準としたもの(以下、「右側視差マップ」という。)の2種類を生成する。
【0103】
図9(A)は、撮像光学系3Aを介して取得した左側画像を示す図であり、図9(B)は、撮像光学系3Bを介して取得した右側画像を示す図である。また、図10(A)は、左側画像の右側画像に対する視差マップ(左側視差マップ)を示す図であり、図10(B)は、右側画像の左側画像に対する視差マップ’(右側視差マップ)を示す図である。本実施形態における視差マップは、視差が大きくなるにつれて濃い色になるように生成される。
【0104】
図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図10(A)に示すような左側視差マップ36Aが生成され、この左側視差マップ36Aから、顔領域37Aの左下領域38A、右下領域38Bが特定され、顔領域37A、左下領域38A、及び右下領域38Bの各々の距離が求められる。
【0105】
同様に、図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図10(B)に示すような右側視差マップ36Bが生成され、この右側視差マップ36Bから、顔領域37Bの左下領域38C、右下領域38Dが特定され、顔領域37B、左下領域38C、及び右下領域38Dの各々の距離が求められる。
【0106】
ステップS217において、主制御部10は、ステップS215により生成された左側視差マップ36Aにて、顔領域37Aの左下領域38A、または顔領域37Bの右下領域38Bの距離が、顔領域37Aの距離よりも近いか否かを判定する。すなわち、撮影者が撮像装置1Aで自分撮りを行っている場合には、いずれかの手で撮像装置1Aを保持しているため、撮像装置1Aを保持している側の腕が撮像装置1Aに接近して距離が近くなる。撮像装置1Aは、これを利用して自分撮り撮影か否かの判断を行う。
【0107】
ステップS217において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近かった場合は、ステップS219において、主制御部10は、左側視差マップ36A及び右側視差マップ36Bにおける顔領域37Aの左下領域38Aまたは右下領域38Bの相互の対応点が他の領域より少ないか否かを判定する。
【0108】
ステップS219において左下領域38Aまたは右下領域38Bの相互の対応点が他の領域より少なくない場合は、ステップS221において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0109】
ステップS217において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近くなかった場合、または、ステップS219において左下領域38Aまたは右下領域38Bの相互の対応点が他の領域より少なかった場合は、ステップS223において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0110】
ステップS207、S213、S221またはS223において撮影モードが設定されると、ステップS225において、主制御部10は、レリーズボタン6Bが全押しされているか否かを判定する。ステップS225において全押しされていないと判定された場合は、ステップS227において、主制御部10は、ステップS201にて半押しされていたレリーズボタン6Bが開放されたか否かを判定する。
【0111】
ステップS227においてレリーズボタン6Bが開放されたと判定された場合は、ステップS201に移行する。一方、ステップS227においてレリーズボタン6Bが開放されていないと判定された場合は、ステップS225に移行する。
【0112】
ステップS225において全押しされたと判定された場合は、ステップS229において、主制御部10は、ステップS207、S213、S221またはS223において設定された撮影モードに応じて、撮影情報20に基づいて撮影条件を決定して撮影処理を実行する。
【0113】
この際、撮像装置1Aは、自分撮り撮影モードに設定されている場合は、顔の視差が0に、背景の視差が奥行き方向に近くなるように視差を調整すると良い。また、撮像装置1Aは、絞りを絞って被写界深度を深く設定し、顔と背景の両方に焦点が合うようにする。
【0114】
このようにして本実施形態に係る撮像装置1Aは、 撮像素子によって撮像された被写体像から顔領域を検出し、検出された顔領域までの第1距離を検出し、被写体像の顔領域における左下領域および右下領域に含まれる物体までの第2距離を検出し、検出された第2距離に第1距離より近いものが存在する場合に、自分撮りを行おうとしていると判断する。
【0115】
また、被写体像として3次元撮影によって得られた左側画像および右側画像が利用可能であり、被写体像の前記顔領域の左下領域および右下領域に含まれる物体に、左側画像と前記右側画像とで対応がとれない物体が存在する場合に、自分撮りを行おうとしていると判断する。これにより、撮像装置1Aは、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0116】
また、撮像装置1Aは、自分撮り撮影モードに設定された場合に、自分撮り撮影モードに最適な視差とクロスポイントに調整することができる。
【0117】
また、撮像装置1Aを用いて自分撮りをした際に、フラッシュが強すぎて顔が白飛びしたり、背景に焦点が合わなくなったりすることがなくなり、きれいな写真が撮影可能となる。
【0118】
さらに、自分撮り撮影モードでの撮影時に、撮影者が自分撮り撮影モードで撮影していること、あるいは撮影されたことを確認できるとともに、自分撮り撮影モードでの撮影後に、ポストビュー時間を通常より長くすることで、撮影者が撮影画像をゆっくり確認することができる。
【0119】
〔第3実施形態〕
以下、第3実施形態に係る撮像装置1Aについて添付図面を用いて詳細に説明する。
【0120】
なお、第3実施形態の撮像装置1Aは、第2実施形態と同一の構成を有するため、第2実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0121】
第3実施形態に係る撮像装置1Aは、以下の(1)乃至(3)の3条件を満たしている場合に、自分撮りを行っている可能性が高いため、自分撮り撮影モードに設定すべきであると判断する。
(1)撮像画像内において顔が検出されていること
(2)AF処理に伴って得られた撮像装置1Aから被写体までの距離が予め定められた所定距離(本実施形態では1m)以内であること
(3)視差マップにおいて、検出された顔の領域に左右どちらかの視点からしか見えない死角(オクルージョン領域)が一定以上の割合(本実施形態では5%以上)で発生していること
【0122】
上記(3)の条件は、背景の左右対応が取れているが顔の左右対応が取れていない場合にオクルージョン領域が大きくなるため、撮像装置1Aから顔までの距離及び撮像装置1Aから背景までの距離の差が大きい場合に自分撮りがされていることが推測されることによる。
【0123】
第3実施形態に係る撮像装置1Aは、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図11は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。図11に基づいて、撮像装置1Aの当該撮影制御処理について説明する。
【0124】
始めに、ステップS301において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS201において半押しされていると判定された場合は、ステップS303乃至S317において、第2実施形態のステップS203乃至S217と同様の処理を行う。
【0125】
そして、ステップS317において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近かった場合は、ステップS319において、主制御部10は、左側視差マップ36Aまたは右側視差マップ36Bにおける顔領域37Aにおいてオクルージョン領域が予め定められた値(本実施形態では5%)以上であるか否かを判定する。
【0126】
オクルージョン領域とは、左側画像35Aには写っているが右側画像35Bには写っていない領域、あるいは右側画像35Bには写っているが左側画像35Aには写っていない領域であり、左側画像35Aと右側画像35Bとの対応点を求めることにより、オクルージョン領域を求めることができる。本実施形態に係る視差マップは、前述したように、ステレオ・マッチングにより対応点が見つからない画素については、直近に見つかった対応点の画素を代用しているので、左側画像視差マップおよび右側画像視差マップにおいて、同一の視差dが連続的に記憶されている対応点の数を計数することによりオクルージョン領域の面積を導出する。
【0127】
図12(A)は、左側画像の右側画像に対する視差マップ(左側視差マップ)を示す図であり、図12(B)は、右側画像の左側画像に対する視差マップ(右側視差マップ)を示す図である。なお、本実施形態における視差マップは、視差が大きくなるにつれて濃い色になるように生成される。
【0128】
図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図12(A)に示すような左側視差マップ40Aが生成され、この左側視差マップ40Aから、顔領域41Aのオクルージョン領域42Aが特定される。
【0129】
同様に、図9(A)に示す左側画像35A及び図9(B)に示す左側画像35Bから、図12(B)に示すような右側視差マップ40Bが生成され、この右側視差マップ40Bから、顔領域41Bのオクルージョン領域42Bが特定される。
【0130】
ステップS319においてオクルージョン領域が5%以上でない場合は、ステップS321において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0131】
ステップS317において左下領域38Aまたは右下領域38Bの距離が顔領域37Aの距離より近くなかった場合、または、ステップS319においてオクルージョン領域が5%以上であった場合は、ステップS323において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0132】
そして、ステップS325乃至S327において、第2実施形態のステップS225乃至S227とそれぞれ同様の処理を行う。
【0133】
このようにして撮像装置1Aは、被写体像として3次元撮影によって得られた左側画像および右側画像が利用可能であり、左側画像に写っていて前記右側画像に写っていない領域、及び、右側画像には写っていて右下領域には写っていない領域の全体に対する割合が所定値以上であった場合に、自分撮りを行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0134】
〔第4実施形態〕
以下、第4実施形態に係る撮像装置1について添付図面を用いて詳細に説明する。
【0135】
なお、第4実施形態に係る撮像装置1は、第1実施形態に係る撮像装置1と同一の構成を有するため、第1実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0136】
第4実施形態に係る撮像装置1は、撮影者が撮影前にスルー画像を見ながら撮像装置1を保持している腕が撮影されないように撮像装置1の位置や向きを調整することを考慮し、レリーズボタン6Bが半押しされる前に自分撮り撮影か否かを判定し、自分撮り撮影であると判定された場合には、レリーズボタン6Bの半押し時に自分撮り撮影だと判定されなかった場合でも自分撮り撮影モードに設定するものである。
【0137】
本実施形態に係る撮像装置1は、撮影前にスルー画像を表示した状態において撮影モードを判定する撮影前判定処理、及び、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図13は、本実施形態に係る撮像装置1の主制御部10により実行される撮影前判定処理プログラムの処理の流れを示すフローチャートであり、図14は、本実施形態に係る撮像装置1の主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。
【0138】
ステップS401において、主制御部10は、スルー画像が表示中であるか否かを判定する。そして、ステップS401においてスルー画像が表示中であると判定された場合は、ステップS403において、主制御部10は、AE/AF処理を実行する。
【0139】
ステップS405において、ステップS105と同様に、主制御部10は、ステップS403にて行ったAF処理に伴って得られた撮像装置1から被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。
【0140】
ステップS405において撮像装置1から被写体までの距離がマクロ撮影時での距離に該当しないと判定された場合は、ステップS407において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではないと判断し、撮影モードを通常撮影モードに設定する。
【0141】
ステップS405においてAF処理に伴って得られた撮像装置1から被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS409において、主制御部10は、撮影前のスルー画像から人間の顔を検出する顔検出処理を実行する。顔を検出する処理は、画像において顔を特徴付ける目や眉や口等の特徴点を検出した場合に顔だと判定して当該顔を検出する方法等、任意の方法で行われる。そして、ステップS411において、主制御部10は、ステップS409の処理により顔が一つ以上検出されたか否かを判定する。
【0142】
ステップS411において顔が1つも検出されなかった場合は、ステップS413において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではあるがポートレート撮影ではないものと判断し、撮影モードを通常マクロ撮影モードに設定する。
【0143】
ステップS411において顔が1つ以上検出された場合は、ステップS415において、主制御部10は、自分撮り撮影モードか否かを判定するために、ステップS411にて検出した顔領域の周辺領域の空間周波数を導出する。
【0144】
図15(A)は、撮影画像25を用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図15(A)に示す撮影画像25において、ステップS411にて検出された顔の顔領域26の左下領域27A、右下領域27Bが特定され、左下領域27A、右下領域27Bの各々の空間周波数が導出される。
【0145】
ステップS417において、主制御部10は、ステップS415により導出された左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分よりも少ないか否かを判定する。すなわち、撮影者が撮像装置1で自分撮りを行っている場合には、いずれかの手で撮像装置1を保持しているため、撮像装置1を保持している側の腕が撮像装置1に接近して焦点がずれ、高周波成分が少なくなる。撮像装置1は、これを利用して自分撮り撮影か否かの判断を行う。
【0146】
ステップS417において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分の量以上であった場合は、ステップS419において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。
【0147】
ステップS417において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分より少なかった場合は、ステップS421において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。そして、ステップS423において、主制御部10は、ステップS409、S411、S415にて判定に使用した画像の画像データを内部メモリ18に記憶する。なお、この記憶された画像データは、後述するように、顔が同一か否かを判定する際に使用される。
【0148】
次に、撮像装置1がステップS407、S413、S419またはS421にて設定された撮影モードを利用して行う撮影制御処理について、図14に基づいて説明する。
【0149】
始めに、ステップS501において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS501において半押しされていると判定された場合は、ステップS503において、主制御部10は、AE/AF処理を実行する。
【0150】
ステップS505において、主制御部10は、ステップS503にて行ったAF処理に伴って得られた撮像装置Aから被写体までの距離がマクロ撮影時での距離に該当するか否かを判定する。この際、主制御部10は、例えば撮像装置1Aから被写体までの距離が予め定められた値以下である場合にマクロ撮影時での距離に該当すると判定する。ステップS505においてマクロ撮影時での距離でないと判定された場合は、ステップS507において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードを通常撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常撮影モードの撮影条件を設定する。
【0151】
ステップS505において撮像装置1Aから被写体までの距離がマクロ撮影時での距離に該当すると判定された場合は、ステップS509において、主制御部10は、ステップS409と同様の手法で、撮影前のスルー画像から人間の顔を検出する顔検出処理を実行する。そして、ステップS511において、主制御部10は、ステップS409の処理により顔が一つ以上検出されたか否かを判定する。
【0152】
ステップS511において顔が1つも検出されなかった場合は、ステップS513において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影ではあるがポートレート撮影ではないものと判断し、撮影モードを通常マクロ撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて通常マクロ撮影モードの撮影条件を設定する。
【0153】
ステップS511において顔が1つ以上検出された場合は、ステップS515において、主制御部10は、自分撮り撮影モードか否かを判定するために、ステップS511にて検出した顔領域の周辺領域の空間周波数を導出する。
【0154】
ステップS517において、主制御部10は、ステップS515により導出された左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分よりも少ないか否かを判定する。
【0155】
ステップS517において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分の量以上であった場合は、ステップS519において、主制御部10は、ステップS511において検出された顔が、ステップS423において記憶された顔と同一であるか否かを判定する。同一の顔か否かの判断は、例えば、顔認識機能によって同一顔だと判断しても良く、顔検出がスルー画像表示時から撮影時まで同じ位置に継続して検出された場合に同一顔だと判断しても良く、あるいは、テンプレートマッチング等の画像検索により同一顔を検索することにより同一顔だと判断しても良い。
【0156】
ステップS519において顔が同一でないと判定された場合は、ステップS521において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるが自分撮り撮影ではないものと判断し、撮影モードをマクロポートレート撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいてマクロポートレート撮影モードの撮影条件を設定する。
【0157】
ステップS517において左下領域27A、右下領域27Bの高周波成分が当該左下領域27A、右下領域27B以外の領域の高周波成分より少なかった場合、及びステップS519において顔が同一であると判定された場合は、ステップS523において、主制御部10は、当該撮影がマクロ撮影時での距離における撮影かつポートレート撮影であるとともに自分撮り撮影ではあるものと判断し、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0158】
図15(B)は、撮影画像25を用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図15(B)に示す撮影画像25のように、レリーズボタン6Bが半押しされた状態において、検出された顔の顔領域26の左下領域27A、右下領域27Bにおける高周波成分が他の領域より少なくない場合でも、スルー画像表示中に顔領域26の左下領域27A、右下領域27Bにおける高周波成分が他の領域より少ない場合には、撮影モードが自分撮り撮影モードに設定される。
【0159】
そして、ステップS525乃至S529において、主制御部10は、第1実施形態のステップS123乃至S127と同様の処理を行う。
【0160】
このようにして撮像装置1は、撮影前のタイミングで判断の条件が成立すると共に、撮影時のタイミングで撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ判断の条件が成立しない場合に、自分撮り撮影を行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0161】
なお、上述した撮影前判定処理において、自分撮り撮影モードではなかった場合(ステップS405で否定判定、ステップS411で否定判定、あるいはステップS417で否定判定された場合、ステップS407、S413、あるいはS419の処理は省略しても良い。
【0162】
〔第5実施形態〕
以下、第5実施形態に係る撮像装置1Aについて添付図面を用いて詳細に説明する。
【0163】
なお、第5実施形態に係る撮像装置1Aは、第2実施形態に係る撮像装置1Aと同一の構成を有するため、第2実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0164】
第5実施形態に係る撮像装置1Aは、第4実施形態と同様に、撮影者が撮影前にスルー画像を見ながら撮像装置1Aを保持している腕が撮影されないように調整することを考慮し、レリーズボタン6Bが半押しされる前に自分撮り撮影か否かを判断し、自分撮り撮影であると判断された場合には、レリーズボタン6Bの半押し時に自分撮り撮影だと判断されなかった場合でも自分撮り撮影モードに設定するものである。
【0165】
本実施形態に係る撮像装置1Aは、撮影前にスルー画像を表示した状態において撮影モードを判定する撮影前判定処理、及び、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図16は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影前判定処理プログラムの処理の流れを示すフローチャートであり、図17は、本実施形態に係る撮像装置1Aの主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。
【0166】
始めに、ステップS601において、主制御部10は、スルー画像が表示中であるか否かを判定する。そして、ステップS601においてスルー画像が表示中であると判定された場合は、ステップS603乃至S623において、第2実施形態のステップS203乃至S223と同様の処理を行う。
【0167】
そして、ステップS623において自分撮り撮影モードに設定された場合は、ステップS625において、主制御部10は、視差マップ上の顔領域の平均視差と、背景領域の平均視差との差分Aを記憶する。
【0168】
この際、主制御部10は、撮影画像を視差マップによって複数の領域に区分した場合に、顔領域以外の領域で最も広い領域を背景領域とすると良い。
【0169】
図18(A)は、視差マップ45Aを用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図18(A)に示す視差マップ45Aにおいて、ステップS623にて検出された顔の顔領域A1の平均視差と、背景領域B1の平均視差との差分が導出される。
【0170】
次に、撮像装置1AがステップS607、S613、S621またはS623にて設定された撮影モードを利用して行う撮影制御処理について、図17に基づいて説明する。
【0171】
始めに、ステップS701において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS701において半押しされていると判定された場合は、ステップS703において、主制御部10は、AE/AF処理を実行する。
【0172】
ステップS705において、主制御部10は、スルー画像表示中に撮影モードが自分撮り撮影モードに設定されたか否かを判定する。この際、主制御部10は、ステップS623において自分撮り撮影モードに設定された場合に、スルー画像表示中に撮影モードが自分撮り撮影モードに設定されたものと判定する。
【0173】
ステップS705において自分撮り撮影モードに設定されたと判定された場合は、ステップS707において、主制御部10は、視差マップ上の顔領域の平均視差と、背景領域の平均視差との差分Bを導出して、ステップS625にて記憶された差分Aと比較し、差分Aと差分Bとの差が予め定められた値以下であるか否かを判定する。
【0174】
図18(B)は、視差マップ45Bを用いて自分撮り判断を行う際の判断方法を説明するための概略図である。図18(B)に示す視差マップ45Bにおいて、顔領域A1の平均視差と、背景領域B1の平均視差との差分が導出される。
【0175】
ステップS707において予め定められた値以下であると判定された場合は、ステップS709において、主制御部10は、撮影モードを自分撮り撮影モードに設定する。この際、主制御部10は、撮影情報20に基づいて自分撮り撮影モードの撮影条件を設定する。
【0176】
そして、ステップS711乃至S733の処理は、第2実施形態のステップS205乃至S229の処理と同様の処理を行う。
【0177】
なお、撮像装置1Aにおいてズーム操作やカメラ電源のオンオフ切替、再生モードや設定モードに切り替えられた場合は、記憶している視差の差分Aを消去する。
【0178】
また、顔領域の視差の中で左右側画像のどちらかにしか写らない死角(オクルージョン)領域の面先費が同程度になった場合に、自分撮り撮影モードに設定するようにしても良い。
【0179】
このようにして撮像装置1Aは、撮影前のタイミングで判断の条件が成立すると共に、撮影時のタイミングにおける顔部分の視差と背景の視差の差分と、撮影前のタイミングにおける顔部分の視差と背景の視差の差分との差が、所定値以下であり、かつ判断の条件が成立しない場合に、自分撮り撮影を行おうとしていると判断する。これにより、腕検出を行って自分撮りを判断する方法に比較して、簡易かつ高精度に自分撮りを判断することができる。
【0180】
また、自分撮り時に背景と自分との構図によっては自分撮りの判断ができない場合であっても、撮影準備中に自分撮りを判断しておくことで、同一被写体を撮影する場合に、自分撮り撮影モードに設定することができる。
【0181】
なお、上述した撮影前判定処理において、自分撮り撮影モードではなかった場合(ステップS605で否定判定、ステップS611で否定判定、あるいはステップS619で否定判定された場合、ステップS607、S613、あるいはS621の処理は省略しても良い。
【0182】
〔第6実施形態〕
以下、第6実施形態に係る撮像装置1について添付図面を用いて詳細に説明する。
【0183】
なお、第6実施形態に係る撮像装置1は、第1実施形態に係る撮像装置1と同一の構成を有するため、第1実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
【0184】
第6実施形態に係る撮像装置1は、撮影者が撮像装置1を用いて自分撮りを行う際には、表示部5が背面側になって撮影者が撮影時に視認できないため、眼鏡の反射を確認できないことを考慮し、撮影時に眼鏡の反射を検出して撮影者に警告するものである。
【0185】
本実施形態に係る撮像装置1は、撮影前にレリーズボタン6Bが半押しされた状態において自分撮り撮影モードに設定すべきか否かを判断して、撮影時に上記撮影情報20を用いて撮影条件を設定して撮影処理を行う撮影制御処理を行う。図19は、本実施形態に係る撮像装置1の主制御部10により実行される撮影制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムは記録媒体である内部メモリ18の所定領域に予め記憶されている。
【0186】
始めに、ステップS801において、主制御部10は、レリーズボタン6Bが半押しされているか否かを判定する。そして、ステップS801において半押しされていると判定された場合は、ステップS803乃至S821において、第1実施形態のステップS103乃至S121と同様の処理を行う。
【0187】
そして、ステップS821において撮影モードが自分撮り撮影モードに設定されると、ステップS823において、主制御部10は、ステップS809における顔検出処理によって検出された目の領域の平均輝度が、顔領域の平均輝度よりも高いか否かを判定する。撮影者が眼鏡をかけた状態で自分撮り撮影モードで撮影した場合、強いフラッシュが眼鏡で反射している可能性があるためである。
【0188】
ステップS823において目の領域の平均輝度が顔領域の平均輝度よりも高いと判定された場合は、ステップS825において、主制御部10は、眼鏡が反射している旨を撮影者に対して警告する。
【0189】
図20(A)は、撮像装置1による撮影画像50を示す図であり、図20(B)は、警告表示を行っている撮影画像50を示す図である。図20(A)に示すように、撮影画像50においてフラッシュが眼鏡に反射して眼鏡が光っている場合、図20(B)に示すように、撮影画像50と併せて警告文51が表示部5に表示される。
【0190】
そして、ステップS827乃至S831において、第1実施形態のステップS123乃至S127とそれぞれ同様の処理を行う。
【0191】
なお、第6実施形態として、第1実施形態の撮像装置1(単眼カメラ)について説明したが、これに限定されず、第2実施形態の撮像装置1A(複眼カメラ)であっても、同様の処理を行うことができる。この場合、左側画像35Aまたは右側画像35Bにおいて、顔検出処理によって検出された目の領域の平均輝度が顔領域の平均輝度よりも高い場合に、眼鏡が反射している旨を撮影者に対して警告すると良い。
【0192】
このようにして撮像装置1Aは、被写体像の顔領域の目に対応する領域に予め定められた輝度以上の領域が存在する場合に、警告を報知する。これにより、撮影者が撮像装置1を用いて自分撮りを行おうとしている場合に、眼鏡の反射を警告することができる。
【0193】
また、自分撮りをする場合には撮影者が撮像装置1Aの背面の画像表示を見ることができないため、撮影後に眼鏡の反射に気付いて取り直しになってしまう可能性があるが、本実施形態の構成により、撮影者が撮影時に眼鏡の反射を確認することができる。
【符号の説明】
【0194】
1、1A…撮像装置,2…筐体,3、3A、3B…光学撮像系,4…ストロボ,5、5A…表示部,6…操作部,6A…メニュー操作部,6B…レリーズボタン,6C…電源ボタン,6D…モード切替ボタン,10…主制御部,11…撮影部,12…撮影制御部,13…画像処理部,14…圧縮/伸張処理部,15…フレームメモリ,16…表示制御部,17…メディア制御部,17A…記録メディア,18…内部メモリ,20…撮影情報,25、25B、25C、50…撮影画像,26…顔領域,27A…左下領域,27B…右下領域,30…三次元処理部,31…視差マップ生成部,35A…左側画像,35B…右側画像,36A、40A、45A…左側視差マップ,36B、40B、45B…右側視差マップ,37A、37B…顔領域,38A、38C…左下領域,38B、38D…右下領域,41、42…オクルージョン領域,51…警告文。
【特許請求の範囲】
【請求項1】
撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、
前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、
を備えた自分撮り判断装置。
【請求項2】
前記顔領域に対応する被写体の顔までの距離を検出する第1の距離検出手段をさらに備え、
前記判断手段は、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低く、かつ前記第1の距離検出手段により検出された距離が予め定められた距離以下である場合に、自分撮りと判断する
請求項1記載の自分撮り判断装置。
【請求項3】
前記予め定められた距離がマクロ撮影時の最長距離である
請求項2記載の自分撮り判断装置。
【請求項4】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、
前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、
前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、
を備えた自分撮り判断装置。
【請求項5】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、
前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、
を備えた自分撮り判断装置。
【請求項6】
前記距離情報取得手段は、前記第1視点画像と前記第2視点画像の対応点を探索し、画素毎に前記第1視点画像と前記第2視点画像の視差量を算出する
請求項4または請求項5記載の自分撮り判断装置。
【請求項7】
前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングで前記顔領域検出手段により前記撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断する
請求項1から請求項6の何れか1項記載の自分撮り判断装置。
【請求項8】
前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングにおける前記顔領域の視差と背景領域の視差の差分と、前記撮影前のタイミングにおける顔領域の視差と背景領域の視差の差分との差が、所定値以下であり、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断する
請求項5または請求項6記載の自分撮り判断装置。
【請求項9】
前記顔領域検出手段によって検出された前記顔領域における被写体の目に対応する領域に予め定められた輝度以上の領域が存在する場合に、警告する警告手段
をさらに備えた請求項1から請求項8の何れか1項記載の自分撮り判断装置。
【請求項10】
請求項1から請求項9の何れか1項記載の自分撮り判断装置と、
前記自分撮り判断装置によって自分撮りと判断された場合に、当該自分撮りに適した条件に撮影条件を設定する設定手段と、
を有する撮像装置。
【請求項11】
前記自分撮り判断装置によって自分撮りと判断された場合に、自分撮り撮影時の設定で撮影することを提示する提示手段
をさらに有する請求項10記載の撮像装置。
【請求項12】
前記自分撮り判断装置によって自分撮りと判断された場合に、撮影によって記録する画像情報に関連付けて自分撮り撮影時の設定で撮影したことを示す情報を記録する記録手段
をさらに有する請求項10または請求項11記載の撮像装置。
【請求項13】
コンピュータを、
撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、
前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、
として機能させるためのプログラム。
【請求項14】
コンピュータを、
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、
前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、
前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、
として機能させるためのプログラム。
【請求項15】
コンピュータを、
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、
前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、
として機能させるためのプログラム。
【請求項16】
撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出ステップと、
前記顔領域検出ステップによって検出した前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出ステップと、
前記合焦状態検出ステップによって検出した合焦状態が予め定められたレベルより低い場合に、自分撮りをと判断する判断ステップと、
を備えた自分撮り判断方法。
【請求項17】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出ステップと、
前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにより得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出ステップにより検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出ステップと、
前記第2の距離検出ステップによって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断ステップと、
を備えた自分撮り判断方法。
【請求項18】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出ステップと、
前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにより得られた距離情報から、前記顔領域検出ステップにより検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断ステップと、
を備えた自分撮り判断方法。
【請求項1】
撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、
前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、
を備えた自分撮り判断装置。
【請求項2】
前記顔領域に対応する被写体の顔までの距離を検出する第1の距離検出手段をさらに備え、
前記判断手段は、前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低く、かつ前記第1の距離検出手段により検出された距離が予め定められた距離以下である場合に、自分撮りと判断する
請求項1記載の自分撮り判断装置。
【請求項3】
前記予め定められた距離がマクロ撮影時の最長距離である
請求項2記載の自分撮り判断装置。
【請求項4】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、
前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、
前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、
を備えた自分撮り判断装置。
【請求項5】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、
前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、
を備えた自分撮り判断装置。
【請求項6】
前記距離情報取得手段は、前記第1視点画像と前記第2視点画像の対応点を探索し、画素毎に前記第1視点画像と前記第2視点画像の視差量を算出する
請求項4または請求項5記載の自分撮り判断装置。
【請求項7】
前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングで前記顔領域検出手段により前記撮影前のタイミングで検出されていた顔と同一の顔が検出され、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断する
請求項1から請求項6の何れか1項記載の自分撮り判断装置。
【請求項8】
前記判断手段は、撮影前のタイミング及び撮影時のタイミングで前記判断を行い、撮影時のタイミングで自分撮りと判断されない場合であっても、撮影時のタイミングにおける前記顔領域の視差と背景領域の視差の差分と、前記撮影前のタイミングにおける顔領域の視差と背景領域の視差の差分との差が、所定値以下であり、かつ撮影前のタイミングで自分撮りと判断した場合に、自分撮りと判断する
請求項5または請求項6記載の自分撮り判断装置。
【請求項9】
前記顔領域検出手段によって検出された前記顔領域における被写体の目に対応する領域に予め定められた輝度以上の領域が存在する場合に、警告する警告手段
をさらに備えた請求項1から請求項8の何れか1項記載の自分撮り判断装置。
【請求項10】
請求項1から請求項9の何れか1項記載の自分撮り判断装置と、
前記自分撮り判断装置によって自分撮りと判断された場合に、当該自分撮りに適した条件に撮影条件を設定する設定手段と、
を有する撮像装置。
【請求項11】
前記自分撮り判断装置によって自分撮りと判断された場合に、自分撮り撮影時の設定で撮影することを提示する提示手段
をさらに有する請求項10記載の撮像装置。
【請求項12】
前記自分撮り判断装置によって自分撮りと判断された場合に、撮影によって記録する画像情報に関連付けて自分撮り撮影時の設定で撮影したことを示す情報を記録する記録手段
をさらに有する請求項10または請求項11記載の撮像装置。
【請求項13】
コンピュータを、
撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出手段と、
前記合焦状態検出手段によって検出された合焦状態が予め定められたレベルより低い場合に、自分撮りと判断する判断手段と、
として機能させるためのプログラム。
【請求項14】
コンピュータを、
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出手段と、
前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出手段により検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出手段と、
前記第2の距離検出手段によって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断手段と、
として機能させるためのプログラム。
【請求項15】
コンピュータを、
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出手段と、
前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得手段と、
前記距離情報取得手段により得られた距離情報から、前記顔領域検出手段により検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断手段と、
として機能させるためのプログラム。
【請求項16】
撮像素子によって撮像された画像から被写体の顔領域を検出する顔領域検出ステップと、
前記顔領域検出ステップによって検出した前記顔領域の左下領域および右下領域の少なくとも一方の合焦状態を検出する合焦状態検出ステップと、
前記合焦状態検出ステップによって検出した合焦状態が予め定められたレベルより低い場合に、自分撮りをと判断する判断ステップと、
を備えた自分撮り判断方法。
【請求項17】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の少なくとも一方から顔領域を検出する顔領域検出ステップと、
前記第1視点画像および第2視点画像から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにより得られた距離情報から、前記顔領域に対応する被写体の顔までの距離に相当する値を第1距離として検出し、前記顔領域検出ステップにより検出された前記顔領域の左下領域および右下領域の少なくとも一方の領域に対応する物体までの距離に相当する値を第2距離として検出する第2の距離検出ステップと、
前記第2の距離検出ステップによって検出された第2距離が、検出された前記第1距離より近い場合に、自分撮りと判断する判断ステップと、
を備えた自分撮り判断方法。
【請求項18】
異なる視点から撮影された視差を有する第1視点画像および第2視点画像の各々から顔領域を検出する顔領域検出ステップと、
前記第1視点画像及び第2視点画像から距離情報を取得する距離情報取得ステップと、
前記距離情報取得ステップにより得られた距離情報から、前記顔領域検出ステップにより検出された第1視点画像の顔領域または第2視点画像の顔領域のいずれかにおいて、他方の画像と対応しない画像領域が該顔領域に対して所定割合以上ある場合に、自分撮りと判断する判断ステップと、
を備えた自分撮り判断方法。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図11】
【図13】
【図14】
【図16】
【図17】
【図19】
【図20】
【図5】
【図10】
【図12】
【図15】
【図18】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図11】
【図13】
【図14】
【図16】
【図17】
【図19】
【図20】
【図5】
【図10】
【図12】
【図15】
【図18】
【公開番号】特開2013−74428(P2013−74428A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−211354(P2011−211354)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願日】平成23年9月27日(2011.9.27)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]