撮影機器
【課題】見やすい3D画像を得るための撮影支援を行うことを可能にする。
【解決手段】 撮影機器は、撮像部と、上記撮像部で得られる画像を表示する表示部と、上記撮像部で得られる画像中の被写体のうち、上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する被写体検出部と、上記被写体検出部が上記基準被写体を検出すると、上記表示部に3D撮影を推奨する表示を行う表示制御部とを具備したことを特徴とする。
【解決手段】 撮影機器は、撮像部と、上記撮像部で得られる画像を表示する表示部と、上記撮像部で得られる画像中の被写体のうち、上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する被写体検出部と、上記被写体検出部が上記基準被写体を検出すると、上記表示部に3D撮影を推奨する表示を行う表示制御部とを具備したことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3次元画像の撮影を可能にする撮影機器に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器は、画像処理を駆使して、様々な苦手撮影シーンを克服している。また、近年、映画産業では、臨場感を重んじた3D(3次元)化の波があり、テレビ業界もそれに追随して3D表示機器は普及傾向にある。
【0003】
デジタルカメラ等の民生用の撮影機器においても、3D撮影可能な装置が開発されている。画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。立体視を可能にするためには、右目用の右画像と左目用の左画像、即ち、左右両眼の視点に対応する視差を持った2画像を撮像する必要がある。
【0004】
例えば、特許文献1においては、2D撮影用のレンズを用い、水平にずらした2回の撮影によって、立体画像を得る手法が開示されている。なお、右画像を撮像する撮像装置と左画像を撮像する撮像装置の2つの撮像装置を同時に用いて3D画像を得る装置も商品化されている。
【0005】
ところで、近年、撮影機器においては、シーン判別を行い、シーンに応じて最適な撮影を行う撮影の自動化が行われている。この種の撮影機器においては、撮像しようとする画像から顔検出、動検出、明るさ検出等を行い、シーンに応じた露出、ピント合わせ、画像処理を行うようになっている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2007−504511号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来、シーン判別を行っても、どのような被写体が3D撮影に有効であるかを判別することはできず、また、どのような3D画像が自然で目に優しいかを判別することもできない。このため、従来の撮影機器においては、目に優しく自然な3D画像を得るための撮影方法を撮影者に提示して最適な3D画像を得るための撮影支援を行うことはできないという問題があった。
【0008】
本発明は見やすい3D画像を得るための撮影支援を行うことを可能にすることができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の撮影機器は、撮像部と、上記撮像部で得られる画像を表示する表示部と、上記撮像部で得られる画像中の被写体のうち、上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する被写体検出部と、上記被写体検出部が上記基準被写体を検出すると、上記表示部に3D撮影を推奨する表示を行う表示制御部とを具備したことを特徴とする。
【発明の効果】
【0010】
本発明によれば、見やすい3D画像を得るための撮影支援を行うことを可能にすることができるという効果を有する。
【図面の簡単な説明】
【0011】
【図1】本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図2】第1の実施の形態における3D撮影の撮影支援を説明するための説明図。
【図3】距離判定部11cの判定方法の一例を説明するための説明図。
【図4】基準被写体判定部11dの判定方法の一例を説明するための説明図。
【図5】基準被写体の判定を説明するためのフローチャート。
【図6】第1の実施の形態の動作を説明するためのフローチャート。
【図7】距離判定部11cの他の構成を示す説明図。
【図8】距離判定部11cの他の構成を示す説明図。
【図9】本発明の第2の実施の形態において採用される3D撮影支援の方法を説明するためのフローチャート。
【図10】第2実施の形態において3D撮影に適した画像であるか否かの判定方法を説明するための説明図。
【図11】3D相関判定部11eにおける判定方法を説明するための説明図。
【図12】3D効果判定部11eが判定に用いる検出点の列を説明するための説明図。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0013】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【0014】
本実施の形態においては、目に優しい自然な3D画像を得るために、撮影範囲内の手前の被写体の視差を0とし、遠方の被写体が奥行き方向に見えるように、3D表示に用いる左画像及び右画像の撮影を支援する。例えば、本実施の形態においては、撮影範囲内の手前の被写体を検出し、この手前の被写体の撮影範囲内の位置を左右画像で一致させるように、撮影支援を行うようになっている。
【0015】
撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部2を有している。本実施の形態においては、2回の撮影によって左右画像を得ることを前提としており、撮像部2としては、1つの光学系のみを有する2D撮影用の撮影レンズを採用可能である。なお、撮像部2として2つの光学系を有する3D撮影用の撮影レンズを採用してもよい。
【0016】
撮影機器10の前面に設けた図示しない撮影レンズを含む光学系からの被写体の光学像は、撮像部2を構成する撮像素子の撮像面に結像するようになっている。この撮像部2は、信号処理及び制御部11によって駆動制御される。信号処理及び制御部11は、撮像部2に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。
【0017】
信号処理及び制御部11は、撮像素子の光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部11は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。
【0018】
また、撮影機器10には、操作判定部3、時計部4も配設されている。時計部4は信号処理及び制御部11が用いる時間情報を発生する。操作判定部3は、撮影機器10に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部11に出力するようになっている。信号処理及び制御部11は、操作信号に基づいて、各部を制御する。
【0019】
また、撮影機器10には、表示制御部11a及び記録再生制御部11bが設けられている。記録再生制御部11bは、信号処理及び制御部11からの画像情報及び音声情報を記録部9に与えて記録することができるようになっている。記録部9は記録再生制御部11bに制御されて、記録及び再生を行う。記録部9としては、例えばカードインターフェースを採用することができ、記録部9はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録部9は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部11の記録再生制御部11bに供給することができる。信号処理及び制御部11は、記録再生制御部11bによって再生された記録部9からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0020】
表示制御部11aは、撮像部2からの撮像画像や記録再生制御部11bからの再生画像を表示部6に与えて、これらの画像を表示させるようになっている。また、表示制御部11aは、図示しないマイクロホンによって取得した音声や記録再生制御部11bからの再生音声を音声発生部7に与えて音響出力することもできるようになっている。また、表示制御部11aは、撮影機器10の操作を行うためのメニュー表示等を表示部6に表示させることもできるようになっている。
【0021】
本実施の形態においては、表示部6としては、3D表示が可能なパララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部である。視差分割方式においては、3D表示用のメガネ等を用いることなく、3D表示が可能である。
【0022】
表示制御部11aは、記録部9に記録されている3D画像である左画像及び左画像が再生された場合には、これらの右画像及び左画像を表示部6の対応する画素に表示させるように、表示制御を行う。これにより、撮像した3D画像を表示部6に立体表示することができ、撮影者は、表示部6の表示画面上において立体撮影効果を確認することが可能である。
【0023】
なお、表示制御部11aは、左右画像として同一の画像を表示部6に与えることにより、2D表示を行うこともできる。
【0024】
本実施の形態においては、3D撮影の有効性を判定し、目に優しく自然な3D画像の撮影支援のために、信号処理及び制御部11には、距離判定部11c、基準被写体判定部11d及び3D効果判定部11eが設けられている。また、記録部9は、3D撮影における撮影支援を可能にするための仮記録部9aを有している。仮記録部9aには、記録再生制御部11bによって3D撮影による左右画像の一方が記録される。
【0025】
図2は本実施の形態における3D撮影の撮影支援を説明するための説明図である。図2(a)は撮影者21が手に撮影機器10を持ち、所定の撮影範囲22を撮影する様子を示しており、図2(b)には、撮影機器10の表示部6の表示画面6aに、所定の撮影範囲22がスルー画22aとして表示されていることを示している。図2(a)の撮像範囲22には、被写体として手前(被写体までの距離が近い)に建物23a、中間に樹木23b、遠方に山23cが撮影され得る状態を示している。
【0026】
本実施の形態においては、距離判定部11cは、撮影範囲22中の各被写体までの距離を求める。距離判定部11cからの距離判定結果は、基準被写体判定部11dに与えられる。基準被写体判定部11dは、距離判定結果に基づいて撮影範囲22中の手前側(被写体までの距離が近い)の被写体を検出し、検出結果を表示制御部11a及び3D効果判定部11eに与える。
【0027】
図3は距離判定部11cの判定方法の一例を説明するための説明図である。
【0028】
距離判定部11cは、図3(a)に示すように、撮像部2の撮像面2aに丸印にて示す複数の検出点2cを設定する。図3(a)は検出点2cが9個の例を示しているが、検出点の数は適宜設定可能である。距離判定部11cは、図3(b)に示すように、撮像部2の前方側に設けられた撮影レンズ2bを進退させながら、矢印にて示す被写体光学像を撮像面2a上に結像させ、撮像面2a上の各検出点2cにおけるコントラストを求める。
【0029】
図3(c)は横軸に撮影レンズの繰り出し量をとり縦軸にコントラストをとって、3つの検出点におけるコントラストの変化を特性曲線A〜Cによって示している。なお、図3(c)では図面の簡略化のために、3つの検出点に対応する特性曲線A〜Cのみを示している。繰り出し量は被写体までの距離に対応しており、図3(c)の各特性曲線の最も高いコントラストが得られる繰り出し量によって、被写体までの距離を検出することができる。繰り出し量が大きいほど、被写体までの距離が近いことを示しており、図3(c)の例では、特性曲線Cに対応する検出点における被写体が最も手前の被写体であることが分かる。
【0030】
本実施の形態においては、上述したように、3D撮影においては左右画像を別々に撮影する。左右画像のうち先に撮像する一方の画像(以下、基準画像という)を基準にして、他方の画像の撮像範囲を決定するように支援を行う。この場合において、基準被写体判定部11dは、基準画像中の特定の絵柄部分(基準被写体)を基準に、基準被写体において視差が0となるように、後から撮像する画像中の基準被写体部分が基準画像中の基準被写体に重なるように、撮影支援を行う。
【0031】
本実施の形態においては、基準被写体判定部11dは、基準被写体として、距離判定部11cの判定結果を元に、最も距離が近い手前側の所定のサイズ以上の被写体を選択するようになっている。
【0032】
図4は基準被写体判定部11dの判定方法の一例を説明するための説明図である。
【0033】
図4は撮像面2a上に丸印にて示す9つの検出点LL,CL,RL,LC,CC,RC,LH,CH,RHを設定した場合の例である。基準被写体判定部11dは、各検出点までの距離の検出結果が与えられ、検出結果を比較する。基準被写体判定部11dは、隣接する検出点であって、測距結果が略等しい検出点については、同一被写体を撮像して得られたものであり、且つ2つの検出点に跨る程度の比較的大きいサイズの被写体であると判定する。
【0034】
図4(a)乃至(e)の塗りつぶした検出点は、距離判定部11cによって測距結果が略等しいと判定された検出点を示している。即ち、図4(a)は2つの検出点LL,CL同士は略等距離であると判定された例である。同様に、図4(b)は2つの検出点CL,RL同士が、図4(c)は2つの検出点LL,LC同士が、図4(d)は2つの検出点RL,RC同士が、図4(e)は2つの検出点CL,CC同士が略等距離であると判定された例である。
【0035】
基準被写体判定部11dは、例えば、図5に示すフローチャートに従って、基準被写体を判定する。図5のステップS1において、基準被写体判定部11dは、検出点LL,CL同士が略等距離にあるか否かを判定する。基準被写体判定部11dは、隣り合う検出点LL,CL同士が略等距離である場合には、これらの検出点LL,CLが同一被写体に対応すると判定する。
【0036】
同様に、基準被写体判定部11dは、ステップS2〜S5において、検出点LL,CL同士、検出点CL,RL同士、検出点LL,LC同士、検出点RL,RC同士、検出点CL,CC同士が略等距離にあるか否かを判定する。
【0037】
一般的には、撮影範囲中の手前側の被写体は撮影範囲の下側に撮像され、遠方の被写体は撮影範囲の上側に撮像される。そこで、基準被写体判定部11dは、撮影範囲の下側の検出点において、隣接する検出点同士が略等距離であるか否かを判定することにより、手前側の所定サイズ以上の被写体が存在するか否かを判定するようになっている。このように、手前側の被写体を撮影範囲の全域から求めるのではなく、手前側の被写体が撮影範囲の下側に存在するものと仮定することで、基準被写体判定の演算量を低減することができる。
【0038】
基準被写体判定部11dは、ステップS1〜S5のいずれかのステップにおいて隣接する検出点が略等距離であると判定した場合には、手前側に所定サイズ以上の被写体が存在するものとして、当該検出点の周囲の輪郭を検出し、検出した輪郭によって囲まれる部分を基準被写体として設定する(ステップS7)。基準被写体判定部11dは、ステップS1〜S5のいずれのステップにおいても隣接する検出点が略等距離でないと判定した場合には、基準被写体が存在しないものとする(ステップS6)。基準被写体判定部11dは、判定結果を3D効果判定部11e及び表示制御部11bに与える。
【0039】
3D効果判定部11eは、手前側に所定のサイズ以上の被写体である基準被写体が存在する場合には3D撮影が有効であると判定し、基準被写体が存在しない場合には、3D撮影は有効ではないと判定する。3D効果判定部11eは、表示制御部11aを制御して、3D撮影の有効無効の判定結果を表示部6にアドバイス表示として表示させる。
【0040】
現在の撮影範囲が3D撮影に適している場合には、表示制御部11aは、基準被写体判定部11dからの判定結果に基づいて、スルー画表示中の撮像画像に基準被写体を示す表示を表示させるようになっている。図2(b)はこの場合における表示画面6a上の表示例を示している。図2(b)の例では、図2(a)の撮像範囲22中の手前側の被写体である建物23aに、基準被写体であることを示す強調表示24(斜線部)が表示されている。
【0041】
また、本実施の形態においては、上述したように、手前側の被写体(基準被写体)を視差0とし、遠方の被写体を奥行き方向に見せるように撮影を行う。図2(b)の矢印(3D)25は、3D撮影が有効であることを示すと共に、遠方の被写体を奥行き方向に見せるために、後から撮像する画像を撮影機器10をいずれに向けて撮像すればよいかを示している。図2(b)の状態で撮影を行うと、撮影画像は、記録再生制御部11bによって、仮記録部9aに記録される。なお、図2(c)はこの撮影時の撮影範囲の画像を示している。
【0042】
なお、図2の例では、手前側に所定のサイズ以上の被写体がある例を示したが、このような被写体が撮影範囲中に存在しない場合には、3D効果判定部11eは、表示制御部11aを制御して、現在の撮影範囲が3D撮影には適していないことを示すメッセージ表示を表示させるようにしてもよい。
【0043】
更に、3D効果判定部11eは、手前側に所定のサイズ以上の被写体(基準被写体)がある場合には3D撮影に適した撮影が可能であるものと判断し、表示制御部11aを制御して、撮影者に3D撮影を行うか否かを選択するための表示を表示させる。図2(d)はこのような選択表示として再撮影?と記述した選択表示26を表示させた例を示している。
【0044】
例えば、表示部6とタッチパネル8とが共通の画面を有する場合には、撮影者は、再撮影?の選択表示26の表示位置をタッチすることで、3D撮影の指示を行うことができる。なお、3D撮影の指示は、操作判定部3の操作判定結果によって得ることも可能である。
【0045】
3D撮影の指示が行われた場合には、表示制御部11aは、図2(e)に示すように、スルー画上に、基準被写体を示す表示27(斜線部)を表示させる。例えば、図2(b)の状態で撮影した1枚目の画像を透明表示しながら基準被写体を示す表示27を強調表示してもよい。或いは、1枚目の画像中の基準被写体部分のみを抽出して表示するようにしてもよい。
【0046】
撮影者は、基準被写体の表示27に対応するスルー画中の基準被写体部分を、基準被写体の表示27に重なるように、撮影範囲22’を決定する。この場合には、撮影範囲22’中における建物23aの位置は撮影範囲22中における建物23aの位置と同じとなるが、撮影範囲22’中における樹木23b’、山23c’の位置は撮影範囲22中における樹木23b、山23cの位置とはずれる。
【0047】
図2(f)はこの場合のスルー画22a’を示している。表示制御部11aは、スルー画22a’中の基準被写体に対応する絵柄部分と、記録された画像中の基準被写体の部分とが略一致した場合には、図2(f)に示す3DOKと記述した表示28を表示してもよい。撮影者はこの表示を確認することで、自然で目に優しい3D画像を得るための撮影範囲22’になったことを認識することができる。
【0048】
撮影者が撮影操作を行うと、記録再生制御部11bは、この撮影操作による2枚目の撮像画像と仮記録部9aに記録されている1回目の撮像画像とを対応させて記録部9に記録する。
【0049】
なお、図2の例では、1枚目の撮像前のスルー画時に、アドバイス表示を表示する例を示しているが、1枚目の画像を撮影した後に、アドバイス表示を表示するようにしてもよい。
【0050】
次に、このように構成された実施の形態の動作について図6のフローチャートを参照して説明する。
【0051】
撮影機器10に電源が投入されると、信号処理及び制御部11は、図6のステップS11において、撮影モードであるか否かを判定する。撮影モードでない場合には、信号処理及び制御部11は、ステップS12において再生モードであるか否かを判定する。
【0052】
信号処理及び制御部11は、ステップS12において再生モードが指示されたものと判定すると、ステップS12から処理をステップS13に移行して、記録部9によって記録されたファイルの一覧の情報を読み出し、ファイル一覧表示を表示部6に表示させる。
【0053】
ファイル一覧の表示時に、ユーザがファイル選択を行うと(ステップS14)、信号処理及び制御部11は、選択されたファイルを記録再生制御部11bを介して読み出し、復号化処理を行って、画像信号及び音声信号を再生する(ステップS15)。信号処理及び制御部11は、再生した画像信号及び音声信号を表示部6に与えて表示させる。
【0054】
なお、ファイル一覧表示時に、終了操作が行われた場合には、信号処理及び制御部11は、処理をステップS14からステップS16に移行して再生モードを終了する。
【0055】
信号処理及び制御部11は、ステップS11において撮影モードが指示されているものと判定した場合には、ステップS21においてスルー画を表示する。即ち、信号処理及び制御部11は、撮像部2からの撮像画像を取込み、所定の信号処理を施した後、表示制御部11aによって表示部6に出力する。こうして、表示部6の表示画面上においてスルー画が表示される。
【0056】
本実施の形態においては、ステップS24において撮影が行われる前に、信号処理及び制御部11は、ステップS23において3D撮影のためのアドバイス表示を行う。即ち、距離判定部11cは、スルー画中の各被写体までの距離を求める。距離判定部11cからの距離判定結果は、基準被写体判定部11dに与えられる。基準被写体判定部11dは、距離判定結果に基づいてスルー画中の手前側において所定のサイズ以上の被写体である基準被写体を検出し、検出結果を3D効果判定部11dに与える。
【0057】
この所定のサイズは、無意識に写真を干渉した時に、自然と、その被写体に眼が行くようなサイズを想定しており、画面内の他のものと大きさを比べて決まるものである場合が多い。つまり、撮像範囲内の他の被写体が小さい場合は、それよりも大きい被写体であれば、まず、そこに眼が行って、それを基準にして、他の小さい被写体に眼を移すような鑑賞が行われる。このような場合、所定サイズは、他の被写体との比較によって決定される。例えば、基準被写体判定部11dは、撮像範囲内の被写体を検出してサイズを比較し、サイズの平均よりも大きい被写体を所定サイズ以上と判定してもよく、最大サイズの被写体を基準被写体として選択するようにしてもよい。また、所定のサイズをユーザが指定するようにしてもよい。
【0058】
なお、ここで被写体とは、顔検出などで代表される技術で、輪郭やコントラスト、色などの特徴的な画像情報によって、人物や動物、花や木、空や雲、山、さらには建物を特定した結果や、同じ距離にあるひとかたまりと検出された検出物を個々の被写体とする。
【0059】
また、風景のように、なだらかな山並みを手前にした建物の例のように、建物のコントラストが高く、明るさが明るい場合、彩度が高い場合、山は大きいが、手前の建物の方に眼が行く。こうした場合も、本実施の形態では手前側の所定サイズ以上の被写体とする。この場合は、重力によって、手前のものは山よりも下にあることが多いので、画面下部で、画面の大きさの10分の1以上の被写体があれば、『画中の手前側において所定サイズ以上』という条件を満たすものとする。
【0060】
画面の遠方が一点に集中していく、「一点透視画法」の絵の表現を、我々は見慣れているが、この一点に向かって並ぶものは、画面周辺からだんだん遠くになるに従い小さくなると見やすい遠近関係となる。また、モナリザの絵のように画面中央に人物の被写体がある場合も、この画面内の手前に被写体があると、手前の被写体を基準として、人物の両脇などを背景として把握しやすい。つまり、このような場合も、『画中の手前側において所定サイズ以上』として扱うことが出来る。
【0061】
3D効果判定部11dは、スルー画中に基準被写体が存在すると判定した場合には、図2(b)に示す強調表示24及びアドバイス表示25を表示させる(ステップS23)。撮影者は、表示部6のスルー画上に表示されたこれらの表示24,25によって、現在スルー画として表示されている撮影範囲の画像は3D撮影に適していると共に、いずれの被写体を基準にしていずれの方向に撮影範囲を移動させて2枚目の画像を撮像すれば、自然で目に優しい3D画像が得られるかを認識することができる。
【0062】
ここで、撮影者がレリーズボタンを押すと、処理はステップS22からステップS24に移行して撮影が行われる。信号処理及び制御部11は、ステップS25において、撮影操作が3D撮影における2枚目の画像に対するものであるか否かを判定する。
【0063】
1枚目の画像の撮影操作であった場合には、表示制御部11aは、次のステップS26において、図2(d)に示す選択表示26を表示させる。撮影者は選択表示26に対して3D撮影又は2D撮影の指示を行う。信号処理及び制御部11は、ステップS27において、3D撮影が指示されたか否かを判定する。撮影者が3D撮影を指示していない場合には、撮像部2からの撮像画像に対して所定の信号処理を施し符号化して画像ファイル化した後、記録部9に与えて記録する(ステップS31)。
【0064】
信号処理及び制御部11は、ステップS27において撮影者が3D撮影を指示したものと判定した場合には、撮像部2からの撮像画像に対して所定の信号処理を施し符号化した後、仮記録部9aに記録する(ステップS28)。
【0065】
次に、信号処理及び制御部11は、ステップS29において基準被写体部分を強調表示する。これにより、例えば、図2(e)に示す基準被写体の表示27が表示される。
【0066】
次に、撮影者は、図2(e)に示すように、スルー画22’中の基準被写体の部分を基準被写体の表示27に重ねる。スルー画22’中の基準被写体の部分が基準被写体の表示27に重なると、信号処理及び制御部11は、ステップS23において、3DOKと記述した表示28を表示する。撮影者はこの状態でレリーズボタンを押す。
【0067】
この操作は、3D撮影の2枚目の撮像操作であるので、信号処理及び制御部11は、処理をステップS25からステップS30に移行して、画像ペア化する。即ち、信号処理及び制御部11は、撮像部2からの撮像画像に対して所定の信号処理を施し、この撮像画像と仮記録部9aからの画像とをペア化して、記録部9に記録する(ステップS31)。なお、信号処理及び制御部11は、ペア化した左右画像を符号化した後記録部9に記録してもよい。
【0068】
更に、記録再生制御部11bは、撮影した3D画像を再生して、表示制御部11aにより表示部6に立体表示させることができる。撮影者は、表示部6の表示を見ることで、3D撮影の効果を確認することができる。
【0069】
信号処理及び制御部11は、ステップS32において、電源オフ操作が行われたか否かを判断する。信号処理及び制御部11は、電源オフ操作が行われた場合には、ステップS33において電源オフ処理を行い、電源オフ操作が行われていない場合には、ステップS34において撮影モード・再生モードの変更操作を受け付けて処理をステップS11に戻す。
【0070】
なお、信号処理及び制御部11は、3D効果判定部11dが3D撮影に適しないと判断した場合には、通常の撮影処理を行う。
【0071】
このように本実施の形態においては、撮影範囲内の画像が3D撮影に適しているか否かを判断しこの判断結果をアドバイス表示すると共に、自然で目に優しい3D撮影を可能にするための撮影の仕方をアドバイス表示しており、ユーザは、簡単に、自然で目に優しい見やすい3D画像を得ることができる。
【0072】
(変形例)
図7及び図8は距離判定部11cの他の構成を示す説明図である。
【0073】
図7は瞳分割位相差法を採用した距離測定を示している。図7(a)に示すように、撮像部2の撮像面2a1には、焦点検出用の画素2d(斜線部)が所定の間隔で設けられている。図7(b)は、これらの画素2dには前方にマイクロレンズ2fが配置され、被写体からの光束(矢印)が結像レンズ2gの各レンズ部2gl,2gr及びマイクロレンズ2fを介して入射されることを示している。画素2dは、2つの分割画素2dl,2drに分割されており、各分割画素2dl,2drには、同一被写体について異なる方向からの光束が入射される。
【0074】
被写体までの距離は、1ラインの全ての画素2dの分割部2dlの出力と、1ラインの全ての画素2dの分割部2drの出力とを比較することで求められる。結像レンズ2gが合焦位置に位置する場合には、1ライン全ての分割画素2dlにより得られる第1の信号と1ライン全ての分割画素2drにより得られる第2の信号とは一致する。
【0075】
しかし、結像レンズ2gが合焦位置に位置しない場合には、第1の信号と第2の信号とは、デフォーカス量及びデフォーカス方向に応じて位相がずれる。即ち、第1の信号と第2の信号との位相差は、被写体までの距離に対応する。距離判定部11cは、第1の信号と第2の信号との位相差とレンズの位置に基づいて、被写体までの距離を求めることができる。
【0076】
図8は撮像部2として3D撮影用の撮影レンズを採用した場合の例を示している。
【0077】
図8の例では、撮像部2は右目用として撮影レンズ2R1及び撮像面2R2を備え、左目用として撮影レンズ2L1及び撮像面2L2を備えている。2つの被写体31,32からの光束(矢印)は、撮影レンズ2R1を通過して撮像面2R2に結像すると共に、撮影レンズ2L1を通過して撮像面2L2に結像する。各被写体31,32からの光束が結像する撮像面2L2,2R2上の位置の差は、被写体31,32までの距離L1,L2に対応しており、撮影レンズ2L1,2R1の既知の基線長Bとの演算によって、距離L1,L2を算出することができる。
【0078】
以上、これらの距離検出以外にも、被写体の大小関係で距離を求める方法もある。同一の被写体であれば、当該被写体までの距離が近い程撮像範囲中のサイズは大きくなり、当該被写体までの距離が大きいほど撮像範囲中のサイズは小さくなる。従って、撮像範囲内の比較的大きな被写体は近距離にあり、比較的小さい被写体は遠距離にあると考えられる。
【0079】
(第2の実施の形態)
図9は本発明の第2の実施の形態において採用される3D撮影支援の方法を説明するためのフローチャートである。本実施の形態におけるハードウェア構成は第1の実施の形態と同様である。本実施の形態は3D効果判定部11eの判定方法が第1の実施の形態と異なる。
【0080】
第1の本実施の形態においては、目に優しい自然な3D画像を得るために、撮影範囲内の手前の被写体の視差を0とし、遠方の被写体が奥行き方向に見えるように、3D表示に用いる左画像及び右画像の撮影を支援することを可能にした。本実施の形態においては、更に、撮影範囲内の各被写体の2次元上の位置と距離との相関を考慮して、撮影範囲の画像が3D表示に適しているか否かを判定するようになっている。
【0081】
図10は本実施の形態において3D撮影に適した画像であるか否かの判定方法を説明するための説明図である。
【0082】
図10(a)は撮像部2の撮像面2a上に結像される撮影範囲内の画像を示している。図10(a)に示す撮像範囲内には、手前側に建物の被写体41a,41bが位置し、遠方に山の被写体41cが位置する。図10(a)の丸印は撮像面2a上に設定した検出点を示している。図10(b)は図10(a)の3つの被写体41a,41b,41cに対応する3つの検出点における画面内の水平位置と各検出点に対応する被写体までの距離との関係を示している。
【0083】
本実施の形態においても、手前側の比較的大きな被写体における視差を0とし、遠方の被写体が奥行き方向に見えるように撮影を行うことを支援する。図10(a)においては、斜線部の被写体41aが基準被写体と判定されているものとする。
【0084】
図10(c)はこのような撮影を行った場合において、人が視線を左から右に移動させながら撮像画像を見る場合の視差の変化を説明するためのものである。図10(c)は左、中、右の図が夫々図10(a)の被写体41a〜41cを見る場合の様子を示している。
【0085】
図10(c)では左右の眼43の塗りつぶし部分で視線が変化している様子を示しており、図10(a)に示す画像については、人が視線を左から右に移動させるに従って、被写体は表示画面44の位置から奥行き方向に見えるように変化する。即ち、人は、被写体41aについては表示画面44の表面に見えるように感じ、被写体41bについては表示画面44の表面からΔz1だけ奥に見えるように感じ、被写体41cについては表示画面44の表面からΔz2(>Δz1)だけ奥に見えるように感じる。
【0086】
図10(d)はこの場合における目の動きと人間が感じる奥行き感との変化を示している。図10(d)に示すように、目の動きと奥行き感とは相関を有して変化する。このように、近い被写体を基準にして、そこから次第に遠い被写体に視線を移して見ることが可能な画像については、遠近感を比較的簡単に感じることができ、眼が疲れないと考えられる。
【0087】
そこで、本実施の形態においては、このように、目の動きと奥行き感とが相関を有して変化することが可能な画像について、3D表示に適した画像と判定するようになっている。
【0088】
図11は3D相関判定部11eにおける判定方法を説明するための説明図である。本実施の形態においても、3D相関判定部11eは、手前側に所定のサイズ以上の被写体(基準被写体)が存在することを3D撮影に適した画像であると判定する条件の1つとする。
【0089】
更に、本実施の形態においては、目の動きと奥行き感とが相関を有して変化するような画像を判定するために、3D相関判定部11eは、2次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かを判定し、相関を有する場合に3D表示に適した画像と判定する。
【0090】
図11は丸印によって撮像面2a上に設定した各検出点を示している。図11では、塗りつぶした検出点同士は、その検出点を含む被写体までの距離が略等しいことを示している。即ち、図11(a)乃至(e)はいずれも手前側に十分なサイズの被写体があると判定される例を示している。
【0091】
図11(a)乃至(e)は矢印によって、2次元平面において略直線的に並んだ検出点の列を示している。例えば、図11(a)は2次元平面で垂直方向に並んだ3つの検出点LL,LC,LHの列を示しており、図11(b)は2次元平面で斜め方向に並んだ3つの検出点LL,CC,RHの列を示しており、図11(c)は2次元平面で水平方向に並んだ3つの検出点LL,CL,RLの列を示している。更に、図11(d),(e)は2次元平面で比較的直線的に並んだ3つの検出点CL,LC,LHの列と3つの検出点CL,RC,RHの列を示している。
【0092】
3D相関判定部11eは、図11(a)乃至(e)に例示したように、2次元平面で比較的直線的に並んだ検出点の列のいずれかにおいて、一番手前の被写体に対応する検出点を基準にしてこの検出点から離れた検出点ほど対応する被写体までの距離が大きい場合に、3D表示に適した画像であると判定するようになっている。
【0093】
なお、図11の例は、撮像面2aに3×3個の検出点を設定した例を示しているが、検出点の数は適宜設定可能である。また、3D相関判定部11eは、基準となる検出点からの距離が次第に大きくなる検出点を選択して、判定に用いる検出点の列を設定すればよい。なお、3D相関判定部11eは、便宜的には、比較的直線的に並んだ検出点の列として、例えば、2次元平面上において、検出点同士を結ぶ直線が90度以上折れ曲がらないことを条件として選択してもよい。例えば、図11では検出点CC,LC,CHの列についても3D効果の判定に用いてもよい。また、例えば、検出点数が多い場合には、隣接していない検出点を用いた列であってもよい。
【0094】
次に、図9を参照して3D効果判定部11eの動作について説明する。図12は図9のフローを説明するための説明図である。
【0095】
図9のステップS41において、距離判定部11cは各検出点における被写体までの距離を求める。基準被写体判定部11dは、距離判定部11cの判定結果を用いて、基準被写体を求める。3D効果判定部11eは、ステップS42において、基準被写体があるか否かを判定する。基準被写体が存在しない場合には、撮像範囲は3D撮影には適しない画像であると判断して処理を終了する。
【0096】
基準被写体が存在する場合には、3D効果判定部11eは、次のステップS43において起点ポイントを決定する。3D効果判定部11eは、起点ポイントとして、各検出点の列中の最も下方に位置する検出点、即ち、手前の被写体に対応する検出点を設定する。
【0097】
次に、3D効果判定部11eは、ステップS43において、距離判定部11cの判定結果を用いて、起点ポイントとなる検出点の撮像面上で上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS44において、距離判定部11cの判定結果を用いて、ステップS43で調べた検出点の撮像面上で上又は斜め上の検出点における被写体が、ステップS43の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0098】
図12は3D効果判定部11eが判定に用いる検出点の列を説明するためのものであり、矢印によって検出点の列を示している。ステップS44,S45は、図12(a)に示す7つの列について、上方ほど遠方の被写体に対応する検出点があるか否かを判定する手順である。即ち、これらのステップS44,S45によって例えば図11(a)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0099】
3D効果判定部11eは、ステップS44,S45において、上方の検出点ほど被写体までの距離が大きいことを検出すると、ステップS46において、3D撮影のために、基準被写体を強調表示し、更にアドバイス表示25を表示する(ステップS47)。
【0100】
3D効果判定部11eは、ステップS44において、起点ポイントの上の検出点が起点ポイントの検出点の被写体よりも遠方の被写体に対応するものでない場合には、処理をステップS51に移行する。3D効果判定部11eは、ステップS51において、距離判定部11cの判定結果を用いて、撮像面両端の起点ポイントとなる検出点の撮像面上で右又は左の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS52において、距離判定部11cの判定結果を用いて、ステップS51で調べた検出点の撮像面上で同方向又は同方向斜め上に隣接する検出点における被写体が、ステップS51の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0101】
即ち、ステップS51,S52は、図12(b)に示す2つの列又は図12(c)に示す2つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。即ち、これらのステップS51,S52によって例えば図11(c)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0102】
3D効果判定部11eは、ステップS51において、撮像面両端の起点ポイントの右又は左の検出点が遠方の被写体に対応するものでない場合には、処理をステップS53に移行する。3D効果判定部11eは、ステップS53において、距離判定部11cの判定結果を用いて、起点ポイントとなる検出点の撮像面上で右斜め上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS54において、距離判定部11cの判定結果を用いて、ステップS53で調べた検出点の撮像面上で上又は右斜め上の検出点における被写体が、ステップS53の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0103】
即ち、ステップS53,S54は、図12(d)に示す2つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。これらのステップS53,S54によって例えば図11(b),(e)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0104】
3D効果判定部11eは、ステップS53において、撮像面両端の起点ポイントの右斜め上の検出点が遠方の被写体に対応するものでない場合には、処理をステップS55に移行する。3D効果判定部11eは、ステップS55において、距離判定部11cの判定結果を用いて、起点ポイントとなる検出点の撮像面上で左斜め上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS56において、距離判定部11cの判定結果を用いて、ステップS55で調べた検出点の撮像面上で上又は左斜め上の検出点における被写体が、ステップS55の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0105】
即ち、ステップS55,S56は、図12(e)に示す2つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。これらのステップS55,S56によって例えば図11(d)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0106】
3D効果判定部11eは、ステップS52,S54,S56において、起点ポイントの検出点からの距離が大きい検出点ほど被写体までの距離が大きいことを検出すると、ステップS46において、3D撮影のために、基準被写体を強調表示し、更にアドバイス表示25を表示する(ステップS47)。
【0107】
また、3D効果判定部11eは、ステップS45,S52,S54〜S56においてNO判定となった場合には、ステップS57において別の起点ポイントがあるか否かを判定する。別起点ポイントがある場合には、処理をステップS43に戻して別の起点ポイントについてステップS44〜S47,S51〜S56の処理を繰り返す。
【0108】
なお、図9の例は図11に示す3×3の検出点を設定した場合の例を示している。また、図9の例は検出点の列が90度以上折れ曲がらない列のみを選択した例である。検出点の数が異なる場合等においては、図9と異なる判定方法も考えられる。
【0109】
本実施の形態における他の作用は第1の実施の形態と同様である。
【0110】
このように本実施の形態においては、手前に所定サイズ以上の被写体があるか否かだけでなく、画面上における被写体の2次元平面における位置と被写体までの距離とが相関を有する画像であるか否かに基づいて、3D撮影に適した画像であるか否かを判定しており、目に優しい自然な3D画像を得るための撮影支援が可能である。
【符号の説明】
【0111】
2…撮像部、3…操作判定部、6…表示部、8…タッチパネル、9…記録部、9a…仮記録部、10…撮影機器、11…信号処理及び制御部、11a…表示制御部、11b…記録再生制御部、11c…距離判定部、11d…基準被写体判定部、11e…3D効果判定部。
【技術分野】
【0001】
本発明は、3次元画像の撮影を可能にする撮影機器に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器は、画像処理を駆使して、様々な苦手撮影シーンを克服している。また、近年、映画産業では、臨場感を重んじた3D(3次元)化の波があり、テレビ業界もそれに追随して3D表示機器は普及傾向にある。
【0003】
デジタルカメラ等の民生用の撮影機器においても、3D撮影可能な装置が開発されている。画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。立体視を可能にするためには、右目用の右画像と左目用の左画像、即ち、左右両眼の視点に対応する視差を持った2画像を撮像する必要がある。
【0004】
例えば、特許文献1においては、2D撮影用のレンズを用い、水平にずらした2回の撮影によって、立体画像を得る手法が開示されている。なお、右画像を撮像する撮像装置と左画像を撮像する撮像装置の2つの撮像装置を同時に用いて3D画像を得る装置も商品化されている。
【0005】
ところで、近年、撮影機器においては、シーン判別を行い、シーンに応じて最適な撮影を行う撮影の自動化が行われている。この種の撮影機器においては、撮像しようとする画像から顔検出、動検出、明るさ検出等を行い、シーンに応じた露出、ピント合わせ、画像処理を行うようになっている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2007−504511号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来、シーン判別を行っても、どのような被写体が3D撮影に有効であるかを判別することはできず、また、どのような3D画像が自然で目に優しいかを判別することもできない。このため、従来の撮影機器においては、目に優しく自然な3D画像を得るための撮影方法を撮影者に提示して最適な3D画像を得るための撮影支援を行うことはできないという問題があった。
【0008】
本発明は見やすい3D画像を得るための撮影支援を行うことを可能にすることができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の撮影機器は、撮像部と、上記撮像部で得られる画像を表示する表示部と、上記撮像部で得られる画像中の被写体のうち、上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する被写体検出部と、上記被写体検出部が上記基準被写体を検出すると、上記表示部に3D撮影を推奨する表示を行う表示制御部とを具備したことを特徴とする。
【発明の効果】
【0010】
本発明によれば、見やすい3D画像を得るための撮影支援を行うことを可能にすることができるという効果を有する。
【図面の簡単な説明】
【0011】
【図1】本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図。
【図2】第1の実施の形態における3D撮影の撮影支援を説明するための説明図。
【図3】距離判定部11cの判定方法の一例を説明するための説明図。
【図4】基準被写体判定部11dの判定方法の一例を説明するための説明図。
【図5】基準被写体の判定を説明するためのフローチャート。
【図6】第1の実施の形態の動作を説明するためのフローチャート。
【図7】距離判定部11cの他の構成を示す説明図。
【図8】距離判定部11cの他の構成を示す説明図。
【図9】本発明の第2の実施の形態において採用される3D撮影支援の方法を説明するためのフローチャート。
【図10】第2実施の形態において3D撮影に適した画像であるか否かの判定方法を説明するための説明図。
【図11】3D相関判定部11eにおける判定方法を説明するための説明図。
【図12】3D効果判定部11eが判定に用いる検出点の列を説明するための説明図。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0013】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。
【0014】
本実施の形態においては、目に優しい自然な3D画像を得るために、撮影範囲内の手前の被写体の視差を0とし、遠方の被写体が奥行き方向に見えるように、3D表示に用いる左画像及び右画像の撮影を支援する。例えば、本実施の形態においては、撮影範囲内の手前の被写体を検出し、この手前の被写体の撮影範囲内の位置を左右画像で一致させるように、撮影支援を行うようになっている。
【0015】
撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部2を有している。本実施の形態においては、2回の撮影によって左右画像を得ることを前提としており、撮像部2としては、1つの光学系のみを有する2D撮影用の撮影レンズを採用可能である。なお、撮像部2として2つの光学系を有する3D撮影用の撮影レンズを採用してもよい。
【0016】
撮影機器10の前面に設けた図示しない撮影レンズを含む光学系からの被写体の光学像は、撮像部2を構成する撮像素子の撮像面に結像するようになっている。この撮像部2は、信号処理及び制御部11によって駆動制御される。信号処理及び制御部11は、撮像部2に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。
【0017】
信号処理及び制御部11は、撮像素子の光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部11は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。
【0018】
また、撮影機器10には、操作判定部3、時計部4も配設されている。時計部4は信号処理及び制御部11が用いる時間情報を発生する。操作判定部3は、撮影機器10に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部11に出力するようになっている。信号処理及び制御部11は、操作信号に基づいて、各部を制御する。
【0019】
また、撮影機器10には、表示制御部11a及び記録再生制御部11bが設けられている。記録再生制御部11bは、信号処理及び制御部11からの画像情報及び音声情報を記録部9に与えて記録することができるようになっている。記録部9は記録再生制御部11bに制御されて、記録及び再生を行う。記録部9としては、例えばカードインターフェースを採用することができ、記録部9はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録部9は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部11の記録再生制御部11bに供給することができる。信号処理及び制御部11は、記録再生制御部11bによって再生された記録部9からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0020】
表示制御部11aは、撮像部2からの撮像画像や記録再生制御部11bからの再生画像を表示部6に与えて、これらの画像を表示させるようになっている。また、表示制御部11aは、図示しないマイクロホンによって取得した音声や記録再生制御部11bからの再生音声を音声発生部7に与えて音響出力することもできるようになっている。また、表示制御部11aは、撮影機器10の操作を行うためのメニュー表示等を表示部6に表示させることもできるようになっている。
【0021】
本実施の形態においては、表示部6としては、3D表示が可能なパララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部である。視差分割方式においては、3D表示用のメガネ等を用いることなく、3D表示が可能である。
【0022】
表示制御部11aは、記録部9に記録されている3D画像である左画像及び左画像が再生された場合には、これらの右画像及び左画像を表示部6の対応する画素に表示させるように、表示制御を行う。これにより、撮像した3D画像を表示部6に立体表示することができ、撮影者は、表示部6の表示画面上において立体撮影効果を確認することが可能である。
【0023】
なお、表示制御部11aは、左右画像として同一の画像を表示部6に与えることにより、2D表示を行うこともできる。
【0024】
本実施の形態においては、3D撮影の有効性を判定し、目に優しく自然な3D画像の撮影支援のために、信号処理及び制御部11には、距離判定部11c、基準被写体判定部11d及び3D効果判定部11eが設けられている。また、記録部9は、3D撮影における撮影支援を可能にするための仮記録部9aを有している。仮記録部9aには、記録再生制御部11bによって3D撮影による左右画像の一方が記録される。
【0025】
図2は本実施の形態における3D撮影の撮影支援を説明するための説明図である。図2(a)は撮影者21が手に撮影機器10を持ち、所定の撮影範囲22を撮影する様子を示しており、図2(b)には、撮影機器10の表示部6の表示画面6aに、所定の撮影範囲22がスルー画22aとして表示されていることを示している。図2(a)の撮像範囲22には、被写体として手前(被写体までの距離が近い)に建物23a、中間に樹木23b、遠方に山23cが撮影され得る状態を示している。
【0026】
本実施の形態においては、距離判定部11cは、撮影範囲22中の各被写体までの距離を求める。距離判定部11cからの距離判定結果は、基準被写体判定部11dに与えられる。基準被写体判定部11dは、距離判定結果に基づいて撮影範囲22中の手前側(被写体までの距離が近い)の被写体を検出し、検出結果を表示制御部11a及び3D効果判定部11eに与える。
【0027】
図3は距離判定部11cの判定方法の一例を説明するための説明図である。
【0028】
距離判定部11cは、図3(a)に示すように、撮像部2の撮像面2aに丸印にて示す複数の検出点2cを設定する。図3(a)は検出点2cが9個の例を示しているが、検出点の数は適宜設定可能である。距離判定部11cは、図3(b)に示すように、撮像部2の前方側に設けられた撮影レンズ2bを進退させながら、矢印にて示す被写体光学像を撮像面2a上に結像させ、撮像面2a上の各検出点2cにおけるコントラストを求める。
【0029】
図3(c)は横軸に撮影レンズの繰り出し量をとり縦軸にコントラストをとって、3つの検出点におけるコントラストの変化を特性曲線A〜Cによって示している。なお、図3(c)では図面の簡略化のために、3つの検出点に対応する特性曲線A〜Cのみを示している。繰り出し量は被写体までの距離に対応しており、図3(c)の各特性曲線の最も高いコントラストが得られる繰り出し量によって、被写体までの距離を検出することができる。繰り出し量が大きいほど、被写体までの距離が近いことを示しており、図3(c)の例では、特性曲線Cに対応する検出点における被写体が最も手前の被写体であることが分かる。
【0030】
本実施の形態においては、上述したように、3D撮影においては左右画像を別々に撮影する。左右画像のうち先に撮像する一方の画像(以下、基準画像という)を基準にして、他方の画像の撮像範囲を決定するように支援を行う。この場合において、基準被写体判定部11dは、基準画像中の特定の絵柄部分(基準被写体)を基準に、基準被写体において視差が0となるように、後から撮像する画像中の基準被写体部分が基準画像中の基準被写体に重なるように、撮影支援を行う。
【0031】
本実施の形態においては、基準被写体判定部11dは、基準被写体として、距離判定部11cの判定結果を元に、最も距離が近い手前側の所定のサイズ以上の被写体を選択するようになっている。
【0032】
図4は基準被写体判定部11dの判定方法の一例を説明するための説明図である。
【0033】
図4は撮像面2a上に丸印にて示す9つの検出点LL,CL,RL,LC,CC,RC,LH,CH,RHを設定した場合の例である。基準被写体判定部11dは、各検出点までの距離の検出結果が与えられ、検出結果を比較する。基準被写体判定部11dは、隣接する検出点であって、測距結果が略等しい検出点については、同一被写体を撮像して得られたものであり、且つ2つの検出点に跨る程度の比較的大きいサイズの被写体であると判定する。
【0034】
図4(a)乃至(e)の塗りつぶした検出点は、距離判定部11cによって測距結果が略等しいと判定された検出点を示している。即ち、図4(a)は2つの検出点LL,CL同士は略等距離であると判定された例である。同様に、図4(b)は2つの検出点CL,RL同士が、図4(c)は2つの検出点LL,LC同士が、図4(d)は2つの検出点RL,RC同士が、図4(e)は2つの検出点CL,CC同士が略等距離であると判定された例である。
【0035】
基準被写体判定部11dは、例えば、図5に示すフローチャートに従って、基準被写体を判定する。図5のステップS1において、基準被写体判定部11dは、検出点LL,CL同士が略等距離にあるか否かを判定する。基準被写体判定部11dは、隣り合う検出点LL,CL同士が略等距離である場合には、これらの検出点LL,CLが同一被写体に対応すると判定する。
【0036】
同様に、基準被写体判定部11dは、ステップS2〜S5において、検出点LL,CL同士、検出点CL,RL同士、検出点LL,LC同士、検出点RL,RC同士、検出点CL,CC同士が略等距離にあるか否かを判定する。
【0037】
一般的には、撮影範囲中の手前側の被写体は撮影範囲の下側に撮像され、遠方の被写体は撮影範囲の上側に撮像される。そこで、基準被写体判定部11dは、撮影範囲の下側の検出点において、隣接する検出点同士が略等距離であるか否かを判定することにより、手前側の所定サイズ以上の被写体が存在するか否かを判定するようになっている。このように、手前側の被写体を撮影範囲の全域から求めるのではなく、手前側の被写体が撮影範囲の下側に存在するものと仮定することで、基準被写体判定の演算量を低減することができる。
【0038】
基準被写体判定部11dは、ステップS1〜S5のいずれかのステップにおいて隣接する検出点が略等距離であると判定した場合には、手前側に所定サイズ以上の被写体が存在するものとして、当該検出点の周囲の輪郭を検出し、検出した輪郭によって囲まれる部分を基準被写体として設定する(ステップS7)。基準被写体判定部11dは、ステップS1〜S5のいずれのステップにおいても隣接する検出点が略等距離でないと判定した場合には、基準被写体が存在しないものとする(ステップS6)。基準被写体判定部11dは、判定結果を3D効果判定部11e及び表示制御部11bに与える。
【0039】
3D効果判定部11eは、手前側に所定のサイズ以上の被写体である基準被写体が存在する場合には3D撮影が有効であると判定し、基準被写体が存在しない場合には、3D撮影は有効ではないと判定する。3D効果判定部11eは、表示制御部11aを制御して、3D撮影の有効無効の判定結果を表示部6にアドバイス表示として表示させる。
【0040】
現在の撮影範囲が3D撮影に適している場合には、表示制御部11aは、基準被写体判定部11dからの判定結果に基づいて、スルー画表示中の撮像画像に基準被写体を示す表示を表示させるようになっている。図2(b)はこの場合における表示画面6a上の表示例を示している。図2(b)の例では、図2(a)の撮像範囲22中の手前側の被写体である建物23aに、基準被写体であることを示す強調表示24(斜線部)が表示されている。
【0041】
また、本実施の形態においては、上述したように、手前側の被写体(基準被写体)を視差0とし、遠方の被写体を奥行き方向に見せるように撮影を行う。図2(b)の矢印(3D)25は、3D撮影が有効であることを示すと共に、遠方の被写体を奥行き方向に見せるために、後から撮像する画像を撮影機器10をいずれに向けて撮像すればよいかを示している。図2(b)の状態で撮影を行うと、撮影画像は、記録再生制御部11bによって、仮記録部9aに記録される。なお、図2(c)はこの撮影時の撮影範囲の画像を示している。
【0042】
なお、図2の例では、手前側に所定のサイズ以上の被写体がある例を示したが、このような被写体が撮影範囲中に存在しない場合には、3D効果判定部11eは、表示制御部11aを制御して、現在の撮影範囲が3D撮影には適していないことを示すメッセージ表示を表示させるようにしてもよい。
【0043】
更に、3D効果判定部11eは、手前側に所定のサイズ以上の被写体(基準被写体)がある場合には3D撮影に適した撮影が可能であるものと判断し、表示制御部11aを制御して、撮影者に3D撮影を行うか否かを選択するための表示を表示させる。図2(d)はこのような選択表示として再撮影?と記述した選択表示26を表示させた例を示している。
【0044】
例えば、表示部6とタッチパネル8とが共通の画面を有する場合には、撮影者は、再撮影?の選択表示26の表示位置をタッチすることで、3D撮影の指示を行うことができる。なお、3D撮影の指示は、操作判定部3の操作判定結果によって得ることも可能である。
【0045】
3D撮影の指示が行われた場合には、表示制御部11aは、図2(e)に示すように、スルー画上に、基準被写体を示す表示27(斜線部)を表示させる。例えば、図2(b)の状態で撮影した1枚目の画像を透明表示しながら基準被写体を示す表示27を強調表示してもよい。或いは、1枚目の画像中の基準被写体部分のみを抽出して表示するようにしてもよい。
【0046】
撮影者は、基準被写体の表示27に対応するスルー画中の基準被写体部分を、基準被写体の表示27に重なるように、撮影範囲22’を決定する。この場合には、撮影範囲22’中における建物23aの位置は撮影範囲22中における建物23aの位置と同じとなるが、撮影範囲22’中における樹木23b’、山23c’の位置は撮影範囲22中における樹木23b、山23cの位置とはずれる。
【0047】
図2(f)はこの場合のスルー画22a’を示している。表示制御部11aは、スルー画22a’中の基準被写体に対応する絵柄部分と、記録された画像中の基準被写体の部分とが略一致した場合には、図2(f)に示す3DOKと記述した表示28を表示してもよい。撮影者はこの表示を確認することで、自然で目に優しい3D画像を得るための撮影範囲22’になったことを認識することができる。
【0048】
撮影者が撮影操作を行うと、記録再生制御部11bは、この撮影操作による2枚目の撮像画像と仮記録部9aに記録されている1回目の撮像画像とを対応させて記録部9に記録する。
【0049】
なお、図2の例では、1枚目の撮像前のスルー画時に、アドバイス表示を表示する例を示しているが、1枚目の画像を撮影した後に、アドバイス表示を表示するようにしてもよい。
【0050】
次に、このように構成された実施の形態の動作について図6のフローチャートを参照して説明する。
【0051】
撮影機器10に電源が投入されると、信号処理及び制御部11は、図6のステップS11において、撮影モードであるか否かを判定する。撮影モードでない場合には、信号処理及び制御部11は、ステップS12において再生モードであるか否かを判定する。
【0052】
信号処理及び制御部11は、ステップS12において再生モードが指示されたものと判定すると、ステップS12から処理をステップS13に移行して、記録部9によって記録されたファイルの一覧の情報を読み出し、ファイル一覧表示を表示部6に表示させる。
【0053】
ファイル一覧の表示時に、ユーザがファイル選択を行うと(ステップS14)、信号処理及び制御部11は、選択されたファイルを記録再生制御部11bを介して読み出し、復号化処理を行って、画像信号及び音声信号を再生する(ステップS15)。信号処理及び制御部11は、再生した画像信号及び音声信号を表示部6に与えて表示させる。
【0054】
なお、ファイル一覧表示時に、終了操作が行われた場合には、信号処理及び制御部11は、処理をステップS14からステップS16に移行して再生モードを終了する。
【0055】
信号処理及び制御部11は、ステップS11において撮影モードが指示されているものと判定した場合には、ステップS21においてスルー画を表示する。即ち、信号処理及び制御部11は、撮像部2からの撮像画像を取込み、所定の信号処理を施した後、表示制御部11aによって表示部6に出力する。こうして、表示部6の表示画面上においてスルー画が表示される。
【0056】
本実施の形態においては、ステップS24において撮影が行われる前に、信号処理及び制御部11は、ステップS23において3D撮影のためのアドバイス表示を行う。即ち、距離判定部11cは、スルー画中の各被写体までの距離を求める。距離判定部11cからの距離判定結果は、基準被写体判定部11dに与えられる。基準被写体判定部11dは、距離判定結果に基づいてスルー画中の手前側において所定のサイズ以上の被写体である基準被写体を検出し、検出結果を3D効果判定部11dに与える。
【0057】
この所定のサイズは、無意識に写真を干渉した時に、自然と、その被写体に眼が行くようなサイズを想定しており、画面内の他のものと大きさを比べて決まるものである場合が多い。つまり、撮像範囲内の他の被写体が小さい場合は、それよりも大きい被写体であれば、まず、そこに眼が行って、それを基準にして、他の小さい被写体に眼を移すような鑑賞が行われる。このような場合、所定サイズは、他の被写体との比較によって決定される。例えば、基準被写体判定部11dは、撮像範囲内の被写体を検出してサイズを比較し、サイズの平均よりも大きい被写体を所定サイズ以上と判定してもよく、最大サイズの被写体を基準被写体として選択するようにしてもよい。また、所定のサイズをユーザが指定するようにしてもよい。
【0058】
なお、ここで被写体とは、顔検出などで代表される技術で、輪郭やコントラスト、色などの特徴的な画像情報によって、人物や動物、花や木、空や雲、山、さらには建物を特定した結果や、同じ距離にあるひとかたまりと検出された検出物を個々の被写体とする。
【0059】
また、風景のように、なだらかな山並みを手前にした建物の例のように、建物のコントラストが高く、明るさが明るい場合、彩度が高い場合、山は大きいが、手前の建物の方に眼が行く。こうした場合も、本実施の形態では手前側の所定サイズ以上の被写体とする。この場合は、重力によって、手前のものは山よりも下にあることが多いので、画面下部で、画面の大きさの10分の1以上の被写体があれば、『画中の手前側において所定サイズ以上』という条件を満たすものとする。
【0060】
画面の遠方が一点に集中していく、「一点透視画法」の絵の表現を、我々は見慣れているが、この一点に向かって並ぶものは、画面周辺からだんだん遠くになるに従い小さくなると見やすい遠近関係となる。また、モナリザの絵のように画面中央に人物の被写体がある場合も、この画面内の手前に被写体があると、手前の被写体を基準として、人物の両脇などを背景として把握しやすい。つまり、このような場合も、『画中の手前側において所定サイズ以上』として扱うことが出来る。
【0061】
3D効果判定部11dは、スルー画中に基準被写体が存在すると判定した場合には、図2(b)に示す強調表示24及びアドバイス表示25を表示させる(ステップS23)。撮影者は、表示部6のスルー画上に表示されたこれらの表示24,25によって、現在スルー画として表示されている撮影範囲の画像は3D撮影に適していると共に、いずれの被写体を基準にしていずれの方向に撮影範囲を移動させて2枚目の画像を撮像すれば、自然で目に優しい3D画像が得られるかを認識することができる。
【0062】
ここで、撮影者がレリーズボタンを押すと、処理はステップS22からステップS24に移行して撮影が行われる。信号処理及び制御部11は、ステップS25において、撮影操作が3D撮影における2枚目の画像に対するものであるか否かを判定する。
【0063】
1枚目の画像の撮影操作であった場合には、表示制御部11aは、次のステップS26において、図2(d)に示す選択表示26を表示させる。撮影者は選択表示26に対して3D撮影又は2D撮影の指示を行う。信号処理及び制御部11は、ステップS27において、3D撮影が指示されたか否かを判定する。撮影者が3D撮影を指示していない場合には、撮像部2からの撮像画像に対して所定の信号処理を施し符号化して画像ファイル化した後、記録部9に与えて記録する(ステップS31)。
【0064】
信号処理及び制御部11は、ステップS27において撮影者が3D撮影を指示したものと判定した場合には、撮像部2からの撮像画像に対して所定の信号処理を施し符号化した後、仮記録部9aに記録する(ステップS28)。
【0065】
次に、信号処理及び制御部11は、ステップS29において基準被写体部分を強調表示する。これにより、例えば、図2(e)に示す基準被写体の表示27が表示される。
【0066】
次に、撮影者は、図2(e)に示すように、スルー画22’中の基準被写体の部分を基準被写体の表示27に重ねる。スルー画22’中の基準被写体の部分が基準被写体の表示27に重なると、信号処理及び制御部11は、ステップS23において、3DOKと記述した表示28を表示する。撮影者はこの状態でレリーズボタンを押す。
【0067】
この操作は、3D撮影の2枚目の撮像操作であるので、信号処理及び制御部11は、処理をステップS25からステップS30に移行して、画像ペア化する。即ち、信号処理及び制御部11は、撮像部2からの撮像画像に対して所定の信号処理を施し、この撮像画像と仮記録部9aからの画像とをペア化して、記録部9に記録する(ステップS31)。なお、信号処理及び制御部11は、ペア化した左右画像を符号化した後記録部9に記録してもよい。
【0068】
更に、記録再生制御部11bは、撮影した3D画像を再生して、表示制御部11aにより表示部6に立体表示させることができる。撮影者は、表示部6の表示を見ることで、3D撮影の効果を確認することができる。
【0069】
信号処理及び制御部11は、ステップS32において、電源オフ操作が行われたか否かを判断する。信号処理及び制御部11は、電源オフ操作が行われた場合には、ステップS33において電源オフ処理を行い、電源オフ操作が行われていない場合には、ステップS34において撮影モード・再生モードの変更操作を受け付けて処理をステップS11に戻す。
【0070】
なお、信号処理及び制御部11は、3D効果判定部11dが3D撮影に適しないと判断した場合には、通常の撮影処理を行う。
【0071】
このように本実施の形態においては、撮影範囲内の画像が3D撮影に適しているか否かを判断しこの判断結果をアドバイス表示すると共に、自然で目に優しい3D撮影を可能にするための撮影の仕方をアドバイス表示しており、ユーザは、簡単に、自然で目に優しい見やすい3D画像を得ることができる。
【0072】
(変形例)
図7及び図8は距離判定部11cの他の構成を示す説明図である。
【0073】
図7は瞳分割位相差法を採用した距離測定を示している。図7(a)に示すように、撮像部2の撮像面2a1には、焦点検出用の画素2d(斜線部)が所定の間隔で設けられている。図7(b)は、これらの画素2dには前方にマイクロレンズ2fが配置され、被写体からの光束(矢印)が結像レンズ2gの各レンズ部2gl,2gr及びマイクロレンズ2fを介して入射されることを示している。画素2dは、2つの分割画素2dl,2drに分割されており、各分割画素2dl,2drには、同一被写体について異なる方向からの光束が入射される。
【0074】
被写体までの距離は、1ラインの全ての画素2dの分割部2dlの出力と、1ラインの全ての画素2dの分割部2drの出力とを比較することで求められる。結像レンズ2gが合焦位置に位置する場合には、1ライン全ての分割画素2dlにより得られる第1の信号と1ライン全ての分割画素2drにより得られる第2の信号とは一致する。
【0075】
しかし、結像レンズ2gが合焦位置に位置しない場合には、第1の信号と第2の信号とは、デフォーカス量及びデフォーカス方向に応じて位相がずれる。即ち、第1の信号と第2の信号との位相差は、被写体までの距離に対応する。距離判定部11cは、第1の信号と第2の信号との位相差とレンズの位置に基づいて、被写体までの距離を求めることができる。
【0076】
図8は撮像部2として3D撮影用の撮影レンズを採用した場合の例を示している。
【0077】
図8の例では、撮像部2は右目用として撮影レンズ2R1及び撮像面2R2を備え、左目用として撮影レンズ2L1及び撮像面2L2を備えている。2つの被写体31,32からの光束(矢印)は、撮影レンズ2R1を通過して撮像面2R2に結像すると共に、撮影レンズ2L1を通過して撮像面2L2に結像する。各被写体31,32からの光束が結像する撮像面2L2,2R2上の位置の差は、被写体31,32までの距離L1,L2に対応しており、撮影レンズ2L1,2R1の既知の基線長Bとの演算によって、距離L1,L2を算出することができる。
【0078】
以上、これらの距離検出以外にも、被写体の大小関係で距離を求める方法もある。同一の被写体であれば、当該被写体までの距離が近い程撮像範囲中のサイズは大きくなり、当該被写体までの距離が大きいほど撮像範囲中のサイズは小さくなる。従って、撮像範囲内の比較的大きな被写体は近距離にあり、比較的小さい被写体は遠距離にあると考えられる。
【0079】
(第2の実施の形態)
図9は本発明の第2の実施の形態において採用される3D撮影支援の方法を説明するためのフローチャートである。本実施の形態におけるハードウェア構成は第1の実施の形態と同様である。本実施の形態は3D効果判定部11eの判定方法が第1の実施の形態と異なる。
【0080】
第1の本実施の形態においては、目に優しい自然な3D画像を得るために、撮影範囲内の手前の被写体の視差を0とし、遠方の被写体が奥行き方向に見えるように、3D表示に用いる左画像及び右画像の撮影を支援することを可能にした。本実施の形態においては、更に、撮影範囲内の各被写体の2次元上の位置と距離との相関を考慮して、撮影範囲の画像が3D表示に適しているか否かを判定するようになっている。
【0081】
図10は本実施の形態において3D撮影に適した画像であるか否かの判定方法を説明するための説明図である。
【0082】
図10(a)は撮像部2の撮像面2a上に結像される撮影範囲内の画像を示している。図10(a)に示す撮像範囲内には、手前側に建物の被写体41a,41bが位置し、遠方に山の被写体41cが位置する。図10(a)の丸印は撮像面2a上に設定した検出点を示している。図10(b)は図10(a)の3つの被写体41a,41b,41cに対応する3つの検出点における画面内の水平位置と各検出点に対応する被写体までの距離との関係を示している。
【0083】
本実施の形態においても、手前側の比較的大きな被写体における視差を0とし、遠方の被写体が奥行き方向に見えるように撮影を行うことを支援する。図10(a)においては、斜線部の被写体41aが基準被写体と判定されているものとする。
【0084】
図10(c)はこのような撮影を行った場合において、人が視線を左から右に移動させながら撮像画像を見る場合の視差の変化を説明するためのものである。図10(c)は左、中、右の図が夫々図10(a)の被写体41a〜41cを見る場合の様子を示している。
【0085】
図10(c)では左右の眼43の塗りつぶし部分で視線が変化している様子を示しており、図10(a)に示す画像については、人が視線を左から右に移動させるに従って、被写体は表示画面44の位置から奥行き方向に見えるように変化する。即ち、人は、被写体41aについては表示画面44の表面に見えるように感じ、被写体41bについては表示画面44の表面からΔz1だけ奥に見えるように感じ、被写体41cについては表示画面44の表面からΔz2(>Δz1)だけ奥に見えるように感じる。
【0086】
図10(d)はこの場合における目の動きと人間が感じる奥行き感との変化を示している。図10(d)に示すように、目の動きと奥行き感とは相関を有して変化する。このように、近い被写体を基準にして、そこから次第に遠い被写体に視線を移して見ることが可能な画像については、遠近感を比較的簡単に感じることができ、眼が疲れないと考えられる。
【0087】
そこで、本実施の形態においては、このように、目の動きと奥行き感とが相関を有して変化することが可能な画像について、3D表示に適した画像と判定するようになっている。
【0088】
図11は3D相関判定部11eにおける判定方法を説明するための説明図である。本実施の形態においても、3D相関判定部11eは、手前側に所定のサイズ以上の被写体(基準被写体)が存在することを3D撮影に適した画像であると判定する条件の1つとする。
【0089】
更に、本実施の形態においては、目の動きと奥行き感とが相関を有して変化するような画像を判定するために、3D相関判定部11eは、2次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かを判定し、相関を有する場合に3D表示に適した画像と判定する。
【0090】
図11は丸印によって撮像面2a上に設定した各検出点を示している。図11では、塗りつぶした検出点同士は、その検出点を含む被写体までの距離が略等しいことを示している。即ち、図11(a)乃至(e)はいずれも手前側に十分なサイズの被写体があると判定される例を示している。
【0091】
図11(a)乃至(e)は矢印によって、2次元平面において略直線的に並んだ検出点の列を示している。例えば、図11(a)は2次元平面で垂直方向に並んだ3つの検出点LL,LC,LHの列を示しており、図11(b)は2次元平面で斜め方向に並んだ3つの検出点LL,CC,RHの列を示しており、図11(c)は2次元平面で水平方向に並んだ3つの検出点LL,CL,RLの列を示している。更に、図11(d),(e)は2次元平面で比較的直線的に並んだ3つの検出点CL,LC,LHの列と3つの検出点CL,RC,RHの列を示している。
【0092】
3D相関判定部11eは、図11(a)乃至(e)に例示したように、2次元平面で比較的直線的に並んだ検出点の列のいずれかにおいて、一番手前の被写体に対応する検出点を基準にしてこの検出点から離れた検出点ほど対応する被写体までの距離が大きい場合に、3D表示に適した画像であると判定するようになっている。
【0093】
なお、図11の例は、撮像面2aに3×3個の検出点を設定した例を示しているが、検出点の数は適宜設定可能である。また、3D相関判定部11eは、基準となる検出点からの距離が次第に大きくなる検出点を選択して、判定に用いる検出点の列を設定すればよい。なお、3D相関判定部11eは、便宜的には、比較的直線的に並んだ検出点の列として、例えば、2次元平面上において、検出点同士を結ぶ直線が90度以上折れ曲がらないことを条件として選択してもよい。例えば、図11では検出点CC,LC,CHの列についても3D効果の判定に用いてもよい。また、例えば、検出点数が多い場合には、隣接していない検出点を用いた列であってもよい。
【0094】
次に、図9を参照して3D効果判定部11eの動作について説明する。図12は図9のフローを説明するための説明図である。
【0095】
図9のステップS41において、距離判定部11cは各検出点における被写体までの距離を求める。基準被写体判定部11dは、距離判定部11cの判定結果を用いて、基準被写体を求める。3D効果判定部11eは、ステップS42において、基準被写体があるか否かを判定する。基準被写体が存在しない場合には、撮像範囲は3D撮影には適しない画像であると判断して処理を終了する。
【0096】
基準被写体が存在する場合には、3D効果判定部11eは、次のステップS43において起点ポイントを決定する。3D効果判定部11eは、起点ポイントとして、各検出点の列中の最も下方に位置する検出点、即ち、手前の被写体に対応する検出点を設定する。
【0097】
次に、3D効果判定部11eは、ステップS43において、距離判定部11cの判定結果を用いて、起点ポイントとなる検出点の撮像面上で上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS44において、距離判定部11cの判定結果を用いて、ステップS43で調べた検出点の撮像面上で上又は斜め上の検出点における被写体が、ステップS43の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0098】
図12は3D効果判定部11eが判定に用いる検出点の列を説明するためのものであり、矢印によって検出点の列を示している。ステップS44,S45は、図12(a)に示す7つの列について、上方ほど遠方の被写体に対応する検出点があるか否かを判定する手順である。即ち、これらのステップS44,S45によって例えば図11(a)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0099】
3D効果判定部11eは、ステップS44,S45において、上方の検出点ほど被写体までの距離が大きいことを検出すると、ステップS46において、3D撮影のために、基準被写体を強調表示し、更にアドバイス表示25を表示する(ステップS47)。
【0100】
3D効果判定部11eは、ステップS44において、起点ポイントの上の検出点が起点ポイントの検出点の被写体よりも遠方の被写体に対応するものでない場合には、処理をステップS51に移行する。3D効果判定部11eは、ステップS51において、距離判定部11cの判定結果を用いて、撮像面両端の起点ポイントとなる検出点の撮像面上で右又は左の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS52において、距離判定部11cの判定結果を用いて、ステップS51で調べた検出点の撮像面上で同方向又は同方向斜め上に隣接する検出点における被写体が、ステップS51の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0101】
即ち、ステップS51,S52は、図12(b)に示す2つの列又は図12(c)に示す2つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。即ち、これらのステップS51,S52によって例えば図11(c)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0102】
3D効果判定部11eは、ステップS51において、撮像面両端の起点ポイントの右又は左の検出点が遠方の被写体に対応するものでない場合には、処理をステップS53に移行する。3D効果判定部11eは、ステップS53において、距離判定部11cの判定結果を用いて、起点ポイントとなる検出点の撮像面上で右斜め上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS54において、距離判定部11cの判定結果を用いて、ステップS53で調べた検出点の撮像面上で上又は右斜め上の検出点における被写体が、ステップS53の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0103】
即ち、ステップS53,S54は、図12(d)に示す2つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。これらのステップS53,S54によって例えば図11(b),(e)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0104】
3D効果判定部11eは、ステップS53において、撮像面両端の起点ポイントの右斜め上の検出点が遠方の被写体に対応するものでない場合には、処理をステップS55に移行する。3D効果判定部11eは、ステップS55において、距離判定部11cの判定結果を用いて、起点ポイントとなる検出点の撮像面上で左斜め上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、3D効果判定部11eは、ステップS56において、距離判定部11cの判定結果を用いて、ステップS55で調べた検出点の撮像面上で上又は左斜め上の検出点における被写体が、ステップS55の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。
【0105】
即ち、ステップS55,S56は、図12(e)に示す2つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。これらのステップS55,S56によって例えば図11(d)の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。
【0106】
3D効果判定部11eは、ステップS52,S54,S56において、起点ポイントの検出点からの距離が大きい検出点ほど被写体までの距離が大きいことを検出すると、ステップS46において、3D撮影のために、基準被写体を強調表示し、更にアドバイス表示25を表示する(ステップS47)。
【0107】
また、3D効果判定部11eは、ステップS45,S52,S54〜S56においてNO判定となった場合には、ステップS57において別の起点ポイントがあるか否かを判定する。別起点ポイントがある場合には、処理をステップS43に戻して別の起点ポイントについてステップS44〜S47,S51〜S56の処理を繰り返す。
【0108】
なお、図9の例は図11に示す3×3の検出点を設定した場合の例を示している。また、図9の例は検出点の列が90度以上折れ曲がらない列のみを選択した例である。検出点の数が異なる場合等においては、図9と異なる判定方法も考えられる。
【0109】
本実施の形態における他の作用は第1の実施の形態と同様である。
【0110】
このように本実施の形態においては、手前に所定サイズ以上の被写体があるか否かだけでなく、画面上における被写体の2次元平面における位置と被写体までの距離とが相関を有する画像であるか否かに基づいて、3D撮影に適した画像であるか否かを判定しており、目に優しい自然な3D画像を得るための撮影支援が可能である。
【符号の説明】
【0111】
2…撮像部、3…操作判定部、6…表示部、8…タッチパネル、9…記録部、9a…仮記録部、10…撮影機器、11…信号処理及び制御部、11a…表示制御部、11b…記録再生制御部、11c…距離判定部、11d…基準被写体判定部、11e…3D効果判定部。
【特許請求の範囲】
【請求項1】
撮像部と、
上記撮像部で得られる画像を表示する表示部と、
上記撮像部で得られる画像中の被写体のうち、上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する被写体検出部と、
上記被写体検出部が上記基準被写体を検出すると、上記表示部に3D撮影を推奨する表示を行う表示制御部と
を具備したことを特徴とする撮影機器。
【請求項2】
上記被写体検出部は、
上記撮像部で得られる画像中の被写体のうち、上記撮像部からの距離が所定の距離以内で上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する
ことを特徴とする請求項1に記載の撮影機器。
【請求項3】
上記表示制御部は、上記被写体検出部が上記基準被写体を検出し、且つ、上記撮像部で得られる画像中の各被写体のうち上記撮像範囲内における位置と上記撮像部からの距離とが相関を有する複数の被写体が存在する場合に、上記表示部に3D撮影を推奨する表示を行う
ことを特徴とする請求項1又は2に記載の撮影機器。
【請求項4】
上記表示制御部は、上記撮像範囲内における上記基準被写体からの距離が大きいほど上記撮像部からの距離が大きくなる複数の被写体が存在する場合に、上記表示部に3D撮影を推奨する表示を行う
ことを特徴とする請求項3に記載の撮影機器。
【請求項5】
上記表示制御部は、上記3D撮影を推奨する表示時に、上記基準被写体を強調表示する
ことを特徴とする請求項1乃至4のいずれか1つに記載の撮影機器。
【請求項1】
撮像部と、
上記撮像部で得られる画像を表示する表示部と、
上記撮像部で得られる画像中の被写体のうち、上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する被写体検出部と、
上記被写体検出部が上記基準被写体を検出すると、上記表示部に3D撮影を推奨する表示を行う表示制御部と
を具備したことを特徴とする撮影機器。
【請求項2】
上記被写体検出部は、
上記撮像部で得られる画像中の被写体のうち、上記撮像部からの距離が所定の距離以内で上記撮像部の撮像範囲内に所定の大きさ以上を占める基準被写体を検出する
ことを特徴とする請求項1に記載の撮影機器。
【請求項3】
上記表示制御部は、上記被写体検出部が上記基準被写体を検出し、且つ、上記撮像部で得られる画像中の各被写体のうち上記撮像範囲内における位置と上記撮像部からの距離とが相関を有する複数の被写体が存在する場合に、上記表示部に3D撮影を推奨する表示を行う
ことを特徴とする請求項1又は2に記載の撮影機器。
【請求項4】
上記表示制御部は、上記撮像範囲内における上記基準被写体からの距離が大きいほど上記撮像部からの距離が大きくなる複数の被写体が存在する場合に、上記表示部に3D撮影を推奨する表示を行う
ことを特徴とする請求項3に記載の撮影機器。
【請求項5】
上記表示制御部は、上記3D撮影を推奨する表示時に、上記基準被写体を強調表示する
ことを特徴とする請求項1乃至4のいずれか1つに記載の撮影機器。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−94997(P2012−94997A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2010−238801(P2010−238801)
【出願日】平成22年10月25日(2010.10.25)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願日】平成22年10月25日(2010.10.25)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]