立体画像撮影装置
【課題】立体画像を観視するユーザの疲労感を軽減可能としつつ、より的確に被写体を捉えることを可能とする技術を提供する。
【解決手段】デジタルカメラ１００は、撮像部１３０Ｒ、１３０Ｌで生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部１２０と、立体画像を表示可能な表示部１５２と、撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部１１６と、注目被写体の視差量を導出する視差量導出部１０４と、表示部１５２に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部１０８とを備え、表示視差量調節部１０８は、注目被写体の視差量の時間経過に伴う変化の大きさが閾値を越す場合に、表示部１５２に表示される注目被写体の表示視差量の時間経過に伴う変化の大きさが減じられるように調節する。
【解決手段】デジタルカメラ１００は、撮像部１３０Ｒ、１３０Ｌで生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部１２０と、立体画像を表示可能な表示部１５２と、撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部１１６と、注目被写体の視差量を導出する視差量導出部１０４と、表示部１５２に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部１０８とを備え、表示視差量調節部１０８は、注目被写体の視差量の時間経過に伴う変化の大きさが閾値を越す場合に、表示部１５２に表示される注目被写体の表示視差量の時間経過に伴う変化の大きさが減じられるように調節する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像撮影装置に関し、さらに詳しくは、ライブビュー画像を立体表示可能な立体画像撮影装置に関する。
【背景技術】
【０００２】
所定の基線長（ステレオベース）で配置された複数の撮影レンズおよび撮像部を備えて、視差のある一組の画像（以下では視差画像と称する）を得ることの可能なデジタルステレオカメラがある。このデジタルステレオカメラは立体表示可能な表示部を備えていて、視差画像を表示部に表示することにより、ユーザは立体的な画像を観視することができる。
【０００３】
立体表示が可能な表示部としては、様々なものが提案されてきている。例えば、右眼用画像、左眼用画像をそれぞれ細かい線状に分割し、それらを表示部上で空間的に交互に表示するものがある。左眼用画像は左眼のみに、右眼用画像は右眼のみに導く必要があるので、左眼用画像表示領域、右眼用画像表示領域の上に、異なる偏光特性を有する線状の偏光フィルタが設けられる。それに対応して左眼用、右眼用で異なる偏光特性を有する眼鏡状のアダプタを通して観ることにより、左眼用画像が左眼のみに、右眼用画像右眼のみに導かれる。右眼用画像、左眼用画像中の視差（画像内に存在する様々な被写体像の相対位置関係の変化）に基づき、その画像を観視したユーザは立体感を知覚する。
【０００４】
また、右眼用画像、左眼用画像を表示部に時間的に交互に表示し、その表示切り替えタイミングと同期して眼鏡状のアダプタに内蔵される液晶シャッタを切り換え、右眼用画像が表示されているときにはその画像が右眼に導かれるように、左眼用画像が表示されているときにはその画像が左眼に導かれるようにするものがある。画像の表示切り替えおよび液晶シャッタの切り替えは、例えば１／６０秒といった比較的短時間の周期で行われるので、立体画像を観視するユーザは右眼用画像、左眼用画像に基づいて立体感を知覚することができる。
【０００５】
あるいは、上述した眼鏡状のアダプタを必要としない、いわゆる裸眼タイプの表示部もある。その例としては、表示部上で、右眼用画像、左眼用画像を細かい縦ストライプ状に分割して空間的に交互に配列して表示し、それらの右眼用画像、左眼用画像をレンチキュラーレンズやパララックスバリア等を用いて右眼、左眼に導くようにしたものがある。上述したいずれの方式においても、ユーザは右眼用画像、左眼用画像を脳内で合成して立体感を知覚する。デジタルステレオカメラ用としては、上述したもののうち、裸眼タイプのものが一般的に用いられる。
【０００６】
ところで、眼前に存在する対象物に人が注目するとき、焦点調節と輻輳角の調節とをほぼ無意識に行う。輻輳角は、左右の眼球をカメラユニットに例えて説明すると、両カメラユニットの撮影光学系の光軸が水平面内で交わる角度に相当する。対象物が遠くにあるときには輻輳角は小さくなり（両カメラの撮影光学系の光軸が平行に近くなり）、近くにあるときには輻輳角は大きくなる。人は、自分からある距離の位置に存在する物体を観たときに、水晶体の焦点調節状態、輻輳角の調節結果、見える対象物の大きさや明瞭度等から、生理学的知覚、心理学的知覚に基づいて立体感を感じると云われている。
【０００７】
一方、表示部に表示される立体画像を観視する場合、その立体画像を観る眼の焦点調節位置は表示部の表面に固定されたままである。表示部に表示された右眼用画像および左眼用画像を観視したとき、左右両眼の網膜上に像（網膜像）が形成され、人は左眼および右眼の網膜像の差（網膜像差）に基づいて立体画像の奥行きを感じる。従って、実世界ではあり得ない感覚の組み合わせで立体感を感じる。つまり、実在の物を観るときとは異なり、眼の焦点は一定の距離に合わせたままで、網膜像差をよりどころとして脳内で画像の合成が行われ、立体感を感じる。これが立体画像を観視する際に生じる違和感のもととなっていることが知られている。時間の経過とともに視差が逐次変化する立体動画像を観視し続けると、脳は次々と変化する網膜像差に対応して画像を合成する必要があり、視差の変化する立体画像を長時間にわたり観視し続けると疲労感を覚えることが知られている。
【０００８】
特許文献１には、その従来技術として、二次元表示から三次元表示、または三次元表示から二次元表示に切り換える際に、トランジション処理（画像を徐々に切り換える処理）によって上述した違和感を減じることができることが開示されている。しかし、トランジション処理を用いて表示を切り換えると、特に二次元表示から三次元表示に切り換えられたときに、現在の表示が三次元表示であるという観察者の認識が欠如する点が問題点として挙げられている。
【０００９】
この問題点を解決するため、特許文献１では、三次元画像を表示する際に、三次元画像のうち視差量が小さい部分から視差量が大きい部分に向かって順に、モニタに与える三次元画像の情報を追加してゆく技術が開示されている。この技術によれば、モニタに表示される三次元画像を徐々に完成させてゆくことが可能となる。
【００１０】
特許文献２には、立体動画像の撮影シーンが切り換えられる際に奥行き感が変化し、立体視を行うユーザに疲労感が残るのを抑制可能が技術として、以下のようなものが開示される。すなわち、立体画像処理装置が、入力される立体動画像のシーンの切り替わり位置を検出するシーン検出手段を備える。検出されたシーンの切り替わり位置（タイミング）において、奥行き感が徐々に変更されるように、立体動画像の奥行き感を調節する奥行き感調節処理が立体画像に施される。その結果、シーンの切り替わり位置における立体感が徐々に変化するようになり、違和感が減じられる、というものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１０−１３９８８５号公報
【特許文献２】特開２００９−２３９３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、立体画像を撮影可能な撮影装置の表示部には、ライブビュー画像が表示され、ユーザはこのライブビュー画像を観ながら構図調節や撮影の操作を行う。撮影装置の使用形態は様々であり、動画像撮影を行う場合もあれば静止画像撮影を行う場合もある。同じ静止画の撮影であっても、比較的動きの少ない被写体をじっくりと捉えて撮影することもあれば、頻繁に動き回る被写体を追いながら撮影することもある。
【００１３】
撮影装置の使用状況によっては、特許文献１、特許文献２に開示される技術を用いることが必ずしも好結果にはつながらない。そもそも、特許文献１、特許文献２では、表示部をビューファインダとして用いる場合の課題には触れられていない。
【００１４】
本発明は、上記の課題に鑑みてなされたものであり、撮影装置の表示部に表示される立体画像を観視するユーザの疲労感を軽減可能としつつ、より的確に被写体を捉えることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
（１） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記視差量導出部で導出される前記注目被写体の視差量の時間経過に伴う変化の大きさが閾値を越す場合に、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備える。
（２） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、焦点調節の速度が減じられるように調節するフォーカシング速度調節部と
を備える。
（３） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備える。
（４） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部と
を備え、
前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記フォーカシング速度調節部は焦点調節の速度を減じるように調節し、かつ、前記表示視差量調節部は前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度を減じるように調節する。
【発明の効果】
【００１６】
本発明によれば、撮影装置の表示部に表示される立体画像を観視するユーザの疲労感を軽減可能としつつ、より的確に被写体を捉えることを可能となる。
【図面の簡単な説明】
【００１７】
【図１】立体画像を撮影、表示可能なデジタルカメラの概略的構成を説明するブロック図である。
【図２】表示部に表示される右眼用の画像が右眼に、左眼用の画像が左眼に、それぞれ導かれて、ユーザが立体画像を観視可能となる構成の一例を説明する図である。
【図３】注目被写体の表示視差量変化速度が調節される様子を概念的に示す図であり、図３（ａ）は表示視差量変化速度の調節が行われない場合の例を、図３（ｂ）は表示視差量変化速度の調節がより少なめに行われる場合の例を、図３（ｃ）は表示視差量変化速度の調節がより多めに行われる場合の例を、それぞれ示す図である。
【図４】表示視差量変化速度の調節が行われる様子を説明する図であり、図４（ａ）は撮影して得られた画像に表示視差量変化速度の調節が行われていない、実視差量の変化例を示し、図４（ｂ）は調節が行われた場合の表示視差量の変化例を示す。
【図５】第１の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図６】第２の実施の形態に係るデジタルカメラの概略的構成を説明するブロック図である。
【図７】撮影光学系によって画定される撮影範囲内にデフォーカス量を検出可能なフォーカスポイントが複数配列される例を説明する図である。
【図８】第２の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図９】第３の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１０】第４の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１１】第４の実施の形態に係るデジタルカメラにおいて、撮影光学系の注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図であり、図１１（ａ）は、時間経過に伴い、注目被写体に対する焦点調節状態が変化する様子を示し、図１１（ｂ）は、時間経過に伴い、注目被写体の表示視差量が変化する様子を示す。
【図１２】第５の実施の形態に係るデジタルカメラの概略的構成を説明するブロック図である。
【図１３】第５の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１４】第５の実施の形態に係るデジタルカメラにおいて、撮影光学系の注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図であり、図１４（ａ）は、時間経過に伴い、注目被写体に対する焦点調節状態が変化する様子を示し、図１４（ｂ）は、時間経過に伴い、注目被写体の表示視差量が変化する様子を示す。
【図１５】第６の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１６】第６の実施の形態に係るデジタルカメラにおいて、撮影光学系の注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図であり、図１６（ａ）は、時間経過に伴い、注目被写体に対する焦点調節状態が変化する様子を示し、図１６（ｂ）は、時間経過に伴い、注目被写体の表示視差量が変化する様子を示す。
【発明を実施するための形態】
【００１８】
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る立体画像撮影装置１００の概略的構成を説明するブロックである。以下では立体画像撮影装置１００をデジタルカメラ１００と称する。本実施の形態においてデジタルカメラ１００は、立体画像の撮影が可能に構成され、静止画像撮影モードおよび動画像撮影モードで動作可能に構成される。ユーザは、これら二つの撮影モードのうち、いずれかの撮影モードに切り換えてデジタルカメラ１００を使用する。このとき、切り換えられた静止画像撮影モードおよび動画像撮影モードのいずれにおいても、立体画像を撮影・記録・表示可能に構成される。
【００１９】
デジタルカメラ１００は、信号処理部１０２と、二つの撮像部１３０Ｒおよび１３０Ｌと、二つの撮像制御部１３２Ｒおよび１３２Ｌと、撮影光学系制御部１３４と、フォーカシング制御部１３６と、システム制御部１４０と、操作部１４２とを備える。デジタルカメラ１００はさらに、表示制御部１５０と、表示部１５２と、記録制御部１５４と、記録部１５６と、メモリ１５８とを備える。信号処理部１０２、システム制御部１４０、操作部１４２、表示制御部１５０、記録制御部１５４、メモリ１５８は、システムバス１６０を介して互いに電気的に接続されている。
【００２０】
撮影光学系１３８Ｒ、１３８Ｌは、変倍光学系を備えて焦点距離を変更可能に構成されていても、単焦点レンズとして構成されていてもよい。これら二つの撮影光学系１３８Ｒ、１３８Ｌの光軸は、所定の距離（ステレオベース）を隔てて平行、または所定の輻輳角が与えられてデジタルカメラ１００内に配置される。撮影光学系１３８Ｒ、１３８Ｌが焦点距離を変更可能に構成される場合、二つの光学系１４０Ｒ、１３８Ｌの焦点距離が常に同じとなるように構成される。撮影光学系１３８Ｒ、１３８Ｌは、焦点調節機構、絞り調節機構等を備えており、撮影光学系制御部１３４によって制御される。このうち、焦点調節機構は、撮影光学系制御部１３４内のフォーカシング制御部１３６によって制御される。すなわち、フォーカシング制御部１３６は、撮影光学系１３８Ｒ、１３８Ｌ内の焦点調節機構を駆動して合焦動作を行う。撮影光学系１３８Ｒ、１３８Ｌが電動式のアクチュエータによって焦点距離を変更可能に構成される場合、撮影光学系制御部１３４によって焦点距離が制御される。撮影光学系１３８Ｒ、１３８Ｌは、デジタルカメラ１００に対して着脱可能に構成されていても、固定されていてもよい。
【００２１】
撮像部１３０Ｒ、１３０Ｌはそれぞれ、撮影光学系１３８Ｒ、１３８Ｌによって形成される被写体像を光電変換して画像信号を生成する撮像素子と、撮像素子から出力される画像信号を増幅した後、デジタル画像信号に変換するアナログ・フロントエンドとを備えて構成される。撮像制御部１３２Ｒ、１３２Ｌはそれぞれ、撮像部１３０Ｒ、１３０Ｌにおける撮像および信号読み出しの動作タイミング等を制御する。これらの撮影光学系１３８Ｒ、１３８Ｌおよび撮像部１３０Ｒ、１３０Ｌによって、視差画像を得ることができる。
【００２２】
信号処理部１０２は、デジタル・シグナル・プロセッサ（ＤＳＰ）などにより構成され、撮像部１３０Ｒ、１３０Ｌから出力されるデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減、表示視差量調節処理等のさまざまなデジタル信号処理を施し、立体画像データを生成する。以下では、撮像部１３０Ｒ、１３０Ｌのそれぞれから出力される信号を右画像信号、左画像信号と称する。また、信号処理部１０２で生成される画像データを右画像データ、左画像データと称する。さらに、右画像データ、左画像データによって形成される画像をそれぞれ右画像、左画像と称する。
【００２３】
信号処理部１０２は、視差量導出部１０４と、視差量パラメータ記憶部１０６と、表示視差量調節部１０８と、焦点検出部１１０と、露光制御部１１２と、ホワイトバランス調整部１１４と、注目被写体検出部１１６と、立体画像データ生成部１２０とを備える。
【００２４】
視差量導出部１０４は、入力された右画像信号、左画像信号を処理し、左右両画像間の視差量を導出する。視差量の導出に際しては、例えば右画像および左画像のうち、いずれか一方の画像を複数の領域に分割し、分割された領域内の画像（部分画像）をテンプレートとして、他方の画像中で一致する部分を探索する。上記探索の結果、左画像、右画像内において同じ被写体の画像が存在する左右方向の位置の差を視差量として検出することが可能となる。視差量の尺度としては、ピクセル数を用いることが可能である。
【００２５】
視差量パラメータ記憶部１０６には、デジタルカメラ１００で設定されている動作モード等に応じて変更可能な視差量パラメータが記憶される。視差量パラメータは、表示部１５２に立体画像を表示する際の、表示される被写体の像を観たユーザが感じる立体感（奥行き感）を調節する際に参照されるパラメータである。視差量パラメータ記憶部１０６は、後述するメモリ１５８内に設けられていても良い。
【００２６】
表示視差量調節部１０８は、表示部１５２に立体画像を表示する際の、右画像と左画像との間の視差量を調節する処理を行う。表示視差量調節部１０８における処理についても、その詳細を後で説明する。以下では、視差量導出部１０４で導出される視差量を実視差量と称し、表示部１５２に立体画像を表示する際の、右画像と左画像との間の視差量を表示視差量と称する。
【００２７】
本実施の形態において、デジタルカメラ１００はコントラストＡＦの方式で自動焦点調節を行うものとする。すなわち、焦点検出部１１０は、所定のフレームレートで撮像部１３０Ｒ、１３０Ｌから出力される右画像信号、左画像信号を処理し、フレームごとに画面内の所定の位置におけるコントラスト値を導出して、いわゆる山登りＡＦの方式でコントラストの極大値が得られる焦点位置を探索するものとする。フォーカシング制御部１３６は、焦点検出部１１０で焦点位置探索結果に基づいて撮影光学系１３８Ｒ、１３８Ｌ内の焦点調節機構を駆動する。なお、焦点検出部１１０は、撮像部１３０Ｒ、１３０Ｌのうち、いずれか一方のみからの画像信号を入力するようにしてもよい。
【００２８】
露光制御部１１２は、露光量の制御を行う。デジタルカメラ１００が静止画像撮影モードで動作しているとき、信号処理部１０２に入力される画像信号の信号値をもとに撮影光学系１３８Ｒ、１３８Ｌの絞り値とシャッタ速度とを決定する。一方、デジタルカメラ１００が動画像撮影モードで動作しているとき、信号処理部１０２に入力される画像信号の信号値をもとに撮影光学系１３８Ｒ、１３８Ｌの絞り値と、撮像部１３０Ｒ、１３８Ｌにおける蓄積時間、すなわち電子シャッタの速度とを決定する。
【００２９】
ホワイトバランス調整部１１４は、信号処理部１０２に入力された画像信号に対して、ユーザにより設定されたホワイトバランスモードに対応して色変換の処理を行う。また、ユーザにより設定されたホワイトバランスモードが自動ホワイトバランスモードである場合、ホワイトバランス調整部１１４は、信号処理部１０２に入力された画像信号を解析し、推定される光源の種類に対応して色変換の処理を行う。あるいは、デジタルカメラ１００に光源センサ等が設けられる場合、ホワイトバランス調整部１１４は、光源センサからの信号を解析して光源の種類を特定し、特定された光源の種類に対応して色変換の処理を行ってもよい。
【００３０】
注目被写体検出部１１６は、画像中に存在する注目被写体を検出する処理を行う。注目被写体を検出する方法は、以下に説明する被写体認識処理、ＡＦエリア内被写体認識処理、ユーザ選択被写体認識処理のうちのいずれかとすることが可能である。
【００３１】
被写体認識処理は、信号処理部１０２に入力される画像信号を解析して、画像中で人や動物の顔、花等の存在を検出し、それを画像内における注目被写体とする方法である。
【００３２】
ＡＦエリア内被写体認識処理は、自動焦点調節の処理結果と連動して行われる処理方法である。すなわち、焦点検出部１１０が、撮影範囲（画面）内において画定された複数のエリアで焦点調節状態を検出可能に構成されている場合に、次のようにして被写体認識処理をすることができる。撮影範囲内における複数のエリアのうち、いずれかのエリアがユーザによって選択された場合、選択されたエリアで検出された焦点調節状態に基づいて焦点調節が行われる。あるいは、上記複数のエリアのうち、所定のアルゴリズムに従っていずれかのエリアが自動選択された場合、自動選択されたエリアで検出された焦点調節状態に基づいて焦点調節が行われる。注目被写体検出部１１６は、上述のように手動、あるいは自動で選択されたエリアに写っている（捕捉される）被写体を注目被写体とすることが可能である。
【００３３】
複数のエリアの中から焦点調節を行う対象のエリアを自動的に選択するアルゴリズムとしては、最も近距離に位置する被写体が存在するエリア、最も遠距離に位置する被写体が存在するエリア、中間の距離に位置する被写体が存在するエリアを選択する方法などがある。あるいは、コントラストの最も高い被写体が存在するエリア、彩度の最も高い被写体が存在するエリア等を選択する方法であってもよい。
【００３４】
デジタルカメラ１００が、操作部１４２の一つとして、表示部１５２の表面に設けられたタッチパネルスイッチを備える場合、表示部１５２上に表示される画像中、ユーザがタッチパネルを押圧した位置に写っている被写体に優先順位が与えられて焦点調節、露光制御、ホワイトバランス等の処理が行われるようにすることが可能である。このとき、注目被写体検出部１１６は、表示部１５２に表示される画像中、ユーザがタッチパネルスイッチを押圧した位置に写っている被写体を注目被写体とすることが可能である。これが、上述したユーザ選択被写体認識処理である。
【００３５】
立体画像データ生成部１２０は、表示視差量調節部１０８で視差量が調節された左画像データ、右画像データに基づき、立体画像データを生成する。この立体画像データに基づいて、表示部１５２に立体画像が表示される。この立体画像データは、必要に応じてデジタルカメラ１００内に保存する処理が行われる。
【００３６】
システム制御部１４０は、デジタルカメラ１００の動作を統括的に制御する。操作部１４２は、スライドスイッチ、プッシュスイッチ、ダイヤルスイッチ等のうち、いずれか一種または複数種類のスイッチを備え、ユーザの操作を受け付ける。操作部１４２はまた、上述したタッチパネルスイッチを備えていても良い。ユーザによる操作部１４２の操作は、システム制御部１４０によって検出される。システム制御部１４０は、ユーザによる操作部１４２の操作に応じてデジタルカメラ１００の動作を制御する。
【００３７】
ユーザによる操作部１４２の操作としては、電源スイッチのオン／オフ、動画像撮影モード／静止画像撮影モードの動作モード切替、静止画像記録のためのレリーズスイッチの操作、動画像記録開始／停止のための動画像記録スイッチの操作などがある。また、操作部１４２を操作することにより、視差量パラメータの設定を変更可能に構成されていてもよい。
【００３８】
デジタルカメラ１００が静止画像記録モード、あるいは動画像記録モードに設定されている状態で、ユーザは操作部１４２を操作し、シーンモードやシーン判別モードを選択することも可能である。シーンモードは、風景、花火、ポートレート、スポーツ、子ども、そしてクローズアップといった様々な撮影シーンの中から、ユーザが所望の撮影シーンを選ぶことができ、ユーザの目的とする撮影シーンに対応してより適した撮影設定が自動的になされる動作モードである。
【００３９】
シーン判別モードは、撮影シーンを、撮影光学系１３８Ｒ、１３８Ｌの設定焦点距離、デジタルカメラ１００の動き、ライブビュー表示用画像の解析結果等に基づいて撮影シーンやデジタルカメラ１００の使用状況を自動的に判別し、判別されたシーンに対応してより適した撮影設定が自動的になされる動作モードである。自動的になされる動作設定としては、絞り値およびシャッタ速度の組み合わせ、撮像素子の感度、ホワイトバランス、色補正、階調補正などがある。
【００４０】
デジタルカメラ１００の動作モードが、静止画像撮影モード、動画像撮影モードに切り替えられるのに応じて、視差量パラメータは自動的に変更される。シーンモードが設定された場合にも、ユーザによって選択された撮影シーンに対応して視差量パラメータは自動的に変更される。また、シーン判別モードが設定された場合、判別された撮影シーンに対応して視差量パラメータが自動的に変更される。
【００４１】
表示部１５２は、ユーザが立体画像を観視することが可能に構成される。表示部１５２は一例として、図２に示されるように、カラー液晶表示パネル１５２ｂと、バックライト装置１５２ａと、カラー液晶表示パネル１５２ｂの表面に設けられたレンチキュラーシート１５２ｃ等とを備えて構成される。なお、表示部１５２がレンチキュラーシート１５２ｃ等を用いたものである場合、右画像および左画像を縦ストライプ状に分割し、レンチキュラーシート上に形成されるレンチキュラーレンズの配設ピッチに従って、縦ストライプ状に分割した右画像及び左画像を空間的に交互に配列した画像をカラー液晶表示パネル上に表示するべく、表示用画像データが立体画像データ生成部１２０で生成される。図２には、カラー液晶表示パネル１５２ｂ上に空間的に交互に表示される右画像Ｒおよび左画像Ｌがそれぞれ、立体画像を観視するユーザの右眼ＲＹ、左眼ＬＹに、レンチキュラーシート１５２ｃ上に形成されたレンチキュラーレンズによって導かれる様子が描かれている。
【００４２】
表示部１５２が他の方式によって立体画像を観視可能に構成される場合、その方式に従って表示用画像データが立体画像データ生成部１２０で生成される。表示制御部１５０は、信号処理部１０２で生成された表示用画像データに基づく画像を表示部１５２に表示する処理を行う。
【００４３】
記録部１５６は、デジタルカメラ１００に着脱可能な、不揮発性のフラッシュメモリ等で構成されるメモリカードとすることが可能である。あるいは、デジタルカメラ１００に内蔵される不揮発性のメモリとすることが可能である。デジタルカメラ１００で撮影され、生成された静止画像データや動画像データは記録部１５６に所定のファイル形式で記録される。デジタルカメラ１００が再生モードに設定されているときには、記録部１５６に記録された画像ファイルが読み出され、信号処理部１０２で表示用画像データが生成され、表示部１５２、あるいはデジタルカメラ１００に接続された外部表示装置に画像が表示される。記録制御部１５４は、記録部１５６への画像データの書き込み、記録部１５６からの画像データの読み出しの処理を行う。
【００４４】
メモリ１５８は、ＳＤＲＡＭ等の、比較的高速のアクセス速度を有してデータの読み書きが可能なランダム・アクセス・メモリ（ＲＡＭ）と、フラッシュメモリ等の不揮発性メモリとを備えて構成される。不揮発性メモリには、ファームウェアやデジタルカメラ１００に電源が供給されない状態でも保持する必要のある情報が記憶される。ファームウェアは、システム制御部１４０で実行されるカメラ制御プログラムを含む。メモリ１５８は、信号処理部１０２およびシステム制御部１４０の双方からアクセス可能に構成される。
【００４５】
以上では、図１を参照してデジタルカメラ１００が双眼タイプの立体画像撮影装置である例を説明したが、これと異なる方式で右画像および左画像が得られるものであってもよい。例えば、三つ以上の撮影光学系を備えるものであってもよいし、一つの撮影光学系内の異なる瞳位置を通過した被写体光を二つの撮像素子に導くものであってもよい。あるいは、単眼の撮影光学系の前面にステレオアダプタを装着する方式であってもよい。ステレオアダプタは、潜望鏡を横に倒したような、光路を水平面上でクランク状に折り曲げる構成の反射光学系を二組備えて、それらを左右に面対称に配列し、被写体の側から左右異なる光路を経てデジタルカメラの単眼の撮影光学系に入射する被写体光を撮像素子の右半分および左半分に導くように構成される装置である。
【００４６】
図３は、表示視差量調節部１０８で行われる処理を概念的に示す図である。図３（ａ）は、表示視差量の調節が行われない場合の例を、図３（ｂ）は、表示視差量の調節が行われるものの、その調節量が比較的少なめに設定される場合の例を、図３（ｃ）は、表示視差量の調節が行われて、その調節量が比較的多めに設定される場合の例を示す図である。図３（ａ）、図３（ｂ）、および図３（ｃ）それぞれの一番左に示される図は、ある瞬間（タイミングｔ０）において撮影されて得られた画像をもとに視差量導出部１０４で導出された実視差量が示されている。そして、これらの一番左に示される各図の右側には、表示部１５２に表示される立体画像の表示視差量が時間の経過（タイミングｔ１、ｔ２、…）に伴って変化する様子が描かれている。
【００４７】
図３を参照しての説明の前提として、被写体Ａ、Ｂは当初（タイミングｔ０よりも前のタイミングにおいて）、同じ撮影距離の位置に位置していて、その後タイミングｔ０にかけて被写体Ｂがデジタルカメラ１００に向かって急に近づき、タイミングｔ０以降、同じ位置にとどまっているものとする。そして、図３（ａ）、図３（ｂ）、図３（ｃ）それぞれの一番左の図に示されるように、視差量導出部１０４での処理により、タイミングｔ０における被写体Ａの実視差量はＸ、被写体Ｂの実視差量はＹ（Ｘ＜Ｙ）と導出されたものとする。また、タイミングｔ０で得られた画像データに基づき、それに後続するタイミングｔ１において表示部１５２に立体画像が表示され、タイミングｔ１で得られた画像データに基づき、タイミングｔ２において表示部１５２に立体画像が表示され、以降、同様の処理が繰り返し行われるものとする。このとき表示部１５２に表示される立体画像はライブビュー画像であるものとする。なお、図３（ａ）、図３（ｂ）、図３（ｃ）において、タイミングｔ０の位置示されているのは、被写体Ａ、Ｂの実視差量である。つまり、図３（ａ）、図３（ｂ）、図３（ｃ）のいずれにおいても、タイミングｔ０において表示部１５２に表示される立体画像中、被写体Ａ、Ｂの表示視差量は共にＸである。
【００４８】
表示視差量の調節が行われない例を示す図３（ａ）を参照して説明する。タイミングｔ０において視差量導出部１０４によって導出された被写体Ｂの実視差量はＸからＹに増加している。タイミングｔ０で表示部１５２に立体表示されている被写体Ａ、Ｂの表示視差量は上述のとおり共にＸである。そして、タイミングｔ０で得られた画像データに基づき、タイミングｔ１で立体画像が表示される。
【００４９】
このとき、タイミングｔ０で得られた画像データに対して表示視差量の調節処理をすることなく表示画像データが生成され、タイミングｔ１において表示部１５２に立体画像が表示される。タイミングｔ０において表示部１５２に表示されていた立体画像中、被写体Ｂの表示視差量はＸであったので、タイミングｔ０からｔ１にかけての被写体Ｂの表示視差量はＸからＹへと変化（増加）する。表示部１５２に表示される立体画像を観視するユーザは、被写体Ｂの像が画面手前側に向かって急に突出したと感じる。
【００５０】
表示視差量の調節が行われるものの、表示視差量の時間変化（表示視差量変化速度）の調節がより少なめに行われる例を示す図３（ｂ）を参照して説明する。図３（ａ）と同様、タイミングｔ０において視差量導出部１０４によって導出された被写体Ｂの実視差量はＹとなっている。
【００５１】
表示視差量調節部１０８で表示視差量変化速度の調節処理が行われ、タイミングｔ１で表示部１５２に立体画像が表示される。すなわち、タイミングｔ０における被写体Ｂの表示視差量Ｘに表示視差量の変化量の上限値γａを加算して得られた表示視差量となるように表示画像データが生成されて立体画像が表示される。このタイミングｔ１では、次の撮影動作が行われて、視差量導出部１０４で実視差量が導出される。このとき、上述のように、被写体Ｂはタイミングｔ０以降、同じ位置にとどまっているものとする。
【００５２】
以上の説明からも分かるように、タイミングｔ１で表示される立体画像は、被写体Ｂの実際の撮影距離（距離感）を反映したものではない。信号処理部１０２では、タイミングｔ０で撮影して得られた右画像データ、左画像データを処理して被写体Ｂの部分の画像の切り出しや合成等の処理を行い、必要とする表示視差量が得られる表示画像データを生成する。このとき、被写体Ａの部分や背景部分等における画像には、表示視差量の調節は行われない。
【００５３】
続いてタイミングｔ２で表示される立体画像について説明する。タイミングｔ１において視差量導出部１０４で被写体Ｂの実視差量がＹと導出される。そして、タイミングｔ１で得られた画像データをもとにタイミングｔ２で表示をした場合に生じる被写体Ｂの表示視差量の変化量は依然として上限値γａを超すと判定される。この判定を受けて、表示視差量調節部１０８で表示視差量変化速度を調節する処理が行われる。その結果、タイミングｔ２において表示部１５２に表示される被写体Ｂの表示視差量は、タイミングｔ１における表示視差量Ｘ＋γａにさらにγａを加算して得られた、Ｘ＋２×γａとなる。
【００５４】
タイミングｔ２で表示される立体画像は、タイミングｔ１で撮影して得られた右画像データおよび左画像データに、切り出しや合成の処理をして被写体Ｂの部分の表示視差量がＸ＋２×γａとなるように生成された表示画像データに基づく。このタイミングｔ２においては、タイミングｔ３でのライブビュー画像表示のための撮影動作が行われる。
【００５５】
タイミングｔ３で表示される立体画像について説明する。タイミングｔ２において視差量導出部１０４で被写体Ｂの実視差量がＹと導出される。そして、タイミングｔ２で得られた画像データをもとのタイミングｔ３で表示をした場合に生じる被写体Ｂの表示視差量の変化量は、上限値γａ以下であると判定される。この判定を受けて、表示視差量の調節処理をすることなく表示画像データが生成され、表示部１５２に立体画像が表示される。タイミングｔ３において表示される立体画像中、被写体Ｂの表示視差量はＹとなる。つまり、図３（ｂ）に示される例では、表示視差量の変化速度は実視差量の変化速度の略三分の一に調節される。
【００５６】
表示視差量の調節が行われて、表示視差量の時間変化の上限が比較的低めに設定される場合の例を示す図３（ｃ）を参照して説明する。基本的には図３（ｂ）に示されるのと同様の処理が行われる。図３（ｂ）との違いは、表示視差量の変化量の上限値がγａよりも小さいγｂに設定される点である。その結果、図３（ｂ）の例では被写体Ｂの表示視差量がタイミングｔ３において実視差量Ｙ（視差量導出部１０４で導出された視差量）に追いついているのに対し、図３（ｃ）の例ではタイミングｔ５で追いついている。つまり、図３（ｂ）に示される例では、表示視差量の変化速度は実視差量の変化速度の略五分の一に調節される。
【００５７】
以上、図３を参照しての説明では、被写体Ｂが急に近づき、立体画像中で被写体Ｂの像が手前側に突出する場合を例にとり、表示視差量変化速度を必要に応じて抑制する例について説明した。しかし、表示視差量変化速度の抑制は、被写体が急に近づく（視差量が増加する）場合、遠ざかる（視差量が減少する）場合の双方で行うものであってもよい。
【００５８】
ところで、以上では、被写体がデジタルカメラ１００に向かって近づく、あるいはデジタルカメラ１００から遠ざかるのに伴って視差量が変化することについて説明したが、撮影光学系１３８Ｒ、１３８Ｌの変倍操作をすることによっても視差量は変化する。このとき、焦点距離を長焦点側に変化させると撮影倍率が増加し、それに伴って視差量も増加する。逆に、焦点距離を短焦点側に変化させると撮影倍率が減少し、それに伴って視差量も減少する。また、撮影光学系１３８Ｒ、１３８Ｌの焦点距離を変化させずに、画面の一部を切り取る、いわゆるデジタルズーム、あるいは電子ズームと称される方式で撮影倍率を変化させた場合も同様である。このように、撮影倍率を変化させた場合に生じる視差量の変化にも対応して表示視差量の調節を行うことが可能である。
【００５９】
以下、図４を参照して被写体が近づく場合および遠ざかる場合の双方に対応して表示視差量の時間変化が必要に応じて抑制される例について説明する。以下で用いられる「被写体の動き」に関しては、デジタルカメラ１００に対して近づく、あるいは遠ざかる方向の動きを意味する。なお、先に説明したように、撮影光学系１３８Ｒ、１３８Ｌの変倍動作等によって撮影倍率が増減する場合も同様であるが、ここでは被写体がデジタルカメラ１００に対して近づく、あるいは遠ざかるのに対応して視差量が変化する例について説明する。
【００６０】
図４（ａ）は、時間の経過に伴う実視差量の変化例を示すグラフであり、横軸には時間、縦軸には各タイミングで視差量導出部１０４によって導出された実視差量がとられている。図４（ｂ）は、表示部１５２に表示される立体画像の表示視差量の変化例を説明するグラフであり、横軸には時間、縦軸には表示視差量調節部１０８で調節された後の表示視差量がとられている。図４（ａ）、図４（ｂ）は、同じ時間軸での事象が示されている。以下では、ある数字の付されたタイミングを参照する際には「タイミング１０」などと称する。タイミングの時間間隔は、撮影フレームレート、表示フレームレートに一致しているものとする。
【００６１】
タイミング１からタイミング４にかけては、被写体の動きが少なく、表示視差量調節部１０８による表示視差量の調節は行われない。タイミング５からタイミング１０にかけては、被写体が急に近づいて来たため、実視差量が急増している。図４中、符号ＬＭＴ１、ＬＭＴ２の付された斜めの線は、表示視差量の時間変化の上限（閾値）を概念的に示している。タイミング５からタイミング１０においては、実視差量の時間変化、つまり実視差量変化速度が速く、このまま立体画像を表示すると表示視差量変化速度が閾値ＬＭＴ１以上になると判定される。その結果、表示視差量調節部１０８において、図３を参照して説明した表示視差量調節の処理が行われる。図４（ｂ）のグラフ中、タイミング５からタイミング１０において、調節された表示視差量で立体画像が表示される様子が示されている。図４（ｂ）中、破線で示される棒グラフは、表示視差量が調節されていることを示している。
【００６２】
タイミング９からタイミング１１にかけては被写体の動きが少ないため、表示視差量がやがて実視差量に追いつく。その結果、タイミング１１においては表示視差量の調節が行われずに立体画像が表示される。その様子が図４（ｂ）のタイミング１１における実線の棒グラフとして示されている。
【００６３】
次にタイミング１１からタイミング１２の間で被写体が急に遠ざかり、その後タイミング１７にかけて、被写体は略同じ距離の位置に存在し続けている。この場合、実視差量の変化速度が速く、このまま立体画像を表示すると表示視差量変化速度が閾値ＬＭＴ２以上になると判定される（この場合、立体画像は画面手前側から奥側に遠ざかるように奥行き感が変化する）。その結果、表示視差量調節部１０８において、表示視差量調節の処理が行われて、図４（ｂ）のグラフ中、タイミング１２からタイミング１７において、調節された表示視差量で立体画像が表示される。つまり、被写体があたかも徐々に遠ざかるかのような奥行き感の変化で立体画像が表示される。なお、本例において表示視差量変化速度は、絶対値で扱われるものとする。すなわち、視差量が増加するか減少するかは考慮しないものとする。無論、視差量が増加するか／減少するかで表示視差量調節の処理内容を変えてもよい。
【００６４】
タイミング１８からタイミング２４にかけて、被写体は傾向として近づいてきており、それに伴って実視差量が傾向として増加している。しかし、実視差量の変化速度がそれほど速くはなく、このまま立体画像を表示しても表示視差量変化速度は閾値ＬＭＴ１未満であると判定される。その結果、タイミング１８から２４において、表示視差量の調節は行われない。
【００６５】
タイミング２４からタイミング２５の間で被写体が急に近づき、その後タイミング３３まで略同じ距離の位置に被写体がとどまっている。その結果、タイミング２５からタイミング２８にかけて表示視差量の調節が行われる。やがて、表示視差量が実視差量に追いつき、タイミング２９からタイミング３３にかけては表示視差量の調節は行われない。
【００６６】
タイミング３３とタイミング３４との間で被写体が急に遠ざかり、その後タイミング４３まで略同じ距離の位置に被写体がとどまっている。その結果、タイミング３４からタイミング４０にかけて表示視差量の調節が行われる。やがて、表示視差量が実視差量に追いつき、タイミング４１からタイミング４３にかけては表示視差量の調節が行われない。
【００６７】
図４では、被写体の近づく方向（視差量の増す方向）、遠ざかる方向（視差量の減少する方向）に対して設定される閾値ＬＭＴ１、ＬＭＴ２の傾きの絶対値が略同一であるように描かれているが、異なる値とすることが可能である。立体画像を観視する際、画面の手前側に突出してくる画像を観視する際の眼の疲れよりも、画面の奥側に引っ込んでゆく画像を観視する際の眼の疲れの方が少ないことが知られている。したがって、被写体が遠ざかる場合には閾値を設けないとすることが可能である。あるいは、閾値を高めに設定する（図４に示される符号ＬＭＴ２が付される線の傾きを増す）ことも可能である。
【００６８】
また、表示視差量変化速度の上限は、図４に示すように、時間の経過によらず一定の値であってもよいし、時間の経過に伴って変化するものであってもよい。例えば、時間の経過とともにＬＭＴ１（ＬＭＴ２）が非線形に変化するようにし、表示視差量変化速度を、現状の表示視差量と実視差量との差が大きいうちは早くなるようにして、表示視差量と実視差量との差が小さくなるにつれて遅くなるように（あるいはその逆になるように）してもよい。
【００６９】
また、デジタルカメラ１００の動作モードが静止画像撮影モード、あるいは動画像撮影モードに切り換えられるのに応じて上記の閾値や表示視差量変化速度の上限を変更可能に構成されていてもよい。さらに、デジタルカメラ１００でシーンモードやシーン判別モードが設定されている場合、選択されている撮影シーン、あるいは自動判別されたシーンに応じて上記の閾値や表示視差量変化速度の上限を変更可能に構成されていてもよい。
【００７０】
例えば、動画像撮影モード時、ユーザは比較的長い時間にわたり、表示部１５２に表示される画像を観視し続けることになる。そのような場合には、上記の閾値や表示視差量変化速度の上限を低めに設定することが可能である。そうすることにより、立体画像の奥行き感の変化がより穏やかとなり、ユーザの疲労感を抑制することが可能となる。このとき、記録画像データについては、表示視差量の調節をしないものを生成してもよいし、調節したものを生成してもよい。また、記録画像データの表示視差量の調節をする／しないをユーザが選択可能に構成されていてもよい。
【００７１】
一方、静止画像撮影モード時には、表示部１５２に表示されるライブビュー画像を観視する時間は、動画像撮影モード時に比して短めとなることが予想される。そのような場合には、表示視差量の調節をしないで（表示視差量変化速度の上限を高めに設定して）表示部１５２に立体画像を表示し、記録画像データを生成することが可能である。そうすることにより、より立体感のある画像を得ることが可能となり、ライブビュー画像を観たユーザはどのような立体画像を得ることができるかを直観的に把握することが可能となる。また、実視差量により近い表示視差量で被写体の像が表示されるので、特に動いている被写体のライブビュー画像を観ながら撮影をする際に、より実際に近い状態で被写体を捉えることが可能となり、シャッタチャンスを捉えやすくなる。
【００７２】
設定されたシーンモードの種類によって、あるいはシーン判別モードでのシーン判別結果により、ユーザがどのような被写体を撮影しようとしているのかを知ることができる。例えば、シーンモードとして風景や花火、あるいはポートレートの撮影を想定したモードが選択されている場合、撮影距離が目まぐるしく変化する可能性は少ないので、立体画像の奥行き感も大きく変化する可能性は少ない。このような場合、上記の閾値や表示視差量変化速度の上限を高めに設定、あるいは閾値を設定しないようにすることが可能である。逆に、スポーツシーン、あるいは子ども等を撮影することを想定したモードが選択されている場合、被写体が動き回って撮影距離が目まぐるしく変化する可能性がある。そのような被写体を撮影するモードが選択された場合、上記の閾値や表示視差量変化速度の上限を低めに設定することにより、立体画像の奥行き感の変化を抑制してユーザの疲労感を抑制することが可能となる。
【００７３】
上記の閾値や表示視差量変化速度の上限に関しては、ユーザの好みに応じてマニュアル設定可能に構成されていてもよい。立体画像を観視しているユーザが感じる疲労の度合いには個人差があり、また、ユーザの体調にも左右される場合があるので、ユーザによるマニュアル設定を可能とすることによりデジタルカメラ１００の使い勝手を向上させることが可能となる。上記の閾値や表示視差量変化速度の上限に関する情報は、視差量パラメータとして視差量パラメータ記憶部１０６に記憶される。
【００７４】
ところで、実際の撮影シーンを想定した場合に、撮影シーン中には様々な動きをする多数の被写体が存在している場合がある。また、ユーザが撮影しようとしている被写体とデジタルカメラ１００との間に通行人や自動車等が割って入ることもある。本実施の形態においては、デジタルカメラ１００が注目被写体検出部１１６を備えていて、上述した表示視差量調節部１０８による表示視差量調節の処理は、注目被写体検出部１１６で検出された被写体に対して行われる。本明細書中では、注目被写体検出部１１６で検出された被写体を「注目被写体」と称する。
【００７５】
ユーザがライブビュー表示される立体画像を観ながら被写体を追う場合を想定すると、ユーザは注目被写体を注視している可能性が高い。そこで、上述した表示視差量調節の処理は、注目被写体のみに対して行う。一方、背景や前景等、注目被写体以外の被写体については、表示視差量調節の処理を行わない。このようにして画像を処理することにより、信号処理部１０２での処理負荷を低減することが可能となる。その結果、信号処理部１０２のハードウェア規模の縮小や消費電力の抑制と云った効果を得ることが可能となる。
【００７６】
図５は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図５のフローチャートに示される処理は、デジタルカメラ１００が撮影モードに切り替えられたときにシステム制御部１４０によって実行される。
【００７７】
Ｓ５００においてシステム制御部１４０は、デジタルカメラ１００の動作モードの変更の有無を判定する。Ｓ５００での判定が肯定された場合には、変更された動作モードに応じて視差量パラメータを設定する処理がＳ５０２で行われ、Ｓ５０４に進む。一方、Ｓ５００での処理が否定された場合、処理はＳ５０４に進む。ここで、視差量パラメータは、先に図３や図４を参照して説明した閾値や表示視差量変化速度の上限に関する情報を含む。
【００７８】
Ｓ５０４においてシステム制御部１４０は、１フレーム分の右画像データおよび左画像データを取得する処理を行うよう、信号処理部１０２に制御信号を出力する。システム制御部１４０はＳ５０６において、注目被写体検出処理を行うよう、信号処理部１０２に制御信号を出力する。注目被写体検出処理は、注目被写体検出部１１６で行われる。
【００７９】
Ｓ５０８においてシステム制御部１４０は、注目被写体の実視差量を導出する処理を行うよう、信号処理部１０２に制御信号を出力する。そしてシステム制御部１４０は、信号処理部１０２から出力された実視差量の情報をメモリ１５８に一時的に記録する。
【００８０】
システム制御部１４０はＳ５１０において、Ｓ５０８の処理で得られた現フレームの実視差量と、一つ前のフレームの表示視差量とを比較する。すなわち、メモリ１５８に記録されているこれら現フレームの実視差量および一つ前のフレームの表示視差量を読み出して比較する。Ｓ５１０で比較されるのは、現フレームの注目被写体の実視差量と、一つ前のフレームにおける注目被写体の表示視差量である。
【００８１】
Ｓ５１２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値を超すか否かを判定する。Ｓ５１２での判定が肯定されるとＳ５１４の処理に進む一方、Ｓ５１２での判定が否定されるとＳ５２６の処理に進む。
【００８２】
Ｓ５１２での判定が肯定された場合の分岐先であるＳ５１４において、システム制御部１４０は注目被写体の画像の表示視差量を調節する決定をする。そしてＳ５１６において、視差量パラメータ記憶部１０６に記憶された視差量パラメータ中、現状の動作モードに対応する視差量パラメータに基づいて、注目被写体の画像の表示視差量を調節した右画像データおよび左画像データを生成するように信号処理部１０２に制御信号を出力する。
【００８３】
一方、Ｓ５１２での判定が否定された場合の分岐先であるＳ５２６では、表示視差量を調節する処理をしない決定がなされ、Ｓ５１６の処理がスキップされてＳ５１８に進む。
【００８４】
Ｓ５１８においてシステム制御部１４０は、焦点調節を行うようにフォーカシング制御部１３６に制御信号を出力する。すなわち、システム制御部１４０は、撮像部１３０Ｒ、１３０Ｌから出力される右画像信号および左画像信号で生成される画像のコントラストが増す方向に焦点調節動作が行われるよう、フォーカシング制御部１３６に制御信号を出力する。
【００８５】
Ｓ５２０においてシステム制御部１４０は、立体画像を表示部１５２に表示するように信号処理部１０２に制御信号を出力する。信号処理部１０２は、表示部１５２における立体画像の表示方式に従って表示画像データを生成し、表示制御部１５０に出力する。この処理の結果、１フレーム分のライブビュー画像（立体画像）が表示部１５２に表示される。
【００８６】
上述した表示画像データを信号処理部１０２で生成するにあたり、Ｓ５１４で表示視差量を調節する（表示視差量変化速度を抑制する）決定がなされた場合には、Ｓ５１６で生成された、注目被写体の画像の表示視差量を調節した右画像データおよび左画像データが用いられる。一方、Ｓ５２６で表示視差量を調節しない決定がなされた場合には、Ｓ５０４の処理で取得された右画像データおよび左画像データが用いられる。
【００８７】
Ｓ５２２においてシステム制御部１４０は、Ｓ５２０の処理で表示部１５２に表示された立体画像の表示視差量をメモリ１５８に記録する。Ｓ５２４では、ライブビュー表示動作（動画像撮影が行われているときには動画像撮影動作）を継続するか否かの判定がなされ、この判定が肯定される間は上述した処理が継続して行われて表示部１５２に表示されるライブビュー画像が更新される。Ｓ５２４の判定が否定されると、システム制御部１４０は図５に示す一連の処理を完了し、ライブビュー表示動作を停止する。
【００８８】
以上のように、第１の実施の形態に係る立体画像撮影装置によれば、ライブビュー表示される立体画像中で、注目被写体の部分の表示視差量が必要に応じて調節される（表示視差量変化速度が抑制される）ので、ライブビュー画像を観視するユーザの疲労感を抑制可能となる。また、動画像撮影モード、静止画像撮影モードや、シーンモードで選択されている撮影シーン、あるいはシーン判別モードで自動判別された撮影シーン等に応じて、ライブビュー表示される立体画像中の注目被写体の表示視差量を調節する際の視差量パラメータが変更されるので、使用状況に適した奥行き感の立体画像を表示することが可能となる。
【００８９】
− 第２の実施の形態 −
図６は、本発明の第２の実施の形態に係る立体画像撮影装置としてのデジタルカメラ１００Ａの概略的構成を説明するブロック図である。図１に示される第１の実施の形態のデジタルカメラ１００と同様の構成要素には同じ符号を付してその説明を省略し、第１の実施の形態との差異を中心に説明をする。
【００９０】
図１に示されるデジタルカメラ１００が双眼タイプの撮影光学系１３８Ｒ、１３８Ｌを備えるのに対して、デジタルカメラ１００Ａは単眼タイプの撮影光学系１３８を備える点が大きな違いである。デジタルカメラ１００Ａでは、１フレーム分の撮影動作に対応して一つの画像データのみが得られる。そして、後で詳述するように、撮影シーン中に写る様々な被写体の、デジタルカメラ１００Ａからの距離の分布（これをデプスマップと称する）を得て、得られた距離の分布に対応して被写体ごとに異なる表示視差量を付与した立体画像データを合成によって生成する。
【００９１】
測距部２００は、撮影光学系１３８によって捉えられる画角内（撮影範囲内）において、各被写体とデジタルカメラ１００Ａとの間の距離の分布を検出可能に構成される。本実施の形態において、測距部２００がＴＴＬ式の位相差検出装置を用いるものである例について説明する。ＴＴＬ式の位相差検出装置は、撮影光学系１３８内の異なる瞳位置を透過した被写体光を、反射光学系、コンデンサレンズ、セパレータレンズ等を介してＡＦ素子上に導き、ＡＦ素子上に形成される像のずれ（位相差）をもとに、予定焦点面に対するピントずれ量（デフォーカス量）を検出する装置である。あるいは、撮像素子上の受光エリア内に位相差検出画素を埋め込んだものを用い、上述した反射光学系、コンデンサレンズ、セパレータレンズ等を省略したものとすることも可能である。
【００９２】
ＴＴＬ式の位相差検出装置で検出された上記デフォーカス量と、撮影光学系１３８の焦点距離情報と、撮影光学系１３８のレンズ位置情報とから、被写体がデジタルカメラ１００Ａからどれくらいの距離に位置するかを導出可能である。ここで、レンズ位置情報とは、撮影光学系１３８内のフォーカシングレンズの、無限遠に焦点が合う位置からの移動量に関する情報である。このレンズ位置情報は、焦点距離情報とともに撮影光学系１３８から得ることができるものとする。
【００９３】
例えば、撮影光学系１３８の焦点距離が５０ｍｍで、現状で撮影光学系１３８は２ｍの撮影距離にピントが合う位置にフォーカシングレンズが位置し、このときのデフォーカス量が後ピン側に０．２ｍｍである、といった情報が得られれば、画面内のデフォーカス検出エリア内に位置する被写体とデジタルカメラ１００Ａとの間の実際の距離を導出することが可能である。このとき、上記セパレータレンズやＡＦ素子を、撮影範囲内の複数の点でデフォーカス量を検出可能に構成することにより、撮影光学系１３８によって捉えられる画角内における各被写体とデジタルカメラ１００Ａとの間の距離（以下では「各被写体までの距離」と表現する）の分布を導出することができる。
【００９４】
図７には、撮影光学系１３８によって画定される撮影範囲Ｆ内においてデフォーカス量を検出可能なフォーカスポイントＤの配置例を示す。図７では、３１個のフォーカスポイントでデフォーカス量を検出可能な例が示されるが、一つのフォーカスポイントのみに符号Ｄが付されている。つまり、図７の例では撮影光学系１３８によって捉えられる撮影範囲内の３１個のフォーカスポイントで各被写体までの距離の分布を得ることができる。無論、デフォーカス量を検出可能なフォーカスポイントの数およびその配置については、様々に変更可能である。デプスマップを生成する際、フォーカスポイントＤの存在しない領域では補間や外挿の処理等によって被写体までの距離を推定することが可能である。
【００９５】
測距部２００は、外部測距装置として構成されていてもよい。例えば、撮影光学系１３８によって捉えられる撮影範囲に対応する被写界を赤外ビーム等で面状にスキャンし、そのときに反射光を検出して、撮影範囲内における各被写体までの距離の分布、すなわちデプスマップを得ることができる。また、光を用いずに、超音波を出射し、その反射波をセンサで検出することにより、あるいはミリ波レーダ等によって、各被写体までの距離の分布を得ることも可能である。
【００９６】
撮影光学系１３８は、変倍光学系を備えて焦点距離を変更可能に構成されていても、単焦点レンズとして構成されていてもよい。撮影光学系１３８はまた、デジタルカメラ１００Ａに対して着脱可能に構成されていても、固定されていてもよい。撮像部１３０は、図１を参照して説明した撮像部１３０Ｒまたは１３０Ｌと同様の構成を有する。同じく、撮像制御部１３２も撮像制御部１３２Ｒまたは１３２Ｌと同様の構成を有する。撮影光学系制御部１３４Ａは、一つの撮影光学系１３８の焦点調節動作、絞り調節動作、焦点距離変更動作を制御する以外は第１の実施の形態の撮影光学系制御部１３４と同様である。フォーカシング制御部１３６Ａも、一つの撮影光学系１３８の焦点調節機構を駆動する以外、第１の実施の形態のフォーカシング制御部１３６と同様である。
【００９７】
信号処理部１０２Ａは、第１の実施の形態で説明した信号処理部１０２の視差量導出部１０４が視差量導出部１０４Ａに、焦点検出部１１０が焦点検出部１１０Ａに置き換えられ、視差画像生成部２０２をさらに備える点が信号処理部１０２と異なる。
【００９８】
第１の実施の形態において視差量導出部１０４は、撮像部１３０Ｒ、１３０Ｌから出力される右画像信号、左画像信号をもとに生成された右画像データおよび左画像データをもとに視差量を導出するものとして説明した。これに対し、第２の実施の形態における視差量導出部１０４Ａは、図７に示す撮影範囲Ｆ内の複数のフォーカスポイントＤに対応して測距部２００から得られる各被写体までの距離の情報に基づき、各フォーカスポイントに対応する視差量（実視差量）を導出する。
【００９９】
焦点検出部１１０Ａは、測距部２００において各フォーカスポイントＤに対応して検出されたデフォーカス量をもとに撮影光学系１３８の焦点調節状態を検出する。
【０１００】
視差画像生成部２０２は、撮像部１３０から出力された画像信号を処理して得られた画像データを、視差量導出部１０４において各フォーカスポイントＤに対応して（あるいはデプスマップに対応して）導出された実視差量をもとに、視差画像を生成する。すなわち、視差画像生成部２０２は、画像内の各被写体像に対して、視差量導出部１０４で導出された視差量が付与されるように右画像データおよび左画像データを生成する。
【０１０１】
以上が第１の実施の形態のデジタルカメラ１００との違いである。すなわち、デジタルカメラ１００が双眼タイプの撮影光学系によって右画像、左画像を得ているのに対して、第２の実施の形態のデジタルカメラ１００Ａは、単眼の撮影光学系によって得られた、いわば２Ｄの画像データから合成によって右画像データおよび左画像データ、すなわち３Ｄの画像データを生成する。
【０１０２】
図８は、撮影動作時にデジタルカメラ１００Ａ内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図８のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１０３】
図５に示すフローチャート中、１フレーム分の右画像データおよび左画像データを取得する処理を信号処理部１０２に行わせる処理ステップであるＳ５０４の処理ステップが、図８のフローチャートではＳ８００の処理ステップに置き換えられている。また、図５に示すフローチャート中、撮影して得られた右画像、左画像をもとに注目被写体の実視差量を導出する処理を信号処理部１０２に行わせるＳ５０８の処理ステップが図８のフローチャートではＳ８０２の処理ステップに置き換えられている。
【０１０４】
システム制御部１４０はＳ８００において、１フレーム分の２Ｄ画像データを取得する処理を行うように信号処理部１０２Ａに制御信号を出力する。システム制御部１４０はまた、測距部２００から得られた各被写体までの距離の情報をもとに、画面内の各被写体までの距離に対応した視差が付与された右画像データおよび左画像データを生成する処理を行うように、信号処理部１０２に制御信号を出力する。
【０１０５】
Ｓ５０６の注目被写体検出処理は、例えば、図７に示される３１個のフォーカスポイントＤ中、所定の焦点調節アルゴリズムに従って選択されたフォーカスポイントおよびその周辺に写る被写体を注目被写体とする処理とすることが可能である。複数のフォーカスポイントの中からいずれかを自動選択するアルゴリズムとしては、最も近距離に位置する被写体が存在するエリア、最も遠距離に位置する被写体が存在するエリア、中間の距離に位置する被写体が存在するエリアを選択する方法等がある。あるいは、複数のフォーカスポイントの中からユーザが操作部１２２を操作して選択した一または複数のフォーカスポイントおよびその周辺に写る被写体を注目被写体とする処理とすることも可能である。
【０１０６】
システム制御部１４０はＳ８０２において、視差量導出部１０４Ａで導出された、各フォーカスポイントＤに対応する実視差量中、注目被写体の実視差量を抽出してメモリ１５８に一時的に記録する。
【０１０７】
Ｓ５１２での判定が肯定されてＳ５１４において表示視差量を調節するとの決定がなされた場合には、Ｓ５０２で設定された視差量パラメータに基づいて注目被写体の部分の表示視差量を調節した（注目被写体の表示視差量変化速度を抑制した）右画像データおよび左画像データがＳ５１６で生成される。そしてＳ５２０において、この右画像データおよび左画像データを用いて立体画像表示処理が行われる。
【０１０８】
あるいは、Ｓ５１２での判定が否定された場合の分岐先であるＳ５２６において表示視差量を調節しないとの決定がなされた場合には、Ｓ８００で生成された右画像データおよび左画像データを用いての立体画像表示処理がＳ５２０で行われる。
【０１０９】
以上では、Ｓ５１４において表示視差量を調節するとの決定がなされた場合に、Ｓ８００で一旦生成された右画像データおよび左画像データに処理が加えられる例について説明した。これに関して、Ｓ８００における右画像データおよび左画像データを生成する処理を省いてもよい。そして、Ｓ５１４、Ｓ５２６での決定の後に右画像データおよび左画像データを生成する処理を行うようにしてもよい。
【０１１０】
すなわち、Ｓ５１４で表示視差量を調節するとの決定がなされた場合には、Ｓ８００で取得した２Ｄ画像データと、視差量導出部１０４Ａで導出された各フォーカスポイントＤに対応する実視差量、そしてＳ５０２で設定された視差量パラメータに基づいて右画像データおよび左画像データを生成すればよい。この場合、注目被写体の部分の表示視差量を調節した右画像データおよび左画像データが得られる。一方、Ｓ５２６で表示視差量を調節しないとの決定がなされた場合には、Ｓ８００で取得した２Ｄ画像データと、視差量導出部１０４Ａで導出された各フォーカスポイントＤに対応する実視差量とに基づいて右画像データおよび左画像データを生成すればよい。
【０１１１】
ところで、第２の実施の形態においては、測距部２００から得られた各被写体までの距離の情報に基づいて視差量を求める例について説明した。このとき、第１の実施の形態でも説明したように、撮影光学系１３８の変倍動作や、いわゆる電子ズーム等を行って撮影倍率を変化させた場合にも視差量は変化する。したがって、第２の実施の形態においては、撮影光学系１３８の焦点距離情報（電子ズーム等が行われる場合には等価の焦点距離情報）と、測距部２００から得られる各被写体までの距離の情報とに基づいて実視差を導出することが望ましい。
【０１１２】
以上に説明した第２の実施の形態によれば、測距部２００から得られる各被写体までの距離の情報（デプスマップ）に基づいて実視差量を得ることが可能であるので、単眼の撮影光学系によって得られた２Ｄ画像データから立体画像データを得ることが可能となる。この場合、画像ファイルを生成して保存する際に、各被写体までの距離の情報をメタデータとして画像データに付加することも可能である。そして、この画像データファイルをもとにパーソナルコンピュータ（ＰＣ）等で再生表示を行う場合、以下のように再生表示をすることが可能である。
【０１１３】
３Ｄ表示に対応していないＰＣで画像を再生表示する場合、メタデータ中の上記距離の情報は無視されて通常の２Ｄ表示が行われる。３Ｄ表示に対応しているＰＣ上で再生表示を行う場合、画像ファイルに付加されるメタデータをもとにして右画像データ、左画像データを生成することが可能である。これらの右画像データ、左画像データに基づき、ＰＣの表示装置の立体画像表示方式に対応した立体画像データが生成され、３Ｄ表示が行われる。ＰＣ上で再生表示される画像は静止画であっても動画であってもよい。動画が生成表示される場合には図８のフローチャートを参照して説明した処理と同様の処理を行い、表示視差量変化速度を調節することも可能である。
【０１１４】
以上に説明したように、第２の実施の形態に係るデジタルカメラ１００Ａにおいても、ライブビュー画像を観視するユーザの疲労感を抑制可能となる。また、動画像撮影モード、静止画像撮影モードや、シーンモードで選択されている撮影シーン、あるいはシーン判別モードで自動判別された撮影シーン等に応じて、ライブビュー表示される立体画像中の注目被写体の表示視差量を調節する際の視差量パラメータが変更されるので、使用状況に適した奥行き感の立体画像を表示することが可能となる。
【０１１５】
− 第３の実施の形態 −
第１の実施の形態でも説明したが、表示視差量が増加する場合に比して減少する場合の方がユーザの疲労感は少ないことが知られている。そこで、第３の実施の形態においては、図１に示される構成を有するデジタルカメラ１００において、表示されている立体画像の表示視差量の増加速度が所定の閾値を越す場合にのみ、視差量を調節する例を説明する。
【０１１６】
図９は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図９のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１１７】
図５および図９に示されるフローチャートの相違点は、図９のフローチャート中、Ｓ５１０とＳ５１２との間にＳ９００の処理が挿入される点である。Ｓ５０４で取得した１フレーム分の右画像データおよび左画像データをもとに、Ｓ５０８の処理により、注目被写体の実視差量が導出、記録される。
【０１１８】
Ｓ５１０では、現フレームの実視差量と一つ前のフレームの表示視差量との比較が行われる。現フレームの実視差量は、Ｓ５０８で導出された、注目被写体の実視差量である。一つ前のフレームの表示視差量は、一つ前のフレームにおける注目被写体の表示視差量である。Ｓ９００では、Ｓ５１０での比較結果に基づき、現フレームの注目被写体の実視差量が、一つ前のフレームにおける注目被写体の表示視差量を超しているか否かが判定される。すなわち、現フレームの実視差量で立体画像を表示した場合に、注目被写体の像が一つ前のフレームでの表示状態に比して、画面手前側により突出して見えるか否かの判定がＳ９００で行われる。
【０１１９】
Ｓ９００の判定が肯定された場合、すなわち現フレームの実視差量で立体画像を表示した場合に、一つ前のフレームでの表示状態に比して、注目被写体の表示視差量が増加し、画面手前側に、より突出して見えるようになると判定された場合には、処理はＳ５１２に進む。一方、Ｓ９００の判定が否定された場合、すなわち、現フレームの実視差量で立体画像を表示した場合に、表示視差量は変化しない、もしくは、減少すると判定された場合、処理はＳ５２６に分岐する。
【０１２０】
Ｓ５１０とＳ５１２との間に上述したＳ９００の処理が挿入されることにより、注目被写体の表示視差量が減少する（立体画像中で注目被写体が画面奥側に向かって遠ざかるように見える）ときには、表示視差量変化速度によらず表示視差量を調節する処理（表示視差量変化速度を抑制する処理）がスキップされる。一方、注目被写体の表示視差量が増加（立体画像中で注目被写体が近寄ってきて突出感が増す）ときには、第１の実施の形態で説明したのと同様の処理が行われる。その結果、注目被写体表示視差量が増す（注目被写体が近づいてくる）場合において、その表示視差量変化速度が所定の閾値を越す場合には、注目被写体の画像の表示視差量が調節されて表示視差量変化速度が抑制される。その結果、立体画像を観視するユーザの疲労感を抑制することが可能となる。
【０１２１】
Ｓ９００の判定処理により、注目被写体の表示視差量が一つ前のフレームと同じ、もしくは減少する場合に表示視差量を調節する処理がスキップされることにより、以下の効果を得ることが可能となる。一つは、信号処理部１０２の処理負荷の低減が可能となり、それに伴い、電力の消費量を抑制可能となる点である。もう一つは、注目被写体が急に遠ざかる場合には立体表示される画像中の注目被写体の像も急に遠ざかる（画面奥側に向かって後退する）ように見えるので、表示される立体画像の奥行き感を強調できる点である。
【０１２２】
以上、第３の実施の形態で説明した処理、すなわち、表示視差量が減少する場合には表示視差量の変化量によらず、表示視差量を調節するのをスキップすることは、他の実施の形態のデジタルカメラでも行うことが可能である。
【０１２３】
− 第４の実施の形態 −
第４の実施の形態においては、図１に示される構成を有するデジタルカメラ１００と同様、時間の経過とともに注目被写体の表示視差量が増加する場合、減少する場合の双方において、表示視差量変化速度が閾値を越す場合に注目被写体の表示視差量を調節する。第１の実施の形態との違いは、第４の実施の形態において、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対するデフォーカス量が予め定められた閾値以上である場合に、注目被写体の表示視差量の変化量の大きさによらず、表示視差量の調節を行わない点である。
【０１２４】
第４の実施の形態において、デジタルカメラ１００は位相差ＡＦの方式で自動焦点調節を行うものとする。このとき、図７に例示されるような、撮影範囲Ｆ内の複数のフォーカスポイントＤで位相差を検出可能に構成されるものとする。また、注目被写体検出部１１６は、第１の実施の形態で説明したＡＦエリア内被写体認識処理、またはユーザ選択被写体認識処理によって注目被写体を検出するものとする。
【０１２５】
図１０は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図１０のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１２６】
図５および図１０に示されるフローチャートの相違点は、Ｓ５１２の処理が削除されてＳ１０００、Ｓ１００２の判定処理がＳ５１０の後に追加されている点である。
【０１２７】
システム制御部１４０はＳ１０００において、注目被写体のデフォーカス量の大きさが閾値１以上であるか否かの判定を行う。すなわち、注目被写体の写る位置にあるフォーカスポイントＤにおいて検出されたデフォーカス量が閾値１以上であるか否かの判定を行う。Ｓ１０００での判定が肯定されるとＳ５２６に進む一方、否定されるとＳ１００２に進む。Ｓ１０００での判定が否定される、すなわち注目被写体のデフォーカス量が閾値１を下回ると判定された場合の分岐先であるＳ１００２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値２を超すか否かを判定する。この判定が肯定されると処理はＳ５１４に進む一方、否定されるとＳ５２６に進む。
【０１２８】
以上のＳ１０００、Ｓ１００２の判定処理により、注目被写体のデフォーカス量の大きさが閾値１を下回り（注目被写体の像は比較的鮮鋭であり）、かつ、注目被写体の表示視差量の変化量が閾値２を上回る（注目被写体の表示視差量の変化速度が比較的大きい）ときに、Ｓ５１４において表示視差量を調節する処理（表示視差量変化速度を抑制する処理）が行われる。また、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）と判定されるときには、注目被写体の表示視差量の大小によらず、表示視差量の調節は行われない。
【０１２９】
上記閾値１、閾値２の値は、デジタルカメラ１００で設定されたモードに応じてＳ５０２で適宜設定することが可能である。閾値１については、撮影光学系１３８Ｒ、１３８Ｌの設定絞り値と、許容錯乱円径との積で求められる焦点深度に基づいて設定することが可能である。
【０１３０】
なお、Ｓ１０００においては、デフォーカス量の絶対値がとられて閾値１と比較されるものとする。すなわち、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態は、いわゆる前ピンである場合も、後ピンである場合もある。Ｓ１０００では、前ピンであるか後ピンであるかによらず、注目被写体のデフォーカス量の絶対値がとられて閾値１と比較される。この点、前ピンであるか、後ピンであるかに応じて異なる閾値が設定されてもよい。
【０１３１】
図１１は、図１０に示されるフローチャートの処理が行われているときの、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図である。図１１（ａ）が注目被写体に対する焦点調節状態の時間経過に伴う変化の様子を、図１１（ｂ）が注目被写体の表示視差量の時間経過に伴う変化の様子を示す。図１１（ｂ）には、表示視差量の変化が比較的大きい場合（曲線ｐ１）と、比較的小さい場合（曲線ｐ２）とが示されている。
【０１３２】
説明の前提として、タイミングｔ０で撮影シーンが急に変わったものとする。そして、撮影シーンの変化に伴い、注目被写体は別のものに切り替わって、デフォーカス量がｄ１に増加したものとする。
【０１３３】
まず、図１１（ａ）と、図１１（ｂ）の曲線ｐ１とを参照して説明をする。曲線ｐ１で示される注目被写体の表示視差量の変化速度は、表示視差量の調整をする前の状態では閾値２を上回っているものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。この時点における表示視差量の変化量は閾値２を上回っているので、表示視差量の調節（表示視差量変化速度の抑制）が行われるようになる。その後、タイミングｔ２で合焦動作は完了する。その後も表示視差量の調節を伴う表示更新が行われ、タイミングｔ３で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。
【０１３４】
次に、図１１（ａ）と図１１（ｂ）の曲線ｐ２とを参照して説明をする。曲線ｐ２で示される注目被写体の表示視差量の変化速度は閾値２以下であるものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。しかし、表示視差量の変化量は閾値２以下であるので、表示視差量の調節は行われない。その後、タイミングｔ２で合焦動作は完了する。また、このタイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。なお、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１３５】
以上に説明した第４の実施の形態によれば、注目被写体がデジタルカメラ１００に対して急に近づき、あるいは急に遠ざかって表示視差量の変化量が比較的大きくなる状況であっても、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）ときには、注目被写体の表示視差量の大小によらず、表示視差量の調節は行われない。被写体像が比較的大きくぼけている状況では、表示視差量の変化量が比較的大きくても、それを観視する人の眼は疲れにくいからである。一方、注目被写体のデフォーカス量が閾値１を下回り（注目被写体の像は比較的鮮鋭である）、かつ注目被写体の表示視差量の変化量が閾値２を超す状況では表示視差量の調節（表示視差量変化速度の抑制）が行われ、立体画像を観視する人の眼の疲れが抑制される。
【０１３６】
なお、第１の実施の形態でも説明したように、デジタルカメラ１００と注目被写体との間の距離が変わらない状態で撮影光学系１３８Ｒ、１３８Ｌの変倍操作（電子ズーム操作）が行われたときにも、表示視差量の変化を生じる。また、注目被写体に合焦していない状態で変倍操作が行われると、注目被写体に対するデフォーカス量は設定焦点距離の二乗に略比例するかたちで変化する。そのような状況においても、図１０に示される処理は有効に作用する。
【０１３７】
注目被写体の像が比較的大きくぼけているときに表示視差量の調節をしないようにすることにより、信号処理部１０２の処理負荷を減じて消費電力を低減することが可能となる。
【０１３８】
− 第５の実施の形態 −
図１２は、本発明の第５の実施の形態に係るデジタルカメラ１００Ｂの構成を説明するブロック図である。図１に示される第１の実施の形態のデジタルカメラ１００との比較において、図１２に示されるデジタルカメラ１００Ｂの信号処理部がフォーカシング速度調節部１１８をさらに備える点が相違する。図１２において、図１に示される第１の実施の形態のデジタルカメラ１００と同様の構成要素には同じ符号を付してその説明を省略し、第１の実施の形態との差異を中心に説明をする。
【０１３９】
デジタルカメラ１００Ｂは、第２の実施の形態で図６を参照して説明したような、単眼タイプの撮影光学系１３８と測距部２００とを備えるものであってもよいが、ここでは第１の実施の形態と同様、双眼タイプの撮影光学系１３８Ｒ、１３８Ｌを備えるものとして説明する。
【０１４０】
デジタルカメラ１００Ｂは、位相差ＡＦの方式で自動焦点調節を行うものとする。そして、図７に例示されるような、撮影範囲Ｆ内の複数のフォーカスポイントＤで位相差を検出可能に構成されるものとする。また、注目被写体検出部１１６は、第１の実施の形態で説明したＡＦエリア内被写体認識処理、またはユーザ選択被写体認識処理によって注目被写体を検出するものとする。
【０１４１】
フォーカシング速度調節部１１８は、フォーカシング制御部１３６が撮影光学系１３８Ｒ、１３８Ｌ内の焦点調節機構を駆動して合焦動作を行う際の合焦速度を必要に応じて調節する。フォーカシング速度調節部１１８は、以下の説明で明らかになるように、注目被写体に対するデフォーカス量の大きさと、注目被写体の表示視差量の変化量の大きさとに基づいて合焦速度を調節する。
【０１４２】
図１３は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図１３のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１４３】
図５および図１３に示されるフローチャートの相違点は、図５のフローチャートにおけるＳ５１２、Ｓ５１４、Ｓ５２６の処理が省かれて、Ｓ１３００、Ｓ１３０２、Ｓ１３０４、Ｓ１３０６の処理がＳ５１０の後に追加されている点と、図５のフローチャートにおけるＳ５０２の処理がＳ１３１０の処理に置き換えられている点である。
【０１４４】
Ｓ５００の判定が肯定された場合の分岐先であるＳ１３１０においてシステム制御部１４０は、変更されたモードに応じて焦点調節パラメータを設定する。この焦点調節パラメータには、以下で説明する閾値１や閾値２、そして注目被写体に対して焦点調節を行う際に焦点調節速度を調節して減速する際の調節量等に関するものを含む。
【０１４５】
システム制御部１４０はＳ１３００において、注目被写体のデフォーカス量の大きさが閾値１以上であるか否かの判定を行う。すなわち、注目被写体の写る位置にあるフォーカスポイントＤにおいて検出されたデフォーカス量が閾値１以上であるか否かの判定を行う。Ｓ１３００での判定が肯定されるとＳ１３０６に進む一方、否定されるとＳ１３０２に進む。Ｓ１３００での判定が否定される、すなわち注目被写体のデフォーカス量が閾値１を下回ると判定された場合の分岐先であるＳ１３０２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値２を超すか否かを判定する。この判定が肯定されると処理はＳ１３０４に進む一方、否定されるとＳ１３０６に進む。
【０１４６】
以上のＳ１３００、Ｓ１３０２、Ｓ１３０４、Ｓ１３０６の処理により、注目被写体のデフォーカス量の大きさが閾値１を下回り（注目被写体の像は比較的鮮鋭であり）、かつ、注目被写体の表示視差量の変化量が閾値２を上回る（注目被写体の表示視差量の変化速度が比較的大きい）ときに、Ｓ１３０４において注目被写体に対する焦点調節の速度を調節する（焦点調節速度を減じる）決定がなされる。注目被写体のデフォーカス量の大きさが閾値１を下回っていても、注目被写体の表示視差量の変化量が閾値２以下（Ｓ１３０２：いいえ）の場合には、Ｓ１３０６において注目被写体に対する焦点調節の速度を調節しない決定がなされる。また、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）と判定されるときには、注目被写体の表示視差量の大小によらず、Ｓ１３０６で注目被写体に対する焦点調節の速度を調節しない決定がなされる。
【０１４７】
上記閾値１、閾値２の値は、デジタルカメラ１００で設定されたモードに応じてＳ１３１０で設定することが可能である。閾値１については、デジタルカメラ１００Ｂで設定されているモードだけではなく、撮影光学系１３８Ｒ、１３８Ｌの設定絞り値と、許容錯乱円径との積で求められる焦点深度に基づいて設定することも可能である。
【０１４８】
Ｓ１３００においては、デフォーカス量の絶対値がとられて閾値１と比較されるものとする。すなわち、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態は、いわゆる前ピンである場合も、後ピンである場合もある。Ｓ１３００では、前ピンであるか後ピンであるかによらず、注目被写体のデフォーカス量の絶対値がとられて閾値１と比較される。この点、前ピンであるか、後ピンであるかに応じて異なる閾値が設定されてもよい。
【０１４９】
図１４は、図１３に示されるフローチャートの処理が行われているときの、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図である。図１４（ａ）が注目被写体に対する焦点調節状態の時間経過に伴う変化の様子を、図１４（ｂ）が注目被写体の表示視差量の時間経過に伴う変化の様子を示す。図１４（ａ）には、焦点調節速度の調節が行われる場合（曲線ｄ１）と、行われない場合（曲線ｄ２）とが示されている。図１４（ｂ）には、表示視差量の変化が比較的大きい場合（曲線ｐ３）と、比較的小さい場合（曲線ｐ４）とが示されている。
【０１５０】
説明の前提として、タイミングｔ０で撮影シーンが急に変わったものとする。そして、撮影シーンの変化に伴い、注目被写体は別のものに切り替わって、デフォーカス量がｄ１に増加したものとする。
【０１５１】
まず、図１４（ａ）の曲線ｄ１と、図１４（ｂ）の曲線ｐ３とを参照して説明をする。曲線ｐ３で示される注目被写体の表示視差量の変化速度は閾値２を上回っているものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、焦点調節速度の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。このとき、表示視差量の変化量は閾値２を上回っているので、焦点調節速度の調節（焦点調節速度を減じること）が行われるようになる。その後、タイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。そして、タイミングｔ３で合焦動作は完了する。
【０１５２】
次に、図１４（ａ）の曲線ｄ２と図１４（ｂ）の曲線ｐ４とを参照して説明をする。曲線ｐ４で示される注目被写体の表示視差量の変化速度は閾値２以下であるものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。しかし、表示視差量の変化量は閾値２以下であるので、焦点調節速度の調節は行われない。その後、タイミングｔ２で合焦動作が完了する。また、このタイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。なお、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１５３】
以上に説明した第５の実施の形態によれば、注目被写体がデジタルカメラ１００Ｂに対して急に近づき、あるいは急に遠ざかって表示視差量の変化量が比較的大きくなる状況であっても、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）ときには、注目被写体の表示視差量の大小によらず、焦点調節速度の調節（減速）は行われない。したがって、比較的高速の合焦動作を行うことが可能となる。被写体像が比較的大きくぼけている状況では、表示視差量の変化量が比較的大きくても、それを観視する人の眼は疲れにくいので、上述したような焦点調節動作を行うことが可能となる。
【０１５４】
一方、注目被写体のデフォーカス量が閾値１を下回り（注目被写体の像は比較的鮮鋭である）、かつ注目被写体の表示視差量の変化量が閾値２を超す状況では、焦点調節速度の調節（減速）が行われる。その結果、表示視差量の変化の大きさが比較的大きいものの、像のぼけが比較的大きい状態で立体画像の表示更新が行われることになる。表示視差量変化速度が比較的大きくても、表示される像がぼけていれば、立体画像を観視する人は眼の疲れを感じにくくなる。その後、表示される立体画像は、デフォーカス量が徐々に減少するのにつれて鮮鋭なものへと徐々に変化するので、立体画像を観視する人は眼の疲れを感じにくくなる。
【０１５５】
第５の実施の形態においても、第４の実施の形態で説明したのと同様に、デジタルカメラ１００と注目被写体との間の距離が変わらない状態で撮影光学系１３８Ｒ、１３８Ｌの変倍操作（電子ズーム操作）が行われたときにも、表示視差量の変化を生じる。また、注目被写体に合焦していない状態で変倍操作が行われても、注目被写体に対するデフォーカス量は設定焦点距離の二乗に略比例するかたちで変化する。そのような状況においても、図１３に示される処理は有効に作用する。
【０１５６】
第５の実施の形態によれば、以上に説明した効果を得ることができるのに加えて、以下の効果も得ることができる。すなわち、立体画像を観視する人の眼の疲れを抑制するために、焦点調節速度を調節する処理のみが行われ、画像処理による表示視差量の変化量を抑制する処理は行われないので、信号処理部１０２Ｂの処理負荷を減じることが可能となる。したがって、ハードウェアの規模の縮小や、消費電力を抑制することが可能となる。
【０１５７】
− 第６の実施の形態 −
第６の実施の形態においては、図１２に示される構成を有するデジタルカメラ１００Ｂにおいて、注目被写体に対する現状のデフォーカス量が第１の閾値を下回り、かつ、注目被写体の表示視差量の変化の大きさが第２の閾値を超す場合に焦点調節速度および表示視差量の双方を調節する例を説明する。
【０１５８】
第６の実施の形態においても、デジタルカメラ１００Ｂは、位相差ＡＦの方式で自動焦点調節を行うものとする。そして、図７に例示されるような、撮影範囲Ｆ内の複数のフォーカスポイントＤで位相差を検出可能に構成されるものとする。また、注目被写体検出部１１６は、第１の実施の形態で説明したＡＦエリア内被写体認識処理、またはユーザ選択被写体認識処理によって注目被写体を検出するものとする。
【０１５９】
図１５は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図１５のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１６０】
図５および図１５に示されるフローチャートの相違点は、図５のフローチャートにおけるＳ５１２の処理が省かれて、Ｓ１５００、Ｓ１５０２、Ｓ１５０４、Ｓ１５０６の処理がＳ５１０の後に追加されている点と、図５のフローチャートにおけるＳ５０２の処理がＳ１５１０の処理に置き換えられている点である。
【０１６１】
Ｓ５００の判定が肯定された場合の分岐先であるＳ１５１０においてシステム制御部１４０は、変更されたモードに応じて焦点調節パラメータおよび視差量パラメータを設定する。この焦点調節パラメータおよび視差量パラメータには、以下で説明する閾値１や閾値２、そして注目被写体に対して焦点調節を行う際に焦点調節速度を調節して減速する際の調節量、注目被写体表示視差量変化速度を調節して抑制する際の調節量等に関するものを含む。
【０１６２】
システム制御部１４０はＳ１５００において、注目被写体のデフォーカス量の大きさが閾値１以上であるか否かの判定を行う。すなわち、注目被写体の写る位置にあるフォーカスポイントＤにおいて検出されたデフォーカス量が閾値１以上であるか否かの判定を行う。Ｓ１５００での判定が肯定されるとＳ１５０６に進む一方、否定されるとＳ１５０２に進む。Ｓ１５００での判定が否定される、すなわち注目被写体のデフォーカス量が閾値１を下回ると判定された場合の分岐先であるＳ１５０２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値２を超すか否かを判定する。この判定が肯定されると処理はＳ１５０４に進む一方、否定されるとＳ１５０６に進む。
【０１６３】
以上のＳ１５００、Ｓ１５０２、Ｓ１５０４、Ｓ１５０６の処理により、注目被写体のデフォーカス量の大きさが閾値１を下回り（注目被写体の像は比較的鮮鋭であり）、かつ、注目被写体の表示視差量の変化量が閾値２を上回る（注目被写体の表示視差量の変化速度が比較的大きい）ときに、Ｓ１５０４において注目被写体に対する焦点調節の速度を調節する（減じる）決定がなされ、続くＳ５１４で注目被写体の表示視差量を調節する決定がなされる。注目被写体のデフォーカス量の大きさが閾値１を下回っていても、注目被写体の表示視差量の変化量が閾値２以下（Ｓ１５０２：いいえ）の場合には、Ｓ１５０６において注目被写体に対する焦点調節の速度を調節しない決定がなされ、続くＳ５２４において注目被写体の表示視差量を調節しない決定がなされる。また、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）と判定されるときには、注目被写体の表示視差量の大小によらず、Ｓ１５０６で注目被写体に対する焦点調節の速度を調節しない決定がなされ、続くＳ５２４において注目被写体の表示視差量を調節しない決定がなされる。
【０１６４】
上記閾値１、閾値２の値は、デジタルカメラ１００で設定されたモードに応じてＳ１５１０で適宜設定することが可能である。閾値１については、デジタルカメラ１００Ｂで設定されているモードだけではなく、撮影光学系１３８Ｒ、１３８Ｌの設定絞り値と、許容錯乱円径との積で求められる焦点深度に基づいて設定することも可能である。
【０１６５】
Ｓ１５００においては、第５の実施の形態で説明したのと同様、デフォーカス量の絶対値がとられて閾値１と比較されるものとする。また、前ピンであるか、後ピンであるかに応じて異なる閾値が設定されてもよいのも、第５の実施の形態で説明したのと同様である。
【０１６６】
図１６は、図１５に示されるフローチャートの処理が行われているときの、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図である。図１６（ａ）が注目被写体に対する焦点調節状態の時間経過に伴う変化の様子を、図１６（ｂ）が注目被写体の表示視差量の時間経過に伴う変化の様子を示す。図１６（ａ）には、焦点調節速度の調節が行われる場合（曲線ｄ３）と、行われない場合（曲線ｄ４）とが示されている。図１６（ｂ）には、注目被写体の表示視差量の変化が比較的大きく、注目被写体の表示視差量の調節が行われる場合（曲線ｐ５）と、注目被写体の表示視差量が比較的小さく、注目被写体の表示視差量の調節が行われない場合（曲線ｐ６）とが示されている。
【０１６７】
説明の前提として、タイミングｔ０で撮影シーンが急に変わったものとする。そして、撮影シーンの変化に伴い、注目被写体は別のものに切り替わって、デフォーカス量がｄ１に増加したものとする。
【０１６８】
まず、図１６（ａ）の曲線ｄ３と、図１６（ｂ）の曲線ｐ５とを参照して説明をする。曲線ｐ５で示される注目被写体の表示視差量の変化速度は、調節をしない状態では閾値２を上回っているものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、焦点調節速度の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。このとき、表示視差量の変化量は閾値２を上回っているので、注目被写体に対する焦点調節の速度の調節（焦点調節速度の減速）が行われるようになる。このとき、注目被写体の表示視差量の調節も併せて行われる。その後、タイミングｔ３で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。そして、同じタイミングｔ３で合焦動作は完了する。なお、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１６９】
次に、図１６（ａ）の曲線ｄ４と図１６（ｂ）の曲線ｐ６とを参照して説明をする。曲線ｐ６で示される注目被写体の表示視差量の変化速度は閾値２以下であるものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。しかし、表示視差量の変化量は閾値２以下であるので、焦点調節速度の調節は行われない。その後、タイミングｔ２で注目被写体に対する合焦動作が完了する。また、このタイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。この場合も、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１７０】
以上に説明した第６の実施の形態によれば、注目被写体がデジタルカメラ１００Ｂに対して急に近づき、あるいは急に遠ざかって表示視差量の変化量が比較的大きくなる状況であっても、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）ときには、注目被写体の表示視差量の大小によらず、注目被写体の表示視差量の調節や注目被写体に対する焦点調節の速度の調節（減速）は行われない。したがって、より短時間のうちに合焦動作を完了することが可能となる。
【０１７１】
被写体像が比較的大きくぼけている状況では、表示視差量の変化量が比較的大きくても、それを観視する人の眼は疲れにくいので、上述したような焦点調節動作や立体画像の表示更新を行うことが可能となる。一方、注目被写体のデフォーカス量が閾値１を下回り（注目被写体の像は比較的鮮鋭である）、かつ注目被写体の表示視差量の変化量が閾値２を超す状況では注目被写体に対する焦点調節の速度の調節（減速）と、注目被写体の表示視差量の調節（表示視差量変化速度の抑制）とが併行して行われる。その結果、注目被写体の表示視差量の変化の大きさが抑制され、かつ、像の鮮鋭度が比較的ゆっくりと増すように立体画像の表示更新が行われる。そのため、注目被写体とデジタルカメラ１００Ｂとの間の距離が急に変化するような状況であっても、立体画像を観視する人は眼の疲れを感じにくくなる。
【０１７２】
第６の実施の形態においても、第４あるいは第５の実施の形態で説明したのと同様に、デジタルカメラ１００Ｂと注目被写体との間の距離が変わらない状態で撮影光学系１３８Ｒ、１３８Ｌの変倍操作（電子ズーム操作）が行われたときにも、表示視差量の変化を生じる。また、注目被写体に合焦していない状態で変倍操作が行われても、注目被写体に対するデフォーカス量は設定焦点距離の二乗に略比例するかたちで変化する。そのような状況においても、図１５に示される処理は有効に作用する。
【０１７３】
第６の実施の形態によれば、以上に説明した効果を得ることができるのに加えて、以下の効果も得ることができる。すなわち、焦点調節速度を調節する処理と、表示視差量変化速度の抑制処理とが合わせて行われるので、表示される画像の変化をより緩やかにすることが可能となる。そのため、立体画像を観視する人は眼の疲れをより感じにくくなる。例えば、長時間の動画像を撮影する際などに効果を発揮する。
【０１７４】
以上、第１から第６の実施の形態において注目被写体の表示視差量変化速度や注目被写体に対する焦点調節状態（デフォーカス量）が所定の閾値を超す／超さない場合に基づいて、表示視差量変化速度や焦点調節速度を調節する／しないが決定される例について説明した。これらの例において、閾値を多段に設定し、注目被写体の表示視差量変化速度や注目被写体に対する焦点調節速度の調整がきめ細かく設定されるようにしてもよい。さらに、これらの表示視差量変化速度や焦点調節速度を、注目被写体の表示視差量変化速度や注目被写体に対する焦点調節状態に基づいて無段階に（連続的に）、あるいは無段階に近い状態で調節することも可能である。
【０１７５】
第１から第６の実施の形態で説明した立体画像撮影装置は、スチルカメラであってもムービーカメラであってもよい。これらの立体画像撮影装置は、携帯電話や他の可搬型の情報処理装置等に内蔵されるものであってもよい。
【符号の説明】
【０１７６】
１００、１００Ａ、１００Ｂ … デジタルカメラ
１０２、１０２Ａ、１０２Ｂ … 信号処理部
１０４、１０４Ａ … 視差量導出部
１０６ … 視差量パラメータ記憶部
１０８ … 表示視差量調節部
１１０、１１０Ａ … 焦点検出部
１１２ … 露光制御部
１１６ … 注目被写体検出部
１１８ … フォーカシング速度調節部
１２０ … 立体画像データ生成部
１３０、１３０Ｒ、１３０Ｌ … 撮像部
１３２、１３２Ｒ、１３２Ｌ … 撮像制御部
１３４、１３４Ａ … 撮影光学系制御部
１３６、１３６Ａ … フォーカシング制御部
１３８、１３８Ｒ、１３８Ｌ … 撮影光学系
１４０ … システム制御部
１４２ … 操作部
１５０ … 表示制御部
１５２ … 表示部
１５４ … 記録制御部
１５６ … 記録部
２００ … 測距部
２０２ … 視差画像生成部
【技術分野】
【０００１】
本発明は、立体画像撮影装置に関し、さらに詳しくは、ライブビュー画像を立体表示可能な立体画像撮影装置に関する。
【背景技術】
【０００２】
所定の基線長（ステレオベース）で配置された複数の撮影レンズおよび撮像部を備えて、視差のある一組の画像（以下では視差画像と称する）を得ることの可能なデジタルステレオカメラがある。このデジタルステレオカメラは立体表示可能な表示部を備えていて、視差画像を表示部に表示することにより、ユーザは立体的な画像を観視することができる。
【０００３】
立体表示が可能な表示部としては、様々なものが提案されてきている。例えば、右眼用画像、左眼用画像をそれぞれ細かい線状に分割し、それらを表示部上で空間的に交互に表示するものがある。左眼用画像は左眼のみに、右眼用画像は右眼のみに導く必要があるので、左眼用画像表示領域、右眼用画像表示領域の上に、異なる偏光特性を有する線状の偏光フィルタが設けられる。それに対応して左眼用、右眼用で異なる偏光特性を有する眼鏡状のアダプタを通して観ることにより、左眼用画像が左眼のみに、右眼用画像右眼のみに導かれる。右眼用画像、左眼用画像中の視差（画像内に存在する様々な被写体像の相対位置関係の変化）に基づき、その画像を観視したユーザは立体感を知覚する。
【０００４】
また、右眼用画像、左眼用画像を表示部に時間的に交互に表示し、その表示切り替えタイミングと同期して眼鏡状のアダプタに内蔵される液晶シャッタを切り換え、右眼用画像が表示されているときにはその画像が右眼に導かれるように、左眼用画像が表示されているときにはその画像が左眼に導かれるようにするものがある。画像の表示切り替えおよび液晶シャッタの切り替えは、例えば１／６０秒といった比較的短時間の周期で行われるので、立体画像を観視するユーザは右眼用画像、左眼用画像に基づいて立体感を知覚することができる。
【０００５】
あるいは、上述した眼鏡状のアダプタを必要としない、いわゆる裸眼タイプの表示部もある。その例としては、表示部上で、右眼用画像、左眼用画像を細かい縦ストライプ状に分割して空間的に交互に配列して表示し、それらの右眼用画像、左眼用画像をレンチキュラーレンズやパララックスバリア等を用いて右眼、左眼に導くようにしたものがある。上述したいずれの方式においても、ユーザは右眼用画像、左眼用画像を脳内で合成して立体感を知覚する。デジタルステレオカメラ用としては、上述したもののうち、裸眼タイプのものが一般的に用いられる。
【０００６】
ところで、眼前に存在する対象物に人が注目するとき、焦点調節と輻輳角の調節とをほぼ無意識に行う。輻輳角は、左右の眼球をカメラユニットに例えて説明すると、両カメラユニットの撮影光学系の光軸が水平面内で交わる角度に相当する。対象物が遠くにあるときには輻輳角は小さくなり（両カメラの撮影光学系の光軸が平行に近くなり）、近くにあるときには輻輳角は大きくなる。人は、自分からある距離の位置に存在する物体を観たときに、水晶体の焦点調節状態、輻輳角の調節結果、見える対象物の大きさや明瞭度等から、生理学的知覚、心理学的知覚に基づいて立体感を感じると云われている。
【０００７】
一方、表示部に表示される立体画像を観視する場合、その立体画像を観る眼の焦点調節位置は表示部の表面に固定されたままである。表示部に表示された右眼用画像および左眼用画像を観視したとき、左右両眼の網膜上に像（網膜像）が形成され、人は左眼および右眼の網膜像の差（網膜像差）に基づいて立体画像の奥行きを感じる。従って、実世界ではあり得ない感覚の組み合わせで立体感を感じる。つまり、実在の物を観るときとは異なり、眼の焦点は一定の距離に合わせたままで、網膜像差をよりどころとして脳内で画像の合成が行われ、立体感を感じる。これが立体画像を観視する際に生じる違和感のもととなっていることが知られている。時間の経過とともに視差が逐次変化する立体動画像を観視し続けると、脳は次々と変化する網膜像差に対応して画像を合成する必要があり、視差の変化する立体画像を長時間にわたり観視し続けると疲労感を覚えることが知られている。
【０００８】
特許文献１には、その従来技術として、二次元表示から三次元表示、または三次元表示から二次元表示に切り換える際に、トランジション処理（画像を徐々に切り換える処理）によって上述した違和感を減じることができることが開示されている。しかし、トランジション処理を用いて表示を切り換えると、特に二次元表示から三次元表示に切り換えられたときに、現在の表示が三次元表示であるという観察者の認識が欠如する点が問題点として挙げられている。
【０００９】
この問題点を解決するため、特許文献１では、三次元画像を表示する際に、三次元画像のうち視差量が小さい部分から視差量が大きい部分に向かって順に、モニタに与える三次元画像の情報を追加してゆく技術が開示されている。この技術によれば、モニタに表示される三次元画像を徐々に完成させてゆくことが可能となる。
【００１０】
特許文献２には、立体動画像の撮影シーンが切り換えられる際に奥行き感が変化し、立体視を行うユーザに疲労感が残るのを抑制可能が技術として、以下のようなものが開示される。すなわち、立体画像処理装置が、入力される立体動画像のシーンの切り替わり位置を検出するシーン検出手段を備える。検出されたシーンの切り替わり位置（タイミング）において、奥行き感が徐々に変更されるように、立体動画像の奥行き感を調節する奥行き感調節処理が立体画像に施される。その結果、シーンの切り替わり位置における立体感が徐々に変化するようになり、違和感が減じられる、というものである。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１０−１３９８８５号公報
【特許文献２】特開２００９−２３９３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、立体画像を撮影可能な撮影装置の表示部には、ライブビュー画像が表示され、ユーザはこのライブビュー画像を観ながら構図調節や撮影の操作を行う。撮影装置の使用形態は様々であり、動画像撮影を行う場合もあれば静止画像撮影を行う場合もある。同じ静止画の撮影であっても、比較的動きの少ない被写体をじっくりと捉えて撮影することもあれば、頻繁に動き回る被写体を追いながら撮影することもある。
【００１３】
撮影装置の使用状況によっては、特許文献１、特許文献２に開示される技術を用いることが必ずしも好結果にはつながらない。そもそも、特許文献１、特許文献２では、表示部をビューファインダとして用いる場合の課題には触れられていない。
【００１４】
本発明は、上記の課題に鑑みてなされたものであり、撮影装置の表示部に表示される立体画像を観視するユーザの疲労感を軽減可能としつつ、より的確に被写体を捉えることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
（１） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記視差量導出部で導出される前記注目被写体の視差量の時間経過に伴う変化の大きさが閾値を越す場合に、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備える。
（２） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、焦点調節の速度が減じられるように調節するフォーカシング速度調節部と
を備える。
（３） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備える。
（４） 本発明のある態様によれば、立体画像撮影装置は、
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部と
を備え、
前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記フォーカシング速度調節部は焦点調節の速度を減じるように調節し、かつ、前記表示視差量調節部は前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度を減じるように調節する。
【発明の効果】
【００１６】
本発明によれば、撮影装置の表示部に表示される立体画像を観視するユーザの疲労感を軽減可能としつつ、より的確に被写体を捉えることを可能となる。
【図面の簡単な説明】
【００１７】
【図１】立体画像を撮影、表示可能なデジタルカメラの概略的構成を説明するブロック図である。
【図２】表示部に表示される右眼用の画像が右眼に、左眼用の画像が左眼に、それぞれ導かれて、ユーザが立体画像を観視可能となる構成の一例を説明する図である。
【図３】注目被写体の表示視差量変化速度が調節される様子を概念的に示す図であり、図３（ａ）は表示視差量変化速度の調節が行われない場合の例を、図３（ｂ）は表示視差量変化速度の調節がより少なめに行われる場合の例を、図３（ｃ）は表示視差量変化速度の調節がより多めに行われる場合の例を、それぞれ示す図である。
【図４】表示視差量変化速度の調節が行われる様子を説明する図であり、図４（ａ）は撮影して得られた画像に表示視差量変化速度の調節が行われていない、実視差量の変化例を示し、図４（ｂ）は調節が行われた場合の表示視差量の変化例を示す。
【図５】第１の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図６】第２の実施の形態に係るデジタルカメラの概略的構成を説明するブロック図である。
【図７】撮影光学系によって画定される撮影範囲内にデフォーカス量を検出可能なフォーカスポイントが複数配列される例を説明する図である。
【図８】第２の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図９】第３の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１０】第４の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１１】第４の実施の形態に係るデジタルカメラにおいて、撮影光学系の注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図であり、図１１（ａ）は、時間経過に伴い、注目被写体に対する焦点調節状態が変化する様子を示し、図１１（ｂ）は、時間経過に伴い、注目被写体の表示視差量が変化する様子を示す。
【図１２】第５の実施の形態に係るデジタルカメラの概略的構成を説明するブロック図である。
【図１３】第５の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１４】第５の実施の形態に係るデジタルカメラにおいて、撮影光学系の注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図であり、図１４（ａ）は、時間経過に伴い、注目被写体に対する焦点調節状態が変化する様子を示し、図１４（ｂ）は、時間経過に伴い、注目被写体の表示視差量が変化する様子を示す。
【図１５】第６の実施の形態に係るデジタルカメラ内のシステム制御部で実行されるライブビュー立体画像表示処理の手順を概略的に示すフローチャートである。
【図１６】第６の実施の形態に係るデジタルカメラにおいて、撮影光学系の注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図であり、図１６（ａ）は、時間経過に伴い、注目被写体に対する焦点調節状態が変化する様子を示し、図１６（ｂ）は、時間経過に伴い、注目被写体の表示視差量が変化する様子を示す。
【発明を実施するための形態】
【００１８】
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る立体画像撮影装置１００の概略的構成を説明するブロックである。以下では立体画像撮影装置１００をデジタルカメラ１００と称する。本実施の形態においてデジタルカメラ１００は、立体画像の撮影が可能に構成され、静止画像撮影モードおよび動画像撮影モードで動作可能に構成される。ユーザは、これら二つの撮影モードのうち、いずれかの撮影モードに切り換えてデジタルカメラ１００を使用する。このとき、切り換えられた静止画像撮影モードおよび動画像撮影モードのいずれにおいても、立体画像を撮影・記録・表示可能に構成される。
【００１９】
デジタルカメラ１００は、信号処理部１０２と、二つの撮像部１３０Ｒおよび１３０Ｌと、二つの撮像制御部１３２Ｒおよび１３２Ｌと、撮影光学系制御部１３４と、フォーカシング制御部１３６と、システム制御部１４０と、操作部１４２とを備える。デジタルカメラ１００はさらに、表示制御部１５０と、表示部１５２と、記録制御部１５４と、記録部１５６と、メモリ１５８とを備える。信号処理部１０２、システム制御部１４０、操作部１４２、表示制御部１５０、記録制御部１５４、メモリ１５８は、システムバス１６０を介して互いに電気的に接続されている。
【００２０】
撮影光学系１３８Ｒ、１３８Ｌは、変倍光学系を備えて焦点距離を変更可能に構成されていても、単焦点レンズとして構成されていてもよい。これら二つの撮影光学系１３８Ｒ、１３８Ｌの光軸は、所定の距離（ステレオベース）を隔てて平行、または所定の輻輳角が与えられてデジタルカメラ１００内に配置される。撮影光学系１３８Ｒ、１３８Ｌが焦点距離を変更可能に構成される場合、二つの光学系１４０Ｒ、１３８Ｌの焦点距離が常に同じとなるように構成される。撮影光学系１３８Ｒ、１３８Ｌは、焦点調節機構、絞り調節機構等を備えており、撮影光学系制御部１３４によって制御される。このうち、焦点調節機構は、撮影光学系制御部１３４内のフォーカシング制御部１３６によって制御される。すなわち、フォーカシング制御部１３６は、撮影光学系１３８Ｒ、１３８Ｌ内の焦点調節機構を駆動して合焦動作を行う。撮影光学系１３８Ｒ、１３８Ｌが電動式のアクチュエータによって焦点距離を変更可能に構成される場合、撮影光学系制御部１３４によって焦点距離が制御される。撮影光学系１３８Ｒ、１３８Ｌは、デジタルカメラ１００に対して着脱可能に構成されていても、固定されていてもよい。
【００２１】
撮像部１３０Ｒ、１３０Ｌはそれぞれ、撮影光学系１３８Ｒ、１３８Ｌによって形成される被写体像を光電変換して画像信号を生成する撮像素子と、撮像素子から出力される画像信号を増幅した後、デジタル画像信号に変換するアナログ・フロントエンドとを備えて構成される。撮像制御部１３２Ｒ、１３２Ｌはそれぞれ、撮像部１３０Ｒ、１３０Ｌにおける撮像および信号読み出しの動作タイミング等を制御する。これらの撮影光学系１３８Ｒ、１３８Ｌおよび撮像部１３０Ｒ、１３０Ｌによって、視差画像を得ることができる。
【００２２】
信号処理部１０２は、デジタル・シグナル・プロセッサ（ＤＳＰ）などにより構成され、撮像部１３０Ｒ、１３０Ｌから出力されるデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減、表示視差量調節処理等のさまざまなデジタル信号処理を施し、立体画像データを生成する。以下では、撮像部１３０Ｒ、１３０Ｌのそれぞれから出力される信号を右画像信号、左画像信号と称する。また、信号処理部１０２で生成される画像データを右画像データ、左画像データと称する。さらに、右画像データ、左画像データによって形成される画像をそれぞれ右画像、左画像と称する。
【００２３】
信号処理部１０２は、視差量導出部１０４と、視差量パラメータ記憶部１０６と、表示視差量調節部１０８と、焦点検出部１１０と、露光制御部１１２と、ホワイトバランス調整部１１４と、注目被写体検出部１１６と、立体画像データ生成部１２０とを備える。
【００２４】
視差量導出部１０４は、入力された右画像信号、左画像信号を処理し、左右両画像間の視差量を導出する。視差量の導出に際しては、例えば右画像および左画像のうち、いずれか一方の画像を複数の領域に分割し、分割された領域内の画像（部分画像）をテンプレートとして、他方の画像中で一致する部分を探索する。上記探索の結果、左画像、右画像内において同じ被写体の画像が存在する左右方向の位置の差を視差量として検出することが可能となる。視差量の尺度としては、ピクセル数を用いることが可能である。
【００２５】
視差量パラメータ記憶部１０６には、デジタルカメラ１００で設定されている動作モード等に応じて変更可能な視差量パラメータが記憶される。視差量パラメータは、表示部１５２に立体画像を表示する際の、表示される被写体の像を観たユーザが感じる立体感（奥行き感）を調節する際に参照されるパラメータである。視差量パラメータ記憶部１０６は、後述するメモリ１５８内に設けられていても良い。
【００２６】
表示視差量調節部１０８は、表示部１５２に立体画像を表示する際の、右画像と左画像との間の視差量を調節する処理を行う。表示視差量調節部１０８における処理についても、その詳細を後で説明する。以下では、視差量導出部１０４で導出される視差量を実視差量と称し、表示部１５２に立体画像を表示する際の、右画像と左画像との間の視差量を表示視差量と称する。
【００２７】
本実施の形態において、デジタルカメラ１００はコントラストＡＦの方式で自動焦点調節を行うものとする。すなわち、焦点検出部１１０は、所定のフレームレートで撮像部１３０Ｒ、１３０Ｌから出力される右画像信号、左画像信号を処理し、フレームごとに画面内の所定の位置におけるコントラスト値を導出して、いわゆる山登りＡＦの方式でコントラストの極大値が得られる焦点位置を探索するものとする。フォーカシング制御部１３６は、焦点検出部１１０で焦点位置探索結果に基づいて撮影光学系１３８Ｒ、１３８Ｌ内の焦点調節機構を駆動する。なお、焦点検出部１１０は、撮像部１３０Ｒ、１３０Ｌのうち、いずれか一方のみからの画像信号を入力するようにしてもよい。
【００２８】
露光制御部１１２は、露光量の制御を行う。デジタルカメラ１００が静止画像撮影モードで動作しているとき、信号処理部１０２に入力される画像信号の信号値をもとに撮影光学系１３８Ｒ、１３８Ｌの絞り値とシャッタ速度とを決定する。一方、デジタルカメラ１００が動画像撮影モードで動作しているとき、信号処理部１０２に入力される画像信号の信号値をもとに撮影光学系１３８Ｒ、１３８Ｌの絞り値と、撮像部１３０Ｒ、１３８Ｌにおける蓄積時間、すなわち電子シャッタの速度とを決定する。
【００２９】
ホワイトバランス調整部１１４は、信号処理部１０２に入力された画像信号に対して、ユーザにより設定されたホワイトバランスモードに対応して色変換の処理を行う。また、ユーザにより設定されたホワイトバランスモードが自動ホワイトバランスモードである場合、ホワイトバランス調整部１１４は、信号処理部１０２に入力された画像信号を解析し、推定される光源の種類に対応して色変換の処理を行う。あるいは、デジタルカメラ１００に光源センサ等が設けられる場合、ホワイトバランス調整部１１４は、光源センサからの信号を解析して光源の種類を特定し、特定された光源の種類に対応して色変換の処理を行ってもよい。
【００３０】
注目被写体検出部１１６は、画像中に存在する注目被写体を検出する処理を行う。注目被写体を検出する方法は、以下に説明する被写体認識処理、ＡＦエリア内被写体認識処理、ユーザ選択被写体認識処理のうちのいずれかとすることが可能である。
【００３１】
被写体認識処理は、信号処理部１０２に入力される画像信号を解析して、画像中で人や動物の顔、花等の存在を検出し、それを画像内における注目被写体とする方法である。
【００３２】
ＡＦエリア内被写体認識処理は、自動焦点調節の処理結果と連動して行われる処理方法である。すなわち、焦点検出部１１０が、撮影範囲（画面）内において画定された複数のエリアで焦点調節状態を検出可能に構成されている場合に、次のようにして被写体認識処理をすることができる。撮影範囲内における複数のエリアのうち、いずれかのエリアがユーザによって選択された場合、選択されたエリアで検出された焦点調節状態に基づいて焦点調節が行われる。あるいは、上記複数のエリアのうち、所定のアルゴリズムに従っていずれかのエリアが自動選択された場合、自動選択されたエリアで検出された焦点調節状態に基づいて焦点調節が行われる。注目被写体検出部１１６は、上述のように手動、あるいは自動で選択されたエリアに写っている（捕捉される）被写体を注目被写体とすることが可能である。
【００３３】
複数のエリアの中から焦点調節を行う対象のエリアを自動的に選択するアルゴリズムとしては、最も近距離に位置する被写体が存在するエリア、最も遠距離に位置する被写体が存在するエリア、中間の距離に位置する被写体が存在するエリアを選択する方法などがある。あるいは、コントラストの最も高い被写体が存在するエリア、彩度の最も高い被写体が存在するエリア等を選択する方法であってもよい。
【００３４】
デジタルカメラ１００が、操作部１４２の一つとして、表示部１５２の表面に設けられたタッチパネルスイッチを備える場合、表示部１５２上に表示される画像中、ユーザがタッチパネルを押圧した位置に写っている被写体に優先順位が与えられて焦点調節、露光制御、ホワイトバランス等の処理が行われるようにすることが可能である。このとき、注目被写体検出部１１６は、表示部１５２に表示される画像中、ユーザがタッチパネルスイッチを押圧した位置に写っている被写体を注目被写体とすることが可能である。これが、上述したユーザ選択被写体認識処理である。
【００３５】
立体画像データ生成部１２０は、表示視差量調節部１０８で視差量が調節された左画像データ、右画像データに基づき、立体画像データを生成する。この立体画像データに基づいて、表示部１５２に立体画像が表示される。この立体画像データは、必要に応じてデジタルカメラ１００内に保存する処理が行われる。
【００３６】
システム制御部１４０は、デジタルカメラ１００の動作を統括的に制御する。操作部１４２は、スライドスイッチ、プッシュスイッチ、ダイヤルスイッチ等のうち、いずれか一種または複数種類のスイッチを備え、ユーザの操作を受け付ける。操作部１４２はまた、上述したタッチパネルスイッチを備えていても良い。ユーザによる操作部１４２の操作は、システム制御部１４０によって検出される。システム制御部１４０は、ユーザによる操作部１４２の操作に応じてデジタルカメラ１００の動作を制御する。
【００３７】
ユーザによる操作部１４２の操作としては、電源スイッチのオン／オフ、動画像撮影モード／静止画像撮影モードの動作モード切替、静止画像記録のためのレリーズスイッチの操作、動画像記録開始／停止のための動画像記録スイッチの操作などがある。また、操作部１４２を操作することにより、視差量パラメータの設定を変更可能に構成されていてもよい。
【００３８】
デジタルカメラ１００が静止画像記録モード、あるいは動画像記録モードに設定されている状態で、ユーザは操作部１４２を操作し、シーンモードやシーン判別モードを選択することも可能である。シーンモードは、風景、花火、ポートレート、スポーツ、子ども、そしてクローズアップといった様々な撮影シーンの中から、ユーザが所望の撮影シーンを選ぶことができ、ユーザの目的とする撮影シーンに対応してより適した撮影設定が自動的になされる動作モードである。
【００３９】
シーン判別モードは、撮影シーンを、撮影光学系１３８Ｒ、１３８Ｌの設定焦点距離、デジタルカメラ１００の動き、ライブビュー表示用画像の解析結果等に基づいて撮影シーンやデジタルカメラ１００の使用状況を自動的に判別し、判別されたシーンに対応してより適した撮影設定が自動的になされる動作モードである。自動的になされる動作設定としては、絞り値およびシャッタ速度の組み合わせ、撮像素子の感度、ホワイトバランス、色補正、階調補正などがある。
【００４０】
デジタルカメラ１００の動作モードが、静止画像撮影モード、動画像撮影モードに切り替えられるのに応じて、視差量パラメータは自動的に変更される。シーンモードが設定された場合にも、ユーザによって選択された撮影シーンに対応して視差量パラメータは自動的に変更される。また、シーン判別モードが設定された場合、判別された撮影シーンに対応して視差量パラメータが自動的に変更される。
【００４１】
表示部１５２は、ユーザが立体画像を観視することが可能に構成される。表示部１５２は一例として、図２に示されるように、カラー液晶表示パネル１５２ｂと、バックライト装置１５２ａと、カラー液晶表示パネル１５２ｂの表面に設けられたレンチキュラーシート１５２ｃ等とを備えて構成される。なお、表示部１５２がレンチキュラーシート１５２ｃ等を用いたものである場合、右画像および左画像を縦ストライプ状に分割し、レンチキュラーシート上に形成されるレンチキュラーレンズの配設ピッチに従って、縦ストライプ状に分割した右画像及び左画像を空間的に交互に配列した画像をカラー液晶表示パネル上に表示するべく、表示用画像データが立体画像データ生成部１２０で生成される。図２には、カラー液晶表示パネル１５２ｂ上に空間的に交互に表示される右画像Ｒおよび左画像Ｌがそれぞれ、立体画像を観視するユーザの右眼ＲＹ、左眼ＬＹに、レンチキュラーシート１５２ｃ上に形成されたレンチキュラーレンズによって導かれる様子が描かれている。
【００４２】
表示部１５２が他の方式によって立体画像を観視可能に構成される場合、その方式に従って表示用画像データが立体画像データ生成部１２０で生成される。表示制御部１５０は、信号処理部１０２で生成された表示用画像データに基づく画像を表示部１５２に表示する処理を行う。
【００４３】
記録部１５６は、デジタルカメラ１００に着脱可能な、不揮発性のフラッシュメモリ等で構成されるメモリカードとすることが可能である。あるいは、デジタルカメラ１００に内蔵される不揮発性のメモリとすることが可能である。デジタルカメラ１００で撮影され、生成された静止画像データや動画像データは記録部１５６に所定のファイル形式で記録される。デジタルカメラ１００が再生モードに設定されているときには、記録部１５６に記録された画像ファイルが読み出され、信号処理部１０２で表示用画像データが生成され、表示部１５２、あるいはデジタルカメラ１００に接続された外部表示装置に画像が表示される。記録制御部１５４は、記録部１５６への画像データの書き込み、記録部１５６からの画像データの読み出しの処理を行う。
【００４４】
メモリ１５８は、ＳＤＲＡＭ等の、比較的高速のアクセス速度を有してデータの読み書きが可能なランダム・アクセス・メモリ（ＲＡＭ）と、フラッシュメモリ等の不揮発性メモリとを備えて構成される。不揮発性メモリには、ファームウェアやデジタルカメラ１００に電源が供給されない状態でも保持する必要のある情報が記憶される。ファームウェアは、システム制御部１４０で実行されるカメラ制御プログラムを含む。メモリ１５８は、信号処理部１０２およびシステム制御部１４０の双方からアクセス可能に構成される。
【００４５】
以上では、図１を参照してデジタルカメラ１００が双眼タイプの立体画像撮影装置である例を説明したが、これと異なる方式で右画像および左画像が得られるものであってもよい。例えば、三つ以上の撮影光学系を備えるものであってもよいし、一つの撮影光学系内の異なる瞳位置を通過した被写体光を二つの撮像素子に導くものであってもよい。あるいは、単眼の撮影光学系の前面にステレオアダプタを装着する方式であってもよい。ステレオアダプタは、潜望鏡を横に倒したような、光路を水平面上でクランク状に折り曲げる構成の反射光学系を二組備えて、それらを左右に面対称に配列し、被写体の側から左右異なる光路を経てデジタルカメラの単眼の撮影光学系に入射する被写体光を撮像素子の右半分および左半分に導くように構成される装置である。
【００４６】
図３は、表示視差量調節部１０８で行われる処理を概念的に示す図である。図３（ａ）は、表示視差量の調節が行われない場合の例を、図３（ｂ）は、表示視差量の調節が行われるものの、その調節量が比較的少なめに設定される場合の例を、図３（ｃ）は、表示視差量の調節が行われて、その調節量が比較的多めに設定される場合の例を示す図である。図３（ａ）、図３（ｂ）、および図３（ｃ）それぞれの一番左に示される図は、ある瞬間（タイミングｔ０）において撮影されて得られた画像をもとに視差量導出部１０４で導出された実視差量が示されている。そして、これらの一番左に示される各図の右側には、表示部１５２に表示される立体画像の表示視差量が時間の経過（タイミングｔ１、ｔ２、…）に伴って変化する様子が描かれている。
【００４７】
図３を参照しての説明の前提として、被写体Ａ、Ｂは当初（タイミングｔ０よりも前のタイミングにおいて）、同じ撮影距離の位置に位置していて、その後タイミングｔ０にかけて被写体Ｂがデジタルカメラ１００に向かって急に近づき、タイミングｔ０以降、同じ位置にとどまっているものとする。そして、図３（ａ）、図３（ｂ）、図３（ｃ）それぞれの一番左の図に示されるように、視差量導出部１０４での処理により、タイミングｔ０における被写体Ａの実視差量はＸ、被写体Ｂの実視差量はＹ（Ｘ＜Ｙ）と導出されたものとする。また、タイミングｔ０で得られた画像データに基づき、それに後続するタイミングｔ１において表示部１５２に立体画像が表示され、タイミングｔ１で得られた画像データに基づき、タイミングｔ２において表示部１５２に立体画像が表示され、以降、同様の処理が繰り返し行われるものとする。このとき表示部１５２に表示される立体画像はライブビュー画像であるものとする。なお、図３（ａ）、図３（ｂ）、図３（ｃ）において、タイミングｔ０の位置示されているのは、被写体Ａ、Ｂの実視差量である。つまり、図３（ａ）、図３（ｂ）、図３（ｃ）のいずれにおいても、タイミングｔ０において表示部１５２に表示される立体画像中、被写体Ａ、Ｂの表示視差量は共にＸである。
【００４８】
表示視差量の調節が行われない例を示す図３（ａ）を参照して説明する。タイミングｔ０において視差量導出部１０４によって導出された被写体Ｂの実視差量はＸからＹに増加している。タイミングｔ０で表示部１５２に立体表示されている被写体Ａ、Ｂの表示視差量は上述のとおり共にＸである。そして、タイミングｔ０で得られた画像データに基づき、タイミングｔ１で立体画像が表示される。
【００４９】
このとき、タイミングｔ０で得られた画像データに対して表示視差量の調節処理をすることなく表示画像データが生成され、タイミングｔ１において表示部１５２に立体画像が表示される。タイミングｔ０において表示部１５２に表示されていた立体画像中、被写体Ｂの表示視差量はＸであったので、タイミングｔ０からｔ１にかけての被写体Ｂの表示視差量はＸからＹへと変化（増加）する。表示部１５２に表示される立体画像を観視するユーザは、被写体Ｂの像が画面手前側に向かって急に突出したと感じる。
【００５０】
表示視差量の調節が行われるものの、表示視差量の時間変化（表示視差量変化速度）の調節がより少なめに行われる例を示す図３（ｂ）を参照して説明する。図３（ａ）と同様、タイミングｔ０において視差量導出部１０４によって導出された被写体Ｂの実視差量はＹとなっている。
【００５１】
表示視差量調節部１０８で表示視差量変化速度の調節処理が行われ、タイミングｔ１で表示部１５２に立体画像が表示される。すなわち、タイミングｔ０における被写体Ｂの表示視差量Ｘに表示視差量の変化量の上限値γａを加算して得られた表示視差量となるように表示画像データが生成されて立体画像が表示される。このタイミングｔ１では、次の撮影動作が行われて、視差量導出部１０４で実視差量が導出される。このとき、上述のように、被写体Ｂはタイミングｔ０以降、同じ位置にとどまっているものとする。
【００５２】
以上の説明からも分かるように、タイミングｔ１で表示される立体画像は、被写体Ｂの実際の撮影距離（距離感）を反映したものではない。信号処理部１０２では、タイミングｔ０で撮影して得られた右画像データ、左画像データを処理して被写体Ｂの部分の画像の切り出しや合成等の処理を行い、必要とする表示視差量が得られる表示画像データを生成する。このとき、被写体Ａの部分や背景部分等における画像には、表示視差量の調節は行われない。
【００５３】
続いてタイミングｔ２で表示される立体画像について説明する。タイミングｔ１において視差量導出部１０４で被写体Ｂの実視差量がＹと導出される。そして、タイミングｔ１で得られた画像データをもとにタイミングｔ２で表示をした場合に生じる被写体Ｂの表示視差量の変化量は依然として上限値γａを超すと判定される。この判定を受けて、表示視差量調節部１０８で表示視差量変化速度を調節する処理が行われる。その結果、タイミングｔ２において表示部１５２に表示される被写体Ｂの表示視差量は、タイミングｔ１における表示視差量Ｘ＋γａにさらにγａを加算して得られた、Ｘ＋２×γａとなる。
【００５４】
タイミングｔ２で表示される立体画像は、タイミングｔ１で撮影して得られた右画像データおよび左画像データに、切り出しや合成の処理をして被写体Ｂの部分の表示視差量がＸ＋２×γａとなるように生成された表示画像データに基づく。このタイミングｔ２においては、タイミングｔ３でのライブビュー画像表示のための撮影動作が行われる。
【００５５】
タイミングｔ３で表示される立体画像について説明する。タイミングｔ２において視差量導出部１０４で被写体Ｂの実視差量がＹと導出される。そして、タイミングｔ２で得られた画像データをもとのタイミングｔ３で表示をした場合に生じる被写体Ｂの表示視差量の変化量は、上限値γａ以下であると判定される。この判定を受けて、表示視差量の調節処理をすることなく表示画像データが生成され、表示部１５２に立体画像が表示される。タイミングｔ３において表示される立体画像中、被写体Ｂの表示視差量はＹとなる。つまり、図３（ｂ）に示される例では、表示視差量の変化速度は実視差量の変化速度の略三分の一に調節される。
【００５６】
表示視差量の調節が行われて、表示視差量の時間変化の上限が比較的低めに設定される場合の例を示す図３（ｃ）を参照して説明する。基本的には図３（ｂ）に示されるのと同様の処理が行われる。図３（ｂ）との違いは、表示視差量の変化量の上限値がγａよりも小さいγｂに設定される点である。その結果、図３（ｂ）の例では被写体Ｂの表示視差量がタイミングｔ３において実視差量Ｙ（視差量導出部１０４で導出された視差量）に追いついているのに対し、図３（ｃ）の例ではタイミングｔ５で追いついている。つまり、図３（ｂ）に示される例では、表示視差量の変化速度は実視差量の変化速度の略五分の一に調節される。
【００５７】
以上、図３を参照しての説明では、被写体Ｂが急に近づき、立体画像中で被写体Ｂの像が手前側に突出する場合を例にとり、表示視差量変化速度を必要に応じて抑制する例について説明した。しかし、表示視差量変化速度の抑制は、被写体が急に近づく（視差量が増加する）場合、遠ざかる（視差量が減少する）場合の双方で行うものであってもよい。
【００５８】
ところで、以上では、被写体がデジタルカメラ１００に向かって近づく、あるいはデジタルカメラ１００から遠ざかるのに伴って視差量が変化することについて説明したが、撮影光学系１３８Ｒ、１３８Ｌの変倍操作をすることによっても視差量は変化する。このとき、焦点距離を長焦点側に変化させると撮影倍率が増加し、それに伴って視差量も増加する。逆に、焦点距離を短焦点側に変化させると撮影倍率が減少し、それに伴って視差量も減少する。また、撮影光学系１３８Ｒ、１３８Ｌの焦点距離を変化させずに、画面の一部を切り取る、いわゆるデジタルズーム、あるいは電子ズームと称される方式で撮影倍率を変化させた場合も同様である。このように、撮影倍率を変化させた場合に生じる視差量の変化にも対応して表示視差量の調節を行うことが可能である。
【００５９】
以下、図４を参照して被写体が近づく場合および遠ざかる場合の双方に対応して表示視差量の時間変化が必要に応じて抑制される例について説明する。以下で用いられる「被写体の動き」に関しては、デジタルカメラ１００に対して近づく、あるいは遠ざかる方向の動きを意味する。なお、先に説明したように、撮影光学系１３８Ｒ、１３８Ｌの変倍動作等によって撮影倍率が増減する場合も同様であるが、ここでは被写体がデジタルカメラ１００に対して近づく、あるいは遠ざかるのに対応して視差量が変化する例について説明する。
【００６０】
図４（ａ）は、時間の経過に伴う実視差量の変化例を示すグラフであり、横軸には時間、縦軸には各タイミングで視差量導出部１０４によって導出された実視差量がとられている。図４（ｂ）は、表示部１５２に表示される立体画像の表示視差量の変化例を説明するグラフであり、横軸には時間、縦軸には表示視差量調節部１０８で調節された後の表示視差量がとられている。図４（ａ）、図４（ｂ）は、同じ時間軸での事象が示されている。以下では、ある数字の付されたタイミングを参照する際には「タイミング１０」などと称する。タイミングの時間間隔は、撮影フレームレート、表示フレームレートに一致しているものとする。
【００６１】
タイミング１からタイミング４にかけては、被写体の動きが少なく、表示視差量調節部１０８による表示視差量の調節は行われない。タイミング５からタイミング１０にかけては、被写体が急に近づいて来たため、実視差量が急増している。図４中、符号ＬＭＴ１、ＬＭＴ２の付された斜めの線は、表示視差量の時間変化の上限（閾値）を概念的に示している。タイミング５からタイミング１０においては、実視差量の時間変化、つまり実視差量変化速度が速く、このまま立体画像を表示すると表示視差量変化速度が閾値ＬＭＴ１以上になると判定される。その結果、表示視差量調節部１０８において、図３を参照して説明した表示視差量調節の処理が行われる。図４（ｂ）のグラフ中、タイミング５からタイミング１０において、調節された表示視差量で立体画像が表示される様子が示されている。図４（ｂ）中、破線で示される棒グラフは、表示視差量が調節されていることを示している。
【００６２】
タイミング９からタイミング１１にかけては被写体の動きが少ないため、表示視差量がやがて実視差量に追いつく。その結果、タイミング１１においては表示視差量の調節が行われずに立体画像が表示される。その様子が図４（ｂ）のタイミング１１における実線の棒グラフとして示されている。
【００６３】
次にタイミング１１からタイミング１２の間で被写体が急に遠ざかり、その後タイミング１７にかけて、被写体は略同じ距離の位置に存在し続けている。この場合、実視差量の変化速度が速く、このまま立体画像を表示すると表示視差量変化速度が閾値ＬＭＴ２以上になると判定される（この場合、立体画像は画面手前側から奥側に遠ざかるように奥行き感が変化する）。その結果、表示視差量調節部１０８において、表示視差量調節の処理が行われて、図４（ｂ）のグラフ中、タイミング１２からタイミング１７において、調節された表示視差量で立体画像が表示される。つまり、被写体があたかも徐々に遠ざかるかのような奥行き感の変化で立体画像が表示される。なお、本例において表示視差量変化速度は、絶対値で扱われるものとする。すなわち、視差量が増加するか減少するかは考慮しないものとする。無論、視差量が増加するか／減少するかで表示視差量調節の処理内容を変えてもよい。
【００６４】
タイミング１８からタイミング２４にかけて、被写体は傾向として近づいてきており、それに伴って実視差量が傾向として増加している。しかし、実視差量の変化速度がそれほど速くはなく、このまま立体画像を表示しても表示視差量変化速度は閾値ＬＭＴ１未満であると判定される。その結果、タイミング１８から２４において、表示視差量の調節は行われない。
【００６５】
タイミング２４からタイミング２５の間で被写体が急に近づき、その後タイミング３３まで略同じ距離の位置に被写体がとどまっている。その結果、タイミング２５からタイミング２８にかけて表示視差量の調節が行われる。やがて、表示視差量が実視差量に追いつき、タイミング２９からタイミング３３にかけては表示視差量の調節は行われない。
【００６６】
タイミング３３とタイミング３４との間で被写体が急に遠ざかり、その後タイミング４３まで略同じ距離の位置に被写体がとどまっている。その結果、タイミング３４からタイミング４０にかけて表示視差量の調節が行われる。やがて、表示視差量が実視差量に追いつき、タイミング４１からタイミング４３にかけては表示視差量の調節が行われない。
【００６７】
図４では、被写体の近づく方向（視差量の増す方向）、遠ざかる方向（視差量の減少する方向）に対して設定される閾値ＬＭＴ１、ＬＭＴ２の傾きの絶対値が略同一であるように描かれているが、異なる値とすることが可能である。立体画像を観視する際、画面の手前側に突出してくる画像を観視する際の眼の疲れよりも、画面の奥側に引っ込んでゆく画像を観視する際の眼の疲れの方が少ないことが知られている。したがって、被写体が遠ざかる場合には閾値を設けないとすることが可能である。あるいは、閾値を高めに設定する（図４に示される符号ＬＭＴ２が付される線の傾きを増す）ことも可能である。
【００６８】
また、表示視差量変化速度の上限は、図４に示すように、時間の経過によらず一定の値であってもよいし、時間の経過に伴って変化するものであってもよい。例えば、時間の経過とともにＬＭＴ１（ＬＭＴ２）が非線形に変化するようにし、表示視差量変化速度を、現状の表示視差量と実視差量との差が大きいうちは早くなるようにして、表示視差量と実視差量との差が小さくなるにつれて遅くなるように（あるいはその逆になるように）してもよい。
【００６９】
また、デジタルカメラ１００の動作モードが静止画像撮影モード、あるいは動画像撮影モードに切り換えられるのに応じて上記の閾値や表示視差量変化速度の上限を変更可能に構成されていてもよい。さらに、デジタルカメラ１００でシーンモードやシーン判別モードが設定されている場合、選択されている撮影シーン、あるいは自動判別されたシーンに応じて上記の閾値や表示視差量変化速度の上限を変更可能に構成されていてもよい。
【００７０】
例えば、動画像撮影モード時、ユーザは比較的長い時間にわたり、表示部１５２に表示される画像を観視し続けることになる。そのような場合には、上記の閾値や表示視差量変化速度の上限を低めに設定することが可能である。そうすることにより、立体画像の奥行き感の変化がより穏やかとなり、ユーザの疲労感を抑制することが可能となる。このとき、記録画像データについては、表示視差量の調節をしないものを生成してもよいし、調節したものを生成してもよい。また、記録画像データの表示視差量の調節をする／しないをユーザが選択可能に構成されていてもよい。
【００７１】
一方、静止画像撮影モード時には、表示部１５２に表示されるライブビュー画像を観視する時間は、動画像撮影モード時に比して短めとなることが予想される。そのような場合には、表示視差量の調節をしないで（表示視差量変化速度の上限を高めに設定して）表示部１５２に立体画像を表示し、記録画像データを生成することが可能である。そうすることにより、より立体感のある画像を得ることが可能となり、ライブビュー画像を観たユーザはどのような立体画像を得ることができるかを直観的に把握することが可能となる。また、実視差量により近い表示視差量で被写体の像が表示されるので、特に動いている被写体のライブビュー画像を観ながら撮影をする際に、より実際に近い状態で被写体を捉えることが可能となり、シャッタチャンスを捉えやすくなる。
【００７２】
設定されたシーンモードの種類によって、あるいはシーン判別モードでのシーン判別結果により、ユーザがどのような被写体を撮影しようとしているのかを知ることができる。例えば、シーンモードとして風景や花火、あるいはポートレートの撮影を想定したモードが選択されている場合、撮影距離が目まぐるしく変化する可能性は少ないので、立体画像の奥行き感も大きく変化する可能性は少ない。このような場合、上記の閾値や表示視差量変化速度の上限を高めに設定、あるいは閾値を設定しないようにすることが可能である。逆に、スポーツシーン、あるいは子ども等を撮影することを想定したモードが選択されている場合、被写体が動き回って撮影距離が目まぐるしく変化する可能性がある。そのような被写体を撮影するモードが選択された場合、上記の閾値や表示視差量変化速度の上限を低めに設定することにより、立体画像の奥行き感の変化を抑制してユーザの疲労感を抑制することが可能となる。
【００７３】
上記の閾値や表示視差量変化速度の上限に関しては、ユーザの好みに応じてマニュアル設定可能に構成されていてもよい。立体画像を観視しているユーザが感じる疲労の度合いには個人差があり、また、ユーザの体調にも左右される場合があるので、ユーザによるマニュアル設定を可能とすることによりデジタルカメラ１００の使い勝手を向上させることが可能となる。上記の閾値や表示視差量変化速度の上限に関する情報は、視差量パラメータとして視差量パラメータ記憶部１０６に記憶される。
【００７４】
ところで、実際の撮影シーンを想定した場合に、撮影シーン中には様々な動きをする多数の被写体が存在している場合がある。また、ユーザが撮影しようとしている被写体とデジタルカメラ１００との間に通行人や自動車等が割って入ることもある。本実施の形態においては、デジタルカメラ１００が注目被写体検出部１１６を備えていて、上述した表示視差量調節部１０８による表示視差量調節の処理は、注目被写体検出部１１６で検出された被写体に対して行われる。本明細書中では、注目被写体検出部１１６で検出された被写体を「注目被写体」と称する。
【００７５】
ユーザがライブビュー表示される立体画像を観ながら被写体を追う場合を想定すると、ユーザは注目被写体を注視している可能性が高い。そこで、上述した表示視差量調節の処理は、注目被写体のみに対して行う。一方、背景や前景等、注目被写体以外の被写体については、表示視差量調節の処理を行わない。このようにして画像を処理することにより、信号処理部１０２での処理負荷を低減することが可能となる。その結果、信号処理部１０２のハードウェア規模の縮小や消費電力の抑制と云った効果を得ることが可能となる。
【００７６】
図５は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図５のフローチャートに示される処理は、デジタルカメラ１００が撮影モードに切り替えられたときにシステム制御部１４０によって実行される。
【００７７】
Ｓ５００においてシステム制御部１４０は、デジタルカメラ１００の動作モードの変更の有無を判定する。Ｓ５００での判定が肯定された場合には、変更された動作モードに応じて視差量パラメータを設定する処理がＳ５０２で行われ、Ｓ５０４に進む。一方、Ｓ５００での処理が否定された場合、処理はＳ５０４に進む。ここで、視差量パラメータは、先に図３や図４を参照して説明した閾値や表示視差量変化速度の上限に関する情報を含む。
【００７８】
Ｓ５０４においてシステム制御部１４０は、１フレーム分の右画像データおよび左画像データを取得する処理を行うよう、信号処理部１０２に制御信号を出力する。システム制御部１４０はＳ５０６において、注目被写体検出処理を行うよう、信号処理部１０２に制御信号を出力する。注目被写体検出処理は、注目被写体検出部１１６で行われる。
【００７９】
Ｓ５０８においてシステム制御部１４０は、注目被写体の実視差量を導出する処理を行うよう、信号処理部１０２に制御信号を出力する。そしてシステム制御部１４０は、信号処理部１０２から出力された実視差量の情報をメモリ１５８に一時的に記録する。
【００８０】
システム制御部１４０はＳ５１０において、Ｓ５０８の処理で得られた現フレームの実視差量と、一つ前のフレームの表示視差量とを比較する。すなわち、メモリ１５８に記録されているこれら現フレームの実視差量および一つ前のフレームの表示視差量を読み出して比較する。Ｓ５１０で比較されるのは、現フレームの注目被写体の実視差量と、一つ前のフレームにおける注目被写体の表示視差量である。
【００８１】
Ｓ５１２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値を超すか否かを判定する。Ｓ５１２での判定が肯定されるとＳ５１４の処理に進む一方、Ｓ５１２での判定が否定されるとＳ５２６の処理に進む。
【００８２】
Ｓ５１２での判定が肯定された場合の分岐先であるＳ５１４において、システム制御部１４０は注目被写体の画像の表示視差量を調節する決定をする。そしてＳ５１６において、視差量パラメータ記憶部１０６に記憶された視差量パラメータ中、現状の動作モードに対応する視差量パラメータに基づいて、注目被写体の画像の表示視差量を調節した右画像データおよび左画像データを生成するように信号処理部１０２に制御信号を出力する。
【００８３】
一方、Ｓ５１２での判定が否定された場合の分岐先であるＳ５２６では、表示視差量を調節する処理をしない決定がなされ、Ｓ５１６の処理がスキップされてＳ５１８に進む。
【００８４】
Ｓ５１８においてシステム制御部１４０は、焦点調節を行うようにフォーカシング制御部１３６に制御信号を出力する。すなわち、システム制御部１４０は、撮像部１３０Ｒ、１３０Ｌから出力される右画像信号および左画像信号で生成される画像のコントラストが増す方向に焦点調節動作が行われるよう、フォーカシング制御部１３６に制御信号を出力する。
【００８５】
Ｓ５２０においてシステム制御部１４０は、立体画像を表示部１５２に表示するように信号処理部１０２に制御信号を出力する。信号処理部１０２は、表示部１５２における立体画像の表示方式に従って表示画像データを生成し、表示制御部１５０に出力する。この処理の結果、１フレーム分のライブビュー画像（立体画像）が表示部１５２に表示される。
【００８６】
上述した表示画像データを信号処理部１０２で生成するにあたり、Ｓ５１４で表示視差量を調節する（表示視差量変化速度を抑制する）決定がなされた場合には、Ｓ５１６で生成された、注目被写体の画像の表示視差量を調節した右画像データおよび左画像データが用いられる。一方、Ｓ５２６で表示視差量を調節しない決定がなされた場合には、Ｓ５０４の処理で取得された右画像データおよび左画像データが用いられる。
【００８７】
Ｓ５２２においてシステム制御部１４０は、Ｓ５２０の処理で表示部１５２に表示された立体画像の表示視差量をメモリ１５８に記録する。Ｓ５２４では、ライブビュー表示動作（動画像撮影が行われているときには動画像撮影動作）を継続するか否かの判定がなされ、この判定が肯定される間は上述した処理が継続して行われて表示部１５２に表示されるライブビュー画像が更新される。Ｓ５２４の判定が否定されると、システム制御部１４０は図５に示す一連の処理を完了し、ライブビュー表示動作を停止する。
【００８８】
以上のように、第１の実施の形態に係る立体画像撮影装置によれば、ライブビュー表示される立体画像中で、注目被写体の部分の表示視差量が必要に応じて調節される（表示視差量変化速度が抑制される）ので、ライブビュー画像を観視するユーザの疲労感を抑制可能となる。また、動画像撮影モード、静止画像撮影モードや、シーンモードで選択されている撮影シーン、あるいはシーン判別モードで自動判別された撮影シーン等に応じて、ライブビュー表示される立体画像中の注目被写体の表示視差量を調節する際の視差量パラメータが変更されるので、使用状況に適した奥行き感の立体画像を表示することが可能となる。
【００８９】
− 第２の実施の形態 −
図６は、本発明の第２の実施の形態に係る立体画像撮影装置としてのデジタルカメラ１００Ａの概略的構成を説明するブロック図である。図１に示される第１の実施の形態のデジタルカメラ１００と同様の構成要素には同じ符号を付してその説明を省略し、第１の実施の形態との差異を中心に説明をする。
【００９０】
図１に示されるデジタルカメラ１００が双眼タイプの撮影光学系１３８Ｒ、１３８Ｌを備えるのに対して、デジタルカメラ１００Ａは単眼タイプの撮影光学系１３８を備える点が大きな違いである。デジタルカメラ１００Ａでは、１フレーム分の撮影動作に対応して一つの画像データのみが得られる。そして、後で詳述するように、撮影シーン中に写る様々な被写体の、デジタルカメラ１００Ａからの距離の分布（これをデプスマップと称する）を得て、得られた距離の分布に対応して被写体ごとに異なる表示視差量を付与した立体画像データを合成によって生成する。
【００９１】
測距部２００は、撮影光学系１３８によって捉えられる画角内（撮影範囲内）において、各被写体とデジタルカメラ１００Ａとの間の距離の分布を検出可能に構成される。本実施の形態において、測距部２００がＴＴＬ式の位相差検出装置を用いるものである例について説明する。ＴＴＬ式の位相差検出装置は、撮影光学系１３８内の異なる瞳位置を透過した被写体光を、反射光学系、コンデンサレンズ、セパレータレンズ等を介してＡＦ素子上に導き、ＡＦ素子上に形成される像のずれ（位相差）をもとに、予定焦点面に対するピントずれ量（デフォーカス量）を検出する装置である。あるいは、撮像素子上の受光エリア内に位相差検出画素を埋め込んだものを用い、上述した反射光学系、コンデンサレンズ、セパレータレンズ等を省略したものとすることも可能である。
【００９２】
ＴＴＬ式の位相差検出装置で検出された上記デフォーカス量と、撮影光学系１３８の焦点距離情報と、撮影光学系１３８のレンズ位置情報とから、被写体がデジタルカメラ１００Ａからどれくらいの距離に位置するかを導出可能である。ここで、レンズ位置情報とは、撮影光学系１３８内のフォーカシングレンズの、無限遠に焦点が合う位置からの移動量に関する情報である。このレンズ位置情報は、焦点距離情報とともに撮影光学系１３８から得ることができるものとする。
【００９３】
例えば、撮影光学系１３８の焦点距離が５０ｍｍで、現状で撮影光学系１３８は２ｍの撮影距離にピントが合う位置にフォーカシングレンズが位置し、このときのデフォーカス量が後ピン側に０．２ｍｍである、といった情報が得られれば、画面内のデフォーカス検出エリア内に位置する被写体とデジタルカメラ１００Ａとの間の実際の距離を導出することが可能である。このとき、上記セパレータレンズやＡＦ素子を、撮影範囲内の複数の点でデフォーカス量を検出可能に構成することにより、撮影光学系１３８によって捉えられる画角内における各被写体とデジタルカメラ１００Ａとの間の距離（以下では「各被写体までの距離」と表現する）の分布を導出することができる。
【００９４】
図７には、撮影光学系１３８によって画定される撮影範囲Ｆ内においてデフォーカス量を検出可能なフォーカスポイントＤの配置例を示す。図７では、３１個のフォーカスポイントでデフォーカス量を検出可能な例が示されるが、一つのフォーカスポイントのみに符号Ｄが付されている。つまり、図７の例では撮影光学系１３８によって捉えられる撮影範囲内の３１個のフォーカスポイントで各被写体までの距離の分布を得ることができる。無論、デフォーカス量を検出可能なフォーカスポイントの数およびその配置については、様々に変更可能である。デプスマップを生成する際、フォーカスポイントＤの存在しない領域では補間や外挿の処理等によって被写体までの距離を推定することが可能である。
【００９５】
測距部２００は、外部測距装置として構成されていてもよい。例えば、撮影光学系１３８によって捉えられる撮影範囲に対応する被写界を赤外ビーム等で面状にスキャンし、そのときに反射光を検出して、撮影範囲内における各被写体までの距離の分布、すなわちデプスマップを得ることができる。また、光を用いずに、超音波を出射し、その反射波をセンサで検出することにより、あるいはミリ波レーダ等によって、各被写体までの距離の分布を得ることも可能である。
【００９６】
撮影光学系１３８は、変倍光学系を備えて焦点距離を変更可能に構成されていても、単焦点レンズとして構成されていてもよい。撮影光学系１３８はまた、デジタルカメラ１００Ａに対して着脱可能に構成されていても、固定されていてもよい。撮像部１３０は、図１を参照して説明した撮像部１３０Ｒまたは１３０Ｌと同様の構成を有する。同じく、撮像制御部１３２も撮像制御部１３２Ｒまたは１３２Ｌと同様の構成を有する。撮影光学系制御部１３４Ａは、一つの撮影光学系１３８の焦点調節動作、絞り調節動作、焦点距離変更動作を制御する以外は第１の実施の形態の撮影光学系制御部１３４と同様である。フォーカシング制御部１３６Ａも、一つの撮影光学系１３８の焦点調節機構を駆動する以外、第１の実施の形態のフォーカシング制御部１３６と同様である。
【００９７】
信号処理部１０２Ａは、第１の実施の形態で説明した信号処理部１０２の視差量導出部１０４が視差量導出部１０４Ａに、焦点検出部１１０が焦点検出部１１０Ａに置き換えられ、視差画像生成部２０２をさらに備える点が信号処理部１０２と異なる。
【００９８】
第１の実施の形態において視差量導出部１０４は、撮像部１３０Ｒ、１３０Ｌから出力される右画像信号、左画像信号をもとに生成された右画像データおよび左画像データをもとに視差量を導出するものとして説明した。これに対し、第２の実施の形態における視差量導出部１０４Ａは、図７に示す撮影範囲Ｆ内の複数のフォーカスポイントＤに対応して測距部２００から得られる各被写体までの距離の情報に基づき、各フォーカスポイントに対応する視差量（実視差量）を導出する。
【００９９】
焦点検出部１１０Ａは、測距部２００において各フォーカスポイントＤに対応して検出されたデフォーカス量をもとに撮影光学系１３８の焦点調節状態を検出する。
【０１００】
視差画像生成部２０２は、撮像部１３０から出力された画像信号を処理して得られた画像データを、視差量導出部１０４において各フォーカスポイントＤに対応して（あるいはデプスマップに対応して）導出された実視差量をもとに、視差画像を生成する。すなわち、視差画像生成部２０２は、画像内の各被写体像に対して、視差量導出部１０４で導出された視差量が付与されるように右画像データおよび左画像データを生成する。
【０１０１】
以上が第１の実施の形態のデジタルカメラ１００との違いである。すなわち、デジタルカメラ１００が双眼タイプの撮影光学系によって右画像、左画像を得ているのに対して、第２の実施の形態のデジタルカメラ１００Ａは、単眼の撮影光学系によって得られた、いわば２Ｄの画像データから合成によって右画像データおよび左画像データ、すなわち３Ｄの画像データを生成する。
【０１０２】
図８は、撮影動作時にデジタルカメラ１００Ａ内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図８のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１０３】
図５に示すフローチャート中、１フレーム分の右画像データおよび左画像データを取得する処理を信号処理部１０２に行わせる処理ステップであるＳ５０４の処理ステップが、図８のフローチャートではＳ８００の処理ステップに置き換えられている。また、図５に示すフローチャート中、撮影して得られた右画像、左画像をもとに注目被写体の実視差量を導出する処理を信号処理部１０２に行わせるＳ５０８の処理ステップが図８のフローチャートではＳ８０２の処理ステップに置き換えられている。
【０１０４】
システム制御部１４０はＳ８００において、１フレーム分の２Ｄ画像データを取得する処理を行うように信号処理部１０２Ａに制御信号を出力する。システム制御部１４０はまた、測距部２００から得られた各被写体までの距離の情報をもとに、画面内の各被写体までの距離に対応した視差が付与された右画像データおよび左画像データを生成する処理を行うように、信号処理部１０２に制御信号を出力する。
【０１０５】
Ｓ５０６の注目被写体検出処理は、例えば、図７に示される３１個のフォーカスポイントＤ中、所定の焦点調節アルゴリズムに従って選択されたフォーカスポイントおよびその周辺に写る被写体を注目被写体とする処理とすることが可能である。複数のフォーカスポイントの中からいずれかを自動選択するアルゴリズムとしては、最も近距離に位置する被写体が存在するエリア、最も遠距離に位置する被写体が存在するエリア、中間の距離に位置する被写体が存在するエリアを選択する方法等がある。あるいは、複数のフォーカスポイントの中からユーザが操作部１２２を操作して選択した一または複数のフォーカスポイントおよびその周辺に写る被写体を注目被写体とする処理とすることも可能である。
【０１０６】
システム制御部１４０はＳ８０２において、視差量導出部１０４Ａで導出された、各フォーカスポイントＤに対応する実視差量中、注目被写体の実視差量を抽出してメモリ１５８に一時的に記録する。
【０１０７】
Ｓ５１２での判定が肯定されてＳ５１４において表示視差量を調節するとの決定がなされた場合には、Ｓ５０２で設定された視差量パラメータに基づいて注目被写体の部分の表示視差量を調節した（注目被写体の表示視差量変化速度を抑制した）右画像データおよび左画像データがＳ５１６で生成される。そしてＳ５２０において、この右画像データおよび左画像データを用いて立体画像表示処理が行われる。
【０１０８】
あるいは、Ｓ５１２での判定が否定された場合の分岐先であるＳ５２６において表示視差量を調節しないとの決定がなされた場合には、Ｓ８００で生成された右画像データおよび左画像データを用いての立体画像表示処理がＳ５２０で行われる。
【０１０９】
以上では、Ｓ５１４において表示視差量を調節するとの決定がなされた場合に、Ｓ８００で一旦生成された右画像データおよび左画像データに処理が加えられる例について説明した。これに関して、Ｓ８００における右画像データおよび左画像データを生成する処理を省いてもよい。そして、Ｓ５１４、Ｓ５２６での決定の後に右画像データおよび左画像データを生成する処理を行うようにしてもよい。
【０１１０】
すなわち、Ｓ５１４で表示視差量を調節するとの決定がなされた場合には、Ｓ８００で取得した２Ｄ画像データと、視差量導出部１０４Ａで導出された各フォーカスポイントＤに対応する実視差量、そしてＳ５０２で設定された視差量パラメータに基づいて右画像データおよび左画像データを生成すればよい。この場合、注目被写体の部分の表示視差量を調節した右画像データおよび左画像データが得られる。一方、Ｓ５２６で表示視差量を調節しないとの決定がなされた場合には、Ｓ８００で取得した２Ｄ画像データと、視差量導出部１０４Ａで導出された各フォーカスポイントＤに対応する実視差量とに基づいて右画像データおよび左画像データを生成すればよい。
【０１１１】
ところで、第２の実施の形態においては、測距部２００から得られた各被写体までの距離の情報に基づいて視差量を求める例について説明した。このとき、第１の実施の形態でも説明したように、撮影光学系１３８の変倍動作や、いわゆる電子ズーム等を行って撮影倍率を変化させた場合にも視差量は変化する。したがって、第２の実施の形態においては、撮影光学系１３８の焦点距離情報（電子ズーム等が行われる場合には等価の焦点距離情報）と、測距部２００から得られる各被写体までの距離の情報とに基づいて実視差を導出することが望ましい。
【０１１２】
以上に説明した第２の実施の形態によれば、測距部２００から得られる各被写体までの距離の情報（デプスマップ）に基づいて実視差量を得ることが可能であるので、単眼の撮影光学系によって得られた２Ｄ画像データから立体画像データを得ることが可能となる。この場合、画像ファイルを生成して保存する際に、各被写体までの距離の情報をメタデータとして画像データに付加することも可能である。そして、この画像データファイルをもとにパーソナルコンピュータ（ＰＣ）等で再生表示を行う場合、以下のように再生表示をすることが可能である。
【０１１３】
３Ｄ表示に対応していないＰＣで画像を再生表示する場合、メタデータ中の上記距離の情報は無視されて通常の２Ｄ表示が行われる。３Ｄ表示に対応しているＰＣ上で再生表示を行う場合、画像ファイルに付加されるメタデータをもとにして右画像データ、左画像データを生成することが可能である。これらの右画像データ、左画像データに基づき、ＰＣの表示装置の立体画像表示方式に対応した立体画像データが生成され、３Ｄ表示が行われる。ＰＣ上で再生表示される画像は静止画であっても動画であってもよい。動画が生成表示される場合には図８のフローチャートを参照して説明した処理と同様の処理を行い、表示視差量変化速度を調節することも可能である。
【０１１４】
以上に説明したように、第２の実施の形態に係るデジタルカメラ１００Ａにおいても、ライブビュー画像を観視するユーザの疲労感を抑制可能となる。また、動画像撮影モード、静止画像撮影モードや、シーンモードで選択されている撮影シーン、あるいはシーン判別モードで自動判別された撮影シーン等に応じて、ライブビュー表示される立体画像中の注目被写体の表示視差量を調節する際の視差量パラメータが変更されるので、使用状況に適した奥行き感の立体画像を表示することが可能となる。
【０１１５】
− 第３の実施の形態 −
第１の実施の形態でも説明したが、表示視差量が増加する場合に比して減少する場合の方がユーザの疲労感は少ないことが知られている。そこで、第３の実施の形態においては、図１に示される構成を有するデジタルカメラ１００において、表示されている立体画像の表示視差量の増加速度が所定の閾値を越す場合にのみ、視差量を調節する例を説明する。
【０１１６】
図９は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図９のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１１７】
図５および図９に示されるフローチャートの相違点は、図９のフローチャート中、Ｓ５１０とＳ５１２との間にＳ９００の処理が挿入される点である。Ｓ５０４で取得した１フレーム分の右画像データおよび左画像データをもとに、Ｓ５０８の処理により、注目被写体の実視差量が導出、記録される。
【０１１８】
Ｓ５１０では、現フレームの実視差量と一つ前のフレームの表示視差量との比較が行われる。現フレームの実視差量は、Ｓ５０８で導出された、注目被写体の実視差量である。一つ前のフレームの表示視差量は、一つ前のフレームにおける注目被写体の表示視差量である。Ｓ９００では、Ｓ５１０での比較結果に基づき、現フレームの注目被写体の実視差量が、一つ前のフレームにおける注目被写体の表示視差量を超しているか否かが判定される。すなわち、現フレームの実視差量で立体画像を表示した場合に、注目被写体の像が一つ前のフレームでの表示状態に比して、画面手前側により突出して見えるか否かの判定がＳ９００で行われる。
【０１１９】
Ｓ９００の判定が肯定された場合、すなわち現フレームの実視差量で立体画像を表示した場合に、一つ前のフレームでの表示状態に比して、注目被写体の表示視差量が増加し、画面手前側に、より突出して見えるようになると判定された場合には、処理はＳ５１２に進む。一方、Ｓ９００の判定が否定された場合、すなわち、現フレームの実視差量で立体画像を表示した場合に、表示視差量は変化しない、もしくは、減少すると判定された場合、処理はＳ５２６に分岐する。
【０１２０】
Ｓ５１０とＳ５１２との間に上述したＳ９００の処理が挿入されることにより、注目被写体の表示視差量が減少する（立体画像中で注目被写体が画面奥側に向かって遠ざかるように見える）ときには、表示視差量変化速度によらず表示視差量を調節する処理（表示視差量変化速度を抑制する処理）がスキップされる。一方、注目被写体の表示視差量が増加（立体画像中で注目被写体が近寄ってきて突出感が増す）ときには、第１の実施の形態で説明したのと同様の処理が行われる。その結果、注目被写体表示視差量が増す（注目被写体が近づいてくる）場合において、その表示視差量変化速度が所定の閾値を越す場合には、注目被写体の画像の表示視差量が調節されて表示視差量変化速度が抑制される。その結果、立体画像を観視するユーザの疲労感を抑制することが可能となる。
【０１２１】
Ｓ９００の判定処理により、注目被写体の表示視差量が一つ前のフレームと同じ、もしくは減少する場合に表示視差量を調節する処理がスキップされることにより、以下の効果を得ることが可能となる。一つは、信号処理部１０２の処理負荷の低減が可能となり、それに伴い、電力の消費量を抑制可能となる点である。もう一つは、注目被写体が急に遠ざかる場合には立体表示される画像中の注目被写体の像も急に遠ざかる（画面奥側に向かって後退する）ように見えるので、表示される立体画像の奥行き感を強調できる点である。
【０１２２】
以上、第３の実施の形態で説明した処理、すなわち、表示視差量が減少する場合には表示視差量の変化量によらず、表示視差量を調節するのをスキップすることは、他の実施の形態のデジタルカメラでも行うことが可能である。
【０１２３】
− 第４の実施の形態 −
第４の実施の形態においては、図１に示される構成を有するデジタルカメラ１００と同様、時間の経過とともに注目被写体の表示視差量が増加する場合、減少する場合の双方において、表示視差量変化速度が閾値を越す場合に注目被写体の表示視差量を調節する。第１の実施の形態との違いは、第４の実施の形態において、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対するデフォーカス量が予め定められた閾値以上である場合に、注目被写体の表示視差量の変化量の大きさによらず、表示視差量の調節を行わない点である。
【０１２４】
第４の実施の形態において、デジタルカメラ１００は位相差ＡＦの方式で自動焦点調節を行うものとする。このとき、図７に例示されるような、撮影範囲Ｆ内の複数のフォーカスポイントＤで位相差を検出可能に構成されるものとする。また、注目被写体検出部１１６は、第１の実施の形態で説明したＡＦエリア内被写体認識処理、またはユーザ選択被写体認識処理によって注目被写体を検出するものとする。
【０１２５】
図１０は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図１０のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１２６】
図５および図１０に示されるフローチャートの相違点は、Ｓ５１２の処理が削除されてＳ１０００、Ｓ１００２の判定処理がＳ５１０の後に追加されている点である。
【０１２７】
システム制御部１４０はＳ１０００において、注目被写体のデフォーカス量の大きさが閾値１以上であるか否かの判定を行う。すなわち、注目被写体の写る位置にあるフォーカスポイントＤにおいて検出されたデフォーカス量が閾値１以上であるか否かの判定を行う。Ｓ１０００での判定が肯定されるとＳ５２６に進む一方、否定されるとＳ１００２に進む。Ｓ１０００での判定が否定される、すなわち注目被写体のデフォーカス量が閾値１を下回ると判定された場合の分岐先であるＳ１００２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値２を超すか否かを判定する。この判定が肯定されると処理はＳ５１４に進む一方、否定されるとＳ５２６に進む。
【０１２８】
以上のＳ１０００、Ｓ１００２の判定処理により、注目被写体のデフォーカス量の大きさが閾値１を下回り（注目被写体の像は比較的鮮鋭であり）、かつ、注目被写体の表示視差量の変化量が閾値２を上回る（注目被写体の表示視差量の変化速度が比較的大きい）ときに、Ｓ５１４において表示視差量を調節する処理（表示視差量変化速度を抑制する処理）が行われる。また、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）と判定されるときには、注目被写体の表示視差量の大小によらず、表示視差量の調節は行われない。
【０１２９】
上記閾値１、閾値２の値は、デジタルカメラ１００で設定されたモードに応じてＳ５０２で適宜設定することが可能である。閾値１については、撮影光学系１３８Ｒ、１３８Ｌの設定絞り値と、許容錯乱円径との積で求められる焦点深度に基づいて設定することが可能である。
【０１３０】
なお、Ｓ１０００においては、デフォーカス量の絶対値がとられて閾値１と比較されるものとする。すなわち、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態は、いわゆる前ピンである場合も、後ピンである場合もある。Ｓ１０００では、前ピンであるか後ピンであるかによらず、注目被写体のデフォーカス量の絶対値がとられて閾値１と比較される。この点、前ピンであるか、後ピンであるかに応じて異なる閾値が設定されてもよい。
【０１３１】
図１１は、図１０に示されるフローチャートの処理が行われているときの、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図である。図１１（ａ）が注目被写体に対する焦点調節状態の時間経過に伴う変化の様子を、図１１（ｂ）が注目被写体の表示視差量の時間経過に伴う変化の様子を示す。図１１（ｂ）には、表示視差量の変化が比較的大きい場合（曲線ｐ１）と、比較的小さい場合（曲線ｐ２）とが示されている。
【０１３２】
説明の前提として、タイミングｔ０で撮影シーンが急に変わったものとする。そして、撮影シーンの変化に伴い、注目被写体は別のものに切り替わって、デフォーカス量がｄ１に増加したものとする。
【０１３３】
まず、図１１（ａ）と、図１１（ｂ）の曲線ｐ１とを参照して説明をする。曲線ｐ１で示される注目被写体の表示視差量の変化速度は、表示視差量の調整をする前の状態では閾値２を上回っているものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。この時点における表示視差量の変化量は閾値２を上回っているので、表示視差量の調節（表示視差量変化速度の抑制）が行われるようになる。その後、タイミングｔ２で合焦動作は完了する。その後も表示視差量の調節を伴う表示更新が行われ、タイミングｔ３で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。
【０１３４】
次に、図１１（ａ）と図１１（ｂ）の曲線ｐ２とを参照して説明をする。曲線ｐ２で示される注目被写体の表示視差量の変化速度は閾値２以下であるものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。しかし、表示視差量の変化量は閾値２以下であるので、表示視差量の調節は行われない。その後、タイミングｔ２で合焦動作は完了する。また、このタイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。なお、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１３５】
以上に説明した第４の実施の形態によれば、注目被写体がデジタルカメラ１００に対して急に近づき、あるいは急に遠ざかって表示視差量の変化量が比較的大きくなる状況であっても、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）ときには、注目被写体の表示視差量の大小によらず、表示視差量の調節は行われない。被写体像が比較的大きくぼけている状況では、表示視差量の変化量が比較的大きくても、それを観視する人の眼は疲れにくいからである。一方、注目被写体のデフォーカス量が閾値１を下回り（注目被写体の像は比較的鮮鋭である）、かつ注目被写体の表示視差量の変化量が閾値２を超す状況では表示視差量の調節（表示視差量変化速度の抑制）が行われ、立体画像を観視する人の眼の疲れが抑制される。
【０１３６】
なお、第１の実施の形態でも説明したように、デジタルカメラ１００と注目被写体との間の距離が変わらない状態で撮影光学系１３８Ｒ、１３８Ｌの変倍操作（電子ズーム操作）が行われたときにも、表示視差量の変化を生じる。また、注目被写体に合焦していない状態で変倍操作が行われると、注目被写体に対するデフォーカス量は設定焦点距離の二乗に略比例するかたちで変化する。そのような状況においても、図１０に示される処理は有効に作用する。
【０１３７】
注目被写体の像が比較的大きくぼけているときに表示視差量の調節をしないようにすることにより、信号処理部１０２の処理負荷を減じて消費電力を低減することが可能となる。
【０１３８】
− 第５の実施の形態 −
図１２は、本発明の第５の実施の形態に係るデジタルカメラ１００Ｂの構成を説明するブロック図である。図１に示される第１の実施の形態のデジタルカメラ１００との比較において、図１２に示されるデジタルカメラ１００Ｂの信号処理部がフォーカシング速度調節部１１８をさらに備える点が相違する。図１２において、図１に示される第１の実施の形態のデジタルカメラ１００と同様の構成要素には同じ符号を付してその説明を省略し、第１の実施の形態との差異を中心に説明をする。
【０１３９】
デジタルカメラ１００Ｂは、第２の実施の形態で図６を参照して説明したような、単眼タイプの撮影光学系１３８と測距部２００とを備えるものであってもよいが、ここでは第１の実施の形態と同様、双眼タイプの撮影光学系１３８Ｒ、１３８Ｌを備えるものとして説明する。
【０１４０】
デジタルカメラ１００Ｂは、位相差ＡＦの方式で自動焦点調節を行うものとする。そして、図７に例示されるような、撮影範囲Ｆ内の複数のフォーカスポイントＤで位相差を検出可能に構成されるものとする。また、注目被写体検出部１１６は、第１の実施の形態で説明したＡＦエリア内被写体認識処理、またはユーザ選択被写体認識処理によって注目被写体を検出するものとする。
【０１４１】
フォーカシング速度調節部１１８は、フォーカシング制御部１３６が撮影光学系１３８Ｒ、１３８Ｌ内の焦点調節機構を駆動して合焦動作を行う際の合焦速度を必要に応じて調節する。フォーカシング速度調節部１１８は、以下の説明で明らかになるように、注目被写体に対するデフォーカス量の大きさと、注目被写体の表示視差量の変化量の大きさとに基づいて合焦速度を調節する。
【０１４２】
図１３は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図１３のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１４３】
図５および図１３に示されるフローチャートの相違点は、図５のフローチャートにおけるＳ５１２、Ｓ５１４、Ｓ５２６の処理が省かれて、Ｓ１３００、Ｓ１３０２、Ｓ１３０４、Ｓ１３０６の処理がＳ５１０の後に追加されている点と、図５のフローチャートにおけるＳ５０２の処理がＳ１３１０の処理に置き換えられている点である。
【０１４４】
Ｓ５００の判定が肯定された場合の分岐先であるＳ１３１０においてシステム制御部１４０は、変更されたモードに応じて焦点調節パラメータを設定する。この焦点調節パラメータには、以下で説明する閾値１や閾値２、そして注目被写体に対して焦点調節を行う際に焦点調節速度を調節して減速する際の調節量等に関するものを含む。
【０１４５】
システム制御部１４０はＳ１３００において、注目被写体のデフォーカス量の大きさが閾値１以上であるか否かの判定を行う。すなわち、注目被写体の写る位置にあるフォーカスポイントＤにおいて検出されたデフォーカス量が閾値１以上であるか否かの判定を行う。Ｓ１３００での判定が肯定されるとＳ１３０６に進む一方、否定されるとＳ１３０２に進む。Ｓ１３００での判定が否定される、すなわち注目被写体のデフォーカス量が閾値１を下回ると判定された場合の分岐先であるＳ１３０２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値２を超すか否かを判定する。この判定が肯定されると処理はＳ１３０４に進む一方、否定されるとＳ１３０６に進む。
【０１４６】
以上のＳ１３００、Ｓ１３０２、Ｓ１３０４、Ｓ１３０６の処理により、注目被写体のデフォーカス量の大きさが閾値１を下回り（注目被写体の像は比較的鮮鋭であり）、かつ、注目被写体の表示視差量の変化量が閾値２を上回る（注目被写体の表示視差量の変化速度が比較的大きい）ときに、Ｓ１３０４において注目被写体に対する焦点調節の速度を調節する（焦点調節速度を減じる）決定がなされる。注目被写体のデフォーカス量の大きさが閾値１を下回っていても、注目被写体の表示視差量の変化量が閾値２以下（Ｓ１３０２：いいえ）の場合には、Ｓ１３０６において注目被写体に対する焦点調節の速度を調節しない決定がなされる。また、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）と判定されるときには、注目被写体の表示視差量の大小によらず、Ｓ１３０６で注目被写体に対する焦点調節の速度を調節しない決定がなされる。
【０１４７】
上記閾値１、閾値２の値は、デジタルカメラ１００で設定されたモードに応じてＳ１３１０で設定することが可能である。閾値１については、デジタルカメラ１００Ｂで設定されているモードだけではなく、撮影光学系１３８Ｒ、１３８Ｌの設定絞り値と、許容錯乱円径との積で求められる焦点深度に基づいて設定することも可能である。
【０１４８】
Ｓ１３００においては、デフォーカス量の絶対値がとられて閾値１と比較されるものとする。すなわち、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態は、いわゆる前ピンである場合も、後ピンである場合もある。Ｓ１３００では、前ピンであるか後ピンであるかによらず、注目被写体のデフォーカス量の絶対値がとられて閾値１と比較される。この点、前ピンであるか、後ピンであるかに応じて異なる閾値が設定されてもよい。
【０１４９】
図１４は、図１３に示されるフローチャートの処理が行われているときの、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図である。図１４（ａ）が注目被写体に対する焦点調節状態の時間経過に伴う変化の様子を、図１４（ｂ）が注目被写体の表示視差量の時間経過に伴う変化の様子を示す。図１４（ａ）には、焦点調節速度の調節が行われる場合（曲線ｄ１）と、行われない場合（曲線ｄ２）とが示されている。図１４（ｂ）には、表示視差量の変化が比較的大きい場合（曲線ｐ３）と、比較的小さい場合（曲線ｐ４）とが示されている。
【０１５０】
説明の前提として、タイミングｔ０で撮影シーンが急に変わったものとする。そして、撮影シーンの変化に伴い、注目被写体は別のものに切り替わって、デフォーカス量がｄ１に増加したものとする。
【０１５１】
まず、図１４（ａ）の曲線ｄ１と、図１４（ｂ）の曲線ｐ３とを参照して説明をする。曲線ｐ３で示される注目被写体の表示視差量の変化速度は閾値２を上回っているものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、焦点調節速度の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。このとき、表示視差量の変化量は閾値２を上回っているので、焦点調節速度の調節（焦点調節速度を減じること）が行われるようになる。その後、タイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。そして、タイミングｔ３で合焦動作は完了する。
【０１５２】
次に、図１４（ａ）の曲線ｄ２と図１４（ｂ）の曲線ｐ４とを参照して説明をする。曲線ｐ４で示される注目被写体の表示視差量の変化速度は閾値２以下であるものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。しかし、表示視差量の変化量は閾値２以下であるので、焦点調節速度の調節は行われない。その後、タイミングｔ２で合焦動作が完了する。また、このタイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。なお、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１５３】
以上に説明した第５の実施の形態によれば、注目被写体がデジタルカメラ１００Ｂに対して急に近づき、あるいは急に遠ざかって表示視差量の変化量が比較的大きくなる状況であっても、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）ときには、注目被写体の表示視差量の大小によらず、焦点調節速度の調節（減速）は行われない。したがって、比較的高速の合焦動作を行うことが可能となる。被写体像が比較的大きくぼけている状況では、表示視差量の変化量が比較的大きくても、それを観視する人の眼は疲れにくいので、上述したような焦点調節動作を行うことが可能となる。
【０１５４】
一方、注目被写体のデフォーカス量が閾値１を下回り（注目被写体の像は比較的鮮鋭である）、かつ注目被写体の表示視差量の変化量が閾値２を超す状況では、焦点調節速度の調節（減速）が行われる。その結果、表示視差量の変化の大きさが比較的大きいものの、像のぼけが比較的大きい状態で立体画像の表示更新が行われることになる。表示視差量変化速度が比較的大きくても、表示される像がぼけていれば、立体画像を観視する人は眼の疲れを感じにくくなる。その後、表示される立体画像は、デフォーカス量が徐々に減少するのにつれて鮮鋭なものへと徐々に変化するので、立体画像を観視する人は眼の疲れを感じにくくなる。
【０１５５】
第５の実施の形態においても、第４の実施の形態で説明したのと同様に、デジタルカメラ１００と注目被写体との間の距離が変わらない状態で撮影光学系１３８Ｒ、１３８Ｌの変倍操作（電子ズーム操作）が行われたときにも、表示視差量の変化を生じる。また、注目被写体に合焦していない状態で変倍操作が行われても、注目被写体に対するデフォーカス量は設定焦点距離の二乗に略比例するかたちで変化する。そのような状況においても、図１３に示される処理は有効に作用する。
【０１５６】
第５の実施の形態によれば、以上に説明した効果を得ることができるのに加えて、以下の効果も得ることができる。すなわち、立体画像を観視する人の眼の疲れを抑制するために、焦点調節速度を調節する処理のみが行われ、画像処理による表示視差量の変化量を抑制する処理は行われないので、信号処理部１０２Ｂの処理負荷を減じることが可能となる。したがって、ハードウェアの規模の縮小や、消費電力を抑制することが可能となる。
【０１５７】
− 第６の実施の形態 −
第６の実施の形態においては、図１２に示される構成を有するデジタルカメラ１００Ｂにおいて、注目被写体に対する現状のデフォーカス量が第１の閾値を下回り、かつ、注目被写体の表示視差量の変化の大きさが第２の閾値を超す場合に焦点調節速度および表示視差量の双方を調節する例を説明する。
【０１５８】
第６の実施の形態においても、デジタルカメラ１００Ｂは、位相差ＡＦの方式で自動焦点調節を行うものとする。そして、図７に例示されるような、撮影範囲Ｆ内の複数のフォーカスポイントＤで位相差を検出可能に構成されるものとする。また、注目被写体検出部１１６は、第１の実施の形態で説明したＡＦエリア内被写体認識処理、またはユーザ選択被写体認識処理によって注目被写体を検出するものとする。
【０１５９】
図１５は、撮影動作時にデジタルカメラ１００内で実行されるライブビュー立体画像表示の処理手順を概略的に説明するフローチャートである。図１５のフローチャート中、第１の実施の形態のデジタルカメラ１００内で実行される、図５のフローチャート中の処理と同様の処理ステップには図５に示すものと同じステップ符号を付してその詳細な説明を省略する。そして、第１の実施の形態との違いを中心に説明をする。
【０１６０】
図５および図１５に示されるフローチャートの相違点は、図５のフローチャートにおけるＳ５１２の処理が省かれて、Ｓ１５００、Ｓ１５０２、Ｓ１５０４、Ｓ１５０６の処理がＳ５１０の後に追加されている点と、図５のフローチャートにおけるＳ５０２の処理がＳ１５１０の処理に置き換えられている点である。
【０１６１】
Ｓ５００の判定が肯定された場合の分岐先であるＳ１５１０においてシステム制御部１４０は、変更されたモードに応じて焦点調節パラメータおよび視差量パラメータを設定する。この焦点調節パラメータおよび視差量パラメータには、以下で説明する閾値１や閾値２、そして注目被写体に対して焦点調節を行う際に焦点調節速度を調節して減速する際の調節量、注目被写体表示視差量変化速度を調節して抑制する際の調節量等に関するものを含む。
【０１６２】
システム制御部１４０はＳ１５００において、注目被写体のデフォーカス量の大きさが閾値１以上であるか否かの判定を行う。すなわち、注目被写体の写る位置にあるフォーカスポイントＤにおいて検出されたデフォーカス量が閾値１以上であるか否かの判定を行う。Ｓ１５００での判定が肯定されるとＳ１５０６に進む一方、否定されるとＳ１５０２に進む。Ｓ１５００での判定が否定される、すなわち注目被写体のデフォーカス量が閾値１を下回ると判定された場合の分岐先であるＳ１５０２においてシステム制御部１４０は、注目被写体の視差量の変化量、すなわちＳ５１０で比較した、現フレームにおける注目被写体の実視差量と一つ前のフレームにおける注目被写体の表示視差量との差が閾値２を超すか否かを判定する。この判定が肯定されると処理はＳ１５０４に進む一方、否定されるとＳ１５０６に進む。
【０１６３】
以上のＳ１５００、Ｓ１５０２、Ｓ１５０４、Ｓ１５０６の処理により、注目被写体のデフォーカス量の大きさが閾値１を下回り（注目被写体の像は比較的鮮鋭であり）、かつ、注目被写体の表示視差量の変化量が閾値２を上回る（注目被写体の表示視差量の変化速度が比較的大きい）ときに、Ｓ１５０４において注目被写体に対する焦点調節の速度を調節する（減じる）決定がなされ、続くＳ５１４で注目被写体の表示視差量を調節する決定がなされる。注目被写体のデフォーカス量の大きさが閾値１を下回っていても、注目被写体の表示視差量の変化量が閾値２以下（Ｓ１５０２：いいえ）の場合には、Ｓ１５０６において注目被写体に対する焦点調節の速度を調節しない決定がなされ、続くＳ５２４において注目被写体の表示視差量を調節しない決定がなされる。また、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）と判定されるときには、注目被写体の表示視差量の大小によらず、Ｓ１５０６で注目被写体に対する焦点調節の速度を調節しない決定がなされ、続くＳ５２４において注目被写体の表示視差量を調節しない決定がなされる。
【０１６４】
上記閾値１、閾値２の値は、デジタルカメラ１００で設定されたモードに応じてＳ１５１０で適宜設定することが可能である。閾値１については、デジタルカメラ１００Ｂで設定されているモードだけではなく、撮影光学系１３８Ｒ、１３８Ｌの設定絞り値と、許容錯乱円径との積で求められる焦点深度に基づいて設定することも可能である。
【０１６５】
Ｓ１５００においては、第５の実施の形態で説明したのと同様、デフォーカス量の絶対値がとられて閾値１と比較されるものとする。また、前ピンであるか、後ピンであるかに応じて異なる閾値が設定されてもよいのも、第５の実施の形態で説明したのと同様である。
【０１６６】
図１６は、図１５に示されるフローチャートの処理が行われているときの、撮影光学系１３８Ｒ、１３８Ｌの注目被写体に対する焦点調節状態と注目被写体の表示視差量との関係を説明する図である。図１６（ａ）が注目被写体に対する焦点調節状態の時間経過に伴う変化の様子を、図１６（ｂ）が注目被写体の表示視差量の時間経過に伴う変化の様子を示す。図１６（ａ）には、焦点調節速度の調節が行われる場合（曲線ｄ３）と、行われない場合（曲線ｄ４）とが示されている。図１６（ｂ）には、注目被写体の表示視差量の変化が比較的大きく、注目被写体の表示視差量の調節が行われる場合（曲線ｐ５）と、注目被写体の表示視差量が比較的小さく、注目被写体の表示視差量の調節が行われない場合（曲線ｐ６）とが示されている。
【０１６７】
説明の前提として、タイミングｔ０で撮影シーンが急に変わったものとする。そして、撮影シーンの変化に伴い、注目被写体は別のものに切り替わって、デフォーカス量がｄ１に増加したものとする。
【０１６８】
まず、図１６（ａ）の曲線ｄ３と、図１６（ｂ）の曲線ｐ５とを参照して説明をする。曲線ｐ５で示される注目被写体の表示視差量の変化速度は、調節をしない状態では閾値２を上回っているものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、焦点調節速度の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。このとき、表示視差量の変化量は閾値２を上回っているので、注目被写体に対する焦点調節の速度の調節（焦点調節速度の減速）が行われるようになる。このとき、注目被写体の表示視差量の調節も併せて行われる。その後、タイミングｔ３で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。そして、同じタイミングｔ３で合焦動作は完了する。なお、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１６９】
次に、図１６（ａ）の曲線ｄ４と図１６（ｂ）の曲線ｐ６とを参照して説明をする。曲線ｐ６で示される注目被写体の表示視差量の変化速度は閾値２以下であるものとする。タイミングｔ０以降、焦点調節と立体画像の表示更新が繰り返し行われる。タイミングｔ１に達するまでは、デフォーカス量は閾値１以上であるため、表示視差量の変化量の大小によらず、表示視差量の調節は行われない。タイミングｔ１を過ぎると、デフォーカス量は閾値１を下回るようになる。しかし、表示視差量の変化量は閾値２以下であるので、焦点調節速度の調節は行われない。その後、タイミングｔ２で注目被写体に対する合焦動作が完了する。また、このタイミングｔ２で注目被写体の表示視差量が注目被写体の実視差量と一致するようになる。この場合も、注目被写体の表示視差量が注目被写体の実視差量と一致するようになるタイミングと、注目被写体に対する合焦動作が完了するタイミングとは必ずしも同時である必要はない。
【０１７０】
以上に説明した第６の実施の形態によれば、注目被写体がデジタルカメラ１００Ｂに対して急に近づき、あるいは急に遠ざかって表示視差量の変化量が比較的大きくなる状況であっても、注目被写体のデフォーカス量が閾値１以上である（注目被写体の像は比較的ぼけている）ときには、注目被写体の表示視差量の大小によらず、注目被写体の表示視差量の調節や注目被写体に対する焦点調節の速度の調節（減速）は行われない。したがって、より短時間のうちに合焦動作を完了することが可能となる。
【０１７１】
被写体像が比較的大きくぼけている状況では、表示視差量の変化量が比較的大きくても、それを観視する人の眼は疲れにくいので、上述したような焦点調節動作や立体画像の表示更新を行うことが可能となる。一方、注目被写体のデフォーカス量が閾値１を下回り（注目被写体の像は比較的鮮鋭である）、かつ注目被写体の表示視差量の変化量が閾値２を超す状況では注目被写体に対する焦点調節の速度の調節（減速）と、注目被写体の表示視差量の調節（表示視差量変化速度の抑制）とが併行して行われる。その結果、注目被写体の表示視差量の変化の大きさが抑制され、かつ、像の鮮鋭度が比較的ゆっくりと増すように立体画像の表示更新が行われる。そのため、注目被写体とデジタルカメラ１００Ｂとの間の距離が急に変化するような状況であっても、立体画像を観視する人は眼の疲れを感じにくくなる。
【０１７２】
第６の実施の形態においても、第４あるいは第５の実施の形態で説明したのと同様に、デジタルカメラ１００Ｂと注目被写体との間の距離が変わらない状態で撮影光学系１３８Ｒ、１３８Ｌの変倍操作（電子ズーム操作）が行われたときにも、表示視差量の変化を生じる。また、注目被写体に合焦していない状態で変倍操作が行われても、注目被写体に対するデフォーカス量は設定焦点距離の二乗に略比例するかたちで変化する。そのような状況においても、図１５に示される処理は有効に作用する。
【０１７３】
第６の実施の形態によれば、以上に説明した効果を得ることができるのに加えて、以下の効果も得ることができる。すなわち、焦点調節速度を調節する処理と、表示視差量変化速度の抑制処理とが合わせて行われるので、表示される画像の変化をより緩やかにすることが可能となる。そのため、立体画像を観視する人は眼の疲れをより感じにくくなる。例えば、長時間の動画像を撮影する際などに効果を発揮する。
【０１７４】
以上、第１から第６の実施の形態において注目被写体の表示視差量変化速度や注目被写体に対する焦点調節状態（デフォーカス量）が所定の閾値を超す／超さない場合に基づいて、表示視差量変化速度や焦点調節速度を調節する／しないが決定される例について説明した。これらの例において、閾値を多段に設定し、注目被写体の表示視差量変化速度や注目被写体に対する焦点調節速度の調整がきめ細かく設定されるようにしてもよい。さらに、これらの表示視差量変化速度や焦点調節速度を、注目被写体の表示視差量変化速度や注目被写体に対する焦点調節状態に基づいて無段階に（連続的に）、あるいは無段階に近い状態で調節することも可能である。
【０１７５】
第１から第６の実施の形態で説明した立体画像撮影装置は、スチルカメラであってもムービーカメラであってもよい。これらの立体画像撮影装置は、携帯電話や他の可搬型の情報処理装置等に内蔵されるものであってもよい。
【符号の説明】
【０１７６】
１００、１００Ａ、１００Ｂ … デジタルカメラ
１０２、１０２Ａ、１０２Ｂ … 信号処理部
１０４、１０４Ａ … 視差量導出部
１０６ … 視差量パラメータ記憶部
１０８ … 表示視差量調節部
１１０、１１０Ａ … 焦点検出部
１１２ … 露光制御部
１１６ … 注目被写体検出部
１１８ … フォーカシング速度調節部
１２０ … 立体画像データ生成部
１３０、１３０Ｒ、１３０Ｌ … 撮像部
１３２、１３２Ｒ、１３２Ｌ … 撮像制御部
１３４、１３４Ａ … 撮影光学系制御部
１３６、１３６Ａ … フォーカシング制御部
１３８、１３８Ｒ、１３８Ｌ … 撮影光学系
１４０ … システム制御部
１４２ … 操作部
１５０ … 表示制御部
１５２ … 表示部
１５４ … 記録制御部
１５６ … 記録部
２００ … 測距部
２０２ … 視差画像生成部
【特許請求の範囲】
【請求項１】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記視差量導出部で導出される前記注目被写体の視差量の時間経過に伴う変化の大きさが閾値を越す場合に、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備えることを特徴とする立体画像撮影装置。
【請求項２】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、焦点調節の速度が減じられるように調節するフォーカシング速度調節部と
を備えることを特徴とする立体画像撮影装置。
【請求項３】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備えることを特徴とする立体画像撮影装置。
【請求項４】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部と
を備え、
前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記フォーカシング速度調節部は焦点調節の速度を減じるように調節し、かつ、前記表示視差量調節部は前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度を減じるように調節する
ことを特徴とする立体画像撮影装置。
【請求項５】
前記立体画像撮影装置は、動画像撮影モードと静止画像撮影モードとに撮影動作モードを切り替え可能に構成され、
前記フォーカシング速度調節部は、前記立体画像撮影装置が、前記静止画像撮影モードに切り替えられているときの焦点調節の速度に比して、前記動画像撮影モードに切り替えられているときの焦点調節の速度がより低くなるように調節することを特徴とする請求項２または４に記載の立体画像撮影装置。
【請求項６】
前記立体画像撮影装置は、動画像撮影モードと静止画像撮影モードとに撮影動作モードを切り替え可能に構成され、
前記表示視差量調節部は、前記静止画像撮影モードに切り替えられているときの前記表示視差量変化速度に比して、前記動画像撮影モードに切り替えられているときの前記表示視差量変化速度がより低くなるように調節することを特徴とする請求項１、３、および４のうち、いずれか一つに記載の立体画像撮影装置。
【請求項７】
前記注目被写体検出部は、
前記撮像部によって生成された画像データを解析してパターン認識処理を行い、画像中で特定のパターンを有する領域として抽出された部分に写る被写体を前記注目被写体として検出する第１の注目被写体検出処理部と、
撮影画面内に複数設定されるフォーカスフレーム中、ユーザにより選択されたフォーカスフレームの位置に写る被写体を前記注目被写体として検出する第２の注目被写体検出処理部と
のうち、少なくともいずれかを備えることを特徴とする請求項１から６のいずれか一つに記載の立体画像撮影装置。
【請求項８】
前記表示部上に設けられるタッチパネルスイッチをさらに備え、
前記注目被写体検出部は、前記表示部に表示される画像中、ユーザにより前記タッチパネルスイッチが操作された位置に表示されている被写体を前記注目被写体として検出する第３の注目被写体検出処理部をさらに備える
ことを特徴とする請求項１から７のいずれか一つに記載の立体画像撮影装置。
【請求項９】
前記立体画像撮影装置はさらに、
撮影目的に応じてユーザが選択可能に構成されるシーンモードであって、
ユーザにより選択された特定の撮影シーンに対応してより好ましい撮影結果が得られるように撮影パラメータが自動設定されるシーンモードと、
撮影準備動作中に前記撮像部で生成された画像データを解析して撮影シーンを自動判別し、判別された撮影シーンに対応してより好ましい撮影結果が得られるように撮影パラメータが設定されるシーン判別モードと
のうち、少なくともいずれかのモードでの動作が可能に構成され、
前記選択された特定の撮影シーン、または前記自動判別された撮影シーンに対応して前記閾値が決定される
ことを特徴とする請求項１から８のいずれか一つに記載の立体画像撮影装置。
【請求項１０】
前記フォーカシング速度調節部または前記表示視差量調節部による調節が行われる場合の調節量と、前記閾値とは、前記ユーザにより設定可能に構成されることを特徴とする請求項１から９のいずれか一つに記載の立体画像撮影装置。
【請求項１１】
前記フォーカシング速度調節部または前記表示視差量調節部による調節は、前記視差量導出部で導出される前記注目被写体の視差量が時間経過に伴って増加する場合に行われることを特徴とする請求項１から１０のいずれか一つに記載の立体画像撮影装置。
【請求項１】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記視差量導出部で導出される前記注目被写体の視差量の時間経過に伴う変化の大きさが閾値を越す場合に、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備えることを特徴とする立体画像撮影装置。
【請求項２】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、焦点調節の速度が減じられるように調節するフォーカシング速度調節部と
を備えることを特徴とする立体画像撮影装置。
【請求項３】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部であって、前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度が減じられるように調節する、表示視差量調節部と
を備えることを特徴とする立体画像撮影装置。
【請求項４】
撮影光学系により形成された被写体像を光電変換して画像データを生成する撮像部と、
前記撮像部で生成された画像データに基づき、視差を有する右眼用画像および左眼用画像を形成可能な立体画像データを生成する立体画像データ生成部と、
前記立体画像データに基づく画像を表示し、ユーザが立体画像を観視可能に構成される表示部と、
撮影対象の被写体中に存在する注目被写体を検出する注目被写体検出部と、
前記注目被写体の視差量を導出する視差量導出部と、
前記撮影光学系の焦点調節状態を検出する焦点検出部と、
前記注目被写体に合焦するように、前記撮影光学系の焦点調節制御を行うフォーカシング制御部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記フォーカシング制御部による焦点調節の速度を変化させるフォーカシング速度調節部と、
前記焦点検出部によって検出された、前記注目被写体に対する現状のデフォーカス量の大きさと、前記視差量検出部で導出された前記注目被写体の視差量の時間経過に伴う変化の大きさとに基づき、前記表示部に表示される画像に立体感を与えるための表示視差量を調節する表示視差量調節部と
を備え、
前記デフォーカス量の大きさが第１の閾値を下回り、かつ、前記注目被写体の視差量の時間経過に伴う変化の大きさが第２の閾値を上回るときに、前記フォーカシング速度調節部は焦点調節の速度を減じるように調節し、かつ、前記表示視差量調節部は前記表示部に表示される前記注目被写体の表示視差量の時間経過に伴う変化の大きさである表示視差量変化速度を減じるように調節する
ことを特徴とする立体画像撮影装置。
【請求項５】
前記立体画像撮影装置は、動画像撮影モードと静止画像撮影モードとに撮影動作モードを切り替え可能に構成され、
前記フォーカシング速度調節部は、前記立体画像撮影装置が、前記静止画像撮影モードに切り替えられているときの焦点調節の速度に比して、前記動画像撮影モードに切り替えられているときの焦点調節の速度がより低くなるように調節することを特徴とする請求項２または４に記載の立体画像撮影装置。
【請求項６】
前記立体画像撮影装置は、動画像撮影モードと静止画像撮影モードとに撮影動作モードを切り替え可能に構成され、
前記表示視差量調節部は、前記静止画像撮影モードに切り替えられているときの前記表示視差量変化速度に比して、前記動画像撮影モードに切り替えられているときの前記表示視差量変化速度がより低くなるように調節することを特徴とする請求項１、３、および４のうち、いずれか一つに記載の立体画像撮影装置。
【請求項７】
前記注目被写体検出部は、
前記撮像部によって生成された画像データを解析してパターン認識処理を行い、画像中で特定のパターンを有する領域として抽出された部分に写る被写体を前記注目被写体として検出する第１の注目被写体検出処理部と、
撮影画面内に複数設定されるフォーカスフレーム中、ユーザにより選択されたフォーカスフレームの位置に写る被写体を前記注目被写体として検出する第２の注目被写体検出処理部と
のうち、少なくともいずれかを備えることを特徴とする請求項１から６のいずれか一つに記載の立体画像撮影装置。
【請求項８】
前記表示部上に設けられるタッチパネルスイッチをさらに備え、
前記注目被写体検出部は、前記表示部に表示される画像中、ユーザにより前記タッチパネルスイッチが操作された位置に表示されている被写体を前記注目被写体として検出する第３の注目被写体検出処理部をさらに備える
ことを特徴とする請求項１から７のいずれか一つに記載の立体画像撮影装置。
【請求項９】
前記立体画像撮影装置はさらに、
撮影目的に応じてユーザが選択可能に構成されるシーンモードであって、
ユーザにより選択された特定の撮影シーンに対応してより好ましい撮影結果が得られるように撮影パラメータが自動設定されるシーンモードと、
撮影準備動作中に前記撮像部で生成された画像データを解析して撮影シーンを自動判別し、判別された撮影シーンに対応してより好ましい撮影結果が得られるように撮影パラメータが設定されるシーン判別モードと
のうち、少なくともいずれかのモードでの動作が可能に構成され、
前記選択された特定の撮影シーン、または前記自動判別された撮影シーンに対応して前記閾値が決定される
ことを特徴とする請求項１から８のいずれか一つに記載の立体画像撮影装置。
【請求項１０】
前記フォーカシング速度調節部または前記表示視差量調節部による調節が行われる場合の調節量と、前記閾値とは、前記ユーザにより設定可能に構成されることを特徴とする請求項１から９のいずれか一つに記載の立体画像撮影装置。
【請求項１１】
前記フォーカシング速度調節部または前記表示視差量調節部による調節は、前記視差量導出部で導出される前記注目被写体の視差量が時間経過に伴って増加する場合に行われることを特徴とする請求項１から１０のいずれか一つに記載の立体画像撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１７８６８８（Ｐ２０１２−１７８６８８Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−４０１９５（Ｐ２０１１−４０１９５）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]