撮像装置
【課題】高速かつ低振動で三次元画像を撮像する。
【解決手段】撮像装置１は、可変絞り３と、可変絞り３の絞り値を調節する絞り駆動部７と、可変絞り３等を通過した光束を撮像する撮像素子５と、ＣＰＵ９とを備える。ＣＰＵ９は、絞り駆動部７により可変絞り３の絞り値を調節しながら撮像素子５による撮像を複数回行って、複数の二次元画像を得る撮像制御処理９２と、複数の二次元画像からそれぞれ主要被写体に関する二次元被写体像を抽出する被写体像抽出処理９３と、被写体像抽出処理９３により抽出された複数の二次元被写体像について、配置順序を決定する配置順序決定処理９４と、配置順序決定処理９４により決定された配置順序に基づいて複数の二次元被写体像の画像データを画像記憶部１１に記憶し、主要被写体の三次元画像データを作成する三次元被写体像データ作成処理９５として機能する。
【解決手段】撮像装置１は、可変絞り３と、可変絞り３の絞り値を調節する絞り駆動部７と、可変絞り３等を通過した光束を撮像する撮像素子５と、ＣＰＵ９とを備える。ＣＰＵ９は、絞り駆動部７により可変絞り３の絞り値を調節しながら撮像素子５による撮像を複数回行って、複数の二次元画像を得る撮像制御処理９２と、複数の二次元画像からそれぞれ主要被写体に関する二次元被写体像を抽出する被写体像抽出処理９３と、被写体像抽出処理９３により抽出された複数の二次元被写体像について、配置順序を決定する配置順序決定処理９４と、配置順序決定処理９４により決定された配置順序に基づいて複数の二次元被写体像の画像データを画像記憶部１１に記憶し、主要被写体の三次元画像データを作成する三次元被写体像データ作成処理９５として機能する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、フォーカシングレンズを走査して得た最適合焦位置データに基づいて、立体画像表示の画像を得る撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３１１２４８５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法では、フォーカシングレンズの駆動スピードや駆動時の振動が問題となる場合がある。本発明の目的は、高速かつ低振動で三次元画像を撮像することにある。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、絞りと、絞りの絞り値を調節する絞り調節手段と、絞りの通過光束を撮像する撮像手段と、絞り調節手段により絞りを調節しながら撮像手段により複数回撮像を行い、複数の二次元画像を得る撮像制御手段と、複数の二次元画像からそれぞれ主要被写体に関する被写体像を抽出する被写体像抽出手段と、被写体像抽出手段により抽出された複数の被写体像について、配置順序を決定する配置順序決定手段と、配置順序決定手段により決定された配置順序に基づいて複数の被写体像を記憶して主要被写体の三次元画像データを作成する三次元被写体像データ作成手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
高速かつ低振動で三次元画像を撮像することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態による撮像装置の一構成例を示すブロック図である。
【図２】撮像制御処理に関するフローチャートである。
【図３】絞り値と被写界深度の関係を説明するための図である。
【図４】撮像制御処理により複数撮像される二次元画像データの一例である。
【図５】被写体像抽出処理の処理結果を例示するための図である。
【図６】被写界深度の計算について説明するための補助図である。
【図７】三次元画像データのデータフォーマットの一例である。
【図８】三次元画像データに基づいて再生出力されるステレオペア画像の一例である。
【図９】ステレオペア画像の作成における画像処理の一例である。
【図１０】三次元画像データが記憶されるまでのフローチャートの一例である。
【発明を実施するための形態】
【０００８】
図１は、本発明の一実施形態による撮像装置の一構成例を示すブロック図である。図１に示す撮像装置１は、三次元被写体像を作成可能なデジタルカメラであって、光学系２ａ〜２ｃと可変絞り３とシャッタ４と撮像素子５とレンズ駆動部６と絞り駆動部７とシャッタ制御部８とＣＰＵ９とメモリ１０と画像記憶部１１と操作部材１２と再生装置１３とを備える。
【０００９】
光学系２ｂはフォーカシングレンズであり、モータやドライバなどからなるレンズ駆動部５により光軸方向に駆動され、主要被写体に対して光学系２ａ〜２ｃが焦点調節状態になるように制御される。なお、光学系２ｃはズームレンズである。
【００１０】
可変絞り３は光学系２ａ〜２ｃを通過する光束を絞るためのものであって、絞り駆動部７が駆動することによりその開口量が調整され、絞り値が調節される。シャッタ４はシャッタ制御部８の制御により開閉し、閉じているとき撮像素子５を被写体光束から遮蔽する。
【００１１】
撮像素子５は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどであって、可変絞り３およびシャッタ４を通過した光束を受光し、被写体を撮像する。撮像素子５により撮像される画像は二次元画像であって、ＣＰＵ９へ出力される。
【００１２】
ＣＰＵ９は、焦点調節処理９１や、撮像制御処理９２、被写体像抽出処理９３、配置順序決定処理９４、三次元被写体像データ作成処理９５、補完用画像データ作成処理９６などを実行する。図１に示したこれらの処理については詳細を後述する。また、図１に示した処理はＣＰＵ９が実行する処理の一例であって、ＣＰＵ９が実行する処理は図示したものだけに限定されない。
【００１３】
メモリ１０は、揮発性の記憶媒体であって、焦点調節処理９１などの各種処理を実行中のＣＰＵ９によって作業領域として利用される。画像記憶部１１は、フラッシュメモリ等、着脱可能な不揮発性の記憶媒体であって、三次元被写体像データ作成処理９５や補完用画像データ作成処理９６により作成された画像データなどを記憶する。
【００１４】
操作部材１２は、電源スイッチやレリーズスイッチなどの各種スイッチを含む。ユーザは、操作部材１２を操作して撮像装置１の設定や、被写体に関する三次元画像の撮像指示などを行うことができる。以降、被写体に関する三次元画像のことを三次元被写体像と称する。
【００１５】
再生装置１３は、液晶式の表示モニタを含み、撮像装置１の操作メニューや二次元画像などの表示と、三次元画像データの再生出力とを行うことができる。三次元画像データの再生出力とは、右目用と左目用のステレオペア画像を出力することを指す。
【００１６】
焦点調節処理９１は、顔認識処理などの公知の方法で選択した主要被写体について合焦状態となるように、位相差検出ＡＦ方式などの公知の焦点検出手段により光学系２ｂの焦点位置を検出する。焦点調節処理９１が検出した光学系２ｂの焦点位置に関する情報はレンズ駆動部６へ送信され、レンズ駆動部６が受信した焦点位置に関する情報に基づいて光学系２ｂを駆動する。これにより、光学系２ａ〜２ｃは主要被写体に合焦する。
【００１７】
撮像制御処理９２は、撮像素子５と絞り駆動部７とシャッタ制御部８とを制御して、被写体光束を撮像し、その結果得られた二次元画像を焦点調節処理９１や、被写体像抽出処理９３、補完用画像データ作成処理９６などへ出力する。撮像制御処理９２は、操作部材１２を介して三次元被写体像の撮像指示があったときにその処理の実行を開始する。
【００１８】
図２は、撮像制御処理９２に関するフローチャートの一例である。ステップＳ１０１では、ＣＰＵ９は絞り駆動部７を制御して可変絞り３の絞り値を最大に設定し、可変絞り３を開放状態にする。ステップＳ１０２では、焦点調節処理９１を実行し、光学系２ａ〜２ｃを主要被写体に合焦させる。ステップＳ１０３では、シャッタ制御部８を制御してシャッタ４を開く。
【００１９】
ステップＳ１０３にてシャッタ４を開いたら、ＣＰＵ９はステップＳ１０４〜ステップＳ１０６の処理を所定回数繰り返す。所定回数は、撮像装置１の設計段階において予め定められている。ステップＳ１０４では、撮像素子５から二次元画像データを取り込む。ステップＳ１０５では、ステップＳ１０４で取り込んだ二次元画像と、絞り駆動部７へ指示した可変絞り３の絞り値に関する情報と、光学系２ｂの焦点位置とをメモリ１０へ記憶する。ステップＳ１０６では、可変絞り３の絞り値を絞る。
【００２０】
ステップＳ１０６において可変絞り３の絞り値を変更すると、光学系２ａ〜２ｃの被写界深度が変化する。具体的には、可変絞り３の絞り値が小さくなるほど被写界深度が深くなる。主要被写体が複数あるとき、被写界深度が深くなることにより、ステップＳ１０２で合焦状態にした主要被写体以外の主要被写体についても合焦状態とみなせる。
【００２１】
図３は、可変絞り３の絞り値と被写界深度との関係を示す図である。図３（ａ）は可変絞り３の絞り値が開放状態にあり、図３（ｂ）は可変絞り３の絞り値が絞られている。光学系２ａ〜２ｃは、図３（ａ）および図３（ｂ）では、被写体距離Ｌ１の位置にある人物３０１に合焦している。図３（ａ）の状態から図３（ｂ）の状態に可変絞り３を絞ると、被写界深度Δ１が被写界深度Δ２に広がる。被写体深度Δ２の範囲には、家屋３０２があり、家屋３０２についても合焦状態とみなせる。山岳３０３については、図３（ａ）の被写界深度Δ１および図３（ｂ）の被写界深度Δ２のいずれの範囲内にもないため、合焦状態とはみなせない。
【００２２】
ステップＳ１０７では、ＣＰＵ９は、シャッタ制御部８を制御してシャッタ４を閉じる。ステップＳ１０８では、ＣＰＵ９は、ステップＳ１０５でメモリ１０に記憶した二次元画像と、絞り駆動部７へ指示した可変絞り３の絞り値に関する情報と、光学系２ｂの焦点位置とを、被写体像抽出処理９３および補完用画像データ作成処理９６へ出力する。
【００２３】
被写体像抽出処理９３の処理について図４および図５に示す例を用いて説明する。被写体像抽出処理９３は、図２のステップＳ１０８において撮像制御処理９２が出力する二次元画像データの中から合焦状態にある主要被写体の被写体像を抽出する。図４は、図２のステップＳ１０８において出力された二次元画像データの一例である。図４に示す二次元画像３００には、人物３０１と家屋３０２と山岳３０３とが撮像されている。
【００２４】
可変絞り３が図３（ａ）の状態にあるとき、二次元画像３００のうち、人物３０１が合焦状態にあり、家屋３０２および山岳３０３は合焦していない。このとき、被写体像抽出処理９３は、二次元画像３００の中から人物３０１の被写体像を抽出し、図５（ａ）のような二次元画像データを作成する。
【００２５】
可変絞り３が図３（ｂ）の状態にあるとき、二次元画像３００のうち、人物３０１および家屋３０２が合焦状態にあり、山岳３０３は合焦していない。このとき、被写体像抽出処理９３は、二次元画像３００の中から人物３０１の被写体像を抽出し、図５（ａ）のような二次元画像データを作成する。また、被写体像抽出処理９３は、二次元画像３００の中から家屋３０２の被写体像を抽出し図５（ｂ）のような二次元画像データを作成する。図５（ｂ）に示される家屋３０２の被写体像にある影３１１は、家屋３０２の被写体像のうち人物３０１により隠れていた部分である。影３１１の部分に関しては家屋３０２の画像データが無く、空データを表すデータが記憶されている。以降、被写体像抽出処理９３が被写体像を抽出することにより作成する二次元画像のことを二次元被写体像と称する。図２のステップＳ１０８において二次元画像データは複数出力されており、被写体像抽出処理９３は、それらの各二次元画像データから被写体像をそれぞれ抽出し、各被写体ごとに複数の二次元被写体像を作成する。
【００２６】
撮像装置１は、被写体像抽出処理９３により作成された二次元被写体像から主要被写体の三次元画像を作成する。以降、主要被写体の三次元画像のことを三次元被写体像と称する。三次元被写体像は、被写体像抽出処理９３により作成された複数の二次元被写体像を三次元仮想空間において光軸に沿って並べて配置し、各主要被写体ごとに画像処理を施すことにより得られる。二次元画像被写体像を並べる順番は配置順序決定処理９４により決定される。
【００２７】
配置順序決定処理９４は、被写体像抽出処理９３により作成された複数の二次元被写体像の配置順序を決定する処理である。配置順序決定処理９４は、図２のステップＳ１０８において二次元画像データとともに記憶した焦点位置および絞り値に基づいて、配置順序を決定する。まず配置順序決定処理９４は、二次元画像データとともに記憶された焦点位置に基づいて、たとえば公知のレンズの公式などから合焦距離を導出する。そして、配置順序決定処理９４は、二次元画像データとともに記憶された焦点位置および絞り値と、算出された合焦距離とに基づいて、下式（１）および下式（２）により光学系２ｂの光軸上の位置から被写界深度の両端（最前端および最奥端）までの距離ΔｆおよびΔｂをそれぞれ算出する。式中のｆは焦点距離、Ｆは絞り値、ａは合焦距離、εは最小錯乱円の直径である。被写界深度ΔｆおよびΔｂ、合焦距離ａ、最小錯乱円の直径εの関係を図６に図示する。
【数１】
・・・（１）
【数２】
・・・（２）
【００２８】
配置順序決定処理９４は、こうして算出された被写界深度の最前端までの距離に基づいて、合焦状態にある主要被写体までの距離（被写体距離）を算出し、二次元画像データの配置順序を決定する。配置順序決定処理９４は、決定した配置順序、被写体距離、二次元被写体像に対応する主要被写体への光の当たり具合などの情報を被写体距離情報としてメモリ１０へ記憶し、さらにその被写体距離情報と二次元被写体像とを対として三次元被写体像データ作成処理９５へ出力する。
【００２９】
三次元被写体像データ作成処理９５は、配置順序決定処理９４から出力された被写体距離情報と二次元被写体像との対を、三次元被写体像の画像データとして画像記憶部１１へ記憶する。補完用画像データ作成処理９６は、撮像制御処理９２から出力された二次元画像を、補完用の画像データとして画像記憶部１１へ記憶する。撮像装置１では、三次元被写体像データ作成処理９５が記憶する三次元被写体像の画像データと、補完用画像データ作成処理９６が記憶する補完用の画像データとを一つの三次元画像データとして記憶する。なお、補完用画像データ作成処理９６が画像記憶部１１へ記憶する補完用の画像データは、一つでも複数でもよい。可変絞り３の絞り値を最も絞ったときに撮像制御処理９２から出力された二次元画像を画像記憶部１１へ記憶することにすればよい。
【００３０】
図７は、三次元被写体像データ作成処理９５および補完用画像データ作成処理９６により記憶される三次元画像データのデータフォーマットの一例である。図７に例示するデータフォーマット５００は、ヘッダ部５０１と、補完用画像データ作成処理９６が補完用の画像データを記憶する補完用画像データ記憶部５０２と、三次元被写体像データ作成処理９５が三次元被写体像の画像データを記憶する三次元被写体像データ記憶部５０３と、三次元画像データファイルの終わりを示すファイル終端部５０４とを有する。
【００３１】
三次元被写体像データ記憶部５０３は主要被写体ごとに設けられる。たとえば、人物３０１用の三次元被写体像データ記憶部５０３と家屋３０２用の三次元被写体像データ記憶部５０３とが設けられる。各三次元被写体像データ記憶部５０３は、いずれの主要被写体の三次元被写体像なのかを識別するためのラベル部５０３ａと、被写体距離情報を記憶する被写体距離情報記憶部５０３ｂと、二次元被写体像の画像データを記憶する二次元被写体像データ記憶部５０３ｃとをそれぞれ有する。被写体距離情報記憶部５０３ｂと二次元被写体像データ記憶部５０３ｃとは、三次元被写体像データ記憶部５０３ごとに複数個有し、その個数は撮像制御処理９２においてステップＳ１０４〜Ｓ１０６の処理を繰り返す回数と一致する。各三次元被写体像データ記憶部５０３に含まれる複数の二次元被写体像データ記憶部５０３ｃには、配置順序決定処理９４が決定した配置順序に基づいた順番で、二次元被写体像の画像データが記憶される。複数の被写体距離情報記憶部５０３ｂについても同様に配置順序決定処理９４が決定した配置順序に基づいた順番で二次元被写体像の画像データが記憶される。
【００３２】
撮像装置１は、補完用画像データを用いて、三次元画像データから二次元画像を再生装置１３上に表示、再生することができる。さらに撮像装置１では、三次元被写体像データ記憶部５０３に記憶された三次元被写体像の画像データに基づいて主要被写体を三次元に観察可能な三次元被写体像のステレオペア画像を再生装置１３から再生出力することができる。
【００３３】
図８は、三次元画像の再生出力例である。図８（ａ）および図８（ｂ）は図３に例示された二次元画像に基づいた三次元画像を表し、図８（ａ）はステレオペアの右目用の画像であり、図８（ｂ）はステレオペアの左目用の画像である。
【００３４】
図８（ａ）には、三次元仮想空間上に人物３０１の三次元被写体像６０１ａと家屋３０２の三次元被写体像６０２ａとが配置され、合焦状態とならなかった山岳３０３の画像が背景として配置されている。一方、図８（ｂ）には、三次元仮想空間上に人物３０１の三次元被写体像６０１ｂと家屋３０２の三次元被写体像６０２ｂとが配置され、山岳３０３の画像が背景として配置されている。なお、人物３０１の三次元被写体像６０１ａと家屋３０２の三次元被写体像６０２ａと人物３０１の三次元被写体像６０１ｂと家屋３０２の三次元被写体像６０２ｂとが配置される位置は被写体距離情報に含まれる被写体距離に基づく。
【００３５】
主要被写体の三次元被写体像は、画像記憶部１１に記憶された三次元画像データのうち、三次元被写体像データ記憶部５０３の二次元被写体像データ記憶部５０３ｃに記憶された二次元被写体像の画像データに基づいて再生される。背景画像は、補完用画像データ記憶部５０２に記憶された補完用の画像データに基づいて再生される。
【００３６】
図８（ａ）の影６１１ａおよび図８（ｂ）の影６１１ｂは、図５（ｂ）の影３１１に対応する。このように二次元画像を撮像したときに隠れていて撮像できなかった部位については、図８（ａ）および図８（ｂ）のように画像データを再生しないことにしてもよいし、補完用画像データ記憶部５０２に記憶された補完用の画像データから補完用画像を作成し、補完することにしてもよい。たとえば、影６１１ａの部位と同一形状で影６１１ａの部位の周辺の色情報に基づいた色の補完用画像を作成すればよい。このような補完用画像は、補完用画像データ記憶部５０２に記憶された補完用の画像データから作成される。
【００３７】
図９は、再生装置１３から三次元被写体像を再生するときにＣＰＵ９が実行する三次元被写体像を作成するための画像処理について説明する図である。図９（ａ）〜（ｃ）に示す例では、家屋３０２に関する三次元被写体像を作成する。ＣＰＵ９は、画像記憶装置１１から家屋３０２に関するラベルが記憶されたラベル部５０３ａを検索する。そして、検索されたラベル部５０３ａを有する三次元被写体像記憶部５０３について、複数の被写体距離情報記憶部５０３ｂおよび複数の二次元被写体像データ記憶部５０３ｃからそれぞれ被写体距離情報と二次元被写体像データを読出す。ＣＰＵ９は、被写体距離情報記憶部５０３ｂに記憶された配置順序に基づいて、各被写体距離情報記憶部５０３ｂに対応する二次元被写体像データ記憶部５０３ｃに記憶された二次元被写体像を光軸方向に沿って並べる。図９（ａ）は、家屋３０２の二次元被写体像３０２ａ〜３０２ｅが三次元仮想空間の光軸方向７０１に沿って並んだ状態を示す。図９（ｂ）は、三次元仮想空間内における二次元被写体像３０２ａ〜３０２ｅの位置関係からＣＰＵ９が画像処理により仮想面７０２ａ〜７０２ｃを補間した状態を示す。この処理により、図８の家屋３０２の三次元被写体像６０２ａが作成できる。図９（ｃ）は、三次元被写体像６０２ａ上の影６１１ａを、補完した状態を示す。図９（ｃ）に例示されている家屋３０２の三次元被写体像７０３は、三次元被写体像６０２ａの影６１１ａが補完画像により補完されている。
【００３８】
図１０は、画像記憶部１１に三次元画像データが記憶されるまでにＣＰＵ９が実行する処理に関するフローチャートである。ステップＳ１００では、ＣＰＵ９は、図２にフローチャートを例示した撮像制御処理を実行する。ステップＳ２００では、ＣＰＵ９は、被写体像抽出処理９３を実行して撮像制御処理９２により撮像された二次元画像から主要被写体の二次元被写体像（たとえば、図５）を抽出する。ステップＳ３００では、ＣＰＵ９は、配置順序決定処理９４を実行して各二次元被写体像について被写体距離情報をメモリ１０へ記憶する。ステップＳ４００では、ＣＰＵ９は、配置順序決定処理９４を実行して、各主要被写体ごとに複数の二次元被写体像の配置順序を決定する。
【００３９】
ステップＳ５００では、ＣＰＵ９は、三次元被写体像データ作成処理９５を実行する。ＣＰＵ９は、三次元画像の画像データのヘッダ部５０１を画像記憶部１１に記憶する。次にＣＰＵ９は、各被写体ごとに対応するラベルを作成し、ラベル部５０３ａに記憶する。その後ＣＰＵ９は、ラベル部５０３ａに対応する三次元被写体像データ記憶部５０３に当該被写体の各二次元被写体画像データを二次元被写体データ記憶部５０３ｃにそれぞれ記憶し、各二次元被写体画像データに対応した被写体距離情報を被写体距離情報記憶部５０３ｂにそれぞれ記憶する。ステップＳ６００では、ＣＰＵ９は、補完用画像データ作成処理９６が補完用の画像データを画像記憶部１１に記憶する。三次元被写体像データ作成処理９５が作成した三次元画像の画像データの補完用画像データ記憶部５０２に補完用の画像データを記憶する。補完用の画像データは、撮像制御処理９２により撮像された二次元画像そのものでもよい。
【００４０】
以上で説明した実施の形態によれば、以下の作用効果が得られる。
撮像装置１は、可変絞り３と、可変絞り３の絞り値を調節する絞り駆動部７と、可変絞り３等を通過した光束を撮像する撮像素子５と、ＣＰＵ９とを備える。ＣＰＵ９は、絞り駆動部７により可変絞り３の絞り値を調節しながら撮像素子５による撮像を複数回行って、複数の二次元画像を得る撮像制御処理９２と、複数の二次元画像からそれぞれ主要被写体に関する二次元被写体像を抽出する被写体像抽出処理９３と、被写体像抽出処理９３により抽出された複数の二次元被写体像について、配置順序を決定する配置順序決定処理９４と、配置順序決定処理９４により決定された配置順序に基づいて複数の二次元被写体像の画像データを二次元被写体像データ記憶部５０３ｃに記憶し、三次元被写体像データ記憶部５０３に主要被写体の三次元画像データを作成する三次元被写体像データ作成処理９５として機能する。光学系２ｂの駆動ではなく、可変絞り３の絞り値を変えて三次元画像データを得ることができるため、高速かつ低振動で三次元画像を撮像することができる。
【００４１】
また、本発明により三次元画像データを撮像する場合、光学系２ａ〜２ｃは従来の一眼レフカメラのレンズを使用することができる。すなわち、本発明によれば、三次元画像を撮像するために特別なレンズを用意する必要はない。
【００４２】
以上で説明した実施の形態は、以下のように変形して実施できる。
〔１〕上記の実施形態では、図２のステップＳ１０１において、可変絞り３を開放状態にしたが、可変絞り３の開口量を最小限に絞り、ステップＳ１０６で開放することにしてもよい。
【００４３】
〔２〕上記の実施形態では、図２のステップＳ１０２において、焦点調節処理９１を実行して光学系２ａ〜２ｃを焦点調節状態としたが、焦点調節処理９１を実行せずに光学系２ｂの位置をテレ端またはワイド端に設定することにしてもよい。
【００４４】
〔３〕上記の実施形態では、図２のステップＳ１０６において可変絞り３の絞り値を調節しながら撮像素子５の感度を変更した。しかし、撮像素子５の感度ではなくシャッタースピードを変化させることにしてもよい。また、配置順序決定処理９４における配置順序の決定を容易にするために光学系２ｂを駆動して光学系２ａ〜２ｃの被写界深度の最奥端または最近端を略一定に保つことは許容される。
【００４５】
〔４〕画像記憶部１１に記憶された三次元画像データを三次元に再生するときは、図８（ａ）または図８（ｂ）のような画像を再生装置１３に表示することにしてもよい。このとき、操作部材１２により図８（ａ）および図８（ｂ）のいずれを表示するかを選択できるようにすることが望ましい。
【００４６】
〔５〕被写体距離の算出は、配置順序決定処理９４以外の場所で行ってもよい。たとえば、撮像制御処理９２のステップＳ１０５とステップＳ１０６との間で実行することにしてもよい。
【００４７】
以上で説明した実施の形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。
【符号の説明】
【００４８】
１ 撮像装置
２ａ〜２ｃ 光学系
３ 可変絞り
４ シャッタ
５ 撮像素子
６ レンズ駆動部
７ 絞り駆動部
８ シャッタ制御部
９ ＣＰＵ
１０ メモリ
１１ 画像記憶部
１２ 操作部材
１３ 再生装置
９２ 撮像制御処理
９３ 被写体像抽出処理
９４ 配置順序決定処理
９５ 三次元被写体像データ作成処理
９６ 補完用画像データ作成処理
【技術分野】
【０００１】
本発明は三次元画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、フォーカシングレンズを走査して得た最適合焦位置データに基づいて、立体画像表示の画像を得る撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３１１２４８５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法では、フォーカシングレンズの駆動スピードや駆動時の振動が問題となる場合がある。本発明の目的は、高速かつ低振動で三次元画像を撮像することにある。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、絞りと、絞りの絞り値を調節する絞り調節手段と、絞りの通過光束を撮像する撮像手段と、絞り調節手段により絞りを調節しながら撮像手段により複数回撮像を行い、複数の二次元画像を得る撮像制御手段と、複数の二次元画像からそれぞれ主要被写体に関する被写体像を抽出する被写体像抽出手段と、被写体像抽出手段により抽出された複数の被写体像について、配置順序を決定する配置順序決定手段と、配置順序決定手段により決定された配置順序に基づいて複数の被写体像を記憶して主要被写体の三次元画像データを作成する三次元被写体像データ作成手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
高速かつ低振動で三次元画像を撮像することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態による撮像装置の一構成例を示すブロック図である。
【図２】撮像制御処理に関するフローチャートである。
【図３】絞り値と被写界深度の関係を説明するための図である。
【図４】撮像制御処理により複数撮像される二次元画像データの一例である。
【図５】被写体像抽出処理の処理結果を例示するための図である。
【図６】被写界深度の計算について説明するための補助図である。
【図７】三次元画像データのデータフォーマットの一例である。
【図８】三次元画像データに基づいて再生出力されるステレオペア画像の一例である。
【図９】ステレオペア画像の作成における画像処理の一例である。
【図１０】三次元画像データが記憶されるまでのフローチャートの一例である。
【発明を実施するための形態】
【０００８】
図１は、本発明の一実施形態による撮像装置の一構成例を示すブロック図である。図１に示す撮像装置１は、三次元被写体像を作成可能なデジタルカメラであって、光学系２ａ〜２ｃと可変絞り３とシャッタ４と撮像素子５とレンズ駆動部６と絞り駆動部７とシャッタ制御部８とＣＰＵ９とメモリ１０と画像記憶部１１と操作部材１２と再生装置１３とを備える。
【０００９】
光学系２ｂはフォーカシングレンズであり、モータやドライバなどからなるレンズ駆動部５により光軸方向に駆動され、主要被写体に対して光学系２ａ〜２ｃが焦点調節状態になるように制御される。なお、光学系２ｃはズームレンズである。
【００１０】
可変絞り３は光学系２ａ〜２ｃを通過する光束を絞るためのものであって、絞り駆動部７が駆動することによりその開口量が調整され、絞り値が調節される。シャッタ４はシャッタ制御部８の制御により開閉し、閉じているとき撮像素子５を被写体光束から遮蔽する。
【００１１】
撮像素子５は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどであって、可変絞り３およびシャッタ４を通過した光束を受光し、被写体を撮像する。撮像素子５により撮像される画像は二次元画像であって、ＣＰＵ９へ出力される。
【００１２】
ＣＰＵ９は、焦点調節処理９１や、撮像制御処理９２、被写体像抽出処理９３、配置順序決定処理９４、三次元被写体像データ作成処理９５、補完用画像データ作成処理９６などを実行する。図１に示したこれらの処理については詳細を後述する。また、図１に示した処理はＣＰＵ９が実行する処理の一例であって、ＣＰＵ９が実行する処理は図示したものだけに限定されない。
【００１３】
メモリ１０は、揮発性の記憶媒体であって、焦点調節処理９１などの各種処理を実行中のＣＰＵ９によって作業領域として利用される。画像記憶部１１は、フラッシュメモリ等、着脱可能な不揮発性の記憶媒体であって、三次元被写体像データ作成処理９５や補完用画像データ作成処理９６により作成された画像データなどを記憶する。
【００１４】
操作部材１２は、電源スイッチやレリーズスイッチなどの各種スイッチを含む。ユーザは、操作部材１２を操作して撮像装置１の設定や、被写体に関する三次元画像の撮像指示などを行うことができる。以降、被写体に関する三次元画像のことを三次元被写体像と称する。
【００１５】
再生装置１３は、液晶式の表示モニタを含み、撮像装置１の操作メニューや二次元画像などの表示と、三次元画像データの再生出力とを行うことができる。三次元画像データの再生出力とは、右目用と左目用のステレオペア画像を出力することを指す。
【００１６】
焦点調節処理９１は、顔認識処理などの公知の方法で選択した主要被写体について合焦状態となるように、位相差検出ＡＦ方式などの公知の焦点検出手段により光学系２ｂの焦点位置を検出する。焦点調節処理９１が検出した光学系２ｂの焦点位置に関する情報はレンズ駆動部６へ送信され、レンズ駆動部６が受信した焦点位置に関する情報に基づいて光学系２ｂを駆動する。これにより、光学系２ａ〜２ｃは主要被写体に合焦する。
【００１７】
撮像制御処理９２は、撮像素子５と絞り駆動部７とシャッタ制御部８とを制御して、被写体光束を撮像し、その結果得られた二次元画像を焦点調節処理９１や、被写体像抽出処理９３、補完用画像データ作成処理９６などへ出力する。撮像制御処理９２は、操作部材１２を介して三次元被写体像の撮像指示があったときにその処理の実行を開始する。
【００１８】
図２は、撮像制御処理９２に関するフローチャートの一例である。ステップＳ１０１では、ＣＰＵ９は絞り駆動部７を制御して可変絞り３の絞り値を最大に設定し、可変絞り３を開放状態にする。ステップＳ１０２では、焦点調節処理９１を実行し、光学系２ａ〜２ｃを主要被写体に合焦させる。ステップＳ１０３では、シャッタ制御部８を制御してシャッタ４を開く。
【００１９】
ステップＳ１０３にてシャッタ４を開いたら、ＣＰＵ９はステップＳ１０４〜ステップＳ１０６の処理を所定回数繰り返す。所定回数は、撮像装置１の設計段階において予め定められている。ステップＳ１０４では、撮像素子５から二次元画像データを取り込む。ステップＳ１０５では、ステップＳ１０４で取り込んだ二次元画像と、絞り駆動部７へ指示した可変絞り３の絞り値に関する情報と、光学系２ｂの焦点位置とをメモリ１０へ記憶する。ステップＳ１０６では、可変絞り３の絞り値を絞る。
【００２０】
ステップＳ１０６において可変絞り３の絞り値を変更すると、光学系２ａ〜２ｃの被写界深度が変化する。具体的には、可変絞り３の絞り値が小さくなるほど被写界深度が深くなる。主要被写体が複数あるとき、被写界深度が深くなることにより、ステップＳ１０２で合焦状態にした主要被写体以外の主要被写体についても合焦状態とみなせる。
【００２１】
図３は、可変絞り３の絞り値と被写界深度との関係を示す図である。図３（ａ）は可変絞り３の絞り値が開放状態にあり、図３（ｂ）は可変絞り３の絞り値が絞られている。光学系２ａ〜２ｃは、図３（ａ）および図３（ｂ）では、被写体距離Ｌ１の位置にある人物３０１に合焦している。図３（ａ）の状態から図３（ｂ）の状態に可変絞り３を絞ると、被写界深度Δ１が被写界深度Δ２に広がる。被写体深度Δ２の範囲には、家屋３０２があり、家屋３０２についても合焦状態とみなせる。山岳３０３については、図３（ａ）の被写界深度Δ１および図３（ｂ）の被写界深度Δ２のいずれの範囲内にもないため、合焦状態とはみなせない。
【００２２】
ステップＳ１０７では、ＣＰＵ９は、シャッタ制御部８を制御してシャッタ４を閉じる。ステップＳ１０８では、ＣＰＵ９は、ステップＳ１０５でメモリ１０に記憶した二次元画像と、絞り駆動部７へ指示した可変絞り３の絞り値に関する情報と、光学系２ｂの焦点位置とを、被写体像抽出処理９３および補完用画像データ作成処理９６へ出力する。
【００２３】
被写体像抽出処理９３の処理について図４および図５に示す例を用いて説明する。被写体像抽出処理９３は、図２のステップＳ１０８において撮像制御処理９２が出力する二次元画像データの中から合焦状態にある主要被写体の被写体像を抽出する。図４は、図２のステップＳ１０８において出力された二次元画像データの一例である。図４に示す二次元画像３００には、人物３０１と家屋３０２と山岳３０３とが撮像されている。
【００２４】
可変絞り３が図３（ａ）の状態にあるとき、二次元画像３００のうち、人物３０１が合焦状態にあり、家屋３０２および山岳３０３は合焦していない。このとき、被写体像抽出処理９３は、二次元画像３００の中から人物３０１の被写体像を抽出し、図５（ａ）のような二次元画像データを作成する。
【００２５】
可変絞り３が図３（ｂ）の状態にあるとき、二次元画像３００のうち、人物３０１および家屋３０２が合焦状態にあり、山岳３０３は合焦していない。このとき、被写体像抽出処理９３は、二次元画像３００の中から人物３０１の被写体像を抽出し、図５（ａ）のような二次元画像データを作成する。また、被写体像抽出処理９３は、二次元画像３００の中から家屋３０２の被写体像を抽出し図５（ｂ）のような二次元画像データを作成する。図５（ｂ）に示される家屋３０２の被写体像にある影３１１は、家屋３０２の被写体像のうち人物３０１により隠れていた部分である。影３１１の部分に関しては家屋３０２の画像データが無く、空データを表すデータが記憶されている。以降、被写体像抽出処理９３が被写体像を抽出することにより作成する二次元画像のことを二次元被写体像と称する。図２のステップＳ１０８において二次元画像データは複数出力されており、被写体像抽出処理９３は、それらの各二次元画像データから被写体像をそれぞれ抽出し、各被写体ごとに複数の二次元被写体像を作成する。
【００２６】
撮像装置１は、被写体像抽出処理９３により作成された二次元被写体像から主要被写体の三次元画像を作成する。以降、主要被写体の三次元画像のことを三次元被写体像と称する。三次元被写体像は、被写体像抽出処理９３により作成された複数の二次元被写体像を三次元仮想空間において光軸に沿って並べて配置し、各主要被写体ごとに画像処理を施すことにより得られる。二次元画像被写体像を並べる順番は配置順序決定処理９４により決定される。
【００２７】
配置順序決定処理９４は、被写体像抽出処理９３により作成された複数の二次元被写体像の配置順序を決定する処理である。配置順序決定処理９４は、図２のステップＳ１０８において二次元画像データとともに記憶した焦点位置および絞り値に基づいて、配置順序を決定する。まず配置順序決定処理９４は、二次元画像データとともに記憶された焦点位置に基づいて、たとえば公知のレンズの公式などから合焦距離を導出する。そして、配置順序決定処理９４は、二次元画像データとともに記憶された焦点位置および絞り値と、算出された合焦距離とに基づいて、下式（１）および下式（２）により光学系２ｂの光軸上の位置から被写界深度の両端（最前端および最奥端）までの距離ΔｆおよびΔｂをそれぞれ算出する。式中のｆは焦点距離、Ｆは絞り値、ａは合焦距離、εは最小錯乱円の直径である。被写界深度ΔｆおよびΔｂ、合焦距離ａ、最小錯乱円の直径εの関係を図６に図示する。
【数１】
・・・（１）
【数２】
・・・（２）
【００２８】
配置順序決定処理９４は、こうして算出された被写界深度の最前端までの距離に基づいて、合焦状態にある主要被写体までの距離（被写体距離）を算出し、二次元画像データの配置順序を決定する。配置順序決定処理９４は、決定した配置順序、被写体距離、二次元被写体像に対応する主要被写体への光の当たり具合などの情報を被写体距離情報としてメモリ１０へ記憶し、さらにその被写体距離情報と二次元被写体像とを対として三次元被写体像データ作成処理９５へ出力する。
【００２９】
三次元被写体像データ作成処理９５は、配置順序決定処理９４から出力された被写体距離情報と二次元被写体像との対を、三次元被写体像の画像データとして画像記憶部１１へ記憶する。補完用画像データ作成処理９６は、撮像制御処理９２から出力された二次元画像を、補完用の画像データとして画像記憶部１１へ記憶する。撮像装置１では、三次元被写体像データ作成処理９５が記憶する三次元被写体像の画像データと、補完用画像データ作成処理９６が記憶する補完用の画像データとを一つの三次元画像データとして記憶する。なお、補完用画像データ作成処理９６が画像記憶部１１へ記憶する補完用の画像データは、一つでも複数でもよい。可変絞り３の絞り値を最も絞ったときに撮像制御処理９２から出力された二次元画像を画像記憶部１１へ記憶することにすればよい。
【００３０】
図７は、三次元被写体像データ作成処理９５および補完用画像データ作成処理９６により記憶される三次元画像データのデータフォーマットの一例である。図７に例示するデータフォーマット５００は、ヘッダ部５０１と、補完用画像データ作成処理９６が補完用の画像データを記憶する補完用画像データ記憶部５０２と、三次元被写体像データ作成処理９５が三次元被写体像の画像データを記憶する三次元被写体像データ記憶部５０３と、三次元画像データファイルの終わりを示すファイル終端部５０４とを有する。
【００３１】
三次元被写体像データ記憶部５０３は主要被写体ごとに設けられる。たとえば、人物３０１用の三次元被写体像データ記憶部５０３と家屋３０２用の三次元被写体像データ記憶部５０３とが設けられる。各三次元被写体像データ記憶部５０３は、いずれの主要被写体の三次元被写体像なのかを識別するためのラベル部５０３ａと、被写体距離情報を記憶する被写体距離情報記憶部５０３ｂと、二次元被写体像の画像データを記憶する二次元被写体像データ記憶部５０３ｃとをそれぞれ有する。被写体距離情報記憶部５０３ｂと二次元被写体像データ記憶部５０３ｃとは、三次元被写体像データ記憶部５０３ごとに複数個有し、その個数は撮像制御処理９２においてステップＳ１０４〜Ｓ１０６の処理を繰り返す回数と一致する。各三次元被写体像データ記憶部５０３に含まれる複数の二次元被写体像データ記憶部５０３ｃには、配置順序決定処理９４が決定した配置順序に基づいた順番で、二次元被写体像の画像データが記憶される。複数の被写体距離情報記憶部５０３ｂについても同様に配置順序決定処理９４が決定した配置順序に基づいた順番で二次元被写体像の画像データが記憶される。
【００３２】
撮像装置１は、補完用画像データを用いて、三次元画像データから二次元画像を再生装置１３上に表示、再生することができる。さらに撮像装置１では、三次元被写体像データ記憶部５０３に記憶された三次元被写体像の画像データに基づいて主要被写体を三次元に観察可能な三次元被写体像のステレオペア画像を再生装置１３から再生出力することができる。
【００３３】
図８は、三次元画像の再生出力例である。図８（ａ）および図８（ｂ）は図３に例示された二次元画像に基づいた三次元画像を表し、図８（ａ）はステレオペアの右目用の画像であり、図８（ｂ）はステレオペアの左目用の画像である。
【００３４】
図８（ａ）には、三次元仮想空間上に人物３０１の三次元被写体像６０１ａと家屋３０２の三次元被写体像６０２ａとが配置され、合焦状態とならなかった山岳３０３の画像が背景として配置されている。一方、図８（ｂ）には、三次元仮想空間上に人物３０１の三次元被写体像６０１ｂと家屋３０２の三次元被写体像６０２ｂとが配置され、山岳３０３の画像が背景として配置されている。なお、人物３０１の三次元被写体像６０１ａと家屋３０２の三次元被写体像６０２ａと人物３０１の三次元被写体像６０１ｂと家屋３０２の三次元被写体像６０２ｂとが配置される位置は被写体距離情報に含まれる被写体距離に基づく。
【００３５】
主要被写体の三次元被写体像は、画像記憶部１１に記憶された三次元画像データのうち、三次元被写体像データ記憶部５０３の二次元被写体像データ記憶部５０３ｃに記憶された二次元被写体像の画像データに基づいて再生される。背景画像は、補完用画像データ記憶部５０２に記憶された補完用の画像データに基づいて再生される。
【００３６】
図８（ａ）の影６１１ａおよび図８（ｂ）の影６１１ｂは、図５（ｂ）の影３１１に対応する。このように二次元画像を撮像したときに隠れていて撮像できなかった部位については、図８（ａ）および図８（ｂ）のように画像データを再生しないことにしてもよいし、補完用画像データ記憶部５０２に記憶された補完用の画像データから補完用画像を作成し、補完することにしてもよい。たとえば、影６１１ａの部位と同一形状で影６１１ａの部位の周辺の色情報に基づいた色の補完用画像を作成すればよい。このような補完用画像は、補完用画像データ記憶部５０２に記憶された補完用の画像データから作成される。
【００３７】
図９は、再生装置１３から三次元被写体像を再生するときにＣＰＵ９が実行する三次元被写体像を作成するための画像処理について説明する図である。図９（ａ）〜（ｃ）に示す例では、家屋３０２に関する三次元被写体像を作成する。ＣＰＵ９は、画像記憶装置１１から家屋３０２に関するラベルが記憶されたラベル部５０３ａを検索する。そして、検索されたラベル部５０３ａを有する三次元被写体像記憶部５０３について、複数の被写体距離情報記憶部５０３ｂおよび複数の二次元被写体像データ記憶部５０３ｃからそれぞれ被写体距離情報と二次元被写体像データを読出す。ＣＰＵ９は、被写体距離情報記憶部５０３ｂに記憶された配置順序に基づいて、各被写体距離情報記憶部５０３ｂに対応する二次元被写体像データ記憶部５０３ｃに記憶された二次元被写体像を光軸方向に沿って並べる。図９（ａ）は、家屋３０２の二次元被写体像３０２ａ〜３０２ｅが三次元仮想空間の光軸方向７０１に沿って並んだ状態を示す。図９（ｂ）は、三次元仮想空間内における二次元被写体像３０２ａ〜３０２ｅの位置関係からＣＰＵ９が画像処理により仮想面７０２ａ〜７０２ｃを補間した状態を示す。この処理により、図８の家屋３０２の三次元被写体像６０２ａが作成できる。図９（ｃ）は、三次元被写体像６０２ａ上の影６１１ａを、補完した状態を示す。図９（ｃ）に例示されている家屋３０２の三次元被写体像７０３は、三次元被写体像６０２ａの影６１１ａが補完画像により補完されている。
【００３８】
図１０は、画像記憶部１１に三次元画像データが記憶されるまでにＣＰＵ９が実行する処理に関するフローチャートである。ステップＳ１００では、ＣＰＵ９は、図２にフローチャートを例示した撮像制御処理を実行する。ステップＳ２００では、ＣＰＵ９は、被写体像抽出処理９３を実行して撮像制御処理９２により撮像された二次元画像から主要被写体の二次元被写体像（たとえば、図５）を抽出する。ステップＳ３００では、ＣＰＵ９は、配置順序決定処理９４を実行して各二次元被写体像について被写体距離情報をメモリ１０へ記憶する。ステップＳ４００では、ＣＰＵ９は、配置順序決定処理９４を実行して、各主要被写体ごとに複数の二次元被写体像の配置順序を決定する。
【００３９】
ステップＳ５００では、ＣＰＵ９は、三次元被写体像データ作成処理９５を実行する。ＣＰＵ９は、三次元画像の画像データのヘッダ部５０１を画像記憶部１１に記憶する。次にＣＰＵ９は、各被写体ごとに対応するラベルを作成し、ラベル部５０３ａに記憶する。その後ＣＰＵ９は、ラベル部５０３ａに対応する三次元被写体像データ記憶部５０３に当該被写体の各二次元被写体画像データを二次元被写体データ記憶部５０３ｃにそれぞれ記憶し、各二次元被写体画像データに対応した被写体距離情報を被写体距離情報記憶部５０３ｂにそれぞれ記憶する。ステップＳ６００では、ＣＰＵ９は、補完用画像データ作成処理９６が補完用の画像データを画像記憶部１１に記憶する。三次元被写体像データ作成処理９５が作成した三次元画像の画像データの補完用画像データ記憶部５０２に補完用の画像データを記憶する。補完用の画像データは、撮像制御処理９２により撮像された二次元画像そのものでもよい。
【００４０】
以上で説明した実施の形態によれば、以下の作用効果が得られる。
撮像装置１は、可変絞り３と、可変絞り３の絞り値を調節する絞り駆動部７と、可変絞り３等を通過した光束を撮像する撮像素子５と、ＣＰＵ９とを備える。ＣＰＵ９は、絞り駆動部７により可変絞り３の絞り値を調節しながら撮像素子５による撮像を複数回行って、複数の二次元画像を得る撮像制御処理９２と、複数の二次元画像からそれぞれ主要被写体に関する二次元被写体像を抽出する被写体像抽出処理９３と、被写体像抽出処理９３により抽出された複数の二次元被写体像について、配置順序を決定する配置順序決定処理９４と、配置順序決定処理９４により決定された配置順序に基づいて複数の二次元被写体像の画像データを二次元被写体像データ記憶部５０３ｃに記憶し、三次元被写体像データ記憶部５０３に主要被写体の三次元画像データを作成する三次元被写体像データ作成処理９５として機能する。光学系２ｂの駆動ではなく、可変絞り３の絞り値を変えて三次元画像データを得ることができるため、高速かつ低振動で三次元画像を撮像することができる。
【００４１】
また、本発明により三次元画像データを撮像する場合、光学系２ａ〜２ｃは従来の一眼レフカメラのレンズを使用することができる。すなわち、本発明によれば、三次元画像を撮像するために特別なレンズを用意する必要はない。
【００４２】
以上で説明した実施の形態は、以下のように変形して実施できる。
〔１〕上記の実施形態では、図２のステップＳ１０１において、可変絞り３を開放状態にしたが、可変絞り３の開口量を最小限に絞り、ステップＳ１０６で開放することにしてもよい。
【００４３】
〔２〕上記の実施形態では、図２のステップＳ１０２において、焦点調節処理９１を実行して光学系２ａ〜２ｃを焦点調節状態としたが、焦点調節処理９１を実行せずに光学系２ｂの位置をテレ端またはワイド端に設定することにしてもよい。
【００４４】
〔３〕上記の実施形態では、図２のステップＳ１０６において可変絞り３の絞り値を調節しながら撮像素子５の感度を変更した。しかし、撮像素子５の感度ではなくシャッタースピードを変化させることにしてもよい。また、配置順序決定処理９４における配置順序の決定を容易にするために光学系２ｂを駆動して光学系２ａ〜２ｃの被写界深度の最奥端または最近端を略一定に保つことは許容される。
【００４５】
〔４〕画像記憶部１１に記憶された三次元画像データを三次元に再生するときは、図８（ａ）または図８（ｂ）のような画像を再生装置１３に表示することにしてもよい。このとき、操作部材１２により図８（ａ）および図８（ｂ）のいずれを表示するかを選択できるようにすることが望ましい。
【００４６】
〔５〕被写体距離の算出は、配置順序決定処理９４以外の場所で行ってもよい。たとえば、撮像制御処理９２のステップＳ１０５とステップＳ１０６との間で実行することにしてもよい。
【００４７】
以上で説明した実施の形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。
【符号の説明】
【００４８】
１ 撮像装置
２ａ〜２ｃ 光学系
３ 可変絞り
４ シャッタ
５ 撮像素子
６ レンズ駆動部
７ 絞り駆動部
８ シャッタ制御部
９ ＣＰＵ
１０ メモリ
１１ 画像記憶部
１２ 操作部材
１３ 再生装置
９２ 撮像制御処理
９３ 被写体像抽出処理
９４ 配置順序決定処理
９５ 三次元被写体像データ作成処理
９６ 補完用画像データ作成処理
【特許請求の範囲】
【請求項１】
絞りと、
前記絞りの絞り値を調節する絞り調節手段と、
前記絞りの通過光束を撮像する撮像手段と、
前記絞り調節手段により前記絞りを調節しながら前記撮像手段により複数回撮像を行い、複数の二次元画像を得る撮像制御手段と、
前記複数の二次元画像からそれぞれ主要被写体に関する被写体像を抽出する被写体像抽出手段と、
前記被写体像抽出手段により抽出された複数の被写体像について、配置順序を決定する配置順序決定手段と、
前記配置順序決定手段により決定された配置順序に基づいて前記複数の被写体像を記憶して前記主要被写体の三次元画像データを作成する三次元被写体像データ作成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数の二次元画像のうち前記被写体像が存在しない画像領域の補完に用いる補完用画像の補完用画像データを作成する補完用画像データ作成手段と、
前記三次元被写体像データ作成手段が作成した前記主要被写体の三次元画像データと、前記補完用画像データ作成手段が作成した前記補完用画像データとに基づいた三次元画像データを記憶する画像記憶手段と、
をさらに備えることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記画像記憶手段に記憶された三次元画像データに基づいて、前記主要被写体の被写体像を二次元または三次元に再生する再生手段をさらに備え、
前記再生手段は、前記主要被写体の被写体像を三次元に再生するときは、前記複数の被写体像に基づいた三次元被写体像をステレオペア画像として出力することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記表示手段は、前記補完用画像データに基づいて、前記三次元仮想空間内に背景画像を配置することを特徴とする撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記表示手段は、前記補完用画像データに基づいて、前記撮像制御手段によって前記複数の二次元画像を撮像したときに隠れて撮像できなかった前記主要被写体の部位を補完して前記三次元被写体像を表示することを特徴とする撮像装置。
【請求項６】
請求項１から５のいずれか一項に記載の撮像装置において、
前記絞りは、最大限に開放したときの最大絞り値を少なくとも含む複数の絞り値を有し、
前記撮像制御手段は、前記絞り調節手段により前記絞りを前記最大絞り値から順に前記複数の絞り値のそれぞれに調節し、前記絞り調節手段が前記複数の絞り値のいずれかに前記絞りを調節したときに前記撮像手段により二次元画像を得ることを特徴とする撮像装置。
【請求項７】
請求項１から６のいずれか一項に記載の撮像装置において、
前記撮像制御手段は、前記絞り調節手段により前記絞りを調節するとき、撮像素子の感度を変更することを特徴とする撮像装置。
【請求項８】
請求項１から７のいずれか一項に記載の撮像装置において、
光学系と、
前記光学系の合焦距離を調節する合焦距離調節手段と、
をさらに備え、
前記撮像制御手段は、前記合焦距離調節手段により前記光学系の被写界深度の最奥端または最近端を略一定に保ちながら前記撮像手段により複数回撮像を行い、前記複数の二次元画像を得ることを特徴とする撮像装置。
【請求項９】
請求項１から８のいずれか一項に記載の撮像装置において、
前記配置順序決定手段は、前記被写体像抽出手段が複数の被写体像のそれぞれを抽出した二次元画像を前記撮像制御手段が得たときの前記絞りの絞り値に基づいて被写界深度を算出し、前記被写界深度に基づいて前記配置順序を決定することを特徴とする撮像装置。
【請求項１】
絞りと、
前記絞りの絞り値を調節する絞り調節手段と、
前記絞りの通過光束を撮像する撮像手段と、
前記絞り調節手段により前記絞りを調節しながら前記撮像手段により複数回撮像を行い、複数の二次元画像を得る撮像制御手段と、
前記複数の二次元画像からそれぞれ主要被写体に関する被写体像を抽出する被写体像抽出手段と、
前記被写体像抽出手段により抽出された複数の被写体像について、配置順序を決定する配置順序決定手段と、
前記配置順序決定手段により決定された配置順序に基づいて前記複数の被写体像を記憶して前記主要被写体の三次元画像データを作成する三次元被写体像データ作成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記複数の二次元画像のうち前記被写体像が存在しない画像領域の補完に用いる補完用画像の補完用画像データを作成する補完用画像データ作成手段と、
前記三次元被写体像データ作成手段が作成した前記主要被写体の三次元画像データと、前記補完用画像データ作成手段が作成した前記補完用画像データとに基づいた三次元画像データを記憶する画像記憶手段と、
をさらに備えることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記画像記憶手段に記憶された三次元画像データに基づいて、前記主要被写体の被写体像を二次元または三次元に再生する再生手段をさらに備え、
前記再生手段は、前記主要被写体の被写体像を三次元に再生するときは、前記複数の被写体像に基づいた三次元被写体像をステレオペア画像として出力することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記表示手段は、前記補完用画像データに基づいて、前記三次元仮想空間内に背景画像を配置することを特徴とする撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記表示手段は、前記補完用画像データに基づいて、前記撮像制御手段によって前記複数の二次元画像を撮像したときに隠れて撮像できなかった前記主要被写体の部位を補完して前記三次元被写体像を表示することを特徴とする撮像装置。
【請求項６】
請求項１から５のいずれか一項に記載の撮像装置において、
前記絞りは、最大限に開放したときの最大絞り値を少なくとも含む複数の絞り値を有し、
前記撮像制御手段は、前記絞り調節手段により前記絞りを前記最大絞り値から順に前記複数の絞り値のそれぞれに調節し、前記絞り調節手段が前記複数の絞り値のいずれかに前記絞りを調節したときに前記撮像手段により二次元画像を得ることを特徴とする撮像装置。
【請求項７】
請求項１から６のいずれか一項に記載の撮像装置において、
前記撮像制御手段は、前記絞り調節手段により前記絞りを調節するとき、撮像素子の感度を変更することを特徴とする撮像装置。
【請求項８】
請求項１から７のいずれか一項に記載の撮像装置において、
光学系と、
前記光学系の合焦距離を調節する合焦距離調節手段と、
をさらに備え、
前記撮像制御手段は、前記合焦距離調節手段により前記光学系の被写界深度の最奥端または最近端を略一定に保ちながら前記撮像手段により複数回撮像を行い、前記複数の二次元画像を得ることを特徴とする撮像装置。
【請求項９】
請求項１から８のいずれか一項に記載の撮像装置において、
前記配置順序決定手段は、前記被写体像抽出手段が複数の被写体像のそれぞれを抽出した二次元画像を前記撮像制御手段が得たときの前記絞りの絞り値に基づいて被写界深度を算出し、前記被写界深度に基づいて前記配置順序を決定することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−２１６３７（Ｐ２０１３−２１６３７Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５５７４７（Ｐ２０１１−１５５７４７）
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]