説明

立体画像撮影装置、携帯型電子機器、立体画像撮影制御方法、立体画像撮影制御プログラムおよびコンピュータ読取可能記録媒体

【課題】立体画像撮影装置にて立体画像を撮影するときの消費電流を低減することによって、立体画像撮影装置を使用するユーザの利便性に資する技術を提供する。
【解決手段】本発明に係る立体画像撮影制御方法は、それぞれがレンズおよび撮像素子を含む第1撮影部および第2撮影部を備えた立体画像撮影装置が実行する立体画像撮影制御方法であって、被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理を実行する(S3)のに応じて、その撮影条件判定処理に用いる上記シーンの画像を上記第1撮影部に取得させるように、上記第1撮影部を起動する(S1)ようになっている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラを2基内蔵した立体画像撮影装置に関し、特に、立体画像の撮影についてユーザの利便性を向上させる技術に関するものである。
【背景技術】
【0002】
立体画像(立体映像)は、ユーザに斬新さ、臨場感などを与えることができるため、立体画像を作成して表示する技術の開発が盛んになっている。
【0003】
下掲の特許文献1には、ユーザが2台のカメラを左右の手でそれぞれ保持して、同一の被写体に対して左右に視差を有する状態で撮影を行うことにより、立体画像の撮影を行う場合に、立体画像の撮影に適した状態かどうかを判定する技術が開示されている。
【0004】
より具体的には、ユーザが2台のカメラにより同一の被写体を撮影すると、一方のカメラ(従カメラと呼ぶ)の撮影画像が他方のカメラ(主カメラと呼ぶ)へ送信され、主カメラの表示部に、2つのカメラの撮影画像が左右に並んで表示される。
【0005】
続いて、主カメラの画像処理制御部は、2つの画像の比較を行い、立体撮影を良好に行える状態か否かの判定を行う。例えば、画像処理制御部は、2つの画像における主要被写体を抽出して、その主要被写体における代表的な複数の位置、またはパターンマッチングなどにより、対応する画素値のずれ量が予め設定された範囲内であるか否かを判定する。これにより、立体撮影を良好にできるか否かの判定が行われる。
【0006】
また、立体撮影を良好にできると判定された場合には、主カメラの上記表示部に、3D撮影OKなどの表示が行われ、立体撮影を良好には行えないと判定された場合には、3D撮影NGなどの表示が行われると、特許文献1には記載されている。
【0007】
なお、最近では、携帯電話に2眼カメラを所定間隔離して搭載し、立体撮影を行うことのできる機種が、展示会などで紹介されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2010−212881号公報(2010年9月24日公開)
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、上記特許文献1に開示された技術を、2眼カメラを搭載した携帯電話に採用した場合、携帯電話の充電量の消費が著しく増えるという新たな問題が発生する。
【0010】
なぜならば、立体撮影を良好にできるか否かを判定するために、2つのカメラを動作させることによって撮影した2枚の画像を用いているからである。携帯電話の場合、携帯電話の各種機能の中でも、内蔵カメラを使用してモニター画面に被写体の画像を表示しながら撮影を行うことによる消費電流は、特に大きい。その上に内蔵カメラを2基も動作させることになれば、さらに消費電流が増大するため、携帯電話の充電切れを招きやすくなる。
【0011】
そうすると、折角、携帯電話に立体撮影の機能を搭載しても、ユーザが充電切れを懸念
するがために、立体撮影をためらうことになりかねない。
【0012】
本発明は、当該技術分野においてまだ認識されていない上記の新たな問題点に鑑みてなされたものであり、その目的は、立体画像撮影装置にて立体画像を撮影するときの消費電流を低減することによって、立体画像撮影装置を使用するユーザの利便性に資する技術を提供することにある。
【課題を解決するための手段】
【0013】
本発明に係る立体画像撮影装置は、上記の課題を解決するために、
(1)それぞれがレンズおよび撮像素子を含む第1撮影部および第2撮影部と、
(2)被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理を
実行する撮影条件判定部と、
(3)上記撮影条件判定処理が実行される場合に、その撮影条件判定処理に用いる上記シー
ンの画像を上記第1撮影部に取得させるように、上記第1撮影部を起動する制御部とを備えていることを特徴とする。
【0014】
上記の構成によれば、撮影条件判定部によって、被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理が実行される場合には、制御部により、第1撮影部が起動される。撮影条件判定処理は、第1撮影部によって取得された画像を用いて行われる。
【0015】
したがって、特許文献1のように、撮影条件判定処理のために、2つの撮影部を起動しなくて済む。これにより、立体画像撮影装置の消費電流を低減させることができるので、ユーザが立体撮影をためらうおそれを軽減でき、ユーザの利便性を向上させることができる。
【0016】
なお、特許文献1では、2つの撮影部が、適切な視差でそれぞれの画像を撮影したかどうかを判定する手法を採用しているため、2つの撮影部を起動することが不可欠であった。これに対し、本発明では、1つの撮影部で撮影した画像を用いて撮影条件判定処理を行う点で、特許文献1の手法と大きく異なっている。
【0017】
1つの撮影部で撮影した画像を用いた撮影条件判定処理として、実施形態の項で後述する公知の方法を採用してもよいし、本発明のために新たに開発された後述する方法を採用してもよい。
【0018】
本発明に係る立体画像撮影装置の上記制御部は、起動した上記第1撮影部を介して上記画像を取得する処理を省電力モードで実行することを特徴とする。
【0019】
上記の構成において、省電力モードには、第1撮影部の撮像素子による撮像または画像信号の出力を低解像度で行わせること(モード1)、または、第1撮影部が撮影した上記画像に対する画質調整を省略、ないし簡略化したり、取得した画像から、無彩色の画像データを作成し、上記撮影条件判定処理には、その無彩色の画像データを用いること(モード2)、または、上記画像を取得するときのフレーム周波数を低くすること(モード3)、または、これらモード1からモード3を任意に組み合わせることなどが含まれている。
【0020】
なお、上記省電力モードでは、第1撮影部が撮影した上記画像をモニタ画面に表示しないようにすると、省電力の観点で一層効果的である。
【0021】
これにより、撮影条件判定処理の実行に関する消費電流をさらに低減することが可能になる。
【0022】
本発明に係る立体画像撮影装置では、
(1)上記第1撮影部が起動したことに応じて、あるいは、上記シーンが立体画像撮影に適
していると、上記撮影条件判定部が判定したことに応じて、上記制御部は、上記第2撮影部を介して上記シーンの画像を取得する処理を省電力モードで実行し、
(2)上記第2撮影部の省電力モードの実行中における立体画像撮影のユーザ指示に応じて
、上記第2撮影部を介して上記シーンの画像を取得する処理を通常モードで実行することを特徴とする。
【0023】
上記の構成によれば、上記第1撮影部が起動した後、立体画像撮影の指示をユーザが与えるまでの間、あるいは、上記シーンが立体画像撮影に適していると判定された後、立体画像撮影の指示をユーザが与えるまでの間、上記第2撮影部を省電力モードで起動し、ウォーミングアップしておくことができる。
【0024】
なお、省電力モードについては、第1撮影部について説明した内容と同じである。また、立体画像撮影の指示とは、例えば、ユーザがシャッタボタンを半押し状態とすること、あるいは、ユーザがシャッタボタンを押して立体画像撮影を行うことのいずれであってもよい。
【0025】
この構成では、第2撮影部を全く動作させない場合に比べると、消費電流は増加するが、第2撮影部を省電力モードで動作させるので、特許文献1の技術を採用した場合より省電力の効果を得ることができる。
【0026】
また、上記撮影条件判定処理を実行する際に、第1撮影部を省電力モードではなく、通常モードで起動しておいた場合には、第2撮影部を通常モードで起動すると即座に、立体画像の撮影を行うことができる。なお、第1撮影部を省電力モードで起動していた場合には、第2撮影部を通常モードで起動することをトリガとして、第1撮影部を通常モードで起動し、立体画像の撮影を可能とすればよい。
【0027】
本発明に係る立体画像撮影装置では、上記シーンが立体画像撮影に適していると、上記撮影条件判定部が判定したことに応じて、上記制御部は、上記第1撮影部および第2撮影部を介して上記シーンの画像を取得する処理を通常モードで実行することを特徴とする。
【0028】
上記の構成によれば、上記シーンが立体画像撮影に適していると判定された後、即座に、すなわち、立体画像撮影を行うかどうかをユーザに選択させるようなインターバルを設けることなく、立体画像撮影を可能にすることができる。
【0029】
本発明に係る立体画像撮影装置の上記撮影条件判定部は、
(1)上記第1撮影部で取得した上記画像に含まれた複数のオブジェクトの相対的な遠近情
報を検出する遠近情報検出部と、
(2)上記遠近情報検出部が検出した遠近情報を、立体画像撮影の基準条件と比較し、遠近
情報が基準条件を満足している場合に、上記シーンは、立体画像撮影に適していると判定する比較判定部とを含んでいることを特徴とする。
【0030】
上記の構成によれば、上記第1撮影部で取得した上記画像には、例えば、人物、建物、植物、地面および空などの複数のオブジェクトが含まれている。遠近情報検出部は、これらのオブジェクトの相対的な遠近情報を検出し、例えば、オブジェクト毎に検出した遠近情報をオブジェクトに対応付けて一時的に記録する。
【0031】
比較判定部は、遠近情報検出部が検出した遠近情報を、立体画像撮影の基準条件と比較
する。これにより、例えば、立体画像撮影装置に近いオブジェクトと、立体画像撮影装置から遠いオブジェクトとが共に存在していることが、上記基準条件を満足していることであるとすれば、比較判定部は、そのような基準条件の充足性を、遠近情報に基づいて容易に判定することができる。
【0032】
なお、遠近情報検出部による遠近情報の各種検出処理については、実施の形態として、後で詳述する。
【0033】
本発明に係る立体画像撮影装置では、
(1)上記制御部は、上記シーンの中に複数のエリアを設定し、複数のエリアの各々に対し
、上記第1撮影部に合焦動作を行わせ、
(2)上記遠近情報検出部は、上記エリアの各々における上記第1撮影部のレンズの合焦位
置を上記遠近情報として取得するレンズ位置情報取得部を備えていることを特徴とする。
【0034】
上記の構成によれば、遠近情報検出部による遠近情報の各種検出処理の中でも、簡易な検出処理を実現することができる。
【0035】
すなわち、いわゆるエリアオートフォーカス機能を利用することにより、複数のエリアの各々におけるレンズの相対的な合焦位置情報を得ることができる。
【0036】
例えば、立体画像撮影装置に近いオブジェクトが存在するエリアでは、レンズが撮像素子から相対的に遠ざかり、逆に、立体画像撮影装置から遠いオブジェクトが存在するエリアでは、レンズが撮像素子に相対的に近づく。
【0037】
したがって、複数のエリアの各々におけるレンズの相対的な合焦位置情報を、上記画像に含まれた複数のオブジェクトの相対的な遠近情報として利用することができる。
【0038】
上記いずれかの立体画像撮影装置を備えた携帯型電子機器(例えば、携帯電話、デジタルカメラ、PDA:Personal Digital Assistants)も、本発明の範疇に含まれる。
【0039】
本発明によれば、携帯型電子機器の充電量の消費を抑えることができるので、ユーザがバッテリー切れを心配せずに、立体画像撮影の機能を楽しむことができる。
【0040】
本発明に係る立体画像撮影制御方法は、
(1)それぞれがレンズおよび撮像素子を含む第1撮影部および第2撮影部を備えた立体画
像撮影装置が実行する立体画像撮影制御方法であって、
(2)被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理を
実行するのに応じて、その撮影条件判定処理に用いる上記シーンの画像を上記第1撮影部に取得させるように、上記第1撮影部を起動することを特徴とする。
【0041】
上記制御方法によれば、立体画像撮影装置について既に説明したのと同様の作用効果を得ることができる。
【0042】
上記いずれかの立体画像撮影装置が備えた上記各部(撮影条件判定部、制御部、遠近情報検出部、比較判定部およびレンズ位置情報取得部)として、コンピュータを機能させる立体画像撮影制御プログラム、およびその立体画像撮影制御プログラムを記録したコンピュータ読取可能な記録媒体も、本発明の範疇に含まれる。
【0043】
なお、ある着目した請求項に記載された構成と、その他の請求項に記載された構成との
組み合わせが、その着目した請求項で引用された請求項に記載された構成との組み合わせのみに限られることはなく、本発明の目的を達成できる限り、その着目した請求項で引用されていない請求項に記載された構成との組み合わせが可能である。
【発明の効果】
【0044】
本発明の立体画像撮影装置および立体画像撮影制御方法によれば、撮影条件判定処理は、第1撮影部によって取得された画像を用いて行われるので、立体画像撮影装置の消費電流を低減させることができるという効果を奏する。
【図面の簡単な説明】
【0045】
【図1】本発明にかかる立体画像撮影制御方法の基本的な流れを示すフローチャートである。
【図2】本発明にかかる立体画像撮影装置としての携帯電話の外観を概略的に示す説明図である。
【図3】立体画像撮影に関わる上記携帯電話の主要構成を示す機能ブロック図である。
【図4】図3に示す3D適否判定部の詳細な構成を示す機能ブロック図である。
【図5】上記3D適否判定部が実行する第1の方式による撮影条件判定処理の詳細な流れを示すフローチャートである。
【図6】上記3D適否判定部が実行する第2の方式による撮影条件判定処理の詳細な流れを示すフローチャートである。
【図7】ユーザが携帯電話を動かす前後の時点で取得した2つの第1画像データの内容を示す説明図である。
【図8】第2の方式による撮影条件判定処理において、レンズの位置の違いを遠近情報として検出することを示す説明図である。
【図9】第2の方式による撮影条件判定処理において実行されるエリアオートフォーカス処理を示す説明図である。
【図10】図2の(a)に示す第1カメラレンズおよび第2カメラレンズを介して生成された画像データの解像度の違いを示す説明図である。
【発明を実施するための形態】
【0046】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。ただし、この実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
【0047】
(装置の外観)
図2は、本発明にかかる立体画像撮影装置としての携帯電話の外観を概略的に示す説明図である。図2の(b)に示すように、携帯電話1は、前面部に表示部(例えば液晶表示部)2を備え、図2の(a)に示すように、背面部に、第1カメラレンズ3および第2カメラレンズ4を備えている。
【0048】
表示部2は、タッチパネルの機能を備え、ユーザが表示部2に触れることにより、様々な指示を入力することができる。第1カメラレンズ3および第2カメラレンズ4は、数センチ程度の所定間隔離れている。これにより、立体画像の撮影時に、被写対象のシーンを第1カメラレンズ3および第2カメラレンズ4を介して撮影すると、視差のある2枚の画像を取得することができる。
【0049】
なお、ユーザが被写対象のシーンを表示部2で確認できるように、いわゆるファインダ画面表示を行うための画像は、図10に示すように、第2カメラレンズ4を介して取得さ
れる。
【0050】
携帯電話1としては、上記の構成に限られず、ユーザが各種指示を入力する複数のボタンが配列された操作部に対し、折り畳み式の表示部が結合された構成、または、上記操作部を表示部に対して平行にスライドさせる構成などを採用してもよい。
【0051】
また、本発明にかかる立体画像撮影装置を、携帯電話に限らず、デジタルカメラおよびPDAなどの携帯型電子機器全般に搭載することができる。
【0052】
(装置の主要構成)
図3は、立体画像撮影に関わる携帯電話1の主要構成を示す機能ブロック図である。図3に示すように、携帯電話1は、主要構成として、少なくとも以下の3つの要素を備えている。
(1)第1カメラレンズ3および撮像素子(CCD:Charge Coupled De
viceまたはCMOS:Complementary Metal Oxide Semiconductor型素子)を含む第1撮影部11、第2カメラレンズ4および撮像素子を含む第2撮影部12。
(2)被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理を
実行する3D適否判定部(撮影条件判定部)13。
(3)上記撮影条件判定処理が実行される場合に、その撮影条件判定処理に用いる上記シー
ンの画像を上記第1撮影部11に取得させるように、上記第1撮影部11を起動する制御部14。
【0053】
さらに、携帯電話1は、上記3つの要素に加えて、第1制御部15、第2制御部16、メモリ部17、LCD表示部18、および入力部19を備えている。
【0054】
上記第1制御部15は、第1撮影部11の撮像素子が、被写対象のシーンによって露光される時間(シャッタ時間)および撮像素子による撮像信号の出力タイミングなどを制御し、出力された撮像信号からゲインおよび画質などを調整した画像データを生成するドライバ回路を備えている。また、第1制御部15は、第1カメラレンズ3のレンズ位置情報(フォーカス情報)などの付随情報を検出する。第2制御部16も第1制御部15と同じ構成を備えている。
【0055】
第3制御部14は、図示しない電源回路を制御することによって、第1撮影部11および第1制御部15に対する電源供給と、第2撮影部12および第2制御部16に対する電源供給とを、個別に制御する。すなわち、第1撮影部11および第2撮影部12の起動のタイミングは、第3制御部14によって個々に制御される。
【0056】
これにより、第3制御部14は、入力部19を介して、ユーザから立体画像撮影モードの起動を指示されると、第1撮影部11および第1制御部15に対する電源供給のみを実行することができる。
【0057】
また、第3制御部14は、第1制御部15および第2制御部16に対して、上記画像データおよび付随情報を第3制御部14へ転送するタイミングを個別に指定する。
【0058】
さらに、第3制御部14は、第1制御部15から送出された画像データ(以下、第1画像データと呼ぶことがある)、および第2制御部16から送出された画像データ(以下、第2画像データと呼ぶことがある)を、それぞれメモリ部17を構成するRAMのような作業領域に順次コピーするとともに、第1制御部15および第2制御部16のそれぞれから送出された付随情報を、3D適否判定部13に通知する。なお、第1撮影部11および
第2撮影部12の一方しか起動していない状態では、その一方を介して取得された画像データのみが、メモリ部17にコピーされる。
【0059】
3D適否判定部13は、メモリ部17から取得する画像データと、第3制御部14から受け取るフォーカス情報などを用いて、被写対象のシーンの現在の構図が、立体画像撮影に適しているかどうかを判定する。ただし、3D適否判定部13が行う撮影条件判定処理に用いられる画像データおよびフォーカス情報は、第1撮影部11を介して取得された上記第1画像データであり、第1カメラレンズ3のフォーカス情報である。なお、撮影条件判定処理については、後で詳述する。
【0060】
撮影条件判定処理の結果として、3D適否判定部13は、現在の構図が、立体画像撮影に適していると判定すると、図2の(b)に例示したように、LCD表示部18の画面に「3D!」のような表示を行わせる。一方、3D適否判定部13は、現在の構図が、立体画像撮影に適していないと判定すると、LCD表示部18の画面に不適切をユーザに報せる何らかの表示を行わせてもよいし、何も表示しないようにしてもよい。
【0061】
LCD表示部18は、メモリ部17に格納された画像データを適宜表示する。具体的には、3D表示モード時には、第1制御部15および第2制御部16のそれぞれから送出された第1画像データおよび第2画像データを用いて、ユーザが裸眼で視認できる立体画像を表示する。また、3D表示モードではない通常表示モード(2D表示モード)時には、第2制御部16から送出された第2画像データを用いて、画像を表示する。
【0062】
(3D適否判定部の詳細な構成)
図4は、3D適否判定部13の詳細な構成を示す機能ブロック図である。図4に示すように、3D適否判定部13は、上記第1撮影部11を介して取得した上記第1画像データに含まれた複数のオブジェクトの相対的な遠近情報を検出する遠近情報検出部20aまたは20bと、上記遠近情報検出部20aまたは20bが検出した遠近情報を、立体画像撮影の基準条件と比較し、遠近情報が基準条件を満足している場合に、上記シーンは、立体画像撮影に適していると判定する比較判定部30と、上記基準条件を格納した基準条件メモリ40とを備えている。
【0063】
遠近情報検出部20aと遠近情報検出部20bとは、遠近情報を検出するために、上記第1撮影部11を介して取得した上記第1画像データを用い、上記第2撮影部12を介して取得した上記第2画像データを用いない点で共通しているが、遠近情報を取得する方式において相違している。
【0064】
図4には、3D適否判定部13が、遠近情報検出部20aと遠近情報検出部20bとの両方を備えた構成を示したが、遠近情報検出部20aおよび遠近情報検出部20bの一方のみを備えた構成でもよい。なお、3D適否判定部13が、遠近情報検出部20aと遠近情報検出部20bとの両方を備えた形態では、各部20a,20bで検出した2種類の遠近情報から、立体画像に適した構図かどうかを複合的に判定してもよいし、遠近情報を取得する方式をユーザ指示により切り替え可能としてもよい。
【0065】
遠近情報検出部20aは、ユーザが携帯電話1を例えば左右に動かし、その動かす前後の時点で取得した各第1画像データに含まれた人物、建物および遠景などの複数のオブジェクトの各移動距離を比較することによって、遠近情報を検出する第1の方式に対応している。
【0066】
一方、遠近情報検出部20bは、被写対象のシーン中に複数のエリアを設定し、各エリアに対し、上記第1撮影部11に合焦動作を行わせ、各エリアにおける上記第1カメラレ
ンズ3の合焦位置を上記遠近情報として取得する第2の方式に対応している。
【0067】
上記第1の方式に対応して、遠近情報検出部20aは、携帯電話1を動かす前後の時点で取得した2つの第1画像データをメモリ部17から取得する画像取得部21と、その2つの第1画像データにおける同一のオブジェクトを特定して抽出する同一オブジェクト抽出部22と、抽出した同一オブジェクトが、LCD表示部18の画面において移動した距離を検出するオブジェクト移動距離検出部23とを備えている。
【0068】
なお、同一オブジェクトが移動した距離は、画面のピクセル数に換算した絶対値として求めてもよいし、画面のサイズを基準とした相対的な割合として求めてもよい。
【0069】
また、上記第2の方式に対応した遠近情報検出部20bは、第3制御部14から順次出力される第1カメラレンズ3の合焦位置を一時的に保持するレンズ位置情報取得部として構成されている。
【0070】
比較判定部30は、遠近情報検出部20aまたは遠近情報検出部20bにて検出された遠近情報を、基準条件メモリ40に記憶された基準条件と比較する比較部31と、比較部31の比較処理の結果に基づいて、被写対象のシーンの現在の構図が、立体画像撮影に適しているかどうかを判定する条件判断部32とを備えている。
【0071】
上記第1の方式の場合、基準条件メモリ40には、例えば、移動距離が大きいオブジェクトを検出するための近基準値Nと、移動距離が小さいオブジェクトを検出するための遠基準値Fとが、基準条件として記憶されている。
【0072】
上記第2の方式の場合、基準条件メモリ40には、例えば、取得した複数のレンズ合焦位置の分散の程度を大きいか小さいかの2段階に区分けするための分散指標値αが、基準条件として記憶されている。また、立体画像撮影に適しているかどうかの適切度を3段階以上に区分けしてユーザに報せる場合には、複数のレンズ合焦位置が似通っていて、分散の程度が小さいことを表す小分散指標値βと、上記複数のレンズ合焦位置がエリアによって大きく異なっていて、分散の程度が大きいことを表す大分散指標値γのように、2段階以上の分散指標値を、基準条件として設定してもよい。
【0073】
(その他の遠近情報検出方式)
2次元画像を立体画像に変換する、いわゆる2D−3D変換技術には、2次元画像の遠近情報(奥行き情報)を検出する各種方式が使われている。本発明には、上記第1および第2の方式以外にも、公知の各種方式のいずれかを採用することができる。
【0074】
その各種方式の1つは、カメラが移動するときの複数のオブジェクトの移動速度の差から遠近を検出する方式である。この方式は、上記第1の方式に類似しており、被写対象のシーンをカメラが移動して撮影すると、カメラに近いオブジェクトほど動きが速く、カメラから遠いオブジェクトほど動きが遅いという基本原理に基づいている。
【0075】
他の方式は、画像に含まれる色の分布から遠近を検出する方式である。例えば、画像の四隅の色のヒストグラム(分布)を算出し、あらかじめ多数用意された典型的な構図パターンの基準画像と比較することによって、適合する基準画像について予め求めておいた遠近情報を利用する。
【0076】
(立体画像撮影処理の基本的な流れ)
以下、図1を参照して、上記の構成による立体画像撮影制御方法の基本的な流れを説明する。
【0077】
初めに、ユーザは、図3に示す入力部19を介して、立体画像撮影モードの起動を第3制御部14に伝える。これにより、立体画像撮影処理がスタートする(ステップ1:以下、S1と略記する)。
【0078】
続いて、第3制御部14は、電源回路に対し、第1撮影部11および第1制御部15への電力供給を指示する。この結果、第1撮影部11が起動する(S2)。これにより、撮影条件判定処理を第1画像データのみを用いて行うことによる省電力効果を得ることができる。この結果、ユーザは、携帯電話1のバッテリー切れを心配することなく、立体画像撮影モードを楽しむことができる。
【0079】
なお、このとき、第3制御部14は、起動した第1撮影部11を介して画像を取得する処理を省電力モードで実行するようにしてもよい。これにより、第1撮影部11および第1制御部15を省電力モードで動作させることによる一層の省電力効果を得ることができる。この省電力モードの詳細については、後述する。
【0080】
次に、第1制御部15は、第1撮影部11が出力する撮像信号から、所定フレーム周波数の上記第1画像データを生成する。生成された第1画像データは、第3制御部14から指定されたタイミングで、第1制御部15から第3制御部14に送られ、さらに、メモリ部17にコピーされる。
【0081】
3D適否判定部13は、第3制御部14からの指示に従って、メモリ部17から第1画像データを取得し、上記第1の方式または第2の方式の撮影条件判定処理を行う(S3)。なお、S3の詳細な処理内容については、後述する。
【0082】
S3の撮影条件判定処理の結果、3D適否判定部13が、被写対象のシーンの構図が、立体画像撮影に適していると判定すると、処理がS4へ進む一方、上記構図が、立体画像撮影に適していないと判定すると、処理はS3へ戻り、撮影条件判定処理を繰り返す。
【0083】
S4では、第3制御部14は、電源回路に対し、第2撮影部12および第2制御部16への省電力モードによる電力供給を指示する。この結果、第2撮影部12が、省電力モードで起動する。第2撮影部12の省電力モードは、第1撮影部11の省電力モードと制御内容的に同じであり、後述する。
【0084】
なお、S3のあとに続いてS4を実行することは一例に過ぎない。すなわち、S4を省略することもできるし、S4をS2と同時に実行したり、後述するS5のあとに続けてS4を実行したりしてもよい。要するに、後述するS8で、ユーザがシャッタボタンを押して立体画像を撮影する前に、S4の処理を実行すると、第2撮影部12および第2制御部16をウォーミングアップしておくことができる。この結果、立体画像の撮影をスムーズに行うことができるので、ユーザの操作感が向上する。
【0085】
なお、撮影条件判定処理の前後において、第2撮影部12および第2制御部16を省電力モードで動作させると、動作させない場合に比べて電力を消費する。しかし、従来のように、撮影条件判定処理のために、2つのカメラを通常モードで起動する場合に比べると、省電力効果を得ることができる。
【0086】
S5では、立体画像撮影をユーザにお勧めする報知処理を行う。具体的には、図4に示す条件判断部32が、LCD表示部18に報知処理を指示することによって、LCD表示部18は、図2の(b)に例示したような表示を行う。
【0087】
なお、S3で、上記構図が、立体画像撮影に適していないと判定すると、処理をS3へ戻す前に、「3D NG」のような不適切状態をユーザに報せる表示をLCD表示部18に行わせてもよい。
【0088】
S5に続くS6では、ユーザが立体画像撮影を行うことを選択したかどうかを判定する。この判定は、ユーザがシャッタボタンを半押し状態にしたことに基づいて行ってもよいし、ユーザがシャッタボタンを押し込んで、実際の撮影を行おうとしたことに基づいて行ってもよい。
【0089】
S6の判定がYESの場合、第3制御部14は、電源回路に対し、第2撮影部12および第2制御部16への電力供給を、省電力モードから通常モードへ切り換えるように指示する(S8)。これにより、第2撮影部12は、高解像度の撮像を行うことができる。
【0090】
なお、S2で、第1撮影部11を省電力モードで起動していた場合には、S8において、第1撮影部11および第1制御部15についても、省電力モードから通常モードへ切り換えることになる。
【0091】
S6の判定がNOの場合、第3制御部14は、電源回路に対し、第2撮影部12および第2制御部16への電力供給を停止させ(S7)た上で、処理をS3へ戻すことが好ましい。なお、S6の判定がNOの場合として、例えば、ユーザが所定時間内に立体画像撮影を行うことを選択しなかった場合などが該当する。
【0092】
なお、S6の処理を実行することは、本発明にとって必須ではなく、省略してもよい。S6の処理を省略した場合、上記構図が立体画像撮影に適していると判定された後、即座に、すなわち、立体画像撮影を行うかどうかをユーザに選択させるようなインターバルを設けることなく、立体画像撮影を可能にすることができる。また、この場合、ユーザのシャッタボタンの操作も不要として、自動的に、立体画像撮影が行われるようにしてもよい。
【0093】
(省電力モードについて)
上記省電力モード時の第1撮影部11および第1制御部15(または、第2撮影部12および第2制御部16)の動作内容の例として、以下の(1)〜(3)の形態を挙げることができる。(1)〜(3)の形態のいずれか1つによって、省電力モードを実現してもよいし、(1)〜(3)の形態の任意の組み合わせによって、省電力モードを実現してもよい。以下、各形態について説明する。なお、図10は、第1カメラレンズ3および第2カメラレンズ4を介して生成された画像データの解像度の違いを示す説明図である。
【0094】
(1)撮像素子から電荷を取込む頻度の制御
撮像素子が光電変換によって生成した電荷は、ドライバから撮像素子に出力するクロックに応じてドライバに取込まれる。図10に画像Pfとして示すように、通常、撮像素子を介して生成された画像データをカメラのファインダ表示として用いるには、15〜30フレーム/秒(fps)のフレーム周波数を必要とする。なぜなら、フレーム周波数がそれより低い場合、ファインダ画面の映像がコマ落ちしたような表示に見えてしまうためである。
【0095】
したがって、ファインダ表示のためには、言い換えると通常モードのためには、撮像素子から電荷を取込む頻度として、上記フレーム周波数と同様に、毎秒15〜30回程度が必要となる。
【0096】
しかし、第1画像データを上記撮影条件判定処理にのみ用いるのであれば、取込み頻度
は毎秒1回程度でも許容される。また、実際に、撮影条件判定処理を行っている間、上記第1画像データをLCD表示部18に表示することはしないようにしている。
【0097】
このように、撮像素子から電荷を取込む頻度を下げることにより、省電力効果が得られる。
【0098】
(2)電荷を取込む画素の数の制御
今日一般的な携帯電話の液晶ディスプレイの解像度は、480×640ドット程度である。図10に画像Pfとして示したように、上記と同じ解像度で画像を表示するには、毎回取込み時に、480×640=307200画素から電荷を取込むことが必要である。
【0099】
しかし、第1画像データに含まれた複数のオブジェクトの遠近関係を検出する目的では、電荷を取込む画素数を、ディスプレイの解像度を気にすることなく、必要最低限に減らすことができる。例えば、図10に画像Prとして示すように、解像度を240×320ドットに減らせば、電荷を取込む画素数は1/4になる。
【0100】
このように、撮像素子の画素のうち、電荷を取込む画素を選択して、電荷を取込む画素の数を減らし、それによって解像度を下げることにより、省電力効果が得られる。
【0101】
(3)画質調整のための後処理を省く
LCD表示部18に画像を表示する場合、ユーザが高品位の画像を目にすることができるように、撮像した原画像そのままではなく、適宜画質調整を施した画像を表示することがある。
【0102】
しかし、第1画像データを撮影条件判定処理に使うだけの場合には、この画質調整は省くことができる。さらに、図10に示すように、ファインダ表示用の画像Pfは、フルカラーの画像とする一方、撮影条件判定処理に使うだけの画像Prは、モノクロの画像としてもよい。これにより、画質調整の演算処理および/または画像信号処理に要する電力消費を削減することができる。
【0103】
(第1の方式による撮影条件判定処理)
図5は、3D適否判定部13が実行する第1の方式による撮影条件判定処理(S3)の詳細な流れを示すフローチャートである。図7は、ユーザが携帯電話1を動かす前後の時点で取得した2つの第1画像データの内容を示す説明図である。
【0104】
第1の方式による撮影条件判定処理では、前述したとおり、ユーザが携帯電話1を例えば左右に動かし、その動かす前後の時点で取得した各第1画像データに含まれた複数のオブジェクトの各移動距離を比較することによって、遠近情報を検出する。
【0105】
そのために、図1のS2の処理に続けて、図4に示す遠近情報検出部20aの画像取得部21は、携帯電話1を動かす前後の時点で取得した第1画像データ(1)(図7に示す左
画像)および第1画像データ(2)(図7に示す右画像)をメモリ部17から取得する(S
31)。なお、図7に示す右画像に含まれている暗い人物は、図7に示す左画像の人物の元位置を示すために、便宜的に表示したものであるが、右画像を、第1画像データ(1)と
第1画像データ(2)とを合成して得た画像としてもよい。
【0106】
続いて、S32およびS33で、同一オブジェクト抽出部22は、第1画像データ(1)
および第1画像データ(2)にそれぞれ含まれた複数のオブジェクトを特定し、特定した複
数のオブジェクトの中で同一のオブジェクトをさらに特定して抽出する。
【0107】
S34では、オブジェクト移動距離検出部23が、抽出した同一オブジェクトが、LCD表示部18の画面において移動した距離Lを検出する。この距離Lの検出にあたって、第1画像データ(1)における画面に対する着目したオブジェクトの代表点のピクセル位置
と、第1画像データ(2)における画面に対する着目したオブジェクトの代表点のピクセル
位置との差分を求めてもよい。また、第1画像データ(1)と第1画像データ(2)とを1枚の画像に合成し、合成した画像に含まれた同一オブジェクトの各代表点のピクセル位置の差分を求めてもよい。さらに、ピクセル位置の差分と画面サイズとの比率を求めてもよい。
【0108】
次に、オブジェクト移動距離検出部23は、S34で求めた距離Lに関するデータを比較判定部30へ送る。比較判定部30では、比較部31が、基準条件メモリ40に記憶された近基準値Nおよび遠基準値Fを読み出し、距離Lに関するデータと近基準値Nおよび遠基準値Fとを比較する(S35およびS36)。
【0109】
比較部31が、近基準値Nを超える距離Lがあり、かつ遠基準値Fを下回る距離Lがあるとの結果を得た場合、すなわちS35の比較結果がYES、かつS36の比較結果がYESの場合、条件判断部32は、その比較結果に基づいて、被写対象のシーンの構図が、立体画像撮影に適していると判定し(S37)、処理が前記S4へ進む。
【0110】
また、比較部31が、近基準値Nを超える距離Lが無い、または、遠基準値Fを下回る距離Lが無いとの結果を得た場合、すなわちS35の比較結果がNO、またはS36の比較結果がNOのいずれかの場合、処理はS31に戻る。すなわち、新たな第1画像データ(1)および第1画像データ(2)を取得し直し、撮影条件判定処理をやり直す。
【0111】
(第2の方式による撮影条件判定処理)
図6は、3D適否判定部13が実行する第2の方式による撮影条件判定処理(S3)の詳細な流れを示すフローチャートである。図8は、第2の方式による撮影条件判定処理において、レンズの位置の違いを遠近情報として検出することを示す説明図である。また、図9は、第2の方式による撮影条件判定処理において実行されるエリアオートフォーカス処理を示す説明図である。
【0112】
第2の方式による撮影条件判定処理では、前述したとおり、被写対象のシーン中に複数のエリアを設定し、各エリアに対し、上記第1撮影部11に合焦動作を行わせ、各エリアにおける上記第1カメラレンズ3の合焦位置を上記遠近情報として取得する。
【0113】
より具体的には、図9に示すように、第1撮影部11が撮像する被写対象のシーン中に、例えば9つのエリアを、画面の等分割によって設定する。そして、9つのエリアの1つ1つについて、順番に、上記第1撮影部11に合焦動作を行わせる。
【0114】
例えば、図8の(a)に示すように、被写体が相対的に近い場合、撮像素子の受光面を基準とした第1カメラレンズ3の合焦位置をLNで表す一方、被写体が相対的に遠い場合、撮像素子の受光面を基準とした第1カメラレンズ3の合焦位置をLFで表すとする。この場合、LNとLFとの間に、
LN>LF
という相対関係が成り立つ。
【0115】
以上の原理を用いて、第2の方式による撮影条件判定処理は、具体的に以下のように実行される。
【0116】
まず、図1のS2の処理に続けて、図3に示す第3制御部14は、第1制御部15に対して、エリアオートフォーカス処理の実行を指示する。これにより、第1制御部15は、
被写対象のシーン中に設定した複数のエリア中の1つの対象エリアについて、第1撮影部11に含まれた第1カメラレンズ3に対し、フォーカス制御を行う(図6のS301)。
【0117】
このフォーカス制御によって定まった第1カメラレンズ3の合焦位置(LNまたはLF)の情報は、第1制御部15から第3制御部14に送られ、さらに、第3制御部14から図4に示す遠近情報検出部20bに送られる。
【0118】
遠近情報検出部20bは、図示しないメモリに、対象エリアと合焦位置とを対応付けて一時的に記憶する(S302)。
【0119】
次に、第3制御部14は、上記複数のエリアの全てについて、フォーカス制御を実行したかどうかを判断する(S303)。複数のエリアの全てについて、フォーカス制御がなされた場合(S303でYES)には、処理はS305へ進む。また、複数のエリアの全てについて、フォーカス制御が終了していない場合(S303でNO)には、処理はS304に進む。S304では、フォーカス制御の対象エリアを次の順番のエリアに移行させ、複数のエリアの全てについて、フォーカス制御が完了するまで、S301〜S304の処理を繰り返す。
【0120】
S305では、比較部31が、遠近情報検出部20bから、全エリアの合焦位置の情報を取得し、基準条件メモリ40に保存された基準条件と比較する。例えば、比較部31は、全エリアの合焦位置の統計的な分散Δを演算する。基準条件メモリ40には、前述した分散指標値α、または、小分散指標値βおよび大分散指標値γなどが、基準条件として記憶されている。したがって、比較部31は、求めた分散Δと、分散指標値とを比較する。
【0121】
この比較によって、合焦位置がエリアによって大きく異なる、すなわち、Δ>αの関係が成り立つ場合には、条件判断部32は、携帯電話1に対する距離が大きく異なるオブジェクトが複数存在していると判定し(S306)、そのときの構図が立体画像撮影に適していると判定する(S307)。
【0122】
一方、合焦位置がエリアによってあまり異ならない、すなわち、Δ<αの関係が成り立つ場合には、条件判断部32は、上記距離が大きく異なるオブジェクトが存在していないと判定し(S308)、そのときの構図が立体画像撮影に適していないと判定する(S308)。
【0123】
なお、基準条件として、小分散指標値βおよび大分散指標値γを用いた場合には、条件判断部32は、構図が立体画像撮影によく適している(Δ>γ)、やや適している(γ>Δ>β)、適していない(Δ<β)のように、多段階の判定を行うことができる。
【0124】
S307またはS309の処理が終わると、処理はS4へ進む。
【0125】
なお、本発明に係る立体画像撮影装置では、以下のような立体画像撮影制御方法を実行するようにしてもよい。すなわち、
立体画像撮影装置に備えられた2基の撮影部であって、それぞれがレンズおよび撮像素子を含む2基の撮影部のうち、第1撮影部を起動するステップA1と、
起動した第1撮影部で撮影して得られたあるシーンの画像に含まれた複数のオブジェクトの相対的な遠近情報を検出するステップA2と、
検出した遠近情報を、立体画像撮影の基準条件と比較し、遠近情報が基準条件を満足している場合に、上記シーンは、立体画像撮影に適していると判定するステップA3とを含んでいることを特徴とする立体画像撮影制御方法。
【0126】
(ソフトウェアによる実現例)
最後に、3D適否判定部13を構成する各部20a,20b,30、各制御部14〜16は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現しても
よい。
【0127】
後者の場合、携帯電話1は、各機能を実現する立体画像撮影制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等を含む上記メモリ部17(コンピュータ読取可能な記録媒体)などを備えている。
【0128】
そして、本発明の目的は、上述した機能を実現するソフトウェアである立体画像撮影制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記携帯電話1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0129】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
【0130】
また、携帯電話1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。
【0131】
また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric
Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【0132】
なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0133】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0134】
本発明は、2基の撮影部を備え、視差のある2枚の画像を撮像し、立体画像を生成することができる電子機器全般に適用できる。
【符号の説明】
【0135】
1 携帯電話(立体画像撮影装置、携帯型電子機器)
3 第1カメラレンズ(レンズ)
4 第2カメラレンズ(レンズ)
11 第1撮影部
12 第2撮影部
13 3D適否判定部(撮影条件判定部)
14 第3制御部(制御部)
17 メモリ部(記憶媒体)
20a 遠近情報検出部
20b 遠近情報検出部(レンズ位置情報取得部)
30 比較判定部

【特許請求の範囲】
【請求項1】
それぞれがレンズおよび撮像素子を含む第1撮影部および第2撮影部と、
被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理を実行する撮影条件判定部と、
上記撮影条件判定処理が実行される場合に、その撮影条件判定処理に用いる上記シーンの画像を上記第1撮影部に取得させるように、上記第1撮影部を起動する制御部とを備えていること
を特徴とする立体画像撮影装置。
【請求項2】
上記制御部は、起動した上記第1撮影部を介して上記画像を取得する処理を省電力モードで実行すること
を特徴とする請求項1に記載の立体画像撮影装置。
【請求項3】
上記第1撮影部が起動したことに応じて、あるいは、上記シーンが立体画像撮影に適していると、上記撮影条件判定部が判定したことに応じて、上記制御部は、上記第2撮影部を介して上記シーンの画像を取得する処理を省電力モードで実行し、上記第2撮影部の省電力モードの実行中における立体画像撮影のユーザ指示に応じて、上記第2撮影部を介して上記シーンの画像を取得する処理を通常モードで実行すること
を特徴とする請求項1または2に記載の立体画像撮影装置。
【請求項4】
上記シーンが立体画像撮影に適していると、上記撮影条件判定部が判定したことに応じて、上記制御部は、上記第1撮影部および第2撮影部を介して上記シーンの画像を取得する処理を通常モードで実行すること
を特徴とする請求項1または2に記載の立体画像撮影装置。
【請求項5】
上記撮影条件判定部は、
上記第1撮影部で取得した上記画像に含まれた複数のオブジェクトの相対的な遠近情報を検出する遠近情報検出部と、
上記遠近情報検出部が検出した遠近情報を、立体画像撮影の基準条件と比較し、遠近情報が基準条件を満足している場合に、上記シーンは、立体画像撮影に適していると判定する比較判定部とを含んでいること
を特徴とする請求項1から4のいずれか1項に記載の立体画像撮影装置。
【請求項6】
上記制御部は、上記シーンの中に複数のエリアを設定し、複数のエリアの各々に対し、上記第1撮影部に合焦動作を行わせ、
上記遠近情報検出部は、上記エリアの各々における上記第1撮影部のレンズの合焦位置を上記遠近情報として取得するレンズ位置情報取得部を備えていること
を特徴とする請求項5に記載の立体画像撮影装置。
【請求項7】
請求項1から6のいずれか1項に記載の立体画像撮影装置を備えたことを特徴とする携帯型電子機器。
【請求項8】
それぞれがレンズおよび撮像素子を含む第1撮影部および第2撮影部を備えた立体画像撮影装置が実行する立体画像撮影制御方法であって、
被写対象のシーンが立体画像撮影に適しているか否かを判定する撮影条件判定処理を実行するのに応じて、その撮影条件判定処理に用いる上記シーンの画像を上記第1撮影部に取得させるように、上記第1撮影部を起動すること
を特徴とする立体画像撮影制御方法。
【請求項9】
請求項1から6のいずれか1項に記載の立体画像撮影装置が備えた上記各部として、コンピュータを機能させることを特徴とする立体画像撮影制御プログラム。
【請求項10】
請求項9に記載の立体画像撮影制御プログラムを記録したコンピュータ読取可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−227625(P2012−227625A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−91539(P2011−91539)
【出願日】平成23年4月15日(2011.4.15)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】