撮像装置、画像処理方法、およびプログラム
【課題】１つの撮像部を用いた２枚の２次元画像の撮像によって好適な３次元画像を得る。
【解決手段】撮像装置は、シャッタボタン１８１の押下に基づき、左目用画像データ８０１を生成する。撮像装置は、左目用画像データ８０１とスルー画像データ８２０とを用いて立体画像データ８３０を生成する。撮像装置は、生成された立体画像データ８３０に基づく立体画像をディスプレイに表示させる。撮像装置は、立体画像がディスプレイに表示された状態でシャッタボタン１８１の押下が再度なされると、右目用画像データ８０２を生成する。撮像装置は、右目用画像データ８０２が生成されたことに基づき、左目用画像データ８０１と右目用画像データ８０２とを用いて立体画像データ８０３を生成する。撮像装置は、生成された立体画像データ８０３をフラッシュメモリ１７に格納する。
【解決手段】撮像装置は、シャッタボタン１８１の押下に基づき、左目用画像データ８０１を生成する。撮像装置は、左目用画像データ８０１とスルー画像データ８２０とを用いて立体画像データ８３０を生成する。撮像装置は、生成された立体画像データ８３０に基づく立体画像をディスプレイに表示させる。撮像装置は、立体画像がディスプレイに表示された状態でシャッタボタン１８１の押下が再度なされると、右目用画像データ８０２を生成する。撮像装置は、右目用画像データ８０２が生成されたことに基づき、左目用画像データ８０１と右目用画像データ８０２とを用いて立体画像データ８０３を生成する。撮像装置は、生成された立体画像データ８０３をフラッシュメモリ１７に格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法、およびプログラムに関する。特に、本発明は、立体画像データを生成する撮像装置、当該撮像装置における画像処理方法、および当該撮像装置を制御するためのプログラムに関する。
【背景技術】
【０００２】
従来、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する撮像装置が知られている。特許文献１には、上記の撮像装置として、単眼識のデジタルカメラが開示されている。当該デジタルカメラは、立体撮影モードに設定されると、レリーズボタンを半押しされている間、一定時間間隔で連続して本撮影を行なう。ユーザは、立体撮影モードにおいて、レリーズボタンを半押しした状態でカメラをパンニングしながら被写体の撮影を行なう。デジタルカメラは、連写した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された２枚組みの画像の中から、最も滑らかにパンニングがされている２枚組みの画像を、最も立体視画像に適した２枚組みの画像として抽出する。さらに、デジタルカメラは、パンニング方向を検出し、最も立体視画像に適した２枚組みの画像のそれぞれを左目側画像と右目側画像に振り分けて記録する。
【０００３】
特許文献２には、単眼識のデジタルビデオカメラが開示されている。当該デジタルビデオカメラは、１回目のシャッタボタン押下によって１枚目の静止画像を撮影した後、２枚目の静止画像の撮影を指示する２回目のシャッタボタン押下を待機している期間中、最新のプレビュー画像と１枚目の静止画像に基づく画像をブレンディング合成することで得た画像を、表示用画像として生成及び表示する。静止画像に基づく画像は、例えば、１枚目の静止画像から抽出した顔領域内の画像である。ユーザは、静止画像に基づく画像およびプレビュー画像内における同一の被写体が表示画面上で重なるようにカメラ操作を行ない、２回目のシャッタボタン押下を行なうことで、撮影範囲が互いに一致した第１および第２の静止画像を得る。
【０００４】
特許文献３には、背景画像と前景画像とを合成する単眼識の撮像装置が開示されている。撮像装置は、背景画像における被写体画像を合成すべき合成領域を特定する。また、撮像装置は、当該特定された被写体画像を合成すべき合成領域に基づいて、当該被写体画像及び背景画像の少なくとも一方に所定の画像処理を施す。さらに、撮像装置は、所定の画像処理が施された被写体画像と背景画像とを合成して被写体合成画像を生成する。
【０００５】
特許文献４には、２眼式のデジタル立体カメラが開示されている。当該デジタル立体カメラは、被写体を撮影する複数の撮影手段と、複数の撮影手段により複数の視点から同一被写体を撮影した複数の画像からなる３次元画像を表示することが可能な表示手段と、表示手段に表示された画像に対して重畳して表示されるＯＳＤ情報の表示を制御するＯＳＤ制御手段とを備える。ＯＳＤ制御手段は、表示手段に表示されたＯＳＤ情報の表示を、撮影手段のシャッタ操作に関連して消去する。
【０００６】
また、従来、視差バリア方式を用いたディスプレイが知られている。撮像装置が視差バリア方式を用いたディスプレイを備えることにより、ユーザは裸眼で立体画像を視認することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０３９８０号公報
【特許文献２】特開２０１０−２６３２６９号公報
【特許文献３】特開２０１１−７７８５０号公報
【特許文献４】特開２０１１−２４１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のデジタルカメラでは、３枚以上の２次元画像を撮像により得る必要がある。また、特許文献２のデジタルビデオカメラおよび特許文献３の撮像装置では、３次元画像を生成および表示することはできない。さらに、特許文献４のデジタル立体カメラでは、立体画像を得るためには２つの撮像部による撮像が必要となる。
【０００９】
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、１つの撮像部（カメラ１１）を用いた２枚の２次元画像の撮像によって好適な３次元画像を得ることが可能な撮像装置、当該撮像装置における画像処理方法、および当該撮像装置を制御するためのプログラムに関する。
【課題を解決するための手段】
【００１０】
本発明の或る局面に従うと、撮像装置は、視差バリア方式で立体画像を表示するための立体画像データを生成する。撮像装置は、プロセッサと、メモリと、被写体を撮像するための撮像素子と、ディスプレイとを備える。プロセッサは、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成する。プロセッサは、一方の画像データが生成されたことに基づき、当該一方の画像データと撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成する。プロセッサは、生成された立体画像データに基づく立体画像をディスプレイに表示させる。プロセッサは、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、撮像素子を用いて左目用画像データおよび右目用画像データのうちの他方の画像データを生成する。プロセッサは、他方の画像データが生成されたことに基づき、一方の画像データと当該他方の画像データとを用いて立体画像データを生成する。プロセッサは、一方の画像データと他方の画像データとを用いて生成された立体画像データをメモリに格納する。
【００１１】
好ましくは、撮像装置は、スルー画像データを生成するための電子シャッタと、左目用画像データおよび右目用画像データを生成するためのメカニカルシャッタとをさらに備える。プロセッサは、外部入力を受け付けたことに基づき、メカニカルシャッタを用いて、左目用画像データおよび右目用画像データのうちの一方の画像データを生成する。プロセッサは、一方の画像データが生成されたことに基づき、当該一方の画像データと電子シャッタを用いた撮像により得られたスルー画像データとを用いて立体画像データを生成する。プロセッサは、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、メカニカルシャッタを用いて、左目用画像データおよび右目用画像データのうちの他方の画像データを生成する。
【００１２】
好ましくは、撮像装置は、撮像装置の姿勢の変化を検知するセンサをさらに備える。メモリは、姿勢の変化に関する閾値を予め格納している。プロセッサは、一方の画像データを生成したときを基準として姿勢の変化が閾値以上になった場合、再度の外部入力を受け付けても、他方の画像データを生成しない。
【００１３】
好ましくは、プロセッサは、姿勢の変化に伴う撮像装置の光軸の振れ角が閾値以上になった場合、再度の外部入力を受け付けても、他方の画像データを生成しない。
【００１４】
好ましくは、センサは、姿勢の変化として、鉛直軸と一方の画像データを生成したときの光軸とに垂直な軸を回転軸とした撮像装置の傾きを検知する。
【００１５】
好ましくは、センサは、姿勢の変化として、鉛直軸を回転軸とした撮像装置の傾きを検知する。
【００１６】
好ましくは、センサは、姿勢の変化として、撮像装置の光軸に平行な軸を回転軸とした撮像装置の傾きを検知する。
【００１７】
好ましくは、プロセッサは、姿勢の変化が閾値以上となった場合には、姿勢の変化を閾値未満とするための案内表示をディスプレイに表示させる。
【００１８】
本発明の他の局面に従うと、画像処理方法は、視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置において実行される。画像処理方法は、撮像装置が、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、撮像装置が、一方の画像データが生成されたことに基づき、当該一方の画像データと撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、撮像装置が、生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、撮像装置が、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、撮像素子を用いて左目用画像データおよび右目用画像データのうちの他方の画像データを生成するステップと、撮像装置が、他方の画像データが生成されたことに基づき、一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、撮像装置が、一方の画像データと他方の画像データとを用いて生成された立体画像データをメモリに格納するステップとを備える。
【００１９】
本発明のさらに他の局面に従うと、プログラムは、視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置を制御するために用いられる。プログラムは、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、一方の画像データが生成されたことに基づき、当該一方の画像データと撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、撮像素子を用いて左目用画像データおよび右目用画像データのうちの他方の画像データを生成するステップと、他方の画像データが生成されたことに基づき、一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、一方の画像データと他方の画像データとを用いて生成された立体画像データをメモリに格納するステップとを、撮像装置に実行させる。
【発明の効果】
【００２０】
本発明によれば、１つの撮像部を用いた２枚の２次元画像の撮像によって、好適な３次元画像を得ることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】携帯型電話機の外観を示した図である。
【図２】３Ｄ撮像モードにおいて被写体を横撮りで撮像したときに、携帯型電話機で行なわれるデータ処理の例を説明するための図である。
【図３】携帯型電話機のハードウェア構成を示した図である。
【図４】携帯型電話機のハードウェア構成の要部を示した図である。
【図５】携帯型電話機におけるデータ処理の一部の処理を説明するためのフローチャートである。
【図６】携帯型電話機におけるデータ処理の残りの処理を説明するためのフローチャートである。
【図７】携帯型電話機の姿勢の変化を説明するための図である。
【図８】携帯型電話機の傾きの閾値を表したデータテーブルを説明するための図である。
【図９】ディスプレイに表示される案内表示を説明するための図である。
【図１０】第１の変形例における携帯型電話機におけるデータ処理の一部の処理を説明するためのフローチャートである。
【図１１】他の携帯型電話機の外観を示した図である。
【図１２】図１１の携帯型電話機のハードウェア構成の要部を示した図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ、本発明の実施の形態に係る撮像装置について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００２３】
撮像装置としては、デジタル一眼レフカメラ、コンパクトデジタルカメラ、デジタルビデオカメラ、スマートフォンを含む携帯型電話機、ＰＤＡ（Personal Digital Assistant）等の電子機器が挙げられる。以下では、撮像装置としてカメラ付きの携帯型電話機を例に挙げて説明する。
【００２４】
＜Ａ．携帯型電話機の外観＞
図１は、携帯型電話機１の外観を示した図である。図１（ａ）は、携帯型電話機１の正面図である。図１（ｂ）は、携帯型電話機１の裏面図である。図１（ｃ）は、被写体を撮像するときの状態を表した図である。
【００２５】
図１（ａ）を参照して、携帯型電話機１は、ディスプレイ２０と、シャッタボタン１８１を含む操作ボタン１８とを備える。なお、シャッタボタン１８１は、撮像を行なうモードでない場合には、撮像以外の処理の実行を指示するためのボタンとして機能してもよい。図１（ｂ）を参照して、携帯型電話機１は、ディスプレイ２０が設けられた表面とは反対側の表面に、撮像部としてのカメラ１１と、ストロボ１９とを備える。図１（ｃ）を参照して、ユーザは、被写体を横撮りするために、携帯型電話機１を左手９０１と右手９０２とで保持している。
【００２６】
携帯型電話機１は、３Ｄ画像（立体画像）を生成するための撮像モード（以下、「３Ｄ撮像モード」とも称する）と、２Ｄ画像を生成するための撮像モード（以下、「２Ｄ撮像モード」と称する）とを備える。なお、３Ｄ撮像モードと２Ｄ撮像モードとの間の切替処理は、ユーザの指示により行なわれる。携帯型電話機１は、３Ｄ撮像モードとして動作している場合、カメラ１１により撮像された左目用画像と右目用画像とに基づき、観察者から立体的に見える３Ｄ画像を生成する。携帯型電話機１は、視差バリア方式により、３Ｄ画像をディスプレイ２０に表示する。
【００２７】
ところで、携帯型電話機１は、カメラを１つしか備えていない単眼式の撮像装置である。したがって、３Ｄ画像を得るためには、ユーザは以下の操作が必要となる。まず、ユーザは、カメラ１１を用いた撮像により左目用画像を得る。その後、ユーザは、携帯型電話機１を矢印９９０の方向に移動させる。最後に、ユーザは、カメラ１１を用いた撮像により右目用画像を得る。なお、撮像の詳細については後述する。
【００２８】
また、携帯型電話機１は、スルー画像（プレビュー画像）をディスプレイ２０に表示するためのライブビュー機能を備える。
【００２９】
＜Ｂ．携帯型電話機のデータ処理の概要＞
図２は、３Ｄ撮像モードにおいて被写体を横撮りで撮像したときに、携帯型電話機１で行なわれるデータ処理の例を説明するための図である。
【００３０】
図２（ａ）を参照して、ユーザによってシャッタボタン１８１が押下されると、携帯型電話機１は、カメラ１１を用いた撮像より得られた左目用画像データ８０１を、後述する画像処理エンジン１３内のＲＡＭ３１０（図４参照）に格納する。図２（ｂ）を参照して、左目用画像データ８０１がＲＡＭ３１０に格納されると、携帯型電話機１は、カメラ１１を用いた撮像によりスルー画像データ８２０を連続的に生成する。スルー画像データ８２０は、ＲＡＭ３１０において上書き更新される。
【００３１】
図２（ｃ）を参照して、スルー画像データ８２０が生成されると、携帯型電話機１は、最初の撮像により得られた左目用画像データ８０１とスルー画像データ８２０とを用いて、３Ｄ画像データ８３０を生成する。３Ｄ画像データ８３０は、ＲＡＭ３１０において上書き更新される。携帯型電話機１は、生成された３Ｄ画像データ８３０に基づく３Ｄ画像を、ディスプレイ２０において表示する。つまり、携帯型電話機１は、先の撮像により得られた左目用画像データ８０１と、当該撮像後に得られたスルー画像データ８２０とを用いて、３Ｄ画像をディスプレイ２０においてライブビュー表示する。
【００３２】
ユーザは、携帯型電話機１を図１の矢印９９０の方向に移動しながら、ライブビュー表示された３Ｄ画像を確認する。たとえば、ユーザが携帯型電話機１を矢印９９０の方向に過度に移動させると、適切な３Ｄ画像が得られない。また、ユーザが携帯型電話機１を矢印以外の方向に移動させると、適切な３Ｄ画像が得られない。このため、ユーザは、右目用画像の撮像をどの位置で行なうかを、ライブビュー表示された３Ｄ画像を視認しながら決定する。ユーザが適切な３Ｄ画像が得られたと判断した場合、ユーザは、再度シャッタボタン１８１を押下する。
【００３３】
図２（ｄ）を参照して、ユーザが再度シャッタボタン１８１を押下すると、携帯型電話機１は、カメラ１１を用いて右目用画像データを得るための撮像を行なう。携帯型電話機１は、当該撮像より得られた右目用画像データ８０２をＲＡＭ３１０に格納する。
【００３４】
図２（ｅ）を参照して、携帯型電話機１は、右目用画像データ８０２がＲＡＭ３１０に格納されると、右目用画像データ８０２と、ＲＡＭ３１０に先に格納されていた左目用画像データ８１０とを用いて、３Ｄ画像データ８０３を生成する。携帯型電話機１は、生成した３Ｄ画像データをＲＡＭ３１０に格納する。
【００３５】
図２（ｆ）を参照して、携帯型電話機１は、左目用画像データ８０１と、右目用画像データ８０２と、３Ｄ画像データ８０３とを、画像処理エンジン１３の外部に設けられたＲＡＭ（Random Access Memory）１６（図３，図４参照）に転送する。
【００３６】
図２（ｇ）を参照して、携帯型電話機１は、さらに、ユーザからデータ保存の指示を受け付けた場合、あるいは当該指示を待つことなく自動的に、ＲＡＭ１６に格納された画像データ８０１，８０２，８０３を、後述するフラッシュメモリ１７（図３参照）に書き込む。
【００３７】
なお、ＲＡＭ１６に格納された画像データ８０１，８０２，８０３をフラッシュメモリ１７に書き込む代わりに、後述するＩＣ（Integrated Circuit）記録メディア２２１（図３，図４参照）に書き込んでもよい。以下では、説明の便宜上、ＲＡＭ１６に格納された画像データ８０１，８０２，８０３を、フラッシュメモリ１７に書き込む構成を例に挙げて説明する。
【００３８】
以上のように、携帯型電話機１では、右目用画像の撮像の前に、ユーザがディスプレイ２０においてライブビュー表示された３Ｄ画像を視認できる。したがって、ユーザは、適切な位置で右目用画像の撮像を行なうことができる。それゆえ、ユーザは、１つの撮像部を用いた２枚の２次元画像の撮像によって、好適な３Ｄ画像を得ることができる。なお、携帯型電話機１では、横撮りの場合のみならず、縦撮りの場合であっても横取りの場合と同様に、３Ｄ画像データを生成できる。
【００３９】
以下では、このようなデータ処理を実現するための携帯型電話機１の具体的な構成について、説明する。
【００４０】
＜Ｃ．ハードウェア構成＞
図３は、携帯型電話機１のハードウェア構成を示した図である。図３を参照して、携帯型電話機１は、カメラ１１と、画像処理エンジン１３と、プログラムを実行するＣＰＵ（Central Processing Unit）１４と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１５と、データを揮発的に格納するＲＡＭ１６と、ＮＡＮＤ型のフラッシュメモリ１７と、携帯型電話機１のユーザによる指示の入力を受ける操作ボタン１８と、ストロボ１９と、ディスプレイ２０と、通信ＩＦ（Interface）２１と、リーダライタ２２と、電源ユニット２３と、ジャイロセンサ２９とを備える。なお、ジャイロセンサ２９を利用する構成については、後述する（「＜Ｆ．変形例＞」）。
【００４１】
画像処理エンジン１３は、カメラ１１に含まれる各撮像素子に光が照射されることにより発生した電荷に基づいて画像データを生成する。画像処理エンジン１３の詳細については、後述する。なお、カメラ１１は、典型的にはモジュール化（ユニット化）されている。
【００４２】
ＣＰＵ１４は、画像処理エンジン１３が担うデータ処理以外のデータ処理を行なう。
フラッシュメモリ１７は、不揮発性の半導体メモリである。フラッシュメモリ１７は、携帯型電話機１を制御するための各種のプログラム、携帯型電話機１が生成したデータ、携帯型電話機１の外部装置から取得したデータ等の各種データを揮発的に格納する。
【００４３】
通信ＩＦ２１は、携帯型電話機１が外部の通信装置と無線通信を行なうための信号処理を行なう。電源ユニット２３は、データバスを介して、カメラ１１、画像処理エンジン１３、ＣＰＵ１４、ストロボ１９、ディスプレイ２０、通信ＩＦ２１、リーダライタ２２、ジャイロセンサ２９等に電力を供給する。
【００４４】
各構成要素１１〜２３，２９は、相互にデータバスによって接続されている。リーダライタ２２には、ＩＣ記録メディア２２１が装着される。
【００４５】
携帯型電話機１における処理は、各ハードウェアと画像処理エンジン１３とＣＰＵ１４とにより実行されるソフトウェアによって実現される。このようなソフトウェアは、画像処理エンジン１３、フラッシュメモリ１７に予め記憶されている場合がある。また、ソフトウェアは、ＩＣ記録メディア２２１その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、リーダライタ２２その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦを介してダウンロードされた後、フラッシュメモリ１７に一旦格納される。そのソフトウェアは、ＣＰＵ１４によってフラッシュメモリ１７から読み出され、さらに実行可能なプログラムの形式でフラッシュメモリ１７あるいは画像処理エンジン１３に格納される。画像処理エンジン１３またはＣＰＵ１４は、そのプログラムを実行する。
【００４６】
同図に示される携帯型電話機１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、画像処理エンジン１３、フラッシュメモリ１７、ＩＣ記録メディア２２１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、携帯型電話機１の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４７】
なお、記録媒体としては、ＩＣカードに限られず、ＤＶＤ-ＲＯＭ、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
【００４８】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４９】
図４は、携帯型電話機１のハードウェア構成の要部を示した図である。図４を参照して、携帯型電話機１は、カメラ１１と、画像処理エンジン１３と、ＲＡＭ１６と、フラッシュメモリ１７と、ディスプレイ２０と、リーダライタ２２と、Ａ／Ｄ（Analog/Digital）変換器２４とを含む。リーダライタ２２には、ＩＣ記録メディア２２１が装着されている。
【００５０】
カメラ１１は、レンズ１１１と、メカニカルシャッタ１１２と、撮像素子１１３とを備える。なお、撮像素子は、受光素子またはイメージセンサとも呼ばれる。
【００５１】
レンズ１１１は、外光を集光する。具体的には、レンズ１１１は、被写体により反射した光等を集光する。
【００５２】
メカニカルシャッタ１１２は、レンズ１１１を通過した光を、撮像素子１１３に照射するか否かを切換えるための装置である。メカニカルシャッタ１１２は、シャッタボタン１８１の押下により動作する。より詳しくは、メカニカルシャッタ１１２は、ＣＰＵ１４の指令に基づき動作する。ここで、「シャッタボタン１８１が押下」とは、オートフォーカス機能によりピントを合わせるためのシャッタボタン１８１の半押を除くものとする。
【００５３】
撮像素子１１３は、光を電気信号に変換する。また、撮像素子１１３は、電気信号をＡ／Ｄ変換器２４に送る。撮像素子１１３は、たとえば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Charge Coupled Device）である。
【００５４】
Ａ／Ｄ変換器２４は、撮像素子１１３が出力したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２４は、変換により得られたデジタル信号を画像処理エンジン１３に送る。
【００５５】
次に、画像処理エンジン１３について説明する。画像処理エンジン１３は、プロセッサ３００と、ＲＡＭ３１０と、ＲＯＭ３２０とを備える。プロセッサ３００は、ＣＰＵ３０１と、ＤＳＰ（Digital Signal Processor）３０２とを有する。ＣＰＵ３０１と、ＤＳＰ３０２と、ＲＡＭ３１０と、ＲＯＭ３２０とは、データバスにより互いに接続されている。
【００５６】
プロセッサ３００は、ＲＯＭ３２０に格納されているプログラムに基づいた処理を実行する。ＣＰＵ３０１は、画像処理エンジン１３における全体制御および通信に関する処理を実行する。ＣＰＵ３０１は、たとえばＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャのＣＰＵである。ＤＳＰ３０２は、画像処理専用のプロセッサである。なお、プロセッサ３００を構成するＤＳＰ３０２の数は、１個に限定されるものではない。
【００５７】
ＲＡＭ３１０は、Ａ／Ｄ変換器２４から入力されるデジタル信号を一時的に記憶するバッファメモリとして機能する。また、ＲＡＭ３１０は、ＣＰＵ３０１およびＤＳＰ３０２によるデータ処理の際のワークメモリとしても機能する。ＲＯＭ３２０は、プロセッサ３００が実行するプログラムを含んでいる。
【００５８】
ＣＰＵ３０１は、ＲＡＭ３１０，１６へのデータの書き込み、ＲＡＭ３１０，１６からのデータの読み出し、ＲＡＭ３１０，１６に記録されたデータの消去を実行する。また、ＣＰＵ３０１は、ＩＣ記録メディア２２１へのデータの書き込み、ＩＣ記録メディア２２１からのデータの読み出し、ＩＣ記録メディア２２１に記録されたデータの消去を制御する。
【００５９】
なお、画像処理エンジン１３により実行される他の各処理については、後述する（図５，６）。
【００６０】
＜Ｄ．制御構造＞
図５は、携帯型電話機１におけるデータ処理の一部の処理を説明するためのフローチャートである。図６は、携帯型電話機１におけるデータ処理の残りの処理を説明するためのフローチャートである。具体的には、図５および図６は、携帯型電話機１の動作モードが３Ｄ撮像モードに切換った状態におけるデータ処理の流れを示している。
【００６１】
図５を参照して、ステップＳ２において、ＣＰＵ１４は、ユーザによってシャッタボタン１８１が押下されたか否かを判断する。画像処理エンジン１３のＣＰＵ３０１は、ＣＰＵ１４からシャッタボタン１８１の押下げがなされていない旨の指示を受け付けると（ステップＳ２においてＮＯ）、ステップＳ４において、電子シャッタを用いた被写体の撮像を行なう。なお、電子シャッタは、画像処理エンジン１３により実現されるシャッタであり、物理的な遮光板は不要である。
【００６２】
電子シャッタを用いた撮像を行なう場合、ＣＰＵ３０１は、たとえば、メカニカルシャッタ１１２を開状態にし、メカニカルシャッタ１２２を閉状態にしておく。ＣＰＵ３０１は、撮像素子１１３が出力したアナログ信号に基づくデジタル信号を受け付ける。なお、両方のメカニカルシャッタ１１２を開状態としてもよい。
【００６３】
ステップＳ６において、ＣＰＵ３０１は、デジタルデータ（以下、「ＲＡＷデータ」と称する）を生成する。ステップＳ８において、ＣＰＵ３０１は、生成されたＲＡＷデータを現像処理する。当該現像処理により、ＲＡＷデータは、人間の目で画像として認識可能な可視画像データとなる。ステップＳ１０において、ＣＰＵ３０１は、ディスプレイ２０にスルー画像を表示させる。これにより、ユーザは、電子シャッタを用いて撮像している被写体の画像を、ディスプレイ２０でリアルタイムに視認可能となる。
【００６４】
ＣＰＵ３０１は、ＣＰＵ１４からシャッタボタン１８１の押下げがなされた旨の指示を受け付けると（ステップＳ２においてＹＥＳ）、ステップＳ１２において、メカニカルシャッタ１１２を用いて被写体の撮像を行なう。具体的には、ＣＰＵ３０１は、左目用画像を生成するための撮像を行なう。ステップＳ１４において、ＣＰＵ３０１は、Ａ／Ｄ変換器２４からそれぞれ出力されたデジタル信号に基づいて、ＲＡＷデータを生成する。
【００６５】
ＣＰＵ３０１は、ステップＳ１６において、現像処理を行なう。具体的には、ＣＰＵ３０１は、センサ補正処理、デモザイク処理、画素補間処理、色補正処理（ホワイトバランス調整、カラーマトリクス変換、ガンマ変換）、ＲＧＢ画像処理（シャープネス補正、トーン補正、露出補正等）を行なう。
【００６６】
ステップＳ１８において、ＣＰＵ１４は、ユーザによってシャッタボタン１８１が押下されたか否かを判断する。ＣＰＵ１４は、シャッタボタン１８１が押下されていないと判断した場合（ステップＳ１８においてＮＯ）、ステップＳ２０において、電子シャッタを用いた被写体の撮像を行なう。ステップＳ２２において、ＣＰＵ３０１は、ＲＡＷデータを生成する。ステップＳ２４において、ＣＰＵ３０１は、生成されたＲＡＷデータを現像処理する。
【００６７】
ステップＳ２６において、ＣＰＵ３０１は、メカニカルシャッタ１１２を用いた撮像により得られた画像データ（つまり、左目用画像データ）と、電子シャッタを用いた撮像により得られた画像データ（つまり、スルー画像データ）とから３Ｄ画像データを生成する。ステップＳ２８において、ＣＰＵ３０１は、生成した３Ｄ画像データに基づく３Ｄ画像をディスプレイ２０に表示させる。つまり、ＣＰＵ３０１は、ディスプレイ２０に、３Ｄ画像をライブビュー表示させる。
【００６８】
一方、ＣＰＵ１４は、シャッタボタン１８１が押下されたと判断した場合（ステップＳ１８においてＹＥＳ）、図６に示すステップＳ３０を実行する。図６を参照して、ステップＳ３０において、メカニカルシャッタ１１２を用いて被写体の撮像を行なう。具体的には、ＣＰＵ３０１は、右目用画像を生成するための撮像を行なう。ステップＳ３２において、ＣＰＵ３０１は、Ａ／Ｄ変換器２４からそれぞれ出力されたデジタル信号に基づいて、ＲＡＷデータを生成する。ＣＰＵ３０１は、ステップＳ３４において、現像処理を行なう。
【００６９】
ステップＳ３６において、ＣＰＵ３０１は、メカニカルシャッタ１１２を用いた撮像により得られた２つの画像データ（つまり、左目用画像データおよび右目用画像データ）から３Ｄ画像データを生成する。
【００７０】
ステップＳ３８において、ＣＰＵ３０１は、ステップＳ１６，３４の現像処理で得られた左目用画像データおよび右目用画像データと、ステップＳ３６の処理で得られた３Ｄ画像データとを、ＲＡＭ１６に書き込む。具体的には、ＣＰＵ３０１は、左目用画像データと、右目用画像データと、３Ｄ画像データとを、対応付けてＲＡＭ１６に転送する。
【００７１】
ステップＳ４０において、ＣＰＵ３０１は、左目用画像データ、右目用画像データ、および３Ｄ画像データを非可逆圧縮する。たとえば、ＣＰＵ３０１は、左目用画像データ、右目用画像データ、および３Ｄ画像データを、予め定められたフォーマット（ＪＰＥＧフォーマット、ＤＣＦフォーマット、Ｅｘｉｆフォーマット、またはＴＩＦＦフォーマット）の画像データに変換する。ステップＳ４２において、ＣＰＵ３０１は、ステップＳ４０で圧縮した画像データを、フラッシュメモリ１７に書き込む。
【００７２】
以上により、ＣＰＵ３０１は、一連の処理を終了する。
＜Ｅ．携帯型電話機１のまとめ＞
以上のように、携帯型電話機１は、視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置である。携帯型電話機１は、ＣＰＵ３０１と、フラッシュメモリ１７と、被写体を撮像するためのカメラ１１と、ディスプレイ２０とを備えている。カメラ１１は、撮像素子１１３と、スルー画像データを生成するための電子シャッタと、左目用画像データおよび右目用画像データを生成するためのメカニカルシャッタ１１２とを含んでいる。
【００７３】
ＣＰＵ３０１は、外部入力を受け付けたことに基づき、撮像素子１１３およびメカニカルシャッタ１１２を用いて、左目用画像データ生成する。ＣＰＵ３０１は、左目用画像データが生成されたことに基づき、当該左目用画像データと電子シャッタによる撮像により得られたスルー画像データとを用いて立体画像データを生成する。ＣＰＵ３０１は、生成された立体画像データに基づく立体画像をディスプレイ２０に表示させる。
【００７４】
ＣＰＵ３０１は、立体画像がディスプレイ２０に表示された状態で外部入力を再度受け付けると、撮像素子１１３およびメカニカルシャッタ１１２を用いて、右目用画像データを生成する。ＣＰＵ３０１は、右目用画像データが生成されたことに基づき、左目用画像データと右目用画像データとを用いて立体画像データを生成する。ＣＰＵ３０１は、生成された立体画像データをフラッシュメモリ１７に格納する。
【００７５】
したがって、携帯型電話機１では、右目用画像の撮像の前に、ユーザがディスプレイ２０においてライブビュー表示された３Ｄ画像を視認できる。それゆえユーザは、適切な位置で右目用画像の撮像を行なうことができる。これにより、ユーザは、１つの撮像部（カメラ１１）を用いた２枚の２次元画像の撮像によって、好適な３Ｄ画像を得ることができる。
【００７６】
＜Ｆ．変形例＞
（ｆ１．第１の変形例）
上記においては、右目用画像データを生成するためにシャッタボタン１８１を再び押すときの携帯型電話機１の姿勢が適切でない場合もある。たとえば、ユーザが、左目用画像データを生成するためにシャッタボタン１８１を押下した後に、携帯型電話機１が前後に傾いてしまった場合、携帯型電話機１が左右に傾いてしまった場合、携帯型電話機１が上下に傾いてしまった場合である。
【００７７】
図７は、携帯型電話機１の姿勢の変化を説明するための図である。なお、以下では、ｘｙｚ軸の座標系を用いて説明する。また、説明の簡略化のため、ｚ軸の正の向きを鉛直上向きとする。
【００７８】
携帯型電話機１は、携帯型電話機１の姿勢の変化を、ジャイロセンサ２９（図３参照）により検知する。
【００７９】
図７（ａ）は、携帯型電話機１の姿勢の変化に伴ってカメラ１１の光軸が振れる場合を説明するための図である。詳しくは、図７（ａ）は、携帯型電話機１が、鉛直軸（ｚ軸）と左目用画像データを生成したときの光軸１１０１とに垂直な軸（ｙ軸に平行な軸）を回転軸として回転してしまった場合を説明するための図である。
【００８０】
図７（ａ）を参照して、ジャイロセンサ２９は、前後の傾きとして、矢印５１０および矢印５２０の向きの携帯型電話機１の傾きを検知する。ジャイロセンサ２９による検知結果は、ＣＰＵ３０１に送られる。ＣＰＵ３０１は、傾き角（光軸１１０１の振れ角）が予め定められた閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。このような構成により、携帯型電話機１は、好適な３Ｄ画像データの生成が可能となる。なお、以下では、携帯型電話機１が、矢印５１０または矢印５２０の向きに傾いたときの傾き角を、説明の便宜上「ピッチ角」と称する。
【００８１】
図７（ｂ）は、図７（ａ）と同様に、携帯型電話機１の姿勢の変化に伴ってカメラ１１の光軸１１０１が振れる場合を説明するための図である。より詳しくは、図７（ｂ）は、携帯型電話機１が、鉛直軸（ｚ軸）を回転軸として回転してしまった場合を説明するための図である。
【００８２】
図７（ｂ）を参照して、ジャイロセンサ２９は、左右の傾きとして、矢印５３０および矢印５４０の向きの携帯型電話機１の傾きを検知する。ジャイロセンサ２９による検知結果は、ＣＰＵ３０１に送られる。ＣＰＵ３０１は、傾き角（光軸１１０１の振れ角）が予め定められた閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。このような構成により、携帯型電話機１は、好適な３Ｄ画像データの生成が可能となる。なお、以下では、携帯型電話機１が、矢印５３０または矢印５４０の向きに傾いたときの傾き角を、説明の便宜上「ヨー角」と称する。
【００８３】
図７（ｃ）は、携帯型電話機１の姿勢の変化として、カメラ１１の光軸１１０１に平行な軸（ｘ軸に平行な軸）を回転軸として携帯型電話機１が回転する場合を説明するための図である。
【００８４】
図７（ｃ）を参照して、ジャイロセンサ２９は、上下の傾きとして、矢印５５０および矢印５６０の向きの携帯型電話機１の傾きを検知する。ジャイロセンサ２９による検知結果は、ＣＰＵ３０１に送られる。ＣＰＵ３０１は、傾き角が予め定められた閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。このような構成により、携帯型電話機１は、好適な３Ｄ画像データの生成が可能となる。なお、以下では、携帯型電話機１が、矢印５５０または矢印５６０の向きに傾いたときの傾き角を、説明の便宜上「ロール角」と称する。
【００８５】
図８は、携帯型電話機１の傾きの閾値を表したデータテーブル６００を説明するための図である。なお、データテーブル６００は、たとえば、フラッシュメモリ１７に予め格納されている。図８を参照して、データテーブル６００では、ピッチ角についての閾値として、“Ｔｈ１”が格納されている。また、データテーブル６００では、ヨー角についての閾値として、“Ｔｈ２”が格納されている。さらに、データテーブルでは、ロール角についての閾値として、“Ｔｈ３”が格納されている。ＣＰＵ３０１は、データテーブル６００の各閾値を参照して、メカニカルシャッタ１１２を用いた右目用画像データの生成を行うか否かを判断する。
【００８６】
なお、各閾値Ｔｈ１〜Ｔｈ３の値がユーザによって変更可能なように携帯型電話機１を構成してもよい。
【００８７】
このように、携帯型電話機１は、携帯型電話機１の姿勢の変化を検知するジャイロセンサ２９を備えている。フラッシュメモリ１７は、姿勢の変化に関する閾値Ｔｈ１〜Ｔｈ３を予め格納している。ＣＰＵ３０１は、左目用画像データを生成したときを基準として携帯型電話機１の姿勢の変化が閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。
【００８８】
図９は、ディスプレイ２０に表示される案内表示を説明するための図である。上述したように、携帯型電話機１の姿勢の変化が閾値以上となった場合には、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。つまり、携帯型電話機１は、右目用画像データの生成を許可しない。そこで、携帯型電話機１は、携帯型電話機１の姿勢の変化を閾値未満とするための案内表示をディスプレイ２０に表示させる。
【００８９】
図９を参照して、例えば、携帯型電話機１が１回目の撮影のときに比べて、矢印５２０の向き（つまり、後ろ向き）に閾値Ｔｈ１以上傾いてしまった場合、携帯型電話機１のＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を前向きに傾けるようにユーザを誘導する案内表示７００を表示する。一方、携帯型電話機１が矢印５１０の向きに閾値Ｔｈ１以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を後向きに傾けるようにユーザを誘導する案内を表示する。
【００９０】
また、携帯型電話機１が矢印５３０の向きに閾値Ｔｈ２以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を右向きに傾けるようにユーザを誘導する案内を表示する。一方、携帯型電話機１が矢印５４０の向きに閾値Ｔｈ２以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を左向きに傾けるようにユーザを誘導する案内を表示する。
【００９１】
また、携帯型電話機１が矢印５５０の向きに閾値Ｔｈ３以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を反時計回りに傾けるようにユーザを誘導する案内を表示する。一方、携帯型電話機１が矢印５６０の向きに閾値Ｔｈ３以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を時計回りに傾けるようにユーザを誘導する案内を表示する。
【００９２】
当該構成により、ユーザは、メカニカルシャッタ１１２を用いた右目用画像データの生成が許可される撮像位置に携帯型電話機１を移動させることが可能となる。
【００９３】
なお、上記においては、説明の簡略化のためｚ軸の正の向きを鉛直上向きとして説明したが、これに限定されるものではない。ユーザは、３Ｄ画像を得るために、携帯型電話機１を傾けた状態で被写体を撮像することもある。この場合であっても、上述したように、光軸１１０１の振れ角、および光軸１１０１に平行な軸を回転軸とした携帯型電話機１の傾き角を利用することにより、ｚ軸の正の向きを鉛直上向きとした場合と同様、携帯型電話機１は好適な３Ｄ画像データの生成が可能となる。
【００９４】
図１０は、第１の変形例における携帯型電話機１におけるデータ処理の一部の処理を説明するためのフローチャートである。具体的には、図１０は、携帯型電話機１の動作モードが３Ｄ撮像モードに切替った状態におけるデータ処理の流れを示している。詳しくは、図１０は、一例として、ピッチ角とヨー角とがそれぞれ閾値Ｔｈ１，Ｔｈ２以上となった場合に、メカニカルシャッタ１１２を用いた右目用画像データの生成を許可しない構成を説明するための図である。以下では、図５のフローチャートと異なる点を主として説明する。
【００９５】
ステップＳ２の処理に先立ち、ステップＳ１０２において、ＣＰＵ１４は、ピッチ角Ｐとヨー角Ｙとの検知を開始する。ステップＳ２においてシャッタボタン１８１の押下げがなされた場合、ステップＳ１２に先立ち、ステップＳ１０４において、ＣＰＵ１４は、現在のピッチ角Ｐおよびヨー角Ｙを、それぞれ、ピッチ角Ｐｏおよびヨー角ＹｏとしてＲＡＭ１６に記憶する。なお、「現在のピッチ角Ｐおよびヨー角Ｙ」とは、シャッタボタン１８１の押下をＣＰＵ１４が検知したときのピッチ角Ｐおよびヨー角Ｙを指す。
【００９６】
ステップＳ２８の後に、ステップＳ１０６において、ＣＰＵ１４は、以下の式（１）および式（２）がともに成立しているか否かを判断する。
【００９７】
｜Ｐｏ−Ｐ｜ ＜ Ｔｈ１ … （１）
｜Ｙｏ−Ｙ｜ ＜ Ｔｈ２ … （２）
式（１）および式（２）がともに成立している場合（ステップＳ１０６においてＹＥＳ）、ＣＰＵ１４は、処理をステップＳ１８に進める。一方、式（１）および式（２）の少なくとも一方が成立していない場合、ＣＰＵ１４は、ステップＳ１０８において、ディスプレイ２０に上述した案内表示をさせる。
【００９８】
ステップＳ１８においてシャッタボタン１８１が押されたと判断された場合、ステップＳ３０（図６参照）に先立ち、ＣＰＵ１４は、ステップＳ１１０の処理を実行する。具体的には、ＣＰＵ１４は、ステップＳ１１０において、ステップＳ１０６と同じ判断処理を実行する。
【００９９】
式（１）および式（２）がともに成立している場合（ステップＳ１１０においてＹＥＳ）、ＣＰＵ１４は、処理をステップＳ３０に進める。一方、式（１）および式（２）の少なくとも一方が成立していない場合、ＣＰＵ１４は、ステップＳ１１２において、ディスプレイ２０に、メカニカルシャッタ１１２による撮像を許可しない旨の表示をさせる。ＣＰＵ１４は、ステップＳ１１２の後は、処理をステップＳ２０に進める。
【０１００】
なお、上記では、ピッチ角とヨー角とがそれぞれ閾値Ｔｈ１，Ｔｈ２以上となった場合に、メカニカルシャッタ１１２を用いた右目用画像データの生成を許可しない構成を例に挙げて説明したが、これに限定されるものではない。たとえば、ピッチ角とヨー角とロール角とがそれぞれ閾値Ｔｈ１，Ｔｈ２，Ｔｈ３以上となった場合に、メカニカルシャッタ１１２を用いた右目用画像データの生成を許可しないように携帯型電話機１を構成してもよい。
【０１０１】
（ｆ２．第２の変形例）
図１１は、携帯型電話機１Ａの外観を示した図である。図１１（ａ）は、携帯型電話機１Ａの正面図である。図１１（ｂ）は、携帯型電話機１Ａの裏面図である。図１１（ｃ）は、被写体を撮像するときの状態を表した図である。
【０１０２】
図１１（ａ）を参照して、携帯型電話機１Ａは、ディスプレイ２０と、シャッタボタン１８１を含む操作ボタン１８とを備える。図１１（ｂ）を参照して、携帯型電話機１Ａは、ディスプレイ２０が設けられた表面とは反対側の表面に、カメラ１１，１２と、ストロボ１９とを備える。図１１（ｃ）を参照して、ユーザは、被写体を横撮りするために、携帯型電話機１Ａを右手９０２とで保持している。
【０１０３】
携帯型電話機１Ａは、３Ｄ撮像モードと、２Ｄ撮像モードとを備える。携帯型電話機１Ａは、３Ｄ撮像モードとして動作している場合、カメラ１１により撮像された左目用画像とカメラ１２により撮像された右目用画像とに基づき、観察者から立体的に見える３Ｄ画像を生成する。携帯型電話機１Ａは、視差バリア方式により、３Ｄ画像をディスプレイ２０に表示する。
【０１０４】
携帯型電話機１Ａでは、横撮りの場合に、２つのカメラ１１，１２を同時に用いた被写体の撮像により、３Ｄ画像データを生成できる。しかしながら、携帯型電話機１Ａでは、縦撮りの際には、２つのカメラ１１，１２を同時に用いても、３Ｄ画像データを生成することはできない。
【０１０５】
そこで、携帯型電話機１Ａでは、携帯型電話機１Ａが縦撮りの姿勢になった場合、カメラ１１およびカメラ１２のうちいずれかのカメラの撮像を停止する。これにより、携帯型電話機１Ａは、携帯型電話機１のように単眼式のカメラと同様な構成となる。したがって、携帯型電話機１Ａにおいて、携帯型電話機１と同様の撮像処理を行うことにより、縦撮りであっても３Ｄ画像データを生成することが可能となる。
【０１０６】
図１２は、携帯型電話機１Ａのハードウェア構成の要部を示した図である。図１２を参照して、携帯型電話機１Ａは、カメラ１１と、カメラ１２と、画像処理エンジン１３と、ＲＡＭ１６と、フラッシュメモリ１７と、ディスプレイ２０と、リーダライタ２２と、Ａ／Ｄ変換器２４と、Ａ／Ｄ変換器２５とを含む。リーダライタ２２には、ＩＣ記録メディア２２１が装着されている。
【０１０７】
カメラ１２は、レンズ１２１と、メカニカルシャッタ１２２と、撮像素子１２３とを備
える。
【０１０８】
レンズ１２１は、外光を集光する。メカニカルシャッタ１２２は、レンズ１２１を通過した光を、撮像素子１２３に照射するか否かを切替えるための装置である。メカニカルシャッタ１２２は、シャッタボタン１８１の押下により動作する。より詳しくは、メカニカルシャッタ１２２は、ＣＰＵ１４の指令に基づき動作する。撮像素子１２３は、光を電気信号に変換する。また、撮像素子１２３は、電気信号をＡ／Ｄ変換器２５に送る。撮像素子１２３は、たとえば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Charge Coupled Device）である。
【０１０９】
Ａ／Ｄ変換器２５は、撮像素子１２３が出力したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２５は、変換により得られたデジタル信号を画像処理エンジン１３に送る。
【０１１０】
このように、携帯型電話機１Ａは、カメラ１２とＡ／Ｄ変換器２５とさらに備える点において、携帯型電話機１のハードウェア構成と異なっている。その他ハードウェア構成は、携帯型電話機１と同じであるため、ここでは説明を繰り返さない。
【０１１１】
（ｆ３．第３の変形例）
上記においては、シャッタボタン１８１が押下げられることに基づき、メカニカルシャッタ１１２が動作する構成を例に挙げて説明したが、これに限定されるものではない。シャッタボタンの押下による外部入力の代わりに、ディスプレイ２０に表示されたオブジェクトを選択する外部入力を受け付けたことに基づき、メカニカルシャッタ１１２を動作させてもよい。オブジェクトの一例としては、ユーザに対して、カメラ撮影を実行するためのソフトウェアボタンであることを認識させるための画像が挙げられる。
【０１１２】
（ｆ４．第４の変形例）
上記において、左目用画像データを生成した後、右目用画像データを生成する構成を例に挙げて説明したが、左目用画像データと右目用画像データとの生成順序は、これに限定されるものではない。右目用画像データを生成した後、左目用画像データを生成するように、携帯型電話機１，１Ａを構成してもよい。この場合、ユーザは、１回目のシャッタボタン１８１の押下の後に、携帯型電話機１を図１（ｃ）の矢印９９０が示す向きとは逆の向きに携帯型電話機１，１Ａを移動して、２回目のシャッタボタン１８１の押下を行なう必要がある。
【０１１３】
（ｆ５．第５の変形例）
上記においては、携帯型電話機１，１Ａが電子シャッタとメカニカルシャッタとを備える構成を例に挙げて説明したが、これに限定されるものではない。メカニカルシャッタを備えることなく、電子シャッタのみを備える構成であってもよい。つまり、電子シャッタにより、スルー画像データと、左目用画像データと、右目用画像データとを得る構成であってもよい。
【０１１４】
（ｆ６．第６の変形例）
上記においては、携帯型電話機１の姿勢の変化を検知する手段としてジャイロセンサ２９を用いる場合を例に挙げて説明したが、これに限定されるものではない。たとえば、ジャイロセンサの代わりに、加速度センサおよび地磁気センサを用いてもよい。
【０１１５】
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１６】
１，１Ａ 携帯型電話機、１１，１２ カメラ、１３ 画像処理エンジン、１６，３１０ ＲＡＭ、１７ フラッシュメモリ、１８ 操作ボタン、２０ ディスプレイ、２２ リーダライタ、２９ ジャイロセンサ、１１１，１２１ レンズ、１１２，１２２ メカニカルシャッタ、１１３，１２３ 撮像素子、１８１ シャッタボタン、２２１ ＩＣ記録メディア、３００ プロセッサ、３２０ ＲＯＭ、６００ データテーブル、７００ 案内表示、８０１，８１０ 左目用画像データ、８０２ 右目用画像データ、８０３，８３０ 立体画像データ、８２０ スルー画像データ、１１０１ 光軸。
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法、およびプログラムに関する。特に、本発明は、立体画像データを生成する撮像装置、当該撮像装置における画像処理方法、および当該撮像装置を制御するためのプログラムに関する。
【背景技術】
【０００２】
従来、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する撮像装置が知られている。特許文献１には、上記の撮像装置として、単眼識のデジタルカメラが開示されている。当該デジタルカメラは、立体撮影モードに設定されると、レリーズボタンを半押しされている間、一定時間間隔で連続して本撮影を行なう。ユーザは、立体撮影モードにおいて、レリーズボタンを半押しした状態でカメラをパンニングしながら被写体の撮影を行なう。デジタルカメラは、連写した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された２枚組みの画像の中から、最も滑らかにパンニングがされている２枚組みの画像を、最も立体視画像に適した２枚組みの画像として抽出する。さらに、デジタルカメラは、パンニング方向を検出し、最も立体視画像に適した２枚組みの画像のそれぞれを左目側画像と右目側画像に振り分けて記録する。
【０００３】
特許文献２には、単眼識のデジタルビデオカメラが開示されている。当該デジタルビデオカメラは、１回目のシャッタボタン押下によって１枚目の静止画像を撮影した後、２枚目の静止画像の撮影を指示する２回目のシャッタボタン押下を待機している期間中、最新のプレビュー画像と１枚目の静止画像に基づく画像をブレンディング合成することで得た画像を、表示用画像として生成及び表示する。静止画像に基づく画像は、例えば、１枚目の静止画像から抽出した顔領域内の画像である。ユーザは、静止画像に基づく画像およびプレビュー画像内における同一の被写体が表示画面上で重なるようにカメラ操作を行ない、２回目のシャッタボタン押下を行なうことで、撮影範囲が互いに一致した第１および第２の静止画像を得る。
【０００４】
特許文献３には、背景画像と前景画像とを合成する単眼識の撮像装置が開示されている。撮像装置は、背景画像における被写体画像を合成すべき合成領域を特定する。また、撮像装置は、当該特定された被写体画像を合成すべき合成領域に基づいて、当該被写体画像及び背景画像の少なくとも一方に所定の画像処理を施す。さらに、撮像装置は、所定の画像処理が施された被写体画像と背景画像とを合成して被写体合成画像を生成する。
【０００５】
特許文献４には、２眼式のデジタル立体カメラが開示されている。当該デジタル立体カメラは、被写体を撮影する複数の撮影手段と、複数の撮影手段により複数の視点から同一被写体を撮影した複数の画像からなる３次元画像を表示することが可能な表示手段と、表示手段に表示された画像に対して重畳して表示されるＯＳＤ情報の表示を制御するＯＳＤ制御手段とを備える。ＯＳＤ制御手段は、表示手段に表示されたＯＳＤ情報の表示を、撮影手段のシャッタ操作に関連して消去する。
【０００６】
また、従来、視差バリア方式を用いたディスプレイが知られている。撮像装置が視差バリア方式を用いたディスプレイを備えることにより、ユーザは裸眼で立体画像を視認することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０３９８０号公報
【特許文献２】特開２０１０−２６３２６９号公報
【特許文献３】特開２０１１−７７８５０号公報
【特許文献４】特開２０１１−２４１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１のデジタルカメラでは、３枚以上の２次元画像を撮像により得る必要がある。また、特許文献２のデジタルビデオカメラおよび特許文献３の撮像装置では、３次元画像を生成および表示することはできない。さらに、特許文献４のデジタル立体カメラでは、立体画像を得るためには２つの撮像部による撮像が必要となる。
【０００９】
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、１つの撮像部（カメラ１１）を用いた２枚の２次元画像の撮像によって好適な３次元画像を得ることが可能な撮像装置、当該撮像装置における画像処理方法、および当該撮像装置を制御するためのプログラムに関する。
【課題を解決するための手段】
【００１０】
本発明の或る局面に従うと、撮像装置は、視差バリア方式で立体画像を表示するための立体画像データを生成する。撮像装置は、プロセッサと、メモリと、被写体を撮像するための撮像素子と、ディスプレイとを備える。プロセッサは、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成する。プロセッサは、一方の画像データが生成されたことに基づき、当該一方の画像データと撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成する。プロセッサは、生成された立体画像データに基づく立体画像をディスプレイに表示させる。プロセッサは、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、撮像素子を用いて左目用画像データおよび右目用画像データのうちの他方の画像データを生成する。プロセッサは、他方の画像データが生成されたことに基づき、一方の画像データと当該他方の画像データとを用いて立体画像データを生成する。プロセッサは、一方の画像データと他方の画像データとを用いて生成された立体画像データをメモリに格納する。
【００１１】
好ましくは、撮像装置は、スルー画像データを生成するための電子シャッタと、左目用画像データおよび右目用画像データを生成するためのメカニカルシャッタとをさらに備える。プロセッサは、外部入力を受け付けたことに基づき、メカニカルシャッタを用いて、左目用画像データおよび右目用画像データのうちの一方の画像データを生成する。プロセッサは、一方の画像データが生成されたことに基づき、当該一方の画像データと電子シャッタを用いた撮像により得られたスルー画像データとを用いて立体画像データを生成する。プロセッサは、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、メカニカルシャッタを用いて、左目用画像データおよび右目用画像データのうちの他方の画像データを生成する。
【００１２】
好ましくは、撮像装置は、撮像装置の姿勢の変化を検知するセンサをさらに備える。メモリは、姿勢の変化に関する閾値を予め格納している。プロセッサは、一方の画像データを生成したときを基準として姿勢の変化が閾値以上になった場合、再度の外部入力を受け付けても、他方の画像データを生成しない。
【００１３】
好ましくは、プロセッサは、姿勢の変化に伴う撮像装置の光軸の振れ角が閾値以上になった場合、再度の外部入力を受け付けても、他方の画像データを生成しない。
【００１４】
好ましくは、センサは、姿勢の変化として、鉛直軸と一方の画像データを生成したときの光軸とに垂直な軸を回転軸とした撮像装置の傾きを検知する。
【００１５】
好ましくは、センサは、姿勢の変化として、鉛直軸を回転軸とした撮像装置の傾きを検知する。
【００１６】
好ましくは、センサは、姿勢の変化として、撮像装置の光軸に平行な軸を回転軸とした撮像装置の傾きを検知する。
【００１７】
好ましくは、プロセッサは、姿勢の変化が閾値以上となった場合には、姿勢の変化を閾値未満とするための案内表示をディスプレイに表示させる。
【００１８】
本発明の他の局面に従うと、画像処理方法は、視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置において実行される。画像処理方法は、撮像装置が、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、撮像装置が、一方の画像データが生成されたことに基づき、当該一方の画像データと撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、撮像装置が、生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、撮像装置が、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、撮像素子を用いて左目用画像データおよび右目用画像データのうちの他方の画像データを生成するステップと、撮像装置が、他方の画像データが生成されたことに基づき、一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、撮像装置が、一方の画像データと他方の画像データとを用いて生成された立体画像データをメモリに格納するステップとを備える。
【００１９】
本発明のさらに他の局面に従うと、プログラムは、視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置を制御するために用いられる。プログラムは、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、一方の画像データが生成されたことに基づき、当該一方の画像データと撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、立体画像がディスプレイに表示された状態で外部入力を再度受け付けると、撮像素子を用いて左目用画像データおよび右目用画像データのうちの他方の画像データを生成するステップと、他方の画像データが生成されたことに基づき、一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、一方の画像データと他方の画像データとを用いて生成された立体画像データをメモリに格納するステップとを、撮像装置に実行させる。
【発明の効果】
【００２０】
本発明によれば、１つの撮像部を用いた２枚の２次元画像の撮像によって、好適な３次元画像を得ることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】携帯型電話機の外観を示した図である。
【図２】３Ｄ撮像モードにおいて被写体を横撮りで撮像したときに、携帯型電話機で行なわれるデータ処理の例を説明するための図である。
【図３】携帯型電話機のハードウェア構成を示した図である。
【図４】携帯型電話機のハードウェア構成の要部を示した図である。
【図５】携帯型電話機におけるデータ処理の一部の処理を説明するためのフローチャートである。
【図６】携帯型電話機におけるデータ処理の残りの処理を説明するためのフローチャートである。
【図７】携帯型電話機の姿勢の変化を説明するための図である。
【図８】携帯型電話機の傾きの閾値を表したデータテーブルを説明するための図である。
【図９】ディスプレイに表示される案内表示を説明するための図である。
【図１０】第１の変形例における携帯型電話機におけるデータ処理の一部の処理を説明するためのフローチャートである。
【図１１】他の携帯型電話機の外観を示した図である。
【図１２】図１１の携帯型電話機のハードウェア構成の要部を示した図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ、本発明の実施の形態に係る撮像装置について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００２３】
撮像装置としては、デジタル一眼レフカメラ、コンパクトデジタルカメラ、デジタルビデオカメラ、スマートフォンを含む携帯型電話機、ＰＤＡ（Personal Digital Assistant）等の電子機器が挙げられる。以下では、撮像装置としてカメラ付きの携帯型電話機を例に挙げて説明する。
【００２４】
＜Ａ．携帯型電話機の外観＞
図１は、携帯型電話機１の外観を示した図である。図１（ａ）は、携帯型電話機１の正面図である。図１（ｂ）は、携帯型電話機１の裏面図である。図１（ｃ）は、被写体を撮像するときの状態を表した図である。
【００２５】
図１（ａ）を参照して、携帯型電話機１は、ディスプレイ２０と、シャッタボタン１８１を含む操作ボタン１８とを備える。なお、シャッタボタン１８１は、撮像を行なうモードでない場合には、撮像以外の処理の実行を指示するためのボタンとして機能してもよい。図１（ｂ）を参照して、携帯型電話機１は、ディスプレイ２０が設けられた表面とは反対側の表面に、撮像部としてのカメラ１１と、ストロボ１９とを備える。図１（ｃ）を参照して、ユーザは、被写体を横撮りするために、携帯型電話機１を左手９０１と右手９０２とで保持している。
【００２６】
携帯型電話機１は、３Ｄ画像（立体画像）を生成するための撮像モード（以下、「３Ｄ撮像モード」とも称する）と、２Ｄ画像を生成するための撮像モード（以下、「２Ｄ撮像モード」と称する）とを備える。なお、３Ｄ撮像モードと２Ｄ撮像モードとの間の切替処理は、ユーザの指示により行なわれる。携帯型電話機１は、３Ｄ撮像モードとして動作している場合、カメラ１１により撮像された左目用画像と右目用画像とに基づき、観察者から立体的に見える３Ｄ画像を生成する。携帯型電話機１は、視差バリア方式により、３Ｄ画像をディスプレイ２０に表示する。
【００２７】
ところで、携帯型電話機１は、カメラを１つしか備えていない単眼式の撮像装置である。したがって、３Ｄ画像を得るためには、ユーザは以下の操作が必要となる。まず、ユーザは、カメラ１１を用いた撮像により左目用画像を得る。その後、ユーザは、携帯型電話機１を矢印９９０の方向に移動させる。最後に、ユーザは、カメラ１１を用いた撮像により右目用画像を得る。なお、撮像の詳細については後述する。
【００２８】
また、携帯型電話機１は、スルー画像（プレビュー画像）をディスプレイ２０に表示するためのライブビュー機能を備える。
【００２９】
＜Ｂ．携帯型電話機のデータ処理の概要＞
図２は、３Ｄ撮像モードにおいて被写体を横撮りで撮像したときに、携帯型電話機１で行なわれるデータ処理の例を説明するための図である。
【００３０】
図２（ａ）を参照して、ユーザによってシャッタボタン１８１が押下されると、携帯型電話機１は、カメラ１１を用いた撮像より得られた左目用画像データ８０１を、後述する画像処理エンジン１３内のＲＡＭ３１０（図４参照）に格納する。図２（ｂ）を参照して、左目用画像データ８０１がＲＡＭ３１０に格納されると、携帯型電話機１は、カメラ１１を用いた撮像によりスルー画像データ８２０を連続的に生成する。スルー画像データ８２０は、ＲＡＭ３１０において上書き更新される。
【００３１】
図２（ｃ）を参照して、スルー画像データ８２０が生成されると、携帯型電話機１は、最初の撮像により得られた左目用画像データ８０１とスルー画像データ８２０とを用いて、３Ｄ画像データ８３０を生成する。３Ｄ画像データ８３０は、ＲＡＭ３１０において上書き更新される。携帯型電話機１は、生成された３Ｄ画像データ８３０に基づく３Ｄ画像を、ディスプレイ２０において表示する。つまり、携帯型電話機１は、先の撮像により得られた左目用画像データ８０１と、当該撮像後に得られたスルー画像データ８２０とを用いて、３Ｄ画像をディスプレイ２０においてライブビュー表示する。
【００３２】
ユーザは、携帯型電話機１を図１の矢印９９０の方向に移動しながら、ライブビュー表示された３Ｄ画像を確認する。たとえば、ユーザが携帯型電話機１を矢印９９０の方向に過度に移動させると、適切な３Ｄ画像が得られない。また、ユーザが携帯型電話機１を矢印以外の方向に移動させると、適切な３Ｄ画像が得られない。このため、ユーザは、右目用画像の撮像をどの位置で行なうかを、ライブビュー表示された３Ｄ画像を視認しながら決定する。ユーザが適切な３Ｄ画像が得られたと判断した場合、ユーザは、再度シャッタボタン１８１を押下する。
【００３３】
図２（ｄ）を参照して、ユーザが再度シャッタボタン１８１を押下すると、携帯型電話機１は、カメラ１１を用いて右目用画像データを得るための撮像を行なう。携帯型電話機１は、当該撮像より得られた右目用画像データ８０２をＲＡＭ３１０に格納する。
【００３４】
図２（ｅ）を参照して、携帯型電話機１は、右目用画像データ８０２がＲＡＭ３１０に格納されると、右目用画像データ８０２と、ＲＡＭ３１０に先に格納されていた左目用画像データ８１０とを用いて、３Ｄ画像データ８０３を生成する。携帯型電話機１は、生成した３Ｄ画像データをＲＡＭ３１０に格納する。
【００３５】
図２（ｆ）を参照して、携帯型電話機１は、左目用画像データ８０１と、右目用画像データ８０２と、３Ｄ画像データ８０３とを、画像処理エンジン１３の外部に設けられたＲＡＭ（Random Access Memory）１６（図３，図４参照）に転送する。
【００３６】
図２（ｇ）を参照して、携帯型電話機１は、さらに、ユーザからデータ保存の指示を受け付けた場合、あるいは当該指示を待つことなく自動的に、ＲＡＭ１６に格納された画像データ８０１，８０２，８０３を、後述するフラッシュメモリ１７（図３参照）に書き込む。
【００３７】
なお、ＲＡＭ１６に格納された画像データ８０１，８０２，８０３をフラッシュメモリ１７に書き込む代わりに、後述するＩＣ（Integrated Circuit）記録メディア２２１（図３，図４参照）に書き込んでもよい。以下では、説明の便宜上、ＲＡＭ１６に格納された画像データ８０１，８０２，８０３を、フラッシュメモリ１７に書き込む構成を例に挙げて説明する。
【００３８】
以上のように、携帯型電話機１では、右目用画像の撮像の前に、ユーザがディスプレイ２０においてライブビュー表示された３Ｄ画像を視認できる。したがって、ユーザは、適切な位置で右目用画像の撮像を行なうことができる。それゆえ、ユーザは、１つの撮像部を用いた２枚の２次元画像の撮像によって、好適な３Ｄ画像を得ることができる。なお、携帯型電話機１では、横撮りの場合のみならず、縦撮りの場合であっても横取りの場合と同様に、３Ｄ画像データを生成できる。
【００３９】
以下では、このようなデータ処理を実現するための携帯型電話機１の具体的な構成について、説明する。
【００４０】
＜Ｃ．ハードウェア構成＞
図３は、携帯型電話機１のハードウェア構成を示した図である。図３を参照して、携帯型電話機１は、カメラ１１と、画像処理エンジン１３と、プログラムを実行するＣＰＵ（Central Processing Unit）１４と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１５と、データを揮発的に格納するＲＡＭ１６と、ＮＡＮＤ型のフラッシュメモリ１７と、携帯型電話機１のユーザによる指示の入力を受ける操作ボタン１８と、ストロボ１９と、ディスプレイ２０と、通信ＩＦ（Interface）２１と、リーダライタ２２と、電源ユニット２３と、ジャイロセンサ２９とを備える。なお、ジャイロセンサ２９を利用する構成については、後述する（「＜Ｆ．変形例＞」）。
【００４１】
画像処理エンジン１３は、カメラ１１に含まれる各撮像素子に光が照射されることにより発生した電荷に基づいて画像データを生成する。画像処理エンジン１３の詳細については、後述する。なお、カメラ１１は、典型的にはモジュール化（ユニット化）されている。
【００４２】
ＣＰＵ１４は、画像処理エンジン１３が担うデータ処理以外のデータ処理を行なう。
フラッシュメモリ１７は、不揮発性の半導体メモリである。フラッシュメモリ１７は、携帯型電話機１を制御するための各種のプログラム、携帯型電話機１が生成したデータ、携帯型電話機１の外部装置から取得したデータ等の各種データを揮発的に格納する。
【００４３】
通信ＩＦ２１は、携帯型電話機１が外部の通信装置と無線通信を行なうための信号処理を行なう。電源ユニット２３は、データバスを介して、カメラ１１、画像処理エンジン１３、ＣＰＵ１４、ストロボ１９、ディスプレイ２０、通信ＩＦ２１、リーダライタ２２、ジャイロセンサ２９等に電力を供給する。
【００４４】
各構成要素１１〜２３，２９は、相互にデータバスによって接続されている。リーダライタ２２には、ＩＣ記録メディア２２１が装着される。
【００４５】
携帯型電話機１における処理は、各ハードウェアと画像処理エンジン１３とＣＰＵ１４とにより実行されるソフトウェアによって実現される。このようなソフトウェアは、画像処理エンジン１３、フラッシュメモリ１７に予め記憶されている場合がある。また、ソフトウェアは、ＩＣ記録メディア２２１その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、リーダライタ２２その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦを介してダウンロードされた後、フラッシュメモリ１７に一旦格納される。そのソフトウェアは、ＣＰＵ１４によってフラッシュメモリ１７から読み出され、さらに実行可能なプログラムの形式でフラッシュメモリ１７あるいは画像処理エンジン１３に格納される。画像処理エンジン１３またはＣＰＵ１４は、そのプログラムを実行する。
【００４６】
同図に示される携帯型電話機１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、画像処理エンジン１３、フラッシュメモリ１７、ＩＣ記録メディア２２１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、携帯型電話機１の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４７】
なお、記録媒体としては、ＩＣカードに限られず、ＤＶＤ-ＲＯＭ、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
【００４８】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４９】
図４は、携帯型電話機１のハードウェア構成の要部を示した図である。図４を参照して、携帯型電話機１は、カメラ１１と、画像処理エンジン１３と、ＲＡＭ１６と、フラッシュメモリ１７と、ディスプレイ２０と、リーダライタ２２と、Ａ／Ｄ（Analog/Digital）変換器２４とを含む。リーダライタ２２には、ＩＣ記録メディア２２１が装着されている。
【００５０】
カメラ１１は、レンズ１１１と、メカニカルシャッタ１１２と、撮像素子１１３とを備える。なお、撮像素子は、受光素子またはイメージセンサとも呼ばれる。
【００５１】
レンズ１１１は、外光を集光する。具体的には、レンズ１１１は、被写体により反射した光等を集光する。
【００５２】
メカニカルシャッタ１１２は、レンズ１１１を通過した光を、撮像素子１１３に照射するか否かを切換えるための装置である。メカニカルシャッタ１１２は、シャッタボタン１８１の押下により動作する。より詳しくは、メカニカルシャッタ１１２は、ＣＰＵ１４の指令に基づき動作する。ここで、「シャッタボタン１８１が押下」とは、オートフォーカス機能によりピントを合わせるためのシャッタボタン１８１の半押を除くものとする。
【００５３】
撮像素子１１３は、光を電気信号に変換する。また、撮像素子１１３は、電気信号をＡ／Ｄ変換器２４に送る。撮像素子１１３は、たとえば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Charge Coupled Device）である。
【００５４】
Ａ／Ｄ変換器２４は、撮像素子１１３が出力したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２４は、変換により得られたデジタル信号を画像処理エンジン１３に送る。
【００５５】
次に、画像処理エンジン１３について説明する。画像処理エンジン１３は、プロセッサ３００と、ＲＡＭ３１０と、ＲＯＭ３２０とを備える。プロセッサ３００は、ＣＰＵ３０１と、ＤＳＰ（Digital Signal Processor）３０２とを有する。ＣＰＵ３０１と、ＤＳＰ３０２と、ＲＡＭ３１０と、ＲＯＭ３２０とは、データバスにより互いに接続されている。
【００５６】
プロセッサ３００は、ＲＯＭ３２０に格納されているプログラムに基づいた処理を実行する。ＣＰＵ３０１は、画像処理エンジン１３における全体制御および通信に関する処理を実行する。ＣＰＵ３０１は、たとえばＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャのＣＰＵである。ＤＳＰ３０２は、画像処理専用のプロセッサである。なお、プロセッサ３００を構成するＤＳＰ３０２の数は、１個に限定されるものではない。
【００５７】
ＲＡＭ３１０は、Ａ／Ｄ変換器２４から入力されるデジタル信号を一時的に記憶するバッファメモリとして機能する。また、ＲＡＭ３１０は、ＣＰＵ３０１およびＤＳＰ３０２によるデータ処理の際のワークメモリとしても機能する。ＲＯＭ３２０は、プロセッサ３００が実行するプログラムを含んでいる。
【００５８】
ＣＰＵ３０１は、ＲＡＭ３１０，１６へのデータの書き込み、ＲＡＭ３１０，１６からのデータの読み出し、ＲＡＭ３１０，１６に記録されたデータの消去を実行する。また、ＣＰＵ３０１は、ＩＣ記録メディア２２１へのデータの書き込み、ＩＣ記録メディア２２１からのデータの読み出し、ＩＣ記録メディア２２１に記録されたデータの消去を制御する。
【００５９】
なお、画像処理エンジン１３により実行される他の各処理については、後述する（図５，６）。
【００６０】
＜Ｄ．制御構造＞
図５は、携帯型電話機１におけるデータ処理の一部の処理を説明するためのフローチャートである。図６は、携帯型電話機１におけるデータ処理の残りの処理を説明するためのフローチャートである。具体的には、図５および図６は、携帯型電話機１の動作モードが３Ｄ撮像モードに切換った状態におけるデータ処理の流れを示している。
【００６１】
図５を参照して、ステップＳ２において、ＣＰＵ１４は、ユーザによってシャッタボタン１８１が押下されたか否かを判断する。画像処理エンジン１３のＣＰＵ３０１は、ＣＰＵ１４からシャッタボタン１８１の押下げがなされていない旨の指示を受け付けると（ステップＳ２においてＮＯ）、ステップＳ４において、電子シャッタを用いた被写体の撮像を行なう。なお、電子シャッタは、画像処理エンジン１３により実現されるシャッタであり、物理的な遮光板は不要である。
【００６２】
電子シャッタを用いた撮像を行なう場合、ＣＰＵ３０１は、たとえば、メカニカルシャッタ１１２を開状態にし、メカニカルシャッタ１２２を閉状態にしておく。ＣＰＵ３０１は、撮像素子１１３が出力したアナログ信号に基づくデジタル信号を受け付ける。なお、両方のメカニカルシャッタ１１２を開状態としてもよい。
【００６３】
ステップＳ６において、ＣＰＵ３０１は、デジタルデータ（以下、「ＲＡＷデータ」と称する）を生成する。ステップＳ８において、ＣＰＵ３０１は、生成されたＲＡＷデータを現像処理する。当該現像処理により、ＲＡＷデータは、人間の目で画像として認識可能な可視画像データとなる。ステップＳ１０において、ＣＰＵ３０１は、ディスプレイ２０にスルー画像を表示させる。これにより、ユーザは、電子シャッタを用いて撮像している被写体の画像を、ディスプレイ２０でリアルタイムに視認可能となる。
【００６４】
ＣＰＵ３０１は、ＣＰＵ１４からシャッタボタン１８１の押下げがなされた旨の指示を受け付けると（ステップＳ２においてＹＥＳ）、ステップＳ１２において、メカニカルシャッタ１１２を用いて被写体の撮像を行なう。具体的には、ＣＰＵ３０１は、左目用画像を生成するための撮像を行なう。ステップＳ１４において、ＣＰＵ３０１は、Ａ／Ｄ変換器２４からそれぞれ出力されたデジタル信号に基づいて、ＲＡＷデータを生成する。
【００６５】
ＣＰＵ３０１は、ステップＳ１６において、現像処理を行なう。具体的には、ＣＰＵ３０１は、センサ補正処理、デモザイク処理、画素補間処理、色補正処理（ホワイトバランス調整、カラーマトリクス変換、ガンマ変換）、ＲＧＢ画像処理（シャープネス補正、トーン補正、露出補正等）を行なう。
【００６６】
ステップＳ１８において、ＣＰＵ１４は、ユーザによってシャッタボタン１８１が押下されたか否かを判断する。ＣＰＵ１４は、シャッタボタン１８１が押下されていないと判断した場合（ステップＳ１８においてＮＯ）、ステップＳ２０において、電子シャッタを用いた被写体の撮像を行なう。ステップＳ２２において、ＣＰＵ３０１は、ＲＡＷデータを生成する。ステップＳ２４において、ＣＰＵ３０１は、生成されたＲＡＷデータを現像処理する。
【００６７】
ステップＳ２６において、ＣＰＵ３０１は、メカニカルシャッタ１１２を用いた撮像により得られた画像データ（つまり、左目用画像データ）と、電子シャッタを用いた撮像により得られた画像データ（つまり、スルー画像データ）とから３Ｄ画像データを生成する。ステップＳ２８において、ＣＰＵ３０１は、生成した３Ｄ画像データに基づく３Ｄ画像をディスプレイ２０に表示させる。つまり、ＣＰＵ３０１は、ディスプレイ２０に、３Ｄ画像をライブビュー表示させる。
【００６８】
一方、ＣＰＵ１４は、シャッタボタン１８１が押下されたと判断した場合（ステップＳ１８においてＹＥＳ）、図６に示すステップＳ３０を実行する。図６を参照して、ステップＳ３０において、メカニカルシャッタ１１２を用いて被写体の撮像を行なう。具体的には、ＣＰＵ３０１は、右目用画像を生成するための撮像を行なう。ステップＳ３２において、ＣＰＵ３０１は、Ａ／Ｄ変換器２４からそれぞれ出力されたデジタル信号に基づいて、ＲＡＷデータを生成する。ＣＰＵ３０１は、ステップＳ３４において、現像処理を行なう。
【００６９】
ステップＳ３６において、ＣＰＵ３０１は、メカニカルシャッタ１１２を用いた撮像により得られた２つの画像データ（つまり、左目用画像データおよび右目用画像データ）から３Ｄ画像データを生成する。
【００７０】
ステップＳ３８において、ＣＰＵ３０１は、ステップＳ１６，３４の現像処理で得られた左目用画像データおよび右目用画像データと、ステップＳ３６の処理で得られた３Ｄ画像データとを、ＲＡＭ１６に書き込む。具体的には、ＣＰＵ３０１は、左目用画像データと、右目用画像データと、３Ｄ画像データとを、対応付けてＲＡＭ１６に転送する。
【００７１】
ステップＳ４０において、ＣＰＵ３０１は、左目用画像データ、右目用画像データ、および３Ｄ画像データを非可逆圧縮する。たとえば、ＣＰＵ３０１は、左目用画像データ、右目用画像データ、および３Ｄ画像データを、予め定められたフォーマット（ＪＰＥＧフォーマット、ＤＣＦフォーマット、Ｅｘｉｆフォーマット、またはＴＩＦＦフォーマット）の画像データに変換する。ステップＳ４２において、ＣＰＵ３０１は、ステップＳ４０で圧縮した画像データを、フラッシュメモリ１７に書き込む。
【００７２】
以上により、ＣＰＵ３０１は、一連の処理を終了する。
＜Ｅ．携帯型電話機１のまとめ＞
以上のように、携帯型電話機１は、視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置である。携帯型電話機１は、ＣＰＵ３０１と、フラッシュメモリ１７と、被写体を撮像するためのカメラ１１と、ディスプレイ２０とを備えている。カメラ１１は、撮像素子１１３と、スルー画像データを生成するための電子シャッタと、左目用画像データおよび右目用画像データを生成するためのメカニカルシャッタ１１２とを含んでいる。
【００７３】
ＣＰＵ３０１は、外部入力を受け付けたことに基づき、撮像素子１１３およびメカニカルシャッタ１１２を用いて、左目用画像データ生成する。ＣＰＵ３０１は、左目用画像データが生成されたことに基づき、当該左目用画像データと電子シャッタによる撮像により得られたスルー画像データとを用いて立体画像データを生成する。ＣＰＵ３０１は、生成された立体画像データに基づく立体画像をディスプレイ２０に表示させる。
【００７４】
ＣＰＵ３０１は、立体画像がディスプレイ２０に表示された状態で外部入力を再度受け付けると、撮像素子１１３およびメカニカルシャッタ１１２を用いて、右目用画像データを生成する。ＣＰＵ３０１は、右目用画像データが生成されたことに基づき、左目用画像データと右目用画像データとを用いて立体画像データを生成する。ＣＰＵ３０１は、生成された立体画像データをフラッシュメモリ１７に格納する。
【００７５】
したがって、携帯型電話機１では、右目用画像の撮像の前に、ユーザがディスプレイ２０においてライブビュー表示された３Ｄ画像を視認できる。それゆえユーザは、適切な位置で右目用画像の撮像を行なうことができる。これにより、ユーザは、１つの撮像部（カメラ１１）を用いた２枚の２次元画像の撮像によって、好適な３Ｄ画像を得ることができる。
【００７６】
＜Ｆ．変形例＞
（ｆ１．第１の変形例）
上記においては、右目用画像データを生成するためにシャッタボタン１８１を再び押すときの携帯型電話機１の姿勢が適切でない場合もある。たとえば、ユーザが、左目用画像データを生成するためにシャッタボタン１８１を押下した後に、携帯型電話機１が前後に傾いてしまった場合、携帯型電話機１が左右に傾いてしまった場合、携帯型電話機１が上下に傾いてしまった場合である。
【００７７】
図７は、携帯型電話機１の姿勢の変化を説明するための図である。なお、以下では、ｘｙｚ軸の座標系を用いて説明する。また、説明の簡略化のため、ｚ軸の正の向きを鉛直上向きとする。
【００７８】
携帯型電話機１は、携帯型電話機１の姿勢の変化を、ジャイロセンサ２９（図３参照）により検知する。
【００７９】
図７（ａ）は、携帯型電話機１の姿勢の変化に伴ってカメラ１１の光軸が振れる場合を説明するための図である。詳しくは、図７（ａ）は、携帯型電話機１が、鉛直軸（ｚ軸）と左目用画像データを生成したときの光軸１１０１とに垂直な軸（ｙ軸に平行な軸）を回転軸として回転してしまった場合を説明するための図である。
【００８０】
図７（ａ）を参照して、ジャイロセンサ２９は、前後の傾きとして、矢印５１０および矢印５２０の向きの携帯型電話機１の傾きを検知する。ジャイロセンサ２９による検知結果は、ＣＰＵ３０１に送られる。ＣＰＵ３０１は、傾き角（光軸１１０１の振れ角）が予め定められた閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。このような構成により、携帯型電話機１は、好適な３Ｄ画像データの生成が可能となる。なお、以下では、携帯型電話機１が、矢印５１０または矢印５２０の向きに傾いたときの傾き角を、説明の便宜上「ピッチ角」と称する。
【００８１】
図７（ｂ）は、図７（ａ）と同様に、携帯型電話機１の姿勢の変化に伴ってカメラ１１の光軸１１０１が振れる場合を説明するための図である。より詳しくは、図７（ｂ）は、携帯型電話機１が、鉛直軸（ｚ軸）を回転軸として回転してしまった場合を説明するための図である。
【００８２】
図７（ｂ）を参照して、ジャイロセンサ２９は、左右の傾きとして、矢印５３０および矢印５４０の向きの携帯型電話機１の傾きを検知する。ジャイロセンサ２９による検知結果は、ＣＰＵ３０１に送られる。ＣＰＵ３０１は、傾き角（光軸１１０１の振れ角）が予め定められた閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。このような構成により、携帯型電話機１は、好適な３Ｄ画像データの生成が可能となる。なお、以下では、携帯型電話機１が、矢印５３０または矢印５４０の向きに傾いたときの傾き角を、説明の便宜上「ヨー角」と称する。
【００８３】
図７（ｃ）は、携帯型電話機１の姿勢の変化として、カメラ１１の光軸１１０１に平行な軸（ｘ軸に平行な軸）を回転軸として携帯型電話機１が回転する場合を説明するための図である。
【００８４】
図７（ｃ）を参照して、ジャイロセンサ２９は、上下の傾きとして、矢印５５０および矢印５６０の向きの携帯型電話機１の傾きを検知する。ジャイロセンサ２９による検知結果は、ＣＰＵ３０１に送られる。ＣＰＵ３０１は、傾き角が予め定められた閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。このような構成により、携帯型電話機１は、好適な３Ｄ画像データの生成が可能となる。なお、以下では、携帯型電話機１が、矢印５５０または矢印５６０の向きに傾いたときの傾き角を、説明の便宜上「ロール角」と称する。
【００８５】
図８は、携帯型電話機１の傾きの閾値を表したデータテーブル６００を説明するための図である。なお、データテーブル６００は、たとえば、フラッシュメモリ１７に予め格納されている。図８を参照して、データテーブル６００では、ピッチ角についての閾値として、“Ｔｈ１”が格納されている。また、データテーブル６００では、ヨー角についての閾値として、“Ｔｈ２”が格納されている。さらに、データテーブルでは、ロール角についての閾値として、“Ｔｈ３”が格納されている。ＣＰＵ３０１は、データテーブル６００の各閾値を参照して、メカニカルシャッタ１１２を用いた右目用画像データの生成を行うか否かを判断する。
【００８６】
なお、各閾値Ｔｈ１〜Ｔｈ３の値がユーザによって変更可能なように携帯型電話機１を構成してもよい。
【００８７】
このように、携帯型電話機１は、携帯型電話機１の姿勢の変化を検知するジャイロセンサ２９を備えている。フラッシュメモリ１７は、姿勢の変化に関する閾値Ｔｈ１〜Ｔｈ３を予め格納している。ＣＰＵ３０１は、左目用画像データを生成したときを基準として携帯型電話機１の姿勢の変化が閾値以上になった場合、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。
【００８８】
図９は、ディスプレイ２０に表示される案内表示を説明するための図である。上述したように、携帯型電話機１の姿勢の変化が閾値以上となった場合には、シャッタボタン１８１が押下されても、メカニカルシャッタ１１２を用いた右目用画像データの生成は行なわない。つまり、携帯型電話機１は、右目用画像データの生成を許可しない。そこで、携帯型電話機１は、携帯型電話機１の姿勢の変化を閾値未満とするための案内表示をディスプレイ２０に表示させる。
【００８９】
図９を参照して、例えば、携帯型電話機１が１回目の撮影のときに比べて、矢印５２０の向き（つまり、後ろ向き）に閾値Ｔｈ１以上傾いてしまった場合、携帯型電話機１のＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を前向きに傾けるようにユーザを誘導する案内表示７００を表示する。一方、携帯型電話機１が矢印５１０の向きに閾値Ｔｈ１以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を後向きに傾けるようにユーザを誘導する案内を表示する。
【００９０】
また、携帯型電話機１が矢印５３０の向きに閾値Ｔｈ２以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を右向きに傾けるようにユーザを誘導する案内を表示する。一方、携帯型電話機１が矢印５４０の向きに閾値Ｔｈ２以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を左向きに傾けるようにユーザを誘導する案内を表示する。
【００９１】
また、携帯型電話機１が矢印５５０の向きに閾値Ｔｈ３以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を反時計回りに傾けるようにユーザを誘導する案内を表示する。一方、携帯型電話機１が矢印５６０の向きに閾値Ｔｈ３以上傾いてしまった場合には、ＣＰＵ１４は、ディスプレイ２０に、携帯型電話機１を時計回りに傾けるようにユーザを誘導する案内を表示する。
【００９２】
当該構成により、ユーザは、メカニカルシャッタ１１２を用いた右目用画像データの生成が許可される撮像位置に携帯型電話機１を移動させることが可能となる。
【００９３】
なお、上記においては、説明の簡略化のためｚ軸の正の向きを鉛直上向きとして説明したが、これに限定されるものではない。ユーザは、３Ｄ画像を得るために、携帯型電話機１を傾けた状態で被写体を撮像することもある。この場合であっても、上述したように、光軸１１０１の振れ角、および光軸１１０１に平行な軸を回転軸とした携帯型電話機１の傾き角を利用することにより、ｚ軸の正の向きを鉛直上向きとした場合と同様、携帯型電話機１は好適な３Ｄ画像データの生成が可能となる。
【００９４】
図１０は、第１の変形例における携帯型電話機１におけるデータ処理の一部の処理を説明するためのフローチャートである。具体的には、図１０は、携帯型電話機１の動作モードが３Ｄ撮像モードに切替った状態におけるデータ処理の流れを示している。詳しくは、図１０は、一例として、ピッチ角とヨー角とがそれぞれ閾値Ｔｈ１，Ｔｈ２以上となった場合に、メカニカルシャッタ１１２を用いた右目用画像データの生成を許可しない構成を説明するための図である。以下では、図５のフローチャートと異なる点を主として説明する。
【００９５】
ステップＳ２の処理に先立ち、ステップＳ１０２において、ＣＰＵ１４は、ピッチ角Ｐとヨー角Ｙとの検知を開始する。ステップＳ２においてシャッタボタン１８１の押下げがなされた場合、ステップＳ１２に先立ち、ステップＳ１０４において、ＣＰＵ１４は、現在のピッチ角Ｐおよびヨー角Ｙを、それぞれ、ピッチ角Ｐｏおよびヨー角ＹｏとしてＲＡＭ１６に記憶する。なお、「現在のピッチ角Ｐおよびヨー角Ｙ」とは、シャッタボタン１８１の押下をＣＰＵ１４が検知したときのピッチ角Ｐおよびヨー角Ｙを指す。
【００９６】
ステップＳ２８の後に、ステップＳ１０６において、ＣＰＵ１４は、以下の式（１）および式（２）がともに成立しているか否かを判断する。
【００９７】
｜Ｐｏ−Ｐ｜ ＜ Ｔｈ１ … （１）
｜Ｙｏ−Ｙ｜ ＜ Ｔｈ２ … （２）
式（１）および式（２）がともに成立している場合（ステップＳ１０６においてＹＥＳ）、ＣＰＵ１４は、処理をステップＳ１８に進める。一方、式（１）および式（２）の少なくとも一方が成立していない場合、ＣＰＵ１４は、ステップＳ１０８において、ディスプレイ２０に上述した案内表示をさせる。
【００９８】
ステップＳ１８においてシャッタボタン１８１が押されたと判断された場合、ステップＳ３０（図６参照）に先立ち、ＣＰＵ１４は、ステップＳ１１０の処理を実行する。具体的には、ＣＰＵ１４は、ステップＳ１１０において、ステップＳ１０６と同じ判断処理を実行する。
【００９９】
式（１）および式（２）がともに成立している場合（ステップＳ１１０においてＹＥＳ）、ＣＰＵ１４は、処理をステップＳ３０に進める。一方、式（１）および式（２）の少なくとも一方が成立していない場合、ＣＰＵ１４は、ステップＳ１１２において、ディスプレイ２０に、メカニカルシャッタ１１２による撮像を許可しない旨の表示をさせる。ＣＰＵ１４は、ステップＳ１１２の後は、処理をステップＳ２０に進める。
【０１００】
なお、上記では、ピッチ角とヨー角とがそれぞれ閾値Ｔｈ１，Ｔｈ２以上となった場合に、メカニカルシャッタ１１２を用いた右目用画像データの生成を許可しない構成を例に挙げて説明したが、これに限定されるものではない。たとえば、ピッチ角とヨー角とロール角とがそれぞれ閾値Ｔｈ１，Ｔｈ２，Ｔｈ３以上となった場合に、メカニカルシャッタ１１２を用いた右目用画像データの生成を許可しないように携帯型電話機１を構成してもよい。
【０１０１】
（ｆ２．第２の変形例）
図１１は、携帯型電話機１Ａの外観を示した図である。図１１（ａ）は、携帯型電話機１Ａの正面図である。図１１（ｂ）は、携帯型電話機１Ａの裏面図である。図１１（ｃ）は、被写体を撮像するときの状態を表した図である。
【０１０２】
図１１（ａ）を参照して、携帯型電話機１Ａは、ディスプレイ２０と、シャッタボタン１８１を含む操作ボタン１８とを備える。図１１（ｂ）を参照して、携帯型電話機１Ａは、ディスプレイ２０が設けられた表面とは反対側の表面に、カメラ１１，１２と、ストロボ１９とを備える。図１１（ｃ）を参照して、ユーザは、被写体を横撮りするために、携帯型電話機１Ａを右手９０２とで保持している。
【０１０３】
携帯型電話機１Ａは、３Ｄ撮像モードと、２Ｄ撮像モードとを備える。携帯型電話機１Ａは、３Ｄ撮像モードとして動作している場合、カメラ１１により撮像された左目用画像とカメラ１２により撮像された右目用画像とに基づき、観察者から立体的に見える３Ｄ画像を生成する。携帯型電話機１Ａは、視差バリア方式により、３Ｄ画像をディスプレイ２０に表示する。
【０１０４】
携帯型電話機１Ａでは、横撮りの場合に、２つのカメラ１１，１２を同時に用いた被写体の撮像により、３Ｄ画像データを生成できる。しかしながら、携帯型電話機１Ａでは、縦撮りの際には、２つのカメラ１１，１２を同時に用いても、３Ｄ画像データを生成することはできない。
【０１０５】
そこで、携帯型電話機１Ａでは、携帯型電話機１Ａが縦撮りの姿勢になった場合、カメラ１１およびカメラ１２のうちいずれかのカメラの撮像を停止する。これにより、携帯型電話機１Ａは、携帯型電話機１のように単眼式のカメラと同様な構成となる。したがって、携帯型電話機１Ａにおいて、携帯型電話機１と同様の撮像処理を行うことにより、縦撮りであっても３Ｄ画像データを生成することが可能となる。
【０１０６】
図１２は、携帯型電話機１Ａのハードウェア構成の要部を示した図である。図１２を参照して、携帯型電話機１Ａは、カメラ１１と、カメラ１２と、画像処理エンジン１３と、ＲＡＭ１６と、フラッシュメモリ１７と、ディスプレイ２０と、リーダライタ２２と、Ａ／Ｄ変換器２４と、Ａ／Ｄ変換器２５とを含む。リーダライタ２２には、ＩＣ記録メディア２２１が装着されている。
【０１０７】
カメラ１２は、レンズ１２１と、メカニカルシャッタ１２２と、撮像素子１２３とを備
える。
【０１０８】
レンズ１２１は、外光を集光する。メカニカルシャッタ１２２は、レンズ１２１を通過した光を、撮像素子１２３に照射するか否かを切替えるための装置である。メカニカルシャッタ１２２は、シャッタボタン１８１の押下により動作する。より詳しくは、メカニカルシャッタ１２２は、ＣＰＵ１４の指令に基づき動作する。撮像素子１２３は、光を電気信号に変換する。また、撮像素子１２３は、電気信号をＡ／Ｄ変換器２５に送る。撮像素子１２３は、たとえば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Charge Coupled Device）である。
【０１０９】
Ａ／Ｄ変換器２５は、撮像素子１２３が出力したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２５は、変換により得られたデジタル信号を画像処理エンジン１３に送る。
【０１１０】
このように、携帯型電話機１Ａは、カメラ１２とＡ／Ｄ変換器２５とさらに備える点において、携帯型電話機１のハードウェア構成と異なっている。その他ハードウェア構成は、携帯型電話機１と同じであるため、ここでは説明を繰り返さない。
【０１１１】
（ｆ３．第３の変形例）
上記においては、シャッタボタン１８１が押下げられることに基づき、メカニカルシャッタ１１２が動作する構成を例に挙げて説明したが、これに限定されるものではない。シャッタボタンの押下による外部入力の代わりに、ディスプレイ２０に表示されたオブジェクトを選択する外部入力を受け付けたことに基づき、メカニカルシャッタ１１２を動作させてもよい。オブジェクトの一例としては、ユーザに対して、カメラ撮影を実行するためのソフトウェアボタンであることを認識させるための画像が挙げられる。
【０１１２】
（ｆ４．第４の変形例）
上記において、左目用画像データを生成した後、右目用画像データを生成する構成を例に挙げて説明したが、左目用画像データと右目用画像データとの生成順序は、これに限定されるものではない。右目用画像データを生成した後、左目用画像データを生成するように、携帯型電話機１，１Ａを構成してもよい。この場合、ユーザは、１回目のシャッタボタン１８１の押下の後に、携帯型電話機１を図１（ｃ）の矢印９９０が示す向きとは逆の向きに携帯型電話機１，１Ａを移動して、２回目のシャッタボタン１８１の押下を行なう必要がある。
【０１１３】
（ｆ５．第５の変形例）
上記においては、携帯型電話機１，１Ａが電子シャッタとメカニカルシャッタとを備える構成を例に挙げて説明したが、これに限定されるものではない。メカニカルシャッタを備えることなく、電子シャッタのみを備える構成であってもよい。つまり、電子シャッタにより、スルー画像データと、左目用画像データと、右目用画像データとを得る構成であってもよい。
【０１１４】
（ｆ６．第６の変形例）
上記においては、携帯型電話機１の姿勢の変化を検知する手段としてジャイロセンサ２９を用いる場合を例に挙げて説明したが、これに限定されるものではない。たとえば、ジャイロセンサの代わりに、加速度センサおよび地磁気センサを用いてもよい。
【０１１５】
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１６】
１，１Ａ 携帯型電話機、１１，１２ カメラ、１３ 画像処理エンジン、１６，３１０ ＲＡＭ、１７ フラッシュメモリ、１８ 操作ボタン、２０ ディスプレイ、２２ リーダライタ、２９ ジャイロセンサ、１１１，１２１ レンズ、１１２，１２２ メカニカルシャッタ、１１３，１２３ 撮像素子、１８１ シャッタボタン、２２１ ＩＣ記録メディア、３００ プロセッサ、３２０ ＲＯＭ、６００ データテーブル、７００ 案内表示、８０１，８１０ 左目用画像データ、８０２ 右目用画像データ、８０３，８３０ 立体画像データ、８２０ スルー画像データ、１１０１ 光軸。
【特許請求の範囲】
【請求項１】
視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置であって、
プロセッサと、
メモリと、
被写体を撮像するための撮像素子と、
ディスプレイとを備え、
前記プロセッサは、
シャッタボタンの押下または前記ディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、前記撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成し、
前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成し、
前記生成された立体画像データに基づく立体画像を前記ディスプレイに表示させ、
前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記撮像素子を用いて前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成し、
前記他方の画像データが生成されたことに基づき、前記一方の画像データと当該他方の画像データとを用いて立体画像データを生成し、
前記一方の画像データと前記他方の画像データとを用いて生成された前記立体画像データを前記メモリに格納する、撮像装置。
【請求項２】
前記スルー画像データを生成するための電子シャッタと、
前記左目用画像データおよび前記右目用画像データを生成するためのメカニカルシャッタとをさらに備え、
前記プロセッサは、
前記外部入力を受け付けたことに基づき、前記メカニカルシャッタを用いて、前記左目用画像データおよび前記右目用画像データのうちの一方の画像データを生成し、
前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記電子シャッタを用いた撮像により得られた前記スルー画像データとを用いて立体画像データを生成し、
前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記メカニカルシャッタを用いて、前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成する、請求項１に記載の撮像装置。
【請求項３】
前記撮像装置の姿勢の変化を検知するセンサをさらに備え、
前記メモリは、前記姿勢の変化に関する閾値を予め格納しており、
前記プロセッサは、前記一方の画像データを生成したときを基準として前記姿勢の変化が前記閾値以上になった場合、前記再度の外部入力を受け付けても、前記他方の画像データを生成しない、請求項２に記載の撮像装置。
【請求項４】
前記プロセッサは、前記姿勢の変化に伴う前記撮像装置の光軸の振れ角が前記閾値以上になった場合、前記再度の外部入力を受け付けても、前記他方の画像データを生成しない、請求項３に記載の撮像装置。
【請求項５】
前記センサは、前記姿勢の変化として、鉛直軸と前記一方の画像データを生成したときの光軸とに垂直な軸を回転軸とした前記撮像装置の傾きを検知する、請求項４に記載の撮像装置。
【請求項６】
前記センサは、前記姿勢の変化として、鉛直軸を回転軸とした前記撮像装置の傾きを検知する、請求項４に記載の撮像装置。
【請求項７】
前記センサは、前記姿勢の変化として、前記撮像装置の光軸に平行な軸を回転軸とした前記撮像装置の傾きを検知する、請求項３に記載の撮像装置。
【請求項８】
前記プロセッサは、前記姿勢の変化が前記閾値以上となった場合には、前記姿勢の変化を前記閾値未満とするための案内表示を前記ディスプレイに表示させる、請求項３から７のいずれか１項に記載の撮像装置。
【請求項９】
視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置における画像処理方法であって、
前記撮像装置が、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、
前記撮像装置が、前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、
前記撮像装置が、前記生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、
前記撮像装置が、前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記撮像素子を用いて前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成するステップと、
前記撮像装置が、前記他方の画像データが生成されたことに基づき、前記一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、
前記撮像装置が、前記一方の画像データと前記他方の画像データとを用いて生成された前記立体画像データをメモリに格納するステップとを備える、画像処理方法。
【請求項１０】
視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置を制御するためのプログラムであって、
シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、
前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、
前記生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、
前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記撮像素子を用いて前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成するステップと、
前記他方の画像データが生成されたことに基づき、前記一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、
前記一方の画像データと前記他方の画像データとを用いて生成された前記立体画像データをメモリに格納するステップとを、前記撮像装置に実行させる、プログラム。
【請求項１】
視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置であって、
プロセッサと、
メモリと、
被写体を撮像するための撮像素子と、
ディスプレイとを備え、
前記プロセッサは、
シャッタボタンの押下または前記ディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、前記撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成し、
前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成し、
前記生成された立体画像データに基づく立体画像を前記ディスプレイに表示させ、
前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記撮像素子を用いて前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成し、
前記他方の画像データが生成されたことに基づき、前記一方の画像データと当該他方の画像データとを用いて立体画像データを生成し、
前記一方の画像データと前記他方の画像データとを用いて生成された前記立体画像データを前記メモリに格納する、撮像装置。
【請求項２】
前記スルー画像データを生成するための電子シャッタと、
前記左目用画像データおよび前記右目用画像データを生成するためのメカニカルシャッタとをさらに備え、
前記プロセッサは、
前記外部入力を受け付けたことに基づき、前記メカニカルシャッタを用いて、前記左目用画像データおよび前記右目用画像データのうちの一方の画像データを生成し、
前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記電子シャッタを用いた撮像により得られた前記スルー画像データとを用いて立体画像データを生成し、
前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記メカニカルシャッタを用いて、前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成する、請求項１に記載の撮像装置。
【請求項３】
前記撮像装置の姿勢の変化を検知するセンサをさらに備え、
前記メモリは、前記姿勢の変化に関する閾値を予め格納しており、
前記プロセッサは、前記一方の画像データを生成したときを基準として前記姿勢の変化が前記閾値以上になった場合、前記再度の外部入力を受け付けても、前記他方の画像データを生成しない、請求項２に記載の撮像装置。
【請求項４】
前記プロセッサは、前記姿勢の変化に伴う前記撮像装置の光軸の振れ角が前記閾値以上になった場合、前記再度の外部入力を受け付けても、前記他方の画像データを生成しない、請求項３に記載の撮像装置。
【請求項５】
前記センサは、前記姿勢の変化として、鉛直軸と前記一方の画像データを生成したときの光軸とに垂直な軸を回転軸とした前記撮像装置の傾きを検知する、請求項４に記載の撮像装置。
【請求項６】
前記センサは、前記姿勢の変化として、鉛直軸を回転軸とした前記撮像装置の傾きを検知する、請求項４に記載の撮像装置。
【請求項７】
前記センサは、前記姿勢の変化として、前記撮像装置の光軸に平行な軸を回転軸とした前記撮像装置の傾きを検知する、請求項３に記載の撮像装置。
【請求項８】
前記プロセッサは、前記姿勢の変化が前記閾値以上となった場合には、前記姿勢の変化を前記閾値未満とするための案内表示を前記ディスプレイに表示させる、請求項３から７のいずれか１項に記載の撮像装置。
【請求項９】
視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置における画像処理方法であって、
前記撮像装置が、シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、
前記撮像装置が、前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、
前記撮像装置が、前記生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、
前記撮像装置が、前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記撮像素子を用いて前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成するステップと、
前記撮像装置が、前記他方の画像データが生成されたことに基づき、前記一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、
前記撮像装置が、前記一方の画像データと前記他方の画像データとを用いて生成された前記立体画像データをメモリに格納するステップとを備える、画像処理方法。
【請求項１０】
視差バリア方式で立体画像を表示するための立体画像データを生成する撮像装置を制御するためのプログラムであって、
シャッタボタンの押下またはディスプレイに表示されたオブジェクトの選択に基づく外部入力を受け付けたことに基づき、撮像素子を用いて左目用画像データおよび右目用画像データのうちの一方の画像データを生成するステップと、
前記一方の画像データが生成されたことに基づき、当該一方の画像データと前記撮像素子による撮像により得られたスルー画像データとを用いて立体画像データを生成するステップと、
前記生成された立体画像データに基づく立体画像をディスプレイに表示するステップと、
前記立体画像が前記ディスプレイに表示された状態で前記外部入力を再度受け付けると、前記撮像素子を用いて前記左目用画像データおよび前記右目用画像データのうちの他方の画像データを生成するステップと、
前記他方の画像データが生成されたことに基づき、前記一方の画像データと当該他方の画像データとを用いて立体画像データを生成するステップと、
前記一方の画像データと前記他方の画像データとを用いて生成された前記立体画像データをメモリに格納するステップとを、前記撮像装置に実行させる、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−７８０３８（Ｐ２０１３−７８０３８Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７５７６（Ｐ２０１１−２１７５７６）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]