画像撮像装置
【課題】１つの撮像素子を用いて、立体視用画像（左眼用画像，右眼用画像）を容易に撮影できるようにした画像撮像装置を提供する。
【解決手段】画像撮像装置１は、撮像素子２により取り込んだ撮影対象画像を表示する画像表示部４と、画像表示部４に表示されている撮影対象画像に対するシャッター操作に応じて撮影画像を取得する画像処理部５とを備える。画像処理部５は、第１の撮影画像から主要被写体の領域を切り出し、切り出した主要被写体領域を左右方向に所定量シフトさせ、所定量シフトさせた主要被写体領域を基準被写体領域として画像表示部４に表示されている撮影対象画像に重畳させる。基準被写体領域が重畳された状態でシャッター操作された場合に、画像処理部５は、シャッター操作に応じて撮影対象画像を第２の撮影画像として取得する。
【解決手段】画像撮像装置１は、撮像素子２により取り込んだ撮影対象画像を表示する画像表示部４と、画像表示部４に表示されている撮影対象画像に対するシャッター操作に応じて撮影画像を取得する画像処理部５とを備える。画像処理部５は、第１の撮影画像から主要被写体の領域を切り出し、切り出した主要被写体領域を左右方向に所定量シフトさせ、所定量シフトさせた主要被写体領域を基準被写体領域として画像表示部４に表示されている撮影対象画像に重畳させる。基準被写体領域が重畳された状態でシャッター操作された場合に、画像処理部５は、シャッター操作に応じて撮影対象画像を第２の撮影画像として取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮像装置に関し、より詳細には、立体視用の画像を撮影する画像撮像装置に関する。
【背景技術】
【０００２】
左眼には左眼用の画像を視認させ、右眼には右眼用の画像を視認させ、両画像内の被写体のずれ（視差）により立体像として認識させる立体画像技術が開発されている。立体画像を表示するディスプレイでは、立体画像を見るための眼鏡と組み合わせて、左右の画像を時分割で表示したり、偏光方向を変えて表示したりすることで視聴者に左右画像を分離して視認させるものがある。
【０００３】
一方、立体視用画像（すなわち、左眼用画像と右眼用画像）を撮影可能な画像撮像装置では、左眼用の画像を撮影する左眼用のカメラモジュールと、右眼用の画像を撮影する右眼用のカメラモジュールを備えたものが開発されている。カメラモジュールはレンズなどの光学部品と、光電変換により画像データを取得するセンサなどで構成され、センサには、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）といった固体撮像素子が利用されている。左右それぞれのカメラモジュールで撮影された画像を、立体表示可能なディスプレイで表示することにより立体画像を鑑賞することができる。
【０００４】
一方で、カメラモジュールを２個備えた場合は簡単に立体視用画像を撮影できるが、この場合、装置の大型化、消費電力の増加、コストの増加などが発生してしまう。このため、カメラモジュールを１個しか備えていない画像撮像装置でも立体視用画像を撮影できる方法が提案されている。例えば、同一の被写体を異なる位置から２回撮影することにより立体視用画像を取得する方法がある。
【０００５】
しかしながら、異なる位置で２回撮影する場合、撮影範囲が同じになるようにしたり、視差が適度な範囲に収まるようにしたりすることは困難である。この課題を解決する方法として、例えば、特許文献１に記載の方法が挙げられる。この特許文献１では、１回目の撮影画像を２回目の撮影に利用することでフレーミングの正確性を向上させている。具体的には、１回目の撮影画像の一部を、モニタ上にリアルタイム表示される２回目の撮影対象画像に重ねて表示させ、１回目の撮影画像の一部に２回目の撮影対象画像が重なったときに２回目の撮影を行うことで、立体視用画像を取得している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２３０９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１に記載の方法では、２回目の撮影を１回目の撮影位置とは異なる位置で行い、１回目の撮影画像の一部に２回目の撮影対象画像が重なったときに２回目の撮影を行っている。このとき、異なる位置への移動を平行に移動してカメラを回転させない場合、無限遠の被写体を除き、１回目の画像の被写体と２回目の画像の被写体とが重なることはない。このため特許文献１に記載の方法では、カメラを平行に移動させて、かつ、カメラを回転させて撮影する必要がある。
【０００８】
すなわち、１回目の撮影画像から切り出した被写体中央部分（スケール画像）をモニタ上に表示させた状態で、カメラを異なる位置に平行移動させ、さらに、当該位置での映像に含まれる被写体中央部分が、スケール画像に重なるようにカメラを回転させて、スケール画像の位置におおよそ一致したときに撮影し、２回目の撮影画像を取得している。そうすると、特許文献１のスケール画像は視点の異なる２つの画像間の視差を考慮したものではなく、単に位置合わせに用いている。
【０００９】
したがって、カメラの移動量と回転量のバランスが分からないため、立体視したときの立体画像における立体感の調整が困難である。つまり、移動量が小さく回転量も小さい場合には視差が小さすぎて立体感が得られない立体画像となり、移動量が大きく回転量も大きい場合には視差が大きすぎて融像できない立体画像となってしまう。
【００１０】
また、重ね合わせる被写体が近景のときには、遠景被写体を考慮していないため、遠景の被写体の視差が大きくなり過ぎる可能性がある。このような立体視用画像を立体表示可能なディスプレイで見たとき、被写体が融像されなかったり、視聴者の疲労が増加したりする可能性がある。また、重ね合わせる被写体が遠景のときには、近景被写体を考慮していないため、近景の被写体の視差が大きくなり過ぎる可能性がある。このような立体視用画像を立体表示可能なディスプレイで見たとき、同様に、被写体が融像されなかったり、視聴者の疲労が増加したりする可能性がある。さらに、遠景が非常に遠い場合には、カメラを移動させても遠景被写体に視差が生じることがないため、立体視用画像の撮影は困難となる。
【００１１】
また、画像の一部ではなく画像全体を重ねて２回目の撮影を行うようにした場合、近景と遠景が同時にモニタ画面に重ねて表示されることになるため、様々な視差が発生するとともに、複数の被写体がある場合に、操作者はどの被写体を重ね合わせれば良いのか判断に困るという問題もある。
【００１２】
本発明は、上述のごとき実情に鑑みてなされたもので、１つの撮像素子を用いて、立体視用画像（左眼用画像，右眼用画像）を容易に撮影できるようにした画像撮像装置を提供すること、を目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の第１の技術手段は、１つの撮像素子と、該撮像素子により取り込んだ撮影対象画像を表示する画像表示部と、該画像表示部に表示されている撮影対象画像に対するシャッター操作に応じて撮影画像を取得する画像処理部とを備えた画像撮像装置であって、前記画像処理部は、該画像処理部で取得された第１の撮影画像から主要被写体の領域を切り出す主要被写体領域切出部と、該切り出した主要被写体領域を左右方向に所定量シフトさせる画像シフト部と、該所定量シフトさせた主要被写体領域を基準被写体領域として前記画像表示部に表示されている撮影対象画像に重畳させる画像合成部とを備え、前記基準被写体領域が重畳された状態でシャッター操作された場合に、前記画像処理部は、前記シャッター操作に応じて前記撮影対象画像を第２の撮影画像として取得することを特徴としたものである。
【００１４】
第２の技術手段は、第１の技術手段において、前記画像シフト部によるシフト量は、前記画像撮像装置から前記主要被写体までの距離に基づいて決定されることを特徴としたものである。
【００１５】
第３の技術手段は、第１の技術手段において、前記画像シフト部によるシフト量は、前記画像撮像装置の焦点距離に基づいて決定されることを特徴としたものである。
【００１６】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像表示部は、タッチパネルを備え、前記主要被写体領域は、前記画像表示部に表示された第１の撮影画像に対してユーザが前記タッチパネルを介してタッチ操作することで指定されることを特徴としたものである。
【００１７】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、自動的にシャッター操作を行う制御部を備えたことを特徴としたものである。
【００１８】
第６の技術手段は、第１〜第４のいずれか１の技術手段において、前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、ユーザに対してシャッター操作を行うように促すための通知を行う制御部を備えたことを特徴としたものである。
【００１９】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記第１の撮影画像及び前記第２の撮影画像を１つの立体視用画像データとして記憶する画像記憶部を備えたことを特徴としたものである。
【発明の効果】
【００２０】
本発明によれば、撮像素子を１つしか備えない場合であっても、第１の撮影画像の主要被写体領域を左右方向に所定量だけシフトさせ、このシフト後の主要被写体領域を基準被写体領域として、モニタ画面にリアルタイム表示されている撮影対象画像に重畳させて撮影することで第２の撮影画像を取得することができるため、視差が適切に調整されたずれ量の少ない立体視用画像（左眼用画像，右眼用画像）を容易に撮影、取得することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る画像撮像装置の構成例を示すブロック図である。
【図２】本発明に係る第２の撮影画像を取得するための画像処理部の構成例を示すブロック図である。
【図３】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図４】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図５】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図６】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図７】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図８】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、本発明の画像撮像装置に係る好適な実施の形態について説明する。
【００２３】
図１は、本発明の一実施形態に係る画像撮像装置の構成例を示すブロック図で、図中、１は画像撮像装置を示す。画像撮像装置１は、例えば、デジタルスチルカメラやカメラ付携帯電話機として構成され、撮像素子２、画像記憶部３、画像表示部４、画像処理部５、制御部６、及びキー入力部７を備えている。これら撮像素子２、画像記憶部３、画像表示部４、画像処理部５、及びキー入力部７は、ＣＰＵやメモリなどで構成される制御部６に接続されており、制御部６により各部の動作が制御される。
【００２４】
撮像素子２は、例えば、ＣＭＯＳ、ＣＣＤなどの固体撮像素子で構成され、光信号を電気信号に変換して出力する。この光電変換出力は、アナログ値の信号状態で図示しないＡＧＣ（Automatic Gain Control）アンプにより適宜ゲイン調整された後に、サンプルホールド回路（図示せず）でサンプルホールドされ、さらに、Ａ／Ｄ変換回路（図示せず）でデジタル信号に変換されて、画像処理部５に出力される。
【００２５】
画像処理部５は、図示しないカラープロセス回路、ＤＭＡ（Direct Memory Access）コントローラ、ＤＲＡＭ（Dynamic Random Access Memory）などを備え、カラープロセス回路は、入力されたデジタル信号に対して補間処理、γ処理などを含むカラープロセス処理を行い、デジタル値の画像データをＤＭＡコントローラに出力する。ＤＭＡコントローラは、入力された画像データをＤＲＡＭにＤＭＡ転送する。
【００２６】
制御部６は、上記ＤＲＡＭに転送された画像データを、ＤＲＡＭから読み出して、図示しないＶＲＡＭ（Video Random Access Memory）に書き込む処理を行う。画像表示部４は、例えば、バックライト付きカラー液晶パネルとその駆動回路とで構成され、画像撮像装置１の背面側に配設され、撮像素子２により取り込んだ撮影対象画像をモニタ表示することができる。すなわち、画像表示部４は、上記のＶＲＡＭに書き込まれた画像データを定期的に読み出し、読み出した画像データに基づく撮影対象画像をリアルタイムでモニタ表示する。
【００２７】
そして、ユーザは画像表示部４に表示された撮影対象画像を見ながら被写体の位置を適宜調整して撮影を実行する。具体的には、画像処理部５は、画像表示部４にリアルタイム表示中の撮影対象画像に対するシャッター操作に応じて撮影画像を取得する。例えば、キー入力部７のシャッタキーがユーザにより押下されると、制御部６は、このシャッタキーの押下を検知して、画像処理部５に撮影を指示するための所定の撮影信号（以下、単に撮影信号という）を出力する。
【００２８】
画像処理部５は、制御部６からの撮影信号を受信すると、ＤＲＡＭに書き込まれている画像信号に基づく撮影画像を取得し、取得した撮影画像を、例えばフラッシュメモリなどの不揮発性メモリで構成される画像記憶部３に記憶する。なお、撮影画像は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式で圧縮された後に画像記憶部３に記憶することができる。そして、画像記憶部３に記憶された撮影画像を、ユーザの操作により読み出して、画像表示部４に表示させることができる。あるいは、画像撮像装置１をプリンタに接続すれば、画像記憶部３に記憶された撮影画像を印刷出力することもできる。
【００２９】
以上のようにして通常の撮影処理が実行される。本実施形態の画像撮像装置１は、撮像素子を１つしか備えていないため、立体視用画像（左眼用画像，右眼用画像）を撮影するときは２回の撮影を行う。すなわち、１回目の撮影は通常の撮影と同様に行い、撮像素子２により撮影された画像が第１の撮影画像として画像記憶部３に記憶される。そして、２回目の撮影は、第１の撮影画像を利用して行い、第１の撮影画像に対して適切な視差に調整された第２の撮影画像を取得する。
【００３０】
図２は、本発明に係る第２の撮影画像を取得するための画像処理部５の構成例を示すブロック図である。画像処理部５は、画像記憶部３から第１の撮影画像を読み出して、第１の撮影画像から主要被写体の領域を切り出す主要被写体領域切出部５１と、切り出した主要被写体領域を左右方向に所定量シフトさせる画像シフト部５２と、所定量シフトさせた主要被写体領域を基準被写体領域として画像表示部４にリアルタイム表示されている撮影対象画像に重畳させる画像合成部５３とを備える。
【００３１】
主要被写体領域切出部５１では、第１の撮影画像から主要被写体が撮影されていると推定される領域を切り出す。主要被写体領域の推定は、例えば、第１の撮影画像の微分値などに基づきフォーカスが合っている領域を算出する、第１の撮影画像を撮影したときのフォーカス領域を記憶する、顔認識技術により人物が撮影されている領域を検出する、タッチパネルによりユーザが指定することで主要被写体領域を指定する、などの方法により行うことができる。なお、タッチパネルで指定する方法の場合、画像表示部４がタッチパネルを備え、主要被写体領域は、画像表示部４に表示された第１の撮影画像に対してユーザがタッチパネルを介してタッチ操作することで指定することができる。
【００３２】
また、上記の第１の撮影画像の微分値やフォーカス領域などの情報は、例えば、画像撮像装置１が備えるオートフォーカス機能の情報から得ることができる。つまり、オートフォーカス（ＡＦ）機能によりフォーカスが合わされた領域を主要被写体領域とする。デジタルカメラにおいては、例えば、センター重点ＡＦ、人物優先（顔検出）ＡＦなどユーザが各種のＡＦモードを選択できるようになっており、フォーカスが合っている領域はユーザにより選択された主要被写体である可能性が高いと推定される。また、主要被写体領域としては、オブジェクト抽出により主要被写体のみを切り出しても良いが、主要被写体が撮影されている領域（例えば、矩形領域）を背景ごと切り出しても良い。
【００３３】
画像シフト部５２では、主要被写体領域切出部５１で抽出された主要被写体領域を所定量だけ左右方向（横方向）に移動（シフト）させる。すなわち、第１の撮影画像の主要被写体領域の位置を基準として、主要被写体領域を所定量だけ左右方向に移動させる。１回目の撮影位置に対して２回目の撮影を右側にカメラを移動して撮影する場合には主要被写体領域の移動方向は左方向とし、１回目の撮影位置に対して２回目の撮影を左側にカメラを移動して撮影する場合には主要被写体領域の移動方向は右方向となる。なお、主要被写体領域の移動量は画像視差が適切になるように決定されるが、具体的な方法については後述するものとする。
【００３４】
一般的に、平行に配置されたステレオカメラにより撮影された２つの撮影画像の視差量（視差値ともいう）Ｄ（単位：ｍ）は、カメラ間の距離に相当する基線長Ｂ、カメラの焦点距離ｆ、カメラから被写体までの距離Ｚにより、
Ｄ＝Ｂ×ｆ／Ｚ …式（１）
で与えられる。したがって、距離Ｚが十分に大きい遠景では視差は０となり、近景になるほど視差が大きくなる。
【００３５】
このような条件で撮影された立体視用画像をそのまま立体表示が可能なディスプレイで観察すると、遠景にある被写体がディスプレイ面に知覚され、他の被写体はディスプレイの手前に飛び出して知覚される。しかしながら、視差範囲を有効に利用し、かつ、視差角を小さくすることを考慮すると、撮影した画像全体を横方向へシフトするなどして、ディスプレイ面より奥側に知覚されるように視差を一様に変化させることが望ましい。つまり、遠景ではシフトした量だけ視差が発生し、シフトした量と同じだけ撮影時に視差が発生している被写体がディスプレイ面に知覚されることになる。このシフト量は、遠景の被写体の視差角が大きくなり過ぎないこと、所定距離の被写体がディスプレイ面に知覚されること、などの条件により決定される。
【００３６】
１回目の撮影から２回目の撮影をするまでに画像撮像装置１を略平行に移動させることで、ステレオカメラと同様の立体画像を得ることができる。ここで、焦点距離ｆおよび被写体までの距離Ｚはステレオカメラのときと変わらないが、基線長Ｂがカメラ移動量に相当することになる。したがって、カメラ移動量を大きくすると視差も大きくなる。つまり、カメラ移動量が大きすぎると視差が大きくなりすぎるため融像できない可能性があり、カメラ移動量が小さすぎると視差が小さくなりすぎるため立体画像として認識できない可能性があり、カメラ移動量は適切に設定する必要がある。
【００３７】
そこで、本発明では、主要被写体領域が所望の視差値になるように２回の撮影を行い、好適な立体画像が得られるようにする。具体的には、画像合成部５３は、画像シフト部５２により所定量だけシフトさせた主要被写体領域を基準被写体領域として、画像表示部４にリアルタイムで表示されている撮影対象画像に重畳する。そして、ユーザは、画像表示部４にモニタ表示された画像を見ながら２回目の撮影を行う。なお、本例の画像表示部４は、第１の撮影画像の撮影位置、すなわち、１回目の撮影位置と同じ位置での画像を撮影対象画像としてリアルタイムで表示する。このとき撮影対象画像には基準被写体領域と同一の被写体が含まれる。
【００３８】
従って、１回目の撮影が終了し２回目の撮影に移行すると、画像表示部４には、基準被写体領域のみ二重像になって表示されることになる。ユーザは、この二重像が略重なるように画像撮像装置１を横方向へ略平行に移動させ、さらに、ユーザがキー入力部７のシャッタキーを操作することで２回目の撮影を行い、第２の撮影画像を得る。つまり、リアルタイム表示されている撮影対象画像の一部が基準被写体領域に重畳した状態でシャッター操作された場合に、画像処理部５は、このシャッター操作に応じて撮影対象画像を第２の撮影画像として取得する。画像処理部５は、このようにして取得した第２の撮影画像を画像記憶部３に出力し、画像記憶部３は、第１の撮影画像及び第２の撮影画像を例えば左右に並べた１つの立体視用画像データとして記憶する。
【００３９】
上記において、画像表示部４の画面上では基準被写体領域のみが二重像となっており、ユーザは他の被写体に惑わされることなくカメラ移動量を調整できるため、好適な立体視用画像を撮影することができる。また、第１の撮影画像の主要被写体領域を所定量だけ左右方向にシフトさせた基準被写体領域を画面上の撮影対象画像に合成しているため、ユーザは基準被写体領域を重ね合わせるだけで所定の視差量に調整された第２の撮影画像を得ることができるため、視差量（画像のずれ量）を気にする必要なく、好適な立体視用画像を撮影することができる。
【００４０】
ここで、主要被写体領域切出部５１で切り出される主要被写体領域以外の領域を透明として扱うようにしてもよい。この場合、所定量シフトされた主要被写体領域を含む第１の撮影画像が画面上の撮影対象画像に重畳されるが、ユーザからは主要被写体領域（すなわち、基準被写体領域）のみが撮影対象画像に重畳されているように視認される。このため、他の被写体に惑わされることなく、容易に被写体同士を重ね合わせることができる。なお、画像透明化の手法について特に限定するものではなく、公知の方法により実現することができる。また、ユーザに重ね合わせるべき被写体領域を提示できれば良いとの観点から、主要被写体領域を除く領域を目立たなくしても同様の効果が得られる。例えば、主要被写体領域を除く領域の透過度を大きくしたり、主要被写体領域を除く領域の明度や彩度を下げるようにしたりしても良い。つまり、主要被写体領域が相対的に目立てばよいため、主要被写体領域の透過度を例えば５０％、他の領域の透過度を例えば９０％などと設定すればよい。
【００４１】
また、全画像領域（画像全体）をモノクロ画像としておき、主要被写体領域のみカラー画像として表示すると、主要被写体領域が目立ち、ユーザが判別しやすくなるため好適である。さらに、主要被写体領域の画像と撮影対象画像との間で画素値の差分絶対値を計算し、その値が小さい画素の領域（つまり、似た画像が含まれる領域）のみカラー画像で表示すると、どの領域が重なっているかを判別しやすくなるため好適である。
【００４２】
また、リアルタイム表示されている撮影対象画像に重畳された基準被写体領域が画面上で大きく見えるように拡大すると、他の被写体の状態に惑わされることなく、撮影対象画像の一部を基準被写体領域に重ねることができより望ましい。この場合、撮影対象画像も同じ倍率で拡大されるものとする。基準被写体領域及び撮影対象画像が拡大されていることにより、重ね合わせの精度が向上してずれ量の少ない立体画像を得ることが可能となる。
【００４３】
ここで、リアルタイム表示されている撮影対象画像の一部が基準被写体領域と略一致した状態で撮影が行われる。撮影はユーザが任意のタイミングで行っても良いが、撮影対象画像の一部が基準被写体領域にマッチングしたときに自動的に撮影するようにしてもよい。この場合、制御部６は、撮影対象画像の一部が基準被写体領域に略一致したか否かを判定し、略一致したと判定したときに、自動的にシャッター操作を行う。例えば、基準被写体領域と撮影対象画像とが重なる領域で、輝度差の総和であるＳＡＤ（Sum of Absolute Difference）を算出し、このＳＡＤが所定閾値以下になったときに撮影を実行する。これにより、基準被写体のずれ量がある程度小さくなったときに撮影が実行され、傾きなどのずれが少なく、立体視し易い立体画像を得ることが可能となる。
【００４４】
また、別の撮影方法として、撮影対象画像の一部が基準被写体領域に略一致したときに、ユーザに撮影タイミングを提示するようにしてもよい。この場合、制御部６は、撮影対象画像の一部が基準被写体領域に略一致したか否かを判定し、略一致したと判定したときに、ユーザに対してシャッター操作を行うように促すための通知を行う。例えば、上記と同様に、基準被写体領域と撮影対象画像とが重なる領域で、ＳＡＤを算出して所定閾値以下になったときに、基準被写体領域の境界を赤などの目立つ色で囲むようにしてユーザに撮影タイミングを通知する。これにより、基準被写体のずれ量がある程度小さくなったときに撮影が実行され、傾きなどのずれが少なく立体視し易い立体画像を得ることが可能になる。さらに、撮影対象画像の一部が基準被写体領域と一致してないと判別した場合には、ユーザがシャッター操作を行っても撮影を行わないようにしても良い。これにより、被写体がずれていて適切な視差が得られていない立体視用画像の撮影を防ぐことが可能となる。
【００４５】
以下、画像シフト部５２によるシフト量決定方法の一例について説明する。ここで、実際の視差値は撮像素子やディスプレイのピクセルにより量子化されており、ピクセルピッチなども考慮しなければならないが、理解しやすくするためここでは省略して説明する。
【００４６】
平行にカメラを移動して撮影した２つの撮影画像の視差値Ｄは、前述の式（１）より、Ｄ＝Ｂ×ｆ／Ｚにより算出されるが、このときの視差の最小値を０とし、最大値をＤｍａｘとする。このように撮影した立体視用画像をディスプレイで鑑賞すると全部の被写体がディスプレイ面から飛び出して知覚される。視差の小さい被写体の場合、ディスプレイ面には左右画像の被写体のずれが無く、飛び出さない状態で知覚される。一方、視差が大きい被写体の場合、ディスプレイ面には左右画像の被写体のずれにより飛び出して知覚される。
【００４７】
平行法で撮影された２つの撮影画像には、撮影で得られる視差と逆方向の視差である負の視差が存在しない。負の視差を有する立体視用画像をディスプレイで鑑賞した場合、負の視差である被写体はディスプレイ面より引っ込んで知覚される。このような表示は、画像の立体感や視差角の点においても有効に利用するべきであるため、一般に、平行法で撮影された２つの撮影画像から立体視用画像を生成する場合には、撮影した画像全体を平行移動させるなどして、全ての画素を横方向に移動するようにして立体視用画像を生成する。このようにして負の視差を発生させる。したがって、一様に横方向に移動したときの視差は移動量（シフト量ともいう）をΔＤとすると、視差の最小値が−ΔＤ、最大値がＤｍａｘ−ΔＤとなり、撮影時の視差がＤであった被写体は一様に移動した後ではＤ−ΔＤという視差になる。また、撮影時の視差がΔＤであった被写体は、一様に移動した後では視差がΔＤ−ΔＤ＝０となり、ディスプレイで表示したときにディスプレイ面に知覚される。
【００４８】
上記のシフト量ΔＤは、画像撮像装置１の基線長Ｂと焦点距離ｆなどにより適切に決定されるが、例えば、被写体までの距離ＺがＬ０で撮影時の視差がＤ０の被写体を、立体画像として表示したときに、ディスプレイ面に知覚するような立体画像を得たい場合には、シフト量ΔＤをＤ０とすれば良い。このとき、距離Ｌ０より手前の被写体は飛び出して知覚され、距離Ｌ０より奥の被写体は引っ込んで知覚される。つまり、このような視差を発生させる立体視用画像となるように、第１の撮影画像の主要被写体領域のシフト量ΔＤを設定すれば良い。具体的には、主要被写体までの距離ＺがＬ０であればシフト量ΔＤをＤ０程度とする。なお、視差Ｄ０は、前述の式（１）より、Ｂ×ｆ／Ｌ０で求めることができる。また、主要被写体までの距離ＺがＬ０より大きければシフト量ΔＤをＤ０より小さくし、主要被写体までの距離ＺがＬ０より小さければシフト量ΔＤをＤ０より大きくする。すなわち、このシフト量ΔＤを、画像撮像装置１から主要被写体までの距離Ｚに応じて異ならせるようにしても良い。
【００４９】
ここで、仮に一様にシフト量ΔＤをＤ０にしてしまうと立体画像として視差が不適切になってしまう場合がある。被写体までの距離ＺがＬ０より大きいとき、被写体の視差値ＤがＤ−Ｄ０＜０となり、ディスプレイで立体画像として観察すると全部の被写体が引っ込みになってしまう。さらに、遠景の視差が引っ込み方向で大きくなり過ぎてしまう可能性がある。一方、被写体の距離ＺがＬ０より小さいときも、被写体領域の視差値ＤがＤ−Ｄ０＞０となり、ディスプレイで立体画像として観察すると全部の被写体が飛び出しになってしまう。さらに、近景の視差が飛び出し方向で大きくなり過ぎてしまう可能性がある。したがって、主要被写体までの距離Ｚに応じてシフト量を可変にして異ならせることにより、視差が適切に調整された立体視用画像を得ることが可能となる。
【００５０】
上記より好適な視差で撮影された立体視用画像を得ることが可能となる。なお、主要被写体までの距離Ｚは、例えば、画像撮像装置１が備えるオートフォーカス機能の設定情報から被写体までのおおよその距離が分かる。つまり、被写体までの距離Ｚ及び焦点距離ｆは、第１の撮影画像を撮影したときの設定情報から得ることができる。また、基線長Ｂは、本発明の場合、画像撮像装置１の左右方向への移動量に相当するが、例えば、目の幅に近い６５ｍｍなどの標準的な値を設定しておく。そして、第１の撮影画像を撮影したときの被写体までの距離Ｚ、焦点距離ｆ、及び基線長Ｂは、第１の撮影画像の撮影設定情報としてメモリに保持しておき、第２の撮影画像を取得する際に、主要被写体領域切出部５１及び画像シフト部５２に入力される。
【００５１】
次に、図３〜図８に基づいて、本発明の画像撮像装置１による動作例を具体的に説明する。例えば、図３のような撮影シーンであった場合を想定する。近景には被写体Ａ、遠景には被写体Ｃ、その間に被写体Ｂが配置されている。１回目の撮影は、通常の撮影と同様に行われ、撮影された画像は図３の第１の撮影画像４１として画像記憶部３に記憶される。このとき、主要被写体領域が被写体Ａであった場合、フォーカスも被写体Ａに合焦するように撮影されている。
【００５２】
次に、１回目の撮影が終了した後に２回目の撮影に移行する。主要被写体領域切出部５１は、第１の撮影画像４１の撮影設定情報から、被写体Ａにフォーカスを合わせて撮影されたことを特定し、この被写体Ａを主要被写体として認識する。そして、図４に示すように、図３の第１の撮影画像４１から、主要被写体である被写体Ａを含む領域４１ａ（以下、主要被写体領域４１ａという）を切り出す。次に、画像シフト部５２は、第１の撮影画像４１の撮影設定情報から、画像撮像装置１から主要被写体Ａまでのおおよその距離を取得し、主要被写体領域切出部５１にて切り出された主要被写体領域４１ａが適切な視差となるように、図５のように横方向（図中の画像シフト方向）へ主要被写体領域４１ａを所定量ｄだけ移動させる。
【００５３】
図５に示すように、主要被写体領域４１ａは、所定量ｄだけシフトされ、基準被写体領域４１ａ′として画像合成部５３にて画面上にリアルタイム表示されている撮影対象画像と合成される。このときの画像表示部４に表示される合成画面を図６に示す。図６において、合成画面４２には、撮影対象画像として、第１の撮影画像４１と同じ被写体Ａ′、Ｂ′，Ｃ′がリアルタイムで表示されると共に、図５でシフトされた基準被写体領域４１ａ′が重畳されている。ユーザは、基準被写体領域４１ａ′の被写体Ａが、撮影対象画像の被写体Ａ′に略一致するように、画像撮像装置１を横向き（図中のカメラ移動方向）に移動させ、ずれ量を調整する。そして、被写体Ａ，Ａ′が略重なったときにシャッター操作されて撮影される。これにより、第２の撮影画像が取得され、第１の撮影画像及び第２の撮影画像により１つの立体視用画像データが生成される。このように被写体Ａで適切に視差が調整されているため、立体感のある立体画像を得ることができる。
【００５４】
次に、主要被写体が被写体Ａではなく被写体Ｃであった場合について説明する。まず、主要被写体領域切出部５１は、第１の撮影画像４１の撮影設定情報から、被写体Ｃにフォーカスを合わせて撮影されたことを特定し、この被写体Ｃを主要被写体として認識する。そして、図３の第１の撮影画像４１から、主要被写体である被写体Ｃを含む領域を切り出す。次に、図７に示すように、画像シフト部５２は、第１の撮影画像４１の撮影設定情報から、画像撮像装置１から被写体Ｃまでの距離を取得し、主要被写体領域切出部５１にて切り出された主要被写体領域４１ｃが適切な視差となるように、横方向（図中の画像シフト方向）へ主要被写体領域４１ｃを所定量ｄ′だけ移動させる。このとき、被写体Ａよりも被写体Ｃの方が遠くに位置しているため、被写体Ａが主要被写体のときよりもシフト量は小さくなっている。
【００５５】
図７に示すように、主要被写体領域４１ｃは、所定量ｄ′だけシフトされ、基準被写体領域４１ｃ′として画像合成部５３にて画面上にリアルタイム表示されている撮影対象画像と合成される。このときの画像表示部４に表示される合成画面を図８に示す。図８において、合成画面４３には、撮影対象画像として、第１の撮影画像４１と同じ被写体Ａ′、Ｂ′，Ｃ′がリアルタイムで表示されると共に、図７でシフトされた基準被写体領域４１ｃ′が重畳されている。ユーザは、基準被写体領域４１ｃ′の被写体Ｃが、撮影対象画像の被写体Ｃ′に略一致するように、画像撮像装置１を横向き（図中のカメラ移動方向）に移動させ、ずれ量を調整する。そして、被写体Ｃ，Ｃ′が略重なったときにシャッター操作されて撮影される。これにより、第２の撮影画像が取得され、第１の撮影画像及び第２の撮影画像により１つの立体視用画像データが生成される。このように被写体Ｃで適切に視差が調整されているため、立体感のある立体画像を得ることができる。
【００５６】
以上に説明したように、本実施形態の画像撮像装置によれば、撮像素子を１つしか備えない場合であっても、第１の撮影画像の主要被写体領域を左右方向に所定量だけシフトさせ、このシフト後の主要被写体領域を基準被写体領域として、モニタ画面にリアルタイム表示されている撮影対象画像に重畳させて撮影することで第２の撮影画像を取得することができるため、視差が適切に調整されたずれ量の少ない立体視用画像（左眼用画像，右眼用画像）を容易に撮影、取得することができる。
【符号の説明】
【００５７】
１…画像撮像装置、２…撮像素子、３…画像記憶部、４…画像表示部、５…画像処理部、６…制御部、７…キー入力部、５１…主要被写体領域切出部、５２…画像シフト部、５３…画像合成部。
【技術分野】
【０００１】
本発明は、画像撮像装置に関し、より詳細には、立体視用の画像を撮影する画像撮像装置に関する。
【背景技術】
【０００２】
左眼には左眼用の画像を視認させ、右眼には右眼用の画像を視認させ、両画像内の被写体のずれ（視差）により立体像として認識させる立体画像技術が開発されている。立体画像を表示するディスプレイでは、立体画像を見るための眼鏡と組み合わせて、左右の画像を時分割で表示したり、偏光方向を変えて表示したりすることで視聴者に左右画像を分離して視認させるものがある。
【０００３】
一方、立体視用画像（すなわち、左眼用画像と右眼用画像）を撮影可能な画像撮像装置では、左眼用の画像を撮影する左眼用のカメラモジュールと、右眼用の画像を撮影する右眼用のカメラモジュールを備えたものが開発されている。カメラモジュールはレンズなどの光学部品と、光電変換により画像データを取得するセンサなどで構成され、センサには、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）といった固体撮像素子が利用されている。左右それぞれのカメラモジュールで撮影された画像を、立体表示可能なディスプレイで表示することにより立体画像を鑑賞することができる。
【０００４】
一方で、カメラモジュールを２個備えた場合は簡単に立体視用画像を撮影できるが、この場合、装置の大型化、消費電力の増加、コストの増加などが発生してしまう。このため、カメラモジュールを１個しか備えていない画像撮像装置でも立体視用画像を撮影できる方法が提案されている。例えば、同一の被写体を異なる位置から２回撮影することにより立体視用画像を取得する方法がある。
【０００５】
しかしながら、異なる位置で２回撮影する場合、撮影範囲が同じになるようにしたり、視差が適度な範囲に収まるようにしたりすることは困難である。この課題を解決する方法として、例えば、特許文献１に記載の方法が挙げられる。この特許文献１では、１回目の撮影画像を２回目の撮影に利用することでフレーミングの正確性を向上させている。具体的には、１回目の撮影画像の一部を、モニタ上にリアルタイム表示される２回目の撮影対象画像に重ねて表示させ、１回目の撮影画像の一部に２回目の撮影対象画像が重なったときに２回目の撮影を行うことで、立体視用画像を取得している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２３０９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１に記載の方法では、２回目の撮影を１回目の撮影位置とは異なる位置で行い、１回目の撮影画像の一部に２回目の撮影対象画像が重なったときに２回目の撮影を行っている。このとき、異なる位置への移動を平行に移動してカメラを回転させない場合、無限遠の被写体を除き、１回目の画像の被写体と２回目の画像の被写体とが重なることはない。このため特許文献１に記載の方法では、カメラを平行に移動させて、かつ、カメラを回転させて撮影する必要がある。
【０００８】
すなわち、１回目の撮影画像から切り出した被写体中央部分（スケール画像）をモニタ上に表示させた状態で、カメラを異なる位置に平行移動させ、さらに、当該位置での映像に含まれる被写体中央部分が、スケール画像に重なるようにカメラを回転させて、スケール画像の位置におおよそ一致したときに撮影し、２回目の撮影画像を取得している。そうすると、特許文献１のスケール画像は視点の異なる２つの画像間の視差を考慮したものではなく、単に位置合わせに用いている。
【０００９】
したがって、カメラの移動量と回転量のバランスが分からないため、立体視したときの立体画像における立体感の調整が困難である。つまり、移動量が小さく回転量も小さい場合には視差が小さすぎて立体感が得られない立体画像となり、移動量が大きく回転量も大きい場合には視差が大きすぎて融像できない立体画像となってしまう。
【００１０】
また、重ね合わせる被写体が近景のときには、遠景被写体を考慮していないため、遠景の被写体の視差が大きくなり過ぎる可能性がある。このような立体視用画像を立体表示可能なディスプレイで見たとき、被写体が融像されなかったり、視聴者の疲労が増加したりする可能性がある。また、重ね合わせる被写体が遠景のときには、近景被写体を考慮していないため、近景の被写体の視差が大きくなり過ぎる可能性がある。このような立体視用画像を立体表示可能なディスプレイで見たとき、同様に、被写体が融像されなかったり、視聴者の疲労が増加したりする可能性がある。さらに、遠景が非常に遠い場合には、カメラを移動させても遠景被写体に視差が生じることがないため、立体視用画像の撮影は困難となる。
【００１１】
また、画像の一部ではなく画像全体を重ねて２回目の撮影を行うようにした場合、近景と遠景が同時にモニタ画面に重ねて表示されることになるため、様々な視差が発生するとともに、複数の被写体がある場合に、操作者はどの被写体を重ね合わせれば良いのか判断に困るという問題もある。
【００１２】
本発明は、上述のごとき実情に鑑みてなされたもので、１つの撮像素子を用いて、立体視用画像（左眼用画像，右眼用画像）を容易に撮影できるようにした画像撮像装置を提供すること、を目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の第１の技術手段は、１つの撮像素子と、該撮像素子により取り込んだ撮影対象画像を表示する画像表示部と、該画像表示部に表示されている撮影対象画像に対するシャッター操作に応じて撮影画像を取得する画像処理部とを備えた画像撮像装置であって、前記画像処理部は、該画像処理部で取得された第１の撮影画像から主要被写体の領域を切り出す主要被写体領域切出部と、該切り出した主要被写体領域を左右方向に所定量シフトさせる画像シフト部と、該所定量シフトさせた主要被写体領域を基準被写体領域として前記画像表示部に表示されている撮影対象画像に重畳させる画像合成部とを備え、前記基準被写体領域が重畳された状態でシャッター操作された場合に、前記画像処理部は、前記シャッター操作に応じて前記撮影対象画像を第２の撮影画像として取得することを特徴としたものである。
【００１４】
第２の技術手段は、第１の技術手段において、前記画像シフト部によるシフト量は、前記画像撮像装置から前記主要被写体までの距離に基づいて決定されることを特徴としたものである。
【００１５】
第３の技術手段は、第１の技術手段において、前記画像シフト部によるシフト量は、前記画像撮像装置の焦点距離に基づいて決定されることを特徴としたものである。
【００１６】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像表示部は、タッチパネルを備え、前記主要被写体領域は、前記画像表示部に表示された第１の撮影画像に対してユーザが前記タッチパネルを介してタッチ操作することで指定されることを特徴としたものである。
【００１７】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、自動的にシャッター操作を行う制御部を備えたことを特徴としたものである。
【００１８】
第６の技術手段は、第１〜第４のいずれか１の技術手段において、前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、ユーザに対してシャッター操作を行うように促すための通知を行う制御部を備えたことを特徴としたものである。
【００１９】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記第１の撮影画像及び前記第２の撮影画像を１つの立体視用画像データとして記憶する画像記憶部を備えたことを特徴としたものである。
【発明の効果】
【００２０】
本発明によれば、撮像素子を１つしか備えない場合であっても、第１の撮影画像の主要被写体領域を左右方向に所定量だけシフトさせ、このシフト後の主要被写体領域を基準被写体領域として、モニタ画面にリアルタイム表示されている撮影対象画像に重畳させて撮影することで第２の撮影画像を取得することができるため、視差が適切に調整されたずれ量の少ない立体視用画像（左眼用画像，右眼用画像）を容易に撮影、取得することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る画像撮像装置の構成例を示すブロック図である。
【図２】本発明に係る第２の撮影画像を取得するための画像処理部の構成例を示すブロック図である。
【図３】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図４】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図５】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図６】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図７】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【図８】本発明の画像撮像装置による動作例を具体的に説明するための図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、本発明の画像撮像装置に係る好適な実施の形態について説明する。
【００２３】
図１は、本発明の一実施形態に係る画像撮像装置の構成例を示すブロック図で、図中、１は画像撮像装置を示す。画像撮像装置１は、例えば、デジタルスチルカメラやカメラ付携帯電話機として構成され、撮像素子２、画像記憶部３、画像表示部４、画像処理部５、制御部６、及びキー入力部７を備えている。これら撮像素子２、画像記憶部３、画像表示部４、画像処理部５、及びキー入力部７は、ＣＰＵやメモリなどで構成される制御部６に接続されており、制御部６により各部の動作が制御される。
【００２４】
撮像素子２は、例えば、ＣＭＯＳ、ＣＣＤなどの固体撮像素子で構成され、光信号を電気信号に変換して出力する。この光電変換出力は、アナログ値の信号状態で図示しないＡＧＣ（Automatic Gain Control）アンプにより適宜ゲイン調整された後に、サンプルホールド回路（図示せず）でサンプルホールドされ、さらに、Ａ／Ｄ変換回路（図示せず）でデジタル信号に変換されて、画像処理部５に出力される。
【００２５】
画像処理部５は、図示しないカラープロセス回路、ＤＭＡ（Direct Memory Access）コントローラ、ＤＲＡＭ（Dynamic Random Access Memory）などを備え、カラープロセス回路は、入力されたデジタル信号に対して補間処理、γ処理などを含むカラープロセス処理を行い、デジタル値の画像データをＤＭＡコントローラに出力する。ＤＭＡコントローラは、入力された画像データをＤＲＡＭにＤＭＡ転送する。
【００２６】
制御部６は、上記ＤＲＡＭに転送された画像データを、ＤＲＡＭから読み出して、図示しないＶＲＡＭ（Video Random Access Memory）に書き込む処理を行う。画像表示部４は、例えば、バックライト付きカラー液晶パネルとその駆動回路とで構成され、画像撮像装置１の背面側に配設され、撮像素子２により取り込んだ撮影対象画像をモニタ表示することができる。すなわち、画像表示部４は、上記のＶＲＡＭに書き込まれた画像データを定期的に読み出し、読み出した画像データに基づく撮影対象画像をリアルタイムでモニタ表示する。
【００２７】
そして、ユーザは画像表示部４に表示された撮影対象画像を見ながら被写体の位置を適宜調整して撮影を実行する。具体的には、画像処理部５は、画像表示部４にリアルタイム表示中の撮影対象画像に対するシャッター操作に応じて撮影画像を取得する。例えば、キー入力部７のシャッタキーがユーザにより押下されると、制御部６は、このシャッタキーの押下を検知して、画像処理部５に撮影を指示するための所定の撮影信号（以下、単に撮影信号という）を出力する。
【００２８】
画像処理部５は、制御部６からの撮影信号を受信すると、ＤＲＡＭに書き込まれている画像信号に基づく撮影画像を取得し、取得した撮影画像を、例えばフラッシュメモリなどの不揮発性メモリで構成される画像記憶部３に記憶する。なお、撮影画像は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式で圧縮された後に画像記憶部３に記憶することができる。そして、画像記憶部３に記憶された撮影画像を、ユーザの操作により読み出して、画像表示部４に表示させることができる。あるいは、画像撮像装置１をプリンタに接続すれば、画像記憶部３に記憶された撮影画像を印刷出力することもできる。
【００２９】
以上のようにして通常の撮影処理が実行される。本実施形態の画像撮像装置１は、撮像素子を１つしか備えていないため、立体視用画像（左眼用画像，右眼用画像）を撮影するときは２回の撮影を行う。すなわち、１回目の撮影は通常の撮影と同様に行い、撮像素子２により撮影された画像が第１の撮影画像として画像記憶部３に記憶される。そして、２回目の撮影は、第１の撮影画像を利用して行い、第１の撮影画像に対して適切な視差に調整された第２の撮影画像を取得する。
【００３０】
図２は、本発明に係る第２の撮影画像を取得するための画像処理部５の構成例を示すブロック図である。画像処理部５は、画像記憶部３から第１の撮影画像を読み出して、第１の撮影画像から主要被写体の領域を切り出す主要被写体領域切出部５１と、切り出した主要被写体領域を左右方向に所定量シフトさせる画像シフト部５２と、所定量シフトさせた主要被写体領域を基準被写体領域として画像表示部４にリアルタイム表示されている撮影対象画像に重畳させる画像合成部５３とを備える。
【００３１】
主要被写体領域切出部５１では、第１の撮影画像から主要被写体が撮影されていると推定される領域を切り出す。主要被写体領域の推定は、例えば、第１の撮影画像の微分値などに基づきフォーカスが合っている領域を算出する、第１の撮影画像を撮影したときのフォーカス領域を記憶する、顔認識技術により人物が撮影されている領域を検出する、タッチパネルによりユーザが指定することで主要被写体領域を指定する、などの方法により行うことができる。なお、タッチパネルで指定する方法の場合、画像表示部４がタッチパネルを備え、主要被写体領域は、画像表示部４に表示された第１の撮影画像に対してユーザがタッチパネルを介してタッチ操作することで指定することができる。
【００３２】
また、上記の第１の撮影画像の微分値やフォーカス領域などの情報は、例えば、画像撮像装置１が備えるオートフォーカス機能の情報から得ることができる。つまり、オートフォーカス（ＡＦ）機能によりフォーカスが合わされた領域を主要被写体領域とする。デジタルカメラにおいては、例えば、センター重点ＡＦ、人物優先（顔検出）ＡＦなどユーザが各種のＡＦモードを選択できるようになっており、フォーカスが合っている領域はユーザにより選択された主要被写体である可能性が高いと推定される。また、主要被写体領域としては、オブジェクト抽出により主要被写体のみを切り出しても良いが、主要被写体が撮影されている領域（例えば、矩形領域）を背景ごと切り出しても良い。
【００３３】
画像シフト部５２では、主要被写体領域切出部５１で抽出された主要被写体領域を所定量だけ左右方向（横方向）に移動（シフト）させる。すなわち、第１の撮影画像の主要被写体領域の位置を基準として、主要被写体領域を所定量だけ左右方向に移動させる。１回目の撮影位置に対して２回目の撮影を右側にカメラを移動して撮影する場合には主要被写体領域の移動方向は左方向とし、１回目の撮影位置に対して２回目の撮影を左側にカメラを移動して撮影する場合には主要被写体領域の移動方向は右方向となる。なお、主要被写体領域の移動量は画像視差が適切になるように決定されるが、具体的な方法については後述するものとする。
【００３４】
一般的に、平行に配置されたステレオカメラにより撮影された２つの撮影画像の視差量（視差値ともいう）Ｄ（単位：ｍ）は、カメラ間の距離に相当する基線長Ｂ、カメラの焦点距離ｆ、カメラから被写体までの距離Ｚにより、
Ｄ＝Ｂ×ｆ／Ｚ …式（１）
で与えられる。したがって、距離Ｚが十分に大きい遠景では視差は０となり、近景になるほど視差が大きくなる。
【００３５】
このような条件で撮影された立体視用画像をそのまま立体表示が可能なディスプレイで観察すると、遠景にある被写体がディスプレイ面に知覚され、他の被写体はディスプレイの手前に飛び出して知覚される。しかしながら、視差範囲を有効に利用し、かつ、視差角を小さくすることを考慮すると、撮影した画像全体を横方向へシフトするなどして、ディスプレイ面より奥側に知覚されるように視差を一様に変化させることが望ましい。つまり、遠景ではシフトした量だけ視差が発生し、シフトした量と同じだけ撮影時に視差が発生している被写体がディスプレイ面に知覚されることになる。このシフト量は、遠景の被写体の視差角が大きくなり過ぎないこと、所定距離の被写体がディスプレイ面に知覚されること、などの条件により決定される。
【００３６】
１回目の撮影から２回目の撮影をするまでに画像撮像装置１を略平行に移動させることで、ステレオカメラと同様の立体画像を得ることができる。ここで、焦点距離ｆおよび被写体までの距離Ｚはステレオカメラのときと変わらないが、基線長Ｂがカメラ移動量に相当することになる。したがって、カメラ移動量を大きくすると視差も大きくなる。つまり、カメラ移動量が大きすぎると視差が大きくなりすぎるため融像できない可能性があり、カメラ移動量が小さすぎると視差が小さくなりすぎるため立体画像として認識できない可能性があり、カメラ移動量は適切に設定する必要がある。
【００３７】
そこで、本発明では、主要被写体領域が所望の視差値になるように２回の撮影を行い、好適な立体画像が得られるようにする。具体的には、画像合成部５３は、画像シフト部５２により所定量だけシフトさせた主要被写体領域を基準被写体領域として、画像表示部４にリアルタイムで表示されている撮影対象画像に重畳する。そして、ユーザは、画像表示部４にモニタ表示された画像を見ながら２回目の撮影を行う。なお、本例の画像表示部４は、第１の撮影画像の撮影位置、すなわち、１回目の撮影位置と同じ位置での画像を撮影対象画像としてリアルタイムで表示する。このとき撮影対象画像には基準被写体領域と同一の被写体が含まれる。
【００３８】
従って、１回目の撮影が終了し２回目の撮影に移行すると、画像表示部４には、基準被写体領域のみ二重像になって表示されることになる。ユーザは、この二重像が略重なるように画像撮像装置１を横方向へ略平行に移動させ、さらに、ユーザがキー入力部７のシャッタキーを操作することで２回目の撮影を行い、第２の撮影画像を得る。つまり、リアルタイム表示されている撮影対象画像の一部が基準被写体領域に重畳した状態でシャッター操作された場合に、画像処理部５は、このシャッター操作に応じて撮影対象画像を第２の撮影画像として取得する。画像処理部５は、このようにして取得した第２の撮影画像を画像記憶部３に出力し、画像記憶部３は、第１の撮影画像及び第２の撮影画像を例えば左右に並べた１つの立体視用画像データとして記憶する。
【００３９】
上記において、画像表示部４の画面上では基準被写体領域のみが二重像となっており、ユーザは他の被写体に惑わされることなくカメラ移動量を調整できるため、好適な立体視用画像を撮影することができる。また、第１の撮影画像の主要被写体領域を所定量だけ左右方向にシフトさせた基準被写体領域を画面上の撮影対象画像に合成しているため、ユーザは基準被写体領域を重ね合わせるだけで所定の視差量に調整された第２の撮影画像を得ることができるため、視差量（画像のずれ量）を気にする必要なく、好適な立体視用画像を撮影することができる。
【００４０】
ここで、主要被写体領域切出部５１で切り出される主要被写体領域以外の領域を透明として扱うようにしてもよい。この場合、所定量シフトされた主要被写体領域を含む第１の撮影画像が画面上の撮影対象画像に重畳されるが、ユーザからは主要被写体領域（すなわち、基準被写体領域）のみが撮影対象画像に重畳されているように視認される。このため、他の被写体に惑わされることなく、容易に被写体同士を重ね合わせることができる。なお、画像透明化の手法について特に限定するものではなく、公知の方法により実現することができる。また、ユーザに重ね合わせるべき被写体領域を提示できれば良いとの観点から、主要被写体領域を除く領域を目立たなくしても同様の効果が得られる。例えば、主要被写体領域を除く領域の透過度を大きくしたり、主要被写体領域を除く領域の明度や彩度を下げるようにしたりしても良い。つまり、主要被写体領域が相対的に目立てばよいため、主要被写体領域の透過度を例えば５０％、他の領域の透過度を例えば９０％などと設定すればよい。
【００４１】
また、全画像領域（画像全体）をモノクロ画像としておき、主要被写体領域のみカラー画像として表示すると、主要被写体領域が目立ち、ユーザが判別しやすくなるため好適である。さらに、主要被写体領域の画像と撮影対象画像との間で画素値の差分絶対値を計算し、その値が小さい画素の領域（つまり、似た画像が含まれる領域）のみカラー画像で表示すると、どの領域が重なっているかを判別しやすくなるため好適である。
【００４２】
また、リアルタイム表示されている撮影対象画像に重畳された基準被写体領域が画面上で大きく見えるように拡大すると、他の被写体の状態に惑わされることなく、撮影対象画像の一部を基準被写体領域に重ねることができより望ましい。この場合、撮影対象画像も同じ倍率で拡大されるものとする。基準被写体領域及び撮影対象画像が拡大されていることにより、重ね合わせの精度が向上してずれ量の少ない立体画像を得ることが可能となる。
【００４３】
ここで、リアルタイム表示されている撮影対象画像の一部が基準被写体領域と略一致した状態で撮影が行われる。撮影はユーザが任意のタイミングで行っても良いが、撮影対象画像の一部が基準被写体領域にマッチングしたときに自動的に撮影するようにしてもよい。この場合、制御部６は、撮影対象画像の一部が基準被写体領域に略一致したか否かを判定し、略一致したと判定したときに、自動的にシャッター操作を行う。例えば、基準被写体領域と撮影対象画像とが重なる領域で、輝度差の総和であるＳＡＤ（Sum of Absolute Difference）を算出し、このＳＡＤが所定閾値以下になったときに撮影を実行する。これにより、基準被写体のずれ量がある程度小さくなったときに撮影が実行され、傾きなどのずれが少なく、立体視し易い立体画像を得ることが可能となる。
【００４４】
また、別の撮影方法として、撮影対象画像の一部が基準被写体領域に略一致したときに、ユーザに撮影タイミングを提示するようにしてもよい。この場合、制御部６は、撮影対象画像の一部が基準被写体領域に略一致したか否かを判定し、略一致したと判定したときに、ユーザに対してシャッター操作を行うように促すための通知を行う。例えば、上記と同様に、基準被写体領域と撮影対象画像とが重なる領域で、ＳＡＤを算出して所定閾値以下になったときに、基準被写体領域の境界を赤などの目立つ色で囲むようにしてユーザに撮影タイミングを通知する。これにより、基準被写体のずれ量がある程度小さくなったときに撮影が実行され、傾きなどのずれが少なく立体視し易い立体画像を得ることが可能になる。さらに、撮影対象画像の一部が基準被写体領域と一致してないと判別した場合には、ユーザがシャッター操作を行っても撮影を行わないようにしても良い。これにより、被写体がずれていて適切な視差が得られていない立体視用画像の撮影を防ぐことが可能となる。
【００４５】
以下、画像シフト部５２によるシフト量決定方法の一例について説明する。ここで、実際の視差値は撮像素子やディスプレイのピクセルにより量子化されており、ピクセルピッチなども考慮しなければならないが、理解しやすくするためここでは省略して説明する。
【００４６】
平行にカメラを移動して撮影した２つの撮影画像の視差値Ｄは、前述の式（１）より、Ｄ＝Ｂ×ｆ／Ｚにより算出されるが、このときの視差の最小値を０とし、最大値をＤｍａｘとする。このように撮影した立体視用画像をディスプレイで鑑賞すると全部の被写体がディスプレイ面から飛び出して知覚される。視差の小さい被写体の場合、ディスプレイ面には左右画像の被写体のずれが無く、飛び出さない状態で知覚される。一方、視差が大きい被写体の場合、ディスプレイ面には左右画像の被写体のずれにより飛び出して知覚される。
【００４７】
平行法で撮影された２つの撮影画像には、撮影で得られる視差と逆方向の視差である負の視差が存在しない。負の視差を有する立体視用画像をディスプレイで鑑賞した場合、負の視差である被写体はディスプレイ面より引っ込んで知覚される。このような表示は、画像の立体感や視差角の点においても有効に利用するべきであるため、一般に、平行法で撮影された２つの撮影画像から立体視用画像を生成する場合には、撮影した画像全体を平行移動させるなどして、全ての画素を横方向に移動するようにして立体視用画像を生成する。このようにして負の視差を発生させる。したがって、一様に横方向に移動したときの視差は移動量（シフト量ともいう）をΔＤとすると、視差の最小値が−ΔＤ、最大値がＤｍａｘ−ΔＤとなり、撮影時の視差がＤであった被写体は一様に移動した後ではＤ−ΔＤという視差になる。また、撮影時の視差がΔＤであった被写体は、一様に移動した後では視差がΔＤ−ΔＤ＝０となり、ディスプレイで表示したときにディスプレイ面に知覚される。
【００４８】
上記のシフト量ΔＤは、画像撮像装置１の基線長Ｂと焦点距離ｆなどにより適切に決定されるが、例えば、被写体までの距離ＺがＬ０で撮影時の視差がＤ０の被写体を、立体画像として表示したときに、ディスプレイ面に知覚するような立体画像を得たい場合には、シフト量ΔＤをＤ０とすれば良い。このとき、距離Ｌ０より手前の被写体は飛び出して知覚され、距離Ｌ０より奥の被写体は引っ込んで知覚される。つまり、このような視差を発生させる立体視用画像となるように、第１の撮影画像の主要被写体領域のシフト量ΔＤを設定すれば良い。具体的には、主要被写体までの距離ＺがＬ０であればシフト量ΔＤをＤ０程度とする。なお、視差Ｄ０は、前述の式（１）より、Ｂ×ｆ／Ｌ０で求めることができる。また、主要被写体までの距離ＺがＬ０より大きければシフト量ΔＤをＤ０より小さくし、主要被写体までの距離ＺがＬ０より小さければシフト量ΔＤをＤ０より大きくする。すなわち、このシフト量ΔＤを、画像撮像装置１から主要被写体までの距離Ｚに応じて異ならせるようにしても良い。
【００４９】
ここで、仮に一様にシフト量ΔＤをＤ０にしてしまうと立体画像として視差が不適切になってしまう場合がある。被写体までの距離ＺがＬ０より大きいとき、被写体の視差値ＤがＤ−Ｄ０＜０となり、ディスプレイで立体画像として観察すると全部の被写体が引っ込みになってしまう。さらに、遠景の視差が引っ込み方向で大きくなり過ぎてしまう可能性がある。一方、被写体の距離ＺがＬ０より小さいときも、被写体領域の視差値ＤがＤ−Ｄ０＞０となり、ディスプレイで立体画像として観察すると全部の被写体が飛び出しになってしまう。さらに、近景の視差が飛び出し方向で大きくなり過ぎてしまう可能性がある。したがって、主要被写体までの距離Ｚに応じてシフト量を可変にして異ならせることにより、視差が適切に調整された立体視用画像を得ることが可能となる。
【００５０】
上記より好適な視差で撮影された立体視用画像を得ることが可能となる。なお、主要被写体までの距離Ｚは、例えば、画像撮像装置１が備えるオートフォーカス機能の設定情報から被写体までのおおよその距離が分かる。つまり、被写体までの距離Ｚ及び焦点距離ｆは、第１の撮影画像を撮影したときの設定情報から得ることができる。また、基線長Ｂは、本発明の場合、画像撮像装置１の左右方向への移動量に相当するが、例えば、目の幅に近い６５ｍｍなどの標準的な値を設定しておく。そして、第１の撮影画像を撮影したときの被写体までの距離Ｚ、焦点距離ｆ、及び基線長Ｂは、第１の撮影画像の撮影設定情報としてメモリに保持しておき、第２の撮影画像を取得する際に、主要被写体領域切出部５１及び画像シフト部５２に入力される。
【００５１】
次に、図３〜図８に基づいて、本発明の画像撮像装置１による動作例を具体的に説明する。例えば、図３のような撮影シーンであった場合を想定する。近景には被写体Ａ、遠景には被写体Ｃ、その間に被写体Ｂが配置されている。１回目の撮影は、通常の撮影と同様に行われ、撮影された画像は図３の第１の撮影画像４１として画像記憶部３に記憶される。このとき、主要被写体領域が被写体Ａであった場合、フォーカスも被写体Ａに合焦するように撮影されている。
【００５２】
次に、１回目の撮影が終了した後に２回目の撮影に移行する。主要被写体領域切出部５１は、第１の撮影画像４１の撮影設定情報から、被写体Ａにフォーカスを合わせて撮影されたことを特定し、この被写体Ａを主要被写体として認識する。そして、図４に示すように、図３の第１の撮影画像４１から、主要被写体である被写体Ａを含む領域４１ａ（以下、主要被写体領域４１ａという）を切り出す。次に、画像シフト部５２は、第１の撮影画像４１の撮影設定情報から、画像撮像装置１から主要被写体Ａまでのおおよその距離を取得し、主要被写体領域切出部５１にて切り出された主要被写体領域４１ａが適切な視差となるように、図５のように横方向（図中の画像シフト方向）へ主要被写体領域４１ａを所定量ｄだけ移動させる。
【００５３】
図５に示すように、主要被写体領域４１ａは、所定量ｄだけシフトされ、基準被写体領域４１ａ′として画像合成部５３にて画面上にリアルタイム表示されている撮影対象画像と合成される。このときの画像表示部４に表示される合成画面を図６に示す。図６において、合成画面４２には、撮影対象画像として、第１の撮影画像４１と同じ被写体Ａ′、Ｂ′，Ｃ′がリアルタイムで表示されると共に、図５でシフトされた基準被写体領域４１ａ′が重畳されている。ユーザは、基準被写体領域４１ａ′の被写体Ａが、撮影対象画像の被写体Ａ′に略一致するように、画像撮像装置１を横向き（図中のカメラ移動方向）に移動させ、ずれ量を調整する。そして、被写体Ａ，Ａ′が略重なったときにシャッター操作されて撮影される。これにより、第２の撮影画像が取得され、第１の撮影画像及び第２の撮影画像により１つの立体視用画像データが生成される。このように被写体Ａで適切に視差が調整されているため、立体感のある立体画像を得ることができる。
【００５４】
次に、主要被写体が被写体Ａではなく被写体Ｃであった場合について説明する。まず、主要被写体領域切出部５１は、第１の撮影画像４１の撮影設定情報から、被写体Ｃにフォーカスを合わせて撮影されたことを特定し、この被写体Ｃを主要被写体として認識する。そして、図３の第１の撮影画像４１から、主要被写体である被写体Ｃを含む領域を切り出す。次に、図７に示すように、画像シフト部５２は、第１の撮影画像４１の撮影設定情報から、画像撮像装置１から被写体Ｃまでの距離を取得し、主要被写体領域切出部５１にて切り出された主要被写体領域４１ｃが適切な視差となるように、横方向（図中の画像シフト方向）へ主要被写体領域４１ｃを所定量ｄ′だけ移動させる。このとき、被写体Ａよりも被写体Ｃの方が遠くに位置しているため、被写体Ａが主要被写体のときよりもシフト量は小さくなっている。
【００５５】
図７に示すように、主要被写体領域４１ｃは、所定量ｄ′だけシフトされ、基準被写体領域４１ｃ′として画像合成部５３にて画面上にリアルタイム表示されている撮影対象画像と合成される。このときの画像表示部４に表示される合成画面を図８に示す。図８において、合成画面４３には、撮影対象画像として、第１の撮影画像４１と同じ被写体Ａ′、Ｂ′，Ｃ′がリアルタイムで表示されると共に、図７でシフトされた基準被写体領域４１ｃ′が重畳されている。ユーザは、基準被写体領域４１ｃ′の被写体Ｃが、撮影対象画像の被写体Ｃ′に略一致するように、画像撮像装置１を横向き（図中のカメラ移動方向）に移動させ、ずれ量を調整する。そして、被写体Ｃ，Ｃ′が略重なったときにシャッター操作されて撮影される。これにより、第２の撮影画像が取得され、第１の撮影画像及び第２の撮影画像により１つの立体視用画像データが生成される。このように被写体Ｃで適切に視差が調整されているため、立体感のある立体画像を得ることができる。
【００５６】
以上に説明したように、本実施形態の画像撮像装置によれば、撮像素子を１つしか備えない場合であっても、第１の撮影画像の主要被写体領域を左右方向に所定量だけシフトさせ、このシフト後の主要被写体領域を基準被写体領域として、モニタ画面にリアルタイム表示されている撮影対象画像に重畳させて撮影することで第２の撮影画像を取得することができるため、視差が適切に調整されたずれ量の少ない立体視用画像（左眼用画像，右眼用画像）を容易に撮影、取得することができる。
【符号の説明】
【００５７】
１…画像撮像装置、２…撮像素子、３…画像記憶部、４…画像表示部、５…画像処理部、６…制御部、７…キー入力部、５１…主要被写体領域切出部、５２…画像シフト部、５３…画像合成部。
【特許請求の範囲】
【請求項１】
１つの撮像素子と、該撮像素子により取り込んだ撮影対象画像を表示する画像表示部と、該画像表示部に表示されている撮影対象画像に対するシャッター操作に応じて撮影画像を取得する画像処理部とを備えた画像撮像装置であって、
前記画像処理部は、該画像処理部で取得された第１の撮影画像から主要被写体の領域を切り出す主要被写体領域切出部と、該切り出した主要被写体領域を左右方向に所定量シフトさせる画像シフト部と、該所定量シフトさせた主要被写体領域を基準被写体領域として前記画像表示部に表示されている撮影対象画像に重畳させる画像合成部とを備え、
前記基準被写体領域が重畳された状態でシャッター操作された場合に、前記画像処理部は、前記シャッター操作に応じて前記撮影対象画像を第２の撮影画像として取得することを特徴とする画像撮像装置。
【請求項２】
前記画像シフト部によるシフト量は、前記画像撮像装置から前記主要被写体までの距離に基づいて決定されることを特徴とする請求項１に記載の画像撮像装置。
【請求項３】
前記画像シフト部によるシフト量は、前記画像撮像装置の焦点距離に基づいて決定されることを特徴とする請求項１に記載の画像撮像装置。
【請求項４】
前記画像表示部は、タッチパネルを備え、前記主要被写体領域は、前記画像表示部に表示された第１の撮影画像に対してユーザが前記タッチパネルを介してタッチ操作することで指定されることを特徴とする請求項１〜３のいずれか１項に記載の画像撮像装置。
【請求項５】
前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、自動的にシャッター操作を行う制御部を備えたことを特徴とする請求項１〜４のいずれか１項に記載の画像撮像装置。
【請求項６】
前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、ユーザに対してシャッター操作を行うように促すための通知を行う制御部を備えたことを特徴とする請求項１〜４のいずれか１項に記載の画像撮像装置。
【請求項７】
前記第１の撮影画像及び前記第２の撮影画像を１つの立体視用画像データとして記憶する画像記憶部を備えたことを特徴とする請求項１〜６のいずれか１項に記載の画像撮像装置。
【請求項１】
１つの撮像素子と、該撮像素子により取り込んだ撮影対象画像を表示する画像表示部と、該画像表示部に表示されている撮影対象画像に対するシャッター操作に応じて撮影画像を取得する画像処理部とを備えた画像撮像装置であって、
前記画像処理部は、該画像処理部で取得された第１の撮影画像から主要被写体の領域を切り出す主要被写体領域切出部と、該切り出した主要被写体領域を左右方向に所定量シフトさせる画像シフト部と、該所定量シフトさせた主要被写体領域を基準被写体領域として前記画像表示部に表示されている撮影対象画像に重畳させる画像合成部とを備え、
前記基準被写体領域が重畳された状態でシャッター操作された場合に、前記画像処理部は、前記シャッター操作に応じて前記撮影対象画像を第２の撮影画像として取得することを特徴とする画像撮像装置。
【請求項２】
前記画像シフト部によるシフト量は、前記画像撮像装置から前記主要被写体までの距離に基づいて決定されることを特徴とする請求項１に記載の画像撮像装置。
【請求項３】
前記画像シフト部によるシフト量は、前記画像撮像装置の焦点距離に基づいて決定されることを特徴とする請求項１に記載の画像撮像装置。
【請求項４】
前記画像表示部は、タッチパネルを備え、前記主要被写体領域は、前記画像表示部に表示された第１の撮影画像に対してユーザが前記タッチパネルを介してタッチ操作することで指定されることを特徴とする請求項１〜３のいずれか１項に記載の画像撮像装置。
【請求項５】
前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、自動的にシャッター操作を行う制御部を備えたことを特徴とする請求項１〜４のいずれか１項に記載の画像撮像装置。
【請求項６】
前記撮影対象画像の一部が前記基準被写体領域と略一致したと判定したときに、ユーザに対してシャッター操作を行うように促すための通知を行う制御部を備えたことを特徴とする請求項１〜４のいずれか１項に記載の画像撮像装置。
【請求項７】
前記第１の撮影画像及び前記第２の撮影画像を１つの立体視用画像データとして記憶する画像記憶部を備えたことを特徴とする請求項１〜６のいずれか１項に記載の画像撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−４６３４３（Ｐ２０１３−４６３４３Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４６６０（Ｐ２０１１−１８４６６０）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]