多視点立体画像撮影装置
【課題】 光学ズームを使う際のレンズのズーム位置に合わせて変化するケラレの領域を自動的に検出し、トリミングを行なう画像撮影装置を提供する。
【解決手段】 ミラーやプリズムを備えたアダプタを用いて、少なくとも１つ以上の異なる視点の画像を１枚の立体画像として撮影する画像撮影装置において、前記立体画像撮影時に、光学ズームが使用されたか否かを検出し、その検出結果を示す光学ズーム情報を出力する光学ズーム検出手段と、入力画像に対して、ケラレやオーバーラップの領域を無効領域として検出し、前記無効領域を含まないようにトリミングを行なうことを示す無効領域情報を出力する無効領域情報作成手段と、前記無効領域情報を用いて入力画像に対してトリミングを行なうトリミング手段を備える。
【解決手段】 ミラーやプリズムを備えたアダプタを用いて、少なくとも１つ以上の異なる視点の画像を１枚の立体画像として撮影する画像撮影装置において、前記立体画像撮影時に、光学ズームが使用されたか否かを検出し、その検出結果を示す光学ズーム情報を出力する光学ズーム検出手段と、入力画像に対して、ケラレやオーバーラップの領域を無効領域として検出し、前記無効領域を含まないようにトリミングを行なうことを示す無効領域情報を出力する無効領域情報作成手段と、前記無効領域情報を用いて入力画像に対してトリミングを行なうトリミング手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点立体画像を撮影するための画像撮影装置に関する。
【背景技術】
【０００２】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
【０００３】
２眼式の代表的な方式としてフィールドシーケンシャル方式やパララックスバリア方式が提案されている。
【０００４】
図１２は、フィールドシーケンシャル方式を説明するための概念図である。このフィールドシーケンシャル方式は、図１２のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切り替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者は、ディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図１３は、パララックスバリア方式を説明するための概念図である。図１３（Ａ）は、視差が生じる原理を示す図である。一方、図１３（Ｂ）は、パララックスバリア方式で表示される画面を示す図である。図１３（Ａ）では、図１３（Ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル２００に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララックスバリア２０１を画像表示パネル２００の前面に置くことにより、左眼画像は左眼２０２だけで、右眼画像は右眼２０３だけで観察することになり、立体視を行うことができる。
【０００６】
以上のような立体視を行うために、表示する左眼画像や右眼画像といった複数の異なる視点の画像をデジタルカメラなどでそれぞれ撮影するが、各画像を撮影するために、ミラーやプリズムを使ったステレオアダプタを用いて１台のカメラを用いる場合、撮影画像内に、アダプタの枠が写ってしまう（以下、ケラレと称す）、または、隣り合う異なる視点の画像が互いに混ざりあってしまう領域（以下、オーバーラップと称す）が発生してしまうという問題があった。
【０００７】
このような問題を解決するために、特許文献１では、電子ファインダに撮影する各視点の画像を表示し、元の画像に対して所定の大きさの枠を設定し、枠内の画像をトリミングして撮影画像とすることにより、ケラレやオーバーラップの領域を削除するという方法が述べられている。
【特許文献１】特開２００２−２１８５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、トリミングを行なう際の枠の大きさを一定にしてトリミングを行なうため、異なる種類のアダプタを用いた場合に、画像内に発生するケラレやオーバーラップの領域が異なって、ケラレやオーバーラップの領域が枠をはみ出してしまい、その結果、うまくトリミングができずに、トリミング後の画像にそれらの領域が含まれるという問題や、逆にトリミングする必要のない領域が切り取られてしまうという問題があった。
【０００９】
図９は、従来のミラー式アダプタとそれを装着した電子カメラの構成例を示す図であり、電子カメラを上から見た構成となっている。
【００１０】
この電子カメラは、カメラ本体１００のレンズ鏡筒にミラー式ステレオアダプタ１０８を着脱することができる構成になっている。アダプタ１０８には、左右にミラー１０１，１０５がそれぞれ配置されており、更にこれらのミラーで反射した光をカメラの撮像面に導くためにミラー１０２，１０６が配置されている。アダプタ１０８のミラー１０１に入射した光はミラー１０２及びレンズ１０３を介して撮像素子１０４の領域Ｌに結像され、ミラー１０５に入射した光はミラー１０６及びレンズ１０３を介して撮像素子１０４の領域Ｒに結像されるようになっている。撮像素子１０４で得られる画像を１０７とする。
【００１１】
また、このカメラ本体１００は光学ズームを行なうことができ、例えば光学ズームをワイド端にした場合、図１０のように、アダプタ１０８の枠の部分がケラレとして画像１０７に写りこむ場合がある。
【００１２】
図１０は、ケラレが発生する場合の画像の一例を示す図である。画像１０７は、左眼用の画像１０９と、右眼用の画像１１０、図１０の斜線部に相当するケラレ１１１の３種類の領域から構成されている。ここで、撮像素子１０４の領域Ｌは、左の太枠で囲んだ画像１０９とケラレ１１１の一部を含む領域、領域Ｒは右の太枠で囲んだ画像１１０とケラレ１１１の一部を含む領域にそれぞれ相当する。
【００１３】
逆に、光学ズームをテレ端にした場合、図１１のように、撮像素子１０４に結像される画像１０７に、左眼用の画像と右眼用の画像がオーバーラップする領域が写りこむ場合がある。
【００１４】
図１１は、オーバーラップが発生する場合の画像の一例を示す図である。この場合、画像１０７は、左眼用の画像だけで構成される領域１１２と、右眼用の画像だけで構成される領域１１３、オーバーラップ領域１１４の３種類の領域から構成されている。ここでオーバーラップ領域とは、画像１０７の左右の中心付近で、レンズ１０３から撮像素子１０４に入射される左右の眼用の画像が混ざりあって結像された領域を意味する。
【００１５】
これらケラレやオーバーラップの領域は、光学ズームのズーム位置により、その面積が変化する。
【００１６】
以上のように、光学ズームを使う際のレンズのズーム位置に合わせてその大きさが変化するケラレやオーバーラップの領域が画像に発生してしまうため、トリミングを行なう際の枠の大きさが一定でトリミングを行なった場合、トリミング後の画像にそれらの領域が含まれるという問題や、逆にトリミングする必要のない領域が切り取られてしまうという問題があった。
【００１７】
本発明は、以上のような問題点を解決するためになされたものであって、光学ズームを使う際のレンズのズーム位置に合わせて変化するケラレの領域を自動的に検出し、トリミングを行なう画像撮影装置を提供することを目的とする。
【００１８】
また、本発明によれば、光学ズームを使う際のレンズのズーム位置に合わせて変化するオーバーラップの領域を自動的に検出し、トリミングを行なう画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するために、本発明に係る画像撮影装置は、以下の特徴点を備えている。
【００２０】
本発明は、ミラーやプリズムを備えたアダプタを用いて、少なくとも１つ以上の異なる視点の画像を１枚の立体画像として撮影する画像撮影装置において、前記立体画像撮影時に、光学ズームが使用されたか否かを検出し、その検出結果を示す光学ズーム情報を出力する光学ズーム検出手段と、入力画像に対して指定した無効領域を含まないようにトリミングを行なうことを示す無効領域情報を出力する無効領域情報作成手段と、前記無効領域情報を用いて入力画像に対してトリミングを行なうトリミング手段を備えることを特徴とするものである。
【００２１】
ここで、前記無効領域情報作成手段は、前記光学ズーム情報が光学ズームの使用を検出したことを示した場合に、初期化を行い、新たに前記無効領域情報を作成することを特徴とする。
【００２２】
また、前記無効領域情報作成手段は、異なる時刻に撮影した複数の入力画像を用いて動きの有無を検出し、動きの無い領域を無効領域とした無効領域情報を出力することを特徴とする。
【００２３】
また、前記無効領域情報作成手段の別の構成では、少なくとも１つ以上の入力画像と、前記無効領域情報を用いて、入力画像の無効領域に含まれる画素の色が所定の色で無い場合、その画素が無効領域でなくなるように前記無効領域情報を変更する色補正手段を備えることを特徴とする。
【００２４】
また、前記無効領域情報作成手段の別の構成では、アダプタから入射される複数の異なる視点の画像の境界において、隣り合う視点の画像毎に色の平均を求め、一方の視点の画像の色の平均と、他方の視点の画像の画素の色毎に差の値を求め、前記差の値が所定の値以下である場合、その画素は、隣り合う視点の画像が互いにオーバーラップするオーバーラップ領域であると判定して、前記オーバーラップ領域を無効領域とした無効領域情報と出力することを特徴とする。
【発明の効果】
【００２５】
本発明の撮影装置によれば、撮影画像に対して、ケラレやオーバーラップの領域を自動的に抽出し、抽出した領域に対してトリミングするため、ケラレやオーバーラップの領域を含まない画像を撮影することができる。
【００２６】
また、異なる種類のアダプタや光学ズームを使用することにより、ケラレやオーバーラップの領域が変化しても、それらの領域にあわせて適応的にトリミング位置を変更するため、アダプタの変更や光学ズームの使用に依存することなく、ケラレやオーバーラップの領域を含まない画像を撮影することができる。
【００２７】
また、ケラレやオーバーラップの領域が検出された際、その旨を通知し、ズームの調整などを促す旨のメッセージなどによりユーザーに通知することにより、立体画像撮影の失敗を防ぐことができる。
【発明を実施するための最良の形態】
【００２８】
＜第１の実施形態＞
【００２９】
以下、本発明に係る実施形態について、添付図面を参照しながら説明する。
【００３０】
図１は、本発明の第１の実施形態の画像抽出トリミング手段１の構成を示すブロック図である。
【００３１】
画像抽出トリミング手段１は、カメラの撮像部からの入力画像Ｉと、ズーム情報もしくはユーザー入力情報を含む外部情報Ａを入力とし、トリミングされた出力画像Ｏを出力する手段であって、無効領域情報作成手段２と、光学ズーム検出手段３と、トリミング手段４から構成されている。
【００３２】
ここで、ズーム情報とは、光学ズームが使用されたことを示す情報、ユーザー入力情報とは、無効領域情報作成手段２の再初期化や、無効領域情報の作成終了を指示する情報である。無効領域情報作成手段２は、入力画像Ｉ内におけるケラレの領域のような無効な領域の位置を検出し、検出した位置情報を無効領域情報として作成し、作成した無効領域情報、及び、前記無効領域情報作成手段２の動作状態に関する情報である無効領域判定情報Ｂをそれぞれ出力する手段である。
【００３３】
光学ズーム検出手段３は、前記外部情報Ａを入力とし、光学ズームが行なわれた際やユーザーの指示に合わせ、制御手段９を通じて無効領域情報作成手段２の初期化や、無効領域情報の作成処理の終了といった制御を行う手段である。
【００３４】
トリミング手段４は、無効領域情報作成手段２からの無効領域情報を用いて入力画像Ｉのトリミングを行い、出力画像Ｏとして出力する手段である。無効領域判定情報Ｂについては後述する。
【００３５】
また、無効領域情報作成手段２は、入力画像Ｉを入力とし、無効領域判定情報Ｂを出力する手段であって、現在の時刻の入力画像と、メモリ７に保存された前の時刻の入力画像との差分をとり、その差分情報を出力する差分手段５と、前記差分情報を用いて、画素毎に、ケラレの領域であるか否かを判定し、ケラレの領域である場合は、無効領域として無効領域情報を作成し、その結果をメモリ８に出力する判定手段６と、差分手段５や、判定手段６、メモリ７、８の初期化を行なう制御手段９から構成されている。
【００３６】
本実施形態で述べる撮影装置は、前記画像抽出トリミング手段１を内部に備える電子撮影装置であり、例えば、図９で述べたようなアダプタを装着して撮影する、従来の、光学ズーム機能をもつデジタルカメラや、ＣＣＤカメラなどの画像入力部の直後に、前記画像抽出トリミング手段１を備えたものである。本発明のポイントは、撮像素子から入力された画像に対してトリミングを行なう画像抽出トリミング手段１にあり、また、画像抽出トリミング手段１以外の部分に関しては、一般的なデジタルカメラやＣＣＤカメラと同じである。
【００３７】
例えば、本発明の撮影装置の全体の構成の一例について、図を用いて簡単に説明する。図１４は、本発明の撮影装置の全体の構成について説明するブロック図である。
【００３８】
撮影装置１９は、画像を撮影し、入力画像Ｉを出力するＣＣＤなどで構成された撮像手段２０と、撮像手段２０に対してズームや焦点合わせなどを制御し、ズームが行なわれた際にズーム情報を出力する撮像制御手段２１と、ユーザーが外部から入力する情報をユーザー入力として出力するユーザーインタフェース手段２２と、ズーム情報とユーザー入力を入力とし、それらを外部情報Ａとして出力するトリミング制御手段２３と、入力画像Ｉと外部情報Ａを入力とし、ケラレなどの画像の無効領域を抽出し、無効領域に対してトリミングを行い、トリミングした画像として出力画像Ｏを、また、無効領域の現在の抽出状態を示す無効領域判定情報Ｂをそれぞれ出力する画像抽出トリミング手段１と、無効領域判定情報Ｂを入力と出力画像Ｏを入力とし、無効領域判定情報Ｂに合わせ、ユーザーに対するメッセージを表示する表示手段２４と、出力画像Ｏを入力とし、カードなどのメディアに圧縮記録する記録手段２５と、図示しない全体の手段を制御する制御手段を備えた撮影装置である。
【００３９】
また、撮影装置がＣＣＤカメラである場合、表示手段２４や記録手段２５が無く、代わりに画像Ｏを出力画像信号として出力する画像信号出力手段を備えており、この画像信号出力手段において、無効領域判定情報Ｂに合わせたユーザーに対するメッセージを出力画像信号上に追加した画像を、新たな出力画像信号として出力する。
【００４０】
次に、画像抽出トリミング手段１の動作についてフローチャートを用いて詳細に説明する。
【００４１】
図２は、本実施形態における画像抽出トリミング手段１の動作を示すフローチャートである。
【００４２】
以下のフローチャートでは、画像抽出トリミング制御手段１と画像抽出トリミング手段１の全ての手段は全て接続されており、判定ステップにおける全ての判定結果や情報は、画像抽出トリミング手段１の全ての手段に対して伝達可能であるものとする。
【００４３】
ステップＳ１において、撮影装置の電源がＯＮにされ、ステップＳ２へ進む。
【００４４】
ステップＳ２において、無効領域情報作成手段２の初期設定が行なわれる。制御手段９は、判定手段６を制御して、判定手段６の出力する無効領域判定情報ＢがＩＮＩＴになるように設定する。これは、無効領域情報作成手段２が初期化された状態であることを示す。また、制御手段９は、メモリ７上に入力画像サイズ分の領域を無効領域情報のための領域として確保し、確保した値を全て０クリアする。さらに、制御手段９は、メモリ８上に、入力画像サイズ分の領域を無効領域情報として確保し、確保した値をすべて０で初期化する。さらに、制御手段９は、累積カウント数Ｄを０に初期化した後、判定ステップＳ３へ進む。
【００４５】
判定ステップＳ３において、画像抽出トリミング手段１は、画像が入力されたか否かを判定し、入力された場合（ステップＳ３；ＹＥＳ）は、判定ステップＳ４へ、そうでない場合は、判定ステップＳ３に戻る（ステップＳ３；ＮＯ）。
【００４６】
判定ステップＳ４において、画像抽出トリミング手段１は、無効領域判定情報ＢがＩＮＩＴであるか否かを判定し、ＩＮＩＴである場合（ステップＳ；ＹＥＳ）はステップＳ５へ、そうでない場合は判定ステップＳ７へそれぞれ進む（ステップＳ；ＮＯ）。
【００４７】
ステップＳ５において、無効領域情報作成手段２は、現在入力されている入力画像を差分手段５を通じてメモリ７に保存し、ステップＳ６に進む。
【００４８】
ステップＳ６において、画像抽出トリミング手段１は、無効領域判定情報ＢをＣＯＮＴＩＮＵＥに設定する。これは、無効領域情報作成手段２が判定を行なう状態であることを示す。ステップＳ３に戻る。
【００４９】
判定ステップＳ７において、画像抽出トリミング手段１は、無効領域判定情報ＢがＦＩＮＩＳＨであるか否かを判定し、ＦＩＮＩＳＨである場合（ステップＳ７；ＹＥＳ）はステップＳ８へ、そうでない場合はステップＳ１４へそれぞれ進む（ステップＳ７；ＮＯ）。
【００５０】
ステップＳ８において、トリミング手段４は、無効領域情報作成手段２からの無効領域情報を用いて入力画像Ｉに対してトリミングを行い、出力画像Ｏとして出力し、ステップＳ９へ進む。
【００５１】
このときのトリミング手段４におけるトリミングの方法として、出力画像Ｏが、無効領域を含まないような最大の大きさの矩形画像となるようにしてトリミングを行なう。
【００５２】
また、別のトリミングの方法として、出力画像Ｏ、無効領域でない領域をすべて含むような最大の大きさの矩形画像となるようにしてトリミングを行なうようにしてもよい。さらにこのとき、無効領域の部分は所定の画像、例えば、黒色の画像などで埋めて出力画像Ｏを作成してもよい。
【００５３】
ステップＳ９において、画像抽出トリミング手段１は、光学ズーム検出手段３に外部情報Ａが入力されたか否かを判定し、入力された場合（ステップＳ９；ＹＥＳ）は判定ステップＳ１０へ進み、そうでない場合はステップＳ３へ戻る（ステップＳ９；ＮＯ）。
【００５４】
判定ステップＳ１０において、光学ズーム検出手段３は、外部情報Ａが光学ズームの使用を示すズーム情報であるか否かを判定し、外部情報Ａが光学ズームの使用を示すズーム情報である場合（ステップＳ１０；ＹＥＳ）は、ステップＳ２へ戻り、そうでない場合はステップＳ１１へ進む（ステップＳ１０；ＮＯ）。
【００５５】
判定ステップＳ１１において、光学ズーム検出手段３は、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報である場合（ステップＳ１１；ＹＥＳ）はステップＳ２へ戻り、そうでない場合は判定ステップＳ１２へ進む（ステップＳ１１；ＮＯ）。
【００５６】
判定ステップＳ１２において、光学ズーム検出手段３は、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報である場合（ステップＳ１２；ＹＥＳ）はステップＳ１３へ進み、そうでない場合はステップＳ３へ戻る（ステップＳ１２；ＮＯ）。
【００５７】
ステップＳ１３において、画像抽出トリミング手段１は、無効領域判定情報ＢをＦＩＮＩＳＨに設定する。これは、無効領域情報作成手段２が判定を終えた状態であることを示す。無効領域判定情報Ｂの設定後、ステップＳ３へ戻る。
【００５８】
ステップＳ１４において、無効領域情報作成手段２は、ケラレの抽出を行い、無効領域情報を作成する。このときの無効領域情報作成手段２の動作については、図３のフローチャートを用いてさらに詳細に説明する。
【００５９】
図３は、本実施形態の無効領域情報作成手段２の動作を示すフローチャートである。
【００６０】
ステップＳ１５において、差分手段５は、入力画像Ｉとメモリ７に保存されている前の入力画像とで差分を取り、結果を判定手段６に伝送し、ステップＳ１６へ進む。
【００６１】
ステップＳ１６において、判定手段６は、各画素の差分の結果が、所定の閾値Ｔ１以下なら０、そうでなければ１を、メモリ８に保存されている無効領域情報の対応する画素の位置のデータにそれぞれＯＲするようにして、判定手段６は無効領域情報を更新する。このようにして、差分値が閾値Ｔ１以下の領域は、現在の入力画像と前の時刻の入力画像の間で動きが無い領域を表す０の値となり、逆に動きのある領域は１の値となる。
【００６２】
このとき、無効領域情報の所定の領域の値が０から１に変化しなかった部分が無かった場合、判定手段６は、累積カウント数Ｄを１インクリメントする。上記所定の領域とは、例えば、図１０のケラレ１１１のような、元の画像領域の上下端からそれぞれ所定画素以内にある領域や、左右端からそれぞれ所定画素以内にある領域、また、各視点の画像の境界の中心から所定画素以内にある領域などを示す。
【００６３】
ここで、無効領域情報の所定の領域の値が０から１に変化しないことは、動きのある領域が新たに発生しなかったことを示す。よって、累積カウント数Ｄの数値が増加するに従い、動きの無い領域であるケラレの領域が全て検出された可能性も増加する。
【００６４】
判定ステップＳ１７において、判定手段６は、無効領域情報の値が全て１であるか否かを判定し、全て１であれば（ステップＳ１７；ＹＥＳ）、ステップＳ１８へ、そうでなければ、判定ステップＳ１９へ進む（ステップＳ１７；ＮＯ）。
【００６５】
ステップＳ１８において、無効領域情報の値が全て１であり、これは全ての領域に動きが発生していることを意味しているため、アダプタ枠は写っておらず、ケラレがないと、判定手段６は判定し、無効領域判定情報ＢをＦＩＮＩＳＨに設定し、ステップＳ１４は終了する。
【００６６】
判定ステップＳ１９において、判定手段６は、累積カウント数Ｄが閾値Ｔ２以下であるか否かを判定し、閾値Ｔ２以下である場合（ステップＳ１９；ＹＥＳ）は、ステップＳ２０へ、そうでない場合は、ステップＳ２２へ進む（ステップＳ１９；ＮＯ）。
【００６７】
ステップＳ２０において、累積カウント数Ｄが閾値Ｔ２以下であるため、まだ検出しきれていないケラレ領域が存在する可能性があるため、アダプタの枠はあり、つまりケラレが発生し、かつ検出を終えていないと、判定手段６は判定して、無効領域判定情報ＢをＣＯＮＴＩＮＵＥに設定し、ステップＳ２１に進む。
【００６８】
ステップＳ２１において、画像抽出トリミング手段１は、メモリ７に保存されている前の時刻の画像を現在の入力画像に置き換え、ステップＳ１４は終了する。
【００６９】
ステップＳ２２において、累積カウント数Ｄが閾値Ｔ２を越えているため、ケラレの検出を何度も行なったが、これ以上の新たなケラレ領域は発生せず、アダプタの枠はあり、つまりケラレが発生し、かつ検出を終えたと判定手段６は判定して、無効領域判定情報ＢをＦＩＮＩＳＨに設定し、ステップＳ１４は終了する。
【００７０】
ステップＳ１４終了後は、図２の通りステップＳ９へ進む。
【００７１】
以上のようにすることにより、本発明の撮影装置によれば、時刻の異なる入力画像間の差分を用いて動き検出を行なうことにより、画像領域内のケラレの領域を自動的に抽出し、抽出した領域に対してトリミングするため、ケラレの領域を含まない画像を撮影することができる。
【００７２】
また、無効領域判定情報ＢがＩＮＩＴであれば検出開始、ＣＯＮＴＩＮＵＥであれば検出中、ＦＩＮＩＳＨであれば検出終了の旨を通知するメッセージを表示手段に出力してもよく、また、ブザーや警告ランプなどによりユーザーに通知しても構わない。
【００７３】
また、本実施形態は、説明の簡略化のために２視点の場合について述べたが、これらの実施形態はすべて３視点以上の場合であってもケラレの領域の位置が変化するだけであって、同じ構成で対応可能である。
【００７４】
また、本実施形態では、ケラレの領域を無効領域とし、無効領域情報を用いてトリミングを行なうようにしたが、ケラレの領域が検出された時点で、入力画像にケラレの領域が存在するので、ケラレの領域がなくなるようにズームを調整するようユーザーに通知する旨のメッセージを表示してもよい。このときのズームの調整を促すメッセージとして、例えば、ズームをテレ端にすることを促す旨のメッセージなどが挙げられる。
【００７５】
また、トリミングに用いる無効領域情報は、光学ズームが使用されるたびに初期化し、作成しなおすことにより、光学ズームの倍率の変化が原因で発生するケラレの領域の変化に合わせて、適応的にトリミング位置を変更するため、ケラレの領域を含まない画像を撮影することができる。
【００７６】
また、無効領域情報作成手段２は、光学ズームが使用されるたびに初期化し、無効領域情報を作成することにより、光学ズームの倍率の変化が原因で発生するケラレの領域の変化に合わせて、適応的にトリミング位置を変更するため、ケラレの領域を含まない画像を撮影することができる。
【００７７】
また、無効領域情報作成手段２は、ユーザーからの外部入力により初期化と無効領域情報の作成開始を行なえるため、異なる種類のアダプタに変更したり、アダプタを付け直したりすることなどにより、ケラレの領域の変化した場合にも対応することができる。
＜第２の実施形態＞
【００７８】
以下、本発明の第２の実施形態について、添付図面を参照しながら説明する。
【００７９】
図４は、本発明の第２の実施形態に係る画像抽出トリミング手段１０の構成を示すブロック図である。
【００８０】
画像抽出トリミング手段１０は、光学ズーム検出手段３と、トリミング手段４と、無効領域情報作成手段１１とから構成されており、無効領域情報作成手段１１は、上記第１の実施形態で説明した無効領域情報作成手段２に、色補正手段１２を追加した構成である。よって、図４の光学ズーム検出手段３と、トリミング手段４、差分手段５、判定手段６、メモリ７、メモリ８、判定制御手段９は、第１の実施形態で説明したものと同じ動作をするものであるため、同じ番号を用いており、それらの手段の説明は省略する。
【００８１】
また、色補正手段１２は、入力画像Ｉと、第１の実施形態で説明した無効領域情報作成手段２で作成したものと同様に作成した無効領域情報をそれぞれ入力とし、入力画像Ｉが所定の色と異なる場合に無効領域情報を１に変化させる、つまり、入力画像の色が想定するアダプタ枠の色と一致しない場合は、誤検出であると判定し、その領域がアダプタ枠ではない領域であるということを示す値に、無効領域情報の値を補正する手段であり、以下、色補正手段１２の動作について図５に示すフローチャートを用いて詳細に説明する。
【００８２】
図５は、第２の実施形態に係る色補正手段１２の動作を示すフローチャートである。
【００８３】
ステップＳ３０は、色補正手段１２の全ての動作を含んだステップである。
【００８４】
図２の画像抽出トリミング手段１の動作を示すフローチャート上のステップＳ７とＳ８の間にこのステップ３０を新たに追加したものが、画像抽出トリミング手段１０の動作を示すフローチャートとなる。
【００８５】
次にステップＳ３０の内容について説明する。
【００８６】
ステップＳ３１において、色補正手段１２は、所定の色、例えば黒色などを、ケラレの領域であるアダプタ枠の色の値であるアダプタ色想定値とする。
【００８７】
判定ステップＳ３２において、色補正手段１２は、無効領域情報の値が１であるか否かの判定を行い、１であれば（ステップＳ３２；ＹＥＳ）、ステップＳ３３へ進み、そうでなければ、判定ステップＳ３６に進む（ステップＳ３２；ＮＯ）。
【００８８】
ステップＳ３３において、色補正手段１２は、入力画像Ｉの色の値からアダプタ色想定値を引いた値の絶対値Ｅの計算を行い、判定ステップＳ３４へ進む。
【００８９】
判定ステップＳ３４において、色補正手段１２は、絶対値Ｅが閾値Ｔ３以下であるか否かを判定し、Ｔ３以下であれば（ステップＳ３４；ＹＥＳ）、ステップＳ３５へ、そうでなければ、判定ステップＳ３６に進む（ステップＳ３４；ＮＯ）。
【００９０】
ステップＳ３５において、色補正手段１２は、現在の位置の無効領域情報の値を０にして、判定ステップＳ３６に進む。
【００９１】
判定ステップＳ３６において、色補正手段１２は、色による無効領域情報に対する補正の処理を全ての画素に対して行なったかを判定し、行なった場合は、ステップＳ３０を終了し（ステップＳ３６；ＹＥＳ）、そうでなければステップＳ３２に戻る（ステップＳ３６；ＮＯ）。
【００９２】
以上のようにすることにより、本発明の撮影装置によれば、時刻の異なる入力画像間の差分を用いて動き検出を行なうことにより、画像領域内のケラレの領域を自動的に抽出する際に、ケラレの領域でない領域がケラレの領域として誤って検出された場合であっても、抽出領域にさらに色補正を行った後、トリミングを行なうため、ケラレの領域を含まない画像を撮影することができ、かつ、その際の切り取られるケラレの領域の誤検出を防ぐことができる。
【００９３】
また、本実施形態は、説明の簡略化のために２視点の場合について述べたが、上記実施形態は、すべて３視点以上の場合であってもケラレの領域の位置が変化するだけであって、アダプタ枠の色は変化しないため、同じ構成で対応可能である。
＜第３の実施形態＞
【００９４】
以下、本発明に係る第３の実施形態について、添付図面を参照しながら説明する。図６は、第３の実施形態に係る画像抽出トリミング手段１３の構成を示すブロック図である。
【００９５】
画像抽出トリミング手段１３は、光学ズーム検出手段３と、トリミング手段４と、無効領域情報作成手段１４とから構成されており、上記第１の実施形態で説明した無効領域情報作成手段２と無効領域情報作成手段１４を入れ替えた構成となっている。よって、図４の光学ズーム検出手段３と、トリミング手段４は、第１の実施形態で説明したものと同じ動作をするものであるため、同じ番号を用いており、それらの手段の説明は省略し、無効領域情報作成手段１４の動作についてのみ説明を行なう。
【００９６】
無効領域情報作成手段１４は、入力画像Ｉを入力とし、無効領域判定情報Ｆを出力する手段であって、入力画像の左半分における色成分の平均値ＭＬと、右半分における色成分の平均値ＭＲをそれぞれ求める色抽出手段１５と、入力画像の左半分の各画素に対してＭＲとの差分を求め、前記差分が閾値以下である画素をオーバーラップ領域とし、また、入力画像の右半分の各画素に対してＭＬとの差分を求め、前記差分が閾値以下である画素をオーバーラップ領域として、このオーバーラップ領域を無効領域として無効領域情報Ｆを作成し、その結果をメモリ１７に出力する判定手段１６と、色抽出手段１５や、判定手段１６、メモリ１７の初期化を行なう制御手段１８から構成されている。
【００９７】
以下、画像抽出トリミング手段１３の動作についてフローチャートを用いて詳細に説明する。
【００９８】
図７は、本実施形態に係る画像抽出トリミング手段１３の動作を示すフローチャートである。
【００９９】
ステップＳ４０において、電源がオンされ、ステップ４１に進む。
【０１００】
ステップＳ４１において、無効領域情報作成手段１４の初期設定が行なわれる。制御手段１８は、判定手段１６を制御して、判定手段１６の出力する無効領域判定情報Ｆの値がＩＮＩＴになるように設定する。これは、無効領域情報作成手段１４が既に初期化され、オーバーラップ領域の抽出を開始する準備ができた状態であることを示す。また、制御手段１８は、メモリ１７上に入力画像サイズ分の領域を無効領域情報のための領域として確保し、確保した値を全て１にする。さらに、制御手段１８は、累積カウント数Ｇを０に初期化した後、判定ステップＳ４２へ進む。
【０１０１】
ステップＳ４２において、画像抽出トリミング手段１３は、画像が入力されたか否かを判定し、入力された場合（ステップＳ４２；ＹＥＳ）は判定ステップＳ４３へ、そうでない場合は判定ステップＳ４２に戻る(ステップＳ４２；ＮＯ)。
【０１０２】
判定ステップＳ４３において、画像抽出トリミング手段１３は、無効領域判定情報ＦがＦＩＮＩＳＨであるか否かを判定し、ＦＩＮＩＳＨである場合（ステップＳ４３；ＹＥＳ）は、判定ステップＳ４４へ、そうでない場合はステップＳ５０へそれぞれ進む（ステップＳ４３；ＮＯ）。
【０１０３】
ステップＳ４４において、トリミング手段４は、無効領域情報作成手段１４からの無効領域情報を用いて入力画像Ｉに対してトリミングを行い、出力画像Ｏとして出力し、判定ステップＳ４５へ進む。
【０１０４】
判定ステップＳ４５において、画像抽出トリミング手段１３は、光学ズーム検出手段３に外部情報Ａが入力されたか否かを判定し、入力された場合（ステップＳ４５；ＹＥＳ）は、判定ステップＳ４６へ進み、そうでない場合はステップＳ４２へ戻る（ステップＳ４５；ＮＯ）。
【０１０５】
判定ステップＳ４６において、光学ズーム検出手段３は、外部情報Ａが光学ズームの使用を示すズーム情報であるか否かを判定し、外部情報Ａが光学ズームの使用を示すズーム情報である場合（ステップＳ４６；ＹＥＳ）は、ステップＳ４１へ戻り、そうでない場合はステップＳ４７へ進む（ステップＳ４６；ＮＯ）。
【０１０６】
判定ステップＳ４７において、光学ズーム検出手段３は、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報である場合はステップＳ４１へ戻り（ステップＳ４７；ＹＥＳ）、そうでない場合はステップＳ４８へ進む（ステップＳ４７；ＮＯ）。
【０１０７】
判定ステップＳ４８において、光学ズーム検出手段３は、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報である場合はステップＳ４９へ進み（ステップＳ４８；ＹＥＳ）、そうでない場合はステップＳ４２へ戻る（ステップＳ４８；ＮＯ）。
【０１０８】
ステップＳ４９において、画像抽出トリミング手段１３は、無効領域判定情報ＦをＦＩＮＩＳＨに設定する。これは、無効領域情報作成手段１４が判定を終えた状態であることを示す。無効領域判定情報Ｆの設定後、ステップＳ４２へ戻る。
【０１０９】
判定ステップＳ５０において、画像抽出トリミング手段１３は、無効領域判定情報Ｆの値がＩＮＩＴであるかを判定し、ＩＮＩＴである場合はステップＳ５１へ進み（ステップＳ５０；ＹＥＳ）、そうでない場合はステップＳ５２へ進む（ステップＳ５０；ＮＯ）。
【０１１０】
ステップＳ５１において、画像抽出トリミング手段１３は、アダプタの外側の左右の入射部に、それぞれの視点ごとに色が異なるフィルタをつける、例えば赤と青のセロファンを張るといったことを促すメッセージを表示する旨の情報を図示しない本実施形態の撮影装置の表示手段や、画像信号出力手段に伝送し、ユーザーに対して、このメッセージを表示する。その後、無効領域判定情報Ｆの値をＣＯＮＴＩＮＵＥに変更し、ステップＳ５２に進む。またこのときのＦの値は、画像抽出トリミング手段１３がオーバーラップ領域を抽出中であるということを示す。
【０１１１】
ステップＳ５２において、無効領域情報作成手段１４は、左右の画像のそれぞれがオーバーラップしている領域の抽出を行い、そのオーバーラップ領域を無効領域として無効領域情報を作成し、作成が終了した場合は、無効領域判定情報Ｆの値をＦＩＮＩＳＨに変更する。このときのステップＳ５２における無効領域情報作成手段１４の動作については、別のフローチャートを用いてさらに詳細に説明する。
【０１１２】
図８は、本発明に係る第３の実施形態の無効領域情報作成手段１４の動作を示すフローチャートである。
【０１１３】
ステップＳ５３において、色抽出手段１５は、入力画像Ｉの左半分と右半分のそれぞれの領域を左領域と右領域とし、左領域全体の画素に対する色成分の平均値ＭＬと、右領域全体の画素に対する色成分の平均値ＭＲを求め、判定手段１６にそれぞれを伝送し、ステップＳ５４に進む。
【０１１４】
ステップＳ５４において、判定手段１６は、左領域の各画素と、この左領域に隣接する領域である右領域全体の画素の平均値ＭＲと差分の絶対値を取り、その値が閾値Ｔ４以下であるか否かを判定し、閾値Ｔ４以下である場合はステップＳ５５に進み（ステップＳ５４；ＹＥＳ）、そうでない場合はステップＳ５６に進む（ステップ５４；ＮＯ）。
【０１１５】
ステップＳ５５において、判定手段１６は、左領域の画素の値と、右領域全体の画素に対する色成分の平均値ＭＲの差がないことは、左領域にあるこの画素の位置に、右領域の画像が結像していることを意味し、よってこの画素は、オーバーラップ領域の画素であると判定し、メモリ１７上の無効領域情報の対応する位置の画素のデータに０をＡＮＤするようにして、判定手段１６は無効領域情報を更新する。
【０１１６】
このようにして、差分値が閾値Ｔ４以下の領域は、オーバーラップ領域を表す０の値となり、逆にＴ４より大きい領域は、オーバーラップ領域でない領域を表す１の値となる。次にステップＳ５６に進む。
【０１１７】
ステップＳ５６において、判定手段１６は、右領域の各画素と、この右領域に隣接する領域である左領域全体の画素の平均値ＭＬと差分の絶対値を取り、その値が閾値Ｔ５以下であるか否かを判定し、閾値Ｔ５以下である場合はステップＳ５７に進み（ステップＳ５６；ＹＥＳ）、そうでない場合はステップＳ５８に進む（ステップＳ５６；ＮＯ）。
【０１１８】
ステップＳ５７において、判定手段１６は、右領域の画素の値と、左領域全体の画素に対する色成分の平均値ＭＬの差が無いことは、右領域にあるこの画素の位置に、左領域の画像が結像していることを意味し、よってこの画素はオーバーラップ領域の画素であると判定し、メモリ１７上の無効領域情報の対応する位置の画素のデータに０をＡＮＤするようにして、判定手段１６は無効領域情報を更新する。
【０１１９】
このようにして、差分値が閾値Ｔ５以下の領域は、オーバーラップ領域を表す０の値となり、逆に差があり、オーバーラップ領域でないと判定された領域は１の値となる。次に、ステップＳ５８に進む。
【０１２０】
ステップＳ５８において、判定手段１６は、累積カウント数Ｇを１インクリメントし、ステップＳ５９に進む。ここで累積カウント数Ｇとは、オーバーラップ領域の抽出ができた否かに関わらず、抽出処理を行なった回数を示す。
【０１２１】
ステップＳ５９において、判定手段１６は、累積カウント数Ｇが閾値Ｔ６以上であるかを判定し、Ｔ６以上である場合はステップＳ６０へ進み（ステップＳ５９；ＹＥＳ）、そうでない場合はステップＳ５２を終了する（ステップＳ５９；ＮＯ）。
【０１２２】
ステップＳ６０（ステップＳ；ＹＥＳ）において、累積カウント数Ｇが閾値Ｔ６以上であるため、オーバーラップ領域の抽出を既に何度も繰り返して行なっており、これ以上、その抽出をする必要が無いと、判定手段１６は判断し、無効領域判定情報Ｆの値をＦＩＮＩＳＨに変更する。このときのＦの値がＦＩＮＩＳＨであることは、画像抽出トリミング手段１３においてオーバーラップ領域の抽出が終了したことを意味する。その後、ステップＳ５２を終了する。
【０１２３】
以上のようにすることにより、本発明の撮影装置によれば、入力画像間の色の違いを用いて、異なる視点の画像間でオーバーラップしている領域の検出を行なうことにより、画像領域内のオーバーラップの領域を自動的に抽出し、抽出した領域に対してトリミングするため、オーバーラップの領域を含まない画像を撮影することができる。
【０１２４】
また、無効領域判定情報ＦがＩＮＩＴであれば、検出開始、ＣＯＮＴＩＮＵＥであれば検出中、ＦＩＮＩＳＨであれば検出終了の旨を通知するメッセージを表示手段に出力してもよく、また、ブザーや警告ランプなどによりユーザーに通知しても構わない。
【０１２５】
また、上記のステップＳ５８で述べた累積カウント数Ｇは、抽出ができた回数をカウントしてもよく、さらに、左右それぞれで２種類の累積カウント数を個別にカウントしても構わない。
【０１２６】
例えば、ステップＳ５４やＳ５６のあとに、それぞれに相当する累積カウント数をカウントする処理を行い、各累積カウント数に閾値を設定し、各累積カウント数が各閾値以下であれば、無効領域判定情報ＦをＦＩＮＩＳＨにするようにしても構わない。
【０１２７】
また、本実施形態では、説明の簡略化のために２視点の場合について述べたが、これらの実施形態はすべて３視点以上の場合であっても容易に適用可能である。例えば、異なる視点の入射部に異なる色のフィルタをつけ、隣接する２つの領域で、オーバーラップする領域を抽出すればよい。
【０１２８】
また、本実施形態では、オーバーラップする領域を無効領域とし、無効領域情報を用いてトリミングを行なうようにしたが、オーバーラップの領域が検出された時点で、オーバーラップの領域が存在するので、オーバーラップの領域がなくなるようにズームを調整するようユーザーに通知する旨のメッセージを表示してもよい。このときのズームの調整を促すメッセージとして、例えば、ズームをワイド端にすることを促す旨のメッセージなどが挙げられる。
【０１２９】
また、光学ズームが使用されて、その倍率が変更されるたびに、トリミングに用いる無効領域情報を初期化し、作成しなおすことにより、光学ズームの倍率の変化が原因で発生するオーバーラップの領域の変化に合わせて、適応的にトリミング位置を変更するため、光学ズームの倍率に依存せずに、オーバーラップの領域を含まない画像を撮影することができる。
【０１３０】
また、無効領域情報作成手段２は、ユーザーからの外部入力により初期化と無効領域情報の作成開始を行なえるため、異なる種類のアダプタに変更したり、アダプタを付け直したりすることなどにより、オーバーラップの領域の変化した場合にも対応することができる。
【０１３１】
また、上記第１から第３の実施形態における撮影装置は、無効領域を自動的にトリミングするとしたが、トリミングを行なわずに、入力画像内の無効領域の色を特定の色で表示手段に表示するだけでもよい。このとき、トリミングを行なうか否かをユーザーが外部からボタン操作などで決定しても構わない。
【０１３２】
また、上記第１から第３の実施形態における画像抽出トリミング手段は、トリミングされた出力画像Ｏを出力することを述べたが、トリミングされた出力画像Ｏの代わりに、作成した無効領域情報と、入力画像Ｉを出力画像Ｏとして出力してもよい。
【図面の簡単な説明】
【０１３３】
【図１】本発明の第１の実施形態に係る画像抽出トリミング手段の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像抽出トリミング手段の動作を示すフローチャートである。
【図３】本発明の第１の実施形態に係る無効領域情報作成手段２の動作を示すフローチャートである。
【図４】本発明の第２の実施形態に係る画像抽出トリミング手段１０の構成を示すブロック図である。
【図５】本発明の第２の実施形態に係る色補正手段１２の動作を示すフローチャートである。
【図６】本発明の第３の実施形態に係る画像抽出トリミング手段１３の構成を示すブロック図である。
【図７】本発明の第３の実施形態に係る画像抽出トリミング手段１３の動作を示すフローチャートである。
【図８】本発明の第３の実施形態に係る無効領域情報作成手段１４の動作を示すフローチャートである。
【図９】従来のミラー式アダプタとそれを装着した電子カメラの構成例を示す図である。
【図１０】ケラレが発生する場合の画像の一例を示す図である。
【図１１】オーバーラップが発生する場合の画像の一例を示す図である。
【図１２】フィールドシーケンシャル方式を説明するための概念図である。
【図１３】パララックスバリア方式を説明するための概念図である。
【図１４】本発明の第１の実施形態に係る撮影装置の全体の構成について説明するブロック図である。
【符号の説明】
【０１３４】
１、１０、１３ 画像抽出トリミング手段
２、１１、１４ 無効領域情報作成手段
３ 光学ズーム検出手段
４ トリミング手段
５ 差分手段
６、１６ 判定手段
７、８、１７ メモリ
９、１８ 制御手段
１２ 色補正手段
１５ 色抽出手段
２０ 撮像手段
２１ 撮像制御手段
２２ ユーザーインタフェース手段
２３ トリミング制御手段
２４ 表示手段
２５ 記録手段
１００ カメラ本体
１０１、１０２、１０５、１０６ ミラー
１０３ レンズ
１０４ 撮像素子
１０７ 画像
１０８ ミラー式ステレオアダプタ
１０９、１１２ 左眼用の画像
１１０、１１３ 右眼用の画像
１１１ ケラレ
１１４ オーバーラップ領域
２００ 画像表示パネル
２０１ パララックスバリア
２０２ 左眼
２０３ 右眼
【技術分野】
【０００１】
本発明は、多視点立体画像を撮影するための画像撮影装置に関する。
【背景技術】
【０００２】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
【０００３】
２眼式の代表的な方式としてフィールドシーケンシャル方式やパララックスバリア方式が提案されている。
【０００４】
図１２は、フィールドシーケンシャル方式を説明するための概念図である。このフィールドシーケンシャル方式は、図１２のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切り替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者は、ディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図１３は、パララックスバリア方式を説明するための概念図である。図１３（Ａ）は、視差が生じる原理を示す図である。一方、図１３（Ｂ）は、パララックスバリア方式で表示される画面を示す図である。図１３（Ａ）では、図１３（Ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル２００に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララックスバリア２０１を画像表示パネル２００の前面に置くことにより、左眼画像は左眼２０２だけで、右眼画像は右眼２０３だけで観察することになり、立体視を行うことができる。
【０００６】
以上のような立体視を行うために、表示する左眼画像や右眼画像といった複数の異なる視点の画像をデジタルカメラなどでそれぞれ撮影するが、各画像を撮影するために、ミラーやプリズムを使ったステレオアダプタを用いて１台のカメラを用いる場合、撮影画像内に、アダプタの枠が写ってしまう（以下、ケラレと称す）、または、隣り合う異なる視点の画像が互いに混ざりあってしまう領域（以下、オーバーラップと称す）が発生してしまうという問題があった。
【０００７】
このような問題を解決するために、特許文献１では、電子ファインダに撮影する各視点の画像を表示し、元の画像に対して所定の大きさの枠を設定し、枠内の画像をトリミングして撮影画像とすることにより、ケラレやオーバーラップの領域を削除するという方法が述べられている。
【特許文献１】特開２００２−２１８５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、トリミングを行なう際の枠の大きさを一定にしてトリミングを行なうため、異なる種類のアダプタを用いた場合に、画像内に発生するケラレやオーバーラップの領域が異なって、ケラレやオーバーラップの領域が枠をはみ出してしまい、その結果、うまくトリミングができずに、トリミング後の画像にそれらの領域が含まれるという問題や、逆にトリミングする必要のない領域が切り取られてしまうという問題があった。
【０００９】
図９は、従来のミラー式アダプタとそれを装着した電子カメラの構成例を示す図であり、電子カメラを上から見た構成となっている。
【００１０】
この電子カメラは、カメラ本体１００のレンズ鏡筒にミラー式ステレオアダプタ１０８を着脱することができる構成になっている。アダプタ１０８には、左右にミラー１０１，１０５がそれぞれ配置されており、更にこれらのミラーで反射した光をカメラの撮像面に導くためにミラー１０２，１０６が配置されている。アダプタ１０８のミラー１０１に入射した光はミラー１０２及びレンズ１０３を介して撮像素子１０４の領域Ｌに結像され、ミラー１０５に入射した光はミラー１０６及びレンズ１０３を介して撮像素子１０４の領域Ｒに結像されるようになっている。撮像素子１０４で得られる画像を１０７とする。
【００１１】
また、このカメラ本体１００は光学ズームを行なうことができ、例えば光学ズームをワイド端にした場合、図１０のように、アダプタ１０８の枠の部分がケラレとして画像１０７に写りこむ場合がある。
【００１２】
図１０は、ケラレが発生する場合の画像の一例を示す図である。画像１０７は、左眼用の画像１０９と、右眼用の画像１１０、図１０の斜線部に相当するケラレ１１１の３種類の領域から構成されている。ここで、撮像素子１０４の領域Ｌは、左の太枠で囲んだ画像１０９とケラレ１１１の一部を含む領域、領域Ｒは右の太枠で囲んだ画像１１０とケラレ１１１の一部を含む領域にそれぞれ相当する。
【００１３】
逆に、光学ズームをテレ端にした場合、図１１のように、撮像素子１０４に結像される画像１０７に、左眼用の画像と右眼用の画像がオーバーラップする領域が写りこむ場合がある。
【００１４】
図１１は、オーバーラップが発生する場合の画像の一例を示す図である。この場合、画像１０７は、左眼用の画像だけで構成される領域１１２と、右眼用の画像だけで構成される領域１１３、オーバーラップ領域１１４の３種類の領域から構成されている。ここでオーバーラップ領域とは、画像１０７の左右の中心付近で、レンズ１０３から撮像素子１０４に入射される左右の眼用の画像が混ざりあって結像された領域を意味する。
【００１５】
これらケラレやオーバーラップの領域は、光学ズームのズーム位置により、その面積が変化する。
【００１６】
以上のように、光学ズームを使う際のレンズのズーム位置に合わせてその大きさが変化するケラレやオーバーラップの領域が画像に発生してしまうため、トリミングを行なう際の枠の大きさが一定でトリミングを行なった場合、トリミング後の画像にそれらの領域が含まれるという問題や、逆にトリミングする必要のない領域が切り取られてしまうという問題があった。
【００１７】
本発明は、以上のような問題点を解決するためになされたものであって、光学ズームを使う際のレンズのズーム位置に合わせて変化するケラレの領域を自動的に検出し、トリミングを行なう画像撮影装置を提供することを目的とする。
【００１８】
また、本発明によれば、光学ズームを使う際のレンズのズーム位置に合わせて変化するオーバーラップの領域を自動的に検出し、トリミングを行なう画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するために、本発明に係る画像撮影装置は、以下の特徴点を備えている。
【００２０】
本発明は、ミラーやプリズムを備えたアダプタを用いて、少なくとも１つ以上の異なる視点の画像を１枚の立体画像として撮影する画像撮影装置において、前記立体画像撮影時に、光学ズームが使用されたか否かを検出し、その検出結果を示す光学ズーム情報を出力する光学ズーム検出手段と、入力画像に対して指定した無効領域を含まないようにトリミングを行なうことを示す無効領域情報を出力する無効領域情報作成手段と、前記無効領域情報を用いて入力画像に対してトリミングを行なうトリミング手段を備えることを特徴とするものである。
【００２１】
ここで、前記無効領域情報作成手段は、前記光学ズーム情報が光学ズームの使用を検出したことを示した場合に、初期化を行い、新たに前記無効領域情報を作成することを特徴とする。
【００２２】
また、前記無効領域情報作成手段は、異なる時刻に撮影した複数の入力画像を用いて動きの有無を検出し、動きの無い領域を無効領域とした無効領域情報を出力することを特徴とする。
【００２３】
また、前記無効領域情報作成手段の別の構成では、少なくとも１つ以上の入力画像と、前記無効領域情報を用いて、入力画像の無効領域に含まれる画素の色が所定の色で無い場合、その画素が無効領域でなくなるように前記無効領域情報を変更する色補正手段を備えることを特徴とする。
【００２４】
また、前記無効領域情報作成手段の別の構成では、アダプタから入射される複数の異なる視点の画像の境界において、隣り合う視点の画像毎に色の平均を求め、一方の視点の画像の色の平均と、他方の視点の画像の画素の色毎に差の値を求め、前記差の値が所定の値以下である場合、その画素は、隣り合う視点の画像が互いにオーバーラップするオーバーラップ領域であると判定して、前記オーバーラップ領域を無効領域とした無効領域情報と出力することを特徴とする。
【発明の効果】
【００２５】
本発明の撮影装置によれば、撮影画像に対して、ケラレやオーバーラップの領域を自動的に抽出し、抽出した領域に対してトリミングするため、ケラレやオーバーラップの領域を含まない画像を撮影することができる。
【００２６】
また、異なる種類のアダプタや光学ズームを使用することにより、ケラレやオーバーラップの領域が変化しても、それらの領域にあわせて適応的にトリミング位置を変更するため、アダプタの変更や光学ズームの使用に依存することなく、ケラレやオーバーラップの領域を含まない画像を撮影することができる。
【００２７】
また、ケラレやオーバーラップの領域が検出された際、その旨を通知し、ズームの調整などを促す旨のメッセージなどによりユーザーに通知することにより、立体画像撮影の失敗を防ぐことができる。
【発明を実施するための最良の形態】
【００２８】
＜第１の実施形態＞
【００２９】
以下、本発明に係る実施形態について、添付図面を参照しながら説明する。
【００３０】
図１は、本発明の第１の実施形態の画像抽出トリミング手段１の構成を示すブロック図である。
【００３１】
画像抽出トリミング手段１は、カメラの撮像部からの入力画像Ｉと、ズーム情報もしくはユーザー入力情報を含む外部情報Ａを入力とし、トリミングされた出力画像Ｏを出力する手段であって、無効領域情報作成手段２と、光学ズーム検出手段３と、トリミング手段４から構成されている。
【００３２】
ここで、ズーム情報とは、光学ズームが使用されたことを示す情報、ユーザー入力情報とは、無効領域情報作成手段２の再初期化や、無効領域情報の作成終了を指示する情報である。無効領域情報作成手段２は、入力画像Ｉ内におけるケラレの領域のような無効な領域の位置を検出し、検出した位置情報を無効領域情報として作成し、作成した無効領域情報、及び、前記無効領域情報作成手段２の動作状態に関する情報である無効領域判定情報Ｂをそれぞれ出力する手段である。
【００３３】
光学ズーム検出手段３は、前記外部情報Ａを入力とし、光学ズームが行なわれた際やユーザーの指示に合わせ、制御手段９を通じて無効領域情報作成手段２の初期化や、無効領域情報の作成処理の終了といった制御を行う手段である。
【００３４】
トリミング手段４は、無効領域情報作成手段２からの無効領域情報を用いて入力画像Ｉのトリミングを行い、出力画像Ｏとして出力する手段である。無効領域判定情報Ｂについては後述する。
【００３５】
また、無効領域情報作成手段２は、入力画像Ｉを入力とし、無効領域判定情報Ｂを出力する手段であって、現在の時刻の入力画像と、メモリ７に保存された前の時刻の入力画像との差分をとり、その差分情報を出力する差分手段５と、前記差分情報を用いて、画素毎に、ケラレの領域であるか否かを判定し、ケラレの領域である場合は、無効領域として無効領域情報を作成し、その結果をメモリ８に出力する判定手段６と、差分手段５や、判定手段６、メモリ７、８の初期化を行なう制御手段９から構成されている。
【００３６】
本実施形態で述べる撮影装置は、前記画像抽出トリミング手段１を内部に備える電子撮影装置であり、例えば、図９で述べたようなアダプタを装着して撮影する、従来の、光学ズーム機能をもつデジタルカメラや、ＣＣＤカメラなどの画像入力部の直後に、前記画像抽出トリミング手段１を備えたものである。本発明のポイントは、撮像素子から入力された画像に対してトリミングを行なう画像抽出トリミング手段１にあり、また、画像抽出トリミング手段１以外の部分に関しては、一般的なデジタルカメラやＣＣＤカメラと同じである。
【００３７】
例えば、本発明の撮影装置の全体の構成の一例について、図を用いて簡単に説明する。図１４は、本発明の撮影装置の全体の構成について説明するブロック図である。
【００３８】
撮影装置１９は、画像を撮影し、入力画像Ｉを出力するＣＣＤなどで構成された撮像手段２０と、撮像手段２０に対してズームや焦点合わせなどを制御し、ズームが行なわれた際にズーム情報を出力する撮像制御手段２１と、ユーザーが外部から入力する情報をユーザー入力として出力するユーザーインタフェース手段２２と、ズーム情報とユーザー入力を入力とし、それらを外部情報Ａとして出力するトリミング制御手段２３と、入力画像Ｉと外部情報Ａを入力とし、ケラレなどの画像の無効領域を抽出し、無効領域に対してトリミングを行い、トリミングした画像として出力画像Ｏを、また、無効領域の現在の抽出状態を示す無効領域判定情報Ｂをそれぞれ出力する画像抽出トリミング手段１と、無効領域判定情報Ｂを入力と出力画像Ｏを入力とし、無効領域判定情報Ｂに合わせ、ユーザーに対するメッセージを表示する表示手段２４と、出力画像Ｏを入力とし、カードなどのメディアに圧縮記録する記録手段２５と、図示しない全体の手段を制御する制御手段を備えた撮影装置である。
【００３９】
また、撮影装置がＣＣＤカメラである場合、表示手段２４や記録手段２５が無く、代わりに画像Ｏを出力画像信号として出力する画像信号出力手段を備えており、この画像信号出力手段において、無効領域判定情報Ｂに合わせたユーザーに対するメッセージを出力画像信号上に追加した画像を、新たな出力画像信号として出力する。
【００４０】
次に、画像抽出トリミング手段１の動作についてフローチャートを用いて詳細に説明する。
【００４１】
図２は、本実施形態における画像抽出トリミング手段１の動作を示すフローチャートである。
【００４２】
以下のフローチャートでは、画像抽出トリミング制御手段１と画像抽出トリミング手段１の全ての手段は全て接続されており、判定ステップにおける全ての判定結果や情報は、画像抽出トリミング手段１の全ての手段に対して伝達可能であるものとする。
【００４３】
ステップＳ１において、撮影装置の電源がＯＮにされ、ステップＳ２へ進む。
【００４４】
ステップＳ２において、無効領域情報作成手段２の初期設定が行なわれる。制御手段９は、判定手段６を制御して、判定手段６の出力する無効領域判定情報ＢがＩＮＩＴになるように設定する。これは、無効領域情報作成手段２が初期化された状態であることを示す。また、制御手段９は、メモリ７上に入力画像サイズ分の領域を無効領域情報のための領域として確保し、確保した値を全て０クリアする。さらに、制御手段９は、メモリ８上に、入力画像サイズ分の領域を無効領域情報として確保し、確保した値をすべて０で初期化する。さらに、制御手段９は、累積カウント数Ｄを０に初期化した後、判定ステップＳ３へ進む。
【００４５】
判定ステップＳ３において、画像抽出トリミング手段１は、画像が入力されたか否かを判定し、入力された場合（ステップＳ３；ＹＥＳ）は、判定ステップＳ４へ、そうでない場合は、判定ステップＳ３に戻る（ステップＳ３；ＮＯ）。
【００４６】
判定ステップＳ４において、画像抽出トリミング手段１は、無効領域判定情報ＢがＩＮＩＴであるか否かを判定し、ＩＮＩＴである場合（ステップＳ；ＹＥＳ）はステップＳ５へ、そうでない場合は判定ステップＳ７へそれぞれ進む（ステップＳ；ＮＯ）。
【００４７】
ステップＳ５において、無効領域情報作成手段２は、現在入力されている入力画像を差分手段５を通じてメモリ７に保存し、ステップＳ６に進む。
【００４８】
ステップＳ６において、画像抽出トリミング手段１は、無効領域判定情報ＢをＣＯＮＴＩＮＵＥに設定する。これは、無効領域情報作成手段２が判定を行なう状態であることを示す。ステップＳ３に戻る。
【００４９】
判定ステップＳ７において、画像抽出トリミング手段１は、無効領域判定情報ＢがＦＩＮＩＳＨであるか否かを判定し、ＦＩＮＩＳＨである場合（ステップＳ７；ＹＥＳ）はステップＳ８へ、そうでない場合はステップＳ１４へそれぞれ進む（ステップＳ７；ＮＯ）。
【００５０】
ステップＳ８において、トリミング手段４は、無効領域情報作成手段２からの無効領域情報を用いて入力画像Ｉに対してトリミングを行い、出力画像Ｏとして出力し、ステップＳ９へ進む。
【００５１】
このときのトリミング手段４におけるトリミングの方法として、出力画像Ｏが、無効領域を含まないような最大の大きさの矩形画像となるようにしてトリミングを行なう。
【００５２】
また、別のトリミングの方法として、出力画像Ｏ、無効領域でない領域をすべて含むような最大の大きさの矩形画像となるようにしてトリミングを行なうようにしてもよい。さらにこのとき、無効領域の部分は所定の画像、例えば、黒色の画像などで埋めて出力画像Ｏを作成してもよい。
【００５３】
ステップＳ９において、画像抽出トリミング手段１は、光学ズーム検出手段３に外部情報Ａが入力されたか否かを判定し、入力された場合（ステップＳ９；ＹＥＳ）は判定ステップＳ１０へ進み、そうでない場合はステップＳ３へ戻る（ステップＳ９；ＮＯ）。
【００５４】
判定ステップＳ１０において、光学ズーム検出手段３は、外部情報Ａが光学ズームの使用を示すズーム情報であるか否かを判定し、外部情報Ａが光学ズームの使用を示すズーム情報である場合（ステップＳ１０；ＹＥＳ）は、ステップＳ２へ戻り、そうでない場合はステップＳ１１へ進む（ステップＳ１０；ＮＯ）。
【００５５】
判定ステップＳ１１において、光学ズーム検出手段３は、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報である場合（ステップＳ１１；ＹＥＳ）はステップＳ２へ戻り、そうでない場合は判定ステップＳ１２へ進む（ステップＳ１１；ＮＯ）。
【００５６】
判定ステップＳ１２において、光学ズーム検出手段３は、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報である場合（ステップＳ１２；ＹＥＳ）はステップＳ１３へ進み、そうでない場合はステップＳ３へ戻る（ステップＳ１２；ＮＯ）。
【００５７】
ステップＳ１３において、画像抽出トリミング手段１は、無効領域判定情報ＢをＦＩＮＩＳＨに設定する。これは、無効領域情報作成手段２が判定を終えた状態であることを示す。無効領域判定情報Ｂの設定後、ステップＳ３へ戻る。
【００５８】
ステップＳ１４において、無効領域情報作成手段２は、ケラレの抽出を行い、無効領域情報を作成する。このときの無効領域情報作成手段２の動作については、図３のフローチャートを用いてさらに詳細に説明する。
【００５９】
図３は、本実施形態の無効領域情報作成手段２の動作を示すフローチャートである。
【００６０】
ステップＳ１５において、差分手段５は、入力画像Ｉとメモリ７に保存されている前の入力画像とで差分を取り、結果を判定手段６に伝送し、ステップＳ１６へ進む。
【００６１】
ステップＳ１６において、判定手段６は、各画素の差分の結果が、所定の閾値Ｔ１以下なら０、そうでなければ１を、メモリ８に保存されている無効領域情報の対応する画素の位置のデータにそれぞれＯＲするようにして、判定手段６は無効領域情報を更新する。このようにして、差分値が閾値Ｔ１以下の領域は、現在の入力画像と前の時刻の入力画像の間で動きが無い領域を表す０の値となり、逆に動きのある領域は１の値となる。
【００６２】
このとき、無効領域情報の所定の領域の値が０から１に変化しなかった部分が無かった場合、判定手段６は、累積カウント数Ｄを１インクリメントする。上記所定の領域とは、例えば、図１０のケラレ１１１のような、元の画像領域の上下端からそれぞれ所定画素以内にある領域や、左右端からそれぞれ所定画素以内にある領域、また、各視点の画像の境界の中心から所定画素以内にある領域などを示す。
【００６３】
ここで、無効領域情報の所定の領域の値が０から１に変化しないことは、動きのある領域が新たに発生しなかったことを示す。よって、累積カウント数Ｄの数値が増加するに従い、動きの無い領域であるケラレの領域が全て検出された可能性も増加する。
【００６４】
判定ステップＳ１７において、判定手段６は、無効領域情報の値が全て１であるか否かを判定し、全て１であれば（ステップＳ１７；ＹＥＳ）、ステップＳ１８へ、そうでなければ、判定ステップＳ１９へ進む（ステップＳ１７；ＮＯ）。
【００６５】
ステップＳ１８において、無効領域情報の値が全て１であり、これは全ての領域に動きが発生していることを意味しているため、アダプタ枠は写っておらず、ケラレがないと、判定手段６は判定し、無効領域判定情報ＢをＦＩＮＩＳＨに設定し、ステップＳ１４は終了する。
【００６６】
判定ステップＳ１９において、判定手段６は、累積カウント数Ｄが閾値Ｔ２以下であるか否かを判定し、閾値Ｔ２以下である場合（ステップＳ１９；ＹＥＳ）は、ステップＳ２０へ、そうでない場合は、ステップＳ２２へ進む（ステップＳ１９；ＮＯ）。
【００６７】
ステップＳ２０において、累積カウント数Ｄが閾値Ｔ２以下であるため、まだ検出しきれていないケラレ領域が存在する可能性があるため、アダプタの枠はあり、つまりケラレが発生し、かつ検出を終えていないと、判定手段６は判定して、無効領域判定情報ＢをＣＯＮＴＩＮＵＥに設定し、ステップＳ２１に進む。
【００６８】
ステップＳ２１において、画像抽出トリミング手段１は、メモリ７に保存されている前の時刻の画像を現在の入力画像に置き換え、ステップＳ１４は終了する。
【００６９】
ステップＳ２２において、累積カウント数Ｄが閾値Ｔ２を越えているため、ケラレの検出を何度も行なったが、これ以上の新たなケラレ領域は発生せず、アダプタの枠はあり、つまりケラレが発生し、かつ検出を終えたと判定手段６は判定して、無効領域判定情報ＢをＦＩＮＩＳＨに設定し、ステップＳ１４は終了する。
【００７０】
ステップＳ１４終了後は、図２の通りステップＳ９へ進む。
【００７１】
以上のようにすることにより、本発明の撮影装置によれば、時刻の異なる入力画像間の差分を用いて動き検出を行なうことにより、画像領域内のケラレの領域を自動的に抽出し、抽出した領域に対してトリミングするため、ケラレの領域を含まない画像を撮影することができる。
【００７２】
また、無効領域判定情報ＢがＩＮＩＴであれば検出開始、ＣＯＮＴＩＮＵＥであれば検出中、ＦＩＮＩＳＨであれば検出終了の旨を通知するメッセージを表示手段に出力してもよく、また、ブザーや警告ランプなどによりユーザーに通知しても構わない。
【００７３】
また、本実施形態は、説明の簡略化のために２視点の場合について述べたが、これらの実施形態はすべて３視点以上の場合であってもケラレの領域の位置が変化するだけであって、同じ構成で対応可能である。
【００７４】
また、本実施形態では、ケラレの領域を無効領域とし、無効領域情報を用いてトリミングを行なうようにしたが、ケラレの領域が検出された時点で、入力画像にケラレの領域が存在するので、ケラレの領域がなくなるようにズームを調整するようユーザーに通知する旨のメッセージを表示してもよい。このときのズームの調整を促すメッセージとして、例えば、ズームをテレ端にすることを促す旨のメッセージなどが挙げられる。
【００７５】
また、トリミングに用いる無効領域情報は、光学ズームが使用されるたびに初期化し、作成しなおすことにより、光学ズームの倍率の変化が原因で発生するケラレの領域の変化に合わせて、適応的にトリミング位置を変更するため、ケラレの領域を含まない画像を撮影することができる。
【００７６】
また、無効領域情報作成手段２は、光学ズームが使用されるたびに初期化し、無効領域情報を作成することにより、光学ズームの倍率の変化が原因で発生するケラレの領域の変化に合わせて、適応的にトリミング位置を変更するため、ケラレの領域を含まない画像を撮影することができる。
【００７７】
また、無効領域情報作成手段２は、ユーザーからの外部入力により初期化と無効領域情報の作成開始を行なえるため、異なる種類のアダプタに変更したり、アダプタを付け直したりすることなどにより、ケラレの領域の変化した場合にも対応することができる。
＜第２の実施形態＞
【００７８】
以下、本発明の第２の実施形態について、添付図面を参照しながら説明する。
【００７９】
図４は、本発明の第２の実施形態に係る画像抽出トリミング手段１０の構成を示すブロック図である。
【００８０】
画像抽出トリミング手段１０は、光学ズーム検出手段３と、トリミング手段４と、無効領域情報作成手段１１とから構成されており、無効領域情報作成手段１１は、上記第１の実施形態で説明した無効領域情報作成手段２に、色補正手段１２を追加した構成である。よって、図４の光学ズーム検出手段３と、トリミング手段４、差分手段５、判定手段６、メモリ７、メモリ８、判定制御手段９は、第１の実施形態で説明したものと同じ動作をするものであるため、同じ番号を用いており、それらの手段の説明は省略する。
【００８１】
また、色補正手段１２は、入力画像Ｉと、第１の実施形態で説明した無効領域情報作成手段２で作成したものと同様に作成した無効領域情報をそれぞれ入力とし、入力画像Ｉが所定の色と異なる場合に無効領域情報を１に変化させる、つまり、入力画像の色が想定するアダプタ枠の色と一致しない場合は、誤検出であると判定し、その領域がアダプタ枠ではない領域であるということを示す値に、無効領域情報の値を補正する手段であり、以下、色補正手段１２の動作について図５に示すフローチャートを用いて詳細に説明する。
【００８２】
図５は、第２の実施形態に係る色補正手段１２の動作を示すフローチャートである。
【００８３】
ステップＳ３０は、色補正手段１２の全ての動作を含んだステップである。
【００８４】
図２の画像抽出トリミング手段１の動作を示すフローチャート上のステップＳ７とＳ８の間にこのステップ３０を新たに追加したものが、画像抽出トリミング手段１０の動作を示すフローチャートとなる。
【００８５】
次にステップＳ３０の内容について説明する。
【００８６】
ステップＳ３１において、色補正手段１２は、所定の色、例えば黒色などを、ケラレの領域であるアダプタ枠の色の値であるアダプタ色想定値とする。
【００８７】
判定ステップＳ３２において、色補正手段１２は、無効領域情報の値が１であるか否かの判定を行い、１であれば（ステップＳ３２；ＹＥＳ）、ステップＳ３３へ進み、そうでなければ、判定ステップＳ３６に進む（ステップＳ３２；ＮＯ）。
【００８８】
ステップＳ３３において、色補正手段１２は、入力画像Ｉの色の値からアダプタ色想定値を引いた値の絶対値Ｅの計算を行い、判定ステップＳ３４へ進む。
【００８９】
判定ステップＳ３４において、色補正手段１２は、絶対値Ｅが閾値Ｔ３以下であるか否かを判定し、Ｔ３以下であれば（ステップＳ３４；ＹＥＳ）、ステップＳ３５へ、そうでなければ、判定ステップＳ３６に進む（ステップＳ３４；ＮＯ）。
【００９０】
ステップＳ３５において、色補正手段１２は、現在の位置の無効領域情報の値を０にして、判定ステップＳ３６に進む。
【００９１】
判定ステップＳ３６において、色補正手段１２は、色による無効領域情報に対する補正の処理を全ての画素に対して行なったかを判定し、行なった場合は、ステップＳ３０を終了し（ステップＳ３６；ＹＥＳ）、そうでなければステップＳ３２に戻る（ステップＳ３６；ＮＯ）。
【００９２】
以上のようにすることにより、本発明の撮影装置によれば、時刻の異なる入力画像間の差分を用いて動き検出を行なうことにより、画像領域内のケラレの領域を自動的に抽出する際に、ケラレの領域でない領域がケラレの領域として誤って検出された場合であっても、抽出領域にさらに色補正を行った後、トリミングを行なうため、ケラレの領域を含まない画像を撮影することができ、かつ、その際の切り取られるケラレの領域の誤検出を防ぐことができる。
【００９３】
また、本実施形態は、説明の簡略化のために２視点の場合について述べたが、上記実施形態は、すべて３視点以上の場合であってもケラレの領域の位置が変化するだけであって、アダプタ枠の色は変化しないため、同じ構成で対応可能である。
＜第３の実施形態＞
【００９４】
以下、本発明に係る第３の実施形態について、添付図面を参照しながら説明する。図６は、第３の実施形態に係る画像抽出トリミング手段１３の構成を示すブロック図である。
【００９５】
画像抽出トリミング手段１３は、光学ズーム検出手段３と、トリミング手段４と、無効領域情報作成手段１４とから構成されており、上記第１の実施形態で説明した無効領域情報作成手段２と無効領域情報作成手段１４を入れ替えた構成となっている。よって、図４の光学ズーム検出手段３と、トリミング手段４は、第１の実施形態で説明したものと同じ動作をするものであるため、同じ番号を用いており、それらの手段の説明は省略し、無効領域情報作成手段１４の動作についてのみ説明を行なう。
【００９６】
無効領域情報作成手段１４は、入力画像Ｉを入力とし、無効領域判定情報Ｆを出力する手段であって、入力画像の左半分における色成分の平均値ＭＬと、右半分における色成分の平均値ＭＲをそれぞれ求める色抽出手段１５と、入力画像の左半分の各画素に対してＭＲとの差分を求め、前記差分が閾値以下である画素をオーバーラップ領域とし、また、入力画像の右半分の各画素に対してＭＬとの差分を求め、前記差分が閾値以下である画素をオーバーラップ領域として、このオーバーラップ領域を無効領域として無効領域情報Ｆを作成し、その結果をメモリ１７に出力する判定手段１６と、色抽出手段１５や、判定手段１６、メモリ１７の初期化を行なう制御手段１８から構成されている。
【００９７】
以下、画像抽出トリミング手段１３の動作についてフローチャートを用いて詳細に説明する。
【００９８】
図７は、本実施形態に係る画像抽出トリミング手段１３の動作を示すフローチャートである。
【００９９】
ステップＳ４０において、電源がオンされ、ステップ４１に進む。
【０１００】
ステップＳ４１において、無効領域情報作成手段１４の初期設定が行なわれる。制御手段１８は、判定手段１６を制御して、判定手段１６の出力する無効領域判定情報Ｆの値がＩＮＩＴになるように設定する。これは、無効領域情報作成手段１４が既に初期化され、オーバーラップ領域の抽出を開始する準備ができた状態であることを示す。また、制御手段１８は、メモリ１７上に入力画像サイズ分の領域を無効領域情報のための領域として確保し、確保した値を全て１にする。さらに、制御手段１８は、累積カウント数Ｇを０に初期化した後、判定ステップＳ４２へ進む。
【０１０１】
ステップＳ４２において、画像抽出トリミング手段１３は、画像が入力されたか否かを判定し、入力された場合（ステップＳ４２；ＹＥＳ）は判定ステップＳ４３へ、そうでない場合は判定ステップＳ４２に戻る(ステップＳ４２；ＮＯ)。
【０１０２】
判定ステップＳ４３において、画像抽出トリミング手段１３は、無効領域判定情報ＦがＦＩＮＩＳＨであるか否かを判定し、ＦＩＮＩＳＨである場合（ステップＳ４３；ＹＥＳ）は、判定ステップＳ４４へ、そうでない場合はステップＳ５０へそれぞれ進む（ステップＳ４３；ＮＯ）。
【０１０３】
ステップＳ４４において、トリミング手段４は、無効領域情報作成手段１４からの無効領域情報を用いて入力画像Ｉに対してトリミングを行い、出力画像Ｏとして出力し、判定ステップＳ４５へ進む。
【０１０４】
判定ステップＳ４５において、画像抽出トリミング手段１３は、光学ズーム検出手段３に外部情報Ａが入力されたか否かを判定し、入力された場合（ステップＳ４５；ＹＥＳ）は、判定ステップＳ４６へ進み、そうでない場合はステップＳ４２へ戻る（ステップＳ４５；ＮＯ）。
【０１０５】
判定ステップＳ４６において、光学ズーム検出手段３は、外部情報Ａが光学ズームの使用を示すズーム情報であるか否かを判定し、外部情報Ａが光学ズームの使用を示すズーム情報である場合（ステップＳ４６；ＹＥＳ）は、ステップＳ４１へ戻り、そうでない場合はステップＳ４７へ進む（ステップＳ４６；ＮＯ）。
【０１０６】
判定ステップＳ４７において、光学ズーム検出手段３は、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報作成手段の再初期化を指示するユーザー入力情報である場合はステップＳ４１へ戻り（ステップＳ４７；ＹＥＳ）、そうでない場合はステップＳ４８へ進む（ステップＳ４７；ＮＯ）。
【０１０７】
判定ステップＳ４８において、光学ズーム検出手段３は、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報であるか否かを判定し、外部情報Ａが無効領域情報の作成終了を指示するユーザー入力情報である場合はステップＳ４９へ進み（ステップＳ４８；ＹＥＳ）、そうでない場合はステップＳ４２へ戻る（ステップＳ４８；ＮＯ）。
【０１０８】
ステップＳ４９において、画像抽出トリミング手段１３は、無効領域判定情報ＦをＦＩＮＩＳＨに設定する。これは、無効領域情報作成手段１４が判定を終えた状態であることを示す。無効領域判定情報Ｆの設定後、ステップＳ４２へ戻る。
【０１０９】
判定ステップＳ５０において、画像抽出トリミング手段１３は、無効領域判定情報Ｆの値がＩＮＩＴであるかを判定し、ＩＮＩＴである場合はステップＳ５１へ進み（ステップＳ５０；ＹＥＳ）、そうでない場合はステップＳ５２へ進む（ステップＳ５０；ＮＯ）。
【０１１０】
ステップＳ５１において、画像抽出トリミング手段１３は、アダプタの外側の左右の入射部に、それぞれの視点ごとに色が異なるフィルタをつける、例えば赤と青のセロファンを張るといったことを促すメッセージを表示する旨の情報を図示しない本実施形態の撮影装置の表示手段や、画像信号出力手段に伝送し、ユーザーに対して、このメッセージを表示する。その後、無効領域判定情報Ｆの値をＣＯＮＴＩＮＵＥに変更し、ステップＳ５２に進む。またこのときのＦの値は、画像抽出トリミング手段１３がオーバーラップ領域を抽出中であるということを示す。
【０１１１】
ステップＳ５２において、無効領域情報作成手段１４は、左右の画像のそれぞれがオーバーラップしている領域の抽出を行い、そのオーバーラップ領域を無効領域として無効領域情報を作成し、作成が終了した場合は、無効領域判定情報Ｆの値をＦＩＮＩＳＨに変更する。このときのステップＳ５２における無効領域情報作成手段１４の動作については、別のフローチャートを用いてさらに詳細に説明する。
【０１１２】
図８は、本発明に係る第３の実施形態の無効領域情報作成手段１４の動作を示すフローチャートである。
【０１１３】
ステップＳ５３において、色抽出手段１５は、入力画像Ｉの左半分と右半分のそれぞれの領域を左領域と右領域とし、左領域全体の画素に対する色成分の平均値ＭＬと、右領域全体の画素に対する色成分の平均値ＭＲを求め、判定手段１６にそれぞれを伝送し、ステップＳ５４に進む。
【０１１４】
ステップＳ５４において、判定手段１６は、左領域の各画素と、この左領域に隣接する領域である右領域全体の画素の平均値ＭＲと差分の絶対値を取り、その値が閾値Ｔ４以下であるか否かを判定し、閾値Ｔ４以下である場合はステップＳ５５に進み（ステップＳ５４；ＹＥＳ）、そうでない場合はステップＳ５６に進む（ステップ５４；ＮＯ）。
【０１１５】
ステップＳ５５において、判定手段１６は、左領域の画素の値と、右領域全体の画素に対する色成分の平均値ＭＲの差がないことは、左領域にあるこの画素の位置に、右領域の画像が結像していることを意味し、よってこの画素は、オーバーラップ領域の画素であると判定し、メモリ１７上の無効領域情報の対応する位置の画素のデータに０をＡＮＤするようにして、判定手段１６は無効領域情報を更新する。
【０１１６】
このようにして、差分値が閾値Ｔ４以下の領域は、オーバーラップ領域を表す０の値となり、逆にＴ４より大きい領域は、オーバーラップ領域でない領域を表す１の値となる。次にステップＳ５６に進む。
【０１１７】
ステップＳ５６において、判定手段１６は、右領域の各画素と、この右領域に隣接する領域である左領域全体の画素の平均値ＭＬと差分の絶対値を取り、その値が閾値Ｔ５以下であるか否かを判定し、閾値Ｔ５以下である場合はステップＳ５７に進み（ステップＳ５６；ＹＥＳ）、そうでない場合はステップＳ５８に進む（ステップＳ５６；ＮＯ）。
【０１１８】
ステップＳ５７において、判定手段１６は、右領域の画素の値と、左領域全体の画素に対する色成分の平均値ＭＬの差が無いことは、右領域にあるこの画素の位置に、左領域の画像が結像していることを意味し、よってこの画素はオーバーラップ領域の画素であると判定し、メモリ１７上の無効領域情報の対応する位置の画素のデータに０をＡＮＤするようにして、判定手段１６は無効領域情報を更新する。
【０１１９】
このようにして、差分値が閾値Ｔ５以下の領域は、オーバーラップ領域を表す０の値となり、逆に差があり、オーバーラップ領域でないと判定された領域は１の値となる。次に、ステップＳ５８に進む。
【０１２０】
ステップＳ５８において、判定手段１６は、累積カウント数Ｇを１インクリメントし、ステップＳ５９に進む。ここで累積カウント数Ｇとは、オーバーラップ領域の抽出ができた否かに関わらず、抽出処理を行なった回数を示す。
【０１２１】
ステップＳ５９において、判定手段１６は、累積カウント数Ｇが閾値Ｔ６以上であるかを判定し、Ｔ６以上である場合はステップＳ６０へ進み（ステップＳ５９；ＹＥＳ）、そうでない場合はステップＳ５２を終了する（ステップＳ５９；ＮＯ）。
【０１２２】
ステップＳ６０（ステップＳ；ＹＥＳ）において、累積カウント数Ｇが閾値Ｔ６以上であるため、オーバーラップ領域の抽出を既に何度も繰り返して行なっており、これ以上、その抽出をする必要が無いと、判定手段１６は判断し、無効領域判定情報Ｆの値をＦＩＮＩＳＨに変更する。このときのＦの値がＦＩＮＩＳＨであることは、画像抽出トリミング手段１３においてオーバーラップ領域の抽出が終了したことを意味する。その後、ステップＳ５２を終了する。
【０１２３】
以上のようにすることにより、本発明の撮影装置によれば、入力画像間の色の違いを用いて、異なる視点の画像間でオーバーラップしている領域の検出を行なうことにより、画像領域内のオーバーラップの領域を自動的に抽出し、抽出した領域に対してトリミングするため、オーバーラップの領域を含まない画像を撮影することができる。
【０１２４】
また、無効領域判定情報ＦがＩＮＩＴであれば、検出開始、ＣＯＮＴＩＮＵＥであれば検出中、ＦＩＮＩＳＨであれば検出終了の旨を通知するメッセージを表示手段に出力してもよく、また、ブザーや警告ランプなどによりユーザーに通知しても構わない。
【０１２５】
また、上記のステップＳ５８で述べた累積カウント数Ｇは、抽出ができた回数をカウントしてもよく、さらに、左右それぞれで２種類の累積カウント数を個別にカウントしても構わない。
【０１２６】
例えば、ステップＳ５４やＳ５６のあとに、それぞれに相当する累積カウント数をカウントする処理を行い、各累積カウント数に閾値を設定し、各累積カウント数が各閾値以下であれば、無効領域判定情報ＦをＦＩＮＩＳＨにするようにしても構わない。
【０１２７】
また、本実施形態では、説明の簡略化のために２視点の場合について述べたが、これらの実施形態はすべて３視点以上の場合であっても容易に適用可能である。例えば、異なる視点の入射部に異なる色のフィルタをつけ、隣接する２つの領域で、オーバーラップする領域を抽出すればよい。
【０１２８】
また、本実施形態では、オーバーラップする領域を無効領域とし、無効領域情報を用いてトリミングを行なうようにしたが、オーバーラップの領域が検出された時点で、オーバーラップの領域が存在するので、オーバーラップの領域がなくなるようにズームを調整するようユーザーに通知する旨のメッセージを表示してもよい。このときのズームの調整を促すメッセージとして、例えば、ズームをワイド端にすることを促す旨のメッセージなどが挙げられる。
【０１２９】
また、光学ズームが使用されて、その倍率が変更されるたびに、トリミングに用いる無効領域情報を初期化し、作成しなおすことにより、光学ズームの倍率の変化が原因で発生するオーバーラップの領域の変化に合わせて、適応的にトリミング位置を変更するため、光学ズームの倍率に依存せずに、オーバーラップの領域を含まない画像を撮影することができる。
【０１３０】
また、無効領域情報作成手段２は、ユーザーからの外部入力により初期化と無効領域情報の作成開始を行なえるため、異なる種類のアダプタに変更したり、アダプタを付け直したりすることなどにより、オーバーラップの領域の変化した場合にも対応することができる。
【０１３１】
また、上記第１から第３の実施形態における撮影装置は、無効領域を自動的にトリミングするとしたが、トリミングを行なわずに、入力画像内の無効領域の色を特定の色で表示手段に表示するだけでもよい。このとき、トリミングを行なうか否かをユーザーが外部からボタン操作などで決定しても構わない。
【０１３２】
また、上記第１から第３の実施形態における画像抽出トリミング手段は、トリミングされた出力画像Ｏを出力することを述べたが、トリミングされた出力画像Ｏの代わりに、作成した無効領域情報と、入力画像Ｉを出力画像Ｏとして出力してもよい。
【図面の簡単な説明】
【０１３３】
【図１】本発明の第１の実施形態に係る画像抽出トリミング手段の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像抽出トリミング手段の動作を示すフローチャートである。
【図３】本発明の第１の実施形態に係る無効領域情報作成手段２の動作を示すフローチャートである。
【図４】本発明の第２の実施形態に係る画像抽出トリミング手段１０の構成を示すブロック図である。
【図５】本発明の第２の実施形態に係る色補正手段１２の動作を示すフローチャートである。
【図６】本発明の第３の実施形態に係る画像抽出トリミング手段１３の構成を示すブロック図である。
【図７】本発明の第３の実施形態に係る画像抽出トリミング手段１３の動作を示すフローチャートである。
【図８】本発明の第３の実施形態に係る無効領域情報作成手段１４の動作を示すフローチャートである。
【図９】従来のミラー式アダプタとそれを装着した電子カメラの構成例を示す図である。
【図１０】ケラレが発生する場合の画像の一例を示す図である。
【図１１】オーバーラップが発生する場合の画像の一例を示す図である。
【図１２】フィールドシーケンシャル方式を説明するための概念図である。
【図１３】パララックスバリア方式を説明するための概念図である。
【図１４】本発明の第１の実施形態に係る撮影装置の全体の構成について説明するブロック図である。
【符号の説明】
【０１３４】
１、１０、１３ 画像抽出トリミング手段
２、１１、１４ 無効領域情報作成手段
３ 光学ズーム検出手段
４ トリミング手段
５ 差分手段
６、１６ 判定手段
７、８、１７ メモリ
９、１８ 制御手段
１２ 色補正手段
１５ 色抽出手段
２０ 撮像手段
２１ 撮像制御手段
２２ ユーザーインタフェース手段
２３ トリミング制御手段
２４ 表示手段
２５ 記録手段
１００ カメラ本体
１０１、１０２、１０５、１０６ ミラー
１０３ レンズ
１０４ 撮像素子
１０７ 画像
１０８ ミラー式ステレオアダプタ
１０９、１１２ 左眼用の画像
１１０、１１３ 右眼用の画像
１１１ ケラレ
１１４ オーバーラップ領域
２００ 画像表示パネル
２０１ パララックスバリア
２０２ 左眼
２０３ 右眼
【特許請求の範囲】
【請求項１】
ミラーやプリズムを備えたアダプタを用いて、少なくとも１つ以上の異なる視点の画像を１枚の立体画像として撮影する画像撮影装置において、
前記立体画像撮影時に、光学ズームが使用されたか否かを検出し、その検出結果を示す光学ズーム情報を出力する光学ズーム検出手段と、
入力画像に対して指定した無効領域を含まないようにトリミングを行なうことを示す無効領域情報を出力する無効領域情報作成手段と、
前記無効領域情報を用いて入力画像に対してトリミングを行なうトリミング手段と、
を備えることを特徴とする画像撮影装置。
【請求項２】
前記無効領域情報作成手段は、前記光学ズーム情報が光学ズームの使用を検出したことを示した場合に、初期化を行い、新たに前記無効領域情報を作成することを特徴とする請求項１に記載の画像撮影装置。
【請求項３】
前記無効領域情報作成手段は、異なる時刻に撮影した複数の入力画像を用いて動きの有無を検出し、動きの無い領域を無効領域とした無効領域情報を出力することを特徴とする請求項１に記載の画像撮影装置。
【請求項４】
前記無効領域情報作成手段は、少なくとも１つ以上の入力画像と、前記無効領域情報を用いて、入力画像の無効領域に含まれる画素の色が所定の色で無い場合、その画素が無効領域でなくなるように前記無効領域情報を変更する色補正手段を備えることを特徴とする請求項１に記載の画像撮影装置。
【請求項５】
前記無効領域情報作成手段は、アダプタから入射される複数の異なる視点の画像の境界において、隣り合う視点の画像毎に色の平均を求め、一方の視点の画像の色の平均と、他方の視点の画像の画素の色毎に差の値を求め、前記差の値が所定の値以下である場合、その画素は、隣り合う視点の画像が互いにオーバーラップするオーバーラップ領域であると判定して、前記オーバーラップ領域を無効領域とした無効領域情報と出力することを特徴とする請求項１に記載の画像撮影装置。
【請求項１】
ミラーやプリズムを備えたアダプタを用いて、少なくとも１つ以上の異なる視点の画像を１枚の立体画像として撮影する画像撮影装置において、
前記立体画像撮影時に、光学ズームが使用されたか否かを検出し、その検出結果を示す光学ズーム情報を出力する光学ズーム検出手段と、
入力画像に対して指定した無効領域を含まないようにトリミングを行なうことを示す無効領域情報を出力する無効領域情報作成手段と、
前記無効領域情報を用いて入力画像に対してトリミングを行なうトリミング手段と、
を備えることを特徴とする画像撮影装置。
【請求項２】
前記無効領域情報作成手段は、前記光学ズーム情報が光学ズームの使用を検出したことを示した場合に、初期化を行い、新たに前記無効領域情報を作成することを特徴とする請求項１に記載の画像撮影装置。
【請求項３】
前記無効領域情報作成手段は、異なる時刻に撮影した複数の入力画像を用いて動きの有無を検出し、動きの無い領域を無効領域とした無効領域情報を出力することを特徴とする請求項１に記載の画像撮影装置。
【請求項４】
前記無効領域情報作成手段は、少なくとも１つ以上の入力画像と、前記無効領域情報を用いて、入力画像の無効領域に含まれる画素の色が所定の色で無い場合、その画素が無効領域でなくなるように前記無効領域情報を変更する色補正手段を備えることを特徴とする請求項１に記載の画像撮影装置。
【請求項５】
前記無効領域情報作成手段は、アダプタから入射される複数の異なる視点の画像の境界において、隣り合う視点の画像毎に色の平均を求め、一方の視点の画像の色の平均と、他方の視点の画像の画素の色毎に差の値を求め、前記差の値が所定の値以下である場合、その画素は、隣り合う視点の画像が互いにオーバーラップするオーバーラップ領域であると判定して、前記オーバーラップ領域を無効領域とした無効領域情報と出力することを特徴とする請求項１に記載の画像撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−１３６０９（Ｐ２００６−１３６０９Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１８３７９２（Ｐ２００４−１８３７９２）
【出願日】平成１６年６月２２日（２００４．６．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２２日（２００４．６．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]