制御装置、制御方法及び制御プログラム
【課題】単眼撮像状態と複眼撮像状態とを切り替え可能な撮像装置において高品質な画像データを生成し得る。
【解決手段】撮像装置は、撮像素子で被写体を撮像することにより得られたアナログ画像信号を増幅部において所定の増幅率最大値以下の増幅率で増幅し、輪郭補正量に応じて輪郭補正を行う撮像ユニットを用いる単眼撮像状態か、被写体を複数の撮像ユニットで撮像する複眼撮像状態かを切り替えるようにした。また撮像装置は、複眼撮像状態と単眼撮像状態とで増幅率最大値を変化させるようにした。さらに撮像装置は、複眼撮像状態と単眼撮像状態とで輪郭補正量を変化させるようにした。
【解決手段】撮像装置は、撮像素子で被写体を撮像することにより得られたアナログ画像信号を増幅部において所定の増幅率最大値以下の増幅率で増幅し、輪郭補正量に応じて輪郭補正を行う撮像ユニットを用いる単眼撮像状態か、被写体を複数の撮像ユニットで撮像する複眼撮像状態かを切り替えるようにした。また撮像装置は、複眼撮像状態と単眼撮像状態とで増幅率最大値を変化させるようにした。さらに撮像装置は、複眼撮像状態と単眼撮像状態とで輪郭補正量を変化させるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は制御装置、制御方法及び制御プログラムに関し、例えば単眼撮像状態と複眼撮像状態とを切り替えることが可能な撮像装置に適用して好適なものである。
【背景技術】
【０００２】
近年、左目用画像及び右目用画像を表示し視聴者に視認させることにより、表示した画像を立体視させる表示装置が普及してきている。
【０００３】
また、そのような左目用画像及び右目用画像を表示する画像データを生成するために、撮像素子により被写体を撮像する撮像ユニットが複数設けられた撮像装置が用いられている。
【０００４】
この撮像装置においては、被写体を撮像して生成した画像信号に補正処理を施すことにより、画像信号に基づき表示される画像の明るさや解像感を調整するものがある。
【０００５】
このような撮像装置として、１つの撮像ユニットにより得られた画像信号の輝度レベルを基準とし、他の撮像ユニットにより得られた画像信号の増幅率を制御して基準と同一の輝度レベルになるように増幅することにより、それぞれの撮像ユニットの個体差を補正するものが提案されている。（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１５４４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような撮像装置においては、撮像ユニットが出力した画像信号に含まれるノイズが多い場合、当該画像信号を補正する際にノイズが増幅されてしまい、その後ノイズ除去処理を行ってもノイズが残留してしまうことがある。
【０００８】
単眼撮像した画像を表示装置において視聴する場合、視聴者は左右の目で同じノイズを視認するため、左目用画像と右目用画像との画像の差によるちらつきを感じることはない。
【０００９】
ここで、画像信号に対し補正処理を施す際の補正値は、単眼撮像状態においては、画像の明るさ及び解像感と、ノイズとのバランスを取った値となっている。
【００１０】
これに対し複眼撮像した画像を立体視で視聴する場合、視聴者は左右の目で、左右の画像にそれぞれ残留し時間経過とともにそれぞれランダムに変化するノイズを別々に視認する。
【００１１】
特にこの場合、単眼撮像状態に対し最適化された補正値を用いているにも関わらず、視聴者が視認する左右の画像に差が生じることとなり、視聴者はちらつきを感じたり、ノイズが奥行き方向に分布を持つように見えたりすることがあり、画像の立体感を感じにくくなってしまう。
【００１２】
このように撮像装置は、単眼撮像状態と複眼撮像状態とのいずれにも関わらず高品質な画像データを生成するということができない恐れがあった。
【００１３】
本発明は以上の点を考慮してなされたもので、単眼撮像状態と複眼撮像状態とを切り替え可能な撮像装置において、高品質な画像データを生成し得る制御装置、制御方法及び制御プログラムを提案しようとするものである。
【課題を解決するための手段】
【００１４】
かかる課題を解決するため本発明の制御装置においては、撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて撮像を行う複眼撮像状態かを判別する判別部と、判別部の判別結果に基づいて、画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御部とを設けるようにした。
【００１５】
この制御装置では、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように画像信号の増幅を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、明るさ及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【００１６】
さらに本発明の制御装置においては、撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて撮像を行う複眼撮像状態かを判別する判別部と、判別部の判別結果に基づいて、画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御部とを設けるようにした。
【００１７】
この制御装置では、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように輪郭補正の度合を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、解像感及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【発明の効果】
【００１８】
本発明によれば、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように画像信号の増幅を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、明るさ及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【００１９】
また本発明によれば、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように輪郭補正の度合を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、解像感及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【００２０】
かくして本発明は、単眼撮像状態と複眼撮像状態とを切り替え可能な撮像装置により高品質な画像データを生成し得る制御装置、制御方法及び制御プログラムを実現できる。
【図面の簡単な説明】
【００２１】
【図１】第１及び第２の実施の形態による撮像装置の全体構成を示す略線図である。
【図２】第１の実施の形態によるデジタル信号処理部及びシステムコントローラの機能的構成を示す略線図である。
【図３】光軸間隔の変化を示す略線図である。
【図４】輻輳角の変化を示す略線図である。
【図５】露出制御量と電子シャッター制御量、絞り制御量及びゲイン制御量との関係を示すプログラム線図である。
【図６】立体感が小さいシーン及び立体感が大きいシーンを示す略線図である。
【図７】視差ベクトルに基づく立体感を示す略線図である。
【図８】立体感検出値と増幅率との関係を示す略線図である。
【図９】第１の実施の形態による同時表示モードにおけるモニタ表示を示す略線図である。
【図１０】第２の実施の形態によるデジタル信号処理部及びシステムコントローラの構成を示す略線図である。
【図１１】単眼撮像状態の輪郭補正処理を示す略線図である。
【図１２】複眼撮像状態の輪郭補正処理を示す略線図である。
【図１３】立体感検出値と輪郭補正量との関係を示す略線図である。
【図１４】第２の実施の形態による同時表示モードにおけるモニタ表示を示す略線図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（単眼撮像と複眼撮像とで増幅率最大値を変化させる例）
２．第２の実施の形態（単眼撮像と複眼撮像とで輪郭補正量を変化させる例）
３．他の実施の形態
【００２３】
＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
図１に示す第１の実施の形態による撮像装置１は、被写体を撮像することにより得られた画像データに基づく画像をユーザに提示すると共に当該画像データを記憶するようになされている。
【００２４】
撮像装置１は、被写体を撮像する撮像素子が搭載された右目撮像ユニットＲＩＦ１と左目撮像ユニットＬＩＦ１との２つの撮像ユニットを有している。
【００２５】
また撮像装置１は、単眼撮像と複眼撮像とを行うことが可能となっている。撮像装置１は、単眼撮像を行う際の単眼撮像状態においては右目撮像ユニットＲＩＦ１を含む単眼撮像系１Ａの構成を動作させる。一方撮像装置１は、複眼撮像を行う複眼撮像状態においては右目撮像ユニットＲＩＦ１及び左目撮像ユニットＬＩＦ１を含む複眼撮像系１Ｂの構成を動作させる。
【００２６】
システムコントローラ２は、図示しないＣＰＵ(Central Processing Unit)により構成され、操作部３を介したユーザの操作に応じて、記憶部４に記憶された各種プログラム等をメモリ５に読み出して実行することにより、撮像装置１を統括制御する。
【００２７】
撮像切替部６は、物理的なスイッチ又はタッチパネル等により構成され、単眼撮像状態と複眼撮像状態とを切り替えるユーザからの操作に基づき、撮像切替信号ＳＳＭをシステムコントローラ２に送出するようになされている。
【００２８】
またシステムコントローラ２は、現在撮像している画像データをモニタ７に表示することにより、撮像しているシーンの画像をユーザに確認させるようになされている。
【００２９】
［１−２．単眼撮像系の構成］
撮像切替部６を介したユーザの操作により単眼撮像が指定された場合、撮像装置１は、システムコントローラ２の制御に基づきレンズドライバ８Ａによりズームレンズ９Ａを光軸方向に移動させる。これにより撮像装置１は、撮像対象である被写体に対するズーム倍率を調整し、被写体からの光である被写体光を絞り１０Ａに入射させる。
【００３０】
絞り１０Ａは、レンズドライバ８Ａにより駆動されて絞りを制御することにより被写体光の光量を調整して、フォーカスレンズ１１Ａに入射させる。
【００３１】
フォーカスレンズ１１Ａは、レンズドライバ８Ａにより駆動されて光軸方向に移動することにより、集光する被写体光の焦点位置を調整し、当該被写体光を撮像素子１２Ａに照射して当該撮像素子１２Ａの撮像面に光学像を形成する。
【００３２】
ところで、ズームレンズ９Ａ、絞り１０Ａ及びフォーカスレンズ１１Ａは、右目用鏡筒１３Ａ内部に設置されている。右目用鏡筒１３Ａにはアクチュエータ４０Ａが取り付けられており、当該アクチュエータ４０Ａにより駆動されるようになされている。
【００３３】
撮像素子１２Ａは、システムコントローラ２の制御に基づきタイミングジェネレータ１４Ａから送出されるタイミング信号により、電子シャッターのシャッタースピードを変化させて受光する被写体光の光量を調整し、撮像面に形成された光学像の撮像結果をアナログ画像信号ＡＳＡ１として送出する。
【００３４】
このように右目撮像ユニットＲＩＦ１においては、システムコントローラ２がレンズドライバ８Ａを制御して絞り１０Ａを、タイミングジェネレータ１４Ａを制御して撮像素子１２Ａを駆動することにより、被写体を撮像する際の露出を調整するようになされている。
【００３５】
アナログ信号処理部１５Ａは、システムコントローラ２の制御に基づき、アナログ画像信号ＡＳＡ１を相関二重サンプリングし、アナログデジタル変換部１６Ａに送出する。
【００３６】
アナログデジタル変換部１６Ａは、アナログ画像信号ＡＳＡ１をアナログデジタル変換してデジタル画像信号ＤＳＡ１とし、デジタル信号処理部１７Ａに送出する。
【００３７】
デジタル信号処理部１７Ａは、ＤＳＰ（Digital Signal Processor）により構成される。当該デジタル信号処理部１７Ａは、図２に示すように増幅部２０Ａにおいてシステムコントローラ２におけるデバイス制御量分配部３０（詳しくは後述する）の制御に基づき、デジタル画像信号ＤＳＡ１を所定の増幅率で増幅し、ホワイトバランス調整部２１Ａ及び輝度検出部３１Ａに送出する。
【００３８】
続いてホワイトバランス調整部２１Ａがデジタル画像信号ＤＳＡ１のホワイトバランスを調整した後、ガンマ補正部２２Ａがガンマ補正を行い、デジタル画像信号ＤＳＡ１をノイズ除去部２３Ａに送出する。
【００３９】
ノイズ除去部２３Ａは、デジタル画像信号ＤＳＡ１に対し例えば時間方向のフレーム加算を行うことにより、デジタル画像信号ＤＳＡ１に含まれるノイズを低減し、右目用画像データＤＳＡ２としてメモリ５に送出する。
【００４０】
またシステムコントローラ２は、右目用画像データＤＳＡ２をメモリ５から読み出してモニタ７に送出することにより、右目用画像をモニタ７に表示する。
【００４１】
さらにシステムコントローラ２は、メモリ５に送出された右目用画像データＤＳＡ２を、光ディスク、磁気ディスク、メモリカード又はハードディスク等により形成された記憶部４（図１）に記憶させる。
【００４２】
露出の制御を行う際、デジタル信号処理部１７Ａ（図２）は、輝度検出部３１Ａにおいて右目用画像データＤＳＡ２の輝度レベルである輝度検出値を検出し、輝度検出信号ＳＤＢＡとしてシステムコントローラ２に送出する。
【００４３】
システムコントローラ２における輝度基準値発生部３２は、予め所定の輝度基準値が設定されており、当該輝度基準値を示す輝度基準信号ＳＳＢを送出するようになされている。
【００４４】
輝度差分値算出部３３Ａは、輝度基準値発生部３２から送出された輝度基準信号ＳＳＢと、輝度検出部３１Ａから取得した輝度検出信号ＳＤＢＡとの輝度差分値を算出し、当該輝度差分値を示す輝度差分信号ＤＳＢＡを露出制御量決定部３４Ａに送出する。
【００４５】
露出制御量決定部３４Ａは、輝度差分信号ＤＳＢＡにより示される輝度差分値に基づき露出制御量（ＥＶ値）を決定し、当該露出制御量を示す露出制御信号ＳＣＥＡをデバイス制御量分配部３０に送出する。
【００４６】
実際上露出制御量決定部３４Ａは、輝度検出値が輝度基準値を下回った、すなわち右目用画像データＤＳＡ２が基準よりも暗かった場合、露出制御量を小さくすることにより右目用画像データＤＳＡ２の輝度レベルが上がる方向へ制御するようになされている。
【００４７】
これに対し輝度検出値が輝度基準値を上回った、すなわち右目用画像データＤＳＡ２が基準よりも明るかった場合、露出制御量決定部３４Ａは、露出制御量を大きくすることにより右目用画像データＤＳＡ２の輝度レベルが下がる方向へ制御するようになされている。
【００４８】
デバイス制御量分配部３０は、露出制御信号ＳＣＥＡにより示される露出制御量に基づき、レンズドライバ８Ａを制御する絞り制御量、タイミングジェネレータ１４Ａを制御するシャッタースピード制御量及び増幅部２０Ａを制御する増幅率制御量を算出する。
【００４９】
実際上デバイス制御量分配部３０は、取得した露出制御信号ＳＣＥＡが露出制御量を大きくする（すなわち右目用画像データＤＳＡ２の輝度レベルを下げる）ことを示している場合、絞り制御量（Ｆ値）を大きくし、当該絞り制御量を示す絞り制御信号ＳＣＤＡをレンズドライバ８Ａに送出する。
【００５０】
レンズドライバ８Ａ（図１）は、絞り制御信号ＳＣＤＡを取得し、当該絞り制御信号ＳＣＤＡにより示される絞り制御量が絞りを大きくすることを示している場合、絞り１０Ａを絞るように駆動することにより、被写体光の光量を減少させる。
【００５１】
またデバイス制御量分配部３０（図２）は、取得した露出制御信号ＳＣＥＡが露出制御量を大きくすることを示している場合、シャッタースピード制御量を大きくし、当該シャッタースピード制御量を示すシャッタースピード制御信号ＳＣＳＡをタイミングジェネレータ１４Ａに送出する。
【００５２】
タイミングジェネレータ１４Ａ（図１）は、シャッタースピード制御信号ＳＣＳＡを取得し、当該シャッタースピード制御信号ＳＣＳＡにより示されるシャッタースピード制御量がシャッタースピードを速くすることを示している場合、シャッタースピードを速くするよう撮像素子１２Ａを駆動することにより、被写体光の光量を減少させる。
【００５３】
さらにデバイス制御量分配部３０（図２）は、取得した露出制御信号ＳＣＥＡが露出制御量を大きくすることを示している場合、増幅率制御量を小さくし、当該増幅率制御量を示す増幅率制御信号ＳＣＧＡを増幅部２０Ａに送出する。
【００５４】
増幅部２０Ａは、増幅率制御信号ＳＣＧＡを取得し、当該増幅率制御信号ＳＣＧＡにより示される増幅率制御量が増幅率を小さくすることを示している場合、デジタル画像信号ＤＳＡ１を増幅する増幅率を小さくする。これにより増幅部２０Ａは、結果として右目用画像データＤＳＡ２の輝度レベルを低下させる。
【００５５】
因みにシステムコントローラ２は、操作部３を介したユーザの操作に応じて、デバイス制御量分配部３０により絞り制御量、シャッタースピード制御量及び増幅率制御量を制御するようにもなされている。
【００５６】
ここで、デバイス制御量分配部３０は、撮像切替部６から撮像切替信号ＳＳＭを取得すると、当該撮像切替信号ＳＳＭが示す複眼撮像状態又は単眼撮像状態いずれかに応じて、増幅率制御量を変更するようになされている（詳しくは後述する）。
【００５７】
またデバイス制御量分配部３０は、現在撮像しているシーンの立体感を示す立体感検出信号ＳＤＭを立体感検出部１８から取得した場合、当該立体感検出信号ＳＤＭに基づき増幅率制御量を変更するようにもなされている（詳しくは後述する）。
【００５８】
このように単眼撮像状態において撮像装置１は、右目撮像ユニットＲＩＦ１を用いて被写体を撮像することにより取得した右目用画像データＤＳＡ２を記憶部４に記憶すると共に、当該右目用画像データＤＳＡ２に基づく右目用画像をモニタ７に表示するようになされている。
【００５９】
［１−３．複眼撮像系の構成］
一方、撮像切替部６を介したユーザの操作により複眼撮像が指定された際、撮像装置１は複眼撮像系１Ｂを機能させる。
【００６０】
複眼撮像状態において撮像装置１は、上述した右目用画像ユニットＲＩＦ１に加えて左目用画像ユニットＬＩＦ１を動作させることにより、右目用画像データＤＳＡ２に加えて左目用画像データＤＳＢ２を生成する。左目用画像ユニットＬＩＦ１は、右目用画像ユニットＲＩＦ１とほぼ同様に構成されている。
【００６１】
被写体光は、左目用鏡筒１３Ｂに設置されレンズドライバ８Ａにより駆動されるズームレンズ９Ｂ、絞り１０Ｂ及びフォーカスレンズ１１Ｂを介して撮像素子１２Ｂに照射される。
【００６２】
左目用鏡筒１３Ｂにはアクチュエータ４０Ｂが取り付けられており、当該アクチュエータ４０Ｂにより駆動される。
【００６３】
システムコントローラ２は、アクチュエータ４０Ｂと上述したアクチュエータ４０Ａとを制御し、図３に示す被写体側から撮像装置１を見た状態のように、右目用鏡筒１３Ａと左目用鏡筒１３Ｂとを離接する方向へ移動させる。
【００６４】
これによりシステムコントローラ２は、右目用鏡筒１３Ａにおける被写体光の光軸ＡＸと左目用鏡筒１３Ｂにおける被写体光の光軸ＡＸとの間隔である光軸間隔ＡＤを変更する。
【００６５】
図３（Ａ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとが近接しているため、光軸間隔ＡＤは狭くなっている一方、図３（Ｂ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとが離隔しているため、光軸間隔ＡＤは広くなっている。
【００６６】
これによりシステムコントローラ２は、複眼撮像状態において被写体が写るシーンを撮像して得られた画像における立体感（詳細は後述する）を調整し得るようになされている。
【００６７】
またシステムコントローラ２は、アクチュエータ４０Ａとアクチュエータ４０Ｂとを制御し、図４に示す被写体側から撮像装置１を見た状態のように、右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの先端部分が互いに離接するよう、当該右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂを回転させる。
【００６８】
これによりシステムコントローラ２は、右目用鏡筒１３Ａにおける被写体光の光軸ＡＸと左目用鏡筒１３Ｂにおける被写体光の光軸ＡＸとが成す角度である輻輳角ＣＡを変更する。
【００６９】
図４（Ａ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの被写体側の先端部分がそれほど内側に向かって回転していないため、輻輳角ＣＡは狭くなっている。一方、図４（Ｂ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの先端部分が内側に向かって大きく回転しているため、輻輳角ＣＡは広くなっている。
【００７０】
これにより撮像装置１は、複眼撮像状態の画像における立体感（詳細は後述する）を調整し得るようになされている。
【００７１】
撮像素子１２Ｂ（図１）は、タイミングジェネレータ１４Ｂから送出されるタイミング信号により、電子シャッターのシャッタースピードを変化させて被写体光の光量を調整し、撮像面に形成された光学像の撮像結果をアナログ画像信号ＡＳＢ１として送出する。
【００７２】
このように左目撮像ユニットＬＩＦ１においては、システムコントローラ２がレンズドライバ８Ｂを制御して絞り１０Ｂを、タイミングジェネレータ１４Ｂを制御して撮像素子１２Ｂを駆動することにより、被写体を撮像する際の露出を調整するようになされている。
【００７３】
続いてシステムコントローラ２は、右目撮像ユニットＲＩＦ１と同様にアナログ信号処理部１５Ｂ、アナログデジタル変換部１６Ｂ及びデジタル信号処理部１７Ｂを介して左目用画像データＤＳＢ２をメモリ５に送出する。
【００７４】
複眼撮像状態においてメモリ５には、左目用画像データＤＳＢ２に加えて、右目撮像ユニットＲＩＦ１により取得した右目用画像データＤＳＡ２が格納されている。
【００７５】
このように、複眼撮像状態において右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２がメモリ５に格納されると、システムコントローラ２は、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２をメモリ５から読み出して画像合成部１９において合成して合成画像データＤＭを生成し、記憶部４に送出する。
【００７６】
またシステムコントローラ２は、複眼撮像状態においては画像合成部１９で生成された合成画像データＤＭをモニタ７に表示させることにより、現在撮像しているシーンが記憶部４に記憶される状態の映像をユーザに確認させるようになされている。
【００７７】
ここで、露出制御を行う際、単眼撮像状態と同様に、システムコントローラ２（図２）における輝度差分値算出部３３Ｂは、輝度基準値発生部３２から送出された輝度基準信号ＳＳＢと、輝度検出部３１Ｂから取得した輝度検出信号ＳＤＢＢとの輝度差分値を算出する。続いて輝度差分値算出部３３Ｂは、当該輝度差分値を示す輝度差分信号ＤＳＢＢを露出制御量決定部３４Ｂに送出する。
【００７８】
露出制御量決定部３４Ｂは、輝度差分信号ＤＳＢＢにより示される輝度差分値に基づき露出制御量（ＥＶ値）を決定し、当該露出制御量を示す露出制御信号ＳＣＥＢをデバイス制御量分配部３０に送出する。
【００７９】
デバイス制御量分配部３０は、上述したレンズドライバ８Ａ、タイミングジェネレータ１４Ａ及び増幅部２０Ａと同様に、露出制御信号ＳＣＥＢにより示される露出制御量に基づき、レンズドライバ８Ｂを制御する絞り制御量、タイミングジェネレータ１４Ｂを制御するシャッタースピード制御量及び増幅部２０Ｂを制御する増幅率制御量を算出する。
【００８０】
デバイス制御量分配部３０は、上述した単眼撮像状態と同様の処理を行うことにより、絞り１０Ｂ、撮像素子１２Ｂ及び増幅部２０Ｂを制御し、被写体光の光量を変化させると共に左目用画像データＤＳＢ２の明るさを変化させる。
【００８１】
［１−４．単眼撮像状態の動作］
上述したように、システムコントローラ２は、撮像切替部６により指定される単眼撮像又は複眼撮像に応じて、増幅部２０Ａ及び２０Ｂを制御する増幅率制御量を変更するようになされている。
【００８２】
システムコントローラ２は、撮像切替部６により単眼撮像が指定された場合、図５に示すプログラム線図のように、露出制御量の変化に対して絞り、シャッタースピード及び増幅率を変化させる。因みに図５においては、単眼撮像状態の増幅率の変化だけでなく、複眼撮像状態の増幅率の変化も合わせて図示している。
【００８３】
以下では、露出制御量を第１制御量ＥＶ１から第２制御量ＥＶ２まで変化させる、すなわち暗いシーンの撮像（暗所撮像）から明るいシーンの撮像（明所撮像）へ移るに従い右目用画像データＤＳＡ２の輝度レベルを下げていくよう制御する場合について説明する。第１制御量ＥＶ１においては、増幅率は１８［ｄＢ］、シャッタースピードは１／６０［秒］、絞りはＦ１．８となっている。
【００８４】
第１制御量ＥＶ１から露出制御量が大きくなっていくと、まず変化点ＣＰ１から変化点ＣＰ２に向かって徐々に増幅率が１８［ｄＢ］から０［ｄＢ］へ低下していく。因みに図５においては、縦軸の上方に向かうほど増幅率が低下するように記載している。
【００８５】
続いて変化点ＣＰ２からさらに露出制御量が大きくなると、既に増幅率は０［ｄＢ］となっているため、変化点ＣＰ３に向かって徐々にシャッタースピードが１／６０［秒］から１／１００［秒］へ変化していくことにより、シャッタースピードが速くなっていく。
【００８６】
その後変化点ＣＰ３から変化点ＣＰ４に向かって、徐々に絞りがＦ１．８からＦ４．０へ変化してくことにより、絞りが絞られていく。
【００８７】
変化点ＣＰ４から変化点ＣＰ５にかけては、徐々にシャッタースピードが１／１００［秒］から１／５００［秒］へ変化していくことにより、シャッタースピードがさらに速くなっていく。
【００８８】
変化点ＣＰ５から第２制御量ＥＶ２にかけては、徐々に絞りがＦ４．０からＦ８．０へ変化していくことにより、さらに絞りが絞られていく。
【００８９】
このように、単眼撮像状態においてシステムコントローラ２は、暗所撮像を行っており露出制御量が最も小さいとき（すなわち第１制御量ＥＶ１）、増幅率を１８［ｄＢ］とする。さらにシステムコントロータ２は、その増幅率１８［ｄＢ］を最大値（増幅率最大値とも呼ぶ）として、その後露出制御量が大きくなるに従い増幅率を小さくしていくことにより、右目用画像データＤＳＡ２の輝度レベルを下げて暗くしていくようになされている。
【００９０】
［１−５．複眼撮像状態の動作］
一方システムコントローラ２は、撮像切替部６により複眼撮像が指定された場合、単眼撮像の場合とは異なるプログラム線図に従って増幅率制御量を変更するようになされている。
【００９１】
さらにシステムコントローラ２は、現在撮像しているシーンにおける立体感にも応じて、異なるプログラム線図に従って増幅率制御量を変更するようにもなされている。このため、以下ではまず立体感の検出方法について説明する。
【００９２】
［１−５−１．立体感の検出］
図６（Ａ）に示すように、立体感が小さいシーンの場合、撮像装置１に対して奥側に位置する奥側被写体ＢＯと、手前側に位置する手前側被写体ＦＯとが近接している。このように、立体感が小さいシーンとは、奥側被写体ＢＯと手前側被写体ＦＯとの奥行き差が小さいシーンのことを指している。
【００９３】
この場合、右目用画像データＤＳＡ２により示される右目用画像ＲＹＰと左目用画像データＤＳＢ２により示される左目用画像ＬＹＰとにおいては、それぞれ奥側被写体ＢＯと手前側被写体ＦＯとの位置ずれが小さくなっている。
【００９４】
一方図６（Ｂ）に示すように、立体感が大きいシーンの場合、立体感が小さいシーンと比較して、奥側被写体ＢＯと手前側被写体ＦＯとが離隔している。このように、立体感が大きいシーンとは、奥側被写体ＢＯと手前側被写体ＦＯとの奥行き差が大きいシーンのことを指している。
【００９５】
この場合、立体感が小さいシーンと比較して、右目用画像ＲＹＰと左目用画像ＬＹＰとにおいては、それぞれ奥側被写体ＢＯと手前側被写体ＦＯとの位置ずれが大きくなっている。
【００９６】
立体感検出部１８（図１）は、メモリ５から右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２を読み出して、現在のシーンの立体感の検出を行う。
【００９７】
具体的に立体感検出部１８は、右目用画像ＲＹＰと左目用画像ＬＹＰとに対し、例えば縦方向８画素×横方向８画素等の一定の領域ごとにマッチングを取る。これにより立体感検出部１８は、図７（Ａ）に示すように、右目用画像ＲＹＰの奥側被写体ＢＯと左目用画像ＬＹＰの奥側被写体ＢＯとの視差を示す複数の奥側視差ベクトルＢＤＩＳを検出する。
【００９８】
続いて立体感検出部１８は、検出した複数の奥側視差ベクトルＢＤＩＳのうちからベクトル量が最も小さい視差ベクトルを、奥側最小視差ベクトルＳＢＤＩＳとして選択する。
【００９９】
さらに立体感検出部１８は、右目用画像ＲＹＰの手前側被写体ＦＯと左目用画像ＬＹＰの手前側被写体ＦＯとの視差を示す複数の手前側視差ベクトルＦＤＩＳを検出する。
【０１００】
続いて立体感検出部１８は、検出した複数の手前側視差ベクトルＦＤＩＳうちからベクトル量が最も大きい視差ベクトルを、手前側最大視差ベクトルＢＦＤＩＳとして選択する。
【０１０１】
その後立体感検出部１８は、奥側最小視差ベクトルＳＢＤＩＳと手前側最大視差ベクトルＢＦＤＩＳとの差分を取ることにより、差分ベクトルＤＤＩＳ１を算出する。
【０１０２】
図７（Ｂ）に示したように立体感が大きいシーンの場合、上述と同様にして算出された差分ベクトルＤＤＩＳ２は、図７（Ａ）の立体感が小さいシーンにおける差分ベクトルＤＤＩＳ１と比較して大きくなっている。
【０１０３】
このように立体感検出部１８は、立体感が小さいシーンの場合は奥側最小視差ベクトルＳＢＤＩＳと手前側最大視差ベクトルＢＦＤＩＳとの差分が小さいため、小さい差分ベクトルＤＤＩＳ１を検出する。
【０１０４】
これに対し立体感が大きいシーンの場合、奥側最小視差ベクトルＳＢＤＩＳと手前側最大視差ベクトルＢＦＤＩＳとの差分が大きいため、立体感検出部１８は、立体感が小さいシーンと比較して大きい差分ベクトルＤＤＩＳ２を検出する。
【０１０５】
このように立体感検出部１８は、差分ベクトルの大きさを立体感の大きさとして検出する。立体感検出部１８は、このように算出した差分ベクトルの絶対値を、シーンの立体感を表す立体感検出値とし、当該立体感検出値を立体感検出値ＳＤＭとしてシステムコントローラ２（図２）におけるデバイス制御量分配部３０に送出するようになされている。
【０１０６】
［１−５−２．立体感が大きい場合のプログラム線図］
システムコントローラ２は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が大きいと検出された場合、図５に示したプログラム線図のように露出制御量の変化に対して絞り、シャッタースピード及び増幅率を変化させる。
【０１０７】
以下では、上述した単眼撮像状態と同様に、露出制御量を第１制御量ＥＶ１から第２制御量ＥＶ２まで変化させる、すなわち暗所撮像から明所撮像へ移るに従い右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２の輝度レベルを下げていくよう制御する場合について説明する。
【０１０８】
また以下の説明においては、立体感検出値が所定の最大値に達しており、立体感が最大である状態とする。第１制御量ＥＶ１においては、増幅率は１２［ｄＢ］、シャッタースピードは１／６０［秒］、絞りはＦ１．８となっている。
【０１０９】
第１制御量ＥＶ１から露出制御量を大きくしていくと、まず変化点ＣＰ１０から変化点ＣＰ２に向かって徐々に増幅率が１２［ｄＢ］から０［ｄＢ］へ低下していく。その後変化点ＣＰ２から第２制御量ＥＶ２にかけては、上述した単眼撮像状態と同様のプログラム線図となっているため説明を省略する。
【０１１０】
このように複眼撮像状態においてシステムコントローラ２は、立体感が最大である場合、露出制御量が小さい状態における増幅率（１２［ｄＢ］）を増幅率最大値として、その後露出制御量が大きくなるにつれて増幅率を低下させていく。
【０１１１】
このため、複眼撮像状態に立体感が最大である場合における増幅率最大値（１２［ｄＢ］）は、単眼撮像状態における増幅率最大値（１８［ｄＢ］）よりも小さくなっている。
【０１１２】
［１−５−３．立体感が小さい場合のプログラム線図］
システムコントローラ２は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が小さいと検出された場合、図５に示したプログラム線図のように露出制御量の変化に対して絞り、シャッタースピード及び増幅率を変化させる。
【０１１３】
以下の説明においては、立体感検出値が所定の最小値に達しており、立体感が最小である状態とする。第１制御量ＥＶ１においては、増幅率は９［ｄＢ］、シャッタースピードは１／６０［秒］、絞りはＦ１．８となっている。
【０１１４】
第１制御量ＥＶ１から露出制御量を大きくしていくと、まず変化点ＣＰ２０から変化点ＣＰ２に向かって徐々に増幅率が９［ｄＢ］から０［ｄＢ］へ低下していく。その後変化点ＣＰ２０から第２制御量ＥＶ２にかけては、上述した単眼撮像状態と同様のプログラム線図となっているため説明を省略する。
【０１１５】
このように複眼撮像状態においてシステムコントローラ２は、立体感が最小である場合、露出制御量が小さい状態における増幅率（９［ｄＢ］）を増幅率最大値として、その後露出制御量が大きくなるにつれて増幅率を低下させていく。
【０１１６】
このため、複眼撮像状態において立体感が最小である場合における増幅率最大値（９［ｄＢ］）は、単眼撮像状態における増幅率最大値（１８［ｄＢ］）よりも小さくなっている。
【０１１７】
以上においては複眼撮像状態における立体感が最小である場合と最大である場合とについて説明した。これに対し立体感が最小と最大との間であった場合、システムコントローラ２は、９［ｄＢ］と１２［ｄＢ］との間である複眼撮像状態増幅率範囲ＰＧＲ（図５）の範囲内である、例えば１０［ｄＢ］等に増幅率最大値を設定する。
【０１１８】
また複眼撮像状態においては、立体感が最小である場合又は最大である場合のいずれにおいても、増幅率最大値はそれぞれ９［ｄＢ］と１２［ｄＢ］となっているため、単眼撮像状態の増幅率最大値である１８［ｄＢ］よりも小さくなっている。
【０１１９】
ところで、上述したようにデジタル信号処理部１７Ａ及び１７Ｂ（図２）のノイズ除去部２３Ａ及び２３Ｂにおいては、デジタル画像信号ＤＳＡ１及びＤＳＢ１に対しノイズ除去処理を行う。これによりノイズ除去部２３Ａ及び２３Ｂは、記憶部４に記憶される右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２に含まれるノイズを低減する。
【０１２０】
しかしながらそのようなノイズ除去を行っても、ノイズ除去部２３Ａ及び２３Ｂはノイズを完全には除去できない可能性がある。このため、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２にはノイズが残留する場合がある。
【０１２１】
特に暗所撮像時においては、デジタル画像信号ＤＳＡ１及びＤＳＢ１を大きく増幅することにより画像表示の明るさを保つため、当該デジタル画像信号ＤＳＡ１及びＤＳＢ１に含まれるノイズも増幅されてしまう。
【０１２２】
このためノイズ除去部２３Ａ及び２３Ｂは、そのような増幅されたノイズを除去しきれないことがある。従って、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２には残留ノイズが発生してしまうことがある。
【０１２３】
ここで、単眼撮像を行うことにより記憶された右目用画像データＤＳＡ２を所定の表示装置において視聴者が視聴する場合は、仮に当該右目用画像データＤＳＡ２にノイズが含まれていたとしても、表示装置に表示される画像は右目用画像データＤＳＡ２に基づく画像のみであるため、視聴者は左右の目で同じノイズを認識する。
【０１２４】
このため単眼撮像を行うことにより記憶された右目用画像データＤＳＡ２を視聴する場合、視聴者は左目用画像データＤＳＢ２を視聴しないため、左目用画像データＤＳＢ２と右目用画像データＤＳＡ２との画像の差によるちらつきを感じることはない。
【０１２５】
これに対し、複眼撮像を行うことにより記憶された合成画像データＤＭを所定の表示装置において視聴者が立体視で視聴する場合は、仮に当該合成画像データＤＭにノイズが含まれていると、視聴者は左右の目で、左右の画像にそれぞれ残留し時間経過とともにそれぞれランダムに変化するノイズを別々に視認する。
【０１２６】
このため合成画像データＤＭに含まれる左目用画像データＤＳＢ２と右目用画像データＤＳＡ２とに差が生じることとなり、視聴者は、視聴している画面がちらついたり、ノイズが奥行き方向に分布をもって見えたりすることになる。
【０１２７】
よって、仮に単眼撮像状態の増幅率最大値（１８［ｄＢ］）を、そのまま複眼撮像状態に適用してしまうと、デジタル画像信号ＤＳＡ１及びＤＳＢ１に含まれる残留ノイズの影響で、視聴者が合成画像データＤＭを視聴する際に大きなちらつきが発生してしまうこととなる。すなわち、複眼撮像状態においては、単眼撮像状態よりも許容される残留ノイズ量が小さいと言える。
【０１２８】
このため撮像装置１は、複眼撮像状態の増幅率最大値を、単眼撮像状態の増幅率最大値よりも小さくするようになされている。
【０１２９】
これにより撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に、複眼撮像状態における増幅率最大値までデジタル画像信号ＤＳＡ１及びＤＳＢ１を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１３０】
また図５に示したように、複眼撮像状態においては、立体感が最大である場合の増幅率最大値（１２［ｄＢ］）の方が、立体感が最小である場合の増幅率最大値（９［ｄＢ］）よりも大きくなっている。
【０１３１】
ここで、撮像しているシーンの立体感が大きい場合、合成画像データＤＭに多少の残留ノイズが含まれていても、視聴者は、奥行方向に分布を持って見えるノイズの影響をあまり受けることなく、立体感を損なわずに視聴することができる。
【０１３２】
これに対し、撮像しているシーンの立体感が小さい場合、合成画像データＤＭに残留ノイズが含まれていると、視聴者は、奥行方向に分布を持つノイズに画像の立体感が埋もれてしまうように視認してしまうため、立体感を感じにくくなってしまう。
【０１３３】
すなわち、立体感が小さい場合は大きい場合よりも許容される残留ノイズ量が小さいと言える。
【０１３４】
このため撮像装置１は、複眼撮像状態において、立体感が最小である場合の増幅率最大値（９［ｄＢ］）を、立体感が最大である場合の増幅率最大値（１２［ｄＢ］）よりも小さくするようになされている。
【０１３５】
これにより撮像装置１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に、立体感が小さい場合の増幅率最大値までデジタル画像信号ＤＳＡ１及びＤＳＢ１を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１３６】
［１−５−４．立体感の変化に対する増幅率の変化］
ところで上述したように、システムコントローラ２は、複眼撮像状態においては増幅率最大値を立体感に応じて９［ｄＢ］から１２［ｄＢ］まで複眼撮像状態増幅率範囲ＰＧＲ（図５）の範囲内で変化させる。
【０１３７】
以下では、複眼撮像状態における立体感検出値の変化に対する増幅率の変化について説明する。図８に示す立体感検出値と増幅率との関係のように、増幅率は、立体感が最小である場合の９［ｄＢ］から立体感が最大である場合の１２［ｄＢ］へ向けて、増幅率線ＧＬに沿って徐々に大きくなっていく。
【０１３８】
ここで、例えば現在の増幅率が点Ｐ０にある状態で、立体感検出値が大きくなっていく場合、デバイス制御量分配部３０は、立体感検出値が点Ｐ１に達するまでは増幅率を増加させず、点Ｐ１に達すると閾値線ＳＨＬ１に沿うように増加させていく。
【０１３９】
同様に、増幅率が点Ｐ０にある状態で、立体感検出値が小さくなっていく場合、デバイス制御量分配部３０は、立体感検出値が点Ｐ２に達するまでは増幅率を減少させず、点Ｐ２に達すると閾値線ＳＨＬ２に沿うように減少させていく。
【０１４０】
このように立体感検出値が所定の値から変化した場合、デバイス制御量分配部３０は、増幅率線ＧＬにおける現在の地点から立体感検出値が閾値線ＳＨＬ１及びＳＨＬ２までの距離である立体感閾値ＳＨＭだけ変化して閾値線ＳＨＬ１又はＳＨＬ２に達するまでは、増幅率を変化させないようになされている。
【０１４１】
このように撮像装置１は、立体感検出値が多少変化しただけでは増幅率を変化させないようにすることにより、視聴者が画像を視聴する際にシーンの立体感が少しでも変化する度に画面の明るさが変化することを防ぎ、自然な画面表示をさせることができる。
【０１４２】
また図８に示したように、閾値線ＳＨＬ１及びＳＨＬ２は、立体感検出値が大きくなるにつれて徐々に増幅率線ＧＬに対してそれぞれ右方向及び左方向に広がるように設定されている。このため、立体感検出値が大きくなるにつれて立体感閾値ＳＨＭは大きくなっていく。
【０１４３】
このように撮像装置１は、立体感が小さい場合は、立体感が大きい場合よりも立体感検出値の小さな変化に応じて増幅率を変化させることにより、立体感の小さな変化に応じて画面の明るさを細かく変化させることができる。
【０１４４】
また撮像装置１は、立体感が大きい場合、ある程度立体感検出値が変化しなければ増幅率を変化させないようになされている。
【０１４５】
立体感が大きい場合は、立体感が小さい場合と比べて増幅率が大きいため、残留ノイズも大きくなっている。
【０１４６】
このように立体感が大きい状態において、立体感の小さな変化に応じて増幅率を細かく変化させると、表示される画像に含まれるノイズが細かく変化してしまうため、視聴者が画像を視聴する際にちらつきを感じやすくなってしまう。
【０１４７】
これに対し撮像装置１は、立体感が大きい場合、ある程度立体感検出値が変化しなければ増幅率を変化させないため、視聴者が画像を視聴する際にちらつきを感じにくくすることができる。
【０１４８】
［１−６．単眼撮像状態と複眼撮像状態との切り替え］
上述したように、撮像装置１は、撮像切替部６を操作されることにより単眼撮像状態と複眼撮像状態とを切り替えるようになされている。
【０１４９】
本実施の形態においてシステムコントローラ２は、現在単眼撮像を行っている状態において、操作部３を介したユーザの操作により同時表示モードが選択されると、左目撮像ユニットＬＩＦ１を動作させることにより、右目用画像データＤＳＡ２に加えて左目用画像データＤＳＢ２をメモリ５に格納する。
【０１５０】
またシステムコントローラ２は、メモリ５から右目用画像データＤＳＡ２を読み出してモニタ７に送出することにより、図９に示すように右目用画像ＲＹＰをモニタ７の右部分に表示させる。
【０１５１】
さらにシステムコントローラ２は、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２をメモリ５から読み出して画像合成部１９において合成することにより、合成画像データＤＭを生成する。
【０１５２】
システムコントローラ２は、画像合成部１９を制御して合成画像データＤＭをモニタ７に送出させることにより、合成画像ＤＰ（図９）をモニタ７の左部分に表示させる。
【０１５３】
このようにシステムコントローラ２は、単眼撮像状態において同時表示モードが選択されると、右目用画像ＲＹＰ及び合成画像ＤＰを同一画面に並べて表示するようになされている。
【０１５４】
一方システムコントローラ２は、複眼撮像状態において同時表示モードが選択されると、メモリ５から右目用画像データＤＳＡ２及び合成画像データＤＭを読み出してモニタ７に送出することにより、右目用画像ＲＹＰ（図９）をモニタ７の右部分に、合成画像ＤＰを左部分にそれぞれ表示させる。
【０１５５】
このようにシステムコントローラ２は、複眼撮像状態においても、同時表示モードが選択されると、右目用画像ＲＹＰ及び合成画像ＤＰをモニタ７の同一画面に並べて表示するようになされている。
【０１５６】
上述したように、複眼撮像状態においては単眼撮像状態に比べて増幅率が小さく設定されるため、ユーザが単眼撮像を行っている状態から複眼撮像状態に切り替えると、生成された合成画像データＤＭに基づき視聴者が視聴する画面表示が暗くなりすぎてしまう可能性がある。
【０１５７】
また逆に、単眼撮像状態においては、複眼撮像状態に比べて増幅率が高く設定されるため、ユーザが複眼撮像を行っている状態から単眼撮像状態に切り替えると、生成された右目用画像ＲＹＰに基づき視聴者が視聴する画面表示が明るくなりすぎてしまう可能性がある。
【０１５８】
これに対し本実施の形態によれば、ユーザが同時表示モードを選択した場合、システムコントローラ２は、単眼撮像状態における右目用画像ＲＹＰと複眼撮像状態における合成画像ＤＰとの両方の画像を同時にモニタ７に表示する。
【０１５９】
これにより撮像装置１は、ユーザが単眼撮像状態と複眼撮像状態とを切り替えた場合に生成した画像データにより示される画面表示を、予めユーザに提示することができる。
【０１６０】
このためユーザは、現在の撮像状態を切り替えるとどのような画面表示になるかを、撮像状態を切り替える以前に認識することができるため、画面表示が適切な明るさとなるように撮像装置１における増幅率を調整することができる。
【０１６１】
［１−７．動作及び効果］
以上の構成において、撮像装置１は、単眼撮像状態の増幅率最大値よりも複眼撮像状態の増幅率最大値を小さくするようにした。
【０１６２】
単眼撮像により生成された右目用画像データＤＳＡ２に残留ノイズが含まれていたとしても、視聴者は左右の目で同じ残留ノイズを視認するため、視聴者はちらつきを感じることはない。
【０１６３】
一方複眼撮像により生成された合成画像データＤＭに残留ノイズが含まれていると、視聴者の左右の目には異なる残留ノイズが視認されるため、視聴者はちらつきを感じてしまう。
【０１６４】
これに対し本実施の形態においては、単眼撮像状態の増幅率最大値よりも複眼撮像状態の増幅率最大値を小さくするようにした。このため、撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に、複眼撮像状態における増幅率最大値まで画像信号を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１６５】
また撮像装置１は、複眼撮像状態において、立体感が大きい場合の増幅率最大値よりも立体感が小さい場合の増幅率最大値を小さくするようにした。
【０１６６】
撮像しているシーンの立体感が大きい場合、合成画像データＤＭに多少の残留ノイズが含まれていても、視聴者は、奥行方向に分布を持って見えるノイズの影響をあまり受けることなく、立体感を損わずに視聴することができる。
【０１６７】
一方撮像しているシーンの立体感が小さい場合、合成画像データＤＭに残留ノイズが含まれていると、視聴者は、奥行方向に分布を持つノイズに画像の立体感が埋もれてしまうように視認してしまうため、立体感を感じにくくなってしまう。
【０１６８】
これに対し本実施の形態においては、複眼撮像状態において、立体感が大きい場合の増幅率最大値よりも立体感が小さい場合の増幅率最大値を小さくするようにした。このため撮像装置１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に、立体感が小さい場合の増幅率最大値まで画像信号を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１６９】
以上の構成によれば、撮像装置１は、撮像素子１２Ａで被写体を撮像することにより得られたアナログ画像信号ＡＳＡ１を増幅部２０Ａにおいて所定の増幅率最大値以下の増幅率で増幅する右目撮像ユニットＲＩＦ１を用いる単眼撮像状態か、被写体を右目撮像ユニットＲＩＦ１及び左目撮像ユニットＬＩＦ１で撮像する複眼撮像状態かを切り替えるようにした。また撮像装置１は、複眼撮像により被写体を撮像する際は、単眼撮像により被写体を撮像する際よりも、システムコントローラ２の制御により増幅率最大値を小さくするようにした。
【０１７０】
このため撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えないように、複眼撮像状態における画像信号の増幅を抑えることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、暗所撮像時の画質、明るさ及び立体感の知覚のバランスが取れた高品質な画像データを生成することができる。
【０１７１】
＜２．第２の実施の形態＞
［２−１．撮像装置の構成］
図１に示す第２の実施の形態による撮像装置１０１は、システムコントローラ１０２、デジタル信号処理部１１７Ａ及び１１７Ｂが第１の実施の形態による撮像装置１におけるシステムコントローラ２、デジタル信号処理部１７Ａ及び１７Ｂと異なっているものの、それ以外はほぼ同様に構成されている。
【０１７２】
図１０に示す第２の実施の形態によるシステムコントローラ１０２は、輪郭補正量制御部５０が追加されている点が第１の実施の形態によるシステムコントローラ２と異なっているものの、それ以外はほぼ同様に構成されている。
【０１７３】
また第２の実施の形態によるデジタル信号処理部１１７Ａ及び１１７Ｂは、輪郭補正部５１Ａ及び５１Ｂが追加されている点が第１の実施の形態によるデジタル信号処理部１７Ａ及び１７Ｂと異なっているものの、それ以外はほぼ同様に構成されている。
【０１７４】
撮像装置１０１（図１）は、撮像装置１と同様に、単眼撮像状態においては右目撮像ユニットＲＩＦ２を含む単眼撮像系１０１Ａの構成を動作させる一方、複眼撮像状態においては右目撮像ユニットＲＩＦ２及び左目撮像ユニットＬＩＦ２を含む複眼撮像系１Ｂの構成を動作させる。
【０１７５】
輪郭補正部５１Ａ及び５１Ｂ（図１０）は、輪郭補正信号ＳＣＣＡ及びＳＣＣＢを輪郭補正量制御部５０から受信することにより、輪郭の強調をどの程度行うかを表す輪郭補正量を取得し、当該輪郭補正量に応じて輪郭補正処理を行うようになされている。
【０１７６】
輪郭補正量制御部５０は、撮像切替部６から撮像切替信号ＳＳＭを取得すると、当該撮像切替信号ＳＳＭが示す複眼撮像状態又は単眼撮像状態いずれかに応じて、輪郭補正量を変更する。
【０１７７】
また輪郭補正量制御部５０は、立体感検出信号ＳＤＭを立体感検出部１８から取得すると、当該立体感検出信号ＳＤＭに基づき輪郭補正量を変更する。
【０１７８】
因みに輪郭補正量制御部５０は、操作部３を介したユーザの操作に応じて、輪郭補正量を制御するようにもなされている。
【０１７９】
右目撮像ユニットＲＩＦ２（図１）により被写体の撮像が行われると、デジタル信号処理部１１７Ａは、増幅部２０Ａ、ホワイトバランス調整部２１Ａ及びガンマ補正部２２Ａを介して、デジタル画像信号ＤＳＡ１を輪郭補正部５１Ａに入力する。
【０１８０】
輪郭補正部５１Ａは、輪郭補正量制御部５０の制御に基づき、デジタル画像信号ＤＳＡ１に対し輪郭補正処理を施し、ノイズ除去部２３Ａに送出する。
【０１８１】
ノイズ除去部２３Ａは、デジタル画像信号ＤＳＡ１に含まれるノイズを低減し、右目用画像データＤＳＡ２としてメモリ５に送出する。
【０１８２】
一方左目撮像ユニットＬＩＦ２（図１）により被写体の撮像が行われると、デジタル信号処理部１１７Ｂはデジタル信号処理部１１７Ａと同様に、増幅部２０Ｂ、ホワイトバランス調整部２１Ｂ及びガンマ補正部２２Ｂを介して、デジタル画像信号ＤＳＢ１を輪郭補正部５１Ｂに入力する。
【０１８３】
輪郭補正部５１Ｂ及びノイズ除去部２３Ｂは、輪郭補正部５１Ａ及びノイズ除去部２３Ａと同様の処理を実行し、左目用画像データＤＳＢ２をメモリ５に送出する。
【０１８４】
［２−２．輪郭補正処理］
［２−２−１．単眼撮像状態の輪郭補正処理］
撮像切替部６を介したユーザの操作により単眼撮像が指定された場合、輪郭補正部５１Ａは、以下に述べる単眼撮像状態の輪郭補正処理を実行することにより、デジタル画像信号ＤＳＡ１に対し輪郭補正処理を行う。
【０１８５】
輪郭補正量制御部５０は、輪郭補正量を単眼輪郭補正値に設定し、当該輪郭補正量を示す輪郭補正信号ＳＣＧＡを輪郭補正部５１Ａに送出する。
【０１８６】
輪郭補正部５１Ａは、デジタル画像信号ＤＳＡ１から、図１１に示す輝度信号ＳＢＡを抽出する。
【０１８７】
輪郭補正処理を行う以前の当該輝度信号ＳＢＡは、図１１に示したように、デジタル画像信号ＤＳＡ１の所定の１ラインにおける画素位置の変化に対し、なだらかに信号レベルが変化している。このような輝度信号を含む画像信号により示される画像は、輪郭がなだらかに変化する画像となる。
【０１８８】
輪郭補正部５１Ａは、輝度信号ＳＢＡに対し所定の信号処理を行い、当該輝度信号ＳＢＡの高周波成分を補正信号ＳＣＡとして抽出する。
【０１８９】
また輪郭補正部５１Ａは、単眼輪郭補正値に応じた輪郭補正増幅率で補正信号ＳＣＡを増幅し、増幅補正信号ＳＧＣＡを生成する。ここで輪郭補正部５１Ａは、輪郭補正量制御部５０から取得した輪郭補正信号ＳＣＣＡにより示される輪郭補正量が大きい（すなわち輪郭を強調する度合が大きい）ほど、輪郭補正増幅率を大きくするようになされている。
【０１９０】
さらに輪郭補正部５１Ａは、輝度信号ＳＢＡと増幅補正信号ＳＧＣＡとを加算し、補正輝度信号ＳＣＢＡを生成する。当該補正輝度信号ＳＣＢＡは輝度信号ＳＢＡと比較して、信号レベルの変化が急峻となっている。
【０１９１】
このように輪郭補正部５１Ａは、輝度信号ＳＢＡから抽出された補正信号ＳＣＡを輪郭補正量に応じた輪郭補正増幅率で増幅した増幅補正信号ＳＧＣＡを、輝度信号ＳＢＡに加算することにより、デジタル画像信号ＤＳＡ１に含まれる輝度信号ＳＢＡを補正後輝度信号ＳＣＢＡに変換する。
【０１９２】
これにより輪郭補正部５１Ａは、デジタル画像信号ＤＳＡ１に基づき表示される画像の輪郭を強調するよう補正することができる。
【０１９３】
［２−２−２．複眼撮像状態の輪郭補正処理］
一方、撮像切替部６（図１０）を介したユーザの操作により複眼撮像が指定された場合、輪郭補正部５１Ａ及び５１Ｂは、以下に述べる複眼撮像状態の輪郭補正処理を実行することにより、デジタル画像信号ＤＳＡ１及びＤＳＢ１に対し輪郭補正処理を行う。複眼撮像状態において輪郭補正量制御部５０は、立体感に応じて輪郭補正量を調整する。
【０１９４】
［２−２−２−１．立体感が大きい場合の輪郭補正処理］
輪郭補正量制御部５０は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が大きいと検出された場合、単眼輪郭補正値よりも小さな輪郭補正量を示す輪郭補正信号ＳＣＣＡ及びＳＣＣＢを、輪郭補正部５１Ａ及び５１Ｂそれぞれに送出する。
【０１９５】
また以下の説明においては、立体感検出値が所定の最大値に達しており、立体感が最大である状態とする。このとき輪郭補正量制御部５０は、複眼撮像状態における最大の輪郭補正量を表す複眼輪郭補正量最大値を輪郭補正量とする。
【０１９６】
輪郭補正部５１Ａ及び５１Ｂは、デジタル画像信号ＤＳＡ１及びＤＳＢ１から図１２に示す輝度信号ＳＢＢを抽出して、当該輝度信号ＳＢＢに対し所定の信号処理を行い、当該輝度信号ＳＢＢの高周波成分を補正信号ＳＣＢとして抽出する。
【０１９７】
輪郭補正部５１Ａ及び５１Ｂは、複眼輪郭補正量最大値に応じて、単眼撮像状態よりも小さく、且つ複眼撮像状態においては最大となる輪郭補正増幅率で補正信号ＳＣＢを増幅することにより、増幅補正信号ＳＧＣＢ１を生成する。
【０１９８】
図１２に示すように、増幅補正信号ＳＧＣＢ１は増幅補正信号ＳＧＣＡと比較して、振幅が小さくなっている。
【０１９９】
続いて輪郭補正部５１Ａ及び５１Ｂは、輝度信号ＳＢＢに増幅補正信号ＳＧＣＢ１を加算し、補正輝度信号ＳＣＢＢ１を生成する。当該補正輝度信号ＳＣＢＢ１は輝度信号ＳＢＢと比較して、信号レベルの変化が急峻となっている。
【０２００】
また補正輝度信号ＳＣＢＢ１は、単眼撮像状態における補正輝度信号ＳＣＢＡと比較して、信号レベルの変化が緩やかになっている。このため輪郭補正部５１Ａ及び５１Ｂは、複眼撮像状態に立体感が最大である場合、単眼撮像状態と比較してデジタル画像信号ＤＳＡ１及びＤＳＢ１に対する輪郭補正の度合を小さくするようになされている。
【０２０１】
このように輪郭補正部５１Ａ及び５１Ｂは、立体感が最大である場合、複眼輪郭補正量最大値に応じて輪郭補正増幅率で補正信号ＳＣＢを増幅する。
【０２０２】
また、複眼撮像状態に立体感が最大である場合の輪郭補正量は複眼輪郭補正量最大値であり、単眼撮像状態における輪郭補正量である単眼輪郭補正値よりも小さくなっている。
【０２０３】
［２−２−２−２．立体感が小さい場合の輪郭補正処理］
これに対し、輪郭補正量制御部５０は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が小さいと検出された場合、単眼輪郭補正値よりも小さく、且つ複眼輪郭補正量最大値よりも小さい輪郭補正量を示す輪郭補正信号ＳＣＣＡ及びＳＣＣＢを、輪郭補正部５１Ａ及び５１Ｂそれぞれに送出する。
【０２０４】
また以下の説明においては、立体感検出値が所定の最小値に達しており、立体感が最小である状態とする。このとき輪郭補正量制御部５０は、複眼撮像状態における最小の輪郭補正量を表す複眼輪郭補正量最小値を輪郭補正量とする。
【０２０５】
この場合輪郭補正部５１Ａ及び５１Ｂは、複眼輪郭補正量最小値に応じて、単眼撮像状態よりも小さく、且つ複眼撮像状態においては最小となる輪郭補正増幅率で補正信号ＳＣＢを増幅することにより、増幅補正信号ＳＧＣＢ２を生成する。
【０２０６】
図１２に示すように、増幅補正信号ＳＧＣＢ２は、増幅補正信号ＳＧＣＡ及び増幅補正信号ＳＧＣＢ１のどちらよりも振幅が小さくなっている。
【０２０７】
続いて輪郭補正部５１Ａ及び５１Ｂは、輝度信号ＳＢＢに増幅補正信号ＳＧＣＢ２を加算し、補正輝度信号ＳＣＢＢ２を生成する。当該補正輝度信号ＳＣＢＢ２は輝度信号ＳＢＢと比較して、信号レベルの変化が急峻となっている。
【０２０８】
また補正輝度信号ＳＣＢＢ２は、複眼撮像状態における補正輝度信号ＳＣＢＢ１よりも、さらに信号レベルの変化が緩やかになっている。
【０２０９】
このため輪郭補正部５１Ａ及び５１Ｂは、複眼撮像状態に立体感が最大である場合と比較して、デジタル画像信号ＤＳＡ１及びＤＳＢ１に対する輪郭補正の度合をさらに小さくするようになされている。
【０２１０】
このように輪郭補正部５１Ａ及び５１Ｂは、立体感が最小である場合、複眼輪郭補正量最小値に応じて輪郭補正増幅率で補正信号ＳＣＢを増幅するようになされている。
【０２１１】
また、複眼撮像状態に立体感が最小である場合における輪郭補正量は複眼輪郭補正量最小値であり、単眼輪郭補正値よりも小さく、且つ複眼輪郭補正量最大値よりも小さくなっている。
【０２１２】
以上においては複眼撮像状態における立体感が最小である場合と最大である場合とについて説明した。これに対し立体感が最小と最大との間であった場合、輪郭補正量制御部５０は、複眼輪郭補正量最小値と複眼輪郭補正量最大値との間である複眼撮像状態輪郭補正量範囲の範囲内に輪郭補正量を設定する。
【０２１３】
上述したように輪郭補正部５１Ａ及び５１Ｂは、デジタル画像信号ＤＳＡ１及びＤＳＢ１から輝度信号ＳＢＢを抽出した後に、当該輝度信号ＳＢＢの高周波成分を補正信号ＳＣＢとして抽出し、当該補正信号ＳＣＢを増幅する。
【０２１４】
このため輪郭補正部５１Ａ及び５１Ｂは、補正信号ＳＣＢを増幅する際、デジタル画像信号ＤＳＡ１及びＤＳＢ１に含まれていたノイズもまた増幅してしまうこととなる。
【０２１５】
よって、ノイズ除去部２３Ａ及び２３Ｂはノイズを完全には除去できない可能性がある。このため、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２にはノイズが残留する場合がある。
【０２１６】
ここで、上述したように複眼撮像状態においては、単眼撮像状態よりも許容される残留ノイズ量が小さいと言える。
【０２１７】
このため輪郭補正量制御部５０は、複眼撮像状態の輪郭補正量を、単眼撮像状態の輪郭補正量よりも小さくするようになされている。
【０２１８】
これにより撮像装置１０１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に、複眼撮像状態における複眼輪郭補正量最大値まで輪郭補正量を抑えることで、デジタル画像信号ＤＳＡ１及びＤＳＢ１の輪郭補正処理を行い解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２１９】
また、上述したように、立体感が小さい場合は大きい場合よりも許容される残留ノイズ量が小さいと言える。
【０２２０】
これに対し、複眼撮像状態において輪郭補正制御部５０は、立体感が最大である場合には複眼輪郭補正量最大値を輪郭補正量とし、一方立体感が最小である場合には当該複眼輪郭補正量最大値よりも小さい複眼輪郭補正量最小値を輪郭補正量とするようにした。
【０２２１】
これにより撮像装置１０１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に、輪郭補正量を抑えることで、デジタル画像信号ＤＳＡ１及びＤＳＢ１の輪郭補正処理を行い解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２２２】
［２−３．立体感の変化に対する輪郭補正量の変化］
ところで上述したように、システムコントローラ１０２は、複眼撮像状態においては、立体感に応じて複眼輪郭補正量最小値から複眼輪郭補正量最大値まで複眼撮像状態輪郭補正量範囲ＰＣＲ（図１３）の範囲内で輪郭補正量を変化させるようになされている。
【０２２３】
以下では、複眼撮像状態における立体感検出値の変化に対する輪郭補正量の変化について説明する。図１３に示す立体感検出値と輪郭補正量との関係のように、輪郭補正量は、立体感が最小である場合の複眼輪郭補正量最小値から立体感が最大である場合の複眼輪郭補正量最大値へ向けて、輪郭補正線ＣＣＬに沿って徐々に大きくなっていく。
【０２２４】
ここで、例えば現在の輪郭補正量が点Ｐ１０にある状態で、立体感検出値が大きくなっていく場合、輪郭補正量制御部５０は、立体感検出値が点Ｐ１１に達するまでは輪郭補正量を増加させず、点Ｐ１１に達すると閾値線ＳＨＬ１１に沿うように増加させていく。
【０２２５】
同様に、輪郭補正量が点Ｐ１０にある状態で、立体感検出値が小さくなっていく場合、輪郭補正量制御部５０は、立体感検出値が点Ｐ１２に達するまでは輪郭補正量を減少させず、点Ｐ１２に達すると閾値線ＳＨＬ１２に沿うように減少させていく。
【０２２６】
このように立体感検出値が所定の値から変化した場合、輪郭補正量制御部５０は、輪郭補正線ＣＣＬにおける現在の地点から閾値線ＳＨＬ１１及びＳＨＬ１２までの距離である立体感閾値ＳＨＭだけ立体感検出値が変化して閾値線ＳＨＬ１１又はＳＨＬ１２に達するまでは、輪郭補正量を変化させないようになされている。
【０２２７】
このように撮像装置１０１は、立体感検出値が多少変化しただけでは輪郭補正量を変化させないようにすることにより、視聴者が画像を視聴する際にシーンの立体感が少しでも変化する度に画面に映る被写体の輪郭の見え方が変化することを防ぎ、自然な画面表示をさせるようにすることができる。
【０２２８】
［２−４．単眼撮像状態と複眼撮像状態との切り替え］
第１の実施の形態と同様に、撮像装置１０１は、操作部３を操作されることにより同時表示モードが選択されるようになされている。
【０２２９】
システムコントローラ１０２は、図１４に示すように右目用画像ＲＹＰをモニタ７の右部分に表示させると共に合成画像ＤＰを左部分に表示させる。このとき、合成画像ＤＰよりも右目用画像ＲＹＰの方が輪郭が強調された画像となっている。
【０２３０】
これにより撮像装置１０１は、ユーザが単眼撮像状態と複眼撮像状態とを切り替えた場合に生成した画像データにより示される画面表示を、予めユーザに提示することができる。
【０２３１】
このためユーザは、現在の撮像状態を切り替えるとどのような画面表示になるかを、撮像状態を切り替える以前に認識することができるため、画面に表示される被写体に適切な輪郭補正がなされるように撮像装置１０１における輪郭補正量を調整することができる。
【０２３２】
［２−５．動作及び効果］
以上の構成において、撮像装置１０１は、単眼撮像状態よりも複眼撮像状態の輪郭補正量を小さくするようにした。
【０２３３】
このため撮像装置１０１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に輪郭補正量を抑えて輪郭補正処理を行うことにより、解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２３４】
また、複眼撮像状態において撮像装置１０１は、立体感が最大である場合には複眼輪郭補正量最大値を輪郭補正量とし、一方立体感が最小である場合には当該複眼輪郭補正量最大値よりも小さい複眼輪郭補正量最小値を輪郭補正量とするようにした。
【０２３５】
このため撮像装置１０１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に輪郭補正量を抑えて輪郭補正処理を行うことにより、解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２３６】
以上の構成によれば、撮像装置１０１は、撮像素子１２Ａで被写体を撮像することにより得られたデジタル画像信号ＤＳＡ１に対し輪郭補正部５１Ａにおいて所定の輪郭補正量で輪郭補正処理を行う右目撮像ユニットＲＩＦ１を用いる単眼撮像状態か、被写体を右目撮像ユニットＲＩＦ１及び左目撮像ユニットＬＩＦ１で撮像する複眼撮像状態かを切り替えるようにした。また撮像装置１０１は、複眼撮像により被写体を撮像する際は、単眼撮像により被写体を撮像する際よりも、システムコントローラ２の制御により輪郭補正量を小さくするようにした。
【０２３７】
このため撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えないように、複眼撮像状態において画像信号に対する輪郭補正処理の度合を抑えることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、解像感及び立体感の知覚のバランスが取れた高品質な画像データを生成することができる。
【０２３８】
＜３．他の実施の形態＞
なお上述した実施の形態においては、右目用画像ＲＹＰと左目用画像ＬＹＰとに基づき差分ベクトルＤＤＩＳを求めることにより、立体感を検出する場合について述べた。
【０２３９】
本発明はこれに限らず、光軸間隔に基づき、光軸間隔が広い場合は立体感が大きいと判断すると共に、当該光軸間隔が狭い場合は立体感が小さいと判断するようにしても良い。この場合、図３に示したように、右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂに、例えばリニアエンコーダでなる光軸間隔測定センサＡＤＳを取り付けることにより、右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの間隔（すなわち被写体光の光軸間隔）を算出すれば良い。
【０２４０】
また、輻輳角に基づき、輻輳角が広い場合は立体感が大きいと判断すると共に、当該輻輳角が狭い場合は立体感が小さいと判断するようにしても良い。この場合、図４に示したように右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂに、例えばリニアエンコーダでなる輻輳角測定センサＣＡＳを２個取り付け、右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂの先端部分の間隔と後端部分の間隔との差分を算出することにより輻輳角を算出すれば良い。
【０２４１】
さらに、光軸間隔と輻輳角とを組み合わせ、例えば光軸間隔が広くなり且つ輻輳角が広くなった場合は立体感がさらに大きくなったと算出するようにしても良い。
【０２４２】
また、光軸間隔測定センサ及び輻輳角測定センサは、リニアエンコーダに限らず、例えばロータリーエンコーダやポテンショメータ等、種々のセンサにより光軸間隔及び輻輳角を算出するようにして良い。
【０２４３】
さらに上述した実施の形態においては、右目撮像ユニット及び左目撮像ユニットを有する撮像装置１について述べた。
【０２４４】
本発明はこれに限らず、例えば３つ以上の撮像ユニットを有する撮像装置において本発明を適用しても良い。この場合も、１つの撮像ユニットで撮像する場合よりも２つ以上の撮像ユニットで撮像した場合において、画像信号に対する増幅率又は輪郭補正量を下げることが望ましい。
【０２４５】
さらに上述した実施の形態においては、デジタル信号処理部１１７Ａ及び１１７Ｂに設けられた増幅部２０Ａ及び２０Ｂにおいて増幅処理を行い、輪郭補正部５１Ａ及び５１Ｂにおいて輪郭補正処理を行う場合について述べた。
【０２４６】
本発明はこれに限らず、例えばアナログ信号処理部１１５Ａ及び１１５Ｂ等、デジタル信号処理部１１７Ａ及び１１７Ｂ以外において増幅処理又は輪郭補正処理を行っても良い。
【０２４７】
さらに上述した実施の形態においては、同時表示モードのとき、左右に並べて右目用画像ＲＹＰと合成画像ＤＰとをモニタ７に表示させる場合について述べた。
【０２４８】
本発明はこれに限らず、例えば現在単眼撮像を行っている際は右目用画像ＲＹＰを大きくモニタ７に表示し、当該右目用画像ＲＹＰの隅に重ねて合成画像ＤＰを小さく表示させるなど、種々の方法で右目用画像ＲＹＰと合成画像ＤＰとをモニタ７に表示させて良い。
【０２４９】
さらに上述した第２の実施の形態においては、輝度信号ＳＢＡ又はＳＢＢから補正信号ＳＣＡ又はＳＣＢを抽出し、当該補正信号ＳＣＡ又はＳＣＢを増幅して増幅補正信号ＳＧＣＡ又はＳＧＣＢとし、輝度信号ＳＢＡ又はＳＢＢに加算する場合について述べた。
【０２５０】
本発明はこれに限らず、増幅補正信号ＳＧＣＡ又はＳＧＣＢが所定の振幅以上大きくならないようリミットをかけ、本来の増幅補正信号ＳＧＣＡ又はＳＧＣＢよりもその振幅を小さくした上で、輝度信号ＳＢＡ又はＳＢＢに加算しても良い。
【０２５１】
この場合、リミットとする制限値を高く設定するほど、補正輝度信号は輝度信号に対し信号レベルが急峻に立ち上がることとなる。
【０２５２】
さらに上述した実施の形態においては、判別部としての撮像切替部６と、増幅率最大値制御部としてのデバイス制御量分配部３０とによって、制御装置としてのシステムコントローラ２及び撮像切替部６を構成する場合について述べた。
【０２５３】
本発明はこれに限らず、その他種々の構成でなる判別部と、増幅率最大値制御部とによって制御装置を構成するようにしても良い。
【０２５４】
さらに上述した実施の形態においては、判別部としての撮像切替部６と、輪郭補正量制御部としての輪郭補正量制御部５０とによって、制御装置としてのシステムコントローラ１０２及び撮像切替部６を構成する場合について述べた。
【０２５５】
本発明はこれに限らず、その他種々の構成でなる判別部と、輪郭補正量制御部とによって制御装置を構成するようにしても良い。
【産業上の利用可能性】
【０２５６】
本発明は、複数の撮像素子からなる複数の撮像ユニットを有する撮像装置でも利用できる。
【符号の説明】
【０２５７】
１、１０１……撮像装置、１Ａ、１０１Ａ……単眼撮像系、１Ｂ、１０１Ｂ……複眼撮像系、ＲＩＦ……右目撮像ユニット、ＬＩＦ……左目撮像ユニット、２、１０２……システムコントローラ、３……操作部、４……記憶部、５……メモリ、６……撮像切替部、７……モニタ、８……レンズドライバ、９……ズームレンズ、１０……絞り、１１……フォーカスレンズ、１２……撮像素子、１３……鏡筒、１４……タイミングジェネレータ、１５……アナログ信号処理部、１６……アナログデジタル変換部、１７、１１７……デジタル信号処理部、１８……立体感検出部、１９……画像合成部、２０……増幅部、２１……ホワイトバランス調整部、２２……ガンマ補正部、２３……ノイズ除去部、３０……デバイス制御量分配部、３１……輝度検出部、３２……輝度基準値発生部、３３……輝度差分値算出部、３４……露出制御量決定部、４０……アクチュエータ、５０……輪郭補正量制御部、５１……輪郭補正部。
【技術分野】
【０００１】
本発明は制御装置、制御方法及び制御プログラムに関し、例えば単眼撮像状態と複眼撮像状態とを切り替えることが可能な撮像装置に適用して好適なものである。
【背景技術】
【０００２】
近年、左目用画像及び右目用画像を表示し視聴者に視認させることにより、表示した画像を立体視させる表示装置が普及してきている。
【０００３】
また、そのような左目用画像及び右目用画像を表示する画像データを生成するために、撮像素子により被写体を撮像する撮像ユニットが複数設けられた撮像装置が用いられている。
【０００４】
この撮像装置においては、被写体を撮像して生成した画像信号に補正処理を施すことにより、画像信号に基づき表示される画像の明るさや解像感を調整するものがある。
【０００５】
このような撮像装置として、１つの撮像ユニットにより得られた画像信号の輝度レベルを基準とし、他の撮像ユニットにより得られた画像信号の増幅率を制御して基準と同一の輝度レベルになるように増幅することにより、それぞれの撮像ユニットの個体差を補正するものが提案されている。（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１５４４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような撮像装置においては、撮像ユニットが出力した画像信号に含まれるノイズが多い場合、当該画像信号を補正する際にノイズが増幅されてしまい、その後ノイズ除去処理を行ってもノイズが残留してしまうことがある。
【０００８】
単眼撮像した画像を表示装置において視聴する場合、視聴者は左右の目で同じノイズを視認するため、左目用画像と右目用画像との画像の差によるちらつきを感じることはない。
【０００９】
ここで、画像信号に対し補正処理を施す際の補正値は、単眼撮像状態においては、画像の明るさ及び解像感と、ノイズとのバランスを取った値となっている。
【００１０】
これに対し複眼撮像した画像を立体視で視聴する場合、視聴者は左右の目で、左右の画像にそれぞれ残留し時間経過とともにそれぞれランダムに変化するノイズを別々に視認する。
【００１１】
特にこの場合、単眼撮像状態に対し最適化された補正値を用いているにも関わらず、視聴者が視認する左右の画像に差が生じることとなり、視聴者はちらつきを感じたり、ノイズが奥行き方向に分布を持つように見えたりすることがあり、画像の立体感を感じにくくなってしまう。
【００１２】
このように撮像装置は、単眼撮像状態と複眼撮像状態とのいずれにも関わらず高品質な画像データを生成するということができない恐れがあった。
【００１３】
本発明は以上の点を考慮してなされたもので、単眼撮像状態と複眼撮像状態とを切り替え可能な撮像装置において、高品質な画像データを生成し得る制御装置、制御方法及び制御プログラムを提案しようとするものである。
【課題を解決するための手段】
【００１４】
かかる課題を解決するため本発明の制御装置においては、撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて撮像を行う複眼撮像状態かを判別する判別部と、判別部の判別結果に基づいて、画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御部とを設けるようにした。
【００１５】
この制御装置では、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように画像信号の増幅を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、明るさ及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【００１６】
さらに本発明の制御装置においては、撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて撮像を行う複眼撮像状態かを判別する判別部と、判別部の判別結果に基づいて、画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御部とを設けるようにした。
【００１７】
この制御装置では、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように輪郭補正の度合を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、解像感及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【発明の効果】
【００１８】
本発明によれば、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように画像信号の増幅を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、明るさ及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【００１９】
また本発明によれば、単眼撮像状態と複眼撮像状態とにおいてそれぞれの許容ノイズレベルを超えないように輪郭補正の度合を変化させることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、解像感及び立体感の知覚のバランスが取れた高品質な画像データを生成させることができる。
【００２０】
かくして本発明は、単眼撮像状態と複眼撮像状態とを切り替え可能な撮像装置により高品質な画像データを生成し得る制御装置、制御方法及び制御プログラムを実現できる。
【図面の簡単な説明】
【００２１】
【図１】第１及び第２の実施の形態による撮像装置の全体構成を示す略線図である。
【図２】第１の実施の形態によるデジタル信号処理部及びシステムコントローラの機能的構成を示す略線図である。
【図３】光軸間隔の変化を示す略線図である。
【図４】輻輳角の変化を示す略線図である。
【図５】露出制御量と電子シャッター制御量、絞り制御量及びゲイン制御量との関係を示すプログラム線図である。
【図６】立体感が小さいシーン及び立体感が大きいシーンを示す略線図である。
【図７】視差ベクトルに基づく立体感を示す略線図である。
【図８】立体感検出値と増幅率との関係を示す略線図である。
【図９】第１の実施の形態による同時表示モードにおけるモニタ表示を示す略線図である。
【図１０】第２の実施の形態によるデジタル信号処理部及びシステムコントローラの構成を示す略線図である。
【図１１】単眼撮像状態の輪郭補正処理を示す略線図である。
【図１２】複眼撮像状態の輪郭補正処理を示す略線図である。
【図１３】立体感検出値と輪郭補正量との関係を示す略線図である。
【図１４】第２の実施の形態による同時表示モードにおけるモニタ表示を示す略線図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（単眼撮像と複眼撮像とで増幅率最大値を変化させる例）
２．第２の実施の形態（単眼撮像と複眼撮像とで輪郭補正量を変化させる例）
３．他の実施の形態
【００２３】
＜１．第１の実施の形態＞
［１−１．撮像装置の構成］
図１に示す第１の実施の形態による撮像装置１は、被写体を撮像することにより得られた画像データに基づく画像をユーザに提示すると共に当該画像データを記憶するようになされている。
【００２４】
撮像装置１は、被写体を撮像する撮像素子が搭載された右目撮像ユニットＲＩＦ１と左目撮像ユニットＬＩＦ１との２つの撮像ユニットを有している。
【００２５】
また撮像装置１は、単眼撮像と複眼撮像とを行うことが可能となっている。撮像装置１は、単眼撮像を行う際の単眼撮像状態においては右目撮像ユニットＲＩＦ１を含む単眼撮像系１Ａの構成を動作させる。一方撮像装置１は、複眼撮像を行う複眼撮像状態においては右目撮像ユニットＲＩＦ１及び左目撮像ユニットＬＩＦ１を含む複眼撮像系１Ｂの構成を動作させる。
【００２６】
システムコントローラ２は、図示しないＣＰＵ(Central Processing Unit)により構成され、操作部３を介したユーザの操作に応じて、記憶部４に記憶された各種プログラム等をメモリ５に読み出して実行することにより、撮像装置１を統括制御する。
【００２７】
撮像切替部６は、物理的なスイッチ又はタッチパネル等により構成され、単眼撮像状態と複眼撮像状態とを切り替えるユーザからの操作に基づき、撮像切替信号ＳＳＭをシステムコントローラ２に送出するようになされている。
【００２８】
またシステムコントローラ２は、現在撮像している画像データをモニタ７に表示することにより、撮像しているシーンの画像をユーザに確認させるようになされている。
【００２９】
［１−２．単眼撮像系の構成］
撮像切替部６を介したユーザの操作により単眼撮像が指定された場合、撮像装置１は、システムコントローラ２の制御に基づきレンズドライバ８Ａによりズームレンズ９Ａを光軸方向に移動させる。これにより撮像装置１は、撮像対象である被写体に対するズーム倍率を調整し、被写体からの光である被写体光を絞り１０Ａに入射させる。
【００３０】
絞り１０Ａは、レンズドライバ８Ａにより駆動されて絞りを制御することにより被写体光の光量を調整して、フォーカスレンズ１１Ａに入射させる。
【００３１】
フォーカスレンズ１１Ａは、レンズドライバ８Ａにより駆動されて光軸方向に移動することにより、集光する被写体光の焦点位置を調整し、当該被写体光を撮像素子１２Ａに照射して当該撮像素子１２Ａの撮像面に光学像を形成する。
【００３２】
ところで、ズームレンズ９Ａ、絞り１０Ａ及びフォーカスレンズ１１Ａは、右目用鏡筒１３Ａ内部に設置されている。右目用鏡筒１３Ａにはアクチュエータ４０Ａが取り付けられており、当該アクチュエータ４０Ａにより駆動されるようになされている。
【００３３】
撮像素子１２Ａは、システムコントローラ２の制御に基づきタイミングジェネレータ１４Ａから送出されるタイミング信号により、電子シャッターのシャッタースピードを変化させて受光する被写体光の光量を調整し、撮像面に形成された光学像の撮像結果をアナログ画像信号ＡＳＡ１として送出する。
【００３４】
このように右目撮像ユニットＲＩＦ１においては、システムコントローラ２がレンズドライバ８Ａを制御して絞り１０Ａを、タイミングジェネレータ１４Ａを制御して撮像素子１２Ａを駆動することにより、被写体を撮像する際の露出を調整するようになされている。
【００３５】
アナログ信号処理部１５Ａは、システムコントローラ２の制御に基づき、アナログ画像信号ＡＳＡ１を相関二重サンプリングし、アナログデジタル変換部１６Ａに送出する。
【００３６】
アナログデジタル変換部１６Ａは、アナログ画像信号ＡＳＡ１をアナログデジタル変換してデジタル画像信号ＤＳＡ１とし、デジタル信号処理部１７Ａに送出する。
【００３７】
デジタル信号処理部１７Ａは、ＤＳＰ（Digital Signal Processor）により構成される。当該デジタル信号処理部１７Ａは、図２に示すように増幅部２０Ａにおいてシステムコントローラ２におけるデバイス制御量分配部３０（詳しくは後述する）の制御に基づき、デジタル画像信号ＤＳＡ１を所定の増幅率で増幅し、ホワイトバランス調整部２１Ａ及び輝度検出部３１Ａに送出する。
【００３８】
続いてホワイトバランス調整部２１Ａがデジタル画像信号ＤＳＡ１のホワイトバランスを調整した後、ガンマ補正部２２Ａがガンマ補正を行い、デジタル画像信号ＤＳＡ１をノイズ除去部２３Ａに送出する。
【００３９】
ノイズ除去部２３Ａは、デジタル画像信号ＤＳＡ１に対し例えば時間方向のフレーム加算を行うことにより、デジタル画像信号ＤＳＡ１に含まれるノイズを低減し、右目用画像データＤＳＡ２としてメモリ５に送出する。
【００４０】
またシステムコントローラ２は、右目用画像データＤＳＡ２をメモリ５から読み出してモニタ７に送出することにより、右目用画像をモニタ７に表示する。
【００４１】
さらにシステムコントローラ２は、メモリ５に送出された右目用画像データＤＳＡ２を、光ディスク、磁気ディスク、メモリカード又はハードディスク等により形成された記憶部４（図１）に記憶させる。
【００４２】
露出の制御を行う際、デジタル信号処理部１７Ａ（図２）は、輝度検出部３１Ａにおいて右目用画像データＤＳＡ２の輝度レベルである輝度検出値を検出し、輝度検出信号ＳＤＢＡとしてシステムコントローラ２に送出する。
【００４３】
システムコントローラ２における輝度基準値発生部３２は、予め所定の輝度基準値が設定されており、当該輝度基準値を示す輝度基準信号ＳＳＢを送出するようになされている。
【００４４】
輝度差分値算出部３３Ａは、輝度基準値発生部３２から送出された輝度基準信号ＳＳＢと、輝度検出部３１Ａから取得した輝度検出信号ＳＤＢＡとの輝度差分値を算出し、当該輝度差分値を示す輝度差分信号ＤＳＢＡを露出制御量決定部３４Ａに送出する。
【００４５】
露出制御量決定部３４Ａは、輝度差分信号ＤＳＢＡにより示される輝度差分値に基づき露出制御量（ＥＶ値）を決定し、当該露出制御量を示す露出制御信号ＳＣＥＡをデバイス制御量分配部３０に送出する。
【００４６】
実際上露出制御量決定部３４Ａは、輝度検出値が輝度基準値を下回った、すなわち右目用画像データＤＳＡ２が基準よりも暗かった場合、露出制御量を小さくすることにより右目用画像データＤＳＡ２の輝度レベルが上がる方向へ制御するようになされている。
【００４７】
これに対し輝度検出値が輝度基準値を上回った、すなわち右目用画像データＤＳＡ２が基準よりも明るかった場合、露出制御量決定部３４Ａは、露出制御量を大きくすることにより右目用画像データＤＳＡ２の輝度レベルが下がる方向へ制御するようになされている。
【００４８】
デバイス制御量分配部３０は、露出制御信号ＳＣＥＡにより示される露出制御量に基づき、レンズドライバ８Ａを制御する絞り制御量、タイミングジェネレータ１４Ａを制御するシャッタースピード制御量及び増幅部２０Ａを制御する増幅率制御量を算出する。
【００４９】
実際上デバイス制御量分配部３０は、取得した露出制御信号ＳＣＥＡが露出制御量を大きくする（すなわち右目用画像データＤＳＡ２の輝度レベルを下げる）ことを示している場合、絞り制御量（Ｆ値）を大きくし、当該絞り制御量を示す絞り制御信号ＳＣＤＡをレンズドライバ８Ａに送出する。
【００５０】
レンズドライバ８Ａ（図１）は、絞り制御信号ＳＣＤＡを取得し、当該絞り制御信号ＳＣＤＡにより示される絞り制御量が絞りを大きくすることを示している場合、絞り１０Ａを絞るように駆動することにより、被写体光の光量を減少させる。
【００５１】
またデバイス制御量分配部３０（図２）は、取得した露出制御信号ＳＣＥＡが露出制御量を大きくすることを示している場合、シャッタースピード制御量を大きくし、当該シャッタースピード制御量を示すシャッタースピード制御信号ＳＣＳＡをタイミングジェネレータ１４Ａに送出する。
【００５２】
タイミングジェネレータ１４Ａ（図１）は、シャッタースピード制御信号ＳＣＳＡを取得し、当該シャッタースピード制御信号ＳＣＳＡにより示されるシャッタースピード制御量がシャッタースピードを速くすることを示している場合、シャッタースピードを速くするよう撮像素子１２Ａを駆動することにより、被写体光の光量を減少させる。
【００５３】
さらにデバイス制御量分配部３０（図２）は、取得した露出制御信号ＳＣＥＡが露出制御量を大きくすることを示している場合、増幅率制御量を小さくし、当該増幅率制御量を示す増幅率制御信号ＳＣＧＡを増幅部２０Ａに送出する。
【００５４】
増幅部２０Ａは、増幅率制御信号ＳＣＧＡを取得し、当該増幅率制御信号ＳＣＧＡにより示される増幅率制御量が増幅率を小さくすることを示している場合、デジタル画像信号ＤＳＡ１を増幅する増幅率を小さくする。これにより増幅部２０Ａは、結果として右目用画像データＤＳＡ２の輝度レベルを低下させる。
【００５５】
因みにシステムコントローラ２は、操作部３を介したユーザの操作に応じて、デバイス制御量分配部３０により絞り制御量、シャッタースピード制御量及び増幅率制御量を制御するようにもなされている。
【００５６】
ここで、デバイス制御量分配部３０は、撮像切替部６から撮像切替信号ＳＳＭを取得すると、当該撮像切替信号ＳＳＭが示す複眼撮像状態又は単眼撮像状態いずれかに応じて、増幅率制御量を変更するようになされている（詳しくは後述する）。
【００５７】
またデバイス制御量分配部３０は、現在撮像しているシーンの立体感を示す立体感検出信号ＳＤＭを立体感検出部１８から取得した場合、当該立体感検出信号ＳＤＭに基づき増幅率制御量を変更するようにもなされている（詳しくは後述する）。
【００５８】
このように単眼撮像状態において撮像装置１は、右目撮像ユニットＲＩＦ１を用いて被写体を撮像することにより取得した右目用画像データＤＳＡ２を記憶部４に記憶すると共に、当該右目用画像データＤＳＡ２に基づく右目用画像をモニタ７に表示するようになされている。
【００５９】
［１−３．複眼撮像系の構成］
一方、撮像切替部６を介したユーザの操作により複眼撮像が指定された際、撮像装置１は複眼撮像系１Ｂを機能させる。
【００６０】
複眼撮像状態において撮像装置１は、上述した右目用画像ユニットＲＩＦ１に加えて左目用画像ユニットＬＩＦ１を動作させることにより、右目用画像データＤＳＡ２に加えて左目用画像データＤＳＢ２を生成する。左目用画像ユニットＬＩＦ１は、右目用画像ユニットＲＩＦ１とほぼ同様に構成されている。
【００６１】
被写体光は、左目用鏡筒１３Ｂに設置されレンズドライバ８Ａにより駆動されるズームレンズ９Ｂ、絞り１０Ｂ及びフォーカスレンズ１１Ｂを介して撮像素子１２Ｂに照射される。
【００６２】
左目用鏡筒１３Ｂにはアクチュエータ４０Ｂが取り付けられており、当該アクチュエータ４０Ｂにより駆動される。
【００６３】
システムコントローラ２は、アクチュエータ４０Ｂと上述したアクチュエータ４０Ａとを制御し、図３に示す被写体側から撮像装置１を見た状態のように、右目用鏡筒１３Ａと左目用鏡筒１３Ｂとを離接する方向へ移動させる。
【００６４】
これによりシステムコントローラ２は、右目用鏡筒１３Ａにおける被写体光の光軸ＡＸと左目用鏡筒１３Ｂにおける被写体光の光軸ＡＸとの間隔である光軸間隔ＡＤを変更する。
【００６５】
図３（Ａ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとが近接しているため、光軸間隔ＡＤは狭くなっている一方、図３（Ｂ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとが離隔しているため、光軸間隔ＡＤは広くなっている。
【００６６】
これによりシステムコントローラ２は、複眼撮像状態において被写体が写るシーンを撮像して得られた画像における立体感（詳細は後述する）を調整し得るようになされている。
【００６７】
またシステムコントローラ２は、アクチュエータ４０Ａとアクチュエータ４０Ｂとを制御し、図４に示す被写体側から撮像装置１を見た状態のように、右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの先端部分が互いに離接するよう、当該右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂを回転させる。
【００６８】
これによりシステムコントローラ２は、右目用鏡筒１３Ａにおける被写体光の光軸ＡＸと左目用鏡筒１３Ｂにおける被写体光の光軸ＡＸとが成す角度である輻輳角ＣＡを変更する。
【００６９】
図４（Ａ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの被写体側の先端部分がそれほど内側に向かって回転していないため、輻輳角ＣＡは狭くなっている。一方、図４（Ｂ）においては右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの先端部分が内側に向かって大きく回転しているため、輻輳角ＣＡは広くなっている。
【００７０】
これにより撮像装置１は、複眼撮像状態の画像における立体感（詳細は後述する）を調整し得るようになされている。
【００７１】
撮像素子１２Ｂ（図１）は、タイミングジェネレータ１４Ｂから送出されるタイミング信号により、電子シャッターのシャッタースピードを変化させて被写体光の光量を調整し、撮像面に形成された光学像の撮像結果をアナログ画像信号ＡＳＢ１として送出する。
【００７２】
このように左目撮像ユニットＬＩＦ１においては、システムコントローラ２がレンズドライバ８Ｂを制御して絞り１０Ｂを、タイミングジェネレータ１４Ｂを制御して撮像素子１２Ｂを駆動することにより、被写体を撮像する際の露出を調整するようになされている。
【００７３】
続いてシステムコントローラ２は、右目撮像ユニットＲＩＦ１と同様にアナログ信号処理部１５Ｂ、アナログデジタル変換部１６Ｂ及びデジタル信号処理部１７Ｂを介して左目用画像データＤＳＢ２をメモリ５に送出する。
【００７４】
複眼撮像状態においてメモリ５には、左目用画像データＤＳＢ２に加えて、右目撮像ユニットＲＩＦ１により取得した右目用画像データＤＳＡ２が格納されている。
【００７５】
このように、複眼撮像状態において右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２がメモリ５に格納されると、システムコントローラ２は、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２をメモリ５から読み出して画像合成部１９において合成して合成画像データＤＭを生成し、記憶部４に送出する。
【００７６】
またシステムコントローラ２は、複眼撮像状態においては画像合成部１９で生成された合成画像データＤＭをモニタ７に表示させることにより、現在撮像しているシーンが記憶部４に記憶される状態の映像をユーザに確認させるようになされている。
【００７７】
ここで、露出制御を行う際、単眼撮像状態と同様に、システムコントローラ２（図２）における輝度差分値算出部３３Ｂは、輝度基準値発生部３２から送出された輝度基準信号ＳＳＢと、輝度検出部３１Ｂから取得した輝度検出信号ＳＤＢＢとの輝度差分値を算出する。続いて輝度差分値算出部３３Ｂは、当該輝度差分値を示す輝度差分信号ＤＳＢＢを露出制御量決定部３４Ｂに送出する。
【００７８】
露出制御量決定部３４Ｂは、輝度差分信号ＤＳＢＢにより示される輝度差分値に基づき露出制御量（ＥＶ値）を決定し、当該露出制御量を示す露出制御信号ＳＣＥＢをデバイス制御量分配部３０に送出する。
【００７９】
デバイス制御量分配部３０は、上述したレンズドライバ８Ａ、タイミングジェネレータ１４Ａ及び増幅部２０Ａと同様に、露出制御信号ＳＣＥＢにより示される露出制御量に基づき、レンズドライバ８Ｂを制御する絞り制御量、タイミングジェネレータ１４Ｂを制御するシャッタースピード制御量及び増幅部２０Ｂを制御する増幅率制御量を算出する。
【００８０】
デバイス制御量分配部３０は、上述した単眼撮像状態と同様の処理を行うことにより、絞り１０Ｂ、撮像素子１２Ｂ及び増幅部２０Ｂを制御し、被写体光の光量を変化させると共に左目用画像データＤＳＢ２の明るさを変化させる。
【００８１】
［１−４．単眼撮像状態の動作］
上述したように、システムコントローラ２は、撮像切替部６により指定される単眼撮像又は複眼撮像に応じて、増幅部２０Ａ及び２０Ｂを制御する増幅率制御量を変更するようになされている。
【００８２】
システムコントローラ２は、撮像切替部６により単眼撮像が指定された場合、図５に示すプログラム線図のように、露出制御量の変化に対して絞り、シャッタースピード及び増幅率を変化させる。因みに図５においては、単眼撮像状態の増幅率の変化だけでなく、複眼撮像状態の増幅率の変化も合わせて図示している。
【００８３】
以下では、露出制御量を第１制御量ＥＶ１から第２制御量ＥＶ２まで変化させる、すなわち暗いシーンの撮像（暗所撮像）から明るいシーンの撮像（明所撮像）へ移るに従い右目用画像データＤＳＡ２の輝度レベルを下げていくよう制御する場合について説明する。第１制御量ＥＶ１においては、増幅率は１８［ｄＢ］、シャッタースピードは１／６０［秒］、絞りはＦ１．８となっている。
【００８４】
第１制御量ＥＶ１から露出制御量が大きくなっていくと、まず変化点ＣＰ１から変化点ＣＰ２に向かって徐々に増幅率が１８［ｄＢ］から０［ｄＢ］へ低下していく。因みに図５においては、縦軸の上方に向かうほど増幅率が低下するように記載している。
【００８５】
続いて変化点ＣＰ２からさらに露出制御量が大きくなると、既に増幅率は０［ｄＢ］となっているため、変化点ＣＰ３に向かって徐々にシャッタースピードが１／６０［秒］から１／１００［秒］へ変化していくことにより、シャッタースピードが速くなっていく。
【００８６】
その後変化点ＣＰ３から変化点ＣＰ４に向かって、徐々に絞りがＦ１．８からＦ４．０へ変化してくことにより、絞りが絞られていく。
【００８７】
変化点ＣＰ４から変化点ＣＰ５にかけては、徐々にシャッタースピードが１／１００［秒］から１／５００［秒］へ変化していくことにより、シャッタースピードがさらに速くなっていく。
【００８８】
変化点ＣＰ５から第２制御量ＥＶ２にかけては、徐々に絞りがＦ４．０からＦ８．０へ変化していくことにより、さらに絞りが絞られていく。
【００８９】
このように、単眼撮像状態においてシステムコントローラ２は、暗所撮像を行っており露出制御量が最も小さいとき（すなわち第１制御量ＥＶ１）、増幅率を１８［ｄＢ］とする。さらにシステムコントロータ２は、その増幅率１８［ｄＢ］を最大値（増幅率最大値とも呼ぶ）として、その後露出制御量が大きくなるに従い増幅率を小さくしていくことにより、右目用画像データＤＳＡ２の輝度レベルを下げて暗くしていくようになされている。
【００９０】
［１−５．複眼撮像状態の動作］
一方システムコントローラ２は、撮像切替部６により複眼撮像が指定された場合、単眼撮像の場合とは異なるプログラム線図に従って増幅率制御量を変更するようになされている。
【００９１】
さらにシステムコントローラ２は、現在撮像しているシーンにおける立体感にも応じて、異なるプログラム線図に従って増幅率制御量を変更するようにもなされている。このため、以下ではまず立体感の検出方法について説明する。
【００９２】
［１−５−１．立体感の検出］
図６（Ａ）に示すように、立体感が小さいシーンの場合、撮像装置１に対して奥側に位置する奥側被写体ＢＯと、手前側に位置する手前側被写体ＦＯとが近接している。このように、立体感が小さいシーンとは、奥側被写体ＢＯと手前側被写体ＦＯとの奥行き差が小さいシーンのことを指している。
【００９３】
この場合、右目用画像データＤＳＡ２により示される右目用画像ＲＹＰと左目用画像データＤＳＢ２により示される左目用画像ＬＹＰとにおいては、それぞれ奥側被写体ＢＯと手前側被写体ＦＯとの位置ずれが小さくなっている。
【００９４】
一方図６（Ｂ）に示すように、立体感が大きいシーンの場合、立体感が小さいシーンと比較して、奥側被写体ＢＯと手前側被写体ＦＯとが離隔している。このように、立体感が大きいシーンとは、奥側被写体ＢＯと手前側被写体ＦＯとの奥行き差が大きいシーンのことを指している。
【００９５】
この場合、立体感が小さいシーンと比較して、右目用画像ＲＹＰと左目用画像ＬＹＰとにおいては、それぞれ奥側被写体ＢＯと手前側被写体ＦＯとの位置ずれが大きくなっている。
【００９６】
立体感検出部１８（図１）は、メモリ５から右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２を読み出して、現在のシーンの立体感の検出を行う。
【００９７】
具体的に立体感検出部１８は、右目用画像ＲＹＰと左目用画像ＬＹＰとに対し、例えば縦方向８画素×横方向８画素等の一定の領域ごとにマッチングを取る。これにより立体感検出部１８は、図７（Ａ）に示すように、右目用画像ＲＹＰの奥側被写体ＢＯと左目用画像ＬＹＰの奥側被写体ＢＯとの視差を示す複数の奥側視差ベクトルＢＤＩＳを検出する。
【００９８】
続いて立体感検出部１８は、検出した複数の奥側視差ベクトルＢＤＩＳのうちからベクトル量が最も小さい視差ベクトルを、奥側最小視差ベクトルＳＢＤＩＳとして選択する。
【００９９】
さらに立体感検出部１８は、右目用画像ＲＹＰの手前側被写体ＦＯと左目用画像ＬＹＰの手前側被写体ＦＯとの視差を示す複数の手前側視差ベクトルＦＤＩＳを検出する。
【０１００】
続いて立体感検出部１８は、検出した複数の手前側視差ベクトルＦＤＩＳうちからベクトル量が最も大きい視差ベクトルを、手前側最大視差ベクトルＢＦＤＩＳとして選択する。
【０１０１】
その後立体感検出部１８は、奥側最小視差ベクトルＳＢＤＩＳと手前側最大視差ベクトルＢＦＤＩＳとの差分を取ることにより、差分ベクトルＤＤＩＳ１を算出する。
【０１０２】
図７（Ｂ）に示したように立体感が大きいシーンの場合、上述と同様にして算出された差分ベクトルＤＤＩＳ２は、図７（Ａ）の立体感が小さいシーンにおける差分ベクトルＤＤＩＳ１と比較して大きくなっている。
【０１０３】
このように立体感検出部１８は、立体感が小さいシーンの場合は奥側最小視差ベクトルＳＢＤＩＳと手前側最大視差ベクトルＢＦＤＩＳとの差分が小さいため、小さい差分ベクトルＤＤＩＳ１を検出する。
【０１０４】
これに対し立体感が大きいシーンの場合、奥側最小視差ベクトルＳＢＤＩＳと手前側最大視差ベクトルＢＦＤＩＳとの差分が大きいため、立体感検出部１８は、立体感が小さいシーンと比較して大きい差分ベクトルＤＤＩＳ２を検出する。
【０１０５】
このように立体感検出部１８は、差分ベクトルの大きさを立体感の大きさとして検出する。立体感検出部１８は、このように算出した差分ベクトルの絶対値を、シーンの立体感を表す立体感検出値とし、当該立体感検出値を立体感検出値ＳＤＭとしてシステムコントローラ２（図２）におけるデバイス制御量分配部３０に送出するようになされている。
【０１０６】
［１−５−２．立体感が大きい場合のプログラム線図］
システムコントローラ２は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が大きいと検出された場合、図５に示したプログラム線図のように露出制御量の変化に対して絞り、シャッタースピード及び増幅率を変化させる。
【０１０７】
以下では、上述した単眼撮像状態と同様に、露出制御量を第１制御量ＥＶ１から第２制御量ＥＶ２まで変化させる、すなわち暗所撮像から明所撮像へ移るに従い右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２の輝度レベルを下げていくよう制御する場合について説明する。
【０１０８】
また以下の説明においては、立体感検出値が所定の最大値に達しており、立体感が最大である状態とする。第１制御量ＥＶ１においては、増幅率は１２［ｄＢ］、シャッタースピードは１／６０［秒］、絞りはＦ１．８となっている。
【０１０９】
第１制御量ＥＶ１から露出制御量を大きくしていくと、まず変化点ＣＰ１０から変化点ＣＰ２に向かって徐々に増幅率が１２［ｄＢ］から０［ｄＢ］へ低下していく。その後変化点ＣＰ２から第２制御量ＥＶ２にかけては、上述した単眼撮像状態と同様のプログラム線図となっているため説明を省略する。
【０１１０】
このように複眼撮像状態においてシステムコントローラ２は、立体感が最大である場合、露出制御量が小さい状態における増幅率（１２［ｄＢ］）を増幅率最大値として、その後露出制御量が大きくなるにつれて増幅率を低下させていく。
【０１１１】
このため、複眼撮像状態に立体感が最大である場合における増幅率最大値（１２［ｄＢ］）は、単眼撮像状態における増幅率最大値（１８［ｄＢ］）よりも小さくなっている。
【０１１２】
［１−５−３．立体感が小さい場合のプログラム線図］
システムコントローラ２は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が小さいと検出された場合、図５に示したプログラム線図のように露出制御量の変化に対して絞り、シャッタースピード及び増幅率を変化させる。
【０１１３】
以下の説明においては、立体感検出値が所定の最小値に達しており、立体感が最小である状態とする。第１制御量ＥＶ１においては、増幅率は９［ｄＢ］、シャッタースピードは１／６０［秒］、絞りはＦ１．８となっている。
【０１１４】
第１制御量ＥＶ１から露出制御量を大きくしていくと、まず変化点ＣＰ２０から変化点ＣＰ２に向かって徐々に増幅率が９［ｄＢ］から０［ｄＢ］へ低下していく。その後変化点ＣＰ２０から第２制御量ＥＶ２にかけては、上述した単眼撮像状態と同様のプログラム線図となっているため説明を省略する。
【０１１５】
このように複眼撮像状態においてシステムコントローラ２は、立体感が最小である場合、露出制御量が小さい状態における増幅率（９［ｄＢ］）を増幅率最大値として、その後露出制御量が大きくなるにつれて増幅率を低下させていく。
【０１１６】
このため、複眼撮像状態において立体感が最小である場合における増幅率最大値（９［ｄＢ］）は、単眼撮像状態における増幅率最大値（１８［ｄＢ］）よりも小さくなっている。
【０１１７】
以上においては複眼撮像状態における立体感が最小である場合と最大である場合とについて説明した。これに対し立体感が最小と最大との間であった場合、システムコントローラ２は、９［ｄＢ］と１２［ｄＢ］との間である複眼撮像状態増幅率範囲ＰＧＲ（図５）の範囲内である、例えば１０［ｄＢ］等に増幅率最大値を設定する。
【０１１８】
また複眼撮像状態においては、立体感が最小である場合又は最大である場合のいずれにおいても、増幅率最大値はそれぞれ９［ｄＢ］と１２［ｄＢ］となっているため、単眼撮像状態の増幅率最大値である１８［ｄＢ］よりも小さくなっている。
【０１１９】
ところで、上述したようにデジタル信号処理部１７Ａ及び１７Ｂ（図２）のノイズ除去部２３Ａ及び２３Ｂにおいては、デジタル画像信号ＤＳＡ１及びＤＳＢ１に対しノイズ除去処理を行う。これによりノイズ除去部２３Ａ及び２３Ｂは、記憶部４に記憶される右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２に含まれるノイズを低減する。
【０１２０】
しかしながらそのようなノイズ除去を行っても、ノイズ除去部２３Ａ及び２３Ｂはノイズを完全には除去できない可能性がある。このため、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２にはノイズが残留する場合がある。
【０１２１】
特に暗所撮像時においては、デジタル画像信号ＤＳＡ１及びＤＳＢ１を大きく増幅することにより画像表示の明るさを保つため、当該デジタル画像信号ＤＳＡ１及びＤＳＢ１に含まれるノイズも増幅されてしまう。
【０１２２】
このためノイズ除去部２３Ａ及び２３Ｂは、そのような増幅されたノイズを除去しきれないことがある。従って、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２には残留ノイズが発生してしまうことがある。
【０１２３】
ここで、単眼撮像を行うことにより記憶された右目用画像データＤＳＡ２を所定の表示装置において視聴者が視聴する場合は、仮に当該右目用画像データＤＳＡ２にノイズが含まれていたとしても、表示装置に表示される画像は右目用画像データＤＳＡ２に基づく画像のみであるため、視聴者は左右の目で同じノイズを認識する。
【０１２４】
このため単眼撮像を行うことにより記憶された右目用画像データＤＳＡ２を視聴する場合、視聴者は左目用画像データＤＳＢ２を視聴しないため、左目用画像データＤＳＢ２と右目用画像データＤＳＡ２との画像の差によるちらつきを感じることはない。
【０１２５】
これに対し、複眼撮像を行うことにより記憶された合成画像データＤＭを所定の表示装置において視聴者が立体視で視聴する場合は、仮に当該合成画像データＤＭにノイズが含まれていると、視聴者は左右の目で、左右の画像にそれぞれ残留し時間経過とともにそれぞれランダムに変化するノイズを別々に視認する。
【０１２６】
このため合成画像データＤＭに含まれる左目用画像データＤＳＢ２と右目用画像データＤＳＡ２とに差が生じることとなり、視聴者は、視聴している画面がちらついたり、ノイズが奥行き方向に分布をもって見えたりすることになる。
【０１２７】
よって、仮に単眼撮像状態の増幅率最大値（１８［ｄＢ］）を、そのまま複眼撮像状態に適用してしまうと、デジタル画像信号ＤＳＡ１及びＤＳＢ１に含まれる残留ノイズの影響で、視聴者が合成画像データＤＭを視聴する際に大きなちらつきが発生してしまうこととなる。すなわち、複眼撮像状態においては、単眼撮像状態よりも許容される残留ノイズ量が小さいと言える。
【０１２８】
このため撮像装置１は、複眼撮像状態の増幅率最大値を、単眼撮像状態の増幅率最大値よりも小さくするようになされている。
【０１２９】
これにより撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に、複眼撮像状態における増幅率最大値までデジタル画像信号ＤＳＡ１及びＤＳＢ１を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１３０】
また図５に示したように、複眼撮像状態においては、立体感が最大である場合の増幅率最大値（１２［ｄＢ］）の方が、立体感が最小である場合の増幅率最大値（９［ｄＢ］）よりも大きくなっている。
【０１３１】
ここで、撮像しているシーンの立体感が大きい場合、合成画像データＤＭに多少の残留ノイズが含まれていても、視聴者は、奥行方向に分布を持って見えるノイズの影響をあまり受けることなく、立体感を損なわずに視聴することができる。
【０１３２】
これに対し、撮像しているシーンの立体感が小さい場合、合成画像データＤＭに残留ノイズが含まれていると、視聴者は、奥行方向に分布を持つノイズに画像の立体感が埋もれてしまうように視認してしまうため、立体感を感じにくくなってしまう。
【０１３３】
すなわち、立体感が小さい場合は大きい場合よりも許容される残留ノイズ量が小さいと言える。
【０１３４】
このため撮像装置１は、複眼撮像状態において、立体感が最小である場合の増幅率最大値（９［ｄＢ］）を、立体感が最大である場合の増幅率最大値（１２［ｄＢ］）よりも小さくするようになされている。
【０１３５】
これにより撮像装置１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に、立体感が小さい場合の増幅率最大値までデジタル画像信号ＤＳＡ１及びＤＳＢ１を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１３６】
［１−５−４．立体感の変化に対する増幅率の変化］
ところで上述したように、システムコントローラ２は、複眼撮像状態においては増幅率最大値を立体感に応じて９［ｄＢ］から１２［ｄＢ］まで複眼撮像状態増幅率範囲ＰＧＲ（図５）の範囲内で変化させる。
【０１３７】
以下では、複眼撮像状態における立体感検出値の変化に対する増幅率の変化について説明する。図８に示す立体感検出値と増幅率との関係のように、増幅率は、立体感が最小である場合の９［ｄＢ］から立体感が最大である場合の１２［ｄＢ］へ向けて、増幅率線ＧＬに沿って徐々に大きくなっていく。
【０１３８】
ここで、例えば現在の増幅率が点Ｐ０にある状態で、立体感検出値が大きくなっていく場合、デバイス制御量分配部３０は、立体感検出値が点Ｐ１に達するまでは増幅率を増加させず、点Ｐ１に達すると閾値線ＳＨＬ１に沿うように増加させていく。
【０１３９】
同様に、増幅率が点Ｐ０にある状態で、立体感検出値が小さくなっていく場合、デバイス制御量分配部３０は、立体感検出値が点Ｐ２に達するまでは増幅率を減少させず、点Ｐ２に達すると閾値線ＳＨＬ２に沿うように減少させていく。
【０１４０】
このように立体感検出値が所定の値から変化した場合、デバイス制御量分配部３０は、増幅率線ＧＬにおける現在の地点から立体感検出値が閾値線ＳＨＬ１及びＳＨＬ２までの距離である立体感閾値ＳＨＭだけ変化して閾値線ＳＨＬ１又はＳＨＬ２に達するまでは、増幅率を変化させないようになされている。
【０１４１】
このように撮像装置１は、立体感検出値が多少変化しただけでは増幅率を変化させないようにすることにより、視聴者が画像を視聴する際にシーンの立体感が少しでも変化する度に画面の明るさが変化することを防ぎ、自然な画面表示をさせることができる。
【０１４２】
また図８に示したように、閾値線ＳＨＬ１及びＳＨＬ２は、立体感検出値が大きくなるにつれて徐々に増幅率線ＧＬに対してそれぞれ右方向及び左方向に広がるように設定されている。このため、立体感検出値が大きくなるにつれて立体感閾値ＳＨＭは大きくなっていく。
【０１４３】
このように撮像装置１は、立体感が小さい場合は、立体感が大きい場合よりも立体感検出値の小さな変化に応じて増幅率を変化させることにより、立体感の小さな変化に応じて画面の明るさを細かく変化させることができる。
【０１４４】
また撮像装置１は、立体感が大きい場合、ある程度立体感検出値が変化しなければ増幅率を変化させないようになされている。
【０１４５】
立体感が大きい場合は、立体感が小さい場合と比べて増幅率が大きいため、残留ノイズも大きくなっている。
【０１４６】
このように立体感が大きい状態において、立体感の小さな変化に応じて増幅率を細かく変化させると、表示される画像に含まれるノイズが細かく変化してしまうため、視聴者が画像を視聴する際にちらつきを感じやすくなってしまう。
【０１４７】
これに対し撮像装置１は、立体感が大きい場合、ある程度立体感検出値が変化しなければ増幅率を変化させないため、視聴者が画像を視聴する際にちらつきを感じにくくすることができる。
【０１４８】
［１−６．単眼撮像状態と複眼撮像状態との切り替え］
上述したように、撮像装置１は、撮像切替部６を操作されることにより単眼撮像状態と複眼撮像状態とを切り替えるようになされている。
【０１４９】
本実施の形態においてシステムコントローラ２は、現在単眼撮像を行っている状態において、操作部３を介したユーザの操作により同時表示モードが選択されると、左目撮像ユニットＬＩＦ１を動作させることにより、右目用画像データＤＳＡ２に加えて左目用画像データＤＳＢ２をメモリ５に格納する。
【０１５０】
またシステムコントローラ２は、メモリ５から右目用画像データＤＳＡ２を読み出してモニタ７に送出することにより、図９に示すように右目用画像ＲＹＰをモニタ７の右部分に表示させる。
【０１５１】
さらにシステムコントローラ２は、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２をメモリ５から読み出して画像合成部１９において合成することにより、合成画像データＤＭを生成する。
【０１５２】
システムコントローラ２は、画像合成部１９を制御して合成画像データＤＭをモニタ７に送出させることにより、合成画像ＤＰ（図９）をモニタ７の左部分に表示させる。
【０１５３】
このようにシステムコントローラ２は、単眼撮像状態において同時表示モードが選択されると、右目用画像ＲＹＰ及び合成画像ＤＰを同一画面に並べて表示するようになされている。
【０１５４】
一方システムコントローラ２は、複眼撮像状態において同時表示モードが選択されると、メモリ５から右目用画像データＤＳＡ２及び合成画像データＤＭを読み出してモニタ７に送出することにより、右目用画像ＲＹＰ（図９）をモニタ７の右部分に、合成画像ＤＰを左部分にそれぞれ表示させる。
【０１５５】
このようにシステムコントローラ２は、複眼撮像状態においても、同時表示モードが選択されると、右目用画像ＲＹＰ及び合成画像ＤＰをモニタ７の同一画面に並べて表示するようになされている。
【０１５６】
上述したように、複眼撮像状態においては単眼撮像状態に比べて増幅率が小さく設定されるため、ユーザが単眼撮像を行っている状態から複眼撮像状態に切り替えると、生成された合成画像データＤＭに基づき視聴者が視聴する画面表示が暗くなりすぎてしまう可能性がある。
【０１５７】
また逆に、単眼撮像状態においては、複眼撮像状態に比べて増幅率が高く設定されるため、ユーザが複眼撮像を行っている状態から単眼撮像状態に切り替えると、生成された右目用画像ＲＹＰに基づき視聴者が視聴する画面表示が明るくなりすぎてしまう可能性がある。
【０１５８】
これに対し本実施の形態によれば、ユーザが同時表示モードを選択した場合、システムコントローラ２は、単眼撮像状態における右目用画像ＲＹＰと複眼撮像状態における合成画像ＤＰとの両方の画像を同時にモニタ７に表示する。
【０１５９】
これにより撮像装置１は、ユーザが単眼撮像状態と複眼撮像状態とを切り替えた場合に生成した画像データにより示される画面表示を、予めユーザに提示することができる。
【０１６０】
このためユーザは、現在の撮像状態を切り替えるとどのような画面表示になるかを、撮像状態を切り替える以前に認識することができるため、画面表示が適切な明るさとなるように撮像装置１における増幅率を調整することができる。
【０１６１】
［１−７．動作及び効果］
以上の構成において、撮像装置１は、単眼撮像状態の増幅率最大値よりも複眼撮像状態の増幅率最大値を小さくするようにした。
【０１６２】
単眼撮像により生成された右目用画像データＤＳＡ２に残留ノイズが含まれていたとしても、視聴者は左右の目で同じ残留ノイズを視認するため、視聴者はちらつきを感じることはない。
【０１６３】
一方複眼撮像により生成された合成画像データＤＭに残留ノイズが含まれていると、視聴者の左右の目には異なる残留ノイズが視認されるため、視聴者はちらつきを感じてしまう。
【０１６４】
これに対し本実施の形態においては、単眼撮像状態の増幅率最大値よりも複眼撮像状態の増幅率最大値を小さくするようにした。このため、撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に、複眼撮像状態における増幅率最大値まで画像信号を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１６５】
また撮像装置１は、複眼撮像状態において、立体感が大きい場合の増幅率最大値よりも立体感が小さい場合の増幅率最大値を小さくするようにした。
【０１６６】
撮像しているシーンの立体感が大きい場合、合成画像データＤＭに多少の残留ノイズが含まれていても、視聴者は、奥行方向に分布を持って見えるノイズの影響をあまり受けることなく、立体感を損わずに視聴することができる。
【０１６７】
一方撮像しているシーンの立体感が小さい場合、合成画像データＤＭに残留ノイズが含まれていると、視聴者は、奥行方向に分布を持つノイズに画像の立体感が埋もれてしまうように視認してしまうため、立体感を感じにくくなってしまう。
【０１６８】
これに対し本実施の形態においては、複眼撮像状態において、立体感が大きい場合の増幅率最大値よりも立体感が小さい場合の増幅率最大値を小さくするようにした。このため撮像装置１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に、立体感が小さい場合の増幅率最大値まで画像信号を増幅し画像を明るくすることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０１６９】
以上の構成によれば、撮像装置１は、撮像素子１２Ａで被写体を撮像することにより得られたアナログ画像信号ＡＳＡ１を増幅部２０Ａにおいて所定の増幅率最大値以下の増幅率で増幅する右目撮像ユニットＲＩＦ１を用いる単眼撮像状態か、被写体を右目撮像ユニットＲＩＦ１及び左目撮像ユニットＬＩＦ１で撮像する複眼撮像状態かを切り替えるようにした。また撮像装置１は、複眼撮像により被写体を撮像する際は、単眼撮像により被写体を撮像する際よりも、システムコントローラ２の制御により増幅率最大値を小さくするようにした。
【０１７０】
このため撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えないように、複眼撮像状態における画像信号の増幅を抑えることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、暗所撮像時の画質、明るさ及び立体感の知覚のバランスが取れた高品質な画像データを生成することができる。
【０１７１】
＜２．第２の実施の形態＞
［２−１．撮像装置の構成］
図１に示す第２の実施の形態による撮像装置１０１は、システムコントローラ１０２、デジタル信号処理部１１７Ａ及び１１７Ｂが第１の実施の形態による撮像装置１におけるシステムコントローラ２、デジタル信号処理部１７Ａ及び１７Ｂと異なっているものの、それ以外はほぼ同様に構成されている。
【０１７２】
図１０に示す第２の実施の形態によるシステムコントローラ１０２は、輪郭補正量制御部５０が追加されている点が第１の実施の形態によるシステムコントローラ２と異なっているものの、それ以外はほぼ同様に構成されている。
【０１７３】
また第２の実施の形態によるデジタル信号処理部１１７Ａ及び１１７Ｂは、輪郭補正部５１Ａ及び５１Ｂが追加されている点が第１の実施の形態によるデジタル信号処理部１７Ａ及び１７Ｂと異なっているものの、それ以外はほぼ同様に構成されている。
【０１７４】
撮像装置１０１（図１）は、撮像装置１と同様に、単眼撮像状態においては右目撮像ユニットＲＩＦ２を含む単眼撮像系１０１Ａの構成を動作させる一方、複眼撮像状態においては右目撮像ユニットＲＩＦ２及び左目撮像ユニットＬＩＦ２を含む複眼撮像系１Ｂの構成を動作させる。
【０１７５】
輪郭補正部５１Ａ及び５１Ｂ（図１０）は、輪郭補正信号ＳＣＣＡ及びＳＣＣＢを輪郭補正量制御部５０から受信することにより、輪郭の強調をどの程度行うかを表す輪郭補正量を取得し、当該輪郭補正量に応じて輪郭補正処理を行うようになされている。
【０１７６】
輪郭補正量制御部５０は、撮像切替部６から撮像切替信号ＳＳＭを取得すると、当該撮像切替信号ＳＳＭが示す複眼撮像状態又は単眼撮像状態いずれかに応じて、輪郭補正量を変更する。
【０１７７】
また輪郭補正量制御部５０は、立体感検出信号ＳＤＭを立体感検出部１８から取得すると、当該立体感検出信号ＳＤＭに基づき輪郭補正量を変更する。
【０１７８】
因みに輪郭補正量制御部５０は、操作部３を介したユーザの操作に応じて、輪郭補正量を制御するようにもなされている。
【０１７９】
右目撮像ユニットＲＩＦ２（図１）により被写体の撮像が行われると、デジタル信号処理部１１７Ａは、増幅部２０Ａ、ホワイトバランス調整部２１Ａ及びガンマ補正部２２Ａを介して、デジタル画像信号ＤＳＡ１を輪郭補正部５１Ａに入力する。
【０１８０】
輪郭補正部５１Ａは、輪郭補正量制御部５０の制御に基づき、デジタル画像信号ＤＳＡ１に対し輪郭補正処理を施し、ノイズ除去部２３Ａに送出する。
【０１８１】
ノイズ除去部２３Ａは、デジタル画像信号ＤＳＡ１に含まれるノイズを低減し、右目用画像データＤＳＡ２としてメモリ５に送出する。
【０１８２】
一方左目撮像ユニットＬＩＦ２（図１）により被写体の撮像が行われると、デジタル信号処理部１１７Ｂはデジタル信号処理部１１７Ａと同様に、増幅部２０Ｂ、ホワイトバランス調整部２１Ｂ及びガンマ補正部２２Ｂを介して、デジタル画像信号ＤＳＢ１を輪郭補正部５１Ｂに入力する。
【０１８３】
輪郭補正部５１Ｂ及びノイズ除去部２３Ｂは、輪郭補正部５１Ａ及びノイズ除去部２３Ａと同様の処理を実行し、左目用画像データＤＳＢ２をメモリ５に送出する。
【０１８４】
［２−２．輪郭補正処理］
［２−２−１．単眼撮像状態の輪郭補正処理］
撮像切替部６を介したユーザの操作により単眼撮像が指定された場合、輪郭補正部５１Ａは、以下に述べる単眼撮像状態の輪郭補正処理を実行することにより、デジタル画像信号ＤＳＡ１に対し輪郭補正処理を行う。
【０１８５】
輪郭補正量制御部５０は、輪郭補正量を単眼輪郭補正値に設定し、当該輪郭補正量を示す輪郭補正信号ＳＣＧＡを輪郭補正部５１Ａに送出する。
【０１８６】
輪郭補正部５１Ａは、デジタル画像信号ＤＳＡ１から、図１１に示す輝度信号ＳＢＡを抽出する。
【０１８７】
輪郭補正処理を行う以前の当該輝度信号ＳＢＡは、図１１に示したように、デジタル画像信号ＤＳＡ１の所定の１ラインにおける画素位置の変化に対し、なだらかに信号レベルが変化している。このような輝度信号を含む画像信号により示される画像は、輪郭がなだらかに変化する画像となる。
【０１８８】
輪郭補正部５１Ａは、輝度信号ＳＢＡに対し所定の信号処理を行い、当該輝度信号ＳＢＡの高周波成分を補正信号ＳＣＡとして抽出する。
【０１８９】
また輪郭補正部５１Ａは、単眼輪郭補正値に応じた輪郭補正増幅率で補正信号ＳＣＡを増幅し、増幅補正信号ＳＧＣＡを生成する。ここで輪郭補正部５１Ａは、輪郭補正量制御部５０から取得した輪郭補正信号ＳＣＣＡにより示される輪郭補正量が大きい（すなわち輪郭を強調する度合が大きい）ほど、輪郭補正増幅率を大きくするようになされている。
【０１９０】
さらに輪郭補正部５１Ａは、輝度信号ＳＢＡと増幅補正信号ＳＧＣＡとを加算し、補正輝度信号ＳＣＢＡを生成する。当該補正輝度信号ＳＣＢＡは輝度信号ＳＢＡと比較して、信号レベルの変化が急峻となっている。
【０１９１】
このように輪郭補正部５１Ａは、輝度信号ＳＢＡから抽出された補正信号ＳＣＡを輪郭補正量に応じた輪郭補正増幅率で増幅した増幅補正信号ＳＧＣＡを、輝度信号ＳＢＡに加算することにより、デジタル画像信号ＤＳＡ１に含まれる輝度信号ＳＢＡを補正後輝度信号ＳＣＢＡに変換する。
【０１９２】
これにより輪郭補正部５１Ａは、デジタル画像信号ＤＳＡ１に基づき表示される画像の輪郭を強調するよう補正することができる。
【０１９３】
［２−２−２．複眼撮像状態の輪郭補正処理］
一方、撮像切替部６（図１０）を介したユーザの操作により複眼撮像が指定された場合、輪郭補正部５１Ａ及び５１Ｂは、以下に述べる複眼撮像状態の輪郭補正処理を実行することにより、デジタル画像信号ＤＳＡ１及びＤＳＢ１に対し輪郭補正処理を行う。複眼撮像状態において輪郭補正量制御部５０は、立体感に応じて輪郭補正量を調整する。
【０１９４】
［２−２−２−１．立体感が大きい場合の輪郭補正処理］
輪郭補正量制御部５０は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が大きいと検出された場合、単眼輪郭補正値よりも小さな輪郭補正量を示す輪郭補正信号ＳＣＣＡ及びＳＣＣＢを、輪郭補正部５１Ａ及び５１Ｂそれぞれに送出する。
【０１９５】
また以下の説明においては、立体感検出値が所定の最大値に達しており、立体感が最大である状態とする。このとき輪郭補正量制御部５０は、複眼撮像状態における最大の輪郭補正量を表す複眼輪郭補正量最大値を輪郭補正量とする。
【０１９６】
輪郭補正部５１Ａ及び５１Ｂは、デジタル画像信号ＤＳＡ１及びＤＳＢ１から図１２に示す輝度信号ＳＢＢを抽出して、当該輝度信号ＳＢＢに対し所定の信号処理を行い、当該輝度信号ＳＢＢの高周波成分を補正信号ＳＣＢとして抽出する。
【０１９７】
輪郭補正部５１Ａ及び５１Ｂは、複眼輪郭補正量最大値に応じて、単眼撮像状態よりも小さく、且つ複眼撮像状態においては最大となる輪郭補正増幅率で補正信号ＳＣＢを増幅することにより、増幅補正信号ＳＧＣＢ１を生成する。
【０１９８】
図１２に示すように、増幅補正信号ＳＧＣＢ１は増幅補正信号ＳＧＣＡと比較して、振幅が小さくなっている。
【０１９９】
続いて輪郭補正部５１Ａ及び５１Ｂは、輝度信号ＳＢＢに増幅補正信号ＳＧＣＢ１を加算し、補正輝度信号ＳＣＢＢ１を生成する。当該補正輝度信号ＳＣＢＢ１は輝度信号ＳＢＢと比較して、信号レベルの変化が急峻となっている。
【０２００】
また補正輝度信号ＳＣＢＢ１は、単眼撮像状態における補正輝度信号ＳＣＢＡと比較して、信号レベルの変化が緩やかになっている。このため輪郭補正部５１Ａ及び５１Ｂは、複眼撮像状態に立体感が最大である場合、単眼撮像状態と比較してデジタル画像信号ＤＳＡ１及びＤＳＢ１に対する輪郭補正の度合を小さくするようになされている。
【０２０１】
このように輪郭補正部５１Ａ及び５１Ｂは、立体感が最大である場合、複眼輪郭補正量最大値に応じて輪郭補正増幅率で補正信号ＳＣＢを増幅する。
【０２０２】
また、複眼撮像状態に立体感が最大である場合の輪郭補正量は複眼輪郭補正量最大値であり、単眼撮像状態における輪郭補正量である単眼輪郭補正値よりも小さくなっている。
【０２０３】
［２−２−２−２．立体感が小さい場合の輪郭補正処理］
これに対し、輪郭補正量制御部５０は、撮像切替部６により複眼撮像が指定され、さらに立体感検出部１８により立体感が小さいと検出された場合、単眼輪郭補正値よりも小さく、且つ複眼輪郭補正量最大値よりも小さい輪郭補正量を示す輪郭補正信号ＳＣＣＡ及びＳＣＣＢを、輪郭補正部５１Ａ及び５１Ｂそれぞれに送出する。
【０２０４】
また以下の説明においては、立体感検出値が所定の最小値に達しており、立体感が最小である状態とする。このとき輪郭補正量制御部５０は、複眼撮像状態における最小の輪郭補正量を表す複眼輪郭補正量最小値を輪郭補正量とする。
【０２０５】
この場合輪郭補正部５１Ａ及び５１Ｂは、複眼輪郭補正量最小値に応じて、単眼撮像状態よりも小さく、且つ複眼撮像状態においては最小となる輪郭補正増幅率で補正信号ＳＣＢを増幅することにより、増幅補正信号ＳＧＣＢ２を生成する。
【０２０６】
図１２に示すように、増幅補正信号ＳＧＣＢ２は、増幅補正信号ＳＧＣＡ及び増幅補正信号ＳＧＣＢ１のどちらよりも振幅が小さくなっている。
【０２０７】
続いて輪郭補正部５１Ａ及び５１Ｂは、輝度信号ＳＢＢに増幅補正信号ＳＧＣＢ２を加算し、補正輝度信号ＳＣＢＢ２を生成する。当該補正輝度信号ＳＣＢＢ２は輝度信号ＳＢＢと比較して、信号レベルの変化が急峻となっている。
【０２０８】
また補正輝度信号ＳＣＢＢ２は、複眼撮像状態における補正輝度信号ＳＣＢＢ１よりも、さらに信号レベルの変化が緩やかになっている。
【０２０９】
このため輪郭補正部５１Ａ及び５１Ｂは、複眼撮像状態に立体感が最大である場合と比較して、デジタル画像信号ＤＳＡ１及びＤＳＢ１に対する輪郭補正の度合をさらに小さくするようになされている。
【０２１０】
このように輪郭補正部５１Ａ及び５１Ｂは、立体感が最小である場合、複眼輪郭補正量最小値に応じて輪郭補正増幅率で補正信号ＳＣＢを増幅するようになされている。
【０２１１】
また、複眼撮像状態に立体感が最小である場合における輪郭補正量は複眼輪郭補正量最小値であり、単眼輪郭補正値よりも小さく、且つ複眼輪郭補正量最大値よりも小さくなっている。
【０２１２】
以上においては複眼撮像状態における立体感が最小である場合と最大である場合とについて説明した。これに対し立体感が最小と最大との間であった場合、輪郭補正量制御部５０は、複眼輪郭補正量最小値と複眼輪郭補正量最大値との間である複眼撮像状態輪郭補正量範囲の範囲内に輪郭補正量を設定する。
【０２１３】
上述したように輪郭補正部５１Ａ及び５１Ｂは、デジタル画像信号ＤＳＡ１及びＤＳＢ１から輝度信号ＳＢＢを抽出した後に、当該輝度信号ＳＢＢの高周波成分を補正信号ＳＣＢとして抽出し、当該補正信号ＳＣＢを増幅する。
【０２１４】
このため輪郭補正部５１Ａ及び５１Ｂは、補正信号ＳＣＢを増幅する際、デジタル画像信号ＤＳＡ１及びＤＳＢ１に含まれていたノイズもまた増幅してしまうこととなる。
【０２１５】
よって、ノイズ除去部２３Ａ及び２３Ｂはノイズを完全には除去できない可能性がある。このため、右目用画像データＤＳＡ２及び左目用画像データＤＳＢ２にはノイズが残留する場合がある。
【０２１６】
ここで、上述したように複眼撮像状態においては、単眼撮像状態よりも許容される残留ノイズ量が小さいと言える。
【０２１７】
このため輪郭補正量制御部５０は、複眼撮像状態の輪郭補正量を、単眼撮像状態の輪郭補正量よりも小さくするようになされている。
【０２１８】
これにより撮像装置１０１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に、複眼撮像状態における複眼輪郭補正量最大値まで輪郭補正量を抑えることで、デジタル画像信号ＤＳＡ１及びＤＳＢ１の輪郭補正処理を行い解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２１９】
また、上述したように、立体感が小さい場合は大きい場合よりも許容される残留ノイズ量が小さいと言える。
【０２２０】
これに対し、複眼撮像状態において輪郭補正制御部５０は、立体感が最大である場合には複眼輪郭補正量最大値を輪郭補正量とし、一方立体感が最小である場合には当該複眼輪郭補正量最大値よりも小さい複眼輪郭補正量最小値を輪郭補正量とするようにした。
【０２２１】
これにより撮像装置１０１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に、輪郭補正量を抑えることで、デジタル画像信号ＤＳＡ１及びＤＳＢ１の輪郭補正処理を行い解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２２２】
［２−３．立体感の変化に対する輪郭補正量の変化］
ところで上述したように、システムコントローラ１０２は、複眼撮像状態においては、立体感に応じて複眼輪郭補正量最小値から複眼輪郭補正量最大値まで複眼撮像状態輪郭補正量範囲ＰＣＲ（図１３）の範囲内で輪郭補正量を変化させるようになされている。
【０２２３】
以下では、複眼撮像状態における立体感検出値の変化に対する輪郭補正量の変化について説明する。図１３に示す立体感検出値と輪郭補正量との関係のように、輪郭補正量は、立体感が最小である場合の複眼輪郭補正量最小値から立体感が最大である場合の複眼輪郭補正量最大値へ向けて、輪郭補正線ＣＣＬに沿って徐々に大きくなっていく。
【０２２４】
ここで、例えば現在の輪郭補正量が点Ｐ１０にある状態で、立体感検出値が大きくなっていく場合、輪郭補正量制御部５０は、立体感検出値が点Ｐ１１に達するまでは輪郭補正量を増加させず、点Ｐ１１に達すると閾値線ＳＨＬ１１に沿うように増加させていく。
【０２２５】
同様に、輪郭補正量が点Ｐ１０にある状態で、立体感検出値が小さくなっていく場合、輪郭補正量制御部５０は、立体感検出値が点Ｐ１２に達するまでは輪郭補正量を減少させず、点Ｐ１２に達すると閾値線ＳＨＬ１２に沿うように減少させていく。
【０２２６】
このように立体感検出値が所定の値から変化した場合、輪郭補正量制御部５０は、輪郭補正線ＣＣＬにおける現在の地点から閾値線ＳＨＬ１１及びＳＨＬ１２までの距離である立体感閾値ＳＨＭだけ立体感検出値が変化して閾値線ＳＨＬ１１又はＳＨＬ１２に達するまでは、輪郭補正量を変化させないようになされている。
【０２２７】
このように撮像装置１０１は、立体感検出値が多少変化しただけでは輪郭補正量を変化させないようにすることにより、視聴者が画像を視聴する際にシーンの立体感が少しでも変化する度に画面に映る被写体の輪郭の見え方が変化することを防ぎ、自然な画面表示をさせるようにすることができる。
【０２２８】
［２−４．単眼撮像状態と複眼撮像状態との切り替え］
第１の実施の形態と同様に、撮像装置１０１は、操作部３を操作されることにより同時表示モードが選択されるようになされている。
【０２２９】
システムコントローラ１０２は、図１４に示すように右目用画像ＲＹＰをモニタ７の右部分に表示させると共に合成画像ＤＰを左部分に表示させる。このとき、合成画像ＤＰよりも右目用画像ＲＹＰの方が輪郭が強調された画像となっている。
【０２３０】
これにより撮像装置１０１は、ユーザが単眼撮像状態と複眼撮像状態とを切り替えた場合に生成した画像データにより示される画面表示を、予めユーザに提示することができる。
【０２３１】
このためユーザは、現在の撮像状態を切り替えるとどのような画面表示になるかを、撮像状態を切り替える以前に認識することができるため、画面に表示される被写体に適切な輪郭補正がなされるように撮像装置１０１における輪郭補正量を調整することができる。
【０２３２】
［２−５．動作及び効果］
以上の構成において、撮像装置１０１は、単眼撮像状態よりも複眼撮像状態の輪郭補正量を小さくするようにした。
【０２３３】
このため撮像装置１０１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えない程度に輪郭補正量を抑えて輪郭補正処理を行うことにより、解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２３４】
また、複眼撮像状態において撮像装置１０１は、立体感が最大である場合には複眼輪郭補正量最大値を輪郭補正量とし、一方立体感が最小である場合には当該複眼輪郭補正量最大値よりも小さい複眼輪郭補正量最小値を輪郭補正量とするようにした。
【０２３５】
このため撮像装置１０１は、立体感が大きい場合よりも低い、立体感が小さい場合の許容ノイズレベルを超えない程度に輪郭補正量を抑えて輪郭補正処理を行うことにより、解像感を向上させることができると共に、ノイズが軽減され立体感が感じられる画像データを生成することができる。
【０２３６】
以上の構成によれば、撮像装置１０１は、撮像素子１２Ａで被写体を撮像することにより得られたデジタル画像信号ＤＳＡ１に対し輪郭補正部５１Ａにおいて所定の輪郭補正量で輪郭補正処理を行う右目撮像ユニットＲＩＦ１を用いる単眼撮像状態か、被写体を右目撮像ユニットＲＩＦ１及び左目撮像ユニットＬＩＦ１で撮像する複眼撮像状態かを切り替えるようにした。また撮像装置１０１は、複眼撮像により被写体を撮像する際は、単眼撮像により被写体を撮像する際よりも、システムコントローラ２の制御により輪郭補正量を小さくするようにした。
【０２３７】
このため撮像装置１は、単眼撮像状態よりも低い複眼撮像状態の許容ノイズレベルを超えないように、複眼撮像状態において画像信号に対する輪郭補正処理の度合を抑えることにより、視聴者が立体視する際に視認するノイズを軽減させることができるため、画質、解像感及び立体感の知覚のバランスが取れた高品質な画像データを生成することができる。
【０２３８】
＜３．他の実施の形態＞
なお上述した実施の形態においては、右目用画像ＲＹＰと左目用画像ＬＹＰとに基づき差分ベクトルＤＤＩＳを求めることにより、立体感を検出する場合について述べた。
【０２３９】
本発明はこれに限らず、光軸間隔に基づき、光軸間隔が広い場合は立体感が大きいと判断すると共に、当該光軸間隔が狭い場合は立体感が小さいと判断するようにしても良い。この場合、図３に示したように、右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂに、例えばリニアエンコーダでなる光軸間隔測定センサＡＤＳを取り付けることにより、右目用鏡筒１３Ａと左目用鏡筒１３Ｂとの間隔（すなわち被写体光の光軸間隔）を算出すれば良い。
【０２４０】
また、輻輳角に基づき、輻輳角が広い場合は立体感が大きいと判断すると共に、当該輻輳角が狭い場合は立体感が小さいと判断するようにしても良い。この場合、図４に示したように右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂに、例えばリニアエンコーダでなる輻輳角測定センサＣＡＳを２個取り付け、右目用鏡筒１３Ａ及び左目用鏡筒１３Ｂの先端部分の間隔と後端部分の間隔との差分を算出することにより輻輳角を算出すれば良い。
【０２４１】
さらに、光軸間隔と輻輳角とを組み合わせ、例えば光軸間隔が広くなり且つ輻輳角が広くなった場合は立体感がさらに大きくなったと算出するようにしても良い。
【０２４２】
また、光軸間隔測定センサ及び輻輳角測定センサは、リニアエンコーダに限らず、例えばロータリーエンコーダやポテンショメータ等、種々のセンサにより光軸間隔及び輻輳角を算出するようにして良い。
【０２４３】
さらに上述した実施の形態においては、右目撮像ユニット及び左目撮像ユニットを有する撮像装置１について述べた。
【０２４４】
本発明はこれに限らず、例えば３つ以上の撮像ユニットを有する撮像装置において本発明を適用しても良い。この場合も、１つの撮像ユニットで撮像する場合よりも２つ以上の撮像ユニットで撮像した場合において、画像信号に対する増幅率又は輪郭補正量を下げることが望ましい。
【０２４５】
さらに上述した実施の形態においては、デジタル信号処理部１１７Ａ及び１１７Ｂに設けられた増幅部２０Ａ及び２０Ｂにおいて増幅処理を行い、輪郭補正部５１Ａ及び５１Ｂにおいて輪郭補正処理を行う場合について述べた。
【０２４６】
本発明はこれに限らず、例えばアナログ信号処理部１１５Ａ及び１１５Ｂ等、デジタル信号処理部１１７Ａ及び１１７Ｂ以外において増幅処理又は輪郭補正処理を行っても良い。
【０２４７】
さらに上述した実施の形態においては、同時表示モードのとき、左右に並べて右目用画像ＲＹＰと合成画像ＤＰとをモニタ７に表示させる場合について述べた。
【０２４８】
本発明はこれに限らず、例えば現在単眼撮像を行っている際は右目用画像ＲＹＰを大きくモニタ７に表示し、当該右目用画像ＲＹＰの隅に重ねて合成画像ＤＰを小さく表示させるなど、種々の方法で右目用画像ＲＹＰと合成画像ＤＰとをモニタ７に表示させて良い。
【０２４９】
さらに上述した第２の実施の形態においては、輝度信号ＳＢＡ又はＳＢＢから補正信号ＳＣＡ又はＳＣＢを抽出し、当該補正信号ＳＣＡ又はＳＣＢを増幅して増幅補正信号ＳＧＣＡ又はＳＧＣＢとし、輝度信号ＳＢＡ又はＳＢＢに加算する場合について述べた。
【０２５０】
本発明はこれに限らず、増幅補正信号ＳＧＣＡ又はＳＧＣＢが所定の振幅以上大きくならないようリミットをかけ、本来の増幅補正信号ＳＧＣＡ又はＳＧＣＢよりもその振幅を小さくした上で、輝度信号ＳＢＡ又はＳＢＢに加算しても良い。
【０２５１】
この場合、リミットとする制限値を高く設定するほど、補正輝度信号は輝度信号に対し信号レベルが急峻に立ち上がることとなる。
【０２５２】
さらに上述した実施の形態においては、判別部としての撮像切替部６と、増幅率最大値制御部としてのデバイス制御量分配部３０とによって、制御装置としてのシステムコントローラ２及び撮像切替部６を構成する場合について述べた。
【０２５３】
本発明はこれに限らず、その他種々の構成でなる判別部と、増幅率最大値制御部とによって制御装置を構成するようにしても良い。
【０２５４】
さらに上述した実施の形態においては、判別部としての撮像切替部６と、輪郭補正量制御部としての輪郭補正量制御部５０とによって、制御装置としてのシステムコントローラ１０２及び撮像切替部６を構成する場合について述べた。
【０２５５】
本発明はこれに限らず、その他種々の構成でなる判別部と、輪郭補正量制御部とによって制御装置を構成するようにしても良い。
【産業上の利用可能性】
【０２５６】
本発明は、複数の撮像素子からなる複数の撮像ユニットを有する撮像装置でも利用できる。
【符号の説明】
【０２５７】
１、１０１……撮像装置、１Ａ、１０１Ａ……単眼撮像系、１Ｂ、１０１Ｂ……複眼撮像系、ＲＩＦ……右目撮像ユニット、ＬＩＦ……左目撮像ユニット、２、１０２……システムコントローラ、３……操作部、４……記憶部、５……メモリ、６……撮像切替部、７……モニタ、８……レンズドライバ、９……ズームレンズ、１０……絞り、１１……フォーカスレンズ、１２……撮像素子、１３……鏡筒、１４……タイミングジェネレータ、１５……アナログ信号処理部、１６……アナログデジタル変換部、１７、１１７……デジタル信号処理部、１８……立体感検出部、１９……画像合成部、２０……増幅部、２１……ホワイトバランス調整部、２２……ガンマ補正部、２３……ノイズ除去部、３０……デバイス制御量分配部、３１……輝度検出部、３２……輝度基準値発生部、３３……輝度差分値算出部、３４……露出制御量決定部、４０……アクチュエータ、５０……輪郭補正量制御部、５１……輪郭補正部。
【特許請求の範囲】
【請求項１】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別部と、
上記判別部の判別結果に基づいて、上記画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御部と
を有する制御装置。
【請求項２】
上記増幅率最大値制御部は、
上記判別部により上記複眼撮像状態であると判別された際には、上記単眼撮像状態であると判別された際よりも、上記増幅率最大値を小さくする
請求項１記載の制御装置。
【請求項３】
上記被写体の立体感を検出する立体感検出部を
さらに有し、
上記増幅率最大値制御部は、
上記複眼撮像状態において、上記立体感検出部により検出された上記立体感が大きいほど、上記増幅率最大値を大きくする
請求項２に記載の制御装置。
【請求項４】
上記増幅率最大値制御部は、
上記立体感が変化した際、当該立体感の変化の変化量が所定の閾値以内である場合、上記増幅率最大値を一定に保つ
請求項３に記載の制御装置。
【請求項５】
上記増幅率最大値制御部は、
上記立体感が大きいほど、上記閾値を大きくする
請求項４に記載の制御装置。
【請求項６】
上記立体感検出部は、
上記複眼撮像状態において用いられる一方の上記撮像ユニットが生成する第１画像と、他方の上記撮像ユニットが生成する第２画像との互いの画像における手前側被写体の位置ずれを示す手前被写体視差ベクトルと、奥側被写体の位置ずれを示す奥側被写体視差ベクトルとの差分が大きいほど、上記立体感が大きいと検出する
請求項３に記載の制御装置。
【請求項７】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸との光軸間隔が広いほど、上記立体感が大きいと検出する
請求項３に記載の制御装置。
【請求項８】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸とが成す輻輳角が広いほど、上記立体感が大きいと検出する
請求項３に記載の制御装置。
【請求項９】
上記撮像ユニットにより生成した画像信号に基づく画像を所定の表示部に表示させる表示制御部を
さらに有し、
上記表示制御部は、
上記単眼撮像状態において上記被写体を撮像することにより生成した画像信号に基づく画像と、上記複眼撮像状態において上記被写体を撮像することにより生成した画像信号に基づく画像とを上記表示部に表示させる
請求項１に記載の制御装置。
【請求項１０】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御ステップと
を有する制御方法。
【請求項１１】
電子機器に対し、
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御ステップと
を実行させる制御プログラム。
【請求項１２】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別部と、
上記判別部の判別結果に基づいて、上記画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御部と
を有する制御装置。
【請求項１３】
上記輪郭補正量制御部は、
上記判別部により上記複眼撮像状態であると判別された際は、上記単眼撮像状態であると判別された際よりも、上記輪郭補正量を小さくする
請求項１２に記載の制御装置。
【請求項１４】
上記被写体の立体感を検出する立体感検出部を
さらに有し、
上記輪郭補正量制御部は、
上記複眼撮像状態において、上記立体感検出部により検出された上記立体感が大きいほど、上記輪郭補正量を大きくする
請求項１３に記載の制御装置。
【請求項１５】
上記輪郭補正量制御部は、
上記立体感が変化した際、当該立体感の変化の変化量が所定の閾値以内である場合、上記輪郭補正量を一定に保つ
請求項１４に記載の制御装置。
【請求項１６】
上記立体感検出部は、
上記複眼撮像状態において用いられる一方の上記撮像ユニットが生成する第１画像と、他方の上記撮像ユニットが生成する第２画像との互いの画像における手前側被写体の位置ずれを示す手前被写体視差ベクトルと、奥側被写体の位置ずれを示す奥側被写体視差ベクトルとの差分が大きいほど、上記立体感が大きいと検出する
請求項１４に記載の制御装置。
【請求項１７】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸との光軸間隔が広いほど、上記立体感が大きいと検出する
請求項１４に記載の制御装置。
【請求項１８】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸とが成す輻輳角が広いほど、上記立体感が大きいと検出する
請求項１４に記載の制御装置。
【請求項１９】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御ステップと
を有する制御方法。
【請求項２０】
電子機器に対し、
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御ステップと
を実行させる制御プログラム。
【請求項１】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別部と、
上記判別部の判別結果に基づいて、上記画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御部と
を有する制御装置。
【請求項２】
上記増幅率最大値制御部は、
上記判別部により上記複眼撮像状態であると判別された際には、上記単眼撮像状態であると判別された際よりも、上記増幅率最大値を小さくする
請求項１記載の制御装置。
【請求項３】
上記被写体の立体感を検出する立体感検出部を
さらに有し、
上記増幅率最大値制御部は、
上記複眼撮像状態において、上記立体感検出部により検出された上記立体感が大きいほど、上記増幅率最大値を大きくする
請求項２に記載の制御装置。
【請求項４】
上記増幅率最大値制御部は、
上記立体感が変化した際、当該立体感の変化の変化量が所定の閾値以内である場合、上記増幅率最大値を一定に保つ
請求項３に記載の制御装置。
【請求項５】
上記増幅率最大値制御部は、
上記立体感が大きいほど、上記閾値を大きくする
請求項４に記載の制御装置。
【請求項６】
上記立体感検出部は、
上記複眼撮像状態において用いられる一方の上記撮像ユニットが生成する第１画像と、他方の上記撮像ユニットが生成する第２画像との互いの画像における手前側被写体の位置ずれを示す手前被写体視差ベクトルと、奥側被写体の位置ずれを示す奥側被写体視差ベクトルとの差分が大きいほど、上記立体感が大きいと検出する
請求項３に記載の制御装置。
【請求項７】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸との光軸間隔が広いほど、上記立体感が大きいと検出する
請求項３に記載の制御装置。
【請求項８】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸とが成す輻輳角が広いほど、上記立体感が大きいと検出する
請求項３に記載の制御装置。
【請求項９】
上記撮像ユニットにより生成した画像信号に基づく画像を所定の表示部に表示させる表示制御部を
さらに有し、
上記表示制御部は、
上記単眼撮像状態において上記被写体を撮像することにより生成した画像信号に基づく画像と、上記複眼撮像状態において上記被写体を撮像することにより生成した画像信号に基づく画像とを上記表示部に表示させる
請求項１に記載の制御装置。
【請求項１０】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御ステップと
を有する制御方法。
【請求項１１】
電子機器に対し、
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号の増幅率の最大値である増幅率最大値を変化させる増幅率最大値制御ステップと
を実行させる制御プログラム。
【請求項１２】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別部と、
上記判別部の判別結果に基づいて、上記画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御部と
を有する制御装置。
【請求項１３】
上記輪郭補正量制御部は、
上記判別部により上記複眼撮像状態であると判別された際は、上記単眼撮像状態であると判別された際よりも、上記輪郭補正量を小さくする
請求項１２に記載の制御装置。
【請求項１４】
上記被写体の立体感を検出する立体感検出部を
さらに有し、
上記輪郭補正量制御部は、
上記複眼撮像状態において、上記立体感検出部により検出された上記立体感が大きいほど、上記輪郭補正量を大きくする
請求項１３に記載の制御装置。
【請求項１５】
上記輪郭補正量制御部は、
上記立体感が変化した際、当該立体感の変化の変化量が所定の閾値以内である場合、上記輪郭補正量を一定に保つ
請求項１４に記載の制御装置。
【請求項１６】
上記立体感検出部は、
上記複眼撮像状態において用いられる一方の上記撮像ユニットが生成する第１画像と、他方の上記撮像ユニットが生成する第２画像との互いの画像における手前側被写体の位置ずれを示す手前被写体視差ベクトルと、奥側被写体の位置ずれを示す奥側被写体視差ベクトルとの差分が大きいほど、上記立体感が大きいと検出する
請求項１４に記載の制御装置。
【請求項１７】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸との光軸間隔が広いほど、上記立体感が大きいと検出する
請求項１４に記載の制御装置。
【請求項１８】
上記立体感検出部は、
一方の上記撮像ユニットにおける被写体光の光軸と、他方の上記撮像ユニットにおける被写体光の光軸とが成す輻輳角が広いほど、上記立体感が大きいと検出する
請求項１４に記載の制御装置。
【請求項１９】
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御ステップと
を有する制御方法。
【請求項２０】
電子機器に対し、
撮像素子で被写体を撮像することにより画像信号を得る撮像ユニットを、単数用いて撮像を行う単眼撮像状態か、複数用いて上記撮像を行う複眼撮像状態かを判別する判別ステップと、
上記判別ステップの判別結果に基づいて、上記画像信号に対して輪郭補正を行うための輪郭補正量を変化させる輪郭補正量制御ステップと
を実行させる制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１４２７４９（Ｐ２０１２−１４２７４９Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３３５９（Ｐ２０１０−２９３３５９）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]