複眼撮像装置、及び撮像欠陥箇所の補正方法
【課題】撮像素子の欠陥領域の高速な補正処理を可能とする。
【解決手段】第１の撮像ユニット１の全撮像領域のうち、被写体を正常に撮像していない画素を含む欠陥領域を予め検出すると共に、第２の撮像ユニット２の全撮像領域のうち、第１の撮像ユニット１の欠陥領域で撮像されている被写体と同じ被写体を撮像している正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。そして、第１の撮像ユニット１で撮像された撮像画像を第１のバッファメモリ１４に記憶する際に、第１の撮像ユニット１の欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２の正常撮像領域で撮像された撮像画像を記憶する。各撮像ユニット１，２部から読み出した撮像画像を各バッファメモリ１４，１５に記憶する際に欠陥領域の補正処理を完了することができ、高速な欠陥領域の補正処理を実現することができる。
【解決手段】第１の撮像ユニット１の全撮像領域のうち、被写体を正常に撮像していない画素を含む欠陥領域を予め検出すると共に、第２の撮像ユニット２の全撮像領域のうち、第１の撮像ユニット１の欠陥領域で撮像されている被写体と同じ被写体を撮像している正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。そして、第１の撮像ユニット１で撮像された撮像画像を第１のバッファメモリ１４に記憶する際に、第１の撮像ユニット１の欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２の正常撮像領域で撮像された撮像画像を記憶する。各撮像ユニット１，２部から読み出した撮像画像を各バッファメモリ１４，１５に記憶する際に欠陥領域の補正処理を完了することができ、高速な欠陥領域の補正処理を実現することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部で撮像された各撮像画像に基づいて３次元画像（静止画像、動画像）を形成する立体カメラシステム等に適用して好適な複眼撮像装置、及び撮像欠陥箇所の補正方法に関する。特には、一方の撮像部の撮像欠陥箇所で撮像された撮像画像の代わりに、他方の撮像部で撮像された前記撮像欠陥箇所に対応する正常な撮像画像を出力することで、撮像素子の欠陥画素や撮像ユニットのレンズの傷等に影響されない正常な撮像画像の高速出力を可能とし、３次元動画像の撮像に対しても欠陥補正の適用を可能とした複眼撮像装置、及び撮像欠陥個所の補正方法に関する。
【背景技術】
【０００２】
本願発明の出願人は、本願発明の背景技術として特開２０１０−１５４３１１号公報（特許文献１）、及び特開２０１０−２０６５２１号公報（特許文献２）の存在を認識している。
【０００３】
特許文献１には、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することを目的とした複眼撮像装置が開示されている。
この複眼撮像装置の場合、所定の視差を有するように配置された複数の撮像装置によって撮像された複数の画像データから異常エリアを検出し、正常エリアの画像データを用いて前記異常エリアを補完するための補完データを生成し、この生成した補完データによって異常エリアを補完する。
これにより、視差のある複数の画像のうち、１つの画像に欠損データが発生した場合でも、正常な立体視画像を生成可能とすることができる。
【０００４】
また、特許文献２には、大きな領域の画素欠陥を良好に補正することを目的とした多視点の撮像装置が開示されている。
この撮像装置の場合、第１撮像部又は第２撮像部で撮像した画像である補正対象画像から欠陥領域を特定し、この欠陥領域を包含する所定形状の探索領域を設定する。次に、第２撮像部（基準撮像系）の撮像した画像である基準画像のうち、第１撮像部及び第２撮像部の共通する撮像範囲を走査して、探索領域の欠陥領域以外の部分領域の色情報と一致する色情報を有する基準画像内の領域（対応領域）を探索する。
そして、基準画像から対応領域を抽出し、欠陥領域を対応領域で置換することで補正対象画像を補正する。これにより、大きな領域の画素欠陥を良好に補正することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１５４３１１号公報
【特許文献２】特開２０１０−２０６５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前述の特許文献１に開示されている複眼撮像装置、及び特許文献２に記載されている撮像装置は、撮像により得られた撮像画像に基づいて欠陥の補正処理を行うようになっている。すなわち、前記各特許文献１，２の技術は、いずれも被写体の撮像を行うことで、一旦、撮像画像を形成し、この形成された撮像画像に対して欠陥の補正処理を施すようになっている。このため、欠陥の補正処理がなされた撮像画像を得るのに要するトータル的な時間としては、「撮像した被写体の撮像画像を得るまでの時間＋撮像により得た撮像画像に対して欠陥の補正処理を施す時間」が必要となる。
【０００７】
このようなことから、前記各特許文献１，２の技術の場合、静止画像の撮像に対しては適用可能であるが、動画像を撮像する場合、前記「撮像した被写体の撮像画像を得るまでの時間＋撮像により得た撮像画像に対して欠陥の補正処理を施す時間」が、動画像の各フレームの撮像時間を上回る可能性が高い。換言すれば、動画像の撮像に前記各特許文献１，２の技術を適用すると、撮像された動画像の各フレーム画像に対する欠陥の補正処理が間に合わない可能性が高い。このため、前記各特許文献１，２の技術は、動画像の撮像に対しては適用困難であった。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、高速な撮像欠陥箇所の補正処理を可能として、動画像の撮像にも対応とした複眼撮像装置、及び撮像欠陥箇所の補正方法の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
被写体の撮像を行う第１の撮像部（１）及び第２の撮像部（２）を少なくとも備えた撮像部群（１，２）と、
前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成するための視差量設定部と、（３，４，５，６，７）
少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出するための欠陥アドレス検出部と、（１０，２０）
前記第２の撮像部の全画素のうち、前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定部により設定された前記視差量に基づいて検出する正常アドレス検出部と、（７）
前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御部と、（８，１２，１４，１５）
前記画像読み出し制御部から出力された前記各撮像部で撮像された各撮像画像に基づいて３次元画像を形成して出力する３次元画像形成部と（９）
を有する。
【００１０】
また、本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
前記欠陥アドレス検出部で検出された前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成部を有し、（１１）
前記正常アドレス検出部は、前記第２の撮像部の全画素のうち、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定部により設定された前記視差量に基づいて検出し、
前記画像読み出し制御部は、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、この欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する。
【００１１】
また、本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
前記欠陥領域形成部で形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出部で検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出部と、（７）
前記被写体一致検出部で前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御部と（７，１２）
を有する。
【００１２】
また、本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
前記欠陥アドレス検出部は、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリ（１０）を備え、或いは少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出部と、（２０）この検出した欠陥アドレスを記憶する欠陥アドレスメモリ（１０）とを備える。
【００１３】
次に、本発明に係る撮像欠陥箇所の補正方法は、少なくとも第１の撮像部及び第２の撮像部を備えた撮像部群の前記各撮像部から読み出された各撮像画像に基づいて３次元画像を形成して出力する複眼撮像装置の撮像欠陥箇所の補正方法であって、上述の課題を解決するための手段として、
視差量設定部が、前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成する視差量設定ステップと、
欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥アドレス検出ステップと、
正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥アドレス検出ステップで検出された前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出する正常アドレス検出ステップと、
画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御ステップと
を有する。
【００１４】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するための手段として、
欠陥領域形成部が、前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成ステップを有し、
前記正常アドレス検出ステップでは、前記正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出し、
前記画像読み出し制御ステップでは、前記画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、前記欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する。
【００１５】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するための手段として、
被写体一致検出部が、前記欠陥領域形成ステップで形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出ステップで検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出ステップと、
前記被写体一致検出ステップで前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、正常アドレス検出制御部が、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御ステップと
を有する。
【００１６】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するために、
前記欠陥アドレス検出ステップでは、前記欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリから前記欠陥アドレスを読み出すことで、前記欠陥アドレスの検出を行う。
【００１７】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するための手段として、
前記欠陥アドレス検出ステップは、前記欠陥アドレス検出部の欠陥検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出ステップと、
前記欠陥アドレス検出部の欠陥アドレス記憶制御部が、前記欠陥検出ステップで検出された前記欠陥アドレスを欠陥アドレスメモリに記憶制御する記憶制御ステップと
を有する。
【発明の効果】
【００１８】
本発明は、撮像欠陥箇所の高速な補正処理を可能とすることができる。このため、３次元動画像の撮像に対してリアルタイムに対応して撮像欠陥箇所の補正処理を行うことができる。従って、高品質な３次元動画像の撮像を可能とすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した第１の実施例となる立体カメラシステムの主要部のブロック図（一部、機能ブロック図）である。
【図２】第１の実施例の立体カメラシステムの欠陥補正処理の流れを示すフローチャートである。
【図３】第１の実施例の立体カメラシステムの欠陥領域の形成処理を説明するための図である。
【図４】第１の実施例の立体カメラシステムに設けられている第１及び第２の撮像ユニットの視差量を説明するための図である。
【図５】第１の実施例の立体カメラシステムの欠陥補正処理を説明するための図である。
【図６】本発明を適用した第２の実施例となる立体カメラシステムの欠陥補正処理の流れを示すフローチャートである。
【図７】第２の実施例の立体カメラシステムのオブジェクト認識処理を説明するための図である。
【図８】本発明を適用した第３の実施例の立体カメラシステムの主要部のブロック図である。
【図９】本発明を適用した第４の実施例の立体カメラシステムの主要部のブロック図である。
【発明を実施するための形態】
【００２０】
本発明は、複数のカメラ装置で撮像された被写体の撮像画像に基づいて３次元画像を形成する立体カメラシステムに適用することができる。
【００２１】
［第１の実施例］
〔第１の実施例の立体カメラシステムの構成〕
この本発明を適用した第１の実施例となる立体カメラシステムは、図１に示すように例えばＣＭＯＳセンサ（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤイメージセンサ（CCD：Charge Coupled Device）等の固体撮像素子により被写体を撮像することで左目用の撮像画像を得る第１の撮像ユニット１と、右目用の撮像画像を得る第２の撮像ユニット２とを有している。
なお、第１の撮像ユニット１を左目用の撮像画像を得るための撮像ユニットとし、第２の撮像ユニット２を右目用の撮像画像を得るための撮像ユニットとしたが、第１の撮像ユニット１を右目用の撮像画像を得るための撮像ユニットとし、第２の撮像ユニット２を左目用の撮像画像を得るための撮像ユニットとしてもよい。
【００２２】
また、この立体カメラシステムは、前記各撮像ユニット１，２の間の距離を、ユーザにより指定された視差量を形成する距離となるように移動調整するための第１の撮像ユニット駆動部３及び第２の撮像ユニット駆動部４を有している。
また、この立体カメラシステムは、ユーザにより入力された視差設定値が供給される視差設定値入力端子５と、このユーザにより入力された視差設定値を記憶する視差量設定値保持メモリ６とを有している。
【００２３】
また、この立体カメラシステムは、この視差量設定値保持メモリ６に記憶された前記視差設定値に基づいて、第１の撮像ユニット１及び第２の撮像ユニット２を、第１の撮像ユニット駆動部３及び第２の撮像ユニット駆動部４を介して移動制御することで、第１の撮像ユニット１及び第２の撮像ユニット２の間の距離を前記視差設定値（＝ユーザにより指定された視差量）に対応する距離に調整する視差量調整制御、各撮像ユニット１，２による被写体の撮像制御の他、この立体カメラシステム全体の動作制御を行う制御部７を有している。
また、この立体カメラシステムは、第１の撮像ユニット１及び第２の撮像ユニット２から読み出された各撮像画像に基づいて、第１の撮像ユニットの後述する欠陥領域の補正処理を行う欠陥補正処理部８と、欠陥補正処理部８により欠陥領域の補正処理が行われた前記各撮像画像に基づいて３次元撮像画像を形成する画像変換処理部９とを有している。
【００２４】
また、この立体カメラシステムは、第１の撮像ユニットの各画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリ１０を有している。
この欠陥アドレスメモリ１０には、前記ＣＭＯＳセンサやＣＣＤイメージセンサ等の半導体撮像素子の製造上の欠陥画素（いわゆる白キズ）のアドレスや、例えば撮像レンズに付着したキズやゴミ等により、被写体を正常に撮像していない画素のアドレスが、前記欠陥アドレスとして記憶されている。
【００２５】
また、この欠陥アドレスメモリ１０に欠陥アドレスが記憶されるタイミングとしては、この立体カメラシステムの工場出荷時でもよいし、この立体カメラシステムによる３次元動画像の撮像開始時でもよい。
すなわち、この立体カメラシステムの工場出荷時に、各画素の出力レベル等に基づいて、前記被写体を正常に撮像していない画素を検出し、この画素の欠陥アドレスを欠陥アドレスメモリ１０に予め記憶しておく。
【００２６】
或いは、立体カメラシステムによる３次元動画像の撮像開始時に、例えば全白画像や全黒画像等の欠陥アドレス検出用の画像を撮像し、各画素の出力レベル等に基づいて、前記被写体を正常に撮像していない画素を検出し、この画素の欠陥アドレスを欠陥アドレスメモリ１０に記憶するようにしてもよい。
この立体カメラシステムによる３次元動画像の撮像開始時に被写体を正常に撮像していない画素を検出する場合、図１に点線のブロックで示すように、各撮像ユニット１，２の撮像出力に基づいて、前記被写体を正常に撮像していない画素のアドレスを検出する欠陥アドレス検出部２０を設ければよい。
【００２７】
このように立体カメラシステムによる３次元動画像の撮像開始時に被写体を正常に撮像していない画素を検出する構成とすることにより、撮像レンズや半導体撮像素子にキズやゴミが付着することで、被写体を正常に撮像していない画素が後発的に発生した場合でも、これに対応可能とすることができる。
【００２８】
次に、この立体カメラシステムの構成の説明に戻り、この立体カメラシステムは、欠陥アドレスメモリ１０に記憶された前記欠陥アドレスに基づいて、第１の撮像ユニット１上の少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成部１１を有している。
また、この立体カメラシステムは、欠陥領域形成部１１で特定された第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の撮像領域（正常撮像領域）で撮像された撮像画像を出力して、第１の撮像ユニット１の欠陥補正を行うように欠陥補正処理部８を制御するバッファ制御部１２を有している。
【００２９】
次に、図１を用いて欠陥補正処理部８の構成を説明する。この図１に図示している欠陥補正処理部８の構成は、この欠陥補正処理部８の機能的な構成を示している。
この図１からわかるように、欠陥補正処理部８は、欠陥領域形成部１１で特定された第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像を切り替えて出力する切り替えスイッチ部１３を有している。
【００３０】
また、この欠陥補正処理部８は、切り替えスイッチ部１３を介して供給される前記第１の撮像ユニット１で撮像された撮像画像、或いは前記第２の撮像ユニット２で撮像された撮像画像を一時的に記憶する第１のバッファメモリ１４と、前記第２の撮像ユニット２で撮像された撮像画像を一時的に記憶する第２のバッファメモリ１５とを有している。
実際に行われる欠陥補正処理部８の欠陥補正処理は、「第１の撮像ユニット１の欠陥領域の先頭アドレス」と、「第２のユニット２の正常撮像領域の先頭アドレス」、及び「補正する領域の大きさ」をバッファ制御部１２のレジスタに設定する。
【００３１】
そして、バッファ制御部１２が、このレジスタ設定に従って、欠陥領域形成部１１で特定された第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像が第１のバッファメモリ１４に供給されるようにバッファリング制御を行う。
【００３２】
図１の欠陥補正処理部８の構成は、このような欠陥補正処理を理解容易なように機能的に示した構成となっている。そして、バッファ制御部１２は、前記レジスタ設定に従って、第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像が第１のバッファメモリ１４に供給されるように、切り替えスイッチ部１３を切り替え制御することで、第１の撮像ユニット１の欠陥補正制御を行うようになっている。
【００３３】
〔第１の実施例の欠陥補正処理〕
図２のフローチャートに、この本発明の第１の実施例となる立体カメラシステムの欠陥補正処理の流れを示す。この立体カメラシステムの制御部７は、メイン電源の投入を検出したタイミングで、ＲＯＭ１９に記憶されている欠陥補正プログラムに基づいて、この図２のフローチャートの処理を開始する。
【００３４】
ステップＳ１では、制御部７が、ユーザが視差量の設定ボタンを操作することで入力端子５を介して供給される視差量設定入力に基づいて、ユーザにより設定された視差量を取得し、この視差量設定値を視差量設定値保持メモリ６に記憶制御して処理をステップＳ２に進める。
制御部７は、この視差量設定値保持メモリ６に記憶された視差量設定値を参照して、第１の撮像ユニット駆動部３を介して第１の撮像ユニット１を移動制御し、第２の撮像ユニット駆動部４を介して第２の撮像ユニット２を移動制御して、視差量の調整制御を行う。
また、制御部７は、この視差量設定値保持メモリ６に記憶された視差量設定値を、欠陥領域形成部１１及びバッファ制御部１２に供給して通知する。
【００３５】
次に、ステップＳ２では、制御部７が、ステップＳ１で取得した視差量と所定の閾値とを比較することで、ユーザにより設定された視差量が３次元動画像を撮像し得る許容範囲内であるか否かを判別する。
ユーザにより設定された視差量が３次元動画像を撮像し得る許容範囲外であるということは、３次元動画像の撮像が困難であるため、そのまま、この図２のフローチャートの処理を全て終了する。
これに対して、ユーザにより設定された視差量が３次元動画像を撮像し得る許容範囲内であるものと判別した場合、制御部７は、処理をステップＳ３に進め、欠陥アドレスメモリ１０から第１の撮像ユニット１上の前記欠陥アドレスを取得し、処理をステップＳ４に進める。
【００３６】
ステップＳ４では、制御部７が、欠陥アドレスメモリ１０から得られた情報に基づいて、第１の撮像ユニット１上に欠陥アドレスが存在するか否かを判別する。そして、第１の撮像ユニット１上に欠陥アドレスが存在しないものと判別した場合、後述する欠陥補正処理は不要であるため、制御部７は、そのまま、この図２のフローチャートの処理を全て終了する。
一方、ステップＳ４において、第１の撮像ユニット１上に欠陥アドレスが存在するものと判別した場合、制御部７は、処理をステップＳ５に進め、取得した欠陥アドレスに基づいて欠陥領域を形成するように欠陥領域形成部１１を制御する。
欠陥領域形成部１１は、欠陥アドレスメモリ１０に記憶された全ての欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する。
【００３７】
図３に、この欠陥領域形成部１１が形成する欠陥領域の一例を示す。この図３の例に示す黒点は、欠陥アドレスの画素を示している。欠陥領域形成部１１は、少なくとも一つの欠陥アドレスの画素を含むように、最小単位として３画素×３画素の欠陥領域を形成し、また、最大単位として５画素×５画素の欠陥領域を形成する。
また、図３に示すように、欠陥アドレスの画素が、予め設定した最大の大きさ以上に連続している場合は（この例の場合は、前記５画素×５画素以上に連続している場合は）、欠陥領域形成部１１は、この５画素×５画素の大きさを上限として欠陥領域を形成し、欠陥アドレスの画素の続き具合に応じて、前記上限とした欠陥領域に続けて前記最小単位〜最大単位の間の大きさの欠陥領域を形成する。また、図３に示すように欠陥アドレスの画素の数が、一つ或いは極少数の場合でも、欠陥領域形成部１１は、前記最大単位の大きさの欠陥領域を形成する。
【００３８】
なお、後述するが、本発明を適用した第２の実施例の立体カメラシステムでは、第１の撮像ユニット１の欠陥領域内の撮像画像と、この第１の撮像ユニット１の欠陥領域の撮像画像を補正するために第２の撮像ユニット２に設定された正常撮像領域内の撮像画像とが、同じ撮像画像となるように、第２の撮像ユニット２の正常撮像領域の位置を調整するようになっている。このため、欠陥領域の最小単位としては、その欠陥領域内の撮像画像の色やオブジェクトを認識可能な大きさとすることが好ましいであろう。
また、この３画素×３画素や５画素×５画素等の欠陥領域の大きさは一例であり、設計等に応じて適宜変更可能である。
【００３９】
次に、このように欠陥領域を形成すると、制御部７は、処理をステップＳ６に進め、第１の撮像ユニット１の欠陥領域の撮像画像を補間するための正常撮像画像を得るための第２の撮像ユニット２の正常撮像領域を、前記通知した視差量設定値に基づいて検出するようにバッファ制御部１２を制御する。
【００４０】
ここで、図４において、各撮像ユニット１，２の撮像レンズ１ａ，２ａと被写体との距離を一定の距離として、左右の視点が被写体の中心で交わるような角度（輻輳角）で視差量を設定すると、被写体の中心点の視差量は視差量０となる。
この状態で、撮像レンズ１ａ，２ａと被写体との距離を一定としたまま、この輻輳角よりも大きくなるように視差量ｄを設定すると、被写体は飛び出して見える効果を得ることができる。反対に、前記輻輳角よりも小さくなるように視差量ｄを設定すれば被写体が奥に移動して見える効果を得ることができる。
視差量を調整する方法としては、被写体までの距離を一定に保ちながら各撮像ユニット１，２の位置を物理的に移動させ、各ユニット１，２間の距離を調整する方法が知られている。
【００４１】
或いは、各撮像ユニット１，２の間の距離は固定した状態で広範囲な撮像画像を取得し、その広範囲の撮像画像から各撮像ユニット１，２の撮像画像をそれぞれ切り出す際に、各撮像画像の切り出し位置の間隔を離したり近づけたりすることで、視差量を調整する方法が知られている。
この実施例の立体カメラシステムの場合、一例として、制御部７が、ユーザにより設定された視差量設定値に基づいて、第１の撮像ユニット駆動部３を介して第１の撮像ユニット１の位置を移動し、第２の撮像ユニット駆動部４を介して第２の撮像ユニット２の位置を移動することで、視差量を調整する。
【００４２】
いずれにしても視差量がそれほど大きくなく、各撮像ユニット１，２の角度も被写体に対して並行であり、画素単位のような比較的狭い面積の領域に関していえば、単純に両者のズレ量の距離を水平方向に移動した画像が入力されると近似的に仮定することが可能である。
すなわち、欠陥アドレスの画素を有する第１の撮像ユニット１と、もう一方の第２の撮像ユニット２とで、同一の被写体を撮像しているものと推測される各撮像領域は、図４に示すように現在設定されている各撮像ユニット１，２の視差量に対応する距離だけ離れているものと近似的に仮定することができる。
【００４３】
このため、前記バッファ制御部１２は、第１の撮像ユニット１上の欠陥領域のアドレスを認識すると、第２の撮像ユニット２上に前記欠陥領域と同じ大きさの正常撮像領域を設定するのであるが、この際、第２の撮像ユニット２上の正常撮像領域を、制御部７から通知された視差量に対応する距離だけ右方向或いは左方向に離したアドレスに設定する。
これにより、各撮像ユニット１，２に視差が存在する場合でも、同じ被写体を撮像している領域同士で、後述する欠陥補正処理を行うことを可能とすることができる。
なお、前記図４を用いた説明は、第１の撮像ユニット１と第２の撮像ユニット２とが左右並行に位置する場合の説明であったが、相対的な位置を考慮すれば各ユニット１，２が上下に位置する場合や各ユニット１，２が斜め方向に位置する場合でも、各撮像ユニット１，２の視差量に対応する距離だけ離れて前記欠陥領域と前記正常撮像領域が存在するものと仮定してもよい。この場合でも、後述の欠陥補正処理を正確に行うことは可能である。
【００４４】
次に、第１の撮像ユニット１上の欠陥領域に対応する正常撮像領域を第２の撮像ユニット２上に設定すると、制御部７は、処理をステップＳ７に進め、各撮像ユニット１，２で撮像された被写体の各撮像画像をそれぞれ読み出して出力する際に、図５に示すように第１の撮像ユニット１の欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２の前記正常撮像領域で撮像された撮像画像を出力するように、バッファ制御部１２を介して欠陥補正処理部８を制御する。
換言すると、第１の撮像ユニット１の欠陥領域で撮像された撮像画像を出力する代わりに、この第１の撮像ユニット１の欠陥領域で撮像された撮像画像の被写体と同じ被写体を撮像した第２の撮像ユニット２の正常撮像領域で撮像された撮像画像を出力する。
【００４５】
上述のように、このような欠陥補正処理は、バッファ制御部１２の前記レジスタ設定に従って、バッファ制御部１２が、第１のバッファメモリ１４及び第２のバッファメモリ１５に対する各撮像ユニット１，２からの撮像画像の記憶制御を行うことで実行される。このようなバッファ操作を、図１に図示した欠陥補正処理部８の切り替えスイッチ部１３の切り替え制御に基づいて説明する。
【００４６】
まず、この切り替えスイッチ部１３は、第１の被選択端子１３ａが第１の撮像ユニット１の出力端子に接続され、第２の被選択端子１３ｂが第２の撮像ユニット２の出力端子に接続されている。そして、この切り替えスイッチ部１３の選択端子１３ｃは、第１のバッファメモリ１４の入力端子に接続されている。
なお、第２の撮像ユニット２の前記出力端子は、前記第２の被選択端子１３ｂの他、第２のバッファメモリ１５の入力端子にも接続されている。
【００４７】
このような機能的構成を有する欠陥補正処理部８において、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１３ｃで第１の被選択端子１３ａを選択するように切り替えスイッチ部１３を切り替え制御する。
これにより、第１の撮像ユニット１の前記被写体を正常に撮像している領域で撮像された撮像画像は第１のバッファメモリ１４に供給され、この第１のバッファメモリ１４に一時的に記憶される。この間、第２の撮像ユニット２で撮像された撮像画像は第２のバッファメモリ１５に供給され、第２のバッファメモリ１５に一時的に記憶される。
【００４８】
次に、前記欠陥補正処理部８において、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１３ｃで第２の被選択端子１３ｂを選択するように切り替えスイッチ部１３を切り替え制御する。
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第１のバッファメモリ１４に供給され、図５に示すように前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。
【００４９】
そして、第１のバッファメモリ１４には、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
なお、切り替えスイッチ部１３が選択端子１３ｃで第２の被選択端子１３ｂを選択している間も、第２のバッファメモリ１５に対する第２の撮像ユニット２から読み出された撮像画像の一時記憶制御は、継続して行われる。
【００５０】
図１に示す画像変換処理部９は、原色カラーフィルタ信号を並び替えてＲＧＢ変換等を行う他、各バッファメモリ１４，１５から読み出された前記視差量を有する各撮像画像に基づいて３次元動画像を形成し、これを出力端子１８を介して、後段の記録部やライン出力部に出力する。
制御部７は、被写体の撮像が行われている間、このような欠陥補正処理を継続して実行制御する。そして、図２のフローチャートのステップＳ８において、撮像の終了を検出したタイミングで、図２のフローチャートに示す欠陥補正処理を終了する。
【００５１】
〔第１の実施例の効果〕
以上の説明から明らかなように、第１の実施例の立体カメラシステムは、第１の撮像ユニット１の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出する。
また、第２の撮像ユニット２の全撮像領域のうち、前記第１の撮像ユニット１の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。
【００５２】
そして、第１の撮像ユニット１で撮像された撮像画像を第１のバッファメモリ１４に記憶する際に、前記第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、前記第２の撮像ユニット２の前記正常撮像領域で撮像された撮像画像を記憶する。
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができる。このため、第１の撮像ユニット１の欠陥領域に影響されない高品質な３次元動画像を撮像可能とすることができる。
【００５３】
また、各撮像ユニット１，２から読み出した撮像画像を一旦各バッファメモリ１４，１５に記憶し、バッファメモリ１４，１５に記憶した各撮像画像に基づいて前記欠陥領域の補正処理を行うのではなく、各撮像ユニット１，２部から読み出した撮像画像を各バッファメモリ１４，１５に記憶する際に前記欠陥領域の補正処理を行うようになっている。このため、各撮像ユニット１，２部から読み出した撮像画像を各バッファメモリ１４，１５に記憶する際には、既に欠陥領域の補正処理が完了させた状態の撮像画像を各バッファメモリ１４，１５に記憶することができる。このため、３次元動画像の撮像に対応した高速な欠陥領域の補正処理を可能とすることができる。
【００５４】
また、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域単位で欠陥領域の補正処理を行うようになっているため、各撮像ユニット１，２から撮像画像を読み出すタイミングで、各欠陥領域毎の補正処理を完了することができ、３次元動画像の撮像に対応した高速な撮像欠陥箇所の補正処理を可能とすることができる。
また、欠陥アドレスとなっている画素を、同じ第１の撮像ユニット１内の隣接する画素ではなく、別の第２の撮像ユニット２の画素を用いて補正を行っているため、広範囲にわたる欠陥領域の補正を可能とすることができる。
【００５５】
また、欠陥領域や正常撮像領域を検出するタイミングは、この立体カメラシステムの電源投入時、又はユーザが視差量を変更操作したタイミングであり、被写体の撮像中は、前記欠陥領域や正常撮像領域の検出結果に基づいて欠陥領域の補正処理を実行することができるため、デコードした再生画像の置き換え等による従来の補正処理よりも高速に補正処理を実行することができ、３次元動画像の撮像に対応した高速な欠陥領域の補正処理を可能とすることができる。
【００５６】
なお、図２のフローチャートの説明において、制御部７は、欠陥領域の補正処理を開始するとステップＳ１で視差量の検出を行うこととした。これは、この例の立体カメラシステムが、工場出荷時に第１の撮像ユニット１の前記欠陥アドレスを予め検出して欠陥アドレスメモリ１０に記憶していたためである。
すなわち、欠陥アドレスメモリ１０に前記欠陥アドレスが記憶されていない場合や、ユーザにより視差量の変更操作がなされた場合には、あらためて欠陥アドレスメモリ１０に前記欠陥アドレスを記憶する必要がある。
【００５７】
このため、制御部７は、欠陥アドレスメモリ１０に前記欠陥アドレスが記憶されていない場合や、ユーザにより視差量の変更操作がなされた場合には、図２のフローチャートの点線で示すステップＳ０において、上述のように欠陥アドレスを検出して欠陥アドレスメモリ１０に記憶する処理を行う。
これにより、ユーザの視差量の変更操作に対応した欠陥領域の補正処理を行うことができ、また、撮像レンズ等にキズやゴミ等が付着することによる後発的に発生する欠陥領域にも対応した補正処理を行うことができる。
【００５８】
［第２の実施例］
次に、本発明の第２の実施例となる立体カメラシステムの説明をする。上述の第１の実施例の立体カメラシステムは、前記視差量に基づいて第２の撮像ユニット２上に設定した第１の撮像ユニット１の欠陥領域に対応する正常撮像領域を、そのまま用いて欠陥補正処理を行うものであった。
【００５９】
この場合、第１の撮像ユニット１の欠陥領域の撮像画像を正確に補正可能とする正常撮像領域が第２の撮像ユニット２上に設定されていればよいが、この正常撮像領域は、前記視差量に基づいて演算処理で第２の撮像ユニット２上に設定されるため、その設定位置にズレが発生することも多少なりとも懸念される。そして、第２の撮像ユニット２上に設定された正常撮像領域にズレが発生していた場合には、正確な欠陥領域の補正処理に支障を来すこととなる。
【００６０】
このような不都合を防止するために、第２の実施例の立体カメラシステムでは、欠陥領域の撮像画像と正常撮像領域の撮像画像とを比較して、各領域の撮像画像が一致するように正常撮像領域の位置を移動調整することで、正確な欠陥領域の補正処理を可能とした。
なお、以下の第２の実施例の立体カメラシステムの説明では、上述の第１の実施例の立体カメラシステムに対して差異となる箇所の構成，動作及び効果を説明することとして、重複した説明は省略することとする。
【００６１】
〔第２の実施例の立体カメラシステムの構成〕
この本発明を適用した第２の実施例となる立体カメラシステムは、上述のように第１の撮像ユニット１の欠陥領域に対応する正常撮像領域を第２の撮像ユニット２に設定した際に、制御部７が、欠陥領域の撮像画像と正常撮像領域の撮像画像とを比較して、各領域の撮像画像が一致するように正常撮像領域の位置を移動調整する構成となっている。
【００６２】
〔第２の実施例の欠陥補正処理〕
第２の実施例となる立体カメラシステムにおける欠陥補正処理の流れを、図６のフローチャートに示す。
【００６３】
図６のフローチャートと図２のフローチャートを見比べてわかるように、第２の実施例となる立体カメラシステムの場合、欠陥補正処理の際、ステップＳ６とステップＳ７の間に、ステップＳ１１〜ステップＳ１６の各処理であるオブジェクト認識処理を実行する。
すなわち、ステップＳ６で第１の撮像ユニット１の欠陥領域に対応する正常撮像領域を第２の撮像ユニット２に設定すると、制御部７は、ＲＯＭ１９に記憶されている欠陥補正プログラムに基づいてステップＳ１１に処理を進め、欠陥アドレスメモリ１０に記憶されている欠陥アドレスの分布を分析し、この分析結果に基づいて、ステップＳ１２において、前記オブジェクト認識処理を実行可能か否かを判別する。そして、制御部７は、前記オブジェクト認識処理を実行可能であると判別した際に、処理をステップＳ１３に進める。
【００６４】
すなわち、欠陥アドレスに基づいて形成される前記欠陥領域内に欠陥アドレスが多数存在するということは、その欠陥領域の撮像画像を正確に認識することが困難となるため、正確なオブジェクト認識処理を実行することは困難であることを意味している。
このため、欠陥アドレスの分布を分析することで、欠陥アドレスが欠陥領域の広範囲に存在すると判別した場合（＝欠陥領域内に欠陥アドレスが多数存在すると判別した場合）、制御部７は、以下に説明するオブジェクト認識処理の実行をスキップして、前記ステップＳ７に処理を進め、上述の欠陥補正処理を行う。
【００６５】
なお、ステップＳ１２における、オブジェクト認識処理が可能であるか否かの判別は、単純に欠陥領域内の欠陥アドレス数で判別してもよいし、その欠陥領域の面積に対して欠陥アドレスとなる画素が占める割合で判別してもよい。
次に、オブジェクトの認識が可能であると判別することで処理をステップＳ１３に進めると、制御部７は、第１の撮像ユニット１の欠陥領域の撮像画像と、第２の撮像ユニット２の正常撮像領域の撮像画像とを比較することで、両画像の一致／不一致を検出するオブジェクト認識処理を行う。
【００６６】
具体的には、制御部７は、例えば色認識処理、顔認識処理、人認識処理、パターンマッチング等の手法を用いて両画像の一致／不一致を検出する。この際、一例ではあるが、制御部７は、欠陥領域が大きい場合は、図７に示すように前記欠陥領域のオブジェクトと前記正常撮像領域のオブジェクトの同一性を判別するオブジェクト認識処理を行う。また、制御部７は、欠陥領域が小さい場合は、図７に示すように前記欠陥領域の撮像画像と前記正常撮像領域の撮像画像の色認識処理等に基づいて、前記両画像の同一性を判別するオブジェクト認識処理を行う。
【００６７】
このようなオブジェクト認識処理において、前記両画像が同じ画像であるものと判別されるということは、第２の撮像ユニット２上に設定された正常撮像領域の位置は、第１の撮像ユニット１の欠陥領域に真に対応する位置であることを意味している。
このため、前記両画像が同じ画像であるものと判別すると、制御部７は、処理をステップＳ７に進め、そのまま上述の欠陥領域の補正処理を実行する。
【００６８】
これに対して、前記オブジェクト認識処理において、前記両画像が異なる画像であるものと判別されるということは、第２の撮像ユニット２上に設定された正常撮像領域の位置と、第１の撮像ユニット１の欠陥領域との間に位置的なズレが発生していることを意味している。
このため、前記両画像が異なる画像であるものと判別した場合、制御部７は、ステップＳ１４及びステップＳ１５を介して処理をステップＳ１６に進め、第２の撮像ユニット２上の正常撮像領域の位置を所定方向に所定画素分、移動制御する。
【００６９】
一例ではあるが、制御部７は、ステップＳ１６に処理を進める毎に、例えば１画素分、左方向に第２の撮像ユニット２上の正常撮像領域の位置を移動制御する。
なお、正常撮像領域の移動量としては、３画素分や１０画素分等のように任意の移動量を設定してもよい。また、正常撮像領域の移動方向としても、右方向や上方向或いは下方向や斜め方向に移動させてもよい。
【００７０】
制御部７は、この正常撮像領域の位置の移動制御を行うと、処理をステップＳ１３に戻し、前記欠陥領域の撮像画像と前記正常撮像領域の撮像画像に基づくオブジェクト認識処理を行う。そして、両画像の一致が検出された場合、制御部７は、ステップＳ７に処理を進め、前記移動した正常撮像領域に基づく欠陥領域の補正処理を実行する。また、両画像の不一致が検出された場合、制御部７は、ステップＳ１６に処理を進め、再度、正常撮像領域の位置の移動制御を行う。
【００７１】
制御部７は、このような正常撮像領域の位置の移動制御を行う毎に、ステップＳ１５において、その試行回数を１つずつインクリメントする。そして、制御部７は、ステップＳ１４において、試行回数が、予め定められた試行回数の上限に達したか否かを判別している。
すなわち、制御部７は、正常撮像領域の位置の移動制御の試行回数が上限に達するまでは、正常撮像領域の位置を移動しながら前記両画像の一致／不一致を検出し、両画像の一致を検出した際に、処理をステップＳ７に進め、前記移動した正常撮像領域の位置に基づいて、上述の欠陥領域の補正処理を行う。
【００７２】
なお、前記両画像の一致を検出することなく、前記試行回数が上限に達した場合、このままでは正確な欠陥領域の補正処理を行うことが困難となるため、そのまま、図６のフローチャートに示す全処理を終了する。
【００７３】
〔第２の実施例の効果〕
以上の説明から明らかなように、第２の実施例となる立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像と、第２の撮像ユニット２の正常撮像領域の撮像画像の一致／不一致を検出するオブジェクト認識処理を行い、各領域の撮像画像が一致するように第２の撮像ユニット２の正常撮像領域の位置を移動調整する。
これにより、より正確な欠陥領域の補正処理を可能とすることができる他、上述の第１の実施例の立体カメラシステムと同じ効果を得ることができる。
【００７４】
［第３の実施例］
次に、本発明の第３の実施例となる立体カメラシステムの説明をする。上述の各実施例の立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補正するものであった。これに対して、この第３の実施例となる立体カメラシステムは、第２の撮像ユニット２の欠陥領域の撮像画像を、第１の撮像ユニット１の正常撮像領域の撮像画像で補正するようにしたものである。
なお、以下の第３の実施例の立体カメラシステムの説明では、上述の各実施例の立体カメラシステムに対して差異となる箇所の構成，動作及び効果を説明することとして、重複した説明は省略することとする。
【００７５】
〔第３の実施例の立体カメラシステムの構成〕
図８に、この本発明を適用した第３の実施例となる立体カメラシステムの主要部のブロック図を示す。この図８において、欠陥アドレスメモリ１０には、この立体カメラシステムの工場出荷時や、この立体カメラシステムによる３次元動画像の撮像開始時に検出された第２の撮像ユニット２の前記欠陥アドレスが記憶されている。
また、この第３の実施例の立体カメラシステムの場合、第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するための切り替えスイッチ部１６を有している。
【００７６】
切り替えスイッチ部１６は、第１の撮像ユニット１からの撮像画像が供給される第１の被選択端子１６ａと、第２の撮像ユニット２からの撮像画像が供給される第２の被選択端子１６ｂとを機能的に有している。また、この切り替えスイッチ部１６は、前記いずれかの被選択端子１６ａ或いは被選択端子１６ｂを選択して、前記第１の撮像ユニット１からの撮像画像、或いは前記第２の撮像ユニット２からの撮像画像を第２のバッファメモリ１５に供給する選択端子１６ｃを機能的に有している。
欠陥領域形成部１１は、欠陥アドレスメモリ１０に記憶された欠陥アドレスに基づいて、図３を用いて説明したように、第２の撮像ユニット２の欠陥領域を形成する。また、バッファ制御部１２は、この欠陥領域に基づいてなされたレジスタ設定に基づいて、前記切り替えスイッチ部１６を仮想的に切り替え制御して、第２の撮像ユニット２の欠陥補正処理を行うようになっている。
【００７７】
〔第３の実施例の欠陥補正処理〕
この第３の実施例となる立体カメラシステムの場合、バッファ制御部１２が、前記レジスタ設定に従って、第２の撮像ユニット２上の欠陥領域の撮像画像の代わりに、この第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するように、切り替えスイッチ部１６を切り替え制御することで、第２の撮像ユニット２の欠陥補正制御を行う。
【００７８】
具体的には、まず、バッファ制御部１２は、第２の撮像ユニット２の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１６ｃで第２の被選択端子１６ｂを選択するように切り替えスイッチ部１６を切り替え制御する。
これにより、第２の撮像ユニット２の被写体を正常に撮像している領域で撮像された撮像画像は第２のバッファメモリ１５に供給され、この第２のバッファメモリ１５に一時的に記憶される。この間、第１の撮像ユニット１で撮像された撮像画像は第１のバッファメモリ１４に供給され、第１のバッファメモリ１４に一時的に記憶される。
【００７９】
次に、バッファ制御部１２は、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１６ｃで第１の被選択端子１６ａを選択するように切り替えスイッチ部１６を切り替え制御する。
これにより、第２のバッファメモリ１５に対して、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、第１の撮像ユニット１で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第２のバッファメモリ１５に供給され、前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。そして、第２のバッファメモリ１５には、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
【００８０】
なお、切り替えスイッチ部１６が選択端子１６ｃで第１の被選択端子１６ａを選択している間も、第１のバッファメモリ１４に対する第１の撮像ユニット１から読み出された撮像画像の一時記憶制御は、継続して行われる。
【００８１】
〔第３の実施例の効果〕
以上の説明から明らかなように、この第３の実施例の立体カメラシステムは、第２の撮像ユニット２の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出する。また、第１の撮像ユニット１の全撮像領域のうち、前記第２の撮像ユニット２の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。
【００８２】
そして、第２の撮像ユニット２で撮像された撮像画像を第２のバッファメモリ１５に記憶する際に、前記第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、前記第１の撮像ユニット１の前記正常撮像領域で撮像された撮像画像を記憶する。これにより、第２のバッファメモリ１５に対して、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができる。このため、第２の撮像ユニット２の欠陥領域に影響されない高品質な３次元動画像を撮像可能とすることができる他、上述の各実施例の立体カメラシステムと同様の効果を得ることができる。
【００８３】
［第４の実施例］
次に、本発明の第４の実施例となる立体カメラシステムの説明をする。上述の各実施例の立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補間し、或いは第２の撮像ユニット２の欠陥領域の撮像画像を、第１の撮像ユニット１の正常撮像領域の撮像画像で補間するものであった。
これに対して、この第４の実施例となる立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補間すると共に、第２の撮像ユニット２の欠陥領域の撮像画像を、第１の撮像ユニット１の正常撮像領域の撮像画像で補間するようにしたものである。
【００８４】
なお、以下の第４の実施例の立体カメラシステムの説明では、上述の各実施例の立体カメラシステムに対して差異となる箇所の構成，動作及び効果を説明することとして、重複した説明は省略することとする。
【００８５】
〔第４の実施例の立体カメラシステムの構成〕
図９に、この本発明を適用した第４の実施例となる立体カメラシステムの主要部のブロック図を示す。この図９において、欠陥アドレスメモリ１０には、この立体カメラシステムの工場出荷時や、この立体カメラシステムによる３次元動画像の撮像開始時に検出された第１の撮像ユニット１の前記欠陥アドレス、及び第２の撮像ユニット２の前記欠陥アドレスがそれぞれ記憶されている。
【００８６】
また、この第４の実施例の立体カメラシステムの場合、第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像を第１のバッファメモリ１４に供給するための切り替えスイッチ部１３と、第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するための切り替えスイッチ部１６とを有している。
切り替えスイッチ部１３は、第１の撮像ユニット１からの撮像画像が供給される第１の被選択端子１３ａと、第２の撮像ユニット２からの撮像画像が供給される第２の被選択端子１３ｂとを機能的に有している。また、この切り替えスイッチ部１６は、前記いずれかの被選択端子１３ａ或いは被選択端子１３ｂを選択して、前記第１の撮像ユニット１からの撮像画像、或いは前記第２の撮像ユニット２からの撮像画像を第１のバッファメモリ１４に供給する選択端子１３ｃを機能的に有している。
【００８７】
同様に、切り替えスイッチ部１６は、第１の撮像ユニット１からの撮像画像が供給される第１の被選択端子１６ａと、第２の撮像ユニット２からの撮像画像が供給される第２の被選択端子１６ｂとを機能的に有している。また、この切り替えスイッチ部１６は、前記いずれかの被選択端子１６ａ或いは被選択端子１６ｂを選択して、前記第１の撮像ユニット１からの撮像画像、或いは前記第２の撮像ユニット２からの撮像画像を第２のバッファメモリ１５に供給する選択端子１６ｃを機能的に有している。
欠陥領域形成部１１は、欠陥アドレスメモリ１０に記憶された欠陥アドレスに基づいて、図３を用いて説明したように、第１の撮像ユニット１の欠陥領域を形成すると共に、第２の撮像ユニット２の欠陥領域を形成する。また、バッファ制御部１２は、各欠陥領域に基づいてなされたレジスタ設定に基づいて、前記切り替えスイッチ１３及び前記切り替えスイッチ部１６を仮想的に切り替え制御して、第１の撮像ユニット１の欠陥補正処理、及び第２の撮像ユニット２の欠陥補正処理を行うようになっている。
【００８８】
〔第４の実施例の欠陥補正処理〕
この第４の実施例となる立体カメラシステムの場合、バッファ制御部１２が、前記レジスタ設定に従って、第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像を第１のバッファメモリ１４に供給するように、切り替えスイッチ部１３を切り替え制御することで、第１の撮像ユニット１の欠陥補正制御を行う。
また、この立体カメラシステムは、第２の撮像ユニット２上の欠陥領域の撮像画像の代わりに、この第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するように、切り替えスイッチ部１６を切り替え制御することで、第２の撮像ユニット２の欠陥補正制御を行う。
【００８９】
具体的には、まず、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１３ｃで第１の被選択端子１３ａを選択するように切り替えスイッチ部１３を切り替え制御する。
また、バッファ制御部１２は、第２の撮像ユニット２の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１６ｃで第２の被選択端子１６ｂを選択するように切り替えスイッチ部１６を切り替え制御する。
【００９０】
これにより、第１の撮像ユニット１の被写体を正常に撮像している領域で撮像された撮像画像は第１のバッファメモリ１４に供給され、この第１のバッファメモリ１４に一時的に記憶される。この間、第２の撮像ユニット２で撮像された撮像画像は第２のバッファメモリ１５に供給され、第２のバッファメモリ１５に一時的に記憶される。
また、第２の撮像ユニット２の被写体を正常に撮像している領域で撮像された撮像画像は第２のバッファメモリ１５に供給され、この第２のバッファメモリ１５に一時的に記憶される。この間、第１の撮像ユニット１で撮像された撮像画像は第１のバッファメモリ１４に供給され、第１のバッファメモリ１４に一時的に記憶される。
【００９１】
次に、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１３ｃで第２の被選択端子１３ｂを選択するように切り替えスイッチ部１３を切り替え制御する。同様に、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１６ｃで第１の被選択端子１６ａを選択するように切り替えスイッチ部１６を切り替え制御する。
【００９２】
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第１のバッファメモリ１４に供給され、前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。そして、第１のバッファメモリ１４には、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
【００９３】
同様に、第２のバッファメモリ１５に対しては、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、第１の撮像ユニット１で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第２のバッファメモリ１５に供給され、前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。そして、第２のバッファメモリ１５には、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
【００９４】
なお、切り替えスイッチ部１３が選択端子１３ｃで第１の被選択端子１３ａを選択している間も、第２のバッファメモリ１５に対する第２の撮像ユニット２から読み出された撮像画像の一時記憶制御は、継続して行われる。同様に、切り替えスイッチ部１６が選択端子１６ｃで第１の被選択端子１６ａを選択している間も、第１のバッファメモリ１４に対する第１の撮像ユニット１から読み出された撮像画像の一時記憶制御は、継続して行われる。
【００９５】
〔第４の実施例の効果〕
以上の説明から明らかなように、この第４の実施例の立体カメラシステムは、第１の撮像ユニット１の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出すると共に、第２の撮像ユニット２の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出する。また、第２の撮像ユニット２の全撮像領域のうち、前記第１の撮像ユニット１の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出すると共に、前記第１の撮像ユニット１の全撮像領域のうち、前記第２の撮像ユニット２の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。
【００９６】
そして、第１の撮像ユニット１で撮像された撮像画像を第１のバッファメモリ１４に記憶する際に、前記第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、前記第２の撮像ユニット２の前記正常撮像領域で撮像された撮像画像を記憶すると共に、第２の撮像ユニット２で撮像された撮像画像を第２のバッファメモリ１５に記憶する際に、前記第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、前記第１の撮像ユニット１の前記正常撮像領域で撮像された撮像画像を記憶する。
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができると共に、第２のバッファメモリ１５に対して、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができる。このため、第１の撮像ユニット１の欠陥領域及び第２の撮像ユニット２の欠陥領域に影響されない高品質な３次元動画像を撮像可能とすることができる他、上述の各実施例の立体カメラシステムと同様の効果を得ることができる。
【００９７】
［変形例］
上述の各実施例の説明では、第１及び第２の計２つの撮像ユニット１，２を有する立体カメラシステムに本発明を適用することとしたが、本発明は、３つ以上の撮像ユニットを有する立体カメラシステムに適用してもよい。
この場合でも、視差量に基づいて、一方の撮像ユニットの欠陥領域の撮像画像を、他方の撮像ユニットの正常撮像領域の撮像画像で補間することで、上述と同様の効果を得ることができる。また、一方の撮像ユニットの欠陥領域と他方の撮像ユニットの正常撮像領域のオブジェクト認識処理を行えば、さらに正確に欠陥領域の補正処理を行うことができる。
また、上述の各実施例の説明では、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補正する等のように、複数の画素の複合体である領域単位で補正処理を行うこととしたが、これは、画素単位で補正処理を行うようにしてもよい。
【００９８】
また、上述の各実施例の説明では、３次元動画像を撮像する立体カメラシステムに本発明を適用することとしたが、３次元静止画像を撮像する立体カメラシステムに本発明を適用してもよい。この場合も、上述と同様の効果を得ることができる。
また、上述の各実施例の説明では、ユーザにより設定された視差量設定値に基づいて、各撮像ユニット１，２の間の距離を調整することで、視差量の調整を行うこととしたが、これは、各撮像ユニット１，２の間の距離は固定した状態で広範囲な撮像画像を取得し、その広範囲の撮像画像から各撮像ユニット１，２の撮像画像をそれぞれ切り出す際に、各撮像画像の切り出し位置の間隔を離したり近づけたりすることで、視差量を調整するようにしてもよい。この場合でも、上述と同じ効果を得ることができる。
【００９９】
最後に、上述の各実施例は、本発明の一例であるため、本発明は上述の実施例に限定されることはない。このため、本発明は、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【符号の説明】
【０１００】
１ 第１の撮像ユニット
２ 第２の撮像ユニット
３ 第１の撮像ユニット駆動部
４ 第２の撮像ユニット駆動部
５ 視差量設定入力の入力端子
６ 視差量設定値保持メモリ
７ 制御部
８ 欠陥補正処理部
９ 画像変換処理部
１０ 欠陥アドレスメモリ
１１ 欠陥領域形成部
１２ バッファ制御部
１３ 切り替えスイッチ部
１４ 第１のバッファメモリ
１５ 第２のバッファメモリ
１６ 切り替えスイッチ部
１８ ３次元動画像の出力端子
１９ 欠陥補正プログラムが記憶されたＲＯＭ
２０ 欠陥アドレス検出部
【技術分野】
【０００１】
本発明は、複数の撮像部で撮像された各撮像画像に基づいて３次元画像（静止画像、動画像）を形成する立体カメラシステム等に適用して好適な複眼撮像装置、及び撮像欠陥箇所の補正方法に関する。特には、一方の撮像部の撮像欠陥箇所で撮像された撮像画像の代わりに、他方の撮像部で撮像された前記撮像欠陥箇所に対応する正常な撮像画像を出力することで、撮像素子の欠陥画素や撮像ユニットのレンズの傷等に影響されない正常な撮像画像の高速出力を可能とし、３次元動画像の撮像に対しても欠陥補正の適用を可能とした複眼撮像装置、及び撮像欠陥個所の補正方法に関する。
【背景技術】
【０００２】
本願発明の出願人は、本願発明の背景技術として特開２０１０−１５４３１１号公報（特許文献１）、及び特開２０１０−２０６５２１号公報（特許文献２）の存在を認識している。
【０００３】
特許文献１には、視差のある複数の画像のうち１つの画像に欠損データが発生した場合であっても正常な立体視画像を生成することを目的とした複眼撮像装置が開示されている。
この複眼撮像装置の場合、所定の視差を有するように配置された複数の撮像装置によって撮像された複数の画像データから異常エリアを検出し、正常エリアの画像データを用いて前記異常エリアを補完するための補完データを生成し、この生成した補完データによって異常エリアを補完する。
これにより、視差のある複数の画像のうち、１つの画像に欠損データが発生した場合でも、正常な立体視画像を生成可能とすることができる。
【０００４】
また、特許文献２には、大きな領域の画素欠陥を良好に補正することを目的とした多視点の撮像装置が開示されている。
この撮像装置の場合、第１撮像部又は第２撮像部で撮像した画像である補正対象画像から欠陥領域を特定し、この欠陥領域を包含する所定形状の探索領域を設定する。次に、第２撮像部（基準撮像系）の撮像した画像である基準画像のうち、第１撮像部及び第２撮像部の共通する撮像範囲を走査して、探索領域の欠陥領域以外の部分領域の色情報と一致する色情報を有する基準画像内の領域（対応領域）を探索する。
そして、基準画像から対応領域を抽出し、欠陥領域を対応領域で置換することで補正対象画像を補正する。これにより、大きな領域の画素欠陥を良好に補正することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１５４３１１号公報
【特許文献２】特開２０１０−２０６５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前述の特許文献１に開示されている複眼撮像装置、及び特許文献２に記載されている撮像装置は、撮像により得られた撮像画像に基づいて欠陥の補正処理を行うようになっている。すなわち、前記各特許文献１，２の技術は、いずれも被写体の撮像を行うことで、一旦、撮像画像を形成し、この形成された撮像画像に対して欠陥の補正処理を施すようになっている。このため、欠陥の補正処理がなされた撮像画像を得るのに要するトータル的な時間としては、「撮像した被写体の撮像画像を得るまでの時間＋撮像により得た撮像画像に対して欠陥の補正処理を施す時間」が必要となる。
【０００７】
このようなことから、前記各特許文献１，２の技術の場合、静止画像の撮像に対しては適用可能であるが、動画像を撮像する場合、前記「撮像した被写体の撮像画像を得るまでの時間＋撮像により得た撮像画像に対して欠陥の補正処理を施す時間」が、動画像の各フレームの撮像時間を上回る可能性が高い。換言すれば、動画像の撮像に前記各特許文献１，２の技術を適用すると、撮像された動画像の各フレーム画像に対する欠陥の補正処理が間に合わない可能性が高い。このため、前記各特許文献１，２の技術は、動画像の撮像に対しては適用困難であった。
【０００８】
本発明は、上述の課題に鑑みてなされたものであり、高速な撮像欠陥箇所の補正処理を可能として、動画像の撮像にも対応とした複眼撮像装置、及び撮像欠陥箇所の補正方法の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
被写体の撮像を行う第１の撮像部（１）及び第２の撮像部（２）を少なくとも備えた撮像部群（１，２）と、
前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成するための視差量設定部と、（３，４，５，６，７）
少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出するための欠陥アドレス検出部と、（１０，２０）
前記第２の撮像部の全画素のうち、前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定部により設定された前記視差量に基づいて検出する正常アドレス検出部と、（７）
前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御部と、（８，１２，１４，１５）
前記画像読み出し制御部から出力された前記各撮像部で撮像された各撮像画像に基づいて３次元画像を形成して出力する３次元画像形成部と（９）
を有する。
【００１０】
また、本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
前記欠陥アドレス検出部で検出された前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成部を有し、（１１）
前記正常アドレス検出部は、前記第２の撮像部の全画素のうち、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定部により設定された前記視差量に基づいて検出し、
前記画像読み出し制御部は、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、この欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する。
【００１１】
また、本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
前記欠陥領域形成部で形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出部で検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出部と、（７）
前記被写体一致検出部で前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御部と（７，１２）
を有する。
【００１２】
また、本発明に係る複眼撮像装置は、上述の課題を解決するための手段として、
前記欠陥アドレス検出部は、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリ（１０）を備え、或いは少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出部と、（２０）この検出した欠陥アドレスを記憶する欠陥アドレスメモリ（１０）とを備える。
【００１３】
次に、本発明に係る撮像欠陥箇所の補正方法は、少なくとも第１の撮像部及び第２の撮像部を備えた撮像部群の前記各撮像部から読み出された各撮像画像に基づいて３次元画像を形成して出力する複眼撮像装置の撮像欠陥箇所の補正方法であって、上述の課題を解決するための手段として、
視差量設定部が、前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成する視差量設定ステップと、
欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥アドレス検出ステップと、
正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥アドレス検出ステップで検出された前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出する正常アドレス検出ステップと、
画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御ステップと
を有する。
【００１４】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するための手段として、
欠陥領域形成部が、前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成ステップを有し、
前記正常アドレス検出ステップでは、前記正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出し、
前記画像読み出し制御ステップでは、前記画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、前記欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する。
【００１５】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するための手段として、
被写体一致検出部が、前記欠陥領域形成ステップで形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出ステップで検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出ステップと、
前記被写体一致検出ステップで前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、正常アドレス検出制御部が、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御ステップと
を有する。
【００１６】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するために、
前記欠陥アドレス検出ステップでは、前記欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリから前記欠陥アドレスを読み出すことで、前記欠陥アドレスの検出を行う。
【００１７】
また、本発明に係る撮像欠陥箇所の補正方法は、上述の課題を解決するための手段として、
前記欠陥アドレス検出ステップは、前記欠陥アドレス検出部の欠陥検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出ステップと、
前記欠陥アドレス検出部の欠陥アドレス記憶制御部が、前記欠陥検出ステップで検出された前記欠陥アドレスを欠陥アドレスメモリに記憶制御する記憶制御ステップと
を有する。
【発明の効果】
【００１８】
本発明は、撮像欠陥箇所の高速な補正処理を可能とすることができる。このため、３次元動画像の撮像に対してリアルタイムに対応して撮像欠陥箇所の補正処理を行うことができる。従って、高品質な３次元動画像の撮像を可能とすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した第１の実施例となる立体カメラシステムの主要部のブロック図（一部、機能ブロック図）である。
【図２】第１の実施例の立体カメラシステムの欠陥補正処理の流れを示すフローチャートである。
【図３】第１の実施例の立体カメラシステムの欠陥領域の形成処理を説明するための図である。
【図４】第１の実施例の立体カメラシステムに設けられている第１及び第２の撮像ユニットの視差量を説明するための図である。
【図５】第１の実施例の立体カメラシステムの欠陥補正処理を説明するための図である。
【図６】本発明を適用した第２の実施例となる立体カメラシステムの欠陥補正処理の流れを示すフローチャートである。
【図７】第２の実施例の立体カメラシステムのオブジェクト認識処理を説明するための図である。
【図８】本発明を適用した第３の実施例の立体カメラシステムの主要部のブロック図である。
【図９】本発明を適用した第４の実施例の立体カメラシステムの主要部のブロック図である。
【発明を実施するための形態】
【００２０】
本発明は、複数のカメラ装置で撮像された被写体の撮像画像に基づいて３次元画像を形成する立体カメラシステムに適用することができる。
【００２１】
［第１の実施例］
〔第１の実施例の立体カメラシステムの構成〕
この本発明を適用した第１の実施例となる立体カメラシステムは、図１に示すように例えばＣＭＯＳセンサ（CMOS：Complementary Metal Oxide Semiconductor）やＣＣＤイメージセンサ（CCD：Charge Coupled Device）等の固体撮像素子により被写体を撮像することで左目用の撮像画像を得る第１の撮像ユニット１と、右目用の撮像画像を得る第２の撮像ユニット２とを有している。
なお、第１の撮像ユニット１を左目用の撮像画像を得るための撮像ユニットとし、第２の撮像ユニット２を右目用の撮像画像を得るための撮像ユニットとしたが、第１の撮像ユニット１を右目用の撮像画像を得るための撮像ユニットとし、第２の撮像ユニット２を左目用の撮像画像を得るための撮像ユニットとしてもよい。
【００２２】
また、この立体カメラシステムは、前記各撮像ユニット１，２の間の距離を、ユーザにより指定された視差量を形成する距離となるように移動調整するための第１の撮像ユニット駆動部３及び第２の撮像ユニット駆動部４を有している。
また、この立体カメラシステムは、ユーザにより入力された視差設定値が供給される視差設定値入力端子５と、このユーザにより入力された視差設定値を記憶する視差量設定値保持メモリ６とを有している。
【００２３】
また、この立体カメラシステムは、この視差量設定値保持メモリ６に記憶された前記視差設定値に基づいて、第１の撮像ユニット１及び第２の撮像ユニット２を、第１の撮像ユニット駆動部３及び第２の撮像ユニット駆動部４を介して移動制御することで、第１の撮像ユニット１及び第２の撮像ユニット２の間の距離を前記視差設定値（＝ユーザにより指定された視差量）に対応する距離に調整する視差量調整制御、各撮像ユニット１，２による被写体の撮像制御の他、この立体カメラシステム全体の動作制御を行う制御部７を有している。
また、この立体カメラシステムは、第１の撮像ユニット１及び第２の撮像ユニット２から読み出された各撮像画像に基づいて、第１の撮像ユニットの後述する欠陥領域の補正処理を行う欠陥補正処理部８と、欠陥補正処理部８により欠陥領域の補正処理が行われた前記各撮像画像に基づいて３次元撮像画像を形成する画像変換処理部９とを有している。
【００２４】
また、この立体カメラシステムは、第１の撮像ユニットの各画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリ１０を有している。
この欠陥アドレスメモリ１０には、前記ＣＭＯＳセンサやＣＣＤイメージセンサ等の半導体撮像素子の製造上の欠陥画素（いわゆる白キズ）のアドレスや、例えば撮像レンズに付着したキズやゴミ等により、被写体を正常に撮像していない画素のアドレスが、前記欠陥アドレスとして記憶されている。
【００２５】
また、この欠陥アドレスメモリ１０に欠陥アドレスが記憶されるタイミングとしては、この立体カメラシステムの工場出荷時でもよいし、この立体カメラシステムによる３次元動画像の撮像開始時でもよい。
すなわち、この立体カメラシステムの工場出荷時に、各画素の出力レベル等に基づいて、前記被写体を正常に撮像していない画素を検出し、この画素の欠陥アドレスを欠陥アドレスメモリ１０に予め記憶しておく。
【００２６】
或いは、立体カメラシステムによる３次元動画像の撮像開始時に、例えば全白画像や全黒画像等の欠陥アドレス検出用の画像を撮像し、各画素の出力レベル等に基づいて、前記被写体を正常に撮像していない画素を検出し、この画素の欠陥アドレスを欠陥アドレスメモリ１０に記憶するようにしてもよい。
この立体カメラシステムによる３次元動画像の撮像開始時に被写体を正常に撮像していない画素を検出する場合、図１に点線のブロックで示すように、各撮像ユニット１，２の撮像出力に基づいて、前記被写体を正常に撮像していない画素のアドレスを検出する欠陥アドレス検出部２０を設ければよい。
【００２７】
このように立体カメラシステムによる３次元動画像の撮像開始時に被写体を正常に撮像していない画素を検出する構成とすることにより、撮像レンズや半導体撮像素子にキズやゴミが付着することで、被写体を正常に撮像していない画素が後発的に発生した場合でも、これに対応可能とすることができる。
【００２８】
次に、この立体カメラシステムの構成の説明に戻り、この立体カメラシステムは、欠陥アドレスメモリ１０に記憶された前記欠陥アドレスに基づいて、第１の撮像ユニット１上の少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成部１１を有している。
また、この立体カメラシステムは、欠陥領域形成部１１で特定された第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の撮像領域（正常撮像領域）で撮像された撮像画像を出力して、第１の撮像ユニット１の欠陥補正を行うように欠陥補正処理部８を制御するバッファ制御部１２を有している。
【００２９】
次に、図１を用いて欠陥補正処理部８の構成を説明する。この図１に図示している欠陥補正処理部８の構成は、この欠陥補正処理部８の機能的な構成を示している。
この図１からわかるように、欠陥補正処理部８は、欠陥領域形成部１１で特定された第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像を切り替えて出力する切り替えスイッチ部１３を有している。
【００３０】
また、この欠陥補正処理部８は、切り替えスイッチ部１３を介して供給される前記第１の撮像ユニット１で撮像された撮像画像、或いは前記第２の撮像ユニット２で撮像された撮像画像を一時的に記憶する第１のバッファメモリ１４と、前記第２の撮像ユニット２で撮像された撮像画像を一時的に記憶する第２のバッファメモリ１５とを有している。
実際に行われる欠陥補正処理部８の欠陥補正処理は、「第１の撮像ユニット１の欠陥領域の先頭アドレス」と、「第２のユニット２の正常撮像領域の先頭アドレス」、及び「補正する領域の大きさ」をバッファ制御部１２のレジスタに設定する。
【００３１】
そして、バッファ制御部１２が、このレジスタ設定に従って、欠陥領域形成部１１で特定された第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像が第１のバッファメモリ１４に供給されるようにバッファリング制御を行う。
【００３２】
図１の欠陥補正処理部８の構成は、このような欠陥補正処理を理解容易なように機能的に示した構成となっている。そして、バッファ制御部１２は、前記レジスタ設定に従って、第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像が第１のバッファメモリ１４に供給されるように、切り替えスイッチ部１３を切り替え制御することで、第１の撮像ユニット１の欠陥補正制御を行うようになっている。
【００３３】
〔第１の実施例の欠陥補正処理〕
図２のフローチャートに、この本発明の第１の実施例となる立体カメラシステムの欠陥補正処理の流れを示す。この立体カメラシステムの制御部７は、メイン電源の投入を検出したタイミングで、ＲＯＭ１９に記憶されている欠陥補正プログラムに基づいて、この図２のフローチャートの処理を開始する。
【００３４】
ステップＳ１では、制御部７が、ユーザが視差量の設定ボタンを操作することで入力端子５を介して供給される視差量設定入力に基づいて、ユーザにより設定された視差量を取得し、この視差量設定値を視差量設定値保持メモリ６に記憶制御して処理をステップＳ２に進める。
制御部７は、この視差量設定値保持メモリ６に記憶された視差量設定値を参照して、第１の撮像ユニット駆動部３を介して第１の撮像ユニット１を移動制御し、第２の撮像ユニット駆動部４を介して第２の撮像ユニット２を移動制御して、視差量の調整制御を行う。
また、制御部７は、この視差量設定値保持メモリ６に記憶された視差量設定値を、欠陥領域形成部１１及びバッファ制御部１２に供給して通知する。
【００３５】
次に、ステップＳ２では、制御部７が、ステップＳ１で取得した視差量と所定の閾値とを比較することで、ユーザにより設定された視差量が３次元動画像を撮像し得る許容範囲内であるか否かを判別する。
ユーザにより設定された視差量が３次元動画像を撮像し得る許容範囲外であるということは、３次元動画像の撮像が困難であるため、そのまま、この図２のフローチャートの処理を全て終了する。
これに対して、ユーザにより設定された視差量が３次元動画像を撮像し得る許容範囲内であるものと判別した場合、制御部７は、処理をステップＳ３に進め、欠陥アドレスメモリ１０から第１の撮像ユニット１上の前記欠陥アドレスを取得し、処理をステップＳ４に進める。
【００３６】
ステップＳ４では、制御部７が、欠陥アドレスメモリ１０から得られた情報に基づいて、第１の撮像ユニット１上に欠陥アドレスが存在するか否かを判別する。そして、第１の撮像ユニット１上に欠陥アドレスが存在しないものと判別した場合、後述する欠陥補正処理は不要であるため、制御部７は、そのまま、この図２のフローチャートの処理を全て終了する。
一方、ステップＳ４において、第１の撮像ユニット１上に欠陥アドレスが存在するものと判別した場合、制御部７は、処理をステップＳ５に進め、取得した欠陥アドレスに基づいて欠陥領域を形成するように欠陥領域形成部１１を制御する。
欠陥領域形成部１１は、欠陥アドレスメモリ１０に記憶された全ての欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する。
【００３７】
図３に、この欠陥領域形成部１１が形成する欠陥領域の一例を示す。この図３の例に示す黒点は、欠陥アドレスの画素を示している。欠陥領域形成部１１は、少なくとも一つの欠陥アドレスの画素を含むように、最小単位として３画素×３画素の欠陥領域を形成し、また、最大単位として５画素×５画素の欠陥領域を形成する。
また、図３に示すように、欠陥アドレスの画素が、予め設定した最大の大きさ以上に連続している場合は（この例の場合は、前記５画素×５画素以上に連続している場合は）、欠陥領域形成部１１は、この５画素×５画素の大きさを上限として欠陥領域を形成し、欠陥アドレスの画素の続き具合に応じて、前記上限とした欠陥領域に続けて前記最小単位〜最大単位の間の大きさの欠陥領域を形成する。また、図３に示すように欠陥アドレスの画素の数が、一つ或いは極少数の場合でも、欠陥領域形成部１１は、前記最大単位の大きさの欠陥領域を形成する。
【００３８】
なお、後述するが、本発明を適用した第２の実施例の立体カメラシステムでは、第１の撮像ユニット１の欠陥領域内の撮像画像と、この第１の撮像ユニット１の欠陥領域の撮像画像を補正するために第２の撮像ユニット２に設定された正常撮像領域内の撮像画像とが、同じ撮像画像となるように、第２の撮像ユニット２の正常撮像領域の位置を調整するようになっている。このため、欠陥領域の最小単位としては、その欠陥領域内の撮像画像の色やオブジェクトを認識可能な大きさとすることが好ましいであろう。
また、この３画素×３画素や５画素×５画素等の欠陥領域の大きさは一例であり、設計等に応じて適宜変更可能である。
【００３９】
次に、このように欠陥領域を形成すると、制御部７は、処理をステップＳ６に進め、第１の撮像ユニット１の欠陥領域の撮像画像を補間するための正常撮像画像を得るための第２の撮像ユニット２の正常撮像領域を、前記通知した視差量設定値に基づいて検出するようにバッファ制御部１２を制御する。
【００４０】
ここで、図４において、各撮像ユニット１，２の撮像レンズ１ａ，２ａと被写体との距離を一定の距離として、左右の視点が被写体の中心で交わるような角度（輻輳角）で視差量を設定すると、被写体の中心点の視差量は視差量０となる。
この状態で、撮像レンズ１ａ，２ａと被写体との距離を一定としたまま、この輻輳角よりも大きくなるように視差量ｄを設定すると、被写体は飛び出して見える効果を得ることができる。反対に、前記輻輳角よりも小さくなるように視差量ｄを設定すれば被写体が奥に移動して見える効果を得ることができる。
視差量を調整する方法としては、被写体までの距離を一定に保ちながら各撮像ユニット１，２の位置を物理的に移動させ、各ユニット１，２間の距離を調整する方法が知られている。
【００４１】
或いは、各撮像ユニット１，２の間の距離は固定した状態で広範囲な撮像画像を取得し、その広範囲の撮像画像から各撮像ユニット１，２の撮像画像をそれぞれ切り出す際に、各撮像画像の切り出し位置の間隔を離したり近づけたりすることで、視差量を調整する方法が知られている。
この実施例の立体カメラシステムの場合、一例として、制御部７が、ユーザにより設定された視差量設定値に基づいて、第１の撮像ユニット駆動部３を介して第１の撮像ユニット１の位置を移動し、第２の撮像ユニット駆動部４を介して第２の撮像ユニット２の位置を移動することで、視差量を調整する。
【００４２】
いずれにしても視差量がそれほど大きくなく、各撮像ユニット１，２の角度も被写体に対して並行であり、画素単位のような比較的狭い面積の領域に関していえば、単純に両者のズレ量の距離を水平方向に移動した画像が入力されると近似的に仮定することが可能である。
すなわち、欠陥アドレスの画素を有する第１の撮像ユニット１と、もう一方の第２の撮像ユニット２とで、同一の被写体を撮像しているものと推測される各撮像領域は、図４に示すように現在設定されている各撮像ユニット１，２の視差量に対応する距離だけ離れているものと近似的に仮定することができる。
【００４３】
このため、前記バッファ制御部１２は、第１の撮像ユニット１上の欠陥領域のアドレスを認識すると、第２の撮像ユニット２上に前記欠陥領域と同じ大きさの正常撮像領域を設定するのであるが、この際、第２の撮像ユニット２上の正常撮像領域を、制御部７から通知された視差量に対応する距離だけ右方向或いは左方向に離したアドレスに設定する。
これにより、各撮像ユニット１，２に視差が存在する場合でも、同じ被写体を撮像している領域同士で、後述する欠陥補正処理を行うことを可能とすることができる。
なお、前記図４を用いた説明は、第１の撮像ユニット１と第２の撮像ユニット２とが左右並行に位置する場合の説明であったが、相対的な位置を考慮すれば各ユニット１，２が上下に位置する場合や各ユニット１，２が斜め方向に位置する場合でも、各撮像ユニット１，２の視差量に対応する距離だけ離れて前記欠陥領域と前記正常撮像領域が存在するものと仮定してもよい。この場合でも、後述の欠陥補正処理を正確に行うことは可能である。
【００４４】
次に、第１の撮像ユニット１上の欠陥領域に対応する正常撮像領域を第２の撮像ユニット２上に設定すると、制御部７は、処理をステップＳ７に進め、各撮像ユニット１，２で撮像された被写体の各撮像画像をそれぞれ読み出して出力する際に、図５に示すように第１の撮像ユニット１の欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２の前記正常撮像領域で撮像された撮像画像を出力するように、バッファ制御部１２を介して欠陥補正処理部８を制御する。
換言すると、第１の撮像ユニット１の欠陥領域で撮像された撮像画像を出力する代わりに、この第１の撮像ユニット１の欠陥領域で撮像された撮像画像の被写体と同じ被写体を撮像した第２の撮像ユニット２の正常撮像領域で撮像された撮像画像を出力する。
【００４５】
上述のように、このような欠陥補正処理は、バッファ制御部１２の前記レジスタ設定に従って、バッファ制御部１２が、第１のバッファメモリ１４及び第２のバッファメモリ１５に対する各撮像ユニット１，２からの撮像画像の記憶制御を行うことで実行される。このようなバッファ操作を、図１に図示した欠陥補正処理部８の切り替えスイッチ部１３の切り替え制御に基づいて説明する。
【００４６】
まず、この切り替えスイッチ部１３は、第１の被選択端子１３ａが第１の撮像ユニット１の出力端子に接続され、第２の被選択端子１３ｂが第２の撮像ユニット２の出力端子に接続されている。そして、この切り替えスイッチ部１３の選択端子１３ｃは、第１のバッファメモリ１４の入力端子に接続されている。
なお、第２の撮像ユニット２の前記出力端子は、前記第２の被選択端子１３ｂの他、第２のバッファメモリ１５の入力端子にも接続されている。
【００４７】
このような機能的構成を有する欠陥補正処理部８において、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１３ｃで第１の被選択端子１３ａを選択するように切り替えスイッチ部１３を切り替え制御する。
これにより、第１の撮像ユニット１の前記被写体を正常に撮像している領域で撮像された撮像画像は第１のバッファメモリ１４に供給され、この第１のバッファメモリ１４に一時的に記憶される。この間、第２の撮像ユニット２で撮像された撮像画像は第２のバッファメモリ１５に供給され、第２のバッファメモリ１５に一時的に記憶される。
【００４８】
次に、前記欠陥補正処理部８において、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１３ｃで第２の被選択端子１３ｂを選択するように切り替えスイッチ部１３を切り替え制御する。
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第１のバッファメモリ１４に供給され、図５に示すように前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。
【００４９】
そして、第１のバッファメモリ１４には、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
なお、切り替えスイッチ部１３が選択端子１３ｃで第２の被選択端子１３ｂを選択している間も、第２のバッファメモリ１５に対する第２の撮像ユニット２から読み出された撮像画像の一時記憶制御は、継続して行われる。
【００５０】
図１に示す画像変換処理部９は、原色カラーフィルタ信号を並び替えてＲＧＢ変換等を行う他、各バッファメモリ１４，１５から読み出された前記視差量を有する各撮像画像に基づいて３次元動画像を形成し、これを出力端子１８を介して、後段の記録部やライン出力部に出力する。
制御部７は、被写体の撮像が行われている間、このような欠陥補正処理を継続して実行制御する。そして、図２のフローチャートのステップＳ８において、撮像の終了を検出したタイミングで、図２のフローチャートに示す欠陥補正処理を終了する。
【００５１】
〔第１の実施例の効果〕
以上の説明から明らかなように、第１の実施例の立体カメラシステムは、第１の撮像ユニット１の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出する。
また、第２の撮像ユニット２の全撮像領域のうち、前記第１の撮像ユニット１の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。
【００５２】
そして、第１の撮像ユニット１で撮像された撮像画像を第１のバッファメモリ１４に記憶する際に、前記第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、前記第２の撮像ユニット２の前記正常撮像領域で撮像された撮像画像を記憶する。
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができる。このため、第１の撮像ユニット１の欠陥領域に影響されない高品質な３次元動画像を撮像可能とすることができる。
【００５３】
また、各撮像ユニット１，２から読み出した撮像画像を一旦各バッファメモリ１４，１５に記憶し、バッファメモリ１４，１５に記憶した各撮像画像に基づいて前記欠陥領域の補正処理を行うのではなく、各撮像ユニット１，２部から読み出した撮像画像を各バッファメモリ１４，１５に記憶する際に前記欠陥領域の補正処理を行うようになっている。このため、各撮像ユニット１，２部から読み出した撮像画像を各バッファメモリ１４，１５に記憶する際には、既に欠陥領域の補正処理が完了させた状態の撮像画像を各バッファメモリ１４，１５に記憶することができる。このため、３次元動画像の撮像に対応した高速な欠陥領域の補正処理を可能とすることができる。
【００５４】
また、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域単位で欠陥領域の補正処理を行うようになっているため、各撮像ユニット１，２から撮像画像を読み出すタイミングで、各欠陥領域毎の補正処理を完了することができ、３次元動画像の撮像に対応した高速な撮像欠陥箇所の補正処理を可能とすることができる。
また、欠陥アドレスとなっている画素を、同じ第１の撮像ユニット１内の隣接する画素ではなく、別の第２の撮像ユニット２の画素を用いて補正を行っているため、広範囲にわたる欠陥領域の補正を可能とすることができる。
【００５５】
また、欠陥領域や正常撮像領域を検出するタイミングは、この立体カメラシステムの電源投入時、又はユーザが視差量を変更操作したタイミングであり、被写体の撮像中は、前記欠陥領域や正常撮像領域の検出結果に基づいて欠陥領域の補正処理を実行することができるため、デコードした再生画像の置き換え等による従来の補正処理よりも高速に補正処理を実行することができ、３次元動画像の撮像に対応した高速な欠陥領域の補正処理を可能とすることができる。
【００５６】
なお、図２のフローチャートの説明において、制御部７は、欠陥領域の補正処理を開始するとステップＳ１で視差量の検出を行うこととした。これは、この例の立体カメラシステムが、工場出荷時に第１の撮像ユニット１の前記欠陥アドレスを予め検出して欠陥アドレスメモリ１０に記憶していたためである。
すなわち、欠陥アドレスメモリ１０に前記欠陥アドレスが記憶されていない場合や、ユーザにより視差量の変更操作がなされた場合には、あらためて欠陥アドレスメモリ１０に前記欠陥アドレスを記憶する必要がある。
【００５７】
このため、制御部７は、欠陥アドレスメモリ１０に前記欠陥アドレスが記憶されていない場合や、ユーザにより視差量の変更操作がなされた場合には、図２のフローチャートの点線で示すステップＳ０において、上述のように欠陥アドレスを検出して欠陥アドレスメモリ１０に記憶する処理を行う。
これにより、ユーザの視差量の変更操作に対応した欠陥領域の補正処理を行うことができ、また、撮像レンズ等にキズやゴミ等が付着することによる後発的に発生する欠陥領域にも対応した補正処理を行うことができる。
【００５８】
［第２の実施例］
次に、本発明の第２の実施例となる立体カメラシステムの説明をする。上述の第１の実施例の立体カメラシステムは、前記視差量に基づいて第２の撮像ユニット２上に設定した第１の撮像ユニット１の欠陥領域に対応する正常撮像領域を、そのまま用いて欠陥補正処理を行うものであった。
【００５９】
この場合、第１の撮像ユニット１の欠陥領域の撮像画像を正確に補正可能とする正常撮像領域が第２の撮像ユニット２上に設定されていればよいが、この正常撮像領域は、前記視差量に基づいて演算処理で第２の撮像ユニット２上に設定されるため、その設定位置にズレが発生することも多少なりとも懸念される。そして、第２の撮像ユニット２上に設定された正常撮像領域にズレが発生していた場合には、正確な欠陥領域の補正処理に支障を来すこととなる。
【００６０】
このような不都合を防止するために、第２の実施例の立体カメラシステムでは、欠陥領域の撮像画像と正常撮像領域の撮像画像とを比較して、各領域の撮像画像が一致するように正常撮像領域の位置を移動調整することで、正確な欠陥領域の補正処理を可能とした。
なお、以下の第２の実施例の立体カメラシステムの説明では、上述の第１の実施例の立体カメラシステムに対して差異となる箇所の構成，動作及び効果を説明することとして、重複した説明は省略することとする。
【００６１】
〔第２の実施例の立体カメラシステムの構成〕
この本発明を適用した第２の実施例となる立体カメラシステムは、上述のように第１の撮像ユニット１の欠陥領域に対応する正常撮像領域を第２の撮像ユニット２に設定した際に、制御部７が、欠陥領域の撮像画像と正常撮像領域の撮像画像とを比較して、各領域の撮像画像が一致するように正常撮像領域の位置を移動調整する構成となっている。
【００６２】
〔第２の実施例の欠陥補正処理〕
第２の実施例となる立体カメラシステムにおける欠陥補正処理の流れを、図６のフローチャートに示す。
【００６３】
図６のフローチャートと図２のフローチャートを見比べてわかるように、第２の実施例となる立体カメラシステムの場合、欠陥補正処理の際、ステップＳ６とステップＳ７の間に、ステップＳ１１〜ステップＳ１６の各処理であるオブジェクト認識処理を実行する。
すなわち、ステップＳ６で第１の撮像ユニット１の欠陥領域に対応する正常撮像領域を第２の撮像ユニット２に設定すると、制御部７は、ＲＯＭ１９に記憶されている欠陥補正プログラムに基づいてステップＳ１１に処理を進め、欠陥アドレスメモリ１０に記憶されている欠陥アドレスの分布を分析し、この分析結果に基づいて、ステップＳ１２において、前記オブジェクト認識処理を実行可能か否かを判別する。そして、制御部７は、前記オブジェクト認識処理を実行可能であると判別した際に、処理をステップＳ１３に進める。
【００６４】
すなわち、欠陥アドレスに基づいて形成される前記欠陥領域内に欠陥アドレスが多数存在するということは、その欠陥領域の撮像画像を正確に認識することが困難となるため、正確なオブジェクト認識処理を実行することは困難であることを意味している。
このため、欠陥アドレスの分布を分析することで、欠陥アドレスが欠陥領域の広範囲に存在すると判別した場合（＝欠陥領域内に欠陥アドレスが多数存在すると判別した場合）、制御部７は、以下に説明するオブジェクト認識処理の実行をスキップして、前記ステップＳ７に処理を進め、上述の欠陥補正処理を行う。
【００６５】
なお、ステップＳ１２における、オブジェクト認識処理が可能であるか否かの判別は、単純に欠陥領域内の欠陥アドレス数で判別してもよいし、その欠陥領域の面積に対して欠陥アドレスとなる画素が占める割合で判別してもよい。
次に、オブジェクトの認識が可能であると判別することで処理をステップＳ１３に進めると、制御部７は、第１の撮像ユニット１の欠陥領域の撮像画像と、第２の撮像ユニット２の正常撮像領域の撮像画像とを比較することで、両画像の一致／不一致を検出するオブジェクト認識処理を行う。
【００６６】
具体的には、制御部７は、例えば色認識処理、顔認識処理、人認識処理、パターンマッチング等の手法を用いて両画像の一致／不一致を検出する。この際、一例ではあるが、制御部７は、欠陥領域が大きい場合は、図７に示すように前記欠陥領域のオブジェクトと前記正常撮像領域のオブジェクトの同一性を判別するオブジェクト認識処理を行う。また、制御部７は、欠陥領域が小さい場合は、図７に示すように前記欠陥領域の撮像画像と前記正常撮像領域の撮像画像の色認識処理等に基づいて、前記両画像の同一性を判別するオブジェクト認識処理を行う。
【００６７】
このようなオブジェクト認識処理において、前記両画像が同じ画像であるものと判別されるということは、第２の撮像ユニット２上に設定された正常撮像領域の位置は、第１の撮像ユニット１の欠陥領域に真に対応する位置であることを意味している。
このため、前記両画像が同じ画像であるものと判別すると、制御部７は、処理をステップＳ７に進め、そのまま上述の欠陥領域の補正処理を実行する。
【００６８】
これに対して、前記オブジェクト認識処理において、前記両画像が異なる画像であるものと判別されるということは、第２の撮像ユニット２上に設定された正常撮像領域の位置と、第１の撮像ユニット１の欠陥領域との間に位置的なズレが発生していることを意味している。
このため、前記両画像が異なる画像であるものと判別した場合、制御部７は、ステップＳ１４及びステップＳ１５を介して処理をステップＳ１６に進め、第２の撮像ユニット２上の正常撮像領域の位置を所定方向に所定画素分、移動制御する。
【００６９】
一例ではあるが、制御部７は、ステップＳ１６に処理を進める毎に、例えば１画素分、左方向に第２の撮像ユニット２上の正常撮像領域の位置を移動制御する。
なお、正常撮像領域の移動量としては、３画素分や１０画素分等のように任意の移動量を設定してもよい。また、正常撮像領域の移動方向としても、右方向や上方向或いは下方向や斜め方向に移動させてもよい。
【００７０】
制御部７は、この正常撮像領域の位置の移動制御を行うと、処理をステップＳ１３に戻し、前記欠陥領域の撮像画像と前記正常撮像領域の撮像画像に基づくオブジェクト認識処理を行う。そして、両画像の一致が検出された場合、制御部７は、ステップＳ７に処理を進め、前記移動した正常撮像領域に基づく欠陥領域の補正処理を実行する。また、両画像の不一致が検出された場合、制御部７は、ステップＳ１６に処理を進め、再度、正常撮像領域の位置の移動制御を行う。
【００７１】
制御部７は、このような正常撮像領域の位置の移動制御を行う毎に、ステップＳ１５において、その試行回数を１つずつインクリメントする。そして、制御部７は、ステップＳ１４において、試行回数が、予め定められた試行回数の上限に達したか否かを判別している。
すなわち、制御部７は、正常撮像領域の位置の移動制御の試行回数が上限に達するまでは、正常撮像領域の位置を移動しながら前記両画像の一致／不一致を検出し、両画像の一致を検出した際に、処理をステップＳ７に進め、前記移動した正常撮像領域の位置に基づいて、上述の欠陥領域の補正処理を行う。
【００７２】
なお、前記両画像の一致を検出することなく、前記試行回数が上限に達した場合、このままでは正確な欠陥領域の補正処理を行うことが困難となるため、そのまま、図６のフローチャートに示す全処理を終了する。
【００７３】
〔第２の実施例の効果〕
以上の説明から明らかなように、第２の実施例となる立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像と、第２の撮像ユニット２の正常撮像領域の撮像画像の一致／不一致を検出するオブジェクト認識処理を行い、各領域の撮像画像が一致するように第２の撮像ユニット２の正常撮像領域の位置を移動調整する。
これにより、より正確な欠陥領域の補正処理を可能とすることができる他、上述の第１の実施例の立体カメラシステムと同じ効果を得ることができる。
【００７４】
［第３の実施例］
次に、本発明の第３の実施例となる立体カメラシステムの説明をする。上述の各実施例の立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補正するものであった。これに対して、この第３の実施例となる立体カメラシステムは、第２の撮像ユニット２の欠陥領域の撮像画像を、第１の撮像ユニット１の正常撮像領域の撮像画像で補正するようにしたものである。
なお、以下の第３の実施例の立体カメラシステムの説明では、上述の各実施例の立体カメラシステムに対して差異となる箇所の構成，動作及び効果を説明することとして、重複した説明は省略することとする。
【００７５】
〔第３の実施例の立体カメラシステムの構成〕
図８に、この本発明を適用した第３の実施例となる立体カメラシステムの主要部のブロック図を示す。この図８において、欠陥アドレスメモリ１０には、この立体カメラシステムの工場出荷時や、この立体カメラシステムによる３次元動画像の撮像開始時に検出された第２の撮像ユニット２の前記欠陥アドレスが記憶されている。
また、この第３の実施例の立体カメラシステムの場合、第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するための切り替えスイッチ部１６を有している。
【００７６】
切り替えスイッチ部１６は、第１の撮像ユニット１からの撮像画像が供給される第１の被選択端子１６ａと、第２の撮像ユニット２からの撮像画像が供給される第２の被選択端子１６ｂとを機能的に有している。また、この切り替えスイッチ部１６は、前記いずれかの被選択端子１６ａ或いは被選択端子１６ｂを選択して、前記第１の撮像ユニット１からの撮像画像、或いは前記第２の撮像ユニット２からの撮像画像を第２のバッファメモリ１５に供給する選択端子１６ｃを機能的に有している。
欠陥領域形成部１１は、欠陥アドレスメモリ１０に記憶された欠陥アドレスに基づいて、図３を用いて説明したように、第２の撮像ユニット２の欠陥領域を形成する。また、バッファ制御部１２は、この欠陥領域に基づいてなされたレジスタ設定に基づいて、前記切り替えスイッチ部１６を仮想的に切り替え制御して、第２の撮像ユニット２の欠陥補正処理を行うようになっている。
【００７７】
〔第３の実施例の欠陥補正処理〕
この第３の実施例となる立体カメラシステムの場合、バッファ制御部１２が、前記レジスタ設定に従って、第２の撮像ユニット２上の欠陥領域の撮像画像の代わりに、この第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するように、切り替えスイッチ部１６を切り替え制御することで、第２の撮像ユニット２の欠陥補正制御を行う。
【００７８】
具体的には、まず、バッファ制御部１２は、第２の撮像ユニット２の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１６ｃで第２の被選択端子１６ｂを選択するように切り替えスイッチ部１６を切り替え制御する。
これにより、第２の撮像ユニット２の被写体を正常に撮像している領域で撮像された撮像画像は第２のバッファメモリ１５に供給され、この第２のバッファメモリ１５に一時的に記憶される。この間、第１の撮像ユニット１で撮像された撮像画像は第１のバッファメモリ１４に供給され、第１のバッファメモリ１４に一時的に記憶される。
【００７９】
次に、バッファ制御部１２は、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１６ｃで第１の被選択端子１６ａを選択するように切り替えスイッチ部１６を切り替え制御する。
これにより、第２のバッファメモリ１５に対して、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、第１の撮像ユニット１で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第２のバッファメモリ１５に供給され、前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。そして、第２のバッファメモリ１５には、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
【００８０】
なお、切り替えスイッチ部１６が選択端子１６ｃで第１の被選択端子１６ａを選択している間も、第１のバッファメモリ１４に対する第１の撮像ユニット１から読み出された撮像画像の一時記憶制御は、継続して行われる。
【００８１】
〔第３の実施例の効果〕
以上の説明から明らかなように、この第３の実施例の立体カメラシステムは、第２の撮像ユニット２の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出する。また、第１の撮像ユニット１の全撮像領域のうち、前記第２の撮像ユニット２の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。
【００８２】
そして、第２の撮像ユニット２で撮像された撮像画像を第２のバッファメモリ１５に記憶する際に、前記第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、前記第１の撮像ユニット１の前記正常撮像領域で撮像された撮像画像を記憶する。これにより、第２のバッファメモリ１５に対して、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができる。このため、第２の撮像ユニット２の欠陥領域に影響されない高品質な３次元動画像を撮像可能とすることができる他、上述の各実施例の立体カメラシステムと同様の効果を得ることができる。
【００８３】
［第４の実施例］
次に、本発明の第４の実施例となる立体カメラシステムの説明をする。上述の各実施例の立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補間し、或いは第２の撮像ユニット２の欠陥領域の撮像画像を、第１の撮像ユニット１の正常撮像領域の撮像画像で補間するものであった。
これに対して、この第４の実施例となる立体カメラシステムは、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補間すると共に、第２の撮像ユニット２の欠陥領域の撮像画像を、第１の撮像ユニット１の正常撮像領域の撮像画像で補間するようにしたものである。
【００８４】
なお、以下の第４の実施例の立体カメラシステムの説明では、上述の各実施例の立体カメラシステムに対して差異となる箇所の構成，動作及び効果を説明することとして、重複した説明は省略することとする。
【００８５】
〔第４の実施例の立体カメラシステムの構成〕
図９に、この本発明を適用した第４の実施例となる立体カメラシステムの主要部のブロック図を示す。この図９において、欠陥アドレスメモリ１０には、この立体カメラシステムの工場出荷時や、この立体カメラシステムによる３次元動画像の撮像開始時に検出された第１の撮像ユニット１の前記欠陥アドレス、及び第２の撮像ユニット２の前記欠陥アドレスがそれぞれ記憶されている。
【００８６】
また、この第４の実施例の立体カメラシステムの場合、第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像を第１のバッファメモリ１４に供給するための切り替えスイッチ部１３と、第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するための切り替えスイッチ部１６とを有している。
切り替えスイッチ部１３は、第１の撮像ユニット１からの撮像画像が供給される第１の被選択端子１３ａと、第２の撮像ユニット２からの撮像画像が供給される第２の被選択端子１３ｂとを機能的に有している。また、この切り替えスイッチ部１６は、前記いずれかの被選択端子１３ａ或いは被選択端子１３ｂを選択して、前記第１の撮像ユニット１からの撮像画像、或いは前記第２の撮像ユニット２からの撮像画像を第１のバッファメモリ１４に供給する選択端子１３ｃを機能的に有している。
【００８７】
同様に、切り替えスイッチ部１６は、第１の撮像ユニット１からの撮像画像が供給される第１の被選択端子１６ａと、第２の撮像ユニット２からの撮像画像が供給される第２の被選択端子１６ｂとを機能的に有している。また、この切り替えスイッチ部１６は、前記いずれかの被選択端子１６ａ或いは被選択端子１６ｂを選択して、前記第１の撮像ユニット１からの撮像画像、或いは前記第２の撮像ユニット２からの撮像画像を第２のバッファメモリ１５に供給する選択端子１６ｃを機能的に有している。
欠陥領域形成部１１は、欠陥アドレスメモリ１０に記憶された欠陥アドレスに基づいて、図３を用いて説明したように、第１の撮像ユニット１の欠陥領域を形成すると共に、第２の撮像ユニット２の欠陥領域を形成する。また、バッファ制御部１２は、各欠陥領域に基づいてなされたレジスタ設定に基づいて、前記切り替えスイッチ１３及び前記切り替えスイッチ部１６を仮想的に切り替え制御して、第１の撮像ユニット１の欠陥補正処理、及び第２の撮像ユニット２の欠陥補正処理を行うようになっている。
【００８８】
〔第４の実施例の欠陥補正処理〕
この第４の実施例となる立体カメラシステムの場合、バッファ制御部１２が、前記レジスタ設定に従って、第１の撮像ユニット１上の欠陥領域の撮像画像の代わりに、この第１の撮像ユニット１の欠陥領域に対応する第２の撮像ユニット２上の正常撮像領域で撮像された撮像画像を第１のバッファメモリ１４に供給するように、切り替えスイッチ部１３を切り替え制御することで、第１の撮像ユニット１の欠陥補正制御を行う。
また、この立体カメラシステムは、第２の撮像ユニット２上の欠陥領域の撮像画像の代わりに、この第２の撮像ユニット２の欠陥領域に対応する第１の撮像ユニット１上の正常撮像領域で撮像された撮像画像を第２のバッファメモリ１５に供給するように、切り替えスイッチ部１６を切り替え制御することで、第２の撮像ユニット２の欠陥補正制御を行う。
【００８９】
具体的には、まず、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１３ｃで第１の被選択端子１３ａを選択するように切り替えスイッチ部１３を切り替え制御する。
また、バッファ制御部１２は、第２の撮像ユニット２の前記欠陥領域以外の領域（＝被写体を正常に撮像している領域）で撮像された撮像画像を出力している間は、選択端子１６ｃで第２の被選択端子１６ｂを選択するように切り替えスイッチ部１６を切り替え制御する。
【００９０】
これにより、第１の撮像ユニット１の被写体を正常に撮像している領域で撮像された撮像画像は第１のバッファメモリ１４に供給され、この第１のバッファメモリ１４に一時的に記憶される。この間、第２の撮像ユニット２で撮像された撮像画像は第２のバッファメモリ１５に供給され、第２のバッファメモリ１５に一時的に記憶される。
また、第２の撮像ユニット２の被写体を正常に撮像している領域で撮像された撮像画像は第２のバッファメモリ１５に供給され、この第２のバッファメモリ１５に一時的に記憶される。この間、第１の撮像ユニット１で撮像された撮像画像は第１のバッファメモリ１４に供給され、第１のバッファメモリ１４に一時的に記憶される。
【００９１】
次に、バッファ制御部１２は、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１３ｃで第２の被選択端子１３ｂを選択するように切り替えスイッチ部１３を切り替え制御する。同様に、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像が読み出されている間、選択端子１６ｃで第１の被選択端子１６ａを選択するように切り替えスイッチ部１６を切り替え制御する。
【００９２】
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、第２の撮像ユニット２で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第１のバッファメモリ１４に供給され、前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。そして、第１のバッファメモリ１４には、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
【００９３】
同様に、第２のバッファメモリ１５に対しては、第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、第１の撮像ユニット１で撮像された、前記欠陥領域に対応する正常撮像領域の撮像画像が第２のバッファメモリ１５に供給され、前記欠陥領域の撮像画像が前記正常撮像領域の撮像画像で補間されることとなる。そして、第２のバッファメモリ１５には、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像が記憶されることとなる。
【００９４】
なお、切り替えスイッチ部１３が選択端子１３ｃで第１の被選択端子１３ａを選択している間も、第２のバッファメモリ１５に対する第２の撮像ユニット２から読み出された撮像画像の一時記憶制御は、継続して行われる。同様に、切り替えスイッチ部１６が選択端子１６ｃで第１の被選択端子１６ａを選択している間も、第１のバッファメモリ１４に対する第１の撮像ユニット１から読み出された撮像画像の一時記憶制御は、継続して行われる。
【００９５】
〔第４の実施例の効果〕
以上の説明から明らかなように、この第４の実施例の立体カメラシステムは、第１の撮像ユニット１の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出すると共に、第２の撮像ユニット２の全撮像領域のうち、被写体を正常に撮像していない画素を含む撮像領域である欠陥領域を予め検出する。また、第２の撮像ユニット２の全撮像領域のうち、前記第１の撮像ユニット１の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出すると共に、前記第１の撮像ユニット１の全撮像領域のうち、前記第２の撮像ユニット２の前記欠陥領域で撮像されている被写体と同じ被写体を撮像している撮像領域である正常撮像領域を、ユーザにより設定された視差量に基づいて検出する。
【００９６】
そして、第１の撮像ユニット１で撮像された撮像画像を第１のバッファメモリ１４に記憶する際に、前記第１の撮像ユニット１の前記欠陥領域で撮像された撮像画像の代わりに、前記第２の撮像ユニット２の前記正常撮像領域で撮像された撮像画像を記憶すると共に、第２の撮像ユニット２で撮像された撮像画像を第２のバッファメモリ１５に記憶する際に、前記第２の撮像ユニット２の前記欠陥領域で撮像された撮像画像の代わりに、前記第１の撮像ユニット１の前記正常撮像領域で撮像された撮像画像を記憶する。
これにより、第１のバッファメモリ１４に対して、第１の撮像ユニット１の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができると共に、第２のバッファメモリ１５に対して、第２の撮像ユニット２の欠陥領域の不良画像を除去したかたちの正常な撮像画像を記憶することができる。このため、第１の撮像ユニット１の欠陥領域及び第２の撮像ユニット２の欠陥領域に影響されない高品質な３次元動画像を撮像可能とすることができる他、上述の各実施例の立体カメラシステムと同様の効果を得ることができる。
【００９７】
［変形例］
上述の各実施例の説明では、第１及び第２の計２つの撮像ユニット１，２を有する立体カメラシステムに本発明を適用することとしたが、本発明は、３つ以上の撮像ユニットを有する立体カメラシステムに適用してもよい。
この場合でも、視差量に基づいて、一方の撮像ユニットの欠陥領域の撮像画像を、他方の撮像ユニットの正常撮像領域の撮像画像で補間することで、上述と同様の効果を得ることができる。また、一方の撮像ユニットの欠陥領域と他方の撮像ユニットの正常撮像領域のオブジェクト認識処理を行えば、さらに正確に欠陥領域の補正処理を行うことができる。
また、上述の各実施例の説明では、第１の撮像ユニット１の欠陥領域の撮像画像を、第２の撮像ユニット２の正常撮像領域の撮像画像で補正する等のように、複数の画素の複合体である領域単位で補正処理を行うこととしたが、これは、画素単位で補正処理を行うようにしてもよい。
【００９８】
また、上述の各実施例の説明では、３次元動画像を撮像する立体カメラシステムに本発明を適用することとしたが、３次元静止画像を撮像する立体カメラシステムに本発明を適用してもよい。この場合も、上述と同様の効果を得ることができる。
また、上述の各実施例の説明では、ユーザにより設定された視差量設定値に基づいて、各撮像ユニット１，２の間の距離を調整することで、視差量の調整を行うこととしたが、これは、各撮像ユニット１，２の間の距離は固定した状態で広範囲な撮像画像を取得し、その広範囲の撮像画像から各撮像ユニット１，２の撮像画像をそれぞれ切り出す際に、各撮像画像の切り出し位置の間隔を離したり近づけたりすることで、視差量を調整するようにしてもよい。この場合でも、上述と同じ効果を得ることができる。
【００９９】
最後に、上述の各実施例は、本発明の一例であるため、本発明は上述の実施例に限定されることはない。このため、本発明は、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【符号の説明】
【０１００】
１ 第１の撮像ユニット
２ 第２の撮像ユニット
３ 第１の撮像ユニット駆動部
４ 第２の撮像ユニット駆動部
５ 視差量設定入力の入力端子
６ 視差量設定値保持メモリ
７ 制御部
８ 欠陥補正処理部
９ 画像変換処理部
１０ 欠陥アドレスメモリ
１１ 欠陥領域形成部
１２ バッファ制御部
１３ 切り替えスイッチ部
１４ 第１のバッファメモリ
１５ 第２のバッファメモリ
１６ 切り替えスイッチ部
１８ ３次元動画像の出力端子
１９ 欠陥補正プログラムが記憶されたＲＯＭ
２０ 欠陥アドレス検出部
【特許請求の範囲】
【請求項１】
被写体の撮像を行う第１の撮像部及び第２の撮像部を少なくとも備えた撮像部群と、
前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成するための視差量設定部と、
少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出するための欠陥アドレス検出部と、
前記第２の撮像部の全画素のうち、前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定部により設定された前記視差量に基づいて検出する正常アドレス検出部と、
前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御部と、
前記画像読み出し制御部から出力された前記各撮像部で撮像された各撮像画像に基づいて３次元画像を形成して出力する３次元画像形成部と
を有する複眼撮像装置。
【請求項２】
前記欠陥アドレス検出部で検出された前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成部を有し、
前記正常アドレス検出部は、前記第２の撮像部の全画素のうち、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定部により設定された前記視差量に基づいて検出し、
前記画像読み出し制御部は、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、前記欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する
請求項１に記載の複眼撮像装置。
【請求項３】
前記欠陥領域形成部で形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出部で検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出部と、
前記被写体一致検出部で前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御部と
を有する請求項２に記載の複眼撮像装置。
【請求項４】
前記欠陥アドレス検出部は、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリを備え、或いは少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出部と、この検出した欠陥アドレスを記憶する欠陥アドレスメモリとを備えた
請求項１から請求項３のうち、いずれか一項に記載の複眼撮像装置。
【請求項５】
少なくとも第１の撮像部及び第２の撮像部を備えた撮像部群の前記各撮像部から読み出された各撮像画像に基づいて３次元画像を形成して出力する複眼撮像装置の撮像欠陥箇所の補正方法であって、
視差量設定部が、前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成する視差量設定ステップと、
欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥アドレス検出ステップと、
正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥アドレス検出ステップで検出された前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出する正常アドレス検出ステップと、
画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御ステップと
を有する撮像欠陥箇所の補正方法。
【請求項６】
欠陥領域形成部が、前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成ステップを有し、
前記正常アドレス検出ステップでは、前記正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出し、
前記画像読み出し制御ステップでは、前記画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、前記欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する
請求項５に記載の撮像欠陥箇所の補正方法。
【請求項７】
被写体一致検出部が、前記欠陥領域形成ステップで形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出ステップで検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出ステップと、
前記被写体一致検出ステップで前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、正常アドレス検出制御部が、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御ステップと
を有する請求項６に記載の撮像欠陥箇所の補正方法。
【請求項８】
前記欠陥アドレス検出ステップでは、前記欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリから前記欠陥アドレスを読み出すことで、前記欠陥アドレスの検出を行う
請求項５から請求項７のうち、いずれか一項に記載の撮像欠陥箇所の補正方法。
【請求項９】
前記欠陥アドレス検出ステップは、前記欠陥アドレス検出部の欠陥検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出ステップと、
前記欠陥アドレス検出部の欠陥アドレス記憶制御部が、前記欠陥検出ステップで検出された前記欠陥アドレスを欠陥アドレスメモリに記憶制御する記憶制御ステップと
を有する請求項５から請求項７のうち、いずれか一項に記載の撮像欠陥箇所の補正方法。
【請求項１】
被写体の撮像を行う第１の撮像部及び第２の撮像部を少なくとも備えた撮像部群と、
前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成するための視差量設定部と、
少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出するための欠陥アドレス検出部と、
前記第２の撮像部の全画素のうち、前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定部により設定された前記視差量に基づいて検出する正常アドレス検出部と、
前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御部と、
前記画像読み出し制御部から出力された前記各撮像部で撮像された各撮像画像に基づいて３次元画像を形成して出力する３次元画像形成部と
を有する複眼撮像装置。
【請求項２】
前記欠陥アドレス検出部で検出された前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成部を有し、
前記正常アドレス検出部は、前記第２の撮像部の全画素のうち、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定部により設定された前記視差量に基づいて検出し、
前記画像読み出し制御部は、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成部で形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、前記欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する
請求項１に記載の複眼撮像装置。
【請求項３】
前記欠陥領域形成部で形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出部で検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出部と、
前記被写体一致検出部で前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御部と
を有する請求項２に記載の複眼撮像装置。
【請求項４】
前記欠陥アドレス検出部は、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリを備え、或いは少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出部と、この検出した欠陥アドレスを記憶する欠陥アドレスメモリとを備えた
請求項１から請求項３のうち、いずれか一項に記載の複眼撮像装置。
【請求項５】
少なくとも第１の撮像部及び第２の撮像部を備えた撮像部群の前記各撮像部から読み出された各撮像画像に基づいて３次元画像を形成して出力する複眼撮像装置の撮像欠陥箇所の補正方法であって、
視差量設定部が、前記撮像部群の各撮像部で撮像された各撮像画像に基づいて３次元画像を形成可能な所定の視差を形成する視差量設定ステップと、
欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥アドレス検出ステップと、
正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥アドレス検出ステップで検出された前記第１の撮像部の前記欠陥アドレスの画素で撮像されている被写体と同じ被写体を撮像している画素のアドレスである正常画素アドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出する正常アドレス検出ステップと、
画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記第１の撮像部の前記欠陥アドレスに対応する画素で撮像された撮像画像を出力する際に、前記欠陥アドレスに対応する画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常画素アドレスに対応する画素で撮像された撮像画像を出力する画像読み出し制御ステップと
を有する撮像欠陥箇所の補正方法。
【請求項６】
欠陥領域形成部が、前記欠陥アドレスに基づいて、少なくとも一つの欠陥アドレスの画素を含む所定の複数の画素からなる欠陥領域を形成する欠陥領域形成ステップを有し、
前記正常アドレス検出ステップでは、前記正常アドレス検出部が、前記第２の撮像部の全画素のうち、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像されている被写体と同じ被写体を撮像している各画素で形成される正常撮像領域を特定するためのアドレスを、前記視差量設定ステップで設定された前記視差量に基づいて検出し、
前記画像読み出し制御ステップでは、前記画像読み出し制御部が、前記各撮像部で撮像された被写体の各撮像画像をそれぞれ読み出して出力すると共に、前記欠陥領域形成ステップで形成された前記第１の撮像部の前記欠陥領域の各画素で撮像された撮像画像を出力する際に、前記欠陥領域の各画素で撮像された撮像画像の代わりに、前記第２の撮像部の前記正常撮像領域の各画素で撮像された撮像画像を出力する
請求項５に記載の撮像欠陥箇所の補正方法。
【請求項７】
被写体一致検出部が、前記欠陥領域形成ステップで形成された欠陥領域の各画素で撮像された撮像画像の被写体である欠陥領域被写体、及び前記正常アドレス検出ステップで検出された正常撮像領域の各画素で撮像された撮像画像の被写体である正常撮像領域被写体の一致／不一致を検出する被写体一致検出ステップと、
前記被写体一致検出ステップで前記欠陥領域被写体と前記正常撮像領域被写体との不一致が検出された場合に、正常アドレス検出制御部が、前記第２の撮像部上の前記正常撮像領域を移動させて、前記欠陥領域被写体と前記正常撮像領域被写体とが一致する前記正常撮像領域のアドレスを検出するように前記正常アドレス検出部を制御する正常アドレス検出制御ステップと
を有する請求項６に記載の撮像欠陥箇所の補正方法。
【請求項８】
前記欠陥アドレス検出ステップでは、前記欠陥アドレス検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスが記憶された欠陥アドレスメモリから前記欠陥アドレスを読み出すことで、前記欠陥アドレスの検出を行う
請求項５から請求項７のうち、いずれか一項に記載の撮像欠陥箇所の補正方法。
【請求項９】
前記欠陥アドレス検出ステップは、前記欠陥アドレス検出部の欠陥検出部が、少なくとも前記第１の撮像部の全画素のうち、被写体を正常に撮像していない画素のアドレスである欠陥アドレスを検出する欠陥検出ステップと、
前記欠陥アドレス検出部の欠陥アドレス記憶制御部が、前記欠陥検出ステップで検出された前記欠陥アドレスを欠陥アドレスメモリに記憶制御する記憶制御ステップと
を有する請求項５から請求項７のうち、いずれか一項に記載の撮像欠陥箇所の補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１９１４２３（Ｐ２０１２−１９１４２３Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２９１６（Ｐ２０１１−５２９１６）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]