画像処理装置および方法、画像処理システム、並びにプログラム
【課題】複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行う。
【解決手段】格納処理部は、基準となる基準画像に対して被写体が所定の角度の分ずれている入力画像の画素の画素データをバッファに格納し、読み出し部は、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データを、バッファから読み出し、画素データ算出部は、読み出し部によって読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データを算出する。本技術は、例えば、ステレオカメラを備える画像処理システムに適用することができる。
【解決手段】格納処理部は、基準となる基準画像に対して被写体が所定の角度の分ずれている入力画像の画素の画素データをバッファに格納し、読み出し部は、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データを、バッファから読み出し、画素データ算出部は、読み出し部によって読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データを算出する。本技術は、例えば、ステレオカメラを備える画像処理システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、画像処理システム、並びにプログラムに関し、特に、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことができるようにする画像処理装置および方法、画像処理システム、並びにプログラムに関する。
【背景技術】
【０００２】
ステレオカメラを用いて得られる２つの撮像画像の視差を利用して測距を行う場合、画像間の位置の対応付けが行われる。それぞれのカメラの機構設計上の位置は、理論的には既知とされるが、実際には組み立て誤差等によるばらつきがあるため、個別に位置ずれを計測し、その位置ずれに基づいて、２つのカメラにより得られる画像間の位置ずれを補正する（２つの画像の相対的な位置を調整する）必要があった。
【０００３】
画像の相対的な位置を調整する手法としては、メカ方式とフレームメモリ方式とが知られている。
【０００４】
メカ方式は、メカ的な機構によりカメラの位置を物理的に調整することで、画像の相対的な位置を調整する手法であり、例えば、一方のカメラから得られたリファレンス画像に対する、他方のカメラから得られた対象画像の位置に応じて、他方のカメラを移動させるステレオカメラがある（例えば、特許文献１参照）。
【０００５】
一方、フレームメモリ方式は、２つのカメラから得られた画像を、それぞれ一旦フレームメモリに記憶させ、画像間の位置ずれに応じて、フレームメモリ上の読み出しアドレスを操作することで、画像の相対的な位置を調整する手法である（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−４５９８３号公報
【特許文献２】特開平６−２７３１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、メカ方式においては、カメラを移動させるためのモータ等の駆動装置が必要となるため、ステレオカメラの製造工程においては、手作業でそれらの調整を行う必要があった。したがって、このようなステレオカメラの製造工程には、そのための設備投資や時間を要し、コストがかかっていた。また、メカ方式を適用したステレオカメラは、経年変化の影響を受ける恐れが高かった。
【０００８】
一方、フレームメモリ方式においては、フレームメモリに大きなコストがかかる上に、処理レイテンシが大きかった。特に、ステレオマッチングを行う場合、画像の同時性を保つために、遅延調整用のメモリが必要とされ、さらに大きなコストがかかっていた。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部とを備える。
【００１１】
前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされるようにすることができる。
【００１２】
前記読み出し部には、前記回転画像の１画素の画素位置に対応する、前記入力画像の前記対応領域の近傍２×２画素の前記画素データを、前記バッファから読み出させることができる。
【００１３】
前記格納処理部には、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納させることができる。
【００１４】
前記格納処理部には、前記入力画像の画素の画素データを、前記回転画像の１ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納させることができる。
【００１５】
格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部には、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納させることができる。
【００１６】
前記画像処理装置には、前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに設けることができる。
【００１７】
前記画像処理装置には、前記基準画像に対して、前記入力画像のｘｙ方向の位置を調整する位置調整部をさらに設けることができる。
【００１８】
本技術の一側面の画像処理方法は、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法であって、前記画像処理装置が、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出するステップを含む。
【００１９】
本技術の一側面のプログラムは、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムであって、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップとを含む処理をコンピュータに実行させる。
【００２０】
本技術の一側面の画像処理システムは、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、同一の被写体を撮像して複数の画像を得る複数のカメラと、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部とを有する画像処理装置とを備える画像処理システム。
【００２１】
本技術の一側面においては、複数の画像のうちの基準となる基準画像に対して被写体が所定の角度の分ずれている、複数の画像のうちの入力画像の画素の画素データがバッファに格納され、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データが、バッファから読み出され、読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データが算出される。
【発明の効果】
【００２２】
本技術の一側面によれば、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】画像の回転ずれについて説明する図である。
【図３】回転前の画像の画素と、回転後の画像の画素との対応について説明する図である。
【図４】画像の回転ずれについて説明する図である。
【図５】回転前の画像の画素と、回転後の画像の画素との対応について説明する図である。
【図６】図１の画像処理装置の位置調整処理について説明するフローチャートである。
【図７】画素データのバッファへの格納とバッファからの読み出しの例について説明する図である。
【図８】出力画像の画素データの算出について説明する図である。
【図９】画素データのバッファへの格納とバッファからの読み出しの他の例について説明する図である。
【図１０】画素データのバッファへの格納とバッファからの読み出しのさらに他の例について説明する図である。
【図１１】本技術を適用した画像処理装置の他の実施の形態の機能構成例を示すブロック図である。
【図１２】画像のｘｙ方向の位置ずれについて説明する図である。
【図１３】図１１の画像処理装置の位置調整処理について説明するフローチャートである。
【図１４】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
まず、画像間の位置ずれの要素として、主に以下の３つが挙げられる。
（１）ｘｙ方向の位置ずれ
（２）回転方向の位置ずれ
（３）倍率のずれ
これら３つの位置ずれについて、画像の位置の調整を行った場合、その調整の効果として効果が高いのは、（１）ｘｙ方向の位置ずれと（２）回転方向の位置ずれとされる。本明細書では、特に、「回転方向の位置ずれ」に注目する。
【００２５】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術を適用した画像処理装置の構成と動作
２．画素データのバッファへの格納とバッファからの読み出しの例１
３．画素データのバッファへの格納とバッファからの読み出しの例２
４．画素データのバッファへの格納とバッファからの読み出しの例３
５．本技術を適用した画像処理装置の他の構成と動作
【００２６】
＜１．本技術を適用した画像処理装置の構成と動作＞
［画像処理装置の構成］
図１は、本技術を適用した画像処理装置（画像処理システム）の一実施の形態の構成を示している。
【００２７】
図１の画像処理装置１１は、同一の被写体を撮像して視差のある２つの画像を得る、いわゆるステレオカメラとして構成され、ステレオマッチング法により、撮像される被写体の奥行き方向の位置を特定し、その被写体までの距離を表す距離情報を出力する。
【００２８】
図１の画像処理装置１１は、カメラ２１−１，２１−２、回転調整部２２、およびステレオマッチング部２３から構成される。
【００２９】
カメラ２１−１，２１−２は、それぞれ同一の被写体を左右の異なる視点から撮像し、カメラ２１−１は、撮像した左側の画像（以下、Ｌ画像という）を回転調整部２２およびステレオマッチング部２３に供給し、カメラ２１−２は、撮像した右側の画像（以下、Ｒ画像という）を回転調整部２２に供給する。
【００３０】
なお、カメラ２１−１，２１−２は、異なる視点から撮像できる構成であればよく、左右の異なる視点からではなく、例えば、上下に異なる視点からであってもよい。また、複数の異なる視点から撮像できる構成であればよいので、２個のカメラにより２点の異なる視点からの画像でなくてもよく、それ以上の複数の視点から撮像される複数の画像を用いるようにしてもよい。ただし、以降においては、説明の便宜上、左右の異なる視点から撮像される２個のカメラ２１−１，２１−２であるものとして説明するものとする。
【００３１】
回転調整部２２は、カメラ２１−１からのＬ画像を基準（基準画像）として、Ｌ画像に対する、カメラ２１−２からのＲ画像の相対的な回転ずれを計測し、その回転ずれの分、回転角度を調整した回転Ｒ画像を、ステレオマッチング部２３に供給する。
【００３２】
［画像の回転ずれについて］
ここで、図２を参照して、Ｌ画像に対するＲ画像の回転ずれについて説明する。
【００３３】
図２Ａには、カメラ２１−１からのＬ画像と、カメラ２１−２からのＲ画像とが示されている。図２Ａにおいては、Ｌ画像における被写体を基準とした場合、Ｒ画像における被写体は、左に傾いている（所定の角度の分ずれている）。
【００３４】
図２Ｂには、図２Ａと同様のＬ画像と、図２ＡのＲ画像における被写体の傾き（回転ずれ）を、そのずれている角度θの分だけ回転させた場合のＲ画像とが示されている。図２Ｂに示されるように、Ｒ画像が点Ｐを回転中心として角度θの分だけ右回転されることで、Ｒ画像における被写体と、Ｌ画像における被写体との回転ずれは解消されている。なお、ここでは、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとする。
【００３５】
ここで、図２ＢのＲ画像における領域Ｙ１は、点Ｐを回転中心として角度θの分だけ右回転させたＲ画像において、Ｌ画像に対応する領域である。
【００３６】
すなわち、回転調整部２２においては、図２Ｃに示されるように、回転前のＲ画像における領域Ｙ１を、回転後の回転Ｒ画像における領域Ｙ２とすることで、回転Ｒ画像の大部分が得られる。より具体的には、回転前のＲ画像における領域Ｙ１のラインｄ１を構成する画素の画素データに基づいて、回転後の回転Ｒ画像における領域Ｙ２のラインｄ２を構成する画素の画素データが算出される。
【００３７】
このとき、回転前のＲ画像におけるラインｄ１は、図３に示されるように、画素方向（図中右方向）に５または６画素、ライン方向（図中下方向）に２画素の画素ブロックが、右斜め上方向に並んで与えられる。したがって、回転後の回転Ｒ画像におけるラインｄ２の画素データは、対応する回転前のＲ画像におけるラインｄ１の画素ブロックの画素データに基づいて、算出されるようになる。
【００３８】
なお、図２Ｃの回転Ｒ画像における領域Ｙ２以外の領域（以下、ブランク領域という）の画素データは、Ｌ画像の画素の画素データで埋められる。
【００３９】
また、Ｌ画像およびＲ画像は、左上の画素から右下の画素へとスキャンされるが、図２に示される回転中心Ｐと回転方向の設定によって、Ｒ画像における領域Ｙ１の画素は、対応するＬ画像の画素よりも先にスキャンされるようになる。
【００４０】
図４は、Ｌ画像に対する、図２とは逆方向のＲ画像の回転ずれについて説明する図である。
【００４１】
図４Ａには、カメラ２１−１からのＬ画像と、カメラ２１−２からのＲ画像とが示されている。図４Ａにおいては、Ｌ画像における被写体を基準とした場合、Ｒ画像における被写体は、右に傾いている（所定の角度の分ずれている）。
【００４２】
図４Ｂには、図４Ａと同様のＬ画像と、図４ＡのＲ画像における被写体の傾き（回転ずれ）を、そのずれている角度θの分だけ回転させた場合のＲ画像とが示されている。図４Ｂに示されるように、Ｒ画像が点Ｐを回転中心として角度θの分だけ左回転されることで、Ｒ画像における被写体と、Ｌ画像における被写体との回転ずれは解消されている。なお、ここでも、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとする。
【００４３】
ここで、図４ＢのＲ画像における領域Ｙ１は、点Ｐを回転中心として角度θの分だけ左回転させたＲ画像において、Ｌ画像に対応する領域である。
【００４４】
すなわち、回転調整部２２においては、図４Ｃに示されるように、回転前のＲ画像における領域Ｙ１を、回転後の回転Ｒ画像における領域Ｙ２とすることで、回転Ｒ画像の大部分が得られる。より具体的には、回転前のＲ画像における領域Ｙ１のラインｄ１を構成する画素の画素データに基づいて、回転後の回転Ｒ画像における領域Ｙ２のラインｄ２を構成する画素の画素データが算出される。
【００４５】
このとき、回転前のＲ画像におけるラインｄ１は、図５に示されるように、画素方向（図中右方向）に５または６画素、ライン方向（図中下方向）に２画素の画素ブロックが、右斜め下方向に並んで与えられる。したがって、回転後の回転Ｒ画像におけるラインｄ２の画素データは、対応する回転前のＲ画像におけるラインｄ１の画素ブロックの画素データに基づいて、算出されるようになる。
【００４６】
なお、図４Ｃの回転Ｒ画像における領域Ｙ２以外の領域（ブランク領域）の画素データは、Ｌ画像の画素の画素データで埋められる。
【００４７】
また、Ｌ画像およびＲ画像は、左上の画素から右下の画素へとスキャンされるが、図４に示される回転中心Ｐと回転方向の設定によって、Ｒ画像における領域Ｙ１の画素は、対応するＬ画像の画素よりも先にスキャンされるようになる。
【００４８】
このようにして、カメラ２１−２からのＲ画像の回転ずれの分、回転角度を調整した回転Ｒ画像が得られる。
【００４９】
さて、図１の説明に戻り、回転調整部２２は、格納処理部３１、バッファ３２、読み出し部３３、画素データ算出部３４、および画素データ出力部３５を備えている。
【００５０】
格納処理部３１は、カメラ２１−２からのＲ画像の画素の画素データを、順次バッファ３２に格納する。
【００５１】
バッファ３２は、SRAM（Static Random Access Memory）やDRAM（Dynamic Random Access Memory）等のメモリから構成され、格納処理部３１からの画素データを格納する。格納された画素データは、読み出し部３３によって読み出される。
【００５２】
読み出し部３３は、バッファ３２に格納されたＲ画像の画素の画素データを、所定のタイミングで読み出す。具体的には、読み出し部３３は、バッファ３２に格納されたＲ画像の画素のうちの領域Ｙ１（図２または図４）の画素の画素データを読み出し、画素データ算出部３４に供給する。
【００５３】
画素データ算出部３４は、読み出し部３３からの画素データに基づいて、回転Ｒ画像の画素の画素データを算出する。具体的には、画素データ算出部３４は、Ｒ画像の画素のうちの領域Ｙ１の画素の画素データに基づいて、回転Ｒ画像の画素のうちの領域Ｙ２の画素の画素データを算出し、画素データ出力部３５に供給する。
【００５４】
画素データ出力部３５は、回転Ｒ画像の画素の画素データを、ステレオマッチング部２３に出力する。具体的には、画素データ出力部３５は、画素データ算出部３４からの、回転Ｒ画像の画素のうちの領域Ｙ２の画素の画素データを出力するとともに、カメラ２１−１からのＬ画像のうちの、回転Ｒ画像のブランク領域に対応する画素の画素データを出力する。
【００５５】
ステレオマッチング部２３は、カメラ２１−１からのＬ画像および回転調整部２２からの回転Ｒ画像に基づいて、ステレオマッチング法により、被写体の奥行き方向の位置を特定し、その被写体までの距離を表す距離情報を出力する。
【００５６】
ステレオマッチング法によれば、カメラ２１−１で撮像されたＬ画像が、カメラ２１−２で撮像されたＲ画像のどの部分に対応するかを面積相関の演算により求めて、その対応関係に基づく三角測量の原理を用いることにより、被写体の奥行き方向の位置が求められる。
【００５７】
［位置調整処理について］
次に、図６のフローチャートを参照して、画像処理装置１１による位置調整処理について説明する。なお、図６の位置調整処理において、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとする。
【００５８】
ステップＳ１１において、格納処理部３１は、カメラ２１−２からのＲ画像の画素の画素データをバッファ３２に格納する。
【００５９】
ステップＳ１２において、回転調整部２２は、得られる回転Ｒ画像における領域Ｙ２（図２または図４）（以下、有効領域Ｙ２という）の画素の画素データを出力するか否かを判定する。回転調整部２２においては、出力される画素（出力画素）が、有効領域Ｙ２の画素であるか否かは、カメラ２１−２からのＲ画像における画素の画素位置と、回転ずれの角度θとに基づいて判定される。
【００６０】
ステップＳ１２において、有効領域Ｙ２の画素の画素データが出力されると判定された場合、処理はステップＳ１３に進み、読み出し部３３は、バッファ３２から、その出力画素に対応する、Ｒ画像における領域Ｙ１（図２または図４）の画素の画素データを読み出し、画素データ算出部３４に供給する。
【００６１】
ステップＳ１４において、画素データ算出部３４は、読み出し部３３からの、出力画素に対応するＲ画像（領域Ｙ１）の画素の画素データに基づいて、出力画素の画素データを算出し、画素データ出力部３５に供給する。
【００６２】
ステップＳ１５において、画素データ出力部３５は、画素データ算出部３４からの出力画素の画素データを、ステレオマッチング部２３に出力し、処理はステップＳ１６に進む。
【００６３】
一方、ステップ１２において、有効領域Ｙ２の画素の画素データが出力されないと判定された場合、処理はステップＳ１７に進み、画素データ出力部３５は、カメラ２１−１からのＬ画像において出力画素に対応する画素、すなわち、Ｌ画像のうちの、回転Ｒ画像のブランク領域に対応する画素の画素データを、ステレオマッチング部２３に出力し、処理はステップＳ１６に進む。
【００６４】
ステップＳ１６において、回転調整部２２は、全ての出力画素の画素データを出力したか否かを判定する。ステップＳ１６において、全ての出力画素の画素データが出力されていないと判定された場合、処理はステップＳ１１に戻り、これ以降の処理が、全ての出力画素の画素データが出力されるまで繰り返される。
【００６５】
以上の処理によれば、カメラ２１−２からのＲ画像の画素の画素データがバッファ３２に格納され、Ｒ画像における領域Ｙ１の画素の画素データが読み出され、読み出された画素データに基づいて、回転後の回転Ｒ画像（有効領域Ｙ２）の画素の画素データが算出される。したがって、メカ方式のように、カメラの位置を物理的に調整する必要はなく、また、バッファ３２に格納される画素データは、順次読み出されるので、フレームメモリのような大容量のメモリを用いる必要もない。すなわち、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことが可能となる。
【００６６】
なお、回転Ｒ画像において、有効領域Ｙ２以外の領域（ブランク領域）の画素の画素データは、Ｌ画像の画素の画素データと同一であるので、その領域については、ステレオマッチング部２３により、視差無しと判定されるようになる。
【００６７】
＜２．画素データのバッファへの格納とバッファからの読み出しの例１＞
ここで、図７を参照して、画素データのバッファ３２への格納と、バッファ３２からの読み出しの詳細な例について説明する。
【００６８】
図７においては、カメラ２１−２からのＲ画像の画素の画素データは、ライン毎にバッファ３２に格納される。具体的には、Ｒ画像の１ライン目の画素データは、データバッファDB1に格納され、Ｒ画像の２ライン目の画素データは、データバッファDB2に格納され、Ｒ画像の３ライン目の画素データは、データバッファDB3に格納され、Ｒ画像の４ライン目の画素データは、データバッファDB4に格納される。
【００６９】
また、データバッファDB1乃至DB4に格納されている画素データは、出力画像（回転Ｒ画像）の画素のうちの、白抜きの四角形で示される画素（有効領域Ｙ２の画素）の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
【００７０】
ここで、データバッファDB1乃至DB4の左端上側に示されるTWn（ｎは自然数）は、Ｒ画像のｎライン目の画素データが、そのデータバッファに格納される（Writeされる）タイミングを表しており、データバッファDB1乃至DB4の左端下側に示されるTRnは、出力画像のｎライン目の画素データが、そのデータバッファから読み出される（Readされる）タイミングを表している。
【００７１】
すなわち、例えば、データバッファDB1には、Ｒ画像の１ライン目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の２乃至４ライン目の画素データが読み出されるTR2乃至TR4のタイミングで読み出される。
【００７２】
また、出力画像の１画素（出力画素）の画素データを算出するのに、バッファ３２から読み出される画素データは、Ｒ画像において、出力画素の画素位置に対応する画素位置にある近傍２×２画素の画素データに基づいて算出される。
【００７３】
例えば、図７における出力画像の２ライン目の左から３画素目の画素P23の画素データは、図８に示されるように、データバッファDB1に格納されている、Ｒ画像の１ライン目の左から１画素目および２画素目の画素p11，p12の画素データ、データバッファDB2に格納されている、Ｒ画像の２ライン目の左から１画素目および２画素目の画素p21，p22の画素データ、並びにそれぞれの画素の占有率に基づいて算出される。
【００７４】
同様に、図７における出力画像の２ライン目の左から４画素目の画素P24の画素データは、図示はしないが、データバッファDB1に格納されている、Ｒ画像の１ライン目の左から２画素目および３画素目の画素p12，p13の画素データ、データバッファDB2に格納されている、Ｒ画像の２ライン目の左から２画素目および３画素目の画素p22，p23の画素データ、並びにそれぞれの画素の占有率に基づいて算出される。
【００７５】
なお、Ｒ画像における近傍２×２画素の画素位置および占有率は、出力画素の画素位置および回転ずれの角度θから算出される。
【００７６】
このように、データバッファDB1乃至DB4に格納されている画素データが順次読み出されて、出力画素の画素データが算出されていく中で、データバッファDB1に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになる。同様に、データバッファDB2に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになり、データバッファDB3に格納されている画素データの読み出しは、出力画像の６ライン目の画素データが読み出されると完了し、Ｒ画像の７ライン目の画素データが格納されるようになり、データバッファDB4に格納されている画素データの読み出しは、出力画像の７ライン目の画素データが読み出されると完了し、Ｒ画像の８ライン目の画素データが格納されるようになる。
【００７７】
すなわち、図７の例では、物理的に必要となるバッファ３２のバッファサイズは、図中、破線で囲まれている４ライン分となる。
【００７８】
なお、図７の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図７の出力画像の３ライン目と４ライン目の間の破線Ｌより上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
【００７９】
また、図７の例において、出力画像における出力画素の画素位置と、Ｒ画像における近傍２×２画素の画素位置が同一ラインにある場合、ディレイバッファを用いることにより、Ｒ画像の８ライン目の画素データを、バッファ３２に格納しないようにもできる。
【００８０】
さらに、図７に示される出力画像の出力画素において、Ｒ画像における近傍２×２画素のうちの下側の画素（例えば、図８の画素p21，p22）として同一ラインの画素が連続する部分（図中、出力画素の下半分が破線で囲まれている画素の部分）は、ディレイバッファを設けることにより、必要な画素数分、遅延させて出力されるようにしてもよい。
【００８１】
＜３．画素データのバッファへの格納とバッファからの読み出しの例２＞
次に、図９を参照して、画素データのバッファ３２への格納と、バッファ３２からの読み出しの詳細な他の例について説明する。
【００８２】
図９においては、カメラ２１−２からのＲ画像の画素の画素データは、出力画像の１ラインを構成する所定数の画素に対応する画素のブロック（画素ブロック）毎にバッファ３２に格納されている。図９の例では、Ｒ画像の１ライン目は、３つの画素ブロックに分けられている。具体的には、例えば、Ｒ画像の１ライン目の１乃至７画素目からなる画素ブロック（以下、１ブロック目などという）の画素データは、データバッファDB11に格納され、Ｒ画像の１ライン目の７乃至１３画素目からなる２ブロック目の画素データは、データバッファDB12に格納され、Ｒ画像の１ライン目の１３乃至１６画素目からなる３ブロック目の画素データは、データバッファDB13に格納される。同様にして、Ｒ画像における各画素ブロックの画素データは、データバッファDB21乃至DB43に格納される。
【００８３】
なお、図９の例においては、画素データの格納先は、対応する出力画素の画素位置に基づいて、予め決定されている。これにより、出力画素の画素位置に要する計算量を削減することができる。
【００８４】
また、データバッファDB11乃至DB43に格納されている画素データは、出力画像（回転Ｒ画像）の画素のうちの、白抜きの四角形で示される画素（有効領域Ｙ２の画素）の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
【００８５】
図７と同様に、データバッファDB11乃至DB43の左端上側に示されるTWn（ｎは自然数）は、Ｒ画像のｎライン目の画素データが、そのデータバッファに格納される（Writeされる）タイミングを表しており、データバッファDB11乃至DB43の左端下側に示されるTRnは、出力画像のｎライン目の画素データが、そのデータバッファから読み出される（Readされる）タイミングを表している。
【００８６】
すなわち、例えば、データバッファDB11には、Ｒ画像の１ライン目の１ブロック目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の２ライン目の画素データが読み出されるTR2のタイミングで読み出される。
【００８７】
そして、データバッファDB11乃至DB43に格納されている画素データが順次読み出されて、出力画素の画素データが算出されていく中で、データバッファDB11に格納されている画素データの読み出しは、出力画像の２ライン目の画素データが読み出されると完了し、Ｒ画像の３ライン目の画素データが格納されるようになる。同様に、データバッファDB21に格納されている画素データの読み出しは、出力画像の３ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになる。
【００８８】
また、データバッファDB12に格納されている画素データの読み出しは、出力画像の３ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになり、データバッファDB22に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになり、データバッファDB32に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになる。
【００８９】
さらに、データバッファDB13に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになり、データバッファDB23に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになる。
【００９０】
このように、図９の例では、データバッファからの読み出しが完了し、次の格納のタイミングが、画素ブロック毎に管理されるので、図７の例と比較して、使用されるバッファサイズを削減することができる。図９の例では、物理的に必要となるバッファ３２のバッファサイズは、図中、破線で囲まれている約３ライン分となる。
【００９１】
なお、図９の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図９の出力画像の３ライン目と４ライン目の間の破線Ｌより上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
【００９２】
また、図９の例においても、出力画像における出力画素の画素位置と、Ｒ画像における近傍２×２画素の画素位置が同一ラインにある場合、ディレイバッファを用いることにより、Ｒ画像の８ライン目の画素データを、バッファ３２に格納しないようにもできる。
【００９３】
さらに、図９に示される出力画像の出力画素において、Ｒ画像における近傍２×２画素のうちの下側の画素（例えば、図８の画素p21，p22）として同一ラインの画素が連続する部分（図中、出力画素の下半分が破線で囲まれている画素の部分）は、ディレイバッファを設けることにより、必要な画素数分、遅延させて出力されるようにしてもよい。
【００９４】
＜４．画素データのバッファへの格納とバッファからの読み出しの例３＞
次に、図１０を参照して、画素データのバッファ３２への格納と、バッファ３２からの読み出しの詳細なさらに他の例について説明する。
【００９５】
図１０においても、カメラ２１−２からのＲ画像の画素の画素データは、出力画像の１ラインを構成する所定数の画素に対応する画素のブロック（画素ブロック）毎にバッファ３２に格納されている。図１０の例でも、Ｒ画像の１ライン目は、３つの画素ブロックに分けられている。具体的には、例えば、Ｒ画像の１ライン目の１乃至７画素目からなる画素ブロック（１ブロック目）の画素データは、データバッファDB11に格納され、Ｒ画像の１ライン目の７乃至１３画素目からなる２ブロック目の画素データは、データバッファDB12に格納され、Ｒ画像の１ライン目の１３乃至１６画素目からなる３ブロック目の画素データは、データバッファDB13に格納される。同様にして、Ｒ画像における各画素ブロックの画素データは、データバッファDB22乃至DB33に格納される。
【００９６】
なお、図１０の例においても、画素データの格納先は、対応する出力画素の画素位置に基づいて、予め決定されている。これにより、出力画素の画素位置に要する計算量を削減することができる。
【００９７】
また、データバッファDB11乃至DB33に格納されている画素データは、出力画像（回転Ｒ画像）の画素のうちの、白抜きの四角形で示される画素（有効領域Ｙ２の画素）の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
【００９８】
図７と同様に、データバッファDB11乃至DB43の左端上側に示されるTWn（ｎは自然数）は、Ｒ画像のｎライン目の画素データが、そのデータバッファに格納される（Writeされる）タイミングを表しており、データバッファDB11乃至DB43の左端下側に示されるTRnは、出力画像のｎライン目の画素データが、そのデータバッファから読み出される（Readされる）タイミングを表している。
【００９９】
すなわち、例えば、データバッファDB11には、Ｒ画像の１ライン目の１ブロック目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の２ライン目の画素データが読み出されるTR2のタイミングで読み出される。
【０１００】
ここで、図１０の例では、出力画像における出力画素の画素位置と、Ｒ画像における近傍２×２画素の画素位置が同一ラインにある場合、ディレイバッファを設けることにより、Ｒ画像の画素ブロックの画素データの格納を遅延させるようにする。
【０１０１】
すなわち、データバッファDB11に格納されている画素データの読み出しは、出力画像の２ライン目の画素データが読み出されると完了し、Ｒ画像の２ライン目の画素データが格納されるようになる。このとき、Ｒ画像の２ライン目の画素データが格納を遅延させることで、出力画像の２ライン目の画素データの読み出しが完了する前に、上書きしてしまうのを避けることができる。
【０１０２】
同様に、データバッファDB12に格納されている画素データの読み出しは、出力画像の３ライン目の画素データが読み出されると完了し、Ｒ画像の３ライン目の画素データが格納されるようになり、データバッファDB22に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになる。
【０１０３】
また、データバッファDB13に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになり、データバッファDB23に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになり、データバッファDB33に格納されている画素データの読み出しは、出力画像の６ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになる。
【０１０４】
このように、図１０の例では、データバッファへの格納を遅延させることにより、現在読み出されているデータバッファへの書き込みが可能となる。この場合、図９の例と比較して、使用されるバッファサイズをさらに削減することができる。図１０の例では、物理的に必要となるバッファ３２のバッファサイズは、図中、破線で囲まれている約２ライン分となる。
【０１０５】
なお、図１０の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図１０の出力画像の３ライン目と４ライン目の間の破線より上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
【０１０６】
さらに、図１０に示される出力画像の出力画素において、Ｒ画像における近傍２×２画素のうちの下側の画素（例えば、図８の画素p21，p22）として同一ラインの画素が連続する部分（図中、出力画素の下半分が破線で囲まれている画素の部分）は、ディレイバッファにより、必要な画素数分、遅延させて出力されるようにしてもよい。
【０１０７】
上述したように、出力画素に対応する近傍２×２画素の画素位置や占有率は、出力画素の画素位置および回転ずれの角度θにより算出されるものとしたが、これらは、三角関数を用いて算出されるため小数点数となる。そこで、これらの値を固定小数点数として扱うことで、十分な精度を保ったまま近似処理を行うことができ、計算速度をより高めることができるようになる。
【０１０８】
また、これらの値は、既知のパラメータ（画像の画角および回転ずれの角度θ）から算出されるので、予め算出してテーブルとして保持するようにしてもよい。これにより、画素データの格納や読み出しの処理の際の計算量を削減することができ、処理速度を一層高めることができるようになる。
【０１０９】
以上においては、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとして説明したが、以下においては、ｘｙ方向の位置ずれを考慮した画像の位置調整について説明する。
【０１１０】
＜５．本技術を適用した画像処理装置の他の構成と動作＞
［画像処理装置の構成］
図１１は、本技術を適用した画像処理装置（画像処理システム）の他の実施の形態の構成を示している。
【０１１１】
なお、図１１の画像処理装置１１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１１２】
すなわち、図１１の画像処理装置１１１において、図１の画像処理装置１１と異なるのは、位置調整部１２１を新たに設けた点である。
【０１１３】
位置調整部１２１は、カメラ２１−２におけるイメージセンサの画素出力位置を調整することで、カメラ２１−２により撮像されるＲ画像のｘｙ方向の位置を調整し、ｘｙ方向の位置を調整したＲ画像を、回転調整部２２に供給する。
【０１１４】
［画像のｘｙ方向の位置ずれについて］
ここで、図１２を参照して、Ｌ画像に対するＲ画像のｘｙ方向の位置ずれについて説明する。
【０１１５】
図１２Ａには、カメラ２１−１からのＬ画像と、カメラ２１−２からのＲ画像とが示されている。図１２Ａにおいては、Ｌ画像における被写体を基準とした場合、Ｒ画像における被写体は、左に傾いている（所定の角度の分ずれている）上に、ｘｙ方向の位置ずれを含んでいる。
【０１１６】
図１２Ｂには、図１２Ａと同様のＬ画像と、図１２ＡのＲ画像におけるｘｙ方向の位置ずれの分、位置が調整された場合のＲ画像とが示されている。
【０１１７】
このように、ｘｙ方向の位置ずれの分、位置が調整されることで、図１２Ｃに示されるように、図１２ＡのＲ画像における被写体の傾き（回転ずれ）の角度θが求められるようになる。
【０１１８】
［位置調整処理について］
次に、図１３のフローチャートを参照して、図１１の画像処理装置１１１の位置調整処理について説明する。
【０１１９】
なお、図１３のフローチャートのステップＳ１１２乃至Ｓ１１７の処理は、図６のフローチャートのステップＳ１１乃至Ｓ１６の処理とそれぞれ同様であるので、その説明は省略する。
【０１２０】
すなわち、ステップＳ１１１において、位置調整部１２１は、カメラ２１−２により撮像されるＲ画像のｘｙ方向の位置を調整し、ｘｙ方向の位置を調整したＲ画像を、回転調整部２２に供給する。
【０１２１】
図１３のフローチャートで示される位置調整処理によっても、図６のフローチャートで示される位置調整処理と同様の作用効果を奏することができる。
【０１２２】
なお、以上においては、Ｌ画像を基準画像として説明したが、Ｒ画像を基準画像としてももちろんよい。
【０１２３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１２４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１２５】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２６】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１２７】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１２８】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２９】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３０】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１３１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３６】
また、本技術は以下のような構成をとることができる。
（１） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。
（２） 前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
（１）に記載の画像処理装置。
（３） 前記読み出し部は、前記回転画像の１画素の画素位置に対応する、前記入力画像の前記対応領域の近傍２×２画素の前記画素データを、前記バッファから読み出す
（１）または（２）に記載の画像処理装置。
（４） 前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の１ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
（１）乃至（３）に記載の画像処理装置。
（６） 格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
（５）に記載の画像処理装置。
（７） 前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記基準画像に対して、前記入力画像のｘｙ方向の位置を調整する位置調整部をさらに備える
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。
（１０） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
（１１） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
【符号の説明】
【０１３７】
１１ 画像処理装置， ２１−１，２１−２ カメラ， ２２ 回転調整部， ２３ ステレオマッチング部， ３１ 格納処理部， ３２ バッファ， ３３ 読み出し部， ３４ 画素データ算出部， ３５ 画素データ出力部， １１１ 画像処理装置， １２１ 位置調整部
【技術分野】
【０００１】
本技術は、画像処理装置および方法、画像処理システム、並びにプログラムに関し、特に、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことができるようにする画像処理装置および方法、画像処理システム、並びにプログラムに関する。
【背景技術】
【０００２】
ステレオカメラを用いて得られる２つの撮像画像の視差を利用して測距を行う場合、画像間の位置の対応付けが行われる。それぞれのカメラの機構設計上の位置は、理論的には既知とされるが、実際には組み立て誤差等によるばらつきがあるため、個別に位置ずれを計測し、その位置ずれに基づいて、２つのカメラにより得られる画像間の位置ずれを補正する（２つの画像の相対的な位置を調整する）必要があった。
【０００３】
画像の相対的な位置を調整する手法としては、メカ方式とフレームメモリ方式とが知られている。
【０００４】
メカ方式は、メカ的な機構によりカメラの位置を物理的に調整することで、画像の相対的な位置を調整する手法であり、例えば、一方のカメラから得られたリファレンス画像に対する、他方のカメラから得られた対象画像の位置に応じて、他方のカメラを移動させるステレオカメラがある（例えば、特許文献１参照）。
【０００５】
一方、フレームメモリ方式は、２つのカメラから得られた画像を、それぞれ一旦フレームメモリに記憶させ、画像間の位置ずれに応じて、フレームメモリ上の読み出しアドレスを操作することで、画像の相対的な位置を調整する手法である（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−４５９８３号公報
【特許文献２】特開平６−２７３１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、メカ方式においては、カメラを移動させるためのモータ等の駆動装置が必要となるため、ステレオカメラの製造工程においては、手作業でそれらの調整を行う必要があった。したがって、このようなステレオカメラの製造工程には、そのための設備投資や時間を要し、コストがかかっていた。また、メカ方式を適用したステレオカメラは、経年変化の影響を受ける恐れが高かった。
【０００８】
一方、フレームメモリ方式においては、フレームメモリに大きなコストがかかる上に、処理レイテンシが大きかった。特に、ステレオマッチングを行う場合、画像の同時性を保つために、遅延調整用のメモリが必要とされ、さらに大きなコストがかかっていた。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部とを備える。
【００１１】
前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされるようにすることができる。
【００１２】
前記読み出し部には、前記回転画像の１画素の画素位置に対応する、前記入力画像の前記対応領域の近傍２×２画素の前記画素データを、前記バッファから読み出させることができる。
【００１３】
前記格納処理部には、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納させることができる。
【００１４】
前記格納処理部には、前記入力画像の画素の画素データを、前記回転画像の１ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納させることができる。
【００１５】
格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部には、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納させることができる。
【００１６】
前記画像処理装置には、前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに設けることができる。
【００１７】
前記画像処理装置には、前記基準画像に対して、前記入力画像のｘｙ方向の位置を調整する位置調整部をさらに設けることができる。
【００１８】
本技術の一側面の画像処理方法は、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法であって、前記画像処理装置が、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出するステップを含む。
【００１９】
本技術の一側面のプログラムは、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムであって、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップとを含む処理をコンピュータに実行させる。
【００２０】
本技術の一側面の画像処理システムは、同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、同一の被写体を撮像して複数の画像を得る複数のカメラと、前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部とを有する画像処理装置とを備える画像処理システム。
【００２１】
本技術の一側面においては、複数の画像のうちの基準となる基準画像に対して被写体が所定の角度の分ずれている、複数の画像のうちの入力画像の画素の画素データがバッファに格納され、角度の分だけ回転させた場合の入力画像において基準画像に対応する対応領域にある、入力画像の画素の画素データが、バッファから読み出され、読み出された画素データに基づいて、入力画像を角度の分だけ回転させた回転画像の画素の画素データが算出される。
【発明の効果】
【００２２】
本技術の一側面によれば、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】画像の回転ずれについて説明する図である。
【図３】回転前の画像の画素と、回転後の画像の画素との対応について説明する図である。
【図４】画像の回転ずれについて説明する図である。
【図５】回転前の画像の画素と、回転後の画像の画素との対応について説明する図である。
【図６】図１の画像処理装置の位置調整処理について説明するフローチャートである。
【図７】画素データのバッファへの格納とバッファからの読み出しの例について説明する図である。
【図８】出力画像の画素データの算出について説明する図である。
【図９】画素データのバッファへの格納とバッファからの読み出しの他の例について説明する図である。
【図１０】画素データのバッファへの格納とバッファからの読み出しのさらに他の例について説明する図である。
【図１１】本技術を適用した画像処理装置の他の実施の形態の機能構成例を示すブロック図である。
【図１２】画像のｘｙ方向の位置ずれについて説明する図である。
【図１３】図１１の画像処理装置の位置調整処理について説明するフローチャートである。
【図１４】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
まず、画像間の位置ずれの要素として、主に以下の３つが挙げられる。
（１）ｘｙ方向の位置ずれ
（２）回転方向の位置ずれ
（３）倍率のずれ
これら３つの位置ずれについて、画像の位置の調整を行った場合、その調整の効果として効果が高いのは、（１）ｘｙ方向の位置ずれと（２）回転方向の位置ずれとされる。本明細書では、特に、「回転方向の位置ずれ」に注目する。
【００２５】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術を適用した画像処理装置の構成と動作
２．画素データのバッファへの格納とバッファからの読み出しの例１
３．画素データのバッファへの格納とバッファからの読み出しの例２
４．画素データのバッファへの格納とバッファからの読み出しの例３
５．本技術を適用した画像処理装置の他の構成と動作
【００２６】
＜１．本技術を適用した画像処理装置の構成と動作＞
［画像処理装置の構成］
図１は、本技術を適用した画像処理装置（画像処理システム）の一実施の形態の構成を示している。
【００２７】
図１の画像処理装置１１は、同一の被写体を撮像して視差のある２つの画像を得る、いわゆるステレオカメラとして構成され、ステレオマッチング法により、撮像される被写体の奥行き方向の位置を特定し、その被写体までの距離を表す距離情報を出力する。
【００２８】
図１の画像処理装置１１は、カメラ２１−１，２１−２、回転調整部２２、およびステレオマッチング部２３から構成される。
【００２９】
カメラ２１−１，２１−２は、それぞれ同一の被写体を左右の異なる視点から撮像し、カメラ２１−１は、撮像した左側の画像（以下、Ｌ画像という）を回転調整部２２およびステレオマッチング部２３に供給し、カメラ２１−２は、撮像した右側の画像（以下、Ｒ画像という）を回転調整部２２に供給する。
【００３０】
なお、カメラ２１−１，２１−２は、異なる視点から撮像できる構成であればよく、左右の異なる視点からではなく、例えば、上下に異なる視点からであってもよい。また、複数の異なる視点から撮像できる構成であればよいので、２個のカメラにより２点の異なる視点からの画像でなくてもよく、それ以上の複数の視点から撮像される複数の画像を用いるようにしてもよい。ただし、以降においては、説明の便宜上、左右の異なる視点から撮像される２個のカメラ２１−１，２１−２であるものとして説明するものとする。
【００３１】
回転調整部２２は、カメラ２１−１からのＬ画像を基準（基準画像）として、Ｌ画像に対する、カメラ２１−２からのＲ画像の相対的な回転ずれを計測し、その回転ずれの分、回転角度を調整した回転Ｒ画像を、ステレオマッチング部２３に供給する。
【００３２】
［画像の回転ずれについて］
ここで、図２を参照して、Ｌ画像に対するＲ画像の回転ずれについて説明する。
【００３３】
図２Ａには、カメラ２１−１からのＬ画像と、カメラ２１−２からのＲ画像とが示されている。図２Ａにおいては、Ｌ画像における被写体を基準とした場合、Ｒ画像における被写体は、左に傾いている（所定の角度の分ずれている）。
【００３４】
図２Ｂには、図２Ａと同様のＬ画像と、図２ＡのＲ画像における被写体の傾き（回転ずれ）を、そのずれている角度θの分だけ回転させた場合のＲ画像とが示されている。図２Ｂに示されるように、Ｒ画像が点Ｐを回転中心として角度θの分だけ右回転されることで、Ｒ画像における被写体と、Ｌ画像における被写体との回転ずれは解消されている。なお、ここでは、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとする。
【００３５】
ここで、図２ＢのＲ画像における領域Ｙ１は、点Ｐを回転中心として角度θの分だけ右回転させたＲ画像において、Ｌ画像に対応する領域である。
【００３６】
すなわち、回転調整部２２においては、図２Ｃに示されるように、回転前のＲ画像における領域Ｙ１を、回転後の回転Ｒ画像における領域Ｙ２とすることで、回転Ｒ画像の大部分が得られる。より具体的には、回転前のＲ画像における領域Ｙ１のラインｄ１を構成する画素の画素データに基づいて、回転後の回転Ｒ画像における領域Ｙ２のラインｄ２を構成する画素の画素データが算出される。
【００３７】
このとき、回転前のＲ画像におけるラインｄ１は、図３に示されるように、画素方向（図中右方向）に５または６画素、ライン方向（図中下方向）に２画素の画素ブロックが、右斜め上方向に並んで与えられる。したがって、回転後の回転Ｒ画像におけるラインｄ２の画素データは、対応する回転前のＲ画像におけるラインｄ１の画素ブロックの画素データに基づいて、算出されるようになる。
【００３８】
なお、図２Ｃの回転Ｒ画像における領域Ｙ２以外の領域（以下、ブランク領域という）の画素データは、Ｌ画像の画素の画素データで埋められる。
【００３９】
また、Ｌ画像およびＲ画像は、左上の画素から右下の画素へとスキャンされるが、図２に示される回転中心Ｐと回転方向の設定によって、Ｒ画像における領域Ｙ１の画素は、対応するＬ画像の画素よりも先にスキャンされるようになる。
【００４０】
図４は、Ｌ画像に対する、図２とは逆方向のＲ画像の回転ずれについて説明する図である。
【００４１】
図４Ａには、カメラ２１−１からのＬ画像と、カメラ２１−２からのＲ画像とが示されている。図４Ａにおいては、Ｌ画像における被写体を基準とした場合、Ｒ画像における被写体は、右に傾いている（所定の角度の分ずれている）。
【００４２】
図４Ｂには、図４Ａと同様のＬ画像と、図４ＡのＲ画像における被写体の傾き（回転ずれ）を、そのずれている角度θの分だけ回転させた場合のＲ画像とが示されている。図４Ｂに示されるように、Ｒ画像が点Ｐを回転中心として角度θの分だけ左回転されることで、Ｒ画像における被写体と、Ｌ画像における被写体との回転ずれは解消されている。なお、ここでも、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとする。
【００４３】
ここで、図４ＢのＲ画像における領域Ｙ１は、点Ｐを回転中心として角度θの分だけ左回転させたＲ画像において、Ｌ画像に対応する領域である。
【００４４】
すなわち、回転調整部２２においては、図４Ｃに示されるように、回転前のＲ画像における領域Ｙ１を、回転後の回転Ｒ画像における領域Ｙ２とすることで、回転Ｒ画像の大部分が得られる。より具体的には、回転前のＲ画像における領域Ｙ１のラインｄ１を構成する画素の画素データに基づいて、回転後の回転Ｒ画像における領域Ｙ２のラインｄ２を構成する画素の画素データが算出される。
【００４５】
このとき、回転前のＲ画像におけるラインｄ１は、図５に示されるように、画素方向（図中右方向）に５または６画素、ライン方向（図中下方向）に２画素の画素ブロックが、右斜め下方向に並んで与えられる。したがって、回転後の回転Ｒ画像におけるラインｄ２の画素データは、対応する回転前のＲ画像におけるラインｄ１の画素ブロックの画素データに基づいて、算出されるようになる。
【００４６】
なお、図４Ｃの回転Ｒ画像における領域Ｙ２以外の領域（ブランク領域）の画素データは、Ｌ画像の画素の画素データで埋められる。
【００４７】
また、Ｌ画像およびＲ画像は、左上の画素から右下の画素へとスキャンされるが、図４に示される回転中心Ｐと回転方向の設定によって、Ｒ画像における領域Ｙ１の画素は、対応するＬ画像の画素よりも先にスキャンされるようになる。
【００４８】
このようにして、カメラ２１−２からのＲ画像の回転ずれの分、回転角度を調整した回転Ｒ画像が得られる。
【００４９】
さて、図１の説明に戻り、回転調整部２２は、格納処理部３１、バッファ３２、読み出し部３３、画素データ算出部３４、および画素データ出力部３５を備えている。
【００５０】
格納処理部３１は、カメラ２１−２からのＲ画像の画素の画素データを、順次バッファ３２に格納する。
【００５１】
バッファ３２は、SRAM（Static Random Access Memory）やDRAM（Dynamic Random Access Memory）等のメモリから構成され、格納処理部３１からの画素データを格納する。格納された画素データは、読み出し部３３によって読み出される。
【００５２】
読み出し部３３は、バッファ３２に格納されたＲ画像の画素の画素データを、所定のタイミングで読み出す。具体的には、読み出し部３３は、バッファ３２に格納されたＲ画像の画素のうちの領域Ｙ１（図２または図４）の画素の画素データを読み出し、画素データ算出部３４に供給する。
【００５３】
画素データ算出部３４は、読み出し部３３からの画素データに基づいて、回転Ｒ画像の画素の画素データを算出する。具体的には、画素データ算出部３４は、Ｒ画像の画素のうちの領域Ｙ１の画素の画素データに基づいて、回転Ｒ画像の画素のうちの領域Ｙ２の画素の画素データを算出し、画素データ出力部３５に供給する。
【００５４】
画素データ出力部３５は、回転Ｒ画像の画素の画素データを、ステレオマッチング部２３に出力する。具体的には、画素データ出力部３５は、画素データ算出部３４からの、回転Ｒ画像の画素のうちの領域Ｙ２の画素の画素データを出力するとともに、カメラ２１−１からのＬ画像のうちの、回転Ｒ画像のブランク領域に対応する画素の画素データを出力する。
【００５５】
ステレオマッチング部２３は、カメラ２１−１からのＬ画像および回転調整部２２からの回転Ｒ画像に基づいて、ステレオマッチング法により、被写体の奥行き方向の位置を特定し、その被写体までの距離を表す距離情報を出力する。
【００５６】
ステレオマッチング法によれば、カメラ２１−１で撮像されたＬ画像が、カメラ２１−２で撮像されたＲ画像のどの部分に対応するかを面積相関の演算により求めて、その対応関係に基づく三角測量の原理を用いることにより、被写体の奥行き方向の位置が求められる。
【００５７】
［位置調整処理について］
次に、図６のフローチャートを参照して、画像処理装置１１による位置調整処理について説明する。なお、図６の位置調整処理において、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとする。
【００５８】
ステップＳ１１において、格納処理部３１は、カメラ２１−２からのＲ画像の画素の画素データをバッファ３２に格納する。
【００５９】
ステップＳ１２において、回転調整部２２は、得られる回転Ｒ画像における領域Ｙ２（図２または図４）（以下、有効領域Ｙ２という）の画素の画素データを出力するか否かを判定する。回転調整部２２においては、出力される画素（出力画素）が、有効領域Ｙ２の画素であるか否かは、カメラ２１−２からのＲ画像における画素の画素位置と、回転ずれの角度θとに基づいて判定される。
【００６０】
ステップＳ１２において、有効領域Ｙ２の画素の画素データが出力されると判定された場合、処理はステップＳ１３に進み、読み出し部３３は、バッファ３２から、その出力画素に対応する、Ｒ画像における領域Ｙ１（図２または図４）の画素の画素データを読み出し、画素データ算出部３４に供給する。
【００６１】
ステップＳ１４において、画素データ算出部３４は、読み出し部３３からの、出力画素に対応するＲ画像（領域Ｙ１）の画素の画素データに基づいて、出力画素の画素データを算出し、画素データ出力部３５に供給する。
【００６２】
ステップＳ１５において、画素データ出力部３５は、画素データ算出部３４からの出力画素の画素データを、ステレオマッチング部２３に出力し、処理はステップＳ１６に進む。
【００６３】
一方、ステップ１２において、有効領域Ｙ２の画素の画素データが出力されないと判定された場合、処理はステップＳ１７に進み、画素データ出力部３５は、カメラ２１−１からのＬ画像において出力画素に対応する画素、すなわち、Ｌ画像のうちの、回転Ｒ画像のブランク領域に対応する画素の画素データを、ステレオマッチング部２３に出力し、処理はステップＳ１６に進む。
【００６４】
ステップＳ１６において、回転調整部２２は、全ての出力画素の画素データを出力したか否かを判定する。ステップＳ１６において、全ての出力画素の画素データが出力されていないと判定された場合、処理はステップＳ１１に戻り、これ以降の処理が、全ての出力画素の画素データが出力されるまで繰り返される。
【００６５】
以上の処理によれば、カメラ２１−２からのＲ画像の画素の画素データがバッファ３２に格納され、Ｒ画像における領域Ｙ１の画素の画素データが読み出され、読み出された画素データに基づいて、回転後の回転Ｒ画像（有効領域Ｙ２）の画素の画素データが算出される。したがって、メカ方式のように、カメラの位置を物理的に調整する必要はなく、また、バッファ３２に格納される画素データは、順次読み出されるので、フレームメモリのような大容量のメモリを用いる必要もない。すなわち、複数のカメラにより得られる複数の画像の相対的な位置の調整を、経年変化の影響を受けることなく、低コストかつ低レイテンシで行うことが可能となる。
【００６６】
なお、回転Ｒ画像において、有効領域Ｙ２以外の領域（ブランク領域）の画素の画素データは、Ｌ画像の画素の画素データと同一であるので、その領域については、ステレオマッチング部２３により、視差無しと判定されるようになる。
【００６７】
＜２．画素データのバッファへの格納とバッファからの読み出しの例１＞
ここで、図７を参照して、画素データのバッファ３２への格納と、バッファ３２からの読み出しの詳細な例について説明する。
【００６８】
図７においては、カメラ２１−２からのＲ画像の画素の画素データは、ライン毎にバッファ３２に格納される。具体的には、Ｒ画像の１ライン目の画素データは、データバッファDB1に格納され、Ｒ画像の２ライン目の画素データは、データバッファDB2に格納され、Ｒ画像の３ライン目の画素データは、データバッファDB3に格納され、Ｒ画像の４ライン目の画素データは、データバッファDB4に格納される。
【００６９】
また、データバッファDB1乃至DB4に格納されている画素データは、出力画像（回転Ｒ画像）の画素のうちの、白抜きの四角形で示される画素（有効領域Ｙ２の画素）の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
【００７０】
ここで、データバッファDB1乃至DB4の左端上側に示されるTWn（ｎは自然数）は、Ｒ画像のｎライン目の画素データが、そのデータバッファに格納される（Writeされる）タイミングを表しており、データバッファDB1乃至DB4の左端下側に示されるTRnは、出力画像のｎライン目の画素データが、そのデータバッファから読み出される（Readされる）タイミングを表している。
【００７１】
すなわち、例えば、データバッファDB1には、Ｒ画像の１ライン目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の２乃至４ライン目の画素データが読み出されるTR2乃至TR4のタイミングで読み出される。
【００７２】
また、出力画像の１画素（出力画素）の画素データを算出するのに、バッファ３２から読み出される画素データは、Ｒ画像において、出力画素の画素位置に対応する画素位置にある近傍２×２画素の画素データに基づいて算出される。
【００７３】
例えば、図７における出力画像の２ライン目の左から３画素目の画素P23の画素データは、図８に示されるように、データバッファDB1に格納されている、Ｒ画像の１ライン目の左から１画素目および２画素目の画素p11，p12の画素データ、データバッファDB2に格納されている、Ｒ画像の２ライン目の左から１画素目および２画素目の画素p21，p22の画素データ、並びにそれぞれの画素の占有率に基づいて算出される。
【００７４】
同様に、図７における出力画像の２ライン目の左から４画素目の画素P24の画素データは、図示はしないが、データバッファDB1に格納されている、Ｒ画像の１ライン目の左から２画素目および３画素目の画素p12，p13の画素データ、データバッファDB2に格納されている、Ｒ画像の２ライン目の左から２画素目および３画素目の画素p22，p23の画素データ、並びにそれぞれの画素の占有率に基づいて算出される。
【００７５】
なお、Ｒ画像における近傍２×２画素の画素位置および占有率は、出力画素の画素位置および回転ずれの角度θから算出される。
【００７６】
このように、データバッファDB1乃至DB4に格納されている画素データが順次読み出されて、出力画素の画素データが算出されていく中で、データバッファDB1に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになる。同様に、データバッファDB2に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになり、データバッファDB3に格納されている画素データの読み出しは、出力画像の６ライン目の画素データが読み出されると完了し、Ｒ画像の７ライン目の画素データが格納されるようになり、データバッファDB4に格納されている画素データの読み出しは、出力画像の７ライン目の画素データが読み出されると完了し、Ｒ画像の８ライン目の画素データが格納されるようになる。
【００７７】
すなわち、図７の例では、物理的に必要となるバッファ３２のバッファサイズは、図中、破線で囲まれている４ライン分となる。
【００７８】
なお、図７の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図７の出力画像の３ライン目と４ライン目の間の破線Ｌより上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
【００７９】
また、図７の例において、出力画像における出力画素の画素位置と、Ｒ画像における近傍２×２画素の画素位置が同一ラインにある場合、ディレイバッファを用いることにより、Ｒ画像の８ライン目の画素データを、バッファ３２に格納しないようにもできる。
【００８０】
さらに、図７に示される出力画像の出力画素において、Ｒ画像における近傍２×２画素のうちの下側の画素（例えば、図８の画素p21，p22）として同一ラインの画素が連続する部分（図中、出力画素の下半分が破線で囲まれている画素の部分）は、ディレイバッファを設けることにより、必要な画素数分、遅延させて出力されるようにしてもよい。
【００８１】
＜３．画素データのバッファへの格納とバッファからの読み出しの例２＞
次に、図９を参照して、画素データのバッファ３２への格納と、バッファ３２からの読み出しの詳細な他の例について説明する。
【００８２】
図９においては、カメラ２１−２からのＲ画像の画素の画素データは、出力画像の１ラインを構成する所定数の画素に対応する画素のブロック（画素ブロック）毎にバッファ３２に格納されている。図９の例では、Ｒ画像の１ライン目は、３つの画素ブロックに分けられている。具体的には、例えば、Ｒ画像の１ライン目の１乃至７画素目からなる画素ブロック（以下、１ブロック目などという）の画素データは、データバッファDB11に格納され、Ｒ画像の１ライン目の７乃至１３画素目からなる２ブロック目の画素データは、データバッファDB12に格納され、Ｒ画像の１ライン目の１３乃至１６画素目からなる３ブロック目の画素データは、データバッファDB13に格納される。同様にして、Ｒ画像における各画素ブロックの画素データは、データバッファDB21乃至DB43に格納される。
【００８３】
なお、図９の例においては、画素データの格納先は、対応する出力画素の画素位置に基づいて、予め決定されている。これにより、出力画素の画素位置に要する計算量を削減することができる。
【００８４】
また、データバッファDB11乃至DB43に格納されている画素データは、出力画像（回転Ｒ画像）の画素のうちの、白抜きの四角形で示される画素（有効領域Ｙ２の画素）の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
【００８５】
図７と同様に、データバッファDB11乃至DB43の左端上側に示されるTWn（ｎは自然数）は、Ｒ画像のｎライン目の画素データが、そのデータバッファに格納される（Writeされる）タイミングを表しており、データバッファDB11乃至DB43の左端下側に示されるTRnは、出力画像のｎライン目の画素データが、そのデータバッファから読み出される（Readされる）タイミングを表している。
【００８６】
すなわち、例えば、データバッファDB11には、Ｒ画像の１ライン目の１ブロック目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の２ライン目の画素データが読み出されるTR2のタイミングで読み出される。
【００８７】
そして、データバッファDB11乃至DB43に格納されている画素データが順次読み出されて、出力画素の画素データが算出されていく中で、データバッファDB11に格納されている画素データの読み出しは、出力画像の２ライン目の画素データが読み出されると完了し、Ｒ画像の３ライン目の画素データが格納されるようになる。同様に、データバッファDB21に格納されている画素データの読み出しは、出力画像の３ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになる。
【００８８】
また、データバッファDB12に格納されている画素データの読み出しは、出力画像の３ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになり、データバッファDB22に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになり、データバッファDB32に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになる。
【００８９】
さらに、データバッファDB13に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになり、データバッファDB23に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになる。
【００９０】
このように、図９の例では、データバッファからの読み出しが完了し、次の格納のタイミングが、画素ブロック毎に管理されるので、図７の例と比較して、使用されるバッファサイズを削減することができる。図９の例では、物理的に必要となるバッファ３２のバッファサイズは、図中、破線で囲まれている約３ライン分となる。
【００９１】
なお、図９の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図９の出力画像の３ライン目と４ライン目の間の破線Ｌより上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
【００９２】
また、図９の例においても、出力画像における出力画素の画素位置と、Ｒ画像における近傍２×２画素の画素位置が同一ラインにある場合、ディレイバッファを用いることにより、Ｒ画像の８ライン目の画素データを、バッファ３２に格納しないようにもできる。
【００９３】
さらに、図９に示される出力画像の出力画素において、Ｒ画像における近傍２×２画素のうちの下側の画素（例えば、図８の画素p21，p22）として同一ラインの画素が連続する部分（図中、出力画素の下半分が破線で囲まれている画素の部分）は、ディレイバッファを設けることにより、必要な画素数分、遅延させて出力されるようにしてもよい。
【００９４】
＜４．画素データのバッファへの格納とバッファからの読み出しの例３＞
次に、図１０を参照して、画素データのバッファ３２への格納と、バッファ３２からの読み出しの詳細なさらに他の例について説明する。
【００９５】
図１０においても、カメラ２１−２からのＲ画像の画素の画素データは、出力画像の１ラインを構成する所定数の画素に対応する画素のブロック（画素ブロック）毎にバッファ３２に格納されている。図１０の例でも、Ｒ画像の１ライン目は、３つの画素ブロックに分けられている。具体的には、例えば、Ｒ画像の１ライン目の１乃至７画素目からなる画素ブロック（１ブロック目）の画素データは、データバッファDB11に格納され、Ｒ画像の１ライン目の７乃至１３画素目からなる２ブロック目の画素データは、データバッファDB12に格納され、Ｒ画像の１ライン目の１３乃至１６画素目からなる３ブロック目の画素データは、データバッファDB13に格納される。同様にして、Ｒ画像における各画素ブロックの画素データは、データバッファDB22乃至DB33に格納される。
【００９６】
なお、図１０の例においても、画素データの格納先は、対応する出力画素の画素位置に基づいて、予め決定されている。これにより、出力画素の画素位置に要する計算量を削減することができる。
【００９７】
また、データバッファDB11乃至DB33に格納されている画素データは、出力画像（回転Ｒ画像）の画素のうちの、白抜きの四角形で示される画素（有効領域Ｙ２の画素）の画素データの算出に用いられ、適宜読み出される。なお、出力画像の画素のうちの、網かけされた四角形で示される画素は、ブランク領域の画素を示している。
【００９８】
図７と同様に、データバッファDB11乃至DB43の左端上側に示されるTWn（ｎは自然数）は、Ｒ画像のｎライン目の画素データが、そのデータバッファに格納される（Writeされる）タイミングを表しており、データバッファDB11乃至DB43の左端下側に示されるTRnは、出力画像のｎライン目の画素データが、そのデータバッファから読み出される（Readされる）タイミングを表している。
【００９９】
すなわち、例えば、データバッファDB11には、Ｒ画像の１ライン目の１ブロック目の画素データが、TW1のタイミングで格納され、その画素データは、出力画像の２ライン目の画素データが読み出されるTR2のタイミングで読み出される。
【０１００】
ここで、図１０の例では、出力画像における出力画素の画素位置と、Ｒ画像における近傍２×２画素の画素位置が同一ラインにある場合、ディレイバッファを設けることにより、Ｒ画像の画素ブロックの画素データの格納を遅延させるようにする。
【０１０１】
すなわち、データバッファDB11に格納されている画素データの読み出しは、出力画像の２ライン目の画素データが読み出されると完了し、Ｒ画像の２ライン目の画素データが格納されるようになる。このとき、Ｒ画像の２ライン目の画素データが格納を遅延させることで、出力画像の２ライン目の画素データの読み出しが完了する前に、上書きしてしまうのを避けることができる。
【０１０２】
同様に、データバッファDB12に格納されている画素データの読み出しは、出力画像の３ライン目の画素データが読み出されると完了し、Ｒ画像の３ライン目の画素データが格納されるようになり、データバッファDB22に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになる。
【０１０３】
また、データバッファDB13に格納されている画素データの読み出しは、出力画像の４ライン目の画素データが読み出されると完了し、Ｒ画像の４ライン目の画素データが格納されるようになり、データバッファDB23に格納されている画素データの読み出しは、出力画像の５ライン目の画素データが読み出されると完了し、Ｒ画像の５ライン目の画素データが格納されるようになり、データバッファDB33に格納されている画素データの読み出しは、出力画像の６ライン目の画素データが読み出されると完了し、Ｒ画像の６ライン目の画素データが格納されるようになる。
【０１０４】
このように、図１０の例では、データバッファへの格納を遅延させることにより、現在読み出されているデータバッファへの書き込みが可能となる。この場合、図９の例と比較して、使用されるバッファサイズをさらに削減することができる。図１０の例では、物理的に必要となるバッファ３２のバッファサイズは、図中、破線で囲まれている約２ライン分となる。
【０１０５】
なお、図１０の出力画像において、網かけされた四角形で示される画素を、出力画像におけるブランク領域の画素としたが、図１０の出力画像の３ライン目と４ライン目の間の破線より上側にある画素を、出力画像におけるブランク領域の画素とするようにしてもよい。
【０１０６】
さらに、図１０に示される出力画像の出力画素において、Ｒ画像における近傍２×２画素のうちの下側の画素（例えば、図８の画素p21，p22）として同一ラインの画素が連続する部分（図中、出力画素の下半分が破線で囲まれている画素の部分）は、ディレイバッファにより、必要な画素数分、遅延させて出力されるようにしてもよい。
【０１０７】
上述したように、出力画素に対応する近傍２×２画素の画素位置や占有率は、出力画素の画素位置および回転ずれの角度θにより算出されるものとしたが、これらは、三角関数を用いて算出されるため小数点数となる。そこで、これらの値を固定小数点数として扱うことで、十分な精度を保ったまま近似処理を行うことができ、計算速度をより高めることができるようになる。
【０１０８】
また、これらの値は、既知のパラメータ（画像の画角および回転ずれの角度θ）から算出されるので、予め算出してテーブルとして保持するようにしてもよい。これにより、画素データの格納や読み出しの処理の際の計算量を削減することができ、処理速度を一層高めることができるようになる。
【０１０９】
以上においては、Ｌ画像とＲ画像との間に、ｘｙ方向の位置ずれはないものとして説明したが、以下においては、ｘｙ方向の位置ずれを考慮した画像の位置調整について説明する。
【０１１０】
＜５．本技術を適用した画像処理装置の他の構成と動作＞
［画像処理装置の構成］
図１１は、本技術を適用した画像処理装置（画像処理システム）の他の実施の形態の構成を示している。
【０１１１】
なお、図１１の画像処理装置１１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１１２】
すなわち、図１１の画像処理装置１１１において、図１の画像処理装置１１と異なるのは、位置調整部１２１を新たに設けた点である。
【０１１３】
位置調整部１２１は、カメラ２１−２におけるイメージセンサの画素出力位置を調整することで、カメラ２１−２により撮像されるＲ画像のｘｙ方向の位置を調整し、ｘｙ方向の位置を調整したＲ画像を、回転調整部２２に供給する。
【０１１４】
［画像のｘｙ方向の位置ずれについて］
ここで、図１２を参照して、Ｌ画像に対するＲ画像のｘｙ方向の位置ずれについて説明する。
【０１１５】
図１２Ａには、カメラ２１−１からのＬ画像と、カメラ２１−２からのＲ画像とが示されている。図１２Ａにおいては、Ｌ画像における被写体を基準とした場合、Ｒ画像における被写体は、左に傾いている（所定の角度の分ずれている）上に、ｘｙ方向の位置ずれを含んでいる。
【０１１６】
図１２Ｂには、図１２Ａと同様のＬ画像と、図１２ＡのＲ画像におけるｘｙ方向の位置ずれの分、位置が調整された場合のＲ画像とが示されている。
【０１１７】
このように、ｘｙ方向の位置ずれの分、位置が調整されることで、図１２Ｃに示されるように、図１２ＡのＲ画像における被写体の傾き（回転ずれ）の角度θが求められるようになる。
【０１１８】
［位置調整処理について］
次に、図１３のフローチャートを参照して、図１１の画像処理装置１１１の位置調整処理について説明する。
【０１１９】
なお、図１３のフローチャートのステップＳ１１２乃至Ｓ１１７の処理は、図６のフローチャートのステップＳ１１乃至Ｓ１６の処理とそれぞれ同様であるので、その説明は省略する。
【０１２０】
すなわち、ステップＳ１１１において、位置調整部１２１は、カメラ２１−２により撮像されるＲ画像のｘｙ方向の位置を調整し、ｘｙ方向の位置を調整したＲ画像を、回転調整部２２に供給する。
【０１２１】
図１３のフローチャートで示される位置調整処理によっても、図６のフローチャートで示される位置調整処理と同様の作用効果を奏することができる。
【０１２２】
なお、以上においては、Ｌ画像を基準画像として説明したが、Ｒ画像を基準画像としてももちろんよい。
【０１２３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１２４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１２５】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２６】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１２７】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１２８】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２９】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３０】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１３１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１３３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３６】
また、本技術は以下のような構成をとることができる。
（１） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。
（２） 前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
（１）に記載の画像処理装置。
（３） 前記読み出し部は、前記回転画像の１画素の画素位置に対応する、前記入力画像の前記対応領域の近傍２×２画素の前記画素データを、前記バッファから読み出す
（１）または（２）に記載の画像処理装置。
（４） 前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の１ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
（１）乃至（３）に記載の画像処理装置。
（６） 格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
（５）に記載の画像処理装置。
（７） 前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記基準画像に対して、前記入力画像のｘｙ方向の位置を調整する位置調整部をさらに備える
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。
（１０） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
（１１） 同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
【符号の説明】
【０１３７】
１１ 画像処理装置， ２１−１，２１−２ カメラ， ２２ 回転調整部， ２３ ステレオマッチング部， ３１ 格納処理部， ３２ バッファ， ３３ 読み出し部， ３４ 画素データ算出部， ３５ 画素データ出力部， １１１ 画像処理装置， １２１ 位置調整部
【特許請求の範囲】
【請求項１】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。
【請求項２】
前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
請求項１に記載の画像処理装置。
【請求項３】
前記読み出し部は、前記回転画像の１画素の画素位置に対応する、前記入力画像の前記対応領域の近傍２×２画素の前記画素データを、前記バッファから読み出す
請求項１に記載の画像処理装置。
【請求項４】
前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
請求項３に記載の画像処理装置。
【請求項５】
前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の１ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
請求項３に記載の画像処理装置。
【請求項６】
格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
請求項５に記載の画像処理装置。
【請求項７】
前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記基準画像に対して、前記入力画像のｘｙ方向の位置を調整する位置調整部をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。
【請求項１０】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１１】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
【請求項１】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置であって、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を備える画像処理装置。
【請求項２】
前記入力画像における前記対応領域の画素は、対応する前記基準画像の画素より先にスキャンされる
請求項１に記載の画像処理装置。
【請求項３】
前記読み出し部は、前記回転画像の１画素の画素位置に対応する、前記入力画像の前記対応領域の近傍２×２画素の前記画素データを、前記バッファから読み出す
請求項１に記載の画像処理装置。
【請求項４】
前記格納処理部は、前記入力画像の画素の画素データを、ライン毎に前記バッファに格納する
請求項３に記載の画像処理装置。
【請求項５】
前記格納処理部は、前記入力画像の画素の画素データを、前記回転画像の１ラインを構成する所定数画素に対応する画素ブロック毎に前記バッファに格納する
請求項３に記載の画像処理装置。
【請求項６】
格納される前記入力画像の画素のラインと、読み出される前記入力画像の画素に対応する前記回転画像の画素のラインとが同一である場合、前記格納処理部は、前記入力画像の画素の画素データを、遅延させて前記画素ブロック毎に前記バッファに格納する
請求項５に記載の画像処理装置。
【請求項７】
前記基準画像において、前記角度の分だけ回転させた場合の前記入力画像の前記対応領域に対応しない領域の画素の画素データを、前記回転画像の画素の画素データとして出力する画素データ出力部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記基準画像に対して、前記入力画像のｘｙ方向の位置を調整する位置調整部をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納し、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出し、
読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する
ステップを含む画像処理方法。
【請求項１０】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理をコンピュータに実行させるプログラムにおいて、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納ステップと、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出しステップと、
前記読み出しステップの処理によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１１】
同一の被写体を撮像した複数の画像の相対的な位置を調整する画像処理システムであって、
同一の被写体を撮像して複数の画像を得る複数のカメラと、
前記複数の画像のうちの基準となる基準画像に対して前記被写体が所定の角度の分ずれている、前記複数の画像のうちの入力画像の画素の画素データをバッファに格納する格納処理部と、
前記角度の分だけ回転させた場合の前記入力画像において前記基準画像に対応する対応領域にある、前記入力画像の画素の前記画素データを、前記バッファから読み出す読み出し部と、
前記読み出し部によって読み出された前記画素データに基づいて、前記入力画像を前記角度の分だけ回転させた回転画像の画素の画素データを算出する画素データ算出部と
を有する画像処理装置と
を備える画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−４８３３４（Ｐ２０１３−４８３３４Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１１−１８５７１９（Ｐ２０１１−１８５７１９）
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]