多眼視画像作成システム及び多眼視画像作成方法
【課題】左右２枚の２眼視ステレオ画像から中間位置画像と共に左右外側画像も自動的に作成することができる多眼視画像作成システム及び方法を提供する。
【解決手段】本発明は、左右２枚のステレオ画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成システム及び方法を特徴とする。
【解決手段】本発明は、左右２枚のステレオ画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成システム及び方法を特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、裸眼立体ディスプレイ表示用の多眼視画像作成システム及び多眼視画像作成方法に関する。
【背景技術】
【０００２】
現在広く使われている立体ディスプレイは眼鏡をかけて見るタイプのものが主であるが、近年、各社が競って裸眼立体ディスプレイを開発している。しかし、裸眼立体ディスプレイは普及していないのが現状である。その主な原因としてコンテンツの不足が挙げられている。眼鏡をかけて見る立体ディスプレイのコンテンツは２つの視差で撮影されているのに対して、裸眼立体ディスプレイに立体的な表示を行うためには、多眼で撮影した複数の画像や映像が必要である。そのため、多眼カメラ等の特殊な機材を用いて撮影する必要があることが障害となり、コンテンツ不足を招いている。
【０００３】
左右のカメラで撮影した左右２枚の２眼視ステレオ画像から３枚以上の多眼視立体画像をコンピュータ上でソフトウェアにより作成する多眼視画像作成システム及び方法が、特開平９-２７９６９号公報（特許文献１）により知られている。この従来の多眼視画像作成システム及び方法は、左右１組２枚のステレオ画像から２画像間の任意の視点に対応する中間位置画像を作成する技術である。この従来技術によれば、左右２枚のステレオ画像のパターンマッチングをベースにして、視点位置に基づいて中間画像の画素データを線形補間で求めている。
【０００４】
ところが、この従来の多眼視画像作成技術では、中間位置の画像を自動作成することができるが、左右２枚のステレオ画像からさらに外側の左外画像、右外画像は作成できない不自由さがある。また、パターンマッチングをベースに視点位置に基づいて中間画像の画素データを作成するのに、探索対象画素を含めその左右に隣接する所定数の画素間でのみパターンマッチングを実施しており、対象画素の左右と共に上下に隣接する画素をも含めた四周の所定数の画素間でパターンマッチングを実施するものではない。そのため、視差の大きい画像に対して奥行き感が出しにくい問題点がある。
【特許文献１】特開平９-２７９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術の課題に鑑みてなされたもので、一般的な左右２枚の２眼視ステレオ画像から中間位置画像と共に左右外画像も自動的に作成することができる多眼視画像作成システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の特徴は、左右２台のカメラの撮影した左目画像、右目画像に対して、前記左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法である。
【０００７】
上記発明の多眼視画像作成方法では、前記中間位置画像は、前記左目画像、右目画像間で等間隔に離れた複数枚とし、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にして前記右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にして前記左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定するものとすることができる。
【０００８】
また、上記発明の多眼視画像作成方法では、前記パターンマッチングには、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して実施するものとすることができる。
【０００９】
さらに、上記発明の多眼視画像作成方法では、前記パターンマッチングには、前記所定数の画素の明暗を正規化した後に類似度を求めるものとすることができる。
【００１０】
本発明の別の特徴は、左右２台のカメラの撮影した左目画像、右目画像の記憶手段と、前記記憶手段に記憶されている前記左目画像、右目画像を読み出し、いずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定するパターンマッチング演算手段と、前記パターンマッチング演算手段が特定した前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める内外挿画像作成手段とを備えた多眼視画像作成システムである。
【００１１】
上記発明の多眼視画像作成システムでは、前記内外挿画像作成手段は、前記中間位置画像として前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであって、前記パターンマッチング演算手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、前記内外挿画像作成手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内外挿によって左寄り中間位置画像、左外画像を求め、前記右目画像に近い位置の中間位置画像及び右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内外挿によって右寄り中間位置画像、右外画像を求めるものとすることができる。
【００１２】
また、上記発明の多眼視画像作成システムでは、前記パターンマッチング演算手段は、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施するものとすることができる。
【００１３】
さらに、上記発明の多眼視画像作成システムでは、前記パターンマッチング演算手段は、前記所定数の画素の明暗を正規化した後に類似度を求めるものとすることができる。
【発明の効果】
【００１４】
本発明の多眼視画像作成システム及び方法によれば、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、また、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求めるので、左右２枚のステレオ画像から所定数の中間位置画像と共に所定数の右外画像、左外画像を自動作成できる。
【００１５】
また、本発明の多眼視画像作成システム及び方法によれば、左目画像に近い位置の中間位置画像及び左外画像については当該左目画像を基準にして右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、右目画像に近い位置の中間位置画像及び右外画像については当該右目画像を基準にして左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定することにより、リアルな立体画像の再生が可能な多眼視画像を作成できる。
【００１６】
また、本発明の多眼視画像作成システム及び方法によれば、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施することにより、奥行きの深い立体画像の再生が可能な多眼視画像を作成できる。
【００１７】
さらに、本発明の多眼視画像作成システム及び方法によれば、パターンマッチングにおいては所定数の画素の明暗を正規化した後に類似度を求める手順を採用することにより、精度の高い類似度演算ができて、パターンマッチングの精度が向上する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図に基づいて詳説する。
【００１９】
（第１の実施の形態）図１は、本発明の１つの実施の形態の多眼視画像作成システムの構成を示している。本システムはコンピュータに多眼視画像作成プログラムを組み込み、これを実行させることで実現されるものであるが、専用の装置として構成することもできる。
【００２０】
本実施の形態の多眼視画像作成システム１は、画像その他のデータの入出力を処理する入出力部１１、画像その他のデータを記憶する記憶部１２、記憶部１２から左右のステレオ画像データそれぞれを読み出し、左目画像データ、右目画像データをグレースケールに変換するグレースケール変換処理部１２、左目画像データを基準にした右目画像とのパターンマッチング処理、逆に右目画像を基準にした左目画像とのパターンマッチング処理を実行して左目基準の右目最類似画像、また右目基準の左目最類似画像を抽出するパターンマッチング処理部１３、内挿演算処理にて左寄り中間位置画像及び右寄り中間位置画像を作成して記憶部１２に保存する内挿処理部１４、外挿演算処理にて左外画像及び右外画像を作成して記憶部１２に保存する外挿処理部１５、類似画素が見出されなかった画素について、周囲の隣接画素の画像から平均値を求めて補間しその結果を記憶部１２に保存する補間処理部１６、記憶部１２に記憶された画素単位の画像を所定の画素数の画像に合成して再保存する画像合成部１７を備えている。
【００２１】
記憶部１２は大容量記憶装置、不揮発性メモリ、揮発性メモリ等の記憶手段を包含し、演算処理段階に応じて相応の記憶手段に記憶するものとする。
【００２２】
パターンマッチング処理部１３は、後述するパターンマッチング処理の各段階の処理を統括的に制御するパターンマッチング制御部１３Ａ、グレースケール変換部１３Ｂ、左基準類似度演算部１３Ｃ、右基準類似度演算部１３Ｄを有している。
【００２３】
次に、上記構成の多眼視画像作成システム１による多眼視画像作成方法について説明する。図２、図３には、本多眼視画像作成システム１による多眼視画像作成処理のフローチャートを示してある。図２のフローチャートに示すように、本多眼視画像作成方法は主に次の５処理ステップから成る。
【００２４】
ステップＳ１：パターンマッチング処理部１３におけるパターンマッチング制御部１３Ａは、入出力部１１にて外部の記憶装置やシステムから、あるいは本システム１内の記憶部１２から処理対象とする左右２枚のステレオ画像を読み込む。
【００２５】
ステップＳ２：パターンマッチング処理部１３におけるグレースケール変換処理部１３Ｂにより、読み込んだ左目画像、右目画像をそれぞれグレースケールに変換し、値をそれぞれ一次元配列に代入する前処理を行う。
【００２６】
ステップＳ３：パターンマッチング制御部１３Ａの指示のもとに、左基準類似度演算部１３Ｃ、右基準類似と演算部１３Ｄ、内挿処理部１４、外挿処理部１５により、左目画像から右目画像の最類似画素を探索し、中間位置画像の該当画素毎に色をおき、また外側画像の該当画素毎に色をおく。また、右目画像から左目画像の最類似画素を探索し、中間位置画像に対して該当画素毎に色をおき、また外側画像の該当画素毎に色をおく。これらのパターンマッチング処理を、対象画像の画素列１列ごとに交互に実行する。
【００２７】
ステップＳ４：補間処理部１６により、パターンマッチング処理にて一度も色がおかれなかった画素に対して、周囲８近傍の平均をとった値で補間する。
【００２８】
ステップＳ５：所定の規則に従い、図４に示すように右目画像の外側から順に番号００〜０７を付け、「ファイル名＋番号．ｂｍｐ」として所定のフォルダにビットマップ形式で保存する。尚、この画像のフォーマットはこれに限られるわけではない。
【００２９】
ステップＳ３のパターンマッチング処理を、図３のフローチャートを用いてさらに詳しく説明する。まず、左基準類似度演算部１３Ｃにて、左目画像から右目画像の最類似画素を探索するために、右目画像の画素のうち左目画像の画素がある座標の周囲を探索範囲とし、それぞれの画素に対して順に左目画像の画素周囲の画素との類似度を計算し、最も似ている画素を探し出す。この類似度計算は、後述する（ステップＳ３１）。
【００３０】
次に、内挿処理部１４にて、左目画像の画素の座標と右目画像の得られた最類似画素の座標との距離を、左右２枚のステレオ画像の間に補間する画像の枚数で等分する（ステップＳ３２）。外挿処理部１５にて、ステレオ画像の外側に補間する画像の枚数分、外側に座標を伸ばす（ステップＳ３３）。
【００３１】
作成する多眼視画像の左寄りにある画像それぞれに対して、得られた座標のうち、左から数えて画像の順番と同じ位置の座標にある画素に左目画像の画素と同じ色を置く。同様に、右寄りの画像それぞれに、右目画像の画素と同じ色を置く（ステップＳ３５）。
【００３２】
次に、右基準類似度演算部１３Ｄにて右目画像から左目画像の最類似画素を探索し、同様にして色を置く。この際、類似度の計算を再度行うのではなく、後述するように左目画像から右目画像を探索したときの類似度の値を保持しておき、その中から最も似ている画素を探して色を置く（ステップＳ３６）。
【００３３】
以上のパターンマッチング処理は、左目画像から右目画像の探索と右目画像から左目画像の探索とを画素列１行ずつ交互に行う（ステップＳ３０，Ｓ３７）。
【００３４】
上述したパターンマッチング処理における類似度演算について、詳しく説明する。左基準類似度演算では、左目画像の画素について右目画像の中から最も類似している画素を探し出す際の類似度を計算するテンプレートマッチング手法を用いている。これは、元の画像（テンプレート）と比較する画像の類似度を後述する所定の式を用いて計算し、基準値からの上下で同じものであるか否かを判断するものである。
【００３５】
図５に、最類似点探索のイメージを示してある。なお、その際の探索範囲やテンプレートの大きさは画像によって最適な大きさが異なるため、イニシャルファイルによってユーザが大きさを指定する。数１式は類似度を計算するために用いたテンプレートマッチングの式である。
【数１】
【００３６】
ただし、Ｔ（ｉ，ｊ）はテンプレート、Ｆ（ｘ，ｙ）は探索対象画像、（ｘ，ｙ）は原画像の座標を基準としたテンプレートの中心座標、（ｉ，ｊ）はテンプレート内の座標を基準とした座標、Ｍはテンプレートの幅、Ｎはテンプレートの高さである。
【００３７】
数１式において、Ｅが類似度であり、このＥの値が小さいほど類似度が高く、全く同じ画像の値は０となる。しかし、数１式は、輝度の違いを考慮に入れていない。そこで、左右２台のカメラ特性の相違に起因して輝度の違いがある画像でも類似度計算を行うようにすることもできる。その場合には、数２式に示す正規化相関関数を用いる。
【数２】
【００３８】
数２式において、σ（ｘ，ｙ）が輝度の違いを考慮に入れた類似度である。σは−１から１までの値をとり、１に近いほど類似度が高く、全く同じ画像の値は１となる。
【００３９】
尚、本実施の形態では、カメラの設定をきちんと行っていることを前提とし、右目と左目の輝度はほぼ同じであるとして、計算時間短縮のために数１式を用いて類似度計算を行っている。
【００４０】
次に、最類似画素の座標を求めた後に内挿処理部１４、外挿処理部１５が実行する色を置く画素を求めるために実行する座標計算と、色の置き方とを図６を用いて説明する。まず、左目画像の画素と求められた右目画像の最類似画素との座標から、多眼視画像のそれぞれの画像に対して色を置く座標を計算する。座標計算は、内挿処理部１４により右目画像の画素と左目画像の画素との距離を中間画像の枚数で等分して中間画像の座標を計算し、また外挿処理部１５により外側の画像に対して比例式を用いて直線上に座標を伸ばす計算をする。
【００４１】
左目画像の注目画素の座標を（ｘ，ｙ）、右目画像の最類似画素の座標を（ｘ０，ｙ０）、左目画像より左の画像の枚数をｎｌ、左目画像と右目画像の間の枚数をｎｍとすると、左目画像より左のｔｌ＋１（ｔｌ＝０，１，２，…，ｎｌ−１）枚目の画像の座標（ｘｌ，ｙｌ）は数３式で表わされる。
【数３】
【００４２】
同様に、左目画像と右目画像の間のｔｍ＋１（ｔｍ＝０，１，２，…，ｎｍ−１）枚目の画像の座標（ｘｍ，ｙｍ）、右目画像より右のｔｒ＋１（ｔｒ＝０，１，２，…，ｎｒ−１）枚目の画像の座標（ｘｒ，ｙｒ）は数４式で表わされる。
【数４】
【００４３】
ここで、ｔｍについて場合分けを行うのは、座標計算後に色を置く際に、左目画像寄りのｔｍ≦ｎｍ／２は左目画像の画素の色、右目画像寄りのｔｍ＞ｎｍ／２は右目画像の画素の色で色を置くためである。
【００４４】
次に、多眼視画像のそれぞれの画像について、上記の式で求めた座標に色を置く。求めた座標にある画素が、左目画像の注目画素寄りであれば左目画像の色を置き、右目画像の最類似画素寄りであれば右目画像の色を置く。つまり、左目画像より左の左外画像と左目画像と右目画像の間の画像のｎｍ／２枚目までの左寄り画素は左目画像の画素の色、左目画像と右目画像の間の画像のｎｍ／２＋１枚目からの右寄り画素と右目画像より右の右外画像の画素は右目画像の画素の色を置く。
【００４５】
補間部１６による未設定画素の補間処理は、次の通りである。左目画像と右目画像の全ての画素に対して移動後の座標を求めることで多眼視画像のそれぞれの画像を作成したが、座標計算の段階でどの画素の移動後の座標にもならず、色が一度も置かれない画素が出てくる。そこで、全ての画素数分座標計算と色を置く処理を繰り返した後、色が置かれていない画素を周囲の画素の値を用いて補間する。その補間処理は、対象画素の周囲８近傍の平均を用いる。
【００４６】
こうして、左右２枚のステレオ画像１組毎にそれらを含めた内外８枚の多眼視画像は記憶部１２に逐次保存してゆく。ステレオ動画の場合にも、その動画のフレーム画像毎に上記の多眼視画像作成処理を繰り返すことで多眼視動画を得る。尚、中間位置画像や左右の外側の画像の枚数は特に限定されるものではなく、任意に設定される。例えば中間位置４枚、左右の外側それぞれ１枚ずつと設定することもできる。
【００４７】
本実施の形態の多眼視画像作成システム及び多眼視画像作成方法によれば、左右２枚のステレオ画像からその中間位置の所定枚数の画像と共に、左右それぞれの外側の所定枚数の画像との多眼視画像を作成することができる。
【００４８】
また、本実施の形態では、左目画像から右目画像に対して類似度計算を行い、また右目画像から左画像に対して類似度計算を実施することで次のような画質の改善がある。左目画像から右目画像の探索のみを行い、色の埋まらない画素には８近傍の平均の値を入れる処理だけの場合、図７（ａ）に示したように、右目画像には写っていても左目画像では前の物体に遮られて隠れているオクルージョン部分付近は、左目画像のどの画素の最類似画素にもならずに穴があき、一部がぼやけた画像となってしまう。さらに、座標を伸ばすと穴の端と端の距離も大きくなるため穴が開き、右目画像の外側ほどそれが顕著になる。そこで、本実施の形態では、左目画像から右目画像の探索を行い左寄り中間位置画像、左外画像のみに対して色を置いた後、右目画像から左目画像の探索を行って右寄り中間位置画像、右外画像に色を置く処理をしている。これにより、右目画像のオクルージョン部分も最類似画素の座標を探して色を置くため穴が減り、図７（ｂ）に示したようにより鮮明な画像が得られる。
【００４９】
また、左目画像から右目画像を探索した後に右目画像から左目画像の探索を行うと、それぞれ類似度の計算をして探索を行うために２倍の処理時間がかかることになる。そこで、本実施の形態では、画像の１行ずつ交互に左右の探索を行うようにし、かつ、図８に示すような［画像の幅×（探索範囲の高さ＋１）］［探索範囲］のサイズの２次元配列を用意し、左目画像から右目画像の探索時のパターンマッチングの値を保持して右目画像から左目画像の探索時に呼び出すことで類似度の計算が１回で済むようにしている。つまり、類似度を求める配列計算において、前の画素と探索範囲中のそれぞれの画素との類似度計算結果を新しい配列に保存することで、前の画素の類似度計算結果を再利用する。次の画素の類似度を求めるには、図９に示したように、計算する探索範囲中の画素と前の画素との類似度を配列から取り出し、前の画素の計算の左一列の計算を引き、求める画素の計算の右一列を足す。これにより、数１式による計算は画像の１列目の画素に対してのみ行えばよく、２列目以降はこの方法を用いて重複部分の計算を省略できる。図１０には、この方法を用いて計算を行う際の座標を示している。
【図面の簡単な説明】
【００５０】
【図１】本発明の１つの実施の形態の多眼視画像作成システムのブロック図。
【図２】上記実施の形態の多眼視画像作成システムによる多眼視画像作成処理のフローチャート。
【図３】上記多眼視画像作成処理のフローチャートにおけるパターンマッチング処理の詳細な内部処理のフローチャート。
【図４】上記実施の形態の多眼視画像作成システムにより作成した多眼視画像のファイル名の作成規則の説明図。
【図５】上記実施の形態の多眼視画像作成システムにおけるパターンマッチング処理部の類似度計算の説明図。
【図６】上記実施の形態の多眼視画像作成システムにおける補間処理の説明図。
【図７】上記実施の形態の多眼視画像作成システムにおいて、右目画像から左目画像の類似度探索を追加する前の作成画像、追加した後の作成画像。
【図８】上記実施の形態の多眼視画像作成システムによる右目画像から左画像探索用の配列の説明図。
【図９】上記実施の形態の多眼視画像作成システムによる類似度演算における前画素との類似度計算重複部分の説明図。
【図１０】上記実施の形態の多眼視画像作成システムにおいて類似度計算重複部分を用いて計算を行う際の座標の説明図。
【符号の説明】
【００５１】
１ 多眼視画像作成システム
１１ 入出力部
１２ 記憶部
１３ パターンマッチング処理部
１３Ａ パターンマッチング制御部
１３Ｂ グレースケール変換処理部
１３Ｃ 左基準類似度演算部
１３Ｄ 右基準類似度演算部
１４ 内挿処理部
１５ 外挿処理部
１６ 補間処理部
１７ 画像合成部
【技術分野】
【０００１】
本発明は、裸眼立体ディスプレイ表示用の多眼視画像作成システム及び多眼視画像作成方法に関する。
【背景技術】
【０００２】
現在広く使われている立体ディスプレイは眼鏡をかけて見るタイプのものが主であるが、近年、各社が競って裸眼立体ディスプレイを開発している。しかし、裸眼立体ディスプレイは普及していないのが現状である。その主な原因としてコンテンツの不足が挙げられている。眼鏡をかけて見る立体ディスプレイのコンテンツは２つの視差で撮影されているのに対して、裸眼立体ディスプレイに立体的な表示を行うためには、多眼で撮影した複数の画像や映像が必要である。そのため、多眼カメラ等の特殊な機材を用いて撮影する必要があることが障害となり、コンテンツ不足を招いている。
【０００３】
左右のカメラで撮影した左右２枚の２眼視ステレオ画像から３枚以上の多眼視立体画像をコンピュータ上でソフトウェアにより作成する多眼視画像作成システム及び方法が、特開平９-２７９６９号公報（特許文献１）により知られている。この従来の多眼視画像作成システム及び方法は、左右１組２枚のステレオ画像から２画像間の任意の視点に対応する中間位置画像を作成する技術である。この従来技術によれば、左右２枚のステレオ画像のパターンマッチングをベースにして、視点位置に基づいて中間画像の画素データを線形補間で求めている。
【０００４】
ところが、この従来の多眼視画像作成技術では、中間位置の画像を自動作成することができるが、左右２枚のステレオ画像からさらに外側の左外画像、右外画像は作成できない不自由さがある。また、パターンマッチングをベースに視点位置に基づいて中間画像の画素データを作成するのに、探索対象画素を含めその左右に隣接する所定数の画素間でのみパターンマッチングを実施しており、対象画素の左右と共に上下に隣接する画素をも含めた四周の所定数の画素間でパターンマッチングを実施するものではない。そのため、視差の大きい画像に対して奥行き感が出しにくい問題点がある。
【特許文献１】特開平９-２７９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術の課題に鑑みてなされたもので、一般的な左右２枚の２眼視ステレオ画像から中間位置画像と共に左右外画像も自動的に作成することができる多眼視画像作成システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の特徴は、左右２台のカメラの撮影した左目画像、右目画像に対して、前記左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める多眼視画像作成方法である。
【０００７】
上記発明の多眼視画像作成方法では、前記中間位置画像は、前記左目画像、右目画像間で等間隔に離れた複数枚とし、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にして前記右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にして前記左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定するものとすることができる。
【０００８】
また、上記発明の多眼視画像作成方法では、前記パターンマッチングには、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して実施するものとすることができる。
【０００９】
さらに、上記発明の多眼視画像作成方法では、前記パターンマッチングには、前記所定数の画素の明暗を正規化した後に類似度を求めるものとすることができる。
【００１０】
本発明の別の特徴は、左右２台のカメラの撮影した左目画像、右目画像の記憶手段と、前記記憶手段に記憶されている前記左目画像、右目画像を読み出し、いずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定するパターンマッチング演算手段と、前記パターンマッチング演算手段が特定した前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める内外挿画像作成手段とを備えた多眼視画像作成システムである。
【００１１】
上記発明の多眼視画像作成システムでは、前記内外挿画像作成手段は、前記中間位置画像として前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであって、前記パターンマッチング演算手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、前記内外挿画像作成手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内外挿によって左寄り中間位置画像、左外画像を求め、前記右目画像に近い位置の中間位置画像及び右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内外挿によって右寄り中間位置画像、右外画像を求めるものとすることができる。
【００１２】
また、上記発明の多眼視画像作成システムでは、前記パターンマッチング演算手段は、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施するものとすることができる。
【００１３】
さらに、上記発明の多眼視画像作成システムでは、前記パターンマッチング演算手段は、前記所定数の画素の明暗を正規化した後に類似度を求めるものとすることができる。
【発明の効果】
【００１４】
本発明の多眼視画像作成システム及び方法によれば、左右２台のカメラの撮影した左目画像、右目画像に対して、左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、また、左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求めるので、左右２枚のステレオ画像から所定数の中間位置画像と共に所定数の右外画像、左外画像を自動作成できる。
【００１５】
また、本発明の多眼視画像作成システム及び方法によれば、左目画像に近い位置の中間位置画像及び左外画像については当該左目画像を基準にして右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、右目画像に近い位置の中間位置画像及び右外画像については当該右目画像を基準にして左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定することにより、リアルな立体画像の再生が可能な多眼視画像を作成できる。
【００１６】
また、本発明の多眼視画像作成システム及び方法によれば、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施することにより、奥行きの深い立体画像の再生が可能な多眼視画像を作成できる。
【００１７】
さらに、本発明の多眼視画像作成システム及び方法によれば、パターンマッチングにおいては所定数の画素の明暗を正規化した後に類似度を求める手順を採用することにより、精度の高い類似度演算ができて、パターンマッチングの精度が向上する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図に基づいて詳説する。
【００１９】
（第１の実施の形態）図１は、本発明の１つの実施の形態の多眼視画像作成システムの構成を示している。本システムはコンピュータに多眼視画像作成プログラムを組み込み、これを実行させることで実現されるものであるが、専用の装置として構成することもできる。
【００２０】
本実施の形態の多眼視画像作成システム１は、画像その他のデータの入出力を処理する入出力部１１、画像その他のデータを記憶する記憶部１２、記憶部１２から左右のステレオ画像データそれぞれを読み出し、左目画像データ、右目画像データをグレースケールに変換するグレースケール変換処理部１２、左目画像データを基準にした右目画像とのパターンマッチング処理、逆に右目画像を基準にした左目画像とのパターンマッチング処理を実行して左目基準の右目最類似画像、また右目基準の左目最類似画像を抽出するパターンマッチング処理部１３、内挿演算処理にて左寄り中間位置画像及び右寄り中間位置画像を作成して記憶部１２に保存する内挿処理部１４、外挿演算処理にて左外画像及び右外画像を作成して記憶部１２に保存する外挿処理部１５、類似画素が見出されなかった画素について、周囲の隣接画素の画像から平均値を求めて補間しその結果を記憶部１２に保存する補間処理部１６、記憶部１２に記憶された画素単位の画像を所定の画素数の画像に合成して再保存する画像合成部１７を備えている。
【００２１】
記憶部１２は大容量記憶装置、不揮発性メモリ、揮発性メモリ等の記憶手段を包含し、演算処理段階に応じて相応の記憶手段に記憶するものとする。
【００２２】
パターンマッチング処理部１３は、後述するパターンマッチング処理の各段階の処理を統括的に制御するパターンマッチング制御部１３Ａ、グレースケール変換部１３Ｂ、左基準類似度演算部１３Ｃ、右基準類似度演算部１３Ｄを有している。
【００２３】
次に、上記構成の多眼視画像作成システム１による多眼視画像作成方法について説明する。図２、図３には、本多眼視画像作成システム１による多眼視画像作成処理のフローチャートを示してある。図２のフローチャートに示すように、本多眼視画像作成方法は主に次の５処理ステップから成る。
【００２４】
ステップＳ１：パターンマッチング処理部１３におけるパターンマッチング制御部１３Ａは、入出力部１１にて外部の記憶装置やシステムから、あるいは本システム１内の記憶部１２から処理対象とする左右２枚のステレオ画像を読み込む。
【００２５】
ステップＳ２：パターンマッチング処理部１３におけるグレースケール変換処理部１３Ｂにより、読み込んだ左目画像、右目画像をそれぞれグレースケールに変換し、値をそれぞれ一次元配列に代入する前処理を行う。
【００２６】
ステップＳ３：パターンマッチング制御部１３Ａの指示のもとに、左基準類似度演算部１３Ｃ、右基準類似と演算部１３Ｄ、内挿処理部１４、外挿処理部１５により、左目画像から右目画像の最類似画素を探索し、中間位置画像の該当画素毎に色をおき、また外側画像の該当画素毎に色をおく。また、右目画像から左目画像の最類似画素を探索し、中間位置画像に対して該当画素毎に色をおき、また外側画像の該当画素毎に色をおく。これらのパターンマッチング処理を、対象画像の画素列１列ごとに交互に実行する。
【００２７】
ステップＳ４：補間処理部１６により、パターンマッチング処理にて一度も色がおかれなかった画素に対して、周囲８近傍の平均をとった値で補間する。
【００２８】
ステップＳ５：所定の規則に従い、図４に示すように右目画像の外側から順に番号００〜０７を付け、「ファイル名＋番号．ｂｍｐ」として所定のフォルダにビットマップ形式で保存する。尚、この画像のフォーマットはこれに限られるわけではない。
【００２９】
ステップＳ３のパターンマッチング処理を、図３のフローチャートを用いてさらに詳しく説明する。まず、左基準類似度演算部１３Ｃにて、左目画像から右目画像の最類似画素を探索するために、右目画像の画素のうち左目画像の画素がある座標の周囲を探索範囲とし、それぞれの画素に対して順に左目画像の画素周囲の画素との類似度を計算し、最も似ている画素を探し出す。この類似度計算は、後述する（ステップＳ３１）。
【００３０】
次に、内挿処理部１４にて、左目画像の画素の座標と右目画像の得られた最類似画素の座標との距離を、左右２枚のステレオ画像の間に補間する画像の枚数で等分する（ステップＳ３２）。外挿処理部１５にて、ステレオ画像の外側に補間する画像の枚数分、外側に座標を伸ばす（ステップＳ３３）。
【００３１】
作成する多眼視画像の左寄りにある画像それぞれに対して、得られた座標のうち、左から数えて画像の順番と同じ位置の座標にある画素に左目画像の画素と同じ色を置く。同様に、右寄りの画像それぞれに、右目画像の画素と同じ色を置く（ステップＳ３５）。
【００３２】
次に、右基準類似度演算部１３Ｄにて右目画像から左目画像の最類似画素を探索し、同様にして色を置く。この際、類似度の計算を再度行うのではなく、後述するように左目画像から右目画像を探索したときの類似度の値を保持しておき、その中から最も似ている画素を探して色を置く（ステップＳ３６）。
【００３３】
以上のパターンマッチング処理は、左目画像から右目画像の探索と右目画像から左目画像の探索とを画素列１行ずつ交互に行う（ステップＳ３０，Ｓ３７）。
【００３４】
上述したパターンマッチング処理における類似度演算について、詳しく説明する。左基準類似度演算では、左目画像の画素について右目画像の中から最も類似している画素を探し出す際の類似度を計算するテンプレートマッチング手法を用いている。これは、元の画像（テンプレート）と比較する画像の類似度を後述する所定の式を用いて計算し、基準値からの上下で同じものであるか否かを判断するものである。
【００３５】
図５に、最類似点探索のイメージを示してある。なお、その際の探索範囲やテンプレートの大きさは画像によって最適な大きさが異なるため、イニシャルファイルによってユーザが大きさを指定する。数１式は類似度を計算するために用いたテンプレートマッチングの式である。
【数１】
【００３６】
ただし、Ｔ（ｉ，ｊ）はテンプレート、Ｆ（ｘ，ｙ）は探索対象画像、（ｘ，ｙ）は原画像の座標を基準としたテンプレートの中心座標、（ｉ，ｊ）はテンプレート内の座標を基準とした座標、Ｍはテンプレートの幅、Ｎはテンプレートの高さである。
【００３７】
数１式において、Ｅが類似度であり、このＥの値が小さいほど類似度が高く、全く同じ画像の値は０となる。しかし、数１式は、輝度の違いを考慮に入れていない。そこで、左右２台のカメラ特性の相違に起因して輝度の違いがある画像でも類似度計算を行うようにすることもできる。その場合には、数２式に示す正規化相関関数を用いる。
【数２】
【００３８】
数２式において、σ（ｘ，ｙ）が輝度の違いを考慮に入れた類似度である。σは−１から１までの値をとり、１に近いほど類似度が高く、全く同じ画像の値は１となる。
【００３９】
尚、本実施の形態では、カメラの設定をきちんと行っていることを前提とし、右目と左目の輝度はほぼ同じであるとして、計算時間短縮のために数１式を用いて類似度計算を行っている。
【００４０】
次に、最類似画素の座標を求めた後に内挿処理部１４、外挿処理部１５が実行する色を置く画素を求めるために実行する座標計算と、色の置き方とを図６を用いて説明する。まず、左目画像の画素と求められた右目画像の最類似画素との座標から、多眼視画像のそれぞれの画像に対して色を置く座標を計算する。座標計算は、内挿処理部１４により右目画像の画素と左目画像の画素との距離を中間画像の枚数で等分して中間画像の座標を計算し、また外挿処理部１５により外側の画像に対して比例式を用いて直線上に座標を伸ばす計算をする。
【００４１】
左目画像の注目画素の座標を（ｘ，ｙ）、右目画像の最類似画素の座標を（ｘ０，ｙ０）、左目画像より左の画像の枚数をｎｌ、左目画像と右目画像の間の枚数をｎｍとすると、左目画像より左のｔｌ＋１（ｔｌ＝０，１，２，…，ｎｌ−１）枚目の画像の座標（ｘｌ，ｙｌ）は数３式で表わされる。
【数３】
【００４２】
同様に、左目画像と右目画像の間のｔｍ＋１（ｔｍ＝０，１，２，…，ｎｍ−１）枚目の画像の座標（ｘｍ，ｙｍ）、右目画像より右のｔｒ＋１（ｔｒ＝０，１，２，…，ｎｒ−１）枚目の画像の座標（ｘｒ，ｙｒ）は数４式で表わされる。
【数４】
【００４３】
ここで、ｔｍについて場合分けを行うのは、座標計算後に色を置く際に、左目画像寄りのｔｍ≦ｎｍ／２は左目画像の画素の色、右目画像寄りのｔｍ＞ｎｍ／２は右目画像の画素の色で色を置くためである。
【００４４】
次に、多眼視画像のそれぞれの画像について、上記の式で求めた座標に色を置く。求めた座標にある画素が、左目画像の注目画素寄りであれば左目画像の色を置き、右目画像の最類似画素寄りであれば右目画像の色を置く。つまり、左目画像より左の左外画像と左目画像と右目画像の間の画像のｎｍ／２枚目までの左寄り画素は左目画像の画素の色、左目画像と右目画像の間の画像のｎｍ／２＋１枚目からの右寄り画素と右目画像より右の右外画像の画素は右目画像の画素の色を置く。
【００４５】
補間部１６による未設定画素の補間処理は、次の通りである。左目画像と右目画像の全ての画素に対して移動後の座標を求めることで多眼視画像のそれぞれの画像を作成したが、座標計算の段階でどの画素の移動後の座標にもならず、色が一度も置かれない画素が出てくる。そこで、全ての画素数分座標計算と色を置く処理を繰り返した後、色が置かれていない画素を周囲の画素の値を用いて補間する。その補間処理は、対象画素の周囲８近傍の平均を用いる。
【００４６】
こうして、左右２枚のステレオ画像１組毎にそれらを含めた内外８枚の多眼視画像は記憶部１２に逐次保存してゆく。ステレオ動画の場合にも、その動画のフレーム画像毎に上記の多眼視画像作成処理を繰り返すことで多眼視動画を得る。尚、中間位置画像や左右の外側の画像の枚数は特に限定されるものではなく、任意に設定される。例えば中間位置４枚、左右の外側それぞれ１枚ずつと設定することもできる。
【００４７】
本実施の形態の多眼視画像作成システム及び多眼視画像作成方法によれば、左右２枚のステレオ画像からその中間位置の所定枚数の画像と共に、左右それぞれの外側の所定枚数の画像との多眼視画像を作成することができる。
【００４８】
また、本実施の形態では、左目画像から右目画像に対して類似度計算を行い、また右目画像から左画像に対して類似度計算を実施することで次のような画質の改善がある。左目画像から右目画像の探索のみを行い、色の埋まらない画素には８近傍の平均の値を入れる処理だけの場合、図７（ａ）に示したように、右目画像には写っていても左目画像では前の物体に遮られて隠れているオクルージョン部分付近は、左目画像のどの画素の最類似画素にもならずに穴があき、一部がぼやけた画像となってしまう。さらに、座標を伸ばすと穴の端と端の距離も大きくなるため穴が開き、右目画像の外側ほどそれが顕著になる。そこで、本実施の形態では、左目画像から右目画像の探索を行い左寄り中間位置画像、左外画像のみに対して色を置いた後、右目画像から左目画像の探索を行って右寄り中間位置画像、右外画像に色を置く処理をしている。これにより、右目画像のオクルージョン部分も最類似画素の座標を探して色を置くため穴が減り、図７（ｂ）に示したようにより鮮明な画像が得られる。
【００４９】
また、左目画像から右目画像を探索した後に右目画像から左目画像の探索を行うと、それぞれ類似度の計算をして探索を行うために２倍の処理時間がかかることになる。そこで、本実施の形態では、画像の１行ずつ交互に左右の探索を行うようにし、かつ、図８に示すような［画像の幅×（探索範囲の高さ＋１）］［探索範囲］のサイズの２次元配列を用意し、左目画像から右目画像の探索時のパターンマッチングの値を保持して右目画像から左目画像の探索時に呼び出すことで類似度の計算が１回で済むようにしている。つまり、類似度を求める配列計算において、前の画素と探索範囲中のそれぞれの画素との類似度計算結果を新しい配列に保存することで、前の画素の類似度計算結果を再利用する。次の画素の類似度を求めるには、図９に示したように、計算する探索範囲中の画素と前の画素との類似度を配列から取り出し、前の画素の計算の左一列の計算を引き、求める画素の計算の右一列を足す。これにより、数１式による計算は画像の１列目の画素に対してのみ行えばよく、２列目以降はこの方法を用いて重複部分の計算を省略できる。図１０には、この方法を用いて計算を行う際の座標を示している。
【図面の簡単な説明】
【００５０】
【図１】本発明の１つの実施の形態の多眼視画像作成システムのブロック図。
【図２】上記実施の形態の多眼視画像作成システムによる多眼視画像作成処理のフローチャート。
【図３】上記多眼視画像作成処理のフローチャートにおけるパターンマッチング処理の詳細な内部処理のフローチャート。
【図４】上記実施の形態の多眼視画像作成システムにより作成した多眼視画像のファイル名の作成規則の説明図。
【図５】上記実施の形態の多眼視画像作成システムにおけるパターンマッチング処理部の類似度計算の説明図。
【図６】上記実施の形態の多眼視画像作成システムにおける補間処理の説明図。
【図７】上記実施の形態の多眼視画像作成システムにおいて、右目画像から左目画像の類似度探索を追加する前の作成画像、追加した後の作成画像。
【図８】上記実施の形態の多眼視画像作成システムによる右目画像から左画像探索用の配列の説明図。
【図９】上記実施の形態の多眼視画像作成システムによる類似度演算における前画素との類似度計算重複部分の説明図。
【図１０】上記実施の形態の多眼視画像作成システムにおいて類似度計算重複部分を用いて計算を行う際の座標の説明図。
【符号の説明】
【００５１】
１ 多眼視画像作成システム
１１ 入出力部
１２ 記憶部
１３ パターンマッチング処理部
１３Ａ パターンマッチング制御部
１３Ｂ グレースケール変換処理部
１３Ｃ 左基準類似度演算部
１３Ｄ 右基準類似度演算部
１４ 内挿処理部
１５ 外挿処理部
１６ 補間処理部
１７ 画像合成部
【特許請求の範囲】
【請求項１】
左右２台のカメラの撮影した左目画像、右目画像に対して、
前記左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、
前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、
前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求めることを特徴とする多眼視画像作成方法。
【請求項２】
前記中間位置画像は、前記左目画像、右目画像間で等間隔に離れた複数枚とし、
前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にして前記右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、
前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にして前記左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定することを特徴とする請求項１に記載の多眼視画像作成方法。
【請求項３】
前記パターンマッチングには、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して実施することを特徴とする請求項１又は２に記載の多眼視画像作成方法。
【請求項４】
前記パターンマッチングには、前記所定数の画素の明暗を正規化した後に類似度を求めることを特徴とする請求項３に記載の多眼視画像作成方法。
【請求項５】
左右２台のカメラの撮影した左目画像、右目画像の記憶手段と、
前記記憶手段に記憶されている前記左目画像、右目画像を読み出し、いずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定するパターンマッチング演算手段と、
前記パターンマッチング演算手段が特定した前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める内外挿画像作成手段とを備えたことを特徴とする多眼視画像作成システム。
【請求項６】
前記内外挿画像作成手段は、前記中間位置画像として前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであって、
前記パターンマッチング演算手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、
前記内外挿画像作成手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内外挿によって左寄り中間位置画像、左外画像を求め、前記右目画像に近い位置の中間位置画像及び右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内外挿によって右寄り中間位置画像、右外画像を求めることを特徴とする請求項５に記載の多眼視画像作成システム。
【請求項７】
前記パターンマッチング演算手段は、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施することを特徴とする請求項５又は６に記載の多眼視画像作成システム。
【請求項８】
前記パターンマッチング演算手段は、前記所定数の画素の明暗を正規化した後に類似度を求めることを特徴とする請求項７に記載の多眼視画像作成システム。
【請求項１】
左右２台のカメラの撮影した左目画像、右目画像に対して、
前記左目画像、右目画像のいずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定し、
前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、
前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求めることを特徴とする多眼視画像作成方法。
【請求項２】
前記中間位置画像は、前記左目画像、右目画像間で等間隔に離れた複数枚とし、
前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にして前記右目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定し、
前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にして前記左目画像との間でパターンマッチングを実施して画素毎のマッチング画像を特定することを特徴とする請求項１に記載の多眼視画像作成方法。
【請求項３】
前記パターンマッチングには、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対して実施することを特徴とする請求項１又は２に記載の多眼視画像作成方法。
【請求項４】
前記パターンマッチングには、前記所定数の画素の明暗を正規化した後に類似度を求めることを特徴とする請求項３に記載の多眼視画像作成方法。
【請求項５】
左右２台のカメラの撮影した左目画像、右目画像の記憶手段と、
前記記憶手段に記憶されている前記左目画像、右目画像を読み出し、いずれか一方のステレオ画像を基準にして他方のステレオ画像との間でパターンマッチングを実施し、画素毎のマッチング画像を特定するパターンマッチング演算手段と、
前記パターンマッチング演算手段が特定した前記左右の画素毎のマッチング画像間で画素間距離の内挿によって中間位置画像を求め、前記左右の画素毎のマッチング画像間で画素間距離の外挿によって右外画像、左外画像を求める内外挿画像作成手段とを備えたことを特徴とする多眼視画像作成システム。
【請求項６】
前記内外挿画像作成手段は、前記中間位置画像として前記左目画像、右目画像間で等間隔に離れた複数枚を作成するものであって、
前記パターンマッチング演算手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、当該左目画像を基準にした前記右目画像との間のパターンマッチングにより画素毎の左基準マッチング画像を特定し、前記右目画像に近い位置の中間位置画像及び右外画像については、当該右目画像を基準にした前記左目画像との間のパターンマッチングにより画素毎の右基準マッチング画像を特定し、
前記内外挿画像作成手段は、前記左目画像に近い位置の中間位置画像及び左外画像については、前記左基準マッチング画像と左目画像との間で画素間距離の内外挿によって左寄り中間位置画像、左外画像を求め、前記右目画像に近い位置の中間位置画像及び右外画像については、前記右基準マッチング画像と右目画像との間で画素間距離の内外挿によって右寄り中間位置画像、右外画像を求めることを特徴とする請求項５に記載の多眼視画像作成システム。
【請求項７】
前記パターンマッチング演算手段は、対象画素を中心にして当該対象画素に上下左右に隣接する所定数の画素に対してパターンマッチングを実施することを特徴とする請求項５又は６に記載の多眼視画像作成システム。
【請求項８】
前記パターンマッチング演算手段は、前記所定数の画素の明暗を正規化した後に類似度を求めることを特徴とする請求項７に記載の多眼視画像作成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１２４３０８（Ｐ２００９−１２４３０８Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９４２７０（Ｐ２００７−２９４２７０）
【出願日】平成１９年１１月１３日（２００７．１１．１３）
【出願人】（８００００００６８）学校法人東京電機大学 (112)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１３日（２００７．１１．１３）
【出願人】（８００００００６８）学校法人東京電機大学 (112)
【Ｆターム（参考）】
[ Back to top ]