画像処理方法およびその装置
【目的】多視点画像を基にして、高精度な補間画像を生成する。
【構成】複数の視点からの画像を基にして、その同一位置のラインを視点の順番に準じて並べ、エピポーラプレーンイメージ（ＥＰＩ）を作成する。各ラインの間には補間しようとするラインを挿入し、直線を検出して対応点ａ１，ｂ１，ｃ２を検出する。その際、各注目画素から検出される直線数に応じてその直線が通る各画素に対し得点を与え、得点の低い画素と高い画素との対応が重複している画素に関しては、得点の低い点との対応を除外する。また、それらの点からなる直線の補間ライン上での点を、補間により作成される点とするが、低得点の対応による補間を先に行うことで、高得点の対応を優先して補間を行い、補間画像を作成する。
【構成】複数の視点からの画像を基にして、その同一位置のラインを視点の順番に準じて並べ、エピポーラプレーンイメージ（ＥＰＩ）を作成する。各ラインの間には補間しようとするラインを挿入し、直線を検出して対応点ａ１，ｂ１，ｃ２を検出する。その際、各注目画素から検出される直線数に応じてその直線が通る各画素に対し得点を与え、得点の低い画素と高い画素との対応が重複している画素に関しては、得点の低い点との対応を除外する。また、それらの点からなる直線の補間ライン上での点を、補間により作成される点とするが、低得点の対応による補間を先に行うことで、高得点の対応を優先して補間を行い、補間画像を作成する。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は複数の撮像手段（カメラ等）から得られた画像を補間処理により撮像手段の視点とは異なった視点の画像を生成する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】従来、複数の視点位置から撮影した画像をもとに、撮影した位置とは異なった位置から撮影した画像を生成する手法としてエピポーラプレーンイメージ（以下ＥＰＩと略す）を用いる方法がある。
【０００３】この方法は、図１６に示すように、各画像中の同じ位置にあるラインを抽出して（図１６（ａ））、１つのＥＰＩを合成し（図１６（ｂ））、このＥＰＩ上で直線検出を行うことにより注目点に対応する点（対応点）を求め（図１６（ｃ））、撮影した位置とは異なる位置から撮影した場合に得られる画像を生成する（図１６（ｄ））、というものである。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従来例では背景・壁などのように一様な色の物体は、ＥＰＩ上で直線検出を行った場合、無数の直線が検出され対応点を特定することができなかった。そのため、そのような一様な色の物体の前方に小さな物体が配置されている場合、ＥＰＩ上では小さな物体の対応点を追い越して直線を検出してしまう（即ち、物体の前後関係が逆転してしまう）という問題点があった。
【０００５】本発明は上記従来例に鑑みてなされたもので、画像の内容にかかわらず正確に補間画像を生成する画像処理方法およびその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明は、上記問題点に鑑みてなされたもので、対応点を検出する際、ある注目点からの検出される直線の数を利用して対応点としての確からしさを表現して、直線検出を行う方法をとる。即ち、本発明の画像処理方法においては、複数の位置から撮影した画像を入力する多視点画像入力工程と、入力された多視点画像データをＥＰＩに分解しＥＰＩ上で直線検出することにより対応点を求める直線検出工程と、検出された直線を用いて異なった位置から撮影した場合に得られるはずの画像を生成する画像補間工程を備える。上記構成において、多視点画像入力工程は１台以上のカメラから得られる多数枚の画像やデータベースに蓄積されている多視点画像（複数の異なる視点から撮影した画像）を入力し、直線検出工程は入力された多視点画像データをＥＰＩに分解しながらＥＰＩ上で対応点を求めるために直線を検出し、画像補間工程は直線検出工程によって得られた対応点をもとに異なった視点から見た場合の画像を補間処理によって生成する。
【０００７】また、他の態様として本発明の画像処理方法は次のような構成から成る。
【０００８】複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさをチェックするチェック工程と、前記候補検出工程により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間の関係に基づいて、前記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程とを備える。
【０００９】また、他の態様として本発明の画像処理方法は次のような構成から成る。
【００１０】複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与工程と、前記候補検出工程により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程とを備える。
【００１１】また、本発明の画像処理装置においては、複数の位置から撮影した画像を入力する多視点画像入力手段と、入力された多視点画像データをＥＰＩに分解しＥＰＩ上で直線検出することにより対応点を求める直線検出手段と、検出された直線を用いて異なった位置から撮影した場合に得られるはずの画像を生成する画像補間手段とを備える。上記構成において、多視点画像入力手段は１台以上のカメラから得られる多数枚の画像やデータベースに蓄積されている多視点画像（複数の異なる視点から撮影した画像）を入力し、直線検出手段は入力された多視点画像データをＥＰＩに分解しながらＥＰＩ上で対応点を求めるために直線を検出し、画像補間手段は直線検出手段によって得られた対応点をもとに異なった視点から見た場合の画像を補間処理によって生成する。
【００１２】また、他の態様として本発明の画像処理装置は次のような構成から成る。
【００１３】複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさをチェックするチェック手段と、前記候補検出手段により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間の関係に基づいて、前記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段とを備える。
【００１４】また、他の態様として本発明の画像処理装置は次のような構成から成る。
【００１５】複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与手段と、前記候補検出手段により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段とを備える。
【００１６】
【作用】上記構成により、異なる視点の画像間の対応を、対応の確からしさをチェックしつつ検出して、その対応に基づいた補間画像を生成する。
【００１７】
【第１実施例】次に、本発明の第１の実施例について図面を参照して説明する。
【００１８】＜装置の構成＞図１は画像入力部にカメラを４台用いた場合の画像処理装置の例である。図において、画像入力部３３は４台のカメラ２０〜２３を含み、撮影した画像をデジタル画像信号として入力ポート２４を介して装置に入力する。ＣＰＵ２５は、画像処理装置全体を制御するプロセッサであり、ＲＯＭ２７またはＲＡＭ２６に格納されたプログラムを実行することで所定の制御手順を実行する。ＲＡＭ２６、ＲＯＭ２７にはプログラムのほか、データ類も格納される。更にＲＡＭ２６には、画像入力部３３から入力されたデジタル画像データも格納される。ハードディスク２９は、ディスクＩ／Ｏポート２８を介してＣＰＵ２５あるいはＲＡＭ２６などとデータ等を交換する。画像データはディスク２９にも格納される。撮影された画像データあるいは処理された画像データは、ＶＲＡＭ３０に展開され、ビデオ信号出力用Ｉ／Ｆ３１を介してステレオディスプレイ３２０から表示出力される。なお、ここでは４台のカメラを用いて説明しているが、カメラの台数はこれに限らず、何台でもよい。
【００１９】＜画像補間処理＞図２は、第１実施例の画像処理装置による画像補間処理の流れを示すフローチャートである。
【００２０】カメラ等の画像入力機器から入力された原画像は、まずステップＳ２１において、レンズの色収差や歪、光軸のズレ、カメラの姿勢・位置等の幾何学的な補正処理及びＣＣＤセンサの感度ムラ等の補正処理が行われる。この処理は、あらかじめキャリブレーションしてその補正データをＲＯＭやＲＡＭの中に記録しておけば、テーブル参照の形で高速に補正処理が行える。また、この補正用データを画像入力前に毎回求めれば正確な補正が可能となる。また、この補正処理が済むとステップＳ２２に移り、撮影パラメータから対応点探索を行う範囲を決定する。その結果を用いてＳ２３に移り、各画像間の対応点検索を行う。対応点探索が終了すると次にステップＳ２４に移り、画像の補間処理を行ったのち、ステップＳ２５でレンティキュラディスプレイに補正済の入力画像と補間された画像を表示する。
【００２１】次に、各部の処理を詳しく説明する。
【００２２】＜対応点探索範囲の算出＞まず、図３を用いて、対応点探索範囲の算出処理を説明する。
【００２３】図３は対応点探索範囲の算出原理を示す図である。Ｓ１０１が撮影したい空間の一番後方の面、Ｓ１０２が撮影空間Ω、Ｓ１０３が撮影したい空間の一番前方の面、Ｓ１０４が撮影したい空間の一番後ろの面までの距離（Ｌｅ）、Ｓ１０５が撮影したい空間の一番前方の面までの距離（Ｌｆ）である。Ｓ１０６は、撮影位置Ｐ１（Ｓ１０８）から撮像面への垂線と、撮影位置Ｐ１から距離ｄ（Ｓ１０９）だけはなれた撮影位置Ｐ２（Ｓ１１０）から撮影空間Ωの一番前方の面にある撮影物体ａ（Ｓ１１２）までを結んだ直線との角度α、Ｓ１０７は、同様に撮影空間Ωの一番後ろの面Ｓ１０１にある撮影物体ｂ（Ｓ１１３）と点Ｐ２とを結んだ直線と、視点位置Ｐ１から撮像面への垂線との角度β、Ｓ１１１は焦点距離ｆである。ａ’（Ｓ１１４），ｂ’（Ｓ１１５）は、点Ｐ２からの物体ａ（Ｓ１１２），ｂ（Ｓ１１３）の撮像面での位置を表す。この図３の幾何に従い、対応点探索範囲である撮像面中のａ’とｂ’との距離を求める。
【００２４】まず、撮影位置Ｐ１（Ｓ１０８）とＰ２（Ｓ１１０）において、撮影空間Ωの一番前方の物体であるａ（Ｓ１１２）のそれぞれの撮像面での移動距離ｄ１を求める。それは図３の幾何から次式で求められる。なお、撮像面での主走査方向の大きさをｎｘであらわす。
【００２５】
ｄ１＝ｎｘ／（２ｔａｎα）＝ｎｘ／（２（ｄ／Ｌｆ）） … （１）
同様に、撮影空間Ωの一番後方の物体ｂ（Ｓ１１３）が視点位置Ｐ１（Ｓ１０８）とＰ２（Ｓ１１０）において、それぞれの撮像面での移動距離ｄ２を求める。
【００２６】
ｄ２＝ｎｘ／（２ｔａｎβ）＝ｎｘ／（２（ｄ／Ｌｅ）） … （２）
これらより、視点Ｐ１の画像と視点Ｐ２の画像との対応点を探索するための直線探索の傾きの範囲は、ｄ１〜ｄ２で変化させればよいことになる。
【００２７】また、探索刻みｓはそのカメラ台数Ｎから次式で求めることができる。
【００２８】ｓ＝１／Ｎ上記のように、撮影したい空間を一番前方および後方の面に限定することにより、対応点探索範囲を不用意に拡げることを防ぎ、かつ、探索処理の高速化が可能となる。また、探索刻みの上限（細かさ）をカメラ台数から求めることによって、不用意に探索刻みを小さくすることによる探索処理時間の増大を防ぐことが可能となる。
【００２９】＜対応点探索処理＞次に、求められた対応点探索パラメータを用いた対応点探索処理を図４を用いて説明する。図４は、ステップＳ２３の対応点探索処理のフローチャートである。ステップＳ３１において初期設定として注目ラスタを各画像の第１ラスタにセットする。
【００３０】次にステップＳ３２において各画像の注目ラスタをワークメモりに読み込み、仮想的にｊ番目のエピポーラプレーンイメージ（ＥＰＩ）を構成する。ここで言うｊ番目のＥＰＩとは図５に示すように画像平面上の各点ＥＰｊ（ｘ，ｉ）がＥＰｊ（ｘ，ｉ）＝Ｎｉ（ｘ，ｊ）
を満たすような点ＥＰｊ（ｘ，ｉ）の集合のことである。ただし、Ｎｉ（ｘ，ｊ）はｉ番目の画像（ここでは、ｉ＝１〜４）のｊラスタ目におけるｘ番目の画素値、即ちｉ番目の画像において座標が（ｘ，ｊ）で表される画素の値を表している。入力機器（カメラ等）が等間隔で平行に設置されている場合、このＥＰＩ上では、対応する点は全て直線上に並んで存在する。従って、対応点の検出は直線を検出することによって行え、また、画像の補間は検出された直線上で行えばよいことになる。そこで、ステップＳ３４において得られた直線から対応点を計算し、記憶する。
【００３１】具体的なアルゴリズムを図６のフローチャートを用いて示す。
【００３２】まず、ステップＳ７１で、優先順位ｎ＝１、注目画素のラインｒ＝１に設定する。次に、ステップＳ７２に移り、ＥＰｊ（ｘ，ｒ）を注目画素とし、ｍ＝ｋ１〜ｋ１＋ｋ２，ｘ＝１〜ｎｘの範囲内で、
【数１】
を満足するｍをすべて求め、検出された全ての直線数をＬとして記憶する。ただし、ｍは実数値もとり得るので、ｘ＋ｍ×（ｉー１）の値は四捨五入して対応するｘ座標を決定する。ＴＨ２は対応点を見つけるための閾値であり、ここでは１２００に設定している。この１２００の意味合いであるが、４ラインのＥＰＩなので差分を３回計算することになり、それぞれの差分値が２０以下くらいであれば、ほほ同じ色であるという仮定のもとに３×２０2＝１２００としている。もし理想的な入力系で画像にスペキュラー成分が存在しない場合（各画像に写っている点は同じ画素値を持つ）は、ＴＨ２＝０で良いが、実際の入力系では同じ点でも各画像で画素値がばらついているため、幅を持たせて差分値を２０としている。従って、入力系が高精度になるほどこの差分値は小さくなり、逆の場合は差分値を大きく設定する必要がある。
【００３３】上記の手法は、画素値がＲＧＢの場合にそれぞれに対して行う場合だが、それだけでなく、ＹＩＱ、あるいはＨＳＩなどの様々な表色系に一度変換した場合にも対応でき、それぞれに適した閾値を設定して用いることも可能である。また、ｋ１，ｋ２はステップＳ２２で求めたパラメータｄ１，ｄ２をそれぞれ用いる（即ち、ｋ１＝ｄ２，ｋ２＝ｄ１）。また、ＥＰｊ（ｘ＋ｍ×（ｉ−１），ｉ）が存在しない場合は、このｍにおける対応点は存在しないとして処理を続ける。ただし、ステップＳ７２においてＥＰｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）が処理済の場合は、ＥＰｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）−ＥＰｊ（ｘ，ｒ）＝０として処理を続ける。
【００３４】次にステップＳ７３に移り、ステップＳ７２により求まった傾きｍの直線から優先順位ｎの対応点を求め、得点ｆ（Ｌ）の値とともに（ｎ，ｆ（Ｌ））としてメモリに記憶する。ここで、Ｌは検出された直線数で、ｆ（）は直線数が多い場合には小さな値を、直線数が少ない場合には大きな値を示す関数である。
【００３５】注目画素に対して複数の対応点が求まる場合は、便宜上全てを優先順位ｎの対応点として記憶する。対応点として求まった画素は処理済の画素とする。ここで、傾きｍの直線より求まった対応点がすでに処理済みで、かつその対応点について記憶されている（ｎ，ｆ（Ｌ’））の得点ｆ（Ｌ’）の値が、注目画素に関する得点よりも大きい場合には、この点を対応点から除外する。すなわち、ある点に関してその対応点の数の多寡が得点として示されるが、この得点は注目点に関する対応関係の確からしさを示す尺度でもある。２点を対応付けようとしたときこの尺度を用いて対応の確からしさを判定し、ある画素が他の画素から対応関係にあるとされた場合、その画素が既により確からしい対応関係を有しているならば、新たな対応付けは行わない。こうして不確かな対応付けを減らし、より確からしい対応づけを行うことができる。さらに、ステップＳ７３では、ｗに未処理の画素数をセットする。
【００３６】図１７は、ステップＳ７３をより詳細に示すフローチャートの一例である。
【００３７】まず、ステップＳ７２で求めた直線を基に得点ｆ（Ｌ）を算出する（Ｓ１７１）。次に、直線を基にして対応点を１つ求める（Ｓ１７２）。もし対応点がなければ未処理の画素数をｗにセットしてステップＳ７３の処理を終了する（Ｓ１７９）。対応点が見つかったならば、その点が処理済みか判定し（Ｓ１７４）、処理済みでなければ対応点として記憶する（Ｓ１７８）。処理済みであれば、その対応点の得点ｆ（Ｌ’）と注目点の得点ｆ（Ｌ）とを比較し（Ｓ１７５）、ｆ（Ｌ’）＞ｆ（Ｌ）であれば、すなわち、対応点に関して既になされている対応付けの方がより確かなものであれば、その対応点に関しては更なる対応付けをおこなわず、対応点から除外する（Ｓ１７７）。ｆ（Ｌ’）＜ｆ（Ｌ）であれば、対応点と注目点との対応のほうが、対応点に関して既に与えられている対応よりも確からしいので、対応点として登録する（Ｓ１７８）。以上を対応点を求めつつ繰り返す。こうしてステップＳ７３の処理を終える。
【００３８】次に、ステップＳ７４に移り、未処理の画素数ｗが０か否かを判定し、０なら第ｊエピポーラプレーンでの処理を終了し、０でなければステップＳ７５に移り、注目ラインｒが最終ラインかどうかを判定する。最終ラインならばステップＳ７７においてｒ＝１（先頭ライン）に設定し、そうでなければステップＳ７６で注目ラインｒの値を１増やす。図６中のＮはＥＰＩの構成ライン数（ここでは、Ｎ＝４）を示している。
【００３９】次に、ステップＳ７８に移り、優先順位を示すｎがＰに等しいか否かを判定する。Ｐは物体同士が隠蔽しあう現象（オクルージョン）の複雑さを表すものである。すなわち、Ｐが大きな値であれば物体が幾重にも重なっている状態であり、Ｐが小さければ物体の重なりは少ない。Ｐの値の設定は、どの程度のオクルージョンまで再現するかにより決まってくる。ここでは、経験的な値として、Ｐ＝（Ｎー１）×１０＝３０に設定している。ステップＳ７８においてｎ≠ＰならばステップＳ８０に移り、優先順位ｎに１加え、Ｗをｗの値にセットし、ステップＳ７２に戻る。ｎ＝ＰならばステップＳ７９に移り、未処理の画素数が前回の処理時よりも減少したか否かを判定し、減少したならば、ステップＳ８０に移り、そうでなければ第ｊＥＰＩでの直線検出処理、即ち図４ステップＳ３４を終了し、ステップＳ３６に戻り、次のＥＰＩの処理に移る。ステップＳ３６において、入力画像のすべてのラスタについて処理が行われたかが判定され、まだならば、ｊの値を１増やしてステップＳ３２に戻り、すべてのラスタについて処理が終了したならば、すなわち、図２のステップＳ２３が終了したならばステップＳ２４に移る。
【００４０】上記のように処理を行うことにより、２枚の画像からでは求まらなかった対応点が検出でき、また、オクルージョン等にも対応できるので、対応点探索の精度が向上する。また、ある注目画素から検出される直線数を、その注目画素の対応点としての確からしさを得点として表現し、その得点の大小を比較しながらより確からしい対応点を求めるため、一様な色の物体の前にある小さな物体の前後関係が逆転することなく対応点探索が可能となる。
【００４１】＜画像補間処理＞次にステップＳ２４に移り、画像の補間処理を行う。画像の補間処理はステップＳ２３より求まった対応点を用いて行う。具体的なアルゴリズムを図７を例にして説明する。
【００４２】図７は、ｊ番目のＥＰＩを表している。ａ１は優先順位１、得点ｆ（Ｌ）＝１の対応点を示し、ｂ１は優先順位１、得点２０の対応点を示し、ｃ２は優先順位２、得点２０の対応点を示している。入力画像間に等間隔にｎ枚の画像を補間する場合を考える。ここでは説明を簡単にするため、内挿ライン数ｎ＝２とする。このことをｊ番目のＥＰＩで考えた場合、図９に示すようにＥＰＩのライン間に２本ずつラインを内挿し、原画の対応点同士を結んだ直線上にある内挿されたラインの画素値は直線上の対応点の平均値を設定すればよい。以下図８のフローチャートを用いて説明する。図８は、ステップＳ２４の詳細を示すフローチャートである。
【００４３】まず、ステップＳ８１において画像補間処理のための初期設定を行う。ｊ＝１にセットし、注目ＥＰＩを第ｊＥＰＩにセットする。また、優先順位ｎをｎ＝Ｐにセットする。ここで、ＰはステップＳ７８で用いたＰ（Ｐ＝３０）と同じものである。
【００４４】次にステップＳ８２に移り、第ｊＥＰＩ上の優先順位ｎの対応点を結んだ直線を考え、この直線上にある内挿ラインの画素値を直線上にある原画像の画素値の平均値にセットする。ただし、内挿されたラインにおいて、既に対応点として値が代入されていた場合においても、別の対応点の方の得点が高い場合はその内挿ラインの画素値を上書きでき、得点が低い場合は上書きができないものとする。図９の対応点ａ１及びｂ１を例にとれば、対応点同士を結んだ直線上の点ａ及びｂの画素値はそれぞれ、ａ１，ｂ１で示される画素値の平均値を代入する。しかし、座標（１１，３）ではａ１，ｂ１のどちらの対応点でもあるが得点の高いｂ１の対応点としてその直線上の画素値の平均値ｂが代入されている。
【００４５】この処理を終えたらステップＳ８３に移り、注目ＥＰＩ上の優先順位ｎの全ての対応点に対しステップＳ８２の処理が終了したか否かの判定を行い、終了していなければステップＳ８２に戻り、終了したならば、ステップＳ８４に移り、現在処理している優先順位が１かどうかの判定を行う。
【００４６】ステップＳ８４における判定の結果、優先順位が１でなければ、ステップＳ８５にて優先順位を１減じて（ｎ＝ｎ−１）ステップＳ８２に移り、１ならばステップＳ８６にて注目ＥＰＩが最終のＥＰＩかどうかの判定を行う。ここで、ｎｙは入力画像の総ラスタ数である。注目ラスタが最終のＥＰＩでなければ、注目ＥＰＩを次のＥＰＩにセット（ｊ＝ｊ＋１）し、ステップＳ８５に戻る。最終ＥＰＩならば画像補間処理を終了しステップＳ２５に戻る。
【００４７】図９に示すように上記処理により内挿されたラインをｊ２，ｊ３，ｊ５，ｊ６，ｊ８，ｊ９と表すと、例えば補間画像２は、内挿ラインｊ２（ｊ＝１〜ｎｙ）を並べることによって構成できる（図１０参照）。補間画像３，５，６，９に関しても同様である。
【００４８】上記のように、優先順位の低い（ｎの値が大きい）対応点から順に処理を行い、優先順位の高い対応点、あるいは優先順位が同じでも得点の高い対応点によって上書きすることで図９に示すようにオクルージョンを考慮した補間処理を行うことができる。ただし、ａ，ｂ，ｃはそれぞれ対応点ａ１，ｂ１，ｃ１により内挿された画素値を表している。
【００４９】以上述べた構成及び方法を用いて多数枚の入力画像から補間画像を生成することにより、２枚の画像からでは求めることができなかった対応点を検出することができるので、補間の精度が向上する。対応点探索の際においても、撮影パラメータを用いて探索パラメータを自動的に決定できるため、探索処理の高速化が可能となっている。また、多数枚の画像から対応点を求めるので前述のようにオクルージョンの問題が解決でき、また、検出した直線数を利用した補間方法によって、撮影した物体の前後配置が逆転する問題も解決できる。
【００５０】また、以上は上下方向の視差を省略した場合について説明したが、平面上で格子状の粗い視点間隔の撮影位置から撮影した多視点画像を保持し、混ぜ、左右方向にこれらの多視点画像を視点間補間し、次に上下方向に視点間補間することにより、上下方向の視差も考慮した画像が生成される。
【００５１】次に、本実施例の画像処理装置における対応点探索部において、さらに高速化を行う方法を示す。
【００５２】なお、本実施例の対応点探索部において、直線探索をエピポーラプレーンイメージの第１ラインから最終ラインに向かって探索するだけ行うのではなく、最終ラインから第１ラインに向かって探索を行うことによっても実現できる。その際の探索パラメータである探索範囲、探索刻み、直線の傾きは、それぞれのパラメータの符号を反転させれば、そのまま直線探索可能が可能となる。このように、１つのＥＰＩについてその上下から対応点を探索することで、対応点探索処理をより高速化することができる。
【００５３】
【第２実施例】次に、利用者が頭の位置を前後に変えて視点を上下前後左右に移動させた場合、観察者の視点位置を検出し、観察者から見える画像を再構成することによって、観察者が視点を上下前後左右にスムーズに移動した場合にも対応できる画像処理装置の例を示す。ただし、説明をわかりやすくするため、以下では上下方向の視差を省略した場合について説明する。
【００５４】図１１は本発明の第２実施例である画像表示装置の構成を示す図である。図１１において、１は固定して設置される画像表示用の表示スクリーン、２は表示スクリーン１を眺める利用者の目の位置を検出する視点検出器、３は平面上に並んだ粗い視点間隔から表示する対象物を撮影した多視点画像を保持している多視点画像データベースである。
【００５５】４は表示スクリーン１に関するパラメータを保持する表示パラメータ保持部、５は多視点画像データベース４の多視点画像を撮影した際の視点並びの平面を表す座標系を保持している撮影視点座標系保持部、６は多視点画像データベース４の視点間補間された画像も含む多視点画像の多視点画像の画像パラメータを保持している多視点画像パラメータ保持部である。
【００５６】７は視点検出器１からの信号をもとに視点パラメータを算出する視点パラメータ算出部、８は視点の移動に対応した画像を生成する画像生成部、９は注目する画素を示す画素インデクス信号、１０は視点パラメータと表示パラメータから、画素インデクス信号９の示す画素に対応する視線方向を算出する視線パラメータ算出部、１１は視線パラメータの表す視線と、撮影視点座標系が表す撮影視点並びの平面との交点（仮想視点）を算出する仮想視点パラメータ算出部、１２は視線パラメータ、撮影視点座標系、仮想視点パラメータおよび多視点画像パラメータから、仮想視点における画像の視線方向に対応する画素位置を算出する画素位置算出部、１３は画素位置と仮想視点パラメータをもとに、多視点画像データベース３の視点間補間された画像も含む多視点画像から、対応する画素値を算出する画素値算出する画素値算出部、１４は表示スクリーン１へ画像を表示する画像表示部である。
【００５７】１５は、視点パラメータが更新されたことを示す更新信号、１６は画素値を表す画素値信号である。１７は第１実施例で用いられた粗い視点間隔から撮影された多視点画像から十分細かい視点間間隔の多視点画像を生成する視点間補間処理部、１８をまとめて画素値生成部と呼ぶ。
【００５８】次に、図１１の構成による画像表示装置の作用の概略を述べる。表示スクリーン１を眺める利用者が頭の位置を変えて視点を移動させると、視点検出器２の信号が変化し、視点パラメータ算出部７は、この変化を受けて更新信号１５を画像生成部８へ送る。画像生成部８は更新信号１５を受けると、視点移動に対応した新たな画像の生成を開始する。画像生成部８はすべての画素について画素インデクス信号９に対応した画素値信号１６を画素値生成部１７より得る。画素値生成部１７では、表示パラメータ保持部４から表示パラメータをそれぞれ取得し、画素インデクス信号９に対応する視線パラメータを算出する。次に仮想視点パラメータ算出部１１は、撮影視点座標系保持部５から撮影視点座標系を取得し、視線パラメータの表す視線と、撮影視点座標系が表す撮影視点の並びの平面との交点（仮想視点）を表す仮想視点パラメータを算出する。
【００５９】一方、画素位置算出部１２は、多視点画像パラメータ保持部６から多視点画像パラメータを取得し、その他、視線パラメータ、撮影視点座標系、仮想視点パラメータから仮想視点位置における画像の視線方向に対応する画素位置を算出する。画素値算出部１３は画素位置と仮想視点パラメータをもとに、多視点画像データベース３およびそれらより視点間補間処理部１７で生成された視点間補間画像から、対応する画素値信号１６を算出する。画像生成部８はすべての画素について、画素値信号１６を画素値算出部１３から得ると、これを画像表示部１４へ送る。画像表示部１４はこうして生成された新しい視点に対応した画像を表示スクリーン１へ表示する。
【００６０】結果として、利用者は多視点画像データベース３に保持されている画像を撮影した視点位置以外の、前後上下左右に視点を移動してもその視点移動に合わせた対象物の画像を表示スクリーン１を通して眺めることができる。
【００６１】次に、各部の処理を詳しく説明する。
【００６２】まず、図１２，図１３を用いて、視線パラメータ算出部１０の処理を説明する。
【００６３】図１２は視線パラメータ算出部１０の算出原理を示す図である。１は表示スクリーン、２１は表示スクリーン１の端点（位置ベクトルＸｓで示す）、２２は長さが表示スクリーン１のピクセルピッチで、傾きが表示スクリーン１の傾きに一致するベクトル（表示スクリーンベクトルｐで示す）、２３は表示スクリーン１上の注目する画素位置（位置ベクトルＸｐで示す）、２４は利用者の視点位置（位置ベクトルＸｖで示す）、２５は注目する画素位置２３に対応する視線、２６は視線２５の傾きを表す視線ベクトル（ベクトルａで示す）である。
【００６４】図１３は視線パラメータ算出部１０の処理を示すフローチャートである。まず、Ｓ３１で視点パラメータ算出部７から視点パラメータを取得する。ここで、視点パラメータは図１２の利用者の視点位置２４である。次にＳ３２で表示パラメータ保持部４から表示パラメータを取得する。ここで表示パラメータとは、表示スクリーン１の端点２１（ベクトルＸｓ）、表示スクリーンベクトル２２（ベクトルｐ）である。表示スクリーンベクトル２２は、表示スクリーンの傾き、実サイズおよびピクセルサイズから決定される。次にＳ３３で、図１２１２に示す幾何学に従い、画素インデクス信号９に対応する表示スクリーン１上の注目する画素位置２３を以下の（１）式で算出する。ただし、画素インデクス信号９をｉとする。
【００６５】Ｘｐ＝Ｘｓ＋ｉ・ｐ … （１）
次にＳ３４で、視点位置２４から眺めた場合の画素位置２３の方向に対応する視線パラメータを求める。視線パラメータは、視点位置２４および視線ベクトル２６の組み（Ｘｖ，ａ）とする。視線２５は図１２に示す幾何学に従い、画素位置２３（ベクトルＸｐ）および視点位置２４（ベクトルＸｖ）の２点を通る直線であり、視線ベクトル２６（ベクトルａ）は以下の（２）式で算出する。
【００６６】ａ＝Ｘｐ−Ｘｖ … （２）
視線パラメータ算出部１０は、このようにして視線パラメータを算出する。
【００６７】次に、図１４を用いて仮想視点パラメータ算出部１１および画素位置算出部１２の処理を説明する。
【００６８】図１４は仮想視点パラメータ算出部１１および画素位置算出部１２の算出原理を示す図である。２５は視線、４１は多視点画像データベース３の多視点画像を撮影した際の視点の並びの平面である視点並び直線、４２は視線２５と、視点並び直線４１との交点（仮想視点，位置ベクトルＸで示す）、４３は視点並び直線４１の傾きを表すベクトル（視点並びベクトルＴで示す）、４４は視点並び直線の端点（位置ベクトルＸｌで示す）である。４５は仮想視点４２における画角θの視野、４６は、長さが、多視点画像を撮影したカメラの焦点距離、傾きが、カメラの傾きであるようなベクトル（焦点ベクトルｆで示す）、４７は仮想視点４２における仮想的な撮像面、４８は仮想的な撮像面４７と視線２５との交点である画素位置（位置ベクトルＸｐ’で示す）、４９は長さが仮想的な撮像面４７のピクセルピッチで、傾きが仮想的な撮像面４７の傾き（通常は焦点ベクトル４６に直角）に一致するベクトル（撮像面ベクトルｐ’で示す）である。
【００６９】ここで、視点並びベクトル４３および視点並び直線の端点４４が撮影視点座標系を表す値として、撮影視点座標系保持部５に保持されている。また、焦点ベクトル４６および撮像面ベクトル４９は、多視点画像パラメータとして多視点画像パラメータ保持部６に保持されている。焦点ベクトル４６は、多視点画像を撮影したカメラの焦点距離および傾きから決定される。撮像面ベクトル４９は、焦点ベクトル４６に直交し、大きさが撮像面のセルサイズ（１ピクセルの大きさ）に等しいベクトルである。
【００７０】次に、図１４を用いて仮想視点パラメータ算出部１１の処理を説明する。図１４の示す幾何学に従うと、仮想視点４２は以下の（３），（４）式で表される。
【００７１】Ｘ＝Ｘｌ＋ｔ・Ｔ … （３）
Ｘ＝Ｘｖ＋α・ａ … （４）
ここで仮想視点を一意に表すパラメータとしてｔを仮想視点パラメータとする。αは視線方向の係数である。（３），（４）式を解くことによりｔを算出し、Ｘを算出する。
【００７２】次に、図１４を用いて画素位置算出部１２の処理を説明する。図１４の示す幾何学に従い、画素位置４８は以下の（５），（６）式で表される。
【００７３】Ｘｐ’＝Ｘ＋ｆ＋ｉ’・ｐ’ … （５）
Ｘｐ’＝Ｘ＋β・ａ … （６）
ここで、画素位置４８を一意に表すパラメータとしてｉ’を画素位置パラメータとする。βは視線方向の係数である。（５），（６）式を解くことによりｉ’を算出し、これを画素位置算出部１２の出力とする。
【００７４】次に、画素値算出部１３の処理について具体的に説明する。
【００７５】本実施例では、多視点画像データベース３に保持されている多視点画像は、粗い視点間隔で撮影した画像であり、それを視点間補間処理部１７で十分細かい視点間補間画像が得られる。この補間処理は、第１実施例で説明した要領で行われる。そこで、まず、仮想視点パラメータ算出部１１で算出された仮想視点パラメータｔの示す仮想視点４２からの画像の近似画像として、仮想視点に一番近い視点から撮影された画像を、多視点画像データベース３から得て、それを基にして視点間補間処理部で補間画像を生成する。次に、この画像のうち、画素位置算出部１２で算出された画素位置４８に最も近い位置の画素の値を取得し、これを出力の画素値信号１６とする。
【００７６】以上、説明をわかりやすくするため、上下方向の視差を省略した場合についての各部の処理を説明したが、上下方向の多視点画像を用意すれば同様の方法で、上下方向の視差を考慮に入れた、前後上下左右に視点移動可能な両眼立体表示装置となる。
【００７７】以上述べた構成及び方法を用いて、多数枚の入力画像から補間画像を生成することにより、２枚の画像からでは求めることができなかった対応点を検出することができるので、補間の精度が向上する。対応点探索の際においても、撮影パラメータを用いて探索パラメータを自動的に決定できるため、探索処理の高速化が可能となっている。また、多数枚の画像から対応点を求めるので前述のようにオクルージョンの問題が解決でき、また、検出した直線数を利用した補間方法によって、撮影した物体の前後配置が逆転する問題も解決できる。このようにして得られた補間画像を、観察者の視点に応じて表示するために、本実施例の画像表示装置は、観察者の視点の移動に伴ってスムーズで精度の高い画像の移動が可能である。
【００７８】なお、表示スクリーン１および画像表示部８に、レンチキュラー方式やメガネ方式等の両眼立体視が可能な立体表示スクリーン及び立体画像表示部を用い、かつ、視点パラメータ算出部７が左右おのおのの目の位置に対応する視点パラメータを算出し、これに対応して画像生成部８が左右おのおのの目に提示するための画像を生成することにより、前後上下左右に視点移動可能な両眼立体表示装置となる。
【００７９】
【第３実施例】次に、第２実施例における表示スクリーン１が利用者の頭部に固定される形の、いわゆるヘッド・マウンテッド・ディスプレイ（ＨＭＤ）タイプの画像表示装置の例を示す。
【００８０】本実施例の構成は、第２実施例の構成のうち、視線パラメータ算出部１０の処理内容だけを以下に説明する処理に置き換えた形となる。説明は、上下方向の視差を省略した場合について述べる。
【００８１】図１５は本実施例における視線パラメータ算出部１０の算出原理を示す図である。１は表示スクリーン、２２は、長さが表示スクリーン１のピクセルピッチで、傾きが表示スクリーン１の傾きに一致するベクトル（表示スクリーンベクトルｐ）、２３は表示スクリーン１上の注目する画素位置（位置ベクトルＸｐ）、２４は利用者の視点位置（位置ベクトルＸｖ）、１１１は視点位置２４から表示スクリーン１の中央点へのベクトル（正面ベクトルＦ）、２５は注目する画素位置２３に対応する視線、２６は視線２５の傾きをあらわす視線ベクトル（ベクトルａ）である。
【００８２】次に、図１５を用いて、視線パラメータ算出部１０の処理を説明する。ＨＭＤタイプの表示装置では、視点検出器２は、利用者の視点２４の位置に加えて、正面方向の傾き、すなわち正面ベクトル１１１の傾きを検出する。表示スクリーンベクトル２２の傾きは正面ベクトル１１１の傾きから決定される（通常は直角）。一方、視点位置２４から表示スクリーン１までの距離、すなわち正面ベクトル１１１の長さ、および、ピクセルピッチすなわち表示スクリーンベクトル２２の長さは、ＨＭＤの形状によって決定される固定した値であり、この値は表示パラメータ保持部４に保持される。図１５１５の示す幾何学に従い、注目する画素位置２３（ベクトルＸｐ）および視線ベクトル２６（ベクトルａ）を以下の式で算出する。ただし、画素インデクス９をｉとする。
【００８３】Ｘｐ＝Ｘｖ＋Ｆ＋ｉ・ｐａ＝Ｘｐ−Ｘｖ以上のように、視点パラメータ算出部１０により画素位置および視線を算出し、それ以外の構成，処理を第１実施例と同じ要領で行うことで、ＨＭＤタイプの表示装置で多視点画像を任意の視点移動表示できる画像表示装置となる。
【００８４】また、表示スクリーン１が頭部に固定されていなくても、固定して設置された表示スクリーン１と利用者の視点位置２４の相対的位置関係が固定であるようなコックピットタイプの表示装置を用いても、本実施例と同じ視線パラメータ算出部１０の処理で、任意の視点移動表示できる画像表示装置となる。このとき、視点検出器２の代わりに、基準座標における視点位置２４をハンドル等で操作する視点位置入力装置を用いる。
【００８５】以上述べた構成及び方法を用いて、多数枚の入力画像から補間画像を生成することにより、２枚の画像からでは求めることができなかった対応点を検出することができるので、補間の精度が向上する。対応点探索の際においても、撮影パラメータを用いて探索パラメータを自動的に決定できるため、探索処理の高速化が可能となっている。また、多数枚の画像から対応点を求めるので前述のようにオクルージョンの問題が解決でき、また、検出した直線数を利用した補間方法によって、撮影した物体の前後配置が逆転する問題も解決できる。このようにして得られた補間画像を、観察者の視点に応じて表示するために、本実施例のＨＭＤによれば、観察者の視点の移動に伴ってスムーズで精度の高い画像の移動が可能である。
【００８６】以上の第１乃至第３実施例各々では、あらかじめ撮影された多視点画像とそれから視点間補間を行った画像も含んだ多視点画像データベース３に保持されている構成としたが、これを、多視点画像を実時間で取り込むことのできる多眼テレビカメラに置き換えることにより、実時間の任意視点画像撮影・表示システムとなる。
【００８７】上記構成により、上記各実施例の装置は、物体の前後関係が逆転してしまうような場合においても、精度よく補間画像を生成することが可能となった。また、対応点探索パラメータを自動的に決定することによって、補間処理の高速化が可能となった。また、補間処理により求めた多数の画像あるいは十分細かく視点を移動して撮影した多視点画像を用いて前後方向の視点移動に対応した画像を再構成することにより、従来は対応できなかった前後方向への視点移動が可能となった。
【００８８】なお、本発明は単体の画像処理装置に適用しても良いし、多視点テレビ、多視点テレビ電話端末や多視点テレビ会議システムのようなシステム機器に適用してもよいし、コンピュータや他の画像処理装置と組み合わせた複合装置にも適用できる。
【００８９】
【発明の効果】以上説明したように、本発明に係る画像表示装置は、画像の内容にかかわらず正確に補間画像を生成することができ、また、生成した補間画像を用いて高精度の表示を実現することができる。
【００９０】
【図面の簡単な説明】
【図１】本発明の第１実施例の画像表示装置のブロック図である。
【図２】第１実施例の画像補間処理の流れを示すフローチャートである。
【図３】図２ステップＳ２２の撮影パラメータから対応点探索範囲の算出原理を示す図である。
【図４】図２ステップＳ２３の対応点探索処理の流れを示すフローチャートである。
【図５】ｊ番目のエピポーラプレーンイメージを示す図である。
【図６】図２ステップＳ２４の直線検出の流れを示すフローチャートである。
【図７】補間処理を説明するための図である。
【図８】補間処理の流れを示すフローチャートである。
【図９】補間処理を説明するための図である。
【図１０】補間処理を説明するための図である。
【図１１】第２実施例の画像表示装置のブロック図である。
【図１２】第２実施例の視線パラメータ算出部１０の算出原理を示す図である。
【図１３】視線パラメータ算出部１０の処理を示すフローチャートである。
【図１４】仮想視点パラメータ算出部１１および画素位置算出部１２の算出原理を示す図である。
【図１５】第３実施例における視線パラメータ算出部１０の算出原理を示す図である。
【図１６】視点間補間の処理の流れを示す図である。
【図１７】第１実施例の対応点を検出する処理のフローチャートである。
【符号の説明】
２０，２１，２２，２３ カメラ、
２５ ＣＰＵ、
２６ ＲＡＭ、
２７ ＲＯＭ、
２９ ディスク、
３０ ＶＲＡＭ、
３２ ディスプレイである。
【０００１】
【産業上の利用分野】本発明は複数の撮像手段（カメラ等）から得られた画像を補間処理により撮像手段の視点とは異なった視点の画像を生成する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】従来、複数の視点位置から撮影した画像をもとに、撮影した位置とは異なった位置から撮影した画像を生成する手法としてエピポーラプレーンイメージ（以下ＥＰＩと略す）を用いる方法がある。
【０００３】この方法は、図１６に示すように、各画像中の同じ位置にあるラインを抽出して（図１６（ａ））、１つのＥＰＩを合成し（図１６（ｂ））、このＥＰＩ上で直線検出を行うことにより注目点に対応する点（対応点）を求め（図１６（ｃ））、撮影した位置とは異なる位置から撮影した場合に得られる画像を生成する（図１６（ｄ））、というものである。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従来例では背景・壁などのように一様な色の物体は、ＥＰＩ上で直線検出を行った場合、無数の直線が検出され対応点を特定することができなかった。そのため、そのような一様な色の物体の前方に小さな物体が配置されている場合、ＥＰＩ上では小さな物体の対応点を追い越して直線を検出してしまう（即ち、物体の前後関係が逆転してしまう）という問題点があった。
【０００５】本発明は上記従来例に鑑みてなされたもので、画像の内容にかかわらず正確に補間画像を生成する画像処理方法およびその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明は、上記問題点に鑑みてなされたもので、対応点を検出する際、ある注目点からの検出される直線の数を利用して対応点としての確からしさを表現して、直線検出を行う方法をとる。即ち、本発明の画像処理方法においては、複数の位置から撮影した画像を入力する多視点画像入力工程と、入力された多視点画像データをＥＰＩに分解しＥＰＩ上で直線検出することにより対応点を求める直線検出工程と、検出された直線を用いて異なった位置から撮影した場合に得られるはずの画像を生成する画像補間工程を備える。上記構成において、多視点画像入力工程は１台以上のカメラから得られる多数枚の画像やデータベースに蓄積されている多視点画像（複数の異なる視点から撮影した画像）を入力し、直線検出工程は入力された多視点画像データをＥＰＩに分解しながらＥＰＩ上で対応点を求めるために直線を検出し、画像補間工程は直線検出工程によって得られた対応点をもとに異なった視点から見た場合の画像を補間処理によって生成する。
【０００７】また、他の態様として本発明の画像処理方法は次のような構成から成る。
【０００８】複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさをチェックするチェック工程と、前記候補検出工程により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間の関係に基づいて、前記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程とを備える。
【０００９】また、他の態様として本発明の画像処理方法は次のような構成から成る。
【００１０】複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与工程と、前記候補検出工程により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程とを備える。
【００１１】また、本発明の画像処理装置においては、複数の位置から撮影した画像を入力する多視点画像入力手段と、入力された多視点画像データをＥＰＩに分解しＥＰＩ上で直線検出することにより対応点を求める直線検出手段と、検出された直線を用いて異なった位置から撮影した場合に得られるはずの画像を生成する画像補間手段とを備える。上記構成において、多視点画像入力手段は１台以上のカメラから得られる多数枚の画像やデータベースに蓄積されている多視点画像（複数の異なる視点から撮影した画像）を入力し、直線検出手段は入力された多視点画像データをＥＰＩに分解しながらＥＰＩ上で対応点を求めるために直線を検出し、画像補間手段は直線検出手段によって得られた対応点をもとに異なった視点から見た場合の画像を補間処理によって生成する。
【００１２】また、他の態様として本発明の画像処理装置は次のような構成から成る。
【００１３】複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさをチェックするチェック手段と、前記候補検出手段により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間の関係に基づいて、前記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段とを備える。
【００１４】また、他の態様として本発明の画像処理装置は次のような構成から成る。
【００１５】複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与手段と、前記候補検出手段により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段とを備える。
【００１６】
【作用】上記構成により、異なる視点の画像間の対応を、対応の確からしさをチェックしつつ検出して、その対応に基づいた補間画像を生成する。
【００１７】
【第１実施例】次に、本発明の第１の実施例について図面を参照して説明する。
【００１８】＜装置の構成＞図１は画像入力部にカメラを４台用いた場合の画像処理装置の例である。図において、画像入力部３３は４台のカメラ２０〜２３を含み、撮影した画像をデジタル画像信号として入力ポート２４を介して装置に入力する。ＣＰＵ２５は、画像処理装置全体を制御するプロセッサであり、ＲＯＭ２７またはＲＡＭ２６に格納されたプログラムを実行することで所定の制御手順を実行する。ＲＡＭ２６、ＲＯＭ２７にはプログラムのほか、データ類も格納される。更にＲＡＭ２６には、画像入力部３３から入力されたデジタル画像データも格納される。ハードディスク２９は、ディスクＩ／Ｏポート２８を介してＣＰＵ２５あるいはＲＡＭ２６などとデータ等を交換する。画像データはディスク２９にも格納される。撮影された画像データあるいは処理された画像データは、ＶＲＡＭ３０に展開され、ビデオ信号出力用Ｉ／Ｆ３１を介してステレオディスプレイ３２０から表示出力される。なお、ここでは４台のカメラを用いて説明しているが、カメラの台数はこれに限らず、何台でもよい。
【００１９】＜画像補間処理＞図２は、第１実施例の画像処理装置による画像補間処理の流れを示すフローチャートである。
【００２０】カメラ等の画像入力機器から入力された原画像は、まずステップＳ２１において、レンズの色収差や歪、光軸のズレ、カメラの姿勢・位置等の幾何学的な補正処理及びＣＣＤセンサの感度ムラ等の補正処理が行われる。この処理は、あらかじめキャリブレーションしてその補正データをＲＯＭやＲＡＭの中に記録しておけば、テーブル参照の形で高速に補正処理が行える。また、この補正用データを画像入力前に毎回求めれば正確な補正が可能となる。また、この補正処理が済むとステップＳ２２に移り、撮影パラメータから対応点探索を行う範囲を決定する。その結果を用いてＳ２３に移り、各画像間の対応点検索を行う。対応点探索が終了すると次にステップＳ２４に移り、画像の補間処理を行ったのち、ステップＳ２５でレンティキュラディスプレイに補正済の入力画像と補間された画像を表示する。
【００２１】次に、各部の処理を詳しく説明する。
【００２２】＜対応点探索範囲の算出＞まず、図３を用いて、対応点探索範囲の算出処理を説明する。
【００２３】図３は対応点探索範囲の算出原理を示す図である。Ｓ１０１が撮影したい空間の一番後方の面、Ｓ１０２が撮影空間Ω、Ｓ１０３が撮影したい空間の一番前方の面、Ｓ１０４が撮影したい空間の一番後ろの面までの距離（Ｌｅ）、Ｓ１０５が撮影したい空間の一番前方の面までの距離（Ｌｆ）である。Ｓ１０６は、撮影位置Ｐ１（Ｓ１０８）から撮像面への垂線と、撮影位置Ｐ１から距離ｄ（Ｓ１０９）だけはなれた撮影位置Ｐ２（Ｓ１１０）から撮影空間Ωの一番前方の面にある撮影物体ａ（Ｓ１１２）までを結んだ直線との角度α、Ｓ１０７は、同様に撮影空間Ωの一番後ろの面Ｓ１０１にある撮影物体ｂ（Ｓ１１３）と点Ｐ２とを結んだ直線と、視点位置Ｐ１から撮像面への垂線との角度β、Ｓ１１１は焦点距離ｆである。ａ’（Ｓ１１４），ｂ’（Ｓ１１５）は、点Ｐ２からの物体ａ（Ｓ１１２），ｂ（Ｓ１１３）の撮像面での位置を表す。この図３の幾何に従い、対応点探索範囲である撮像面中のａ’とｂ’との距離を求める。
【００２４】まず、撮影位置Ｐ１（Ｓ１０８）とＰ２（Ｓ１１０）において、撮影空間Ωの一番前方の物体であるａ（Ｓ１１２）のそれぞれの撮像面での移動距離ｄ１を求める。それは図３の幾何から次式で求められる。なお、撮像面での主走査方向の大きさをｎｘであらわす。
【００２５】
ｄ１＝ｎｘ／（２ｔａｎα）＝ｎｘ／（２（ｄ／Ｌｆ）） … （１）
同様に、撮影空間Ωの一番後方の物体ｂ（Ｓ１１３）が視点位置Ｐ１（Ｓ１０８）とＰ２（Ｓ１１０）において、それぞれの撮像面での移動距離ｄ２を求める。
【００２６】
ｄ２＝ｎｘ／（２ｔａｎβ）＝ｎｘ／（２（ｄ／Ｌｅ）） … （２）
これらより、視点Ｐ１の画像と視点Ｐ２の画像との対応点を探索するための直線探索の傾きの範囲は、ｄ１〜ｄ２で変化させればよいことになる。
【００２７】また、探索刻みｓはそのカメラ台数Ｎから次式で求めることができる。
【００２８】ｓ＝１／Ｎ上記のように、撮影したい空間を一番前方および後方の面に限定することにより、対応点探索範囲を不用意に拡げることを防ぎ、かつ、探索処理の高速化が可能となる。また、探索刻みの上限（細かさ）をカメラ台数から求めることによって、不用意に探索刻みを小さくすることによる探索処理時間の増大を防ぐことが可能となる。
【００２９】＜対応点探索処理＞次に、求められた対応点探索パラメータを用いた対応点探索処理を図４を用いて説明する。図４は、ステップＳ２３の対応点探索処理のフローチャートである。ステップＳ３１において初期設定として注目ラスタを各画像の第１ラスタにセットする。
【００３０】次にステップＳ３２において各画像の注目ラスタをワークメモりに読み込み、仮想的にｊ番目のエピポーラプレーンイメージ（ＥＰＩ）を構成する。ここで言うｊ番目のＥＰＩとは図５に示すように画像平面上の各点ＥＰｊ（ｘ，ｉ）がＥＰｊ（ｘ，ｉ）＝Ｎｉ（ｘ，ｊ）
を満たすような点ＥＰｊ（ｘ，ｉ）の集合のことである。ただし、Ｎｉ（ｘ，ｊ）はｉ番目の画像（ここでは、ｉ＝１〜４）のｊラスタ目におけるｘ番目の画素値、即ちｉ番目の画像において座標が（ｘ，ｊ）で表される画素の値を表している。入力機器（カメラ等）が等間隔で平行に設置されている場合、このＥＰＩ上では、対応する点は全て直線上に並んで存在する。従って、対応点の検出は直線を検出することによって行え、また、画像の補間は検出された直線上で行えばよいことになる。そこで、ステップＳ３４において得られた直線から対応点を計算し、記憶する。
【００３１】具体的なアルゴリズムを図６のフローチャートを用いて示す。
【００３２】まず、ステップＳ７１で、優先順位ｎ＝１、注目画素のラインｒ＝１に設定する。次に、ステップＳ７２に移り、ＥＰｊ（ｘ，ｒ）を注目画素とし、ｍ＝ｋ１〜ｋ１＋ｋ２，ｘ＝１〜ｎｘの範囲内で、
【数１】
を満足するｍをすべて求め、検出された全ての直線数をＬとして記憶する。ただし、ｍは実数値もとり得るので、ｘ＋ｍ×（ｉー１）の値は四捨五入して対応するｘ座標を決定する。ＴＨ２は対応点を見つけるための閾値であり、ここでは１２００に設定している。この１２００の意味合いであるが、４ラインのＥＰＩなので差分を３回計算することになり、それぞれの差分値が２０以下くらいであれば、ほほ同じ色であるという仮定のもとに３×２０2＝１２００としている。もし理想的な入力系で画像にスペキュラー成分が存在しない場合（各画像に写っている点は同じ画素値を持つ）は、ＴＨ２＝０で良いが、実際の入力系では同じ点でも各画像で画素値がばらついているため、幅を持たせて差分値を２０としている。従って、入力系が高精度になるほどこの差分値は小さくなり、逆の場合は差分値を大きく設定する必要がある。
【００３３】上記の手法は、画素値がＲＧＢの場合にそれぞれに対して行う場合だが、それだけでなく、ＹＩＱ、あるいはＨＳＩなどの様々な表色系に一度変換した場合にも対応でき、それぞれに適した閾値を設定して用いることも可能である。また、ｋ１，ｋ２はステップＳ２２で求めたパラメータｄ１，ｄ２をそれぞれ用いる（即ち、ｋ１＝ｄ２，ｋ２＝ｄ１）。また、ＥＰｊ（ｘ＋ｍ×（ｉ−１），ｉ）が存在しない場合は、このｍにおける対応点は存在しないとして処理を続ける。ただし、ステップＳ７２においてＥＰｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）が処理済の場合は、ＥＰｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）−ＥＰｊ（ｘ，ｒ）＝０として処理を続ける。
【００３４】次にステップＳ７３に移り、ステップＳ７２により求まった傾きｍの直線から優先順位ｎの対応点を求め、得点ｆ（Ｌ）の値とともに（ｎ，ｆ（Ｌ））としてメモリに記憶する。ここで、Ｌは検出された直線数で、ｆ（）は直線数が多い場合には小さな値を、直線数が少ない場合には大きな値を示す関数である。
【００３５】注目画素に対して複数の対応点が求まる場合は、便宜上全てを優先順位ｎの対応点として記憶する。対応点として求まった画素は処理済の画素とする。ここで、傾きｍの直線より求まった対応点がすでに処理済みで、かつその対応点について記憶されている（ｎ，ｆ（Ｌ’））の得点ｆ（Ｌ’）の値が、注目画素に関する得点よりも大きい場合には、この点を対応点から除外する。すなわち、ある点に関してその対応点の数の多寡が得点として示されるが、この得点は注目点に関する対応関係の確からしさを示す尺度でもある。２点を対応付けようとしたときこの尺度を用いて対応の確からしさを判定し、ある画素が他の画素から対応関係にあるとされた場合、その画素が既により確からしい対応関係を有しているならば、新たな対応付けは行わない。こうして不確かな対応付けを減らし、より確からしい対応づけを行うことができる。さらに、ステップＳ７３では、ｗに未処理の画素数をセットする。
【００３６】図１７は、ステップＳ７３をより詳細に示すフローチャートの一例である。
【００３７】まず、ステップＳ７２で求めた直線を基に得点ｆ（Ｌ）を算出する（Ｓ１７１）。次に、直線を基にして対応点を１つ求める（Ｓ１７２）。もし対応点がなければ未処理の画素数をｗにセットしてステップＳ７３の処理を終了する（Ｓ１７９）。対応点が見つかったならば、その点が処理済みか判定し（Ｓ１７４）、処理済みでなければ対応点として記憶する（Ｓ１７８）。処理済みであれば、その対応点の得点ｆ（Ｌ’）と注目点の得点ｆ（Ｌ）とを比較し（Ｓ１７５）、ｆ（Ｌ’）＞ｆ（Ｌ）であれば、すなわち、対応点に関して既になされている対応付けの方がより確かなものであれば、その対応点に関しては更なる対応付けをおこなわず、対応点から除外する（Ｓ１７７）。ｆ（Ｌ’）＜ｆ（Ｌ）であれば、対応点と注目点との対応のほうが、対応点に関して既に与えられている対応よりも確からしいので、対応点として登録する（Ｓ１７８）。以上を対応点を求めつつ繰り返す。こうしてステップＳ７３の処理を終える。
【００３８】次に、ステップＳ７４に移り、未処理の画素数ｗが０か否かを判定し、０なら第ｊエピポーラプレーンでの処理を終了し、０でなければステップＳ７５に移り、注目ラインｒが最終ラインかどうかを判定する。最終ラインならばステップＳ７７においてｒ＝１（先頭ライン）に設定し、そうでなければステップＳ７６で注目ラインｒの値を１増やす。図６中のＮはＥＰＩの構成ライン数（ここでは、Ｎ＝４）を示している。
【００３９】次に、ステップＳ７８に移り、優先順位を示すｎがＰに等しいか否かを判定する。Ｐは物体同士が隠蔽しあう現象（オクルージョン）の複雑さを表すものである。すなわち、Ｐが大きな値であれば物体が幾重にも重なっている状態であり、Ｐが小さければ物体の重なりは少ない。Ｐの値の設定は、どの程度のオクルージョンまで再現するかにより決まってくる。ここでは、経験的な値として、Ｐ＝（Ｎー１）×１０＝３０に設定している。ステップＳ７８においてｎ≠ＰならばステップＳ８０に移り、優先順位ｎに１加え、Ｗをｗの値にセットし、ステップＳ７２に戻る。ｎ＝ＰならばステップＳ７９に移り、未処理の画素数が前回の処理時よりも減少したか否かを判定し、減少したならば、ステップＳ８０に移り、そうでなければ第ｊＥＰＩでの直線検出処理、即ち図４ステップＳ３４を終了し、ステップＳ３６に戻り、次のＥＰＩの処理に移る。ステップＳ３６において、入力画像のすべてのラスタについて処理が行われたかが判定され、まだならば、ｊの値を１増やしてステップＳ３２に戻り、すべてのラスタについて処理が終了したならば、すなわち、図２のステップＳ２３が終了したならばステップＳ２４に移る。
【００４０】上記のように処理を行うことにより、２枚の画像からでは求まらなかった対応点が検出でき、また、オクルージョン等にも対応できるので、対応点探索の精度が向上する。また、ある注目画素から検出される直線数を、その注目画素の対応点としての確からしさを得点として表現し、その得点の大小を比較しながらより確からしい対応点を求めるため、一様な色の物体の前にある小さな物体の前後関係が逆転することなく対応点探索が可能となる。
【００４１】＜画像補間処理＞次にステップＳ２４に移り、画像の補間処理を行う。画像の補間処理はステップＳ２３より求まった対応点を用いて行う。具体的なアルゴリズムを図７を例にして説明する。
【００４２】図７は、ｊ番目のＥＰＩを表している。ａ１は優先順位１、得点ｆ（Ｌ）＝１の対応点を示し、ｂ１は優先順位１、得点２０の対応点を示し、ｃ２は優先順位２、得点２０の対応点を示している。入力画像間に等間隔にｎ枚の画像を補間する場合を考える。ここでは説明を簡単にするため、内挿ライン数ｎ＝２とする。このことをｊ番目のＥＰＩで考えた場合、図９に示すようにＥＰＩのライン間に２本ずつラインを内挿し、原画の対応点同士を結んだ直線上にある内挿されたラインの画素値は直線上の対応点の平均値を設定すればよい。以下図８のフローチャートを用いて説明する。図８は、ステップＳ２４の詳細を示すフローチャートである。
【００４３】まず、ステップＳ８１において画像補間処理のための初期設定を行う。ｊ＝１にセットし、注目ＥＰＩを第ｊＥＰＩにセットする。また、優先順位ｎをｎ＝Ｐにセットする。ここで、ＰはステップＳ７８で用いたＰ（Ｐ＝３０）と同じものである。
【００４４】次にステップＳ８２に移り、第ｊＥＰＩ上の優先順位ｎの対応点を結んだ直線を考え、この直線上にある内挿ラインの画素値を直線上にある原画像の画素値の平均値にセットする。ただし、内挿されたラインにおいて、既に対応点として値が代入されていた場合においても、別の対応点の方の得点が高い場合はその内挿ラインの画素値を上書きでき、得点が低い場合は上書きができないものとする。図９の対応点ａ１及びｂ１を例にとれば、対応点同士を結んだ直線上の点ａ及びｂの画素値はそれぞれ、ａ１，ｂ１で示される画素値の平均値を代入する。しかし、座標（１１，３）ではａ１，ｂ１のどちらの対応点でもあるが得点の高いｂ１の対応点としてその直線上の画素値の平均値ｂが代入されている。
【００４５】この処理を終えたらステップＳ８３に移り、注目ＥＰＩ上の優先順位ｎの全ての対応点に対しステップＳ８２の処理が終了したか否かの判定を行い、終了していなければステップＳ８２に戻り、終了したならば、ステップＳ８４に移り、現在処理している優先順位が１かどうかの判定を行う。
【００４６】ステップＳ８４における判定の結果、優先順位が１でなければ、ステップＳ８５にて優先順位を１減じて（ｎ＝ｎ−１）ステップＳ８２に移り、１ならばステップＳ８６にて注目ＥＰＩが最終のＥＰＩかどうかの判定を行う。ここで、ｎｙは入力画像の総ラスタ数である。注目ラスタが最終のＥＰＩでなければ、注目ＥＰＩを次のＥＰＩにセット（ｊ＝ｊ＋１）し、ステップＳ８５に戻る。最終ＥＰＩならば画像補間処理を終了しステップＳ２５に戻る。
【００４７】図９に示すように上記処理により内挿されたラインをｊ２，ｊ３，ｊ５，ｊ６，ｊ８，ｊ９と表すと、例えば補間画像２は、内挿ラインｊ２（ｊ＝１〜ｎｙ）を並べることによって構成できる（図１０参照）。補間画像３，５，６，９に関しても同様である。
【００４８】上記のように、優先順位の低い（ｎの値が大きい）対応点から順に処理を行い、優先順位の高い対応点、あるいは優先順位が同じでも得点の高い対応点によって上書きすることで図９に示すようにオクルージョンを考慮した補間処理を行うことができる。ただし、ａ，ｂ，ｃはそれぞれ対応点ａ１，ｂ１，ｃ１により内挿された画素値を表している。
【００４９】以上述べた構成及び方法を用いて多数枚の入力画像から補間画像を生成することにより、２枚の画像からでは求めることができなかった対応点を検出することができるので、補間の精度が向上する。対応点探索の際においても、撮影パラメータを用いて探索パラメータを自動的に決定できるため、探索処理の高速化が可能となっている。また、多数枚の画像から対応点を求めるので前述のようにオクルージョンの問題が解決でき、また、検出した直線数を利用した補間方法によって、撮影した物体の前後配置が逆転する問題も解決できる。
【００５０】また、以上は上下方向の視差を省略した場合について説明したが、平面上で格子状の粗い視点間隔の撮影位置から撮影した多視点画像を保持し、混ぜ、左右方向にこれらの多視点画像を視点間補間し、次に上下方向に視点間補間することにより、上下方向の視差も考慮した画像が生成される。
【００５１】次に、本実施例の画像処理装置における対応点探索部において、さらに高速化を行う方法を示す。
【００５２】なお、本実施例の対応点探索部において、直線探索をエピポーラプレーンイメージの第１ラインから最終ラインに向かって探索するだけ行うのではなく、最終ラインから第１ラインに向かって探索を行うことによっても実現できる。その際の探索パラメータである探索範囲、探索刻み、直線の傾きは、それぞれのパラメータの符号を反転させれば、そのまま直線探索可能が可能となる。このように、１つのＥＰＩについてその上下から対応点を探索することで、対応点探索処理をより高速化することができる。
【００５３】
【第２実施例】次に、利用者が頭の位置を前後に変えて視点を上下前後左右に移動させた場合、観察者の視点位置を検出し、観察者から見える画像を再構成することによって、観察者が視点を上下前後左右にスムーズに移動した場合にも対応できる画像処理装置の例を示す。ただし、説明をわかりやすくするため、以下では上下方向の視差を省略した場合について説明する。
【００５４】図１１は本発明の第２実施例である画像表示装置の構成を示す図である。図１１において、１は固定して設置される画像表示用の表示スクリーン、２は表示スクリーン１を眺める利用者の目の位置を検出する視点検出器、３は平面上に並んだ粗い視点間隔から表示する対象物を撮影した多視点画像を保持している多視点画像データベースである。
【００５５】４は表示スクリーン１に関するパラメータを保持する表示パラメータ保持部、５は多視点画像データベース４の多視点画像を撮影した際の視点並びの平面を表す座標系を保持している撮影視点座標系保持部、６は多視点画像データベース４の視点間補間された画像も含む多視点画像の多視点画像の画像パラメータを保持している多視点画像パラメータ保持部である。
【００５６】７は視点検出器１からの信号をもとに視点パラメータを算出する視点パラメータ算出部、８は視点の移動に対応した画像を生成する画像生成部、９は注目する画素を示す画素インデクス信号、１０は視点パラメータと表示パラメータから、画素インデクス信号９の示す画素に対応する視線方向を算出する視線パラメータ算出部、１１は視線パラメータの表す視線と、撮影視点座標系が表す撮影視点並びの平面との交点（仮想視点）を算出する仮想視点パラメータ算出部、１２は視線パラメータ、撮影視点座標系、仮想視点パラメータおよび多視点画像パラメータから、仮想視点における画像の視線方向に対応する画素位置を算出する画素位置算出部、１３は画素位置と仮想視点パラメータをもとに、多視点画像データベース３の視点間補間された画像も含む多視点画像から、対応する画素値を算出する画素値算出する画素値算出部、１４は表示スクリーン１へ画像を表示する画像表示部である。
【００５７】１５は、視点パラメータが更新されたことを示す更新信号、１６は画素値を表す画素値信号である。１７は第１実施例で用いられた粗い視点間隔から撮影された多視点画像から十分細かい視点間間隔の多視点画像を生成する視点間補間処理部、１８をまとめて画素値生成部と呼ぶ。
【００５８】次に、図１１の構成による画像表示装置の作用の概略を述べる。表示スクリーン１を眺める利用者が頭の位置を変えて視点を移動させると、視点検出器２の信号が変化し、視点パラメータ算出部７は、この変化を受けて更新信号１５を画像生成部８へ送る。画像生成部８は更新信号１５を受けると、視点移動に対応した新たな画像の生成を開始する。画像生成部８はすべての画素について画素インデクス信号９に対応した画素値信号１６を画素値生成部１７より得る。画素値生成部１７では、表示パラメータ保持部４から表示パラメータをそれぞれ取得し、画素インデクス信号９に対応する視線パラメータを算出する。次に仮想視点パラメータ算出部１１は、撮影視点座標系保持部５から撮影視点座標系を取得し、視線パラメータの表す視線と、撮影視点座標系が表す撮影視点の並びの平面との交点（仮想視点）を表す仮想視点パラメータを算出する。
【００５９】一方、画素位置算出部１２は、多視点画像パラメータ保持部６から多視点画像パラメータを取得し、その他、視線パラメータ、撮影視点座標系、仮想視点パラメータから仮想視点位置における画像の視線方向に対応する画素位置を算出する。画素値算出部１３は画素位置と仮想視点パラメータをもとに、多視点画像データベース３およびそれらより視点間補間処理部１７で生成された視点間補間画像から、対応する画素値信号１６を算出する。画像生成部８はすべての画素について、画素値信号１６を画素値算出部１３から得ると、これを画像表示部１４へ送る。画像表示部１４はこうして生成された新しい視点に対応した画像を表示スクリーン１へ表示する。
【００６０】結果として、利用者は多視点画像データベース３に保持されている画像を撮影した視点位置以外の、前後上下左右に視点を移動してもその視点移動に合わせた対象物の画像を表示スクリーン１を通して眺めることができる。
【００６１】次に、各部の処理を詳しく説明する。
【００６２】まず、図１２，図１３を用いて、視線パラメータ算出部１０の処理を説明する。
【００６３】図１２は視線パラメータ算出部１０の算出原理を示す図である。１は表示スクリーン、２１は表示スクリーン１の端点（位置ベクトルＸｓで示す）、２２は長さが表示スクリーン１のピクセルピッチで、傾きが表示スクリーン１の傾きに一致するベクトル（表示スクリーンベクトルｐで示す）、２３は表示スクリーン１上の注目する画素位置（位置ベクトルＸｐで示す）、２４は利用者の視点位置（位置ベクトルＸｖで示す）、２５は注目する画素位置２３に対応する視線、２６は視線２５の傾きを表す視線ベクトル（ベクトルａで示す）である。
【００６４】図１３は視線パラメータ算出部１０の処理を示すフローチャートである。まず、Ｓ３１で視点パラメータ算出部７から視点パラメータを取得する。ここで、視点パラメータは図１２の利用者の視点位置２４である。次にＳ３２で表示パラメータ保持部４から表示パラメータを取得する。ここで表示パラメータとは、表示スクリーン１の端点２１（ベクトルＸｓ）、表示スクリーンベクトル２２（ベクトルｐ）である。表示スクリーンベクトル２２は、表示スクリーンの傾き、実サイズおよびピクセルサイズから決定される。次にＳ３３で、図１２１２に示す幾何学に従い、画素インデクス信号９に対応する表示スクリーン１上の注目する画素位置２３を以下の（１）式で算出する。ただし、画素インデクス信号９をｉとする。
【００６５】Ｘｐ＝Ｘｓ＋ｉ・ｐ … （１）
次にＳ３４で、視点位置２４から眺めた場合の画素位置２３の方向に対応する視線パラメータを求める。視線パラメータは、視点位置２４および視線ベクトル２６の組み（Ｘｖ，ａ）とする。視線２５は図１２に示す幾何学に従い、画素位置２３（ベクトルＸｐ）および視点位置２４（ベクトルＸｖ）の２点を通る直線であり、視線ベクトル２６（ベクトルａ）は以下の（２）式で算出する。
【００６６】ａ＝Ｘｐ−Ｘｖ … （２）
視線パラメータ算出部１０は、このようにして視線パラメータを算出する。
【００６７】次に、図１４を用いて仮想視点パラメータ算出部１１および画素位置算出部１２の処理を説明する。
【００６８】図１４は仮想視点パラメータ算出部１１および画素位置算出部１２の算出原理を示す図である。２５は視線、４１は多視点画像データベース３の多視点画像を撮影した際の視点の並びの平面である視点並び直線、４２は視線２５と、視点並び直線４１との交点（仮想視点，位置ベクトルＸで示す）、４３は視点並び直線４１の傾きを表すベクトル（視点並びベクトルＴで示す）、４４は視点並び直線の端点（位置ベクトルＸｌで示す）である。４５は仮想視点４２における画角θの視野、４６は、長さが、多視点画像を撮影したカメラの焦点距離、傾きが、カメラの傾きであるようなベクトル（焦点ベクトルｆで示す）、４７は仮想視点４２における仮想的な撮像面、４８は仮想的な撮像面４７と視線２５との交点である画素位置（位置ベクトルＸｐ’で示す）、４９は長さが仮想的な撮像面４７のピクセルピッチで、傾きが仮想的な撮像面４７の傾き（通常は焦点ベクトル４６に直角）に一致するベクトル（撮像面ベクトルｐ’で示す）である。
【００６９】ここで、視点並びベクトル４３および視点並び直線の端点４４が撮影視点座標系を表す値として、撮影視点座標系保持部５に保持されている。また、焦点ベクトル４６および撮像面ベクトル４９は、多視点画像パラメータとして多視点画像パラメータ保持部６に保持されている。焦点ベクトル４６は、多視点画像を撮影したカメラの焦点距離および傾きから決定される。撮像面ベクトル４９は、焦点ベクトル４６に直交し、大きさが撮像面のセルサイズ（１ピクセルの大きさ）に等しいベクトルである。
【００７０】次に、図１４を用いて仮想視点パラメータ算出部１１の処理を説明する。図１４の示す幾何学に従うと、仮想視点４２は以下の（３），（４）式で表される。
【００７１】Ｘ＝Ｘｌ＋ｔ・Ｔ … （３）
Ｘ＝Ｘｖ＋α・ａ … （４）
ここで仮想視点を一意に表すパラメータとしてｔを仮想視点パラメータとする。αは視線方向の係数である。（３），（４）式を解くことによりｔを算出し、Ｘを算出する。
【００７２】次に、図１４を用いて画素位置算出部１２の処理を説明する。図１４の示す幾何学に従い、画素位置４８は以下の（５），（６）式で表される。
【００７３】Ｘｐ’＝Ｘ＋ｆ＋ｉ’・ｐ’ … （５）
Ｘｐ’＝Ｘ＋β・ａ … （６）
ここで、画素位置４８を一意に表すパラメータとしてｉ’を画素位置パラメータとする。βは視線方向の係数である。（５），（６）式を解くことによりｉ’を算出し、これを画素位置算出部１２の出力とする。
【００７４】次に、画素値算出部１３の処理について具体的に説明する。
【００７５】本実施例では、多視点画像データベース３に保持されている多視点画像は、粗い視点間隔で撮影した画像であり、それを視点間補間処理部１７で十分細かい視点間補間画像が得られる。この補間処理は、第１実施例で説明した要領で行われる。そこで、まず、仮想視点パラメータ算出部１１で算出された仮想視点パラメータｔの示す仮想視点４２からの画像の近似画像として、仮想視点に一番近い視点から撮影された画像を、多視点画像データベース３から得て、それを基にして視点間補間処理部で補間画像を生成する。次に、この画像のうち、画素位置算出部１２で算出された画素位置４８に最も近い位置の画素の値を取得し、これを出力の画素値信号１６とする。
【００７６】以上、説明をわかりやすくするため、上下方向の視差を省略した場合についての各部の処理を説明したが、上下方向の多視点画像を用意すれば同様の方法で、上下方向の視差を考慮に入れた、前後上下左右に視点移動可能な両眼立体表示装置となる。
【００７７】以上述べた構成及び方法を用いて、多数枚の入力画像から補間画像を生成することにより、２枚の画像からでは求めることができなかった対応点を検出することができるので、補間の精度が向上する。対応点探索の際においても、撮影パラメータを用いて探索パラメータを自動的に決定できるため、探索処理の高速化が可能となっている。また、多数枚の画像から対応点を求めるので前述のようにオクルージョンの問題が解決でき、また、検出した直線数を利用した補間方法によって、撮影した物体の前後配置が逆転する問題も解決できる。このようにして得られた補間画像を、観察者の視点に応じて表示するために、本実施例の画像表示装置は、観察者の視点の移動に伴ってスムーズで精度の高い画像の移動が可能である。
【００７８】なお、表示スクリーン１および画像表示部８に、レンチキュラー方式やメガネ方式等の両眼立体視が可能な立体表示スクリーン及び立体画像表示部を用い、かつ、視点パラメータ算出部７が左右おのおのの目の位置に対応する視点パラメータを算出し、これに対応して画像生成部８が左右おのおのの目に提示するための画像を生成することにより、前後上下左右に視点移動可能な両眼立体表示装置となる。
【００７９】
【第３実施例】次に、第２実施例における表示スクリーン１が利用者の頭部に固定される形の、いわゆるヘッド・マウンテッド・ディスプレイ（ＨＭＤ）タイプの画像表示装置の例を示す。
【００８０】本実施例の構成は、第２実施例の構成のうち、視線パラメータ算出部１０の処理内容だけを以下に説明する処理に置き換えた形となる。説明は、上下方向の視差を省略した場合について述べる。
【００８１】図１５は本実施例における視線パラメータ算出部１０の算出原理を示す図である。１は表示スクリーン、２２は、長さが表示スクリーン１のピクセルピッチで、傾きが表示スクリーン１の傾きに一致するベクトル（表示スクリーンベクトルｐ）、２３は表示スクリーン１上の注目する画素位置（位置ベクトルＸｐ）、２４は利用者の視点位置（位置ベクトルＸｖ）、１１１は視点位置２４から表示スクリーン１の中央点へのベクトル（正面ベクトルＦ）、２５は注目する画素位置２３に対応する視線、２６は視線２５の傾きをあらわす視線ベクトル（ベクトルａ）である。
【００８２】次に、図１５を用いて、視線パラメータ算出部１０の処理を説明する。ＨＭＤタイプの表示装置では、視点検出器２は、利用者の視点２４の位置に加えて、正面方向の傾き、すなわち正面ベクトル１１１の傾きを検出する。表示スクリーンベクトル２２の傾きは正面ベクトル１１１の傾きから決定される（通常は直角）。一方、視点位置２４から表示スクリーン１までの距離、すなわち正面ベクトル１１１の長さ、および、ピクセルピッチすなわち表示スクリーンベクトル２２の長さは、ＨＭＤの形状によって決定される固定した値であり、この値は表示パラメータ保持部４に保持される。図１５１５の示す幾何学に従い、注目する画素位置２３（ベクトルＸｐ）および視線ベクトル２６（ベクトルａ）を以下の式で算出する。ただし、画素インデクス９をｉとする。
【００８３】Ｘｐ＝Ｘｖ＋Ｆ＋ｉ・ｐａ＝Ｘｐ−Ｘｖ以上のように、視点パラメータ算出部１０により画素位置および視線を算出し、それ以外の構成，処理を第１実施例と同じ要領で行うことで、ＨＭＤタイプの表示装置で多視点画像を任意の視点移動表示できる画像表示装置となる。
【００８４】また、表示スクリーン１が頭部に固定されていなくても、固定して設置された表示スクリーン１と利用者の視点位置２４の相対的位置関係が固定であるようなコックピットタイプの表示装置を用いても、本実施例と同じ視線パラメータ算出部１０の処理で、任意の視点移動表示できる画像表示装置となる。このとき、視点検出器２の代わりに、基準座標における視点位置２４をハンドル等で操作する視点位置入力装置を用いる。
【００８５】以上述べた構成及び方法を用いて、多数枚の入力画像から補間画像を生成することにより、２枚の画像からでは求めることができなかった対応点を検出することができるので、補間の精度が向上する。対応点探索の際においても、撮影パラメータを用いて探索パラメータを自動的に決定できるため、探索処理の高速化が可能となっている。また、多数枚の画像から対応点を求めるので前述のようにオクルージョンの問題が解決でき、また、検出した直線数を利用した補間方法によって、撮影した物体の前後配置が逆転する問題も解決できる。このようにして得られた補間画像を、観察者の視点に応じて表示するために、本実施例のＨＭＤによれば、観察者の視点の移動に伴ってスムーズで精度の高い画像の移動が可能である。
【００８６】以上の第１乃至第３実施例各々では、あらかじめ撮影された多視点画像とそれから視点間補間を行った画像も含んだ多視点画像データベース３に保持されている構成としたが、これを、多視点画像を実時間で取り込むことのできる多眼テレビカメラに置き換えることにより、実時間の任意視点画像撮影・表示システムとなる。
【００８７】上記構成により、上記各実施例の装置は、物体の前後関係が逆転してしまうような場合においても、精度よく補間画像を生成することが可能となった。また、対応点探索パラメータを自動的に決定することによって、補間処理の高速化が可能となった。また、補間処理により求めた多数の画像あるいは十分細かく視点を移動して撮影した多視点画像を用いて前後方向の視点移動に対応した画像を再構成することにより、従来は対応できなかった前後方向への視点移動が可能となった。
【００８８】なお、本発明は単体の画像処理装置に適用しても良いし、多視点テレビ、多視点テレビ電話端末や多視点テレビ会議システムのようなシステム機器に適用してもよいし、コンピュータや他の画像処理装置と組み合わせた複合装置にも適用できる。
【００８９】
【発明の効果】以上説明したように、本発明に係る画像表示装置は、画像の内容にかかわらず正確に補間画像を生成することができ、また、生成した補間画像を用いて高精度の表示を実現することができる。
【００９０】
【図面の簡単な説明】
【図１】本発明の第１実施例の画像表示装置のブロック図である。
【図２】第１実施例の画像補間処理の流れを示すフローチャートである。
【図３】図２ステップＳ２２の撮影パラメータから対応点探索範囲の算出原理を示す図である。
【図４】図２ステップＳ２３の対応点探索処理の流れを示すフローチャートである。
【図５】ｊ番目のエピポーラプレーンイメージを示す図である。
【図６】図２ステップＳ２４の直線検出の流れを示すフローチャートである。
【図７】補間処理を説明するための図である。
【図８】補間処理の流れを示すフローチャートである。
【図９】補間処理を説明するための図である。
【図１０】補間処理を説明するための図である。
【図１１】第２実施例の画像表示装置のブロック図である。
【図１２】第２実施例の視線パラメータ算出部１０の算出原理を示す図である。
【図１３】視線パラメータ算出部１０の処理を示すフローチャートである。
【図１４】仮想視点パラメータ算出部１１および画素位置算出部１２の算出原理を示す図である。
【図１５】第３実施例における視線パラメータ算出部１０の算出原理を示す図である。
【図１６】視点間補間の処理の流れを示す図である。
【図１７】第１実施例の対応点を検出する処理のフローチャートである。
【符号の説明】
２０，２１，２２，２３ カメラ、
２５ ＣＰＵ、
２６ ＲＡＭ、
２７ ＲＯＭ、
２９ ディスク、
３０ ＶＲＡＭ、
３２ ディスプレイである。
【特許請求の範囲】
【請求項１】 複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさをチェックするチェック工程と、前記候補検出工程により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間の関係に基づいて、前記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程と、を備えたことを特徴とする画像処理方法。
【請求項２】 前記画像入力工程は、複数台のカメラから画像を入力することを特徴とする請求項１記載の画像処理方法。
【請求項３】 前記画像入力工程は、画像データベースから画像を入力することを特徴とする請求項１記載の画像処理方法。
【請求項４】 前記候補検出工程は、入力画像間の対応点をエピポーラプレーンイメージ上で直線検出することにより検出することを特徴とする請求項１記載の画像処理方法。
【請求項５】 前記候補検出工程は、エピポーラプレーン上で検出する直線の傾きを小数精度で求めることを特徴とする請求項４記載の画像処理方法。
【請求項６】 前記チェック工程は、各注目画素から検出される直線数に応じて、直線数が多ければ低い得点を、直線数が少なければ高い得点を各直線上の各画素に対して付与し、前記対応検出工程は、対応画素候補のうち、高得点を有する画素を、低得点を有する画素の対応画素から除外することを特徴とする請求項４記載の画像処理方法。
【請求項７】 前記候補検出工程は、直線検出の際に、撮影時のパラメータを用いて検出パラメータを自動的に決定することを特徴とする請求項４記載の画像処理方法。
【請求項８】 前記候補検出工程は、直線検出を逆方向からも検索することを特徴とする請求項４記載の画像処理方法。
【請求項９】 前記画像補間工程は、画像の補間を、入力画像の各エピポーラプレーンイメージ毎に行うことを特徴とする請求項４記載の画像処理方法。
【請求項１０】 前記対応検出工程は、より対応関係の確かな対応画素を有する画素を、対応関係のより不確かな対応点を有する画素の対応点から除外することを特徴とする請求項１記載の画像処理方法。
【請求項１１】 前記画像補間工程は、前記候補検出手段により各エピポーラプレーンイメージ上で検出された直線上に画素を補って補間ラスタを生成し、該補間ラスタを各エピポーラプレーンイメージごとに繋ぎ合わせて補間画像を生成することを特徴とする請求項４記載の画像処理方法。
【請求項１２】 複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与工程と、前記候補検出工程により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程と、を備えたことを特徴とする画像処理方法。
【請求項１３】 観察者の目の位置を検出する視点検出工程と、検出された視点位置から見える画像を、前記画像入力工程により入力された画像と、前記画像補間工程による生成された補間画像とから再構成する画像再構成工程と、該再構成された画像を出力する画像出力工程とを更に備えることを特徴とする請求項１記載の画像処理方法。
【請求項１４】 前記画像再構成工程は、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータを計算し、そのパラメータを用いて再構成画像の各画素が入力された多視点画像のどの画素に対応するかを計算し、対応する画素を多視点画像から抽出して画像を再構成することを特徴とする前記請求項１３記載の画像処理方法。
【請求項１５】 複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさをチェックするチェック手段と、前記候補検出手段により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間の関係に基づいて、前記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段と、を備えたことを特徴とする画像処理装置。
【請求項１６】 前記画像入力手段は、複数台のカメラを含み、該カメラから画像を入力することを特徴とする請求項１５記載の画像処理装置。
【請求項１７】 前記画像入力手段は、画像データベースを含み、該データベースから画像を入力することを特徴とする請求項１５記載の画像処理装置。
【請求項１８】 前記候補検出手段は、入力画像間の対応点をエピポーラプレーンイメージ上で直線検出することにより検出することを特徴とする請求項１５記載の画像処理装置。
【請求項１９】 前記候補検出手段は、エピポーラプレーン上で検出する直線の傾きを小数精度で求めることを特徴とする請求項１８記載の画像処理装置。
【請求項２０】 前記チェック手段は、各注目画素から検出される直線数に応じて、直線数が多ければ低い得点を、直線数が少なければ高い得点を各直線上の各画素に対して付与し、前記対応検出手段は、対応画素候補のうち、高得点を有する画素を、低得点を有する画素の対応画素から除外することを特徴とする請求項１８記載の画像処理装置。
【請求項２１】 前記候補検出手段は、直線検出の際に、撮影時のパラメータを用いて検出パラメータを自動的に決定することを特徴とする請求項１８記載の画像処理装置。
【請求項２２】 前記候補検出手段は、直線検出を逆方向からも検索することを特徴とする請求項１８記載の画像処理装置。
【請求項２３】 前記画像補間手段は、画像の補間を、入力画像の各エピポーラプレーンイメージ毎に行うことを特徴とする請求項１８記載の画像処理装置。
【請求項２４】 前記対応検出手段は、より対応関係の確かな対応画素を有する画素を、対応関係のより不確かな対応点を有する画素の対応点から除外することを特徴とする請求項１５記載の画像処理装置。
【請求項２５】 前記画像補間手段は、前記候補検出手段により各エピポーラプレーンイメージ上で検出された直線上に画素を補って補間ラスタを生成し、該補間ラスタを各エピポーラプレーンイメージごとに繋ぎ合わせて補間画像を生成することを特徴とする請求項１８記載の画像処理装置。
【請求項２６】 複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与手段と、前記候補検出手段により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段と、を備えたことを特徴とする画像処理装置。
【請求項２７】 観察者の目の位置を検出する視点検出手段と、検出された視点位置から見える画像を、前記画像入力手段により入力された画像と、前記画像補間手段による生成された補間画像とから再構成する画像再構成手段と、該再構成された画像を出力する画像出力手段とを更に備えることを特徴とする請求項１５記載の画像処理装置。
【請求項２８】 前記画像再構成手段は、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータを計算し、そのパラメータを用いて再構成画像の各画素が入力された多視点画像のどの画素に対応するかを計算し、対応する画素を多視点画像から抽出して画像を再構成することを特徴とする前記請求項２７記載の画像処理装置。
【請求項１】 複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさをチェックするチェック工程と、前記候補検出工程により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間の関係に基づいて、前記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程と、を備えたことを特徴とする画像処理方法。
【請求項２】 前記画像入力工程は、複数台のカメラから画像を入力することを特徴とする請求項１記載の画像処理方法。
【請求項３】 前記画像入力工程は、画像データベースから画像を入力することを特徴とする請求項１記載の画像処理方法。
【請求項４】 前記候補検出工程は、入力画像間の対応点をエピポーラプレーンイメージ上で直線検出することにより検出することを特徴とする請求項１記載の画像処理方法。
【請求項５】 前記候補検出工程は、エピポーラプレーン上で検出する直線の傾きを小数精度で求めることを特徴とする請求項４記載の画像処理方法。
【請求項６】 前記チェック工程は、各注目画素から検出される直線数に応じて、直線数が多ければ低い得点を、直線数が少なければ高い得点を各直線上の各画素に対して付与し、前記対応検出工程は、対応画素候補のうち、高得点を有する画素を、低得点を有する画素の対応画素から除外することを特徴とする請求項４記載の画像処理方法。
【請求項７】 前記候補検出工程は、直線検出の際に、撮影時のパラメータを用いて検出パラメータを自動的に決定することを特徴とする請求項４記載の画像処理方法。
【請求項８】 前記候補検出工程は、直線検出を逆方向からも検索することを特徴とする請求項４記載の画像処理方法。
【請求項９】 前記画像補間工程は、画像の補間を、入力画像の各エピポーラプレーンイメージ毎に行うことを特徴とする請求項４記載の画像処理方法。
【請求項１０】 前記対応検出工程は、より対応関係の確かな対応画素を有する画素を、対応関係のより不確かな対応点を有する画素の対応点から除外することを特徴とする請求項１記載の画像処理方法。
【請求項１１】 前記画像補間工程は、前記候補検出手段により各エピポーラプレーンイメージ上で検出された直線上に画素を補って補間ラスタを生成し、該補間ラスタを各エピポーラプレーンイメージごとに繋ぎ合わせて補間画像を生成することを特徴とする請求項４記載の画像処理方法。
【請求項１２】 複数位置の視点に対応する複数の画像を入力する画像入力工程と、前記画像入力工程により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出工程と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与工程と、前記候補検出工程により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出工程と、該対応検出工程により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力工程により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間工程と、を備えたことを特徴とする画像処理方法。
【請求項１３】 観察者の目の位置を検出する視点検出工程と、検出された視点位置から見える画像を、前記画像入力工程により入力された画像と、前記画像補間工程による生成された補間画像とから再構成する画像再構成工程と、該再構成された画像を出力する画像出力工程とを更に備えることを特徴とする請求項１記載の画像処理方法。
【請求項１４】 前記画像再構成工程は、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータを計算し、そのパラメータを用いて再構成画像の各画素が入力された多視点画像のどの画素に対応するかを計算し、対応する画素を多視点画像から抽出して画像を再構成することを特徴とする前記請求項１３記載の画像処理方法。
【請求項１５】 複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさをチェックするチェック手段と、前記候補検出手段により検出された対応する画素の候補から、前記対応の確からしさに応じて、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間の関係に基づいて、前記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段と、を備えたことを特徴とする画像処理装置。
【請求項１６】 前記画像入力手段は、複数台のカメラを含み、該カメラから画像を入力することを特徴とする請求項１５記載の画像処理装置。
【請求項１７】 前記画像入力手段は、画像データベースを含み、該データベースから画像を入力することを特徴とする請求項１５記載の画像処理装置。
【請求項１８】 前記候補検出手段は、入力画像間の対応点をエピポーラプレーンイメージ上で直線検出することにより検出することを特徴とする請求項１５記載の画像処理装置。
【請求項１９】 前記候補検出手段は、エピポーラプレーン上で検出する直線の傾きを小数精度で求めることを特徴とする請求項１８記載の画像処理装置。
【請求項２０】 前記チェック手段は、各注目画素から検出される直線数に応じて、直線数が多ければ低い得点を、直線数が少なければ高い得点を各直線上の各画素に対して付与し、前記対応検出手段は、対応画素候補のうち、高得点を有する画素を、低得点を有する画素の対応画素から除外することを特徴とする請求項１８記載の画像処理装置。
【請求項２１】 前記候補検出手段は、直線検出の際に、撮影時のパラメータを用いて検出パラメータを自動的に決定することを特徴とする請求項１８記載の画像処理装置。
【請求項２２】 前記候補検出手段は、直線検出を逆方向からも検索することを特徴とする請求項１８記載の画像処理装置。
【請求項２３】 前記画像補間手段は、画像の補間を、入力画像の各エピポーラプレーンイメージ毎に行うことを特徴とする請求項１８記載の画像処理装置。
【請求項２４】 前記対応検出手段は、より対応関係の確かな対応画素を有する画素を、対応関係のより不確かな対応点を有する画素の対応点から除外することを特徴とする請求項１５記載の画像処理装置。
【請求項２５】 前記画像補間手段は、前記候補検出手段により各エピポーラプレーンイメージ上で検出された直線上に画素を補って補間ラスタを生成し、該補間ラスタを各エピポーラプレーンイメージごとに繋ぎ合わせて補間画像を生成することを特徴とする請求項１８記載の画像処理装置。
【請求項２６】 複数位置の視点に対応する複数の画像を入力する画像入力手段と、前記画像入力手段により入力される複数の画像間で対応する画素の候補を、エピポーラプレーンイメージ上で直線検出することにより検出する候補検出手段と、該対応画素の候補に対して、対応の確からしさを示す得点を、前記検出手段により検出された直線が各画素を通る数に応じて、各画素毎に付与する付与手段と、前記候補検出手段により検出された対応する画素の候補から、より対応関係の確かな対応画素を有する画素候補を、対応関係のより不確かな対応画素を有する画素の対応点から除外して、対応する画素を検出する対応検出手段と、該対応検出手段により検出された対応画素間を通るエピポーラプレーンイメージ上の直線上で補間点を生成し、該補間点をすべてのエピポーラプレーンイメージについて合成して、前記記画像入力手段により入力される画像の視点とは異なる視点に対応する画像を生成する画像補間手段と、を備えたことを特徴とする画像処理装置。
【請求項２７】 観察者の目の位置を検出する視点検出手段と、検出された視点位置から見える画像を、前記画像入力手段により入力された画像と、前記画像補間手段による生成された補間画像とから再構成する画像再構成手段と、該再構成された画像を出力する画像出力手段とを更に備えることを特徴とする請求項１５記載の画像処理装置。
【請求項２８】 前記画像再構成手段は、観察者の視点位置および画像出力装置の種類から画像の再構成に必要なパラメータを計算し、そのパラメータを用いて再構成画像の各画素が入力された多視点画像のどの画素に対応するかを計算し、対応する画素を多視点画像から抽出して画像を再構成することを特徴とする前記請求項２７記載の画像処理装置。
【図５】
【図７】
【図１】
【図２】
【図３】
【図４】
【図９】
【図１２】
【図６】
【図８】
【図１０】
【図１３】
【図１４】
【図１１】
【図１５】
【図１６】
【図１７】
【図７】
【図１】
【図２】
【図３】
【図４】
【図９】
【図１２】
【図６】
【図８】
【図１０】
【図１３】
【図１４】
【図１１】
【図１５】
【図１６】
【図１７】
【公開番号】特開平７−２９６１９４
【公開日】平成７年（１９９５）１１月１０日
【国際特許分類】
【出願番号】特願平６−１０７８５４
【出願日】平成６年（１９９４）４月２２日
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【公開日】平成７年（１９９５）１１月１０日
【国際特許分類】
【出願日】平成６年（１９９４）４月２２日
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
[ Back to top ]