画像生成装置、画像生成方法、画像生成装置用プログラム
【課題】オクルージョンに対応でき、低コストで、より少ない演算量で画像を生成する。
【解決手段】複数の撮像装置により第１位置から撮像された第１画像と第２位置から撮像された第２画像の入力を受け付け（Ｓ１）、各画像の各画素の色相を求める色相変換を行い（Ｓ３）、色相変換された各画像から特徴点を抽出し（Ｓ６）、第１画像と第２画像とにおいて対応する特徴点を求め（Ｓ７）、対応する特徴点の間の距離を有する視差ベクトルを算出し（Ｓ８）、同一画像内における特徴点の間の特徴点間距離を算出し（Ｓ１０）、特徴点間距離に基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求め（Ｓ１１）、第１位置と第２位置との間に第３位置を設定し（Ｓ９）、第３位置の位置関係と、視差ベクトルと、オクルージョン情報とに従い、第３位置から撮像された場合の第３画像を生成する（Ｓ１３）。
【解決手段】複数の撮像装置により第１位置から撮像された第１画像と第２位置から撮像された第２画像の入力を受け付け（Ｓ１）、各画像の各画素の色相を求める色相変換を行い（Ｓ３）、色相変換された各画像から特徴点を抽出し（Ｓ６）、第１画像と第２画像とにおいて対応する特徴点を求め（Ｓ７）、対応する特徴点の間の距離を有する視差ベクトルを算出し（Ｓ８）、同一画像内における特徴点の間の特徴点間距離を算出し（Ｓ１０）、特徴点間距離に基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求め（Ｓ１１）、第１位置と第２位置との間に第３位置を設定し（Ｓ９）、第３位置の位置関係と、視差ベクトルと、オクルージョン情報とに従い、第３位置から撮像された場合の第３画像を生成する（Ｓ１３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像用の画像を生成する画像生成装置、画像生成方法、画像生成装置用プログラムに関する。
【背景技術】
【０００２】
従来、臨場感のある裸眼式立体視を可能とするため、２つのカメラを用いて撮影された２つの画像（ステレオ画像）を用いて、２つのカメラの間の位置から撮像された場合の中間画像を生成して多眼化することが行われている。例えば、特許文献１には、被写体の映像を結像する第１結像レンズ部と、第１撮影素子と、を有する第１画像取得部と、第２結像レンズ部と、これによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部と、第２撮影素子と、を有する第２画像取得部とを備え、第２画像取得部は、第１画像取得部に対して被写体から見て水平方向に離れて配置される立体映像撮影装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−７８７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、先行技術では、複数のレンズがアレイ状に配列された特殊なカメラを使用しており、当カメラは製造が難しいカメラで、設備のコストが高く実現が困難である。さらに、先行技術では、画素の相関が高い物体のクラスタリングを行う必要があったり、描画する際、奥から描画する必要があるため、奥行き方向でのソートの処理が必要であったりするため、演算量が増加していた。また、左右のカメラにより撮像されたステレオ画像から中間画像を生成する際、左右のカメラのいずれか一方から見えないオクルージョン領域が存在する場合、このオクルージョン領域を処理する必要がある。
【０００５】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、オクルージョンに対応でき、低コストで、演算量を減少させた画像生成装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段と、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段と、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段と、前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段と、前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段と、前記第１位置と第２位置との間に第３位置を設定する位置設定手段と、前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段と、を備えたことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像生成装置において、前記オクルージョン情報手段が、前記対応する特徴点間距離が異なる場合、オクルージョンが存在とするオクルージョン情報を求めることを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の画像生成装置において、前記視差ベクトル算出手段が、複数の視差ベクトルを算出し、前記画像生成手段が、前記オクルージョン情報に応じて、前記第３画像を生成するための視差ベクトルを選択することを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像生成装置において、前記特徴点抽出手段は、前記色相の変化が生じた箇所を前記特徴点として抽出することを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像生成装置において、前記色相変換手段が、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換することを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像生成装置において、前記第１画像および第２画像の各画像のスキャン方向は、前記第１位置と第２位置とを結ぶ方向であることを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像生成装置において、前記画像生成手段が、前記第３画像における前記対応する特徴点の位置を、前記第３位置の位置関係に対応する比率と前記視差ベクトルとから決定することを特徴とする。
【００１３】
また、請求項８に記載の発明は、請求項１から７のいずれか１項に記載の画像生成装置において、前記画像生成手段が、前記視差ベクトルに従い、前記第１位置および第２位置のうち前記第３位置に近い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする。
【００１４】
また、請求項９に記載の発明は、請求項８に記載の画像生成装置において、前記画像生成手段が、前記視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする。
【００１５】
また、請求項１０に記載の発明は、請求項１から９のいずれか１項に記載の画像生成装置において、前記位置設定手段が、複数の第３位置を設定し、前記画像生成手段が、複数の第３画像を生成することを特徴とする。
【００１６】
また、請求項１１に記載の発明は、画像生成装置が、画像を生成する画像生成方法であって、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換ステップと、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索ステップと、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出ステップと、前記第１画像および第２画像の各画像において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出ステップと、前記第１画像の特徴点間距離と、これに対応する前記第２画像の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報ステップと、前記第１位置と第２位置との間に第３位置を設定する位置設定ステップと、前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成ステップと、を有することを特徴とする。
【００１７】
また、請求項１２に記載の発明は、コンピュータを、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段、前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段、前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段、前記第１位置と第２位置との間に第３位置を設定する位置設定手段、および、前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段として機能させる。
【発明の効果】
【００１８】
本発明によれば、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付け、第１画像および第２画像の各画素の色相を求める色相変換を行い、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出し、第１画像と第２画像とにおいて対応する特徴点を求め、対応する特徴点の間の距離を有する視差ベクトルを算出し、第１画像および第２画像の各画像内において、同一画像内における特徴点の間の特徴点間距離を算出し、第１画像内の特徴点間距離と、これに対応する第２画像内の特徴点間距離とに基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求め、第１位置と第２位置との間に第３位置を設定し、第１位置および第２位置に対する第３位置の位置関係と、視差ベクトルと、オクルージョン情報とに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する。これにより、特徴点間距離からオクルージョン情報を求め、オクルージョンに対応でき、特殊なカメラは使用せず、奥行き情報無しに、第３位置の位置関係と視差ベクトルとに従い、特徴点間の画像データを描画するので、低コストで、より少ない演算量で画像を生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像生成システムの概要構成例を示すブロック図である。
【図２】図１の画像生成の概要構成の一例を示すブロック図である。
【図３】図１の撮像装置の位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。
【図４】図１の画像生成装置の動作例を示すフローチャートである。
【図５Ａ】図１の撮像装置により撮像された画像の一例を示す模式図である。
【図５Ｂ】図１の撮像装置により撮像された画像の一例を示す模式図である。
【図６】撮像された画像に対するスキャン方向の一例を示す模式図である。
【図７】色相で分類されインデックス化されたラインデータの一例を示す模式図である。
【図８】色相変換された画像の一例を示す模式図である。
【図９】撮像された画像の特徴点（基準点）および視差ベクトルの一例を示す模式図である。
【図１０】撮像された画像の基準点、および、仮想的な撮像装置から撮像された場合の画像の基準点の一例を示す模式図である。
【図１１】図４のオクルージョン処理のサブルーチンの一例を示すフローチャートである。
【図１２】基準点周りの画素値の関係性の一例を示す模式図である。
【図１３】基準点周りの画素値の関係性の一例を示す模式図である。
【図１４】基準点周りの画素値の関係性の一例を示す模式図である。
【図１５】基準点周りの画素値の関係性の一例を示す模式図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像生成システムに対して本発明を適用した場合の実施形態である。
【００２１】
［１．画像生成システムの構成および機能の概要］
（１．１ 画像生成システム１の構成および機能）
【００２２】
まず、本発明の一実施形態に係る画像生成システムの構成および概要機能について、図１を用いて説明する。
【００２３】
図１は、本実施形態に係る画像生成システム１の概要構成例を示すブロック図である。
【００２４】
図１に示すように、画像生成システム１は、所定の位置で撮像された被写体５の画像から仮想位置から撮像した場合の画像を生成する画像生成装置１０と、所定の位置で被写体５を撮像する撮像装置（撮像手段の一例）２０と、を備えている。本実施形態に置いて撮像装置２０ａ、２０ｂは、動画撮影をする場合には同期撮影であってもよい。
【００２５】
画像生成装置１０は、撮像装置２０により撮像された複数の画像の画像データの入力を受け付ける画像入力手段１０ａと、ＲＧＢ信号の画像データから各画素の色相を求める変換を行う色相変換手段１０ｂと、色相変換された画像データから、画像の特徴点を抽出する特徴点抽出手段１０ｃと、画像間で対応する特徴点を求める対応点探索手段１０ｄと、対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段１０ｅと、仮想位置を設定する位置設定手段１０ｆと、同一画像内における前記特徴点の間の特徴間距離算出手段１０ｇと、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報手段１０ｈと、仮想位置で撮像された画像を生成する画像生成手段１０ｉと、生成された画像を表示する表示部１３と、を有する。
【００２６】
撮像装置２０は、撮像手段の一例である左目用の撮像装置２０ａと、右目用の撮像装置２０ｂとを有し、ステレオカメラを構成する。被写体５に対して、例えば、水平方向に、撮像装置２０ａと、撮像装置２０ｂとは、所定の距離を置いて設置される。撮像装置２０ａが設置される位置が、第１位置の一例であり、撮像装置２０ｂが設置される位置が、第２位置の一例である。撮像装置２０ａ、２０ｂは、静止画を撮像するスチルカメラ、または、動画を撮像するビデオカメラであり、解像度や、色の階調等に関して同一の性能を有する。撮像装置２０ａ、２０ｂの出力は、デジタル出力であるが、アナログ出力の撮像装置の場合は、Ａ／Ｄ変換器を有し、デジタル信号を出力する。
【００２７】
撮像装置２０ａは、被写体５を左寄りから撮影し、左目用の画像（第１位置で撮像された第１画像の一例）を出力する。撮像装置２０ｂは、被写体５を右寄りから撮影し、右目用の画像（第２位置で撮像された第２画像の一例）を出力する。
【００２８】
撮像装置２０ａおよび撮像装置２０ｂは、画像生成装置１０の画像入力手段１０ａに接続される。
【００２９】
（１．２ 画像生成装置１０の構成および機能）
次に、画像生成装置１０の構成および機能について、図２を用いて説明する。
図２は、画像生成装置１０の概要構成の一例を示すブロック図である。
【００３０】
図２に示すように、画像生成装置１０は、例えば、パーソナルコンピュータやサーバ装置等であり、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６とを備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００３１】
通信部１１は、画像生成装置１０の外部等とのデータや信号の送受信を行う。例えば、ネットワーク接続に使用される。
【００３２】
記憶部１２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、制御用のプログラムや画像処理用のプログラム等を記憶する。
【００３３】
表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、撮像装置２０により撮像された被写体５の画像や、生成された画像が表示される。
【００３４】
操作部１４は、例えば、キーボードおよびマウス等によって構成されている。
【００３５】
入出力インターフェース部１５は、撮像装置２０ａおよび撮像装置２０ｂの出力端に直接接続される部分で、画像入力手段１０ａの機能を実現するインターフェースである。撮像装置２０（２０ａ、２０ｂ）、通信部１１および記憶部１２とシステム制御部１６とのインターフェースである。
【００３６】
システム制御部１６は、例えば、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、ＲＡＭ１６ｃとを有する。システム制御部１６は、ＣＰＵ１６ａが、ＲＯＭ１６ｂや、ＲＡＭ１６ｃや、記憶部１２に記憶された各種プログラムを読み出して実行する。例えば、システム制御部１６は、画像処理のプログラムを実行し、色相変換手段１０ｂ、特徴点抽出手段１０ｃ、対応点探索手段１０ｄ、視差ベクトル算出手段１０ｅ、位置設定手段１０ｆ、画像生成手段１０ｇ等の機能を実現する。
【００３７】
（１．３ 仮想的な撮像装置の位置）
次に、仮想的な撮像装置の位置（仮想位置）について図３を用いて説明する。
図３は、撮像装置２０ａ、２０ｂの位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。
【００３８】
図３に示すように、撮像装置２０ａと撮像装置２０ｂとは、ｘ方向（例えば水平方向）に距離Ｌで設置されている。撮像装置２０ａと撮像装置２０ｂと間に、仮想的な撮像装置２５が３台設定される。撮像装置２５ａ、撮像装置２５ｂ、および、撮像装置２５ｃは等間隔に設定される。撮像装置２０ａの設置位置の第１位置０を基準として、撮像装置２０ｂの設置位置の第２位置Ｌとすると、第３位置の一例として、撮像装置２５ａの場合、位置Ｌ／４、撮像装置２５ｂの場合、位置Ｌ／２、撮像装置２５ｃの場合、位置３Ｌ／４が設定される。ここで、仮想的な撮像装置２５により撮像された場合の画像を中間視差画像（第３画像の一例）とする。
【００３９】
［２．画像生成システムの動作］
（２．１ 画像生成システムの動作）
次に、本発明の１実施形態に係る画像生成システムの動作について図４から図１２を用いて説明する。
図４は、画像生成装置１０の動作例を示すフローチャートである。図５Ａおよび図５Ｂは、撮像装置２０により撮像された画像の一例を示す模式図である。図６は、撮像された画像に対するスキャン方向の一例を示す模式図である。図７は、クラスタリングされインデックス化されたラインデータの一例を示す模式図である。図８は、色相変換された画像の一例を示す模式図である。図９は、撮像された画像の特徴点（基準点）および視差ベクトルの一例を示す模式図である。図１０は、撮像された画像の基準点、および、仮想的な撮像装置から撮像された場合の画像の基準点の一例を示す模式図である。
【００４０】
ここで、中間視差画像を生成方法の原理について簡単に説明する。
本提案手法では中間視差画像を生成する上で、画素値を算出して補間をするのでは無く、視点の移動による物体の移動距離を用いることにより、画像間の動きの軌跡を逆にたどり、２枚の元画像３０ａ、３０ｂに存在する画素のみを用いて中間視差画像を生成する。
【００４１】
また、２枚の元画像３０ａ、３０ｂから互いに対応する特徴点を抽出し、特徴点から視差ベクトルを算出する。そして、生成される中間視差画像において、元画像の特徴点と近似した値の画素は、必ず特徴点間に存在すると考えられる。例えば、図３に示すように等間隔で仮想的な撮像装置２５ａ、２５ｂ、２５ｃが設置されているとすると、移動距離（視差ベクトルの長さ）を４で割ることにより位置関係が求まり、中間視差画像における特徴点と等しい値の画素がどのような間隔で配置されているかがわかる。そのため、中間視差画像において元画像３０ａ、３０ｂの特徴点に対応する基準点が、位置関係と視差ベクトルとに従い求まる。この基準点の周りに画素配置をしていくことにより、中間視差画像を生成することができる。なお、基準点は、第３画像における対応する特徴点の一例である。
【００４２】
しかし、中間視差画像を生成するに当たり、ステレオ画像においては画像を平行に移動させることの他に、オクルージョンという奥行きの存在を考えなければならない。オクルージョンとは物体を観察する際に左目または右目では見えていても右目または左目では見えていない領域である。例えば、図５Ａに示すように、右目の画像３０ｂでは、見えない領域が発生する。
【００４３】
まず、画像生成システムの動作として、画像生成装置１０のシステム制御部１６は、図３に示すように、第３位置の一例として、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）を予め設定しておく。このように画像生成装置１０のシステム制御部１６は、第１位置と第２位置との間に第３位置を設定する位置設定手段１０ｆの一例として機能する。
【００４４】
そして、画像生成装置１０のシステム制御部１６は、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置に応じた中間視差画像を生成するための記憶領域を、記憶部１２に予め設定しておく。
【００４５】
次に、図４に示すように、画像生成装置１０は、左右の画像の入力を受け付ける（ステップＳ１）。具体的には、画像生成装置１０のシステム制御部１６は、図５Ａおよび図５Ｂに示すように、被写体５を左側から撮像した画像３０ａ、３１ａ（第１画像の一例）を、撮像装置２０ａから受け付け、右側から撮像した画像３０ｂ、３１ｂ（第２画像の一例）を、撮像装置２０ｂから受け付ける。画像３０ａ、３１ａは、撮像装置２０ａの位置（第１位置の一例）から撮像した画像であり、画像３０ｂ、３１ｂは、撮像装置２０ｂの位置（第２位置の一例）から撮像した画像である。なお、画像のデータは、ＲＧＢ信号のデータである。このように、画像生成装置１０のシステム制御部は、複数の撮像手段により第１位置から撮像された第１画像と、第２位置から撮像された第２画像との入力を受け付ける画像入力手段１０ａの一例として機能する。
【００４６】
次に、画像生成装置１０は、各画像の１ライン分の画像データを取得する（ステップＳ２）。具体的には、画像生成装置１０のシステム制御部１６は、図６に示すよう、撮像された各画像３０ａ、３０ｂ（３１ａ、３１ｂ）をｘ方向にスキャンして１ライン分の画像データを取得する。なお、スキャン方向のｘ方向は、第１位置と第２位置とを結ぶ方向の一例である。
【００４７】
次に、画像生成装置１０は、ＲＧＢ信号に対してＨＳＶ変換を行う（ステップＳ３）。具体的には、画像生成装置１０のシステム制御部１６は、下記の式に従い、ＲＧＢ信号の各画像のデータの１ライン分の各画素に対して、各画素の色相Ｍｘｙを求める。
【数１】
【００４８】
ここで、ＲＧＢ信号の画像のデータにおけるＲ、Ｇ、Ｂの各値は、０．０を最小量、１．０を最大値とする０．０から１．０の範囲とする。Ｒ、Ｇ、Ｂの三つの値の内、最大のものをＭＡＸ、最小のものをＭＩＮをとする。なお、Ｒ＝Ｇ＝Ｂ（黒、白、グレー）の時は、Ｍｘｙは計算せず、特定の値を割り当てる。このように画像生成装置１０のシステム制御部１６は、第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段１０ｂの一例として機能する。
【００４９】
次に、画像生成装置１０は、色相のグルーピングを行う（ステップＳ４）。具体的には、画像生成装置１０のシステム制御部１６は、色相Ｍｘｙの値をグループ化することによりセグメント化して、各点におけるＭｘｙを求め、色相の領域分類を行う。ＭｘｙをグルーピングしたものをＡｘｙと定義する。
【数２】
【００５０】
この例では、色相のグルーピングのグループ数は６としている。加えて、Ｒ＝Ｇ＝Ｂ（黒、白、グレー）のように、色以外のグループがあるので、合計で７グループとなる。そして、図７に示すように、各画像３０ａ、３０ｂ（３１ａ、３１ｂ）において、ＨＳＶ変換されたラインデータには、クラスタのインデックス情報が入力される。インデックスは、０〜６までの数値とする。Ｒ＝Ｇ＝Ｂのように色以外に対して”０”を、グループＨＹに対して”１”を、グループＨＧに対して”２”を、グループＨＣに対して”３”を、グループＨＢに対して”４”を、グループＨＭに対して”５”を、グループＨＲに対して”６”を各画素に割り当てる。このように画像生成装置１０のシステム制御部１６は、色相を当該色相の値の範囲に応じてグループに分類し、グループに対するインデックスを色相の値とした色相の画像に変換する色相変換手段の一例として機能する。なお、グループ数は、更に細分化することも可能である。
【００５１】
ここで、全ラインに対して色相を求め、色相のグルーピングした場合、図８に示すように、図５Ｂの場合の各画像３１ａ、３１ｂに対して色相の画像３２ａ、３２ｂが得られる。
【００５２】
次に、画像生成装置１０は、色相のグループの境界探索を行う（ステップＳ５）。具体的には、画像生成装置１０のシステム制御部は、図７に示すように、各画像３０ａ、３０ｂ（３１ａ、３１ｂ）において、矢印の方向に、インデックスの値が変化する境界の探索を行う。なお、以下、各画像３１ａ、３１ｂの例も含めて、各画像３０ａ、３０ｂの例を用いて説明していく。
【００５３】
次に、画像生成装置１０は、１ラインの全特徴点の位置を特定する（ステップＳ６）。具体的には、画像生成装置１０のシステム制御部１６は、図７に示すように、各画像３０ａにおいて、色相のインデックスが”０”から”２”に変化した境界の位置の画素４０ａ、”２”から”４”に変化した境界の位置の画素４１ａ、”４”から”１”に変化した境界の位置の画素を、特徴点の画素として特定する。同様に、画像生成装置１０のシステム制御部１６は、各画像３０ｂにおいて、色相のインデックスが”０”から”２”に変化した境界の位置の画素４０ｂ、”２”から”４”に変化した境界の位置の画素４１ｂを、特徴点の画素として特定する。このように画像生成装置１０のシステム制御部１６は、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出する特徴点抽出手段１０ｃの一例として機能する。また、画像生成装置１０のシステム制御部１６は、色相の変化が生じた箇所を特徴点として抽出する特徴点抽出手段の一例として機能する。
【００５４】
次に、画像生成装置１０は、対応する特徴点の探索を行う（ステップＳ７）。具体的には、画像生成装置１０のシステム制御部１６は、画像３０ａのラインデータと、画像３０ｂのラインデータとにおいて、スキャン方向に従って、順に出現する特徴点を各々順序付けし、特徴点位置の（色相変換前の）元画像のパターンマッチングを行うことで順次対応する特徴点を探索する例えば、画素４０ａの特徴点と、画素４０ｂの特徴点とは対応し、画素４１ａの特徴点と、画素４１ｂの特徴点とは対応するとする。また、図９に示すように、画素４２ａの特徴点と、画素４２ｂの特徴点とは対応し、画素６０ａの特徴点と、画素６０ｂの特徴点とは対応するとする。このように画像生成装置１０のシステム制御部１６は、第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段１０ｄの一例として機能する。対応する特徴点がない場合は、当該特徴点はスキップされる。
【００５５】
次に、画像生成装置１０は、視差ベクトルを算出する（ステップＳ８）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、スキャン方向（ｘ方向）の視差ベクトル５０および視差ベクトル５５を算出する。視差ベクトル５０は、画像３０ａの特徴点の画素４２ａと、画像３０ｂの対応する特徴点の画素４２ｂとすると、（左目）画像３０ａを基準、例えば、画像３０ａの特徴点の画素４２ａのｘ方向の位置”４”を基準に、（右目）画像３０ｂの特徴点の画素４２ｂのｘ方向の位置”１６”までの距離（１２画素の分）（視差ベクトルの長さ）を有する。画像生成装置１０のシステム制御部１６は、視差ベクトル５０、５５を算出するする過程で、抽出した特徴点により対応する特徴点の間の距離（１２画素の分の長さ、４画素分の長さ）を算出している。このように画像生成装置１０のシステム制御部１６は、対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段１０ｅの一例として機能する。
【００５６】
なお、図９において、便宜上、画像３０ａおよび画像３０ｂの１〜４ラインのラインデータのみが示されていて、第２ラインがデータ処理されているとする。さらに、仮想的な撮像装置２５ａから撮像した場合の中間視差画像３５ａ、仮想的な撮像装置２５ｂから撮像した場合の中間視差画像３５ｂ、仮想的な撮像装置２５ｃから撮像した場合の中間視差画像３５ｃにおいても、１〜４ラインのラインデータのみが示されている。また、図９において、矢印は、視点が左側から右側、または、右側から左側に移動した場合の特徴点の移動方向を表す。
【００５７】
次に、画像生成装置１０は、視差ベクトルと視差との関係から、中間視差画像の基準点の位置を決定する（ステップＳ９）。具体的には、画像生成装置１０のシステム制御部１６は、画像生成装置１０のシステム制御部１６は、図１０に示すように、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）と、撮像装置２０ａと撮像装置２０ｂとの距離Ｌとの比（第１位置および第２位置に対する第３位置の位置関係）と、視差ベクトル５０の長さ（１２画素）とに従い、第２ラインにおける基準点の画素４５ａ、４５ｂ、４５ｃを求める。
【００５８】
例えば、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さＬ／４と長さＬとの比を掛けた視差ベクトル５１（長さ３画素）と、特徴点の画素４２ａの位置と、により、中間視差画像３５ａの基準点の画素４５ａの位置を求める。また、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さＬ／２と長さＬとの比を掛けた視差ベクトル５２（長さ６画素）と、特徴点の画素４２ａの位置とにより、中間視差画像３５ｂの基準点の画素４５ｂの位置を求める。また、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さ３Ｌ／４と長さＬとの比を掛けて向きを逆にした視差ベクトル５３（長さ３画素）と、特徴点の画素４２ｂの位置とにより、中間視差画像３５ｃの基準点の画素４５ｃの位置を求める。このように画像生成装置１０のシステム制御部１６は、第３画像における対応する特徴点の位置を、第３位置の位置関係に対応する比率と視差ベクトルとから決定する画像生成手段の一例として機能する。
【００５９】
次に、画像生成装置１０は、各特徴点間の距離を算出する（ステップＳ１０）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、画像３０ａにおいて、特徴点の画素４２ａと特徴点の画素６０ａとの距離Ｄ１、および、画像３０ｂにおいて、特徴点の画素４２ｂと、特徴点の画素６０ｂとの距離Ｄ１’を算出する。なお、図５Ａに示すように、画像生成装置１０のシステム制御部１６は、画像３０ａにおいて距離Ｄ２、および、画像３０ｂにおいて距離Ｄ２’も算出する。また、図５Ａのスキャンしているラインの位置と、図９のスキャンしている位置とは対応しているとする。このように画像生成装置１０のシステム制御部１６は、第１画像および第２画像の各画像内において、同一画像内における特徴点の間の特徴点間距離を算出する特徴点間距離算出手段の一例として機能する。
【００６０】
次に、画像生成装置１０は、オクルージョン処理のサブルーチンを実行する（ステップＳ１１）。画像生成装置１０のシステム制御部１６は、オクルージョン処理のサブルーチンにより、各中間視差画像３５ａ、３５ｂ、３５ｃの１ライン分の画像データを生成する。そして、生成装置１０のシステム制御部１６は、生成された１ライン分の画像データを、記憶部１２において、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域に記憶する。
【００６１】
次に、画像生成装置１０は、次のラインに移動できるか否かを判定する（ステップＳ１２）。具体的には、画像生成装置１０のシステム制御部１６は、画像３０ａ、３０ｂの最後のラインか否かを判定する。現在第２ラインの処理が終了した場合は、次の第３ラインに移動できるので（ステップＳ１２；ＹＥＳ）、画像生成装置１０のシステム制御部１６は、処理対象を次のラインに移動させて、ステップＳ２に戻る。
【００６２】
このように、画像生成装置１０のシステム制御部１６は、第１位置および第２位置に対する第３位置の位置関係と視差ベクトルと、オクルージョン情報とに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する画像生成手段１０ｇの一例として機能する。また画像生成装置１０のシステム制御部１６は、視差ベクトルに従い、第１位置および第２位置のうち第３位置に近い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する画像生成手段の一例として機能する。また画像生成装置１０のシステム制御部１６は、視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち第３位置から遠い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する画像生成手段の一例として機能する。
【００６３】
また、最後のラインの処理が終わった場合（ステップＳ１２；ＮＯ）、画像生成装置１０は、中間視差画像を表示する（ステップＳ１３）。具体的には、画像生成装置１０のシステム制御部１６は、記憶部１２から中間視差画像を読み出し、表示部１３に中間視差画像を表示する。
【００６４】
（２．２ オクルージョン処理のサブルーチン）
次に、オクルージョン処理のサブルーチンについて、図を用いて説明する。
図１１は、オクルージョン処理のサブルーチンの一例を示すフローチャートである。図１２から図１５は、基準点周りの画素値の関係性の一例を示す模式図である。
【００６５】
まず、図１１に示すように、画像生成装置１０は、左右画像の特徴点間距離を比較する（ステップＳ２０）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、画像３０ａにおける特徴点間の距離Ｄ１と、画像３０ｂにおける特徴点間の距離Ｄ１’とを比較する。
【００６６】
次に、画像生成装置１０は、オクルージョンが存在するか否かを判定する（ステップＳ２１）。具体的には、画像生成装置１０のシステム制御部１６は、ラインデータに関して、画像３０ａにおける特徴点間の距離と、対応する画像３０ｂにおける特徴点間の距離とが等しいときはオクルージョンでは無いと判定し、等しくないときは、オクルージョンが存在すると判定する。特徴点間距離が短い方の画像にオクルージョンが発生しているものとし、特徴点間が長いほうから画素データを取得する。図９または図５Ａに示すように、画像３０ａにおける特徴点間の距離Ｄ１と、画像３０ｂにおける特徴点間の距離Ｄ１’との場合は、画像生成装置１０のシステム制御部１６は、距離が等しくないので、オクルージョンが存在すると判定する。図５Ａに示すように、画像３０ａにおける特徴点間の距離Ｄ２と、画像３０ｂにおける特徴点間の距離Ｄ２’との場合は、距離が等しいので、オクルージョンは無いと判定する。なお、図１２に示すように、ラインデータをスキャンしていき、始めの特徴点までは、画素４２ａ、４３ｂまでの画素に対しては、画像生成装置１０のシステム制御部１６は、オクルージョンでは無いと判定する。また、距離が等しく無い基準は、１画素分異なってもよいし、所定の画素分異なってもよい。図９または図５Ａの場合、オクルージョンは、右目の画像３０ｂに発生していて、右目の画像３０ｂ特徴点間距離Ｄ１’が、左目の画像３０ａの特徴点間距離Ｄ１より短くなる。画像生成装置１０のシステム制御部１６は、対応する特徴点間距離が異なる場合、オクルージョンが存在とするオクルージョン情報手段の一例として機能する。
【００６７】
オクルージョンが存在しない場合（ステップＳ２１；ＮＯ）、画像生成装置１０は、視点の移動による特徴点のシフト量が少ない方の画像から画像データを取得してレンダリングする（ステップＳ２２）。具体的には、画像生成装置１０のシステム制御部１６は、基本的に、視点の移動による特徴点のシフト量が少ない方の画像、すなわち、仮想的な撮像装置２５、２５ｂ、２５ｃが近い撮像装置２０ａ、２０ｂの画素値を利用して、中間視差画像３５ａ、３５ｂ、３５ｃを生成していく。例えば、画像生成装置１０のシステム制御部１６は、図１０に示すように、左目の画像３０ａの画素値”ｐ”を利用して、中間視差画像３５ａの第２ラインの画素４５ａの画素値、および、中間視差画像３５ｂの第２ラインの画素４５ｂの画素値を求め、レンダリングする。一方、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの画素値”ｐ’”を利用して、中間視差画像３５ｃの第２ラインの画素４５ｃの画素値を求め、レンダリングする。なお、画素４５ａは、左目の画像３０ａの画素４２ａからのシフト量が３画素分であり、右目の画像３０ｂの画素４２ｂからのシフト量が９画素分であり、左目の画像３０ａからの方が、シフト量が少ない。
【００６８】
そして、画像生成装置１０のシステム制御部１６は、基準点の画素４５ａ、４５ｂ、４５ｃ以外の画素値を求める。画像生成装置１０のシステム制御部１６は、求めた画素値を、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域の対応する画素の箇所に記憶して行き、中間視差画像３５ａ、３５ｂ、３５ｃの画素を生成する。
【００６９】
ここで、ステレオ画像の性質として、右画像と左画像はお互いに同じ画像が平行移動したものである。これは、基準点周りの画素において考えると、基準点は特徴点であるため、特徴点に隣り合う画素は左目の画像３０ａ、右目の画像３０ｂと共に近似的な関係であると考えられる。図１２に示すように、左目の画像３０ａの基準点の画素４２ａ（画素値”p”）に隣り合う画素４３ａ（画素値”o”）について着目した時、右目の画像３０ｂの基準点の画素４２ｂ（画素値”p’”）に隣り合う画素４３ｂ（画素値”o’”）は、画素４３ａに対して近似的な画素値となる。
【００７０】
この関係を利用することにより、中間視差画像３５ａ、３５ｂ、３５ｃにおける基準点の画素の隣の画素については、画素値”o”、および、画素値”o’”のいずれか一方を利用することで、基準点周りの画素の画素値を補間することができる。画素値”o”、および、画素値”o’”のいずれか一方を利用するかは、左目の画像３０ａ、右目の画像３０ｂのどちらの特徴点シフト量が少ないかにより決定する。
【００７１】
従って、画像生成装置１０のシステム制御部１６は、図１２に示すように、中間視差画像３５ａの画素４６ａの画素値を、視差ベクトル５３に従い、左目の画像３０ａの画素４３ａの画素値”o”から求める。そして、画像生成装置１０のシステム制御部１６は、中間視差画像３５ｂの画素４６ｂの画素値を、左目の画像３０ａの画素４３ａの画素値”o”から求め、中間視差画像３５ｃの画素４６ｃの画素値を、右目の画像３０ｂの画素４３ｂの画素値”o’”から求める。さらに図１３に示すように、画像生成装置１０のシステム制御部１６は、画素４６ａ、４６ｂ、４６ｃの隣の画素においても適用することにより、ラインの画素を補間する。
【００７２】
なお、図１３に示すように、中間視差画像において、中間視差画像３５ａの画素４７ａの場合のように、画像端に注目すると、右目の画像３０ｂには存在する画素でも、左目の画像３０ａには存在しない画素領域がある。この場合、右目の画像３０ｂの画素４４ｂの画素値”ｌ’”を利用して、右目の画像３０ｂ側を起点とした視差ベクトル５４に従い、中間視差画像３５ａの画素４７ａの画素値”ｌ’”を求める。画像生成装置１０のシステム制御部１６は、中間視差画像３５ｂの画素４７ｂ、および、中間視差画像３５ｃの画素４７ｃの画素値も同様に求める。このように、視差ベクトルに従って、距離が近い方の画像３０ａ、３０ｂの画素が無い場合、画像生成装置１０のシステム制御部１６は、シフト量が多い方の画像３０ｂ、３０ａの画素の画素値を用いて、中間視差画像の画素の画素値を求める。
【００７３】
オクルージョンが存在する場合（ステップＳ２１；ＹＥＳ）、画像生成装置１０は、右目の画像にオクルージョンが存在するか否かを判定する（ステップＳ２３）。具体的には、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの特徴点間の距離が、左目の画像３０ａの特徴点間の距離より短い場合、右目の画像３０ｂにオクルージョンが存在すると判定する。図９または図５Ａに示すように、右目の画像３０ｂの特徴点間の距離Ｄ１’が、左目の画像３０ａの特徴点間の距離Ｄ１より短いので、右目の画像３０ｂにオクルージョンが存在すると判定する。なお、画像生成装置１０のシステム制御部１６は、所定画素分短い場合、短いと判定する。このように画像生成装置１０のシステム制御部１６は、第１画像の特徴点間距離と、これに対応する第２画像の特徴点間距離とに基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段の一例として機能する。
【００７４】
右画像のオクルージョンの場合（ステップＳ２３；ＹＥＳ）、画像生成装置１０は、特徴点間の画素を左画像から取得し、特徴点間の右側から左方向（スキャン方向と逆方向）にレンダリングする（ステップＳ２４）。具体的には、画像生成装置１０のシステム制御部１６は、図１４に示すように、中間視差画像３５ａにおいて、特徴点（基準点）の画素４５ａと、画素６５ａの間の画素に関して、右側の画素６５ａから、スキャン方向と逆向きの左方向に画素４５ａまでレンダリングする。このとき、画像生成装置１０のシステム制御部１６は、視差ベクトル５０より長さが短い視差ベクトル５５（位置関係に従い長さを変えた視差ベクトル５５）に従い、視点の移動による特徴点のシフト量が少ない方の画像を使用して、画素値を求め、レンダリングする。例えば、画像生成装置１０のシステム制御部１６は、左目の画像６０ａの画素値”10”を利用して、中間視差画像３５ａの第２ラインの画素６５ａの画素値、および、中間視差画像３５ｂの第２ラインの画素６５ｂの画素値を求め、レンダリングする。一方、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの画素値”10”を利用して、中間視差画像３５ｃの第２ラインの画素６５ｃの画素値を求め、レンダリングする。
【００７５】
そして、左方向（スキャン方向）に移動して、画像生成装置１０のシステム制御部１６は、左目の画像６０ａの画素値”10”を利用して、中間視差画像３５ａの第２ラインの画素６６ａの画素値、および、中間視差画像３５ｂの第２ラインの画素６６ｂの画素値を求め、右目の画像３０ｂの画素値”10”を利用して、中間視差画像３５ｃの第２ラインの画素６６ｃの画素値を求め、レンダリングする。画像生成装置１０のシステム制御部１６は、求めた画素値を、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域の対応する画素の箇所に記憶して行き、中間視差画像３５ａ、３５ｂ、３５ｃの画素を生成する。なお、画素値”10”のような数字は、画素値そのものではなく、便宜上の記号である。
【００７６】
なお、長さを１／４で逆向きにした視差ベクトル５５に従い、中間視差画像３５ｃの第２ラインの画素６７ｃに対応した右目の画像３０ｂの画素は、特徴点の画素４２ｂとなり、画素値を割り当てる対応する画素がない。従って、画像生成装置１０のシステム制御部１６は、図１４に示すように、３／４の長さの視差ベクトル５５に従い、左目の画像３０ａの画素の画素値”8”を利用して、画素６７ｃの画素値を求め、レンダリングする。
【００７７】
また、図１５に示すように、画像生成装置１０のシステム制御部１６が、視差ベクトル５５より長さが長い視差ベクトル５０に従い、特徴点間の左側から右方向にレンダリングすると、中間視差画像３５ａの１４番目の画素と画素６５ａとの間や、中間視差画像３５ｂの１３番目の画素と画素６５ｂとの間に、画素値の不連続が起こり、不自然な画像になってしまう。図１５に示すように、特徴点の画素４２ａを基準にしているため本来繋がりを持たなければならない特徴点の画素６０ａ周辺の画素に対応する中間視差画像が、中間視差画像３５ａでは”7”から”10”、中間視差画像３５ａでは”5”から”10”といったように画素の繋がりが飛んでしまっている。それに対して、図１４に示すような生成方法だと特徴点の画素６０ａに対応する基準点の画素６５ａ、６５ｂ、６５ｃの周りの繋がりが途切れることなく生成されることになる。
【００７８】
次に、右画像のオクルージョンで無い場合（ステップＳ２３；ＮＯ）、画像生成装置１０は、特徴点間の画素を右画像から取得し、特徴点間の左側から右方向にレンダリングする（ステップＳ２５）。具体的には、画像生成装置１０のシステム制御部１６は、ステップＳ２４に似たような手順により、長さが短い方の視差ベクトルに従い、特徴点間の左側から右方向に画素値を求め、レンダリングをする。
【００７９】
次に、ステップＳ２２、Ｓ２４、Ｓ２５の後、画像生成装置１０は、次の特徴点間の距離を選択できるか否かを判定する（ステップＳ２６）。画像生成装置１０のシステム制御部１６は、図５Ａに示すように、α-β間の距離Ｄ２およびα’-β’間の距離Ｄ２’を選択した後、β-γ間の距離およびβ’-γ’間の距離を選択できる場合は（ステップＳ２６；ＹＥＳ）、ステップＳ２０に戻る。最後の特徴点間の距離に関して処理が終わり、特徴点間の距離を選択でき無い場合は（ステップＳ２６；ＮＯ）、画像生成装置１０のシステム制御部１６は、サブルーチンを終了する。
【００８０】
以上、本実施形態によれば、複数の撮像手段により、第１位置から撮像された第１画像と、第２位置から撮像された第２画像との入力を受け付け、第１画像および第２画像の各画素の色相を求める色相変換を行い、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出し、第１画像と第２画像とにおいて対応する特徴点を求め、対応する特徴点の間の距離を有する視差ベクトルを算出し、第１画像および第２画像の各画像内において、同一画像内における特徴点の間の特徴点間距離を算出し、第１画像内の特徴点間距離と、これに対応する第２画像内の特徴点間距離とに基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求め、第１位置と第２位置との間に第３位置を設定し、第１位置および第２位置に対する第３位置の位置関係と、視差ベクトルと、オクルージョン情報とに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する。これにより、特徴点間距離からオクルージョン情報を求め、オクルージョンに対応でき、特殊なカメラは使用せず、奥行き情報無しに、第３位置の位置関係と視差ベクトルとに従い、特徴点間の画像データを描画するので、低コストで、より少ない演算量で画像を生成することができる。
【００８１】
また、右目の画像３０ｂにオクルージョンがあった場合、左目の画像３０ｂを使って、基準点の画素４５ａ、６５ａ間の領域のように、基準点の画素６５ａの右側から左方向へレンダリングし、左目の画像にオクルージョンがあった場合、右目の画像を使って、基準点間の領域の左側から右方向へレンダリングすることにより、ある被写体が他の被写体に隠れ、一方の撮像装置から撮像できない部分を、補完的に描画できる。
【００８２】
また、本実施形態において使用する撮像装置２０ａ、２０ｂは、通常のスチルカメラまたビデオカメラであるので、本実施形態は実現しやすい手法である。
【００８３】
また、色相の変化に応じて特徴点を抽出する場合、色相により特徴点を求めているので、輝度による影響が出ない。
【００８４】
また、対応する特徴点間距離が異なり、オクルージョンが存在とするオクルージョン情報を求める場合、画像生成装置１０のシステム制御部１６は、容易にオクルージョンの存否を判定できる。
【００８５】
また、複数の視差ベクトルを算出し、オクルージョン情報に応じて、第３画像を生成するための視差ベクトルを選択する場合、画像生成装置１０のシステム制御部１６は、一方のカメラから死角である画像データを、補完的に的確にレンダリングできる。
【００８６】
また、色相を当該色相の値の範囲に応じてグループに分類し、当該グループに対するインデックスを色相の値とした色相の画像に変換する場合、ＨＳＶ変換を用いて色相変換を施すことにより、色相によるグルーピング処理が行われ、色相のグループの境界が容易に抽出される。また、ラインごとに処理を行うため、画素マトリックスレベルでのクラスタリングが必要ないため、処理が容易である。画像生成装置１０において、必要なメモリ、演算量といったシステム要件を下げることができ、またハード化しやすい。
【００８７】
第１画像３０ａおよび第２画像３０ｂの各画像のスキャン方向（ｘ方向）は、第１位置（ｘ＝０）と第２位置（ｘ＝Ｌ）とを結ぶ方向である場合、スキャン方向と、視差ベクトル５０の方向（撮像装置２０ａと、撮像装置２０ｂとの設置方句）とが平行になり、視差ベクトル５０、５５が求めやすくなる。すなわち、画像生成装置１０のシステム制御部１６は、対応する特徴点の間の距離（視差ベクトルの長さ）を求めるだけで、視差ベクトル５０を求めることができる。
【００８８】
画像生成装置１０のシステム制御部１６が、第３画像（各中間視差画像３５ａ、３５ｂ、３５ｃ）における対応する特徴点の位置を、第３位置の位置関係に対応する比率と視差ベクトルとから決定する場合、中間視差画像３５ａ、３５ｂ、３５ｃを描画する基準となる基準点を容易に決めやすくなる。
【００８９】
画像生成装置１０のシステム制御部１６が、視差ベクトル５０、５５に従い、第１位置および第２位置のうち第３位置に近い方の位置の第１画像３０ａまたは第２画像３０ｂの画素から第３画像を生成する場合、中間視差画像に位置的に近い方の画像の画素を利用して描画を行うため、より自然な画像を生成できる。
【００９０】
画像生成装置１０のシステム制御部１６が、視差ベクトル５０に従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する場合、一方の撮像装置では、画像の端となり、写らない所の画像も生成できる。
【００９１】
画像生成装置１０のシステム制御部１６が、複数の第３位置を設定し、複数の第３画像（中間視差画像３５ａ、３５ｂ、３５ｃ）を生成する場合、容易に多眼的に複数の中間視差画像３５ａ、３５ｂ、３５ｃを生成できる。
【００９２】
なお、画像３０ａと画像３０ｂが同一の解像度で無い場合、画像生成装置１０のシステム制御部１６は、画像３０ａと画像３０ｂとの解像度を合わせから、ステップＳ１からの処理を行ってもよい。
【００９３】
特徴点を求める際の方向は、スキャン方向のｘ方向に限らず、ｙ方向でも構わない。
【００９４】
また、撮像装置２０ａおよび撮像装置２０ｂが、水平方向（ｘ方向）以外に設置されていてもよい。例えば、上下方向（ｙ方向）に設置されている場合、スキャン方向はｙ方向が好ましい。
【００９５】
また、画像生成装置１０のシステム制御部１６が、特徴点を求める際、色相変換された画像に対して、微分マスクを使い、エッジを求めてもよい。
【００９６】
また、画像生成装置１０のシステム制御部１６は、ＳＳＤ(Sum of Squared Difference)、ＳＡＤ(Sum of Absolute Difference)等のマッチング手法により、特徴点同士の一致の度合いを評価し、対応する特徴点を求めてもよい。例えば、画像生成装置１０のシステム制御部１６は、第１画像３０ａおよび第２画像３０ｂのライン方向における画素の色のマッチングを行う。また、画像生成装置１０のシステム制御部１６が、第１画像３０ａの特徴点を含む画像領域とマッチングする第２画像３０ｂの画像領域を求め、対応する特徴点を求めてもよい。色相変換前の元画像についてパターンマッチングを行ってもよい。
【００９７】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００９８】
１：画像生成システム
１０：画像生成装置
２０（２０ａ、２０ｂ）：撮像装置（撮像手段）
３０（３０ａ、３０ｂ）：画像（第１画像、第２画像）
３５（３５ａ、３５ｂ、３５ｃ）：中間視差画像（第３画像）
４０ａ、４０ｂ、４１ａ、４１ｂ、４２ａ、４２ｂ、４５ａ、４５ｂ、４５ｃ：特徴点の画素（特徴点）
５０、５５：視差ベクトル
【技術分野】
【０００１】
本発明は、立体画像用の画像を生成する画像生成装置、画像生成方法、画像生成装置用プログラムに関する。
【背景技術】
【０００２】
従来、臨場感のある裸眼式立体視を可能とするため、２つのカメラを用いて撮影された２つの画像（ステレオ画像）を用いて、２つのカメラの間の位置から撮像された場合の中間画像を生成して多眼化することが行われている。例えば、特許文献１には、被写体の映像を結像する第１結像レンズ部と、第１撮影素子と、を有する第１画像取得部と、第２結像レンズ部と、これによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部と、第２撮影素子と、を有する第２画像取得部とを備え、第２画像取得部は、第１画像取得部に対して被写体から見て水平方向に離れて配置される立体映像撮影装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−７８７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、先行技術では、複数のレンズがアレイ状に配列された特殊なカメラを使用しており、当カメラは製造が難しいカメラで、設備のコストが高く実現が困難である。さらに、先行技術では、画素の相関が高い物体のクラスタリングを行う必要があったり、描画する際、奥から描画する必要があるため、奥行き方向でのソートの処理が必要であったりするため、演算量が増加していた。また、左右のカメラにより撮像されたステレオ画像から中間画像を生成する際、左右のカメラのいずれか一方から見えないオクルージョン領域が存在する場合、このオクルージョン領域を処理する必要がある。
【０００５】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、オクルージョンに対応でき、低コストで、演算量を減少させた画像生成装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段と、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段と、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段と、前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段と、前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段と、前記第１位置と第２位置との間に第３位置を設定する位置設定手段と、前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段と、を備えたことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像生成装置において、前記オクルージョン情報手段が、前記対応する特徴点間距離が異なる場合、オクルージョンが存在とするオクルージョン情報を求めることを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の画像生成装置において、前記視差ベクトル算出手段が、複数の視差ベクトルを算出し、前記画像生成手段が、前記オクルージョン情報に応じて、前記第３画像を生成するための視差ベクトルを選択することを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像生成装置において、前記特徴点抽出手段は、前記色相の変化が生じた箇所を前記特徴点として抽出することを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像生成装置において、前記色相変換手段が、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換することを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像生成装置において、前記第１画像および第２画像の各画像のスキャン方向は、前記第１位置と第２位置とを結ぶ方向であることを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像生成装置において、前記画像生成手段が、前記第３画像における前記対応する特徴点の位置を、前記第３位置の位置関係に対応する比率と前記視差ベクトルとから決定することを特徴とする。
【００１３】
また、請求項８に記載の発明は、請求項１から７のいずれか１項に記載の画像生成装置において、前記画像生成手段が、前記視差ベクトルに従い、前記第１位置および第２位置のうち前記第３位置に近い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする。
【００１４】
また、請求項９に記載の発明は、請求項８に記載の画像生成装置において、前記画像生成手段が、前記視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする。
【００１５】
また、請求項１０に記載の発明は、請求項１から９のいずれか１項に記載の画像生成装置において、前記位置設定手段が、複数の第３位置を設定し、前記画像生成手段が、複数の第３画像を生成することを特徴とする。
【００１６】
また、請求項１１に記載の発明は、画像生成装置が、画像を生成する画像生成方法であって、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換ステップと、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索ステップと、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出ステップと、前記第１画像および第２画像の各画像において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出ステップと、前記第１画像の特徴点間距離と、これに対応する前記第２画像の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報ステップと、前記第１位置と第２位置との間に第３位置を設定する位置設定ステップと、前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成ステップと、を有することを特徴とする。
【００１７】
また、請求項１２に記載の発明は、コンピュータを、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段、前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段、前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段、前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段、前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段、前記第１位置と第２位置との間に第３位置を設定する位置設定手段、および、前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段として機能させる。
【発明の効果】
【００１８】
本発明によれば、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付け、第１画像および第２画像の各画素の色相を求める色相変換を行い、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出し、第１画像と第２画像とにおいて対応する特徴点を求め、対応する特徴点の間の距離を有する視差ベクトルを算出し、第１画像および第２画像の各画像内において、同一画像内における特徴点の間の特徴点間距離を算出し、第１画像内の特徴点間距離と、これに対応する第２画像内の特徴点間距離とに基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求め、第１位置と第２位置との間に第３位置を設定し、第１位置および第２位置に対する第３位置の位置関係と、視差ベクトルと、オクルージョン情報とに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する。これにより、特徴点間距離からオクルージョン情報を求め、オクルージョンに対応でき、特殊なカメラは使用せず、奥行き情報無しに、第３位置の位置関係と視差ベクトルとに従い、特徴点間の画像データを描画するので、低コストで、より少ない演算量で画像を生成することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像生成システムの概要構成例を示すブロック図である。
【図２】図１の画像生成の概要構成の一例を示すブロック図である。
【図３】図１の撮像装置の位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。
【図４】図１の画像生成装置の動作例を示すフローチャートである。
【図５Ａ】図１の撮像装置により撮像された画像の一例を示す模式図である。
【図５Ｂ】図１の撮像装置により撮像された画像の一例を示す模式図である。
【図６】撮像された画像に対するスキャン方向の一例を示す模式図である。
【図７】色相で分類されインデックス化されたラインデータの一例を示す模式図である。
【図８】色相変換された画像の一例を示す模式図である。
【図９】撮像された画像の特徴点（基準点）および視差ベクトルの一例を示す模式図である。
【図１０】撮像された画像の基準点、および、仮想的な撮像装置から撮像された場合の画像の基準点の一例を示す模式図である。
【図１１】図４のオクルージョン処理のサブルーチンの一例を示すフローチャートである。
【図１２】基準点周りの画素値の関係性の一例を示す模式図である。
【図１３】基準点周りの画素値の関係性の一例を示す模式図である。
【図１４】基準点周りの画素値の関係性の一例を示す模式図である。
【図１５】基準点周りの画素値の関係性の一例を示す模式図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像生成システムに対して本発明を適用した場合の実施形態である。
【００２１】
［１．画像生成システムの構成および機能の概要］
（１．１ 画像生成システム１の構成および機能）
【００２２】
まず、本発明の一実施形態に係る画像生成システムの構成および概要機能について、図１を用いて説明する。
【００２３】
図１は、本実施形態に係る画像生成システム１の概要構成例を示すブロック図である。
【００２４】
図１に示すように、画像生成システム１は、所定の位置で撮像された被写体５の画像から仮想位置から撮像した場合の画像を生成する画像生成装置１０と、所定の位置で被写体５を撮像する撮像装置（撮像手段の一例）２０と、を備えている。本実施形態に置いて撮像装置２０ａ、２０ｂは、動画撮影をする場合には同期撮影であってもよい。
【００２５】
画像生成装置１０は、撮像装置２０により撮像された複数の画像の画像データの入力を受け付ける画像入力手段１０ａと、ＲＧＢ信号の画像データから各画素の色相を求める変換を行う色相変換手段１０ｂと、色相変換された画像データから、画像の特徴点を抽出する特徴点抽出手段１０ｃと、画像間で対応する特徴点を求める対応点探索手段１０ｄと、対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段１０ｅと、仮想位置を設定する位置設定手段１０ｆと、同一画像内における前記特徴点の間の特徴間距離算出手段１０ｇと、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報手段１０ｈと、仮想位置で撮像された画像を生成する画像生成手段１０ｉと、生成された画像を表示する表示部１３と、を有する。
【００２６】
撮像装置２０は、撮像手段の一例である左目用の撮像装置２０ａと、右目用の撮像装置２０ｂとを有し、ステレオカメラを構成する。被写体５に対して、例えば、水平方向に、撮像装置２０ａと、撮像装置２０ｂとは、所定の距離を置いて設置される。撮像装置２０ａが設置される位置が、第１位置の一例であり、撮像装置２０ｂが設置される位置が、第２位置の一例である。撮像装置２０ａ、２０ｂは、静止画を撮像するスチルカメラ、または、動画を撮像するビデオカメラであり、解像度や、色の階調等に関して同一の性能を有する。撮像装置２０ａ、２０ｂの出力は、デジタル出力であるが、アナログ出力の撮像装置の場合は、Ａ／Ｄ変換器を有し、デジタル信号を出力する。
【００２７】
撮像装置２０ａは、被写体５を左寄りから撮影し、左目用の画像（第１位置で撮像された第１画像の一例）を出力する。撮像装置２０ｂは、被写体５を右寄りから撮影し、右目用の画像（第２位置で撮像された第２画像の一例）を出力する。
【００２８】
撮像装置２０ａおよび撮像装置２０ｂは、画像生成装置１０の画像入力手段１０ａに接続される。
【００２９】
（１．２ 画像生成装置１０の構成および機能）
次に、画像生成装置１０の構成および機能について、図２を用いて説明する。
図２は、画像生成装置１０の概要構成の一例を示すブロック図である。
【００３０】
図２に示すように、画像生成装置１０は、例えば、パーソナルコンピュータやサーバ装置等であり、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６とを備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００３１】
通信部１１は、画像生成装置１０の外部等とのデータや信号の送受信を行う。例えば、ネットワーク接続に使用される。
【００３２】
記憶部１２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、制御用のプログラムや画像処理用のプログラム等を記憶する。
【００３３】
表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、撮像装置２０により撮像された被写体５の画像や、生成された画像が表示される。
【００３４】
操作部１４は、例えば、キーボードおよびマウス等によって構成されている。
【００３５】
入出力インターフェース部１５は、撮像装置２０ａおよび撮像装置２０ｂの出力端に直接接続される部分で、画像入力手段１０ａの機能を実現するインターフェースである。撮像装置２０（２０ａ、２０ｂ）、通信部１１および記憶部１２とシステム制御部１６とのインターフェースである。
【００３６】
システム制御部１６は、例えば、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、ＲＡＭ１６ｃとを有する。システム制御部１６は、ＣＰＵ１６ａが、ＲＯＭ１６ｂや、ＲＡＭ１６ｃや、記憶部１２に記憶された各種プログラムを読み出して実行する。例えば、システム制御部１６は、画像処理のプログラムを実行し、色相変換手段１０ｂ、特徴点抽出手段１０ｃ、対応点探索手段１０ｄ、視差ベクトル算出手段１０ｅ、位置設定手段１０ｆ、画像生成手段１０ｇ等の機能を実現する。
【００３７】
（１．３ 仮想的な撮像装置の位置）
次に、仮想的な撮像装置の位置（仮想位置）について図３を用いて説明する。
図３は、撮像装置２０ａ、２０ｂの位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。
【００３８】
図３に示すように、撮像装置２０ａと撮像装置２０ｂとは、ｘ方向（例えば水平方向）に距離Ｌで設置されている。撮像装置２０ａと撮像装置２０ｂと間に、仮想的な撮像装置２５が３台設定される。撮像装置２５ａ、撮像装置２５ｂ、および、撮像装置２５ｃは等間隔に設定される。撮像装置２０ａの設置位置の第１位置０を基準として、撮像装置２０ｂの設置位置の第２位置Ｌとすると、第３位置の一例として、撮像装置２５ａの場合、位置Ｌ／４、撮像装置２５ｂの場合、位置Ｌ／２、撮像装置２５ｃの場合、位置３Ｌ／４が設定される。ここで、仮想的な撮像装置２５により撮像された場合の画像を中間視差画像（第３画像の一例）とする。
【００３９】
［２．画像生成システムの動作］
（２．１ 画像生成システムの動作）
次に、本発明の１実施形態に係る画像生成システムの動作について図４から図１２を用いて説明する。
図４は、画像生成装置１０の動作例を示すフローチャートである。図５Ａおよび図５Ｂは、撮像装置２０により撮像された画像の一例を示す模式図である。図６は、撮像された画像に対するスキャン方向の一例を示す模式図である。図７は、クラスタリングされインデックス化されたラインデータの一例を示す模式図である。図８は、色相変換された画像の一例を示す模式図である。図９は、撮像された画像の特徴点（基準点）および視差ベクトルの一例を示す模式図である。図１０は、撮像された画像の基準点、および、仮想的な撮像装置から撮像された場合の画像の基準点の一例を示す模式図である。
【００４０】
ここで、中間視差画像を生成方法の原理について簡単に説明する。
本提案手法では中間視差画像を生成する上で、画素値を算出して補間をするのでは無く、視点の移動による物体の移動距離を用いることにより、画像間の動きの軌跡を逆にたどり、２枚の元画像３０ａ、３０ｂに存在する画素のみを用いて中間視差画像を生成する。
【００４１】
また、２枚の元画像３０ａ、３０ｂから互いに対応する特徴点を抽出し、特徴点から視差ベクトルを算出する。そして、生成される中間視差画像において、元画像の特徴点と近似した値の画素は、必ず特徴点間に存在すると考えられる。例えば、図３に示すように等間隔で仮想的な撮像装置２５ａ、２５ｂ、２５ｃが設置されているとすると、移動距離（視差ベクトルの長さ）を４で割ることにより位置関係が求まり、中間視差画像における特徴点と等しい値の画素がどのような間隔で配置されているかがわかる。そのため、中間視差画像において元画像３０ａ、３０ｂの特徴点に対応する基準点が、位置関係と視差ベクトルとに従い求まる。この基準点の周りに画素配置をしていくことにより、中間視差画像を生成することができる。なお、基準点は、第３画像における対応する特徴点の一例である。
【００４２】
しかし、中間視差画像を生成するに当たり、ステレオ画像においては画像を平行に移動させることの他に、オクルージョンという奥行きの存在を考えなければならない。オクルージョンとは物体を観察する際に左目または右目では見えていても右目または左目では見えていない領域である。例えば、図５Ａに示すように、右目の画像３０ｂでは、見えない領域が発生する。
【００４３】
まず、画像生成システムの動作として、画像生成装置１０のシステム制御部１６は、図３に示すように、第３位置の一例として、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）を予め設定しておく。このように画像生成装置１０のシステム制御部１６は、第１位置と第２位置との間に第３位置を設定する位置設定手段１０ｆの一例として機能する。
【００４４】
そして、画像生成装置１０のシステム制御部１６は、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置に応じた中間視差画像を生成するための記憶領域を、記憶部１２に予め設定しておく。
【００４５】
次に、図４に示すように、画像生成装置１０は、左右の画像の入力を受け付ける（ステップＳ１）。具体的には、画像生成装置１０のシステム制御部１６は、図５Ａおよび図５Ｂに示すように、被写体５を左側から撮像した画像３０ａ、３１ａ（第１画像の一例）を、撮像装置２０ａから受け付け、右側から撮像した画像３０ｂ、３１ｂ（第２画像の一例）を、撮像装置２０ｂから受け付ける。画像３０ａ、３１ａは、撮像装置２０ａの位置（第１位置の一例）から撮像した画像であり、画像３０ｂ、３１ｂは、撮像装置２０ｂの位置（第２位置の一例）から撮像した画像である。なお、画像のデータは、ＲＧＢ信号のデータである。このように、画像生成装置１０のシステム制御部は、複数の撮像手段により第１位置から撮像された第１画像と、第２位置から撮像された第２画像との入力を受け付ける画像入力手段１０ａの一例として機能する。
【００４６】
次に、画像生成装置１０は、各画像の１ライン分の画像データを取得する（ステップＳ２）。具体的には、画像生成装置１０のシステム制御部１６は、図６に示すよう、撮像された各画像３０ａ、３０ｂ（３１ａ、３１ｂ）をｘ方向にスキャンして１ライン分の画像データを取得する。なお、スキャン方向のｘ方向は、第１位置と第２位置とを結ぶ方向の一例である。
【００４７】
次に、画像生成装置１０は、ＲＧＢ信号に対してＨＳＶ変換を行う（ステップＳ３）。具体的には、画像生成装置１０のシステム制御部１６は、下記の式に従い、ＲＧＢ信号の各画像のデータの１ライン分の各画素に対して、各画素の色相Ｍｘｙを求める。
【数１】
【００４８】
ここで、ＲＧＢ信号の画像のデータにおけるＲ、Ｇ、Ｂの各値は、０．０を最小量、１．０を最大値とする０．０から１．０の範囲とする。Ｒ、Ｇ、Ｂの三つの値の内、最大のものをＭＡＸ、最小のものをＭＩＮをとする。なお、Ｒ＝Ｇ＝Ｂ（黒、白、グレー）の時は、Ｍｘｙは計算せず、特定の値を割り当てる。このように画像生成装置１０のシステム制御部１６は、第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段１０ｂの一例として機能する。
【００４９】
次に、画像生成装置１０は、色相のグルーピングを行う（ステップＳ４）。具体的には、画像生成装置１０のシステム制御部１６は、色相Ｍｘｙの値をグループ化することによりセグメント化して、各点におけるＭｘｙを求め、色相の領域分類を行う。ＭｘｙをグルーピングしたものをＡｘｙと定義する。
【数２】
【００５０】
この例では、色相のグルーピングのグループ数は６としている。加えて、Ｒ＝Ｇ＝Ｂ（黒、白、グレー）のように、色以外のグループがあるので、合計で７グループとなる。そして、図７に示すように、各画像３０ａ、３０ｂ（３１ａ、３１ｂ）において、ＨＳＶ変換されたラインデータには、クラスタのインデックス情報が入力される。インデックスは、０〜６までの数値とする。Ｒ＝Ｇ＝Ｂのように色以外に対して”０”を、グループＨＹに対して”１”を、グループＨＧに対して”２”を、グループＨＣに対して”３”を、グループＨＢに対して”４”を、グループＨＭに対して”５”を、グループＨＲに対して”６”を各画素に割り当てる。このように画像生成装置１０のシステム制御部１６は、色相を当該色相の値の範囲に応じてグループに分類し、グループに対するインデックスを色相の値とした色相の画像に変換する色相変換手段の一例として機能する。なお、グループ数は、更に細分化することも可能である。
【００５１】
ここで、全ラインに対して色相を求め、色相のグルーピングした場合、図８に示すように、図５Ｂの場合の各画像３１ａ、３１ｂに対して色相の画像３２ａ、３２ｂが得られる。
【００５２】
次に、画像生成装置１０は、色相のグループの境界探索を行う（ステップＳ５）。具体的には、画像生成装置１０のシステム制御部は、図７に示すように、各画像３０ａ、３０ｂ（３１ａ、３１ｂ）において、矢印の方向に、インデックスの値が変化する境界の探索を行う。なお、以下、各画像３１ａ、３１ｂの例も含めて、各画像３０ａ、３０ｂの例を用いて説明していく。
【００５３】
次に、画像生成装置１０は、１ラインの全特徴点の位置を特定する（ステップＳ６）。具体的には、画像生成装置１０のシステム制御部１６は、図７に示すように、各画像３０ａにおいて、色相のインデックスが”０”から”２”に変化した境界の位置の画素４０ａ、”２”から”４”に変化した境界の位置の画素４１ａ、”４”から”１”に変化した境界の位置の画素を、特徴点の画素として特定する。同様に、画像生成装置１０のシステム制御部１６は、各画像３０ｂにおいて、色相のインデックスが”０”から”２”に変化した境界の位置の画素４０ｂ、”２”から”４”に変化した境界の位置の画素４１ｂを、特徴点の画素として特定する。このように画像生成装置１０のシステム制御部１６は、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出する特徴点抽出手段１０ｃの一例として機能する。また、画像生成装置１０のシステム制御部１６は、色相の変化が生じた箇所を特徴点として抽出する特徴点抽出手段の一例として機能する。
【００５４】
次に、画像生成装置１０は、対応する特徴点の探索を行う（ステップＳ７）。具体的には、画像生成装置１０のシステム制御部１６は、画像３０ａのラインデータと、画像３０ｂのラインデータとにおいて、スキャン方向に従って、順に出現する特徴点を各々順序付けし、特徴点位置の（色相変換前の）元画像のパターンマッチングを行うことで順次対応する特徴点を探索する例えば、画素４０ａの特徴点と、画素４０ｂの特徴点とは対応し、画素４１ａの特徴点と、画素４１ｂの特徴点とは対応するとする。また、図９に示すように、画素４２ａの特徴点と、画素４２ｂの特徴点とは対応し、画素６０ａの特徴点と、画素６０ｂの特徴点とは対応するとする。このように画像生成装置１０のシステム制御部１６は、第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段１０ｄの一例として機能する。対応する特徴点がない場合は、当該特徴点はスキップされる。
【００５５】
次に、画像生成装置１０は、視差ベクトルを算出する（ステップＳ８）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、スキャン方向（ｘ方向）の視差ベクトル５０および視差ベクトル５５を算出する。視差ベクトル５０は、画像３０ａの特徴点の画素４２ａと、画像３０ｂの対応する特徴点の画素４２ｂとすると、（左目）画像３０ａを基準、例えば、画像３０ａの特徴点の画素４２ａのｘ方向の位置”４”を基準に、（右目）画像３０ｂの特徴点の画素４２ｂのｘ方向の位置”１６”までの距離（１２画素の分）（視差ベクトルの長さ）を有する。画像生成装置１０のシステム制御部１６は、視差ベクトル５０、５５を算出するする過程で、抽出した特徴点により対応する特徴点の間の距離（１２画素の分の長さ、４画素分の長さ）を算出している。このように画像生成装置１０のシステム制御部１６は、対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段１０ｅの一例として機能する。
【００５６】
なお、図９において、便宜上、画像３０ａおよび画像３０ｂの１〜４ラインのラインデータのみが示されていて、第２ラインがデータ処理されているとする。さらに、仮想的な撮像装置２５ａから撮像した場合の中間視差画像３５ａ、仮想的な撮像装置２５ｂから撮像した場合の中間視差画像３５ｂ、仮想的な撮像装置２５ｃから撮像した場合の中間視差画像３５ｃにおいても、１〜４ラインのラインデータのみが示されている。また、図９において、矢印は、視点が左側から右側、または、右側から左側に移動した場合の特徴点の移動方向を表す。
【００５７】
次に、画像生成装置１０は、視差ベクトルと視差との関係から、中間視差画像の基準点の位置を決定する（ステップＳ９）。具体的には、画像生成装置１０のシステム制御部１６は、画像生成装置１０のシステム制御部１６は、図１０に示すように、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）と、撮像装置２０ａと撮像装置２０ｂとの距離Ｌとの比（第１位置および第２位置に対する第３位置の位置関係）と、視差ベクトル５０の長さ（１２画素）とに従い、第２ラインにおける基準点の画素４５ａ、４５ｂ、４５ｃを求める。
【００５８】
例えば、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さＬ／４と長さＬとの比を掛けた視差ベクトル５１（長さ３画素）と、特徴点の画素４２ａの位置と、により、中間視差画像３５ａの基準点の画素４５ａの位置を求める。また、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さＬ／２と長さＬとの比を掛けた視差ベクトル５２（長さ６画素）と、特徴点の画素４２ａの位置とにより、中間視差画像３５ｂの基準点の画素４５ｂの位置を求める。また、画像生成装置１０のシステム制御部１６は、視差ベクトル５０に、長さ３Ｌ／４と長さＬとの比を掛けて向きを逆にした視差ベクトル５３（長さ３画素）と、特徴点の画素４２ｂの位置とにより、中間視差画像３５ｃの基準点の画素４５ｃの位置を求める。このように画像生成装置１０のシステム制御部１６は、第３画像における対応する特徴点の位置を、第３位置の位置関係に対応する比率と視差ベクトルとから決定する画像生成手段の一例として機能する。
【００５９】
次に、画像生成装置１０は、各特徴点間の距離を算出する（ステップＳ１０）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、画像３０ａにおいて、特徴点の画素４２ａと特徴点の画素６０ａとの距離Ｄ１、および、画像３０ｂにおいて、特徴点の画素４２ｂと、特徴点の画素６０ｂとの距離Ｄ１’を算出する。なお、図５Ａに示すように、画像生成装置１０のシステム制御部１６は、画像３０ａにおいて距離Ｄ２、および、画像３０ｂにおいて距離Ｄ２’も算出する。また、図５Ａのスキャンしているラインの位置と、図９のスキャンしている位置とは対応しているとする。このように画像生成装置１０のシステム制御部１６は、第１画像および第２画像の各画像内において、同一画像内における特徴点の間の特徴点間距離を算出する特徴点間距離算出手段の一例として機能する。
【００６０】
次に、画像生成装置１０は、オクルージョン処理のサブルーチンを実行する（ステップＳ１１）。画像生成装置１０のシステム制御部１６は、オクルージョン処理のサブルーチンにより、各中間視差画像３５ａ、３５ｂ、３５ｃの１ライン分の画像データを生成する。そして、生成装置１０のシステム制御部１６は、生成された１ライン分の画像データを、記憶部１２において、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域に記憶する。
【００６１】
次に、画像生成装置１０は、次のラインに移動できるか否かを判定する（ステップＳ１２）。具体的には、画像生成装置１０のシステム制御部１６は、画像３０ａ、３０ｂの最後のラインか否かを判定する。現在第２ラインの処理が終了した場合は、次の第３ラインに移動できるので（ステップＳ１２；ＹＥＳ）、画像生成装置１０のシステム制御部１６は、処理対象を次のラインに移動させて、ステップＳ２に戻る。
【００６２】
このように、画像生成装置１０のシステム制御部１６は、第１位置および第２位置に対する第３位置の位置関係と視差ベクトルと、オクルージョン情報とに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する画像生成手段１０ｇの一例として機能する。また画像生成装置１０のシステム制御部１６は、視差ベクトルに従い、第１位置および第２位置のうち第３位置に近い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する画像生成手段の一例として機能する。また画像生成装置１０のシステム制御部１６は、視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち第３位置から遠い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する画像生成手段の一例として機能する。
【００６３】
また、最後のラインの処理が終わった場合（ステップＳ１２；ＮＯ）、画像生成装置１０は、中間視差画像を表示する（ステップＳ１３）。具体的には、画像生成装置１０のシステム制御部１６は、記憶部１２から中間視差画像を読み出し、表示部１３に中間視差画像を表示する。
【００６４】
（２．２ オクルージョン処理のサブルーチン）
次に、オクルージョン処理のサブルーチンについて、図を用いて説明する。
図１１は、オクルージョン処理のサブルーチンの一例を示すフローチャートである。図１２から図１５は、基準点周りの画素値の関係性の一例を示す模式図である。
【００６５】
まず、図１１に示すように、画像生成装置１０は、左右画像の特徴点間距離を比較する（ステップＳ２０）。具体的には、画像生成装置１０のシステム制御部１６は、図９に示すように、画像３０ａにおける特徴点間の距離Ｄ１と、画像３０ｂにおける特徴点間の距離Ｄ１’とを比較する。
【００６６】
次に、画像生成装置１０は、オクルージョンが存在するか否かを判定する（ステップＳ２１）。具体的には、画像生成装置１０のシステム制御部１６は、ラインデータに関して、画像３０ａにおける特徴点間の距離と、対応する画像３０ｂにおける特徴点間の距離とが等しいときはオクルージョンでは無いと判定し、等しくないときは、オクルージョンが存在すると判定する。特徴点間距離が短い方の画像にオクルージョンが発生しているものとし、特徴点間が長いほうから画素データを取得する。図９または図５Ａに示すように、画像３０ａにおける特徴点間の距離Ｄ１と、画像３０ｂにおける特徴点間の距離Ｄ１’との場合は、画像生成装置１０のシステム制御部１６は、距離が等しくないので、オクルージョンが存在すると判定する。図５Ａに示すように、画像３０ａにおける特徴点間の距離Ｄ２と、画像３０ｂにおける特徴点間の距離Ｄ２’との場合は、距離が等しいので、オクルージョンは無いと判定する。なお、図１２に示すように、ラインデータをスキャンしていき、始めの特徴点までは、画素４２ａ、４３ｂまでの画素に対しては、画像生成装置１０のシステム制御部１６は、オクルージョンでは無いと判定する。また、距離が等しく無い基準は、１画素分異なってもよいし、所定の画素分異なってもよい。図９または図５Ａの場合、オクルージョンは、右目の画像３０ｂに発生していて、右目の画像３０ｂ特徴点間距離Ｄ１’が、左目の画像３０ａの特徴点間距離Ｄ１より短くなる。画像生成装置１０のシステム制御部１６は、対応する特徴点間距離が異なる場合、オクルージョンが存在とするオクルージョン情報手段の一例として機能する。
【００６７】
オクルージョンが存在しない場合（ステップＳ２１；ＮＯ）、画像生成装置１０は、視点の移動による特徴点のシフト量が少ない方の画像から画像データを取得してレンダリングする（ステップＳ２２）。具体的には、画像生成装置１０のシステム制御部１６は、基本的に、視点の移動による特徴点のシフト量が少ない方の画像、すなわち、仮想的な撮像装置２５、２５ｂ、２５ｃが近い撮像装置２０ａ、２０ｂの画素値を利用して、中間視差画像３５ａ、３５ｂ、３５ｃを生成していく。例えば、画像生成装置１０のシステム制御部１６は、図１０に示すように、左目の画像３０ａの画素値”ｐ”を利用して、中間視差画像３５ａの第２ラインの画素４５ａの画素値、および、中間視差画像３５ｂの第２ラインの画素４５ｂの画素値を求め、レンダリングする。一方、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの画素値”ｐ’”を利用して、中間視差画像３５ｃの第２ラインの画素４５ｃの画素値を求め、レンダリングする。なお、画素４５ａは、左目の画像３０ａの画素４２ａからのシフト量が３画素分であり、右目の画像３０ｂの画素４２ｂからのシフト量が９画素分であり、左目の画像３０ａからの方が、シフト量が少ない。
【００６８】
そして、画像生成装置１０のシステム制御部１６は、基準点の画素４５ａ、４５ｂ、４５ｃ以外の画素値を求める。画像生成装置１０のシステム制御部１６は、求めた画素値を、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域の対応する画素の箇所に記憶して行き、中間視差画像３５ａ、３５ｂ、３５ｃの画素を生成する。
【００６９】
ここで、ステレオ画像の性質として、右画像と左画像はお互いに同じ画像が平行移動したものである。これは、基準点周りの画素において考えると、基準点は特徴点であるため、特徴点に隣り合う画素は左目の画像３０ａ、右目の画像３０ｂと共に近似的な関係であると考えられる。図１２に示すように、左目の画像３０ａの基準点の画素４２ａ（画素値”p”）に隣り合う画素４３ａ（画素値”o”）について着目した時、右目の画像３０ｂの基準点の画素４２ｂ（画素値”p’”）に隣り合う画素４３ｂ（画素値”o’”）は、画素４３ａに対して近似的な画素値となる。
【００７０】
この関係を利用することにより、中間視差画像３５ａ、３５ｂ、３５ｃにおける基準点の画素の隣の画素については、画素値”o”、および、画素値”o’”のいずれか一方を利用することで、基準点周りの画素の画素値を補間することができる。画素値”o”、および、画素値”o’”のいずれか一方を利用するかは、左目の画像３０ａ、右目の画像３０ｂのどちらの特徴点シフト量が少ないかにより決定する。
【００７１】
従って、画像生成装置１０のシステム制御部１６は、図１２に示すように、中間視差画像３５ａの画素４６ａの画素値を、視差ベクトル５３に従い、左目の画像３０ａの画素４３ａの画素値”o”から求める。そして、画像生成装置１０のシステム制御部１６は、中間視差画像３５ｂの画素４６ｂの画素値を、左目の画像３０ａの画素４３ａの画素値”o”から求め、中間視差画像３５ｃの画素４６ｃの画素値を、右目の画像３０ｂの画素４３ｂの画素値”o’”から求める。さらに図１３に示すように、画像生成装置１０のシステム制御部１６は、画素４６ａ、４６ｂ、４６ｃの隣の画素においても適用することにより、ラインの画素を補間する。
【００７２】
なお、図１３に示すように、中間視差画像において、中間視差画像３５ａの画素４７ａの場合のように、画像端に注目すると、右目の画像３０ｂには存在する画素でも、左目の画像３０ａには存在しない画素領域がある。この場合、右目の画像３０ｂの画素４４ｂの画素値”ｌ’”を利用して、右目の画像３０ｂ側を起点とした視差ベクトル５４に従い、中間視差画像３５ａの画素４７ａの画素値”ｌ’”を求める。画像生成装置１０のシステム制御部１６は、中間視差画像３５ｂの画素４７ｂ、および、中間視差画像３５ｃの画素４７ｃの画素値も同様に求める。このように、視差ベクトルに従って、距離が近い方の画像３０ａ、３０ｂの画素が無い場合、画像生成装置１０のシステム制御部１６は、シフト量が多い方の画像３０ｂ、３０ａの画素の画素値を用いて、中間視差画像の画素の画素値を求める。
【００７３】
オクルージョンが存在する場合（ステップＳ２１；ＹＥＳ）、画像生成装置１０は、右目の画像にオクルージョンが存在するか否かを判定する（ステップＳ２３）。具体的には、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの特徴点間の距離が、左目の画像３０ａの特徴点間の距離より短い場合、右目の画像３０ｂにオクルージョンが存在すると判定する。図９または図５Ａに示すように、右目の画像３０ｂの特徴点間の距離Ｄ１’が、左目の画像３０ａの特徴点間の距離Ｄ１より短いので、右目の画像３０ｂにオクルージョンが存在すると判定する。なお、画像生成装置１０のシステム制御部１６は、所定画素分短い場合、短いと判定する。このように画像生成装置１０のシステム制御部１６は、第１画像の特徴点間距離と、これに対応する第２画像の特徴点間距離とに基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段の一例として機能する。
【００７４】
右画像のオクルージョンの場合（ステップＳ２３；ＹＥＳ）、画像生成装置１０は、特徴点間の画素を左画像から取得し、特徴点間の右側から左方向（スキャン方向と逆方向）にレンダリングする（ステップＳ２４）。具体的には、画像生成装置１０のシステム制御部１６は、図１４に示すように、中間視差画像３５ａにおいて、特徴点（基準点）の画素４５ａと、画素６５ａの間の画素に関して、右側の画素６５ａから、スキャン方向と逆向きの左方向に画素４５ａまでレンダリングする。このとき、画像生成装置１０のシステム制御部１６は、視差ベクトル５０より長さが短い視差ベクトル５５（位置関係に従い長さを変えた視差ベクトル５５）に従い、視点の移動による特徴点のシフト量が少ない方の画像を使用して、画素値を求め、レンダリングする。例えば、画像生成装置１０のシステム制御部１６は、左目の画像６０ａの画素値”10”を利用して、中間視差画像３５ａの第２ラインの画素６５ａの画素値、および、中間視差画像３５ｂの第２ラインの画素６５ｂの画素値を求め、レンダリングする。一方、画像生成装置１０のシステム制御部１６は、右目の画像３０ｂの画素値”10”を利用して、中間視差画像３５ｃの第２ラインの画素６５ｃの画素値を求め、レンダリングする。
【００７５】
そして、左方向（スキャン方向）に移動して、画像生成装置１０のシステム制御部１６は、左目の画像６０ａの画素値”10”を利用して、中間視差画像３５ａの第２ラインの画素６６ａの画素値、および、中間視差画像３５ｂの第２ラインの画素６６ｂの画素値を求め、右目の画像３０ｂの画素値”10”を利用して、中間視差画像３５ｃの第２ラインの画素６６ｃの画素値を求め、レンダリングする。画像生成装置１０のシステム制御部１６は、求めた画素値を、中間視差画像３５ａ、３５ｂ、３５ｃを生成するための記憶領域の対応する画素の箇所に記憶して行き、中間視差画像３５ａ、３５ｂ、３５ｃの画素を生成する。なお、画素値”10”のような数字は、画素値そのものではなく、便宜上の記号である。
【００７６】
なお、長さを１／４で逆向きにした視差ベクトル５５に従い、中間視差画像３５ｃの第２ラインの画素６７ｃに対応した右目の画像３０ｂの画素は、特徴点の画素４２ｂとなり、画素値を割り当てる対応する画素がない。従って、画像生成装置１０のシステム制御部１６は、図１４に示すように、３／４の長さの視差ベクトル５５に従い、左目の画像３０ａの画素の画素値”8”を利用して、画素６７ｃの画素値を求め、レンダリングする。
【００７７】
また、図１５に示すように、画像生成装置１０のシステム制御部１６が、視差ベクトル５５より長さが長い視差ベクトル５０に従い、特徴点間の左側から右方向にレンダリングすると、中間視差画像３５ａの１４番目の画素と画素６５ａとの間や、中間視差画像３５ｂの１３番目の画素と画素６５ｂとの間に、画素値の不連続が起こり、不自然な画像になってしまう。図１５に示すように、特徴点の画素４２ａを基準にしているため本来繋がりを持たなければならない特徴点の画素６０ａ周辺の画素に対応する中間視差画像が、中間視差画像３５ａでは”7”から”10”、中間視差画像３５ａでは”5”から”10”といったように画素の繋がりが飛んでしまっている。それに対して、図１４に示すような生成方法だと特徴点の画素６０ａに対応する基準点の画素６５ａ、６５ｂ、６５ｃの周りの繋がりが途切れることなく生成されることになる。
【００７８】
次に、右画像のオクルージョンで無い場合（ステップＳ２３；ＮＯ）、画像生成装置１０は、特徴点間の画素を右画像から取得し、特徴点間の左側から右方向にレンダリングする（ステップＳ２５）。具体的には、画像生成装置１０のシステム制御部１６は、ステップＳ２４に似たような手順により、長さが短い方の視差ベクトルに従い、特徴点間の左側から右方向に画素値を求め、レンダリングをする。
【００７９】
次に、ステップＳ２２、Ｓ２４、Ｓ２５の後、画像生成装置１０は、次の特徴点間の距離を選択できるか否かを判定する（ステップＳ２６）。画像生成装置１０のシステム制御部１６は、図５Ａに示すように、α-β間の距離Ｄ２およびα’-β’間の距離Ｄ２’を選択した後、β-γ間の距離およびβ’-γ’間の距離を選択できる場合は（ステップＳ２６；ＹＥＳ）、ステップＳ２０に戻る。最後の特徴点間の距離に関して処理が終わり、特徴点間の距離を選択でき無い場合は（ステップＳ２６；ＮＯ）、画像生成装置１０のシステム制御部１６は、サブルーチンを終了する。
【００８０】
以上、本実施形態によれば、複数の撮像手段により、第１位置から撮像された第１画像と、第２位置から撮像された第２画像との入力を受け付け、第１画像および第２画像の各画素の色相を求める色相変換を行い、色相変換された第１画像および第２画像から、第１画像および第２画像の特徴点を抽出し、第１画像と第２画像とにおいて対応する特徴点を求め、対応する特徴点の間の距離を有する視差ベクトルを算出し、第１画像および第２画像の各画像内において、同一画像内における特徴点の間の特徴点間距離を算出し、第１画像内の特徴点間距離と、これに対応する第２画像内の特徴点間距離とに基づき、第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求め、第１位置と第２位置との間に第３位置を設定し、第１位置および第２位置に対する第３位置の位置関係と、視差ベクトルと、オクルージョン情報とに従い、第１画像と第２画像とから、第３位置から撮像された場合の第３画像を生成する。これにより、特徴点間距離からオクルージョン情報を求め、オクルージョンに対応でき、特殊なカメラは使用せず、奥行き情報無しに、第３位置の位置関係と視差ベクトルとに従い、特徴点間の画像データを描画するので、低コストで、より少ない演算量で画像を生成することができる。
【００８１】
また、右目の画像３０ｂにオクルージョンがあった場合、左目の画像３０ｂを使って、基準点の画素４５ａ、６５ａ間の領域のように、基準点の画素６５ａの右側から左方向へレンダリングし、左目の画像にオクルージョンがあった場合、右目の画像を使って、基準点間の領域の左側から右方向へレンダリングすることにより、ある被写体が他の被写体に隠れ、一方の撮像装置から撮像できない部分を、補完的に描画できる。
【００８２】
また、本実施形態において使用する撮像装置２０ａ、２０ｂは、通常のスチルカメラまたビデオカメラであるので、本実施形態は実現しやすい手法である。
【００８３】
また、色相の変化に応じて特徴点を抽出する場合、色相により特徴点を求めているので、輝度による影響が出ない。
【００８４】
また、対応する特徴点間距離が異なり、オクルージョンが存在とするオクルージョン情報を求める場合、画像生成装置１０のシステム制御部１６は、容易にオクルージョンの存否を判定できる。
【００８５】
また、複数の視差ベクトルを算出し、オクルージョン情報に応じて、第３画像を生成するための視差ベクトルを選択する場合、画像生成装置１０のシステム制御部１６は、一方のカメラから死角である画像データを、補完的に的確にレンダリングできる。
【００８６】
また、色相を当該色相の値の範囲に応じてグループに分類し、当該グループに対するインデックスを色相の値とした色相の画像に変換する場合、ＨＳＶ変換を用いて色相変換を施すことにより、色相によるグルーピング処理が行われ、色相のグループの境界が容易に抽出される。また、ラインごとに処理を行うため、画素マトリックスレベルでのクラスタリングが必要ないため、処理が容易である。画像生成装置１０において、必要なメモリ、演算量といったシステム要件を下げることができ、またハード化しやすい。
【００８７】
第１画像３０ａおよび第２画像３０ｂの各画像のスキャン方向（ｘ方向）は、第１位置（ｘ＝０）と第２位置（ｘ＝Ｌ）とを結ぶ方向である場合、スキャン方向と、視差ベクトル５０の方向（撮像装置２０ａと、撮像装置２０ｂとの設置方句）とが平行になり、視差ベクトル５０、５５が求めやすくなる。すなわち、画像生成装置１０のシステム制御部１６は、対応する特徴点の間の距離（視差ベクトルの長さ）を求めるだけで、視差ベクトル５０を求めることができる。
【００８８】
画像生成装置１０のシステム制御部１６が、第３画像（各中間視差画像３５ａ、３５ｂ、３５ｃ）における対応する特徴点の位置を、第３位置の位置関係に対応する比率と視差ベクトルとから決定する場合、中間視差画像３５ａ、３５ｂ、３５ｃを描画する基準となる基準点を容易に決めやすくなる。
【００８９】
画像生成装置１０のシステム制御部１６が、視差ベクトル５０、５５に従い、第１位置および第２位置のうち第３位置に近い方の位置の第１画像３０ａまたは第２画像３０ｂの画素から第３画像を生成する場合、中間視差画像に位置的に近い方の画像の画素を利用して描画を行うため、より自然な画像を生成できる。
【００９０】
画像生成装置１０のシステム制御部１６が、視差ベクトル５０に従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の第１画像または第２画像の画素の情報を用いて第３画像を生成する場合、一方の撮像装置では、画像の端となり、写らない所の画像も生成できる。
【００９１】
画像生成装置１０のシステム制御部１６が、複数の第３位置を設定し、複数の第３画像（中間視差画像３５ａ、３５ｂ、３５ｃ）を生成する場合、容易に多眼的に複数の中間視差画像３５ａ、３５ｂ、３５ｃを生成できる。
【００９２】
なお、画像３０ａと画像３０ｂが同一の解像度で無い場合、画像生成装置１０のシステム制御部１６は、画像３０ａと画像３０ｂとの解像度を合わせから、ステップＳ１からの処理を行ってもよい。
【００９３】
特徴点を求める際の方向は、スキャン方向のｘ方向に限らず、ｙ方向でも構わない。
【００９４】
また、撮像装置２０ａおよび撮像装置２０ｂが、水平方向（ｘ方向）以外に設置されていてもよい。例えば、上下方向（ｙ方向）に設置されている場合、スキャン方向はｙ方向が好ましい。
【００９５】
また、画像生成装置１０のシステム制御部１６が、特徴点を求める際、色相変換された画像に対して、微分マスクを使い、エッジを求めてもよい。
【００９６】
また、画像生成装置１０のシステム制御部１６は、ＳＳＤ(Sum of Squared Difference)、ＳＡＤ(Sum of Absolute Difference)等のマッチング手法により、特徴点同士の一致の度合いを評価し、対応する特徴点を求めてもよい。例えば、画像生成装置１０のシステム制御部１６は、第１画像３０ａおよび第２画像３０ｂのライン方向における画素の色のマッチングを行う。また、画像生成装置１０のシステム制御部１６が、第１画像３０ａの特徴点を含む画像領域とマッチングする第２画像３０ｂの画像領域を求め、対応する特徴点を求めてもよい。色相変換前の元画像についてパターンマッチングを行ってもよい。
【００９７】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００９８】
１：画像生成システム
１０：画像生成装置
２０（２０ａ、２０ｂ）：撮像装置（撮像手段）
３０（３０ａ、３０ｂ）：画像（第１画像、第２画像）
３５（３５ａ、３５ｂ、３５ｃ）：中間視差画像（第３画像）
４０ａ、４０ｂ、４１ａ、４１ｂ、４２ａ、４２ｂ、４５ａ、４５ｂ、４５ｃ：特徴点の画素（特徴点）
５０、５５：視差ベクトル
【特許請求の範囲】
【請求項１】
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段と、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段と、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段と、
前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段と、
前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段と、
前記第１位置と第２位置との間に第３位置を設定する位置設定手段と、
前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記オクルージョン情報手段が、前記対応する特徴点間距離が異なる場合、オクルージョンが存在とするオクルージョン情報を求めることを特徴とする画像生成装置。
【請求項３】
請求項１または請求項２に記載の画像生成装置において、
前記視差ベクトル算出手段が、複数の視差ベクトルを算出し、
前記画像生成手段が、前記オクルージョン情報に応じて、前記第３画像を生成するための視差ベクトルを選択することを特徴とする画像生成装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像生成装置において、
前記特徴点抽出手段は、前記色相の変化が生じた箇所を前記特徴点として抽出することを特徴とする画像生成装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像生成装置において、
前記色相変換手段が、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換することを特徴とする画像生成装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像生成装置において、
前記第１画像および第２画像の各画像のスキャン方向は、前記第１位置と第２位置とを結ぶ方向であることを特徴とする画像生成装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像生成装置において、
前記画像生成手段が、前記第３画像における前記対応する特徴点の位置を、前記第３位置の位置関係に対応する比率と前記視差ベクトルとから決定することを特徴とする画像生成装置。
【請求項８】
請求項１から７のいずれか１項に記載の画像生成装置において、
前記画像生成手段が、前記視差ベクトルに従い、前記第１位置および第２位置のうち前記第３位置に近い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする画像生成装置。
【請求項９】
請求項８に記載の画像生成装置において、
前記画像生成手段が、前記視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする画像生成装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像生成装置において、
前記位置設定手段が、複数の第３位置を設定し、
前記画像生成手段が、複数の第３画像を生成することを特徴とする画像生成装置。
【請求項１１】
画像生成装置が、画像を生成する画像生成方法であって、
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換ステップと、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索ステップと、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出ステップと、
前記第１画像および第２画像の各画像において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出ステップと、
前記第１画像の特徴点間距離と、これに対応する前記第２画像の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報ステップと、
前記第１位置と第２位置との間に第３位置を設定する位置設定ステップと、
前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成ステップと、
を有することを特徴とする画像生成方法。
【請求項１２】
コンピュータを、
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段、
前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段、
前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段、
前記第１位置と第２位置との間に第３位置を設定する位置設定手段、および、
前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段として機能させる画像生成装置用プログラム。
【請求項１】
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段と、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段と、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段と、
前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段と、
前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段と、
前記第１位置と第２位置との間に第３位置を設定する位置設定手段と、
前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記オクルージョン情報手段が、前記対応する特徴点間距離が異なる場合、オクルージョンが存在とするオクルージョン情報を求めることを特徴とする画像生成装置。
【請求項３】
請求項１または請求項２に記載の画像生成装置において、
前記視差ベクトル算出手段が、複数の視差ベクトルを算出し、
前記画像生成手段が、前記オクルージョン情報に応じて、前記第３画像を生成するための視差ベクトルを選択することを特徴とする画像生成装置。
【請求項４】
請求項１から３のいずれか１項に記載の画像生成装置において、
前記特徴点抽出手段は、前記色相の変化が生じた箇所を前記特徴点として抽出することを特徴とする画像生成装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像生成装置において、
前記色相変換手段が、前記色相を当該色相の値の範囲に応じてグループに分類し、前記グループに対するインデックスを色相の値とした前記色相の画像に変換することを特徴とする画像生成装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像生成装置において、
前記第１画像および第２画像の各画像のスキャン方向は、前記第１位置と第２位置とを結ぶ方向であることを特徴とする画像生成装置。
【請求項７】
請求項１から６のいずれか１項に記載の画像生成装置において、
前記画像生成手段が、前記第３画像における前記対応する特徴点の位置を、前記第３位置の位置関係に対応する比率と前記視差ベクトルとから決定することを特徴とする画像生成装置。
【請求項８】
請求項１から７のいずれか１項に記載の画像生成装置において、
前記画像生成手段が、前記視差ベクトルに従い、前記第１位置および第２位置のうち前記第３位置に近い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする画像生成装置。
【請求項９】
請求項８に記載の画像生成装置において、
前記画像生成手段が、前記視差ベクトルに従った画素が無い場合、前記第１位置および第２位置のうち前記第３位置から遠い方の位置の前記第１画像または第２画像の画素の情報を用いて第３画像を生成することを特徴とする画像生成装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像生成装置において、
前記位置設定手段が、複数の第３位置を設定し、
前記画像生成手段が、複数の第３画像を生成することを特徴とする画像生成装置。
【請求項１１】
画像生成装置が、画像を生成する画像生成方法であって、
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換ステップと、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索ステップと、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出ステップと、
前記第１画像および第２画像の各画像において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出ステップと、
前記第１画像の特徴点間距離と、これに対応する前記第２画像の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報ステップと、
前記第１位置と第２位置との間に第３位置を設定する位置設定ステップと、
前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成ステップと、
を有することを特徴とする画像生成方法。
【請求項１２】
コンピュータを、
複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、
前記第１画像および第２画像の各画素の色相を求める色相変換を行う色相変換手段、
前記色相変換された前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、
前記第１画像と第２画像とにおいて対応する特徴点を求める対応点探索手段、
前記対応する特徴点の間の距離を有する視差ベクトルを算出する視差ベクトル算出手段、
前記第１画像および第２画像の各画像内において、同一画像内における前記特徴点の間の特徴点間距離を算出する特徴点間距離算出手段、
前記第１画像内の特徴点間距離と、これに対応する前記第２画像内の特徴点間距離とに基づき、前記第１位置および第２位置いずれか一方から見えない領域に関するオクルージョン情報を求めるオクルージョン情報手段、
前記第１位置と第２位置との間に第３位置を設定する位置設定手段、および、
前記第１位置および第２位置に対する前記第３位置の位置関係と、前記視差ベクトルと、前記オクルージョン情報とに従い、前記第１画像と第２画像とから、前記第３位置から撮像された場合の第３画像を生成する画像生成手段として機能させる画像生成装置用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５Ｂ】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５Ａ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５Ｂ】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−７７８８２（Ｐ２０１３−７７８８２Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１５０７８（Ｐ２０１１−２１５０７８）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]