不要物を除去した画像合成システム
【課題】カメラ等を用いた写真撮影等において被写体を撮影する場合、被写体とそれを遮るように不要物が撮影されている画像と被写体を遮る部分を別に撮影した画像を取得し、被写体が不要物によって遮られている部分を被写体を遮る部分を別に撮影した画像から取得し、それを貼換える合成システムを提供する。
【解決手段】複数の撮影ポジションごとに画像を取得し、対象物の位置を求め、隠れ部分を特定し、隠れ部分を他の画像から取得し、合成することにより、欠損領域を補う。
【解決手段】複数の撮影ポジションごとに画像を取得し、対象物の位置を求め、隠れ部分を特定し、隠れ部分を他の画像から取得し、合成することにより、欠損領域を補う。
【発明の詳細な説明】
【技術分野】
【０００１】
あらかじめ取得された被写体を含む対象物が撮影されている画像において、被写体を識別しそれを遮る不要物を除去するための技術に関する。
【背景技術】
【０００２】
カメラ等を用いた写真撮影等において被写体を撮影する場合、画像中に被写体を遮る不要物が、写りこんでいることがよくある。例えば、マンション販売広告に記載されているマンション自体の写真などである。マンション自体の写真を撮るためには、その大きさからある程度遠距離から撮影する必要があり、遠距離から撮影すると被写体であるマンションを遮る不要物が写りこんでしまうことが多い。そこで、被写体を遮る不要物を画像から除去する非特許文献１に記載のような技術が提供されている。具体的には、固有空間法とＢＰＬＰを用いた画像補間法により、不要物などで一部が欠損した画像１枚のみを用いて欠損していない周囲の情報より欠損を補う技術である。
【非特許文献１】天野敏之「固有空間法を用いたBPLP による画像補間」電子情報通信学会論文誌D-II,Vol.J85-D-II,No.3,pp.457-465,2002
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１に記載の技術は、１枚の画像から補完対象となる欠損領域を補完するためには、欠損領域とそうでない領域が類似する画像でなければならないという課題がある。つまり、例えば特徴的な形状をもつ建物を遮る不要物が撮影されているような、欠損領域とそうでない領域が類似しない画像や、建物を遮る不要物の割合が大きいなど欠損領域の面積が大きい画像などにおいては、不要物を除去することは困難であるということである。
【課題を解決するための手段】
【０００４】
そこで、本発明はかかる課題を解決するために１枚の基準画像から基準画像の欠損領域を他複数の補完画像から取得し、基準画像の欠損領域を補う技術を提供する。具体的には、以下のような画像合成システムである。
【０００５】
第１発明では、撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得部と、前記複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定部と、隠れ部分を他の画像から取得する隠れ部分取得部とを有する画像合成システムを提供する。
【０００６】
第２発明では、第１発明を基本として、取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正部と、補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換部と、を有する画像合成システムを提供する。
【０００７】
第３発明では、撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得ステップと、複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定ステップと、隠れ部分を他の画像から取得する隠れ部分取得ステップと、を有する画像合成システムの動作方法を提供する。
【０００８】
第４発明では、第３発明を基本として、取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正ステップと、補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換ステップと、を有する画像合成システムの動作方法を提供する。
【発明の効果】
【０００９】
以上のような発明によって、被写体とそれを遮るように不要物が撮影されている画像と被写体を遮る部分を別に撮影した画像を取得し、被写体が不要物によって遮られている部分を被写体を遮る部分を別に撮影した画像から取得し、それを貼換えることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれらの実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００１１】
なお、実施例１は主に請求項１、３を、実施例２は主に請求項２、４について説明する。
【００１２】
≪実施例１≫
【００１３】
<概要>
【００１４】
図１は、本実施例の画像合成システムの機能を説明する図である。図１は、画像Ａ（０１０１）及び画像Ｂ（０１０２）とそれぞれの撮影ポジション（０１０６、０１０７）から対象物（０１０３、０１０４、０１０５）までの位置関係を示している。画像Ａ（０１０１）は画像Ａの撮影ポジション（以降撮影ポジションＡとする）から対象物（０１０３、０１０４、０１０５）を撮影した画像であり、対象物Ｃ（０１０５）と撮影ポジションの間に対象物Ｃ（０１０５）を遮るように対象物Ａ（０１０３）及び対象物Ｂ（０１０４）が写りこんでいる。画像Ｂは画像Ｂの撮影ポジション（以降撮影ポジションＢとする）から対象物（０１０３、０１０４、０１０５）を撮影した画像であり、対象物Ｃ（０１０５）と撮影ポジションＢとの間に対象物Ａ（０１０３）及び対象物Ｂ（０１０４）が対象物Ｃ（０１０５）を画像Ａ（０１０３）とは異なる形で遮るように写っている。ここで、画像Ａ（０１０１）及びＢ（０１０２）に撮影されている対象物Ａ、Ｂ、Ｃは（０１０３、０１０４、０１０５）はお互いに対応しているものとする。また、画像Ａ（０１０１）において対象物Ａ、Ｂ（０１０３、０１０４）が対象物Ｃ（０１０５）を遮る部分は、画像Ｂ（０１０２）に撮影されているものとする
【００１５】
本実施例はまず、画像Ａ（０１０１）及びＢ（０１０２）において、それぞれの画像に撮影されている対象物Ａ、Ｂ、Ｃ（０１０３、０１０４、０１０５）の位置関係から各撮影ポジション（０１０６、０１０７）からの相対的位置の割り出しを行う。
【００１６】
相対的位置の割り出しを行うと次に、基準画像（例えば画像Ａ（０１０１）とする）において対象物Ａ、Ｂ、Ｃ（０１０３、０１０４、０１０５）から被写体を識別する（例えば対象物Ｃ（０１０５）とする）。被写体を識別すると、被写体の前景にある不要物を特定する（対象物Ａ、Ｂ（０１０３、０１０４）が特定される）。不要物を特定すると補完画像（ここでは画像Ｂ（０１０２））から、基準画像（画像Ａ（０１０１））において、不要物によって被写体と重なっている部分を特定し取得することを特徴としている。
【００１７】
<機能的構成>
【００１８】
以下に記載する画像合成システムの機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バスあるいは二次記憶装置（ハードディスクや不揮発性メモリ）、それらのハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどがあげられる。
【００１９】
またこれらのハードウェアやソフトウェアは、主メモリ上に展開したプログラムをＣＰＵで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然この発明の技術的な範囲に含まれる。（本明細書の全体を通じて同様である）
【００２０】
以下、本実施例の「画像合成システム」の構成要件について、図２などを用いて説明する。
【００２１】
本実施例の「画像合成システム」は少なくとも「画像取得部」（０２０１）と、「隠れ部分特定部」（０２０２）と「隠れ部分取得部」（０２０３）とを有している。
【００２２】
「画像取得部」（０２０１）は、撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する機能を有している。具体的にはまず、処理対象である被写体が不要物によって遮られて撮影されている基準画像と、少なくとも基準画像において被写体が遮られている部分が撮影されている補完画像を取得する。ここで、取得される補完画像は一つでもよいし、複数枚数の画像であってもよい。
【００２３】
次に画像を取得すると、それぞれの画像（基準画像と補完画像）中の特徴点を抽出する。特徴点の抽出には、特徴点を抽出するにあたり、取得した画像をノイズ除去、エッジ抽出、コントラスト強調や２値化など特徴点の抽出が容易になるような前処理を必要に応じて行ったうえでＳＩＦＴ法、Ｈａｒｒｉｓオペレータ法、トラッキング法などを用いて特徴点の抽出を行う。ここで特徴点とはそれぞれの画像上の任意の点であって、点の周囲の情報（例えば、周囲の点のＲＧＢ情報、明度など）に特徴がある点である。例えば、対象物と背景の境界となる点である。具体的な抽出方法は、例えば「特開２００３−２４２１６２号公報」などに記載されている
【００２４】
それぞれの画像において特徴点が抽出されると次に、それぞれの画像において抽出された特徴点の対応付けを行う。例えば、基準画像の任意の特徴点における周囲の情報と補完画像で取得されたすべての特徴点における周囲の情報を比較し、周囲の情報が一致する特徴点を探すという具合である。ここでは、少なくとも８個以上の特徴点が対応づけられれば良く、すべての特徴点が対応づけられる必要はない（対応付けができない特徴点は排除する）。
【００２５】
特徴点の対応付けがされると次に、複数の対応付けされた特徴点から被写体及び不要物ごとに基礎行列を取得する。
【００２６】
ここで、基礎行列とは基準画像と補完画像の対応する点の座標上の関係（写像関係）を示す行列である（図３）。具体的には、２枚の画像の対応点と思われる２点をｐ１、ｐ２とし、エピポーラ幾何学の原理によって基礎行列をＦとする。そして、ｐ１Ｔ＊Ｆ＊ｐ２＝０の関係が成立する場合のＦが基礎行列である。ここで、特徴点ｐ１、ｐ２は図３に示す１×３で構成される三次元の位置情報を示す行列であり、Ｆは３×３で構成される行列で表現することができる。これにより、２枚の画像から対応する複数の特徴点ペア（ｐ１，ｐ２），（ｐ３,ｐ４），（ｐ５，ｐ６），（ｐ７，ｐ８），（ｐ９，ｐ１０），（ｐ１１，ｐ１２），（ｐ１３，ｐ１４），（ｐ１５，ｐ１６）・・・をそれぞれ与えて複数の方程式を立ててこれを解き、基礎行列を求める。これらの具体的な算出は、例えば「金谷健一・三島等「未構成カメラによる２画像からの３次元復元とその信頼性評価」情報処理学会論文誌：コンピュータビジョンとイメージメディア,Vol.42,No.SIG 6(CVIM 2),2001」などに記載されている。
【００２７】
基礎行列が導かれると、導かれた基礎行列Ｆをもとに特徴点ごとに奥行きを求める（つまり、撮影ポジションからの距離が導かれる）。ここで、奥行きを求める具体的な算出方法についても、上記に記載の論文に記載されている。
【００２８】
画像ごとに各特徴点の奥行きが求められると、奥行きごとに特徴点のグループ分けを行い、画像に点在する特徴点がどの対象物における特徴点であるかを判別する。対象物ごとの特徴点が判別されると、対象物ごとに判別された特徴点を結んだ、対象物の輪郭情報を対象物ごとに取得する。
【００２９】
「隠れ部分特定部」（０２０２）は、複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する機能を有している。具体的には、複数の画像から導かれた各撮影ポジションから各対象物までの奥行きと、対象物ごとに取得した特徴点を結ぶ輪郭情報を元に画像に撮影されている対象物から被写体及び不要物を識別する。対象物から被写体と不要物を識別すると、特定された被写体と重なっている不要物が隠す部分を輪郭情報を元に特定するという具合である。
ここで、被写体を識別させるにあたり、ＰＣ等に出力される基準画像に撮影されている対象物のいずれかを人からの入力をうけて選択させることで、本実施例の「隠れ部分特定部」（０２０２）は、選択された対象物を被写体として識別し、被写体を隠す隠れ部分を特定させてもよいし、また、撮影ポジションから対象物ごとの距離に応じて区分けを行い（例えば、撮影ポジションから最も奥にある対象物までの距離を何等分かに分割する）、指定する範囲の範囲内にある対象物を被写体として識別させてもよい。さらには、画像から得られる距離に応じた別の情報（例えば、距離に応じてその輝度が異なって表現される輝度ヒストグラムなど）を使用して複数の対象物から被写体を識別させて、被写体を隠す隠れ部分を特定させてもよい。
【００３０】
以下に、図４Ａ及びＢを用いて実際に取得された撮影ポジションから各対象物までの奥行きをもとに被写体と不要物とを識別し、隠れ部分を特定する手法の一例を説明する。図４Ａは、基準画像である画像Ａにおける対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図である（例えば、「対象物Ｃ」は対象物Ａ、Ｂの後景にあって撮影ポジションからのＸ軸方向の距離は５ａという具合である）。また、図４Ｂは、補完画像である画像Ｂにおける対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図である。
【００３１】
ここで、図４Ａに示すように画像Ａの撮影ポジションからＸ軸方向に任意の距離で区分けを行う（本例では、距離「ａ」で区分けを行う）。区分けを行うと、被写体が撮影されていると考えられる任意の範囲を指定する。範囲が指定されると、指定された範囲に属する対象物を検索する（例えば、距離「５ａ〜６ａ」の範囲を指定したとすると、「対象物Ｃ」が検索される）。対象物を検索すると、検索された対象物を被写体として識別する（検索対象外の対象物は不要物であると識別される）。ここで、本例では区分けをするにあたり任意の距離で区分けを行ったが、あらかじめ一定の奥行きを定めておき、それを任意の数で分割することとしてもよい。さらには、より具体的な方法として固定閾値判別、累積ヒストグラム、判別分析法のいずれか、もしくは複数の手法から最適なものを選択することとしてもよい。また、対象物を検索するにあたり、指定の範囲に属する対象物を検索することとしたが、対象物が検索できない場合には指定した範囲に最も近い対象物を検索することとしてもよい。
【００３２】
被写体と不要物とを識別すると、識別された被写体より前景に存在する不要物を特定する（本例では、対象物Ａ、Ｂが該当する）。不要物が特定されると、基礎行列を用いて補完画像である画像Ｂから、画像Ａにおいて隠れている部分を特定するという具合である。
【００３３】
「隠れ部分取得部」（０２０３）は、隠れ部分を他の画像から取得する機能を有している。具体的には、まず前記「隠れ部分特定部」（０２０２）において被写体を隠す隠れ部分が特定されたとする。隠れ部分が特定されると、前記「画像取得部」（０２０１）において求められている被写体と識別された対象物の基礎行列を使用し、基準画像における隠れ部分に対応する部分を補完画像から取得する。
【００３４】
<ハードウェア的構成>
図５は、本実施例の「画像合成システム」のハードウェア構成の一例を表す概略図である。この図を利用して、本実施例の画像合成システムにおけるそれぞれのハードウェア構成部の働きについて説明する。
【００３５】
本実施例の「画像合成システム」は、各種演算処理や制御を行う「ＣＰＵ」（０５０１）と、「主メモリ」（０５０２）とを備えている。また、「画像合成システム」は、取得した画像などを保存する「記憶装置」（０５０３）や、画像データを取得するための「Ｉ／Ｏ」（０５０４）なども備えている。また、被写体等を出力させるための「画面」（０５０５）や被写体等を選択するためのマウスなどの「ＵＩ」（０５０６）も備えている。そして、これらが、「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【００３６】
ここで、「画像合成システム」は、「Ｉ／Ｏ」（０５０４）を介して、基準画像及び補完画像を取得したとする。画像を取得すると「ＣＰＵ」（０５０１）は「記憶装置」（０５０３）に取得した画像を記録させるとともに、「主メモリ」（０５０２）のワーク領域に展開されている。「前処理プログラム」（０５０７）を呼び出す。呼び出された「前処理プログラム」（０５０７）は、取得したそれぞれの画像に対して必要な前処理を行い、処理したそれぞれの画像を「特徴点検出プログラム」（０５１１）に引き渡す。ここで、前処理とは取得した画像の特徴点を抽出するにあたり必要に応じて、あらかじめ準備されているノイズ除去するプログラム（０５０８）や画像のコントラスト強調（０５０９）、画像の２値化（０５１０）などを行うプログラムを実行する処理である。
【００３７】
「特徴点検出プログラム」（０５１１）は、前処理した画像を取得すると、各画像における特徴点を検出する。特徴点が検出されると特徴点を各画像間でマッチングを行う。マッチングしない特徴点は不良点として除去を行う。各特徴点がマッチングもしくは除去されると、「基礎行列算出プログラム」（０５１２）に、対象物ごとにマッチングした各特徴点の情報を引き渡す。
【００３８】
「基礎行列算出プログラム」（０５１２）は、対象物ごとにマッチングした特徴点を受けとると特徴点の情報をもとに、対象物ごとに基礎行列の算出を行う。基礎行列が導かれると、「距離算出プログラム」（０５１３）に基礎行列を引き渡す。
【００３９】
「距離算出プログラム」（０５１３）は、「基礎行列算出プログラム」（０５１２）より引き渡された対象物ごとに算出された基礎行列を使用しそれぞれの奥行きを求める。
【００４０】
次に、「ＣＰＵ」（０５０１）は、「主メモリ」（０５０２）のワーク領域に展開されている「隠れ部分特定プログラム」（０５１４）を呼び出す。「隠れ部分特定プログラム」（０５１４）は、基準画像に撮影されている複数の対象物から被写体を識別する。ここで、被写体を認識する方法として、プログラムで自動認識させてもよいし、必要に応じてＵＩを用いてユーザが被写体を指定し被写体を認識させてもよい。次に、被写体を識別すると、「距離算出プログラム」（０５１３）において算出された距離が識別された被写体よりも前景である不要物を取得する。これにより、被写体を隠している隠れ部分を特定する。隠れ部分が特定されると、「隠れ部分取得プログラム」（０５１５）を呼び出す。
【００４１】
「隠れ部分取得プログラム」（０５１５）は、「隠れ部分特定プログラム」（０５１４）において特定された隠れ部分を補完する部分を基礎行列を用いて、補完画像より取得する。
【００４２】
<処理の流れ>
【００４３】
図６は、本実施例の画像合成システムにおける、画像の取得から隠れ部分取得までの流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され、計算機を制御するためのプログラムを構成する処理ステップであってもかまわない。
【００４４】
ここで、画像合成システムは基準画像と補完画像を取得したとする（Ｓ０６０１、Ｓ０６０４）。基準画像と補完画像を取得すると、特徴点抽出前の前処理を行う（Ｓ０６０２、Ｓ０６０５）。前処理が完了すると、基準画像と補完画像それぞれにおいて特徴点の抽出を行う（Ｓ０６０３、Ｓ０６０６）。特徴点が抽出されると、基準画像と補完画像間で特徴点のマッチングを行う（Ｓ０６０７）。マッチング処理が完了すると、基礎行列の算出を行う（Ｓ０６０８）。算出すると、基礎行列から奥行き（距離）を算出する（Ｓ０６０９）。奥行きが算出されると、複数の対象物から被写体の識別を行う（Ｓ０６１０、Ｓ０６１１）。被写体を識別すると、基準画像において被写体の隠れ部分を特定する（Ｓ０６１２）。隠れ部分を特定すると、隠れ部分を補完画像から取得する（Ｓ０６１３）。
【００４５】
<効果の簡単な説明>
【００４６】
本実施例の画像合成システムによって、基準画像と複数もしくは単数の補完画像を取得することにより、基準画像に撮影されている被写体を遮る部分を特定することが可能となる。
【００４７】
≪実施例２≫
【００４８】
<概要>
【００４９】
本実施例は、実施例１を基本とする画像合成システムにおいて、補完画像より取得した隠れ部分を基準画像に合わせて補正し、補正した隠れ部分を基準画像に貼換えることができることを特徴としている。
【００５０】
<機能的構成>
【００５１】
図７は、本実施例の画像合成システムにおける機能的構成の一例を表す図である。この図にあるように本実施例は、実施例１の画像合成システムを基本として「補正部」（０７０４）と「貼換部」（０７０５）を新たに有していることを特徴としている。
【００５２】
なお、本実施例において実施例１にて説明した構成について詳細な説明は省略し、本実施例において特徴的な箇所についてのみ説明する。
【００５３】
「補正部」（０７０４）は、取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する機能を有する。具体的には、「隠れ部分取得部」（０７０３）において補完画像から取得された基準画像に補完すべき部分を、基準画像に合わせて補正する。ここで具体的に補正とは、色彩補正や輝度補正や形状補正などの手法を用いて基準画像と補完画像と異なる輝度や色彩のバランスを補正し、基準画像に貼り付けた際に違和感がないようにする。
【００５４】
「貼換部」（０７０５）は、補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える機能を有する。具体的には、前記「補正部」（０７０４）において補正された、補完画像より取得した基準画像に貼り付けるべき隠れ部分を実際に、基準画像に貼換える。
【００５５】
<ハードウェア的構成>
図８は、本実施例の「画像合成システム」のハードウェア構成の一例を表す概略図である。これらの図を利用して、本実施例の画像合成システムの処理を説明する。
【００５６】
ここで、「画像合成システム」は、「Ｉ／Ｏ」（０８０４）を介して、基準画像及び補完画像を取得したとする。画像を取得すると「ＣＰＵ」（０８０１）は「記憶装置」（０８０３）に取得した画像を記録させるとともに、「主メモリ」（０８０２）のワーク領域に展開されている。「前処理プログラム」（０８０７）を呼び出す。呼び出された「前処理プログラム」（０８０７）は、取得したそれぞれの画像に対して必要な前処理を行い、処理したそれぞれの画像を「特徴点検出プログラム」（０８１１）に引き渡す。ここで、前処理とは取得した画像の特徴点を抽出するにあたり必要に応じて、あらかじめ準備されているノイズ除去するプログラム（０８０８）や画像のコントラスト強調（０８０９）、画像の２値化（０８１０）などを行うプログラムを実行する処理である。
【００５７】
「特徴点検出プログラム」（０８１１）は、前処理した画像を取得すると、各画像における特徴点を検出する。特徴点が検出されると特徴点を各画像間でマッチングを行う。マッチングしない特徴点は不良点として除去を行う。各特徴点がマッチングもしくは除去されると、「基礎行列算出プログラム」（０８１２）に、対象物ごとにマッチングした各特徴点の情報を引き渡す。
【００５８】
「基礎行列算出プログラム」（０８１２）は、対象物ごとにマッチングした特徴点を受けとると特徴点の情報をもとに、対象物ごとに基礎行列の算出を行う。基礎行列が導かれると、「距離算出プログラム」（０８１３）に基礎行列を引き渡す。
【００５９】
「距離算出プログラム」（０８１３）は、「基礎行列算出プログラム」（０８１２）より引き渡された対象物ごとに算出された基礎行列を使用しそれぞれの奥行きを求める。
【００６０】
次に、「ＣＰＵ」（０８０１）は、「主メモリ」（０８０２）のワーク領域に展開されている「隠れ部分特定プログラム」（０８１４）を呼び出す。「隠れ部分特定プログラム」（０８１４）は、基準画像に撮影されている複数の対象物から被写体を識別する。ここで、被写体を認識する方法として、プログラムで自動認識させてもよいし、必要に応じてＵＩを用いてユーザが被写体を認識させてもよい。次に、被写体を識別すると、「距離算出プログラム」（０８１３）において算出された距離が識別された被写体よりも前景である不要物を取得する。これにより、被写体を隠している隠れ部分を特定する。隠れ部分が特定されると、「隠れ部分取得プログラム」（０８１５）を呼び出す。
【００６１】
「隠れ部分取得プログラム」（０８１５）は、「隠れ部分特定プログラム」（０８１４）において特定された隠れ部分を補完する部分を基礎行列を用いて、隠れ部分を補完画像より取得する。
【００６２】
隠れ部分を取得すると、必要に応じて各種画像補正プログラムを呼び出し、取得した隠れ部分の画像を基準画像に貼り付けるための補正を行う。ここで、各種画像補正プログラムとは「色彩補正プログラム」（０８１７）や「輝度補正プログラム」（０８１８）や「形状補正プログラム」（０８１９）などである。
【００６３】
画像の補正が行われると、「画像貼換プログラム」（０８２０）は、補正を行った隠れ部分を基準画像に貼換えて画像の合成を行う。
【００６４】
<処理の流れ>
【００６５】
図９は、本実施例の画像合成システムにおける、画像の取得から基準画像へ隠れ部分を貼換えるまでの流れの一例を表すフローチャートである。なお、以下に占めるステップは、媒体に記録され、計算機を制御するためのプログラムを構成する処理ステップであってもかまわない。
【００６６】
ここで、画像合成システムは基準画像と補完画像を取得したとする（Ｓ０９０１、Ｓ０９０４）。基準画像と補完画像を取得すると、特徴点抽出前の前処理を行う（Ｓ０９０２、Ｓ０９０５）。前処理が完了すると、基準画像と補完画像それぞれにおいて特徴点の抽出を行う（Ｓ０９０３、Ｓ０９０６）。特徴点が抽出されると、基準画像と補完画像間で特徴点のマッチングを行う（Ｓ０９０７）。マッチング処理が完了すると、基礎行列の算出を行う（Ｓ０９０８）。算出すると、基礎行列から奥行き（距離）を算出する（Ｓ０９０９）。奥行きが算出されると、被写体の識別を行う（Ｓ０９１０、Ｓ０９１１）。被写体の隠れ部分を一の画像中にて特定する（Ｓ０９１２）。隠れ部分を特定すると、隠れ部分を他の画像から取得する（Ｓ０９１３）。隠れ部分を取得すると、取得した隠れ部分の画像に対して補正を行う（Ｓ０９１４）。隠れ部分に補正を行うと、基準画像に隠れ部分を貼換える（Ｓ０９１５）。
【００６７】
<効果の簡単な説明>
【００６８】
本実施例の画像合成システムによって、補完画像より取得した隠れ部分を基準画像に合わせて補正を行い、実際に基準画像に隠れ部分を貼換えることが可能となる。
【図面の簡単な説明】
【００６９】
【図１】実施例１の画像合成システムにおける機能を説明する図
【図２】実施例１の画像合成システムにおける機能的構成の一例を表す図
【図３】実施例１の画像合成システムにおける基礎行列を説明するための図
【図４Ａ】実施例１の画像合成システムにおける基準画像である画像Ａの対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図
【図４Ｂ】実施例１の画像合成システムにおける基準画像である画像Ｂの対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図
【図５】実施例１の画像合成システムにおけるハードウェア構成の一例を表す図
【図６】実施例１の画像合成システムにおける画像の取得から隠れ部分取得までの流れの一例を表すフローチャート
【図７】実施例２の画像合成システムにおける機能的構成の一例を表す図
【図８】実施例２の画像合成システムにおけるハードウェア構成の一例を表す図
【図９】実施例２の画像合成システムにおける画像の取得から基準画像へ隠れ部分を貼換までの流れの一例を表すフローチャート
【符号の説明】
【００７０】
０２０１ 画像取得部
０２０２ 隠れ部分特定部
０２０３ 隠れ部分取得部
０７０４ 補正部
０７０５ 貼換部
【技術分野】
【０００１】
あらかじめ取得された被写体を含む対象物が撮影されている画像において、被写体を識別しそれを遮る不要物を除去するための技術に関する。
【背景技術】
【０００２】
カメラ等を用いた写真撮影等において被写体を撮影する場合、画像中に被写体を遮る不要物が、写りこんでいることがよくある。例えば、マンション販売広告に記載されているマンション自体の写真などである。マンション自体の写真を撮るためには、その大きさからある程度遠距離から撮影する必要があり、遠距離から撮影すると被写体であるマンションを遮る不要物が写りこんでしまうことが多い。そこで、被写体を遮る不要物を画像から除去する非特許文献１に記載のような技術が提供されている。具体的には、固有空間法とＢＰＬＰを用いた画像補間法により、不要物などで一部が欠損した画像１枚のみを用いて欠損していない周囲の情報より欠損を補う技術である。
【非特許文献１】天野敏之「固有空間法を用いたBPLP による画像補間」電子情報通信学会論文誌D-II,Vol.J85-D-II,No.3,pp.457-465,2002
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１に記載の技術は、１枚の画像から補完対象となる欠損領域を補完するためには、欠損領域とそうでない領域が類似する画像でなければならないという課題がある。つまり、例えば特徴的な形状をもつ建物を遮る不要物が撮影されているような、欠損領域とそうでない領域が類似しない画像や、建物を遮る不要物の割合が大きいなど欠損領域の面積が大きい画像などにおいては、不要物を除去することは困難であるということである。
【課題を解決するための手段】
【０００４】
そこで、本発明はかかる課題を解決するために１枚の基準画像から基準画像の欠損領域を他複数の補完画像から取得し、基準画像の欠損領域を補う技術を提供する。具体的には、以下のような画像合成システムである。
【０００５】
第１発明では、撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得部と、前記複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定部と、隠れ部分を他の画像から取得する隠れ部分取得部とを有する画像合成システムを提供する。
【０００６】
第２発明では、第１発明を基本として、取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正部と、補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換部と、を有する画像合成システムを提供する。
【０００７】
第３発明では、撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得ステップと、複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定ステップと、隠れ部分を他の画像から取得する隠れ部分取得ステップと、を有する画像合成システムの動作方法を提供する。
【０００８】
第４発明では、第３発明を基本として、取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正ステップと、補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換ステップと、を有する画像合成システムの動作方法を提供する。
【発明の効果】
【０００９】
以上のような発明によって、被写体とそれを遮るように不要物が撮影されている画像と被写体を遮る部分を別に撮影した画像を取得し、被写体が不要物によって遮られている部分を被写体を遮る部分を別に撮影した画像から取得し、それを貼換えることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれらの実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００１１】
なお、実施例１は主に請求項１、３を、実施例２は主に請求項２、４について説明する。
【００１２】
≪実施例１≫
【００１３】
<概要>
【００１４】
図１は、本実施例の画像合成システムの機能を説明する図である。図１は、画像Ａ（０１０１）及び画像Ｂ（０１０２）とそれぞれの撮影ポジション（０１０６、０１０７）から対象物（０１０３、０１０４、０１０５）までの位置関係を示している。画像Ａ（０１０１）は画像Ａの撮影ポジション（以降撮影ポジションＡとする）から対象物（０１０３、０１０４、０１０５）を撮影した画像であり、対象物Ｃ（０１０５）と撮影ポジションの間に対象物Ｃ（０１０５）を遮るように対象物Ａ（０１０３）及び対象物Ｂ（０１０４）が写りこんでいる。画像Ｂは画像Ｂの撮影ポジション（以降撮影ポジションＢとする）から対象物（０１０３、０１０４、０１０５）を撮影した画像であり、対象物Ｃ（０１０５）と撮影ポジションＢとの間に対象物Ａ（０１０３）及び対象物Ｂ（０１０４）が対象物Ｃ（０１０５）を画像Ａ（０１０３）とは異なる形で遮るように写っている。ここで、画像Ａ（０１０１）及びＢ（０１０２）に撮影されている対象物Ａ、Ｂ、Ｃは（０１０３、０１０４、０１０５）はお互いに対応しているものとする。また、画像Ａ（０１０１）において対象物Ａ、Ｂ（０１０３、０１０４）が対象物Ｃ（０１０５）を遮る部分は、画像Ｂ（０１０２）に撮影されているものとする
【００１５】
本実施例はまず、画像Ａ（０１０１）及びＢ（０１０２）において、それぞれの画像に撮影されている対象物Ａ、Ｂ、Ｃ（０１０３、０１０４、０１０５）の位置関係から各撮影ポジション（０１０６、０１０７）からの相対的位置の割り出しを行う。
【００１６】
相対的位置の割り出しを行うと次に、基準画像（例えば画像Ａ（０１０１）とする）において対象物Ａ、Ｂ、Ｃ（０１０３、０１０４、０１０５）から被写体を識別する（例えば対象物Ｃ（０１０５）とする）。被写体を識別すると、被写体の前景にある不要物を特定する（対象物Ａ、Ｂ（０１０３、０１０４）が特定される）。不要物を特定すると補完画像（ここでは画像Ｂ（０１０２））から、基準画像（画像Ａ（０１０１））において、不要物によって被写体と重なっている部分を特定し取得することを特徴としている。
【００１７】
<機能的構成>
【００１８】
以下に記載する画像合成システムの機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バスあるいは二次記憶装置（ハードディスクや不揮発性メモリ）、それらのハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどがあげられる。
【００１９】
またこれらのハードウェアやソフトウェアは、主メモリ上に展開したプログラムをＣＰＵで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然この発明の技術的な範囲に含まれる。（本明細書の全体を通じて同様である）
【００２０】
以下、本実施例の「画像合成システム」の構成要件について、図２などを用いて説明する。
【００２１】
本実施例の「画像合成システム」は少なくとも「画像取得部」（０２０１）と、「隠れ部分特定部」（０２０２）と「隠れ部分取得部」（０２０３）とを有している。
【００２２】
「画像取得部」（０２０１）は、撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する機能を有している。具体的にはまず、処理対象である被写体が不要物によって遮られて撮影されている基準画像と、少なくとも基準画像において被写体が遮られている部分が撮影されている補完画像を取得する。ここで、取得される補完画像は一つでもよいし、複数枚数の画像であってもよい。
【００２３】
次に画像を取得すると、それぞれの画像（基準画像と補完画像）中の特徴点を抽出する。特徴点の抽出には、特徴点を抽出するにあたり、取得した画像をノイズ除去、エッジ抽出、コントラスト強調や２値化など特徴点の抽出が容易になるような前処理を必要に応じて行ったうえでＳＩＦＴ法、Ｈａｒｒｉｓオペレータ法、トラッキング法などを用いて特徴点の抽出を行う。ここで特徴点とはそれぞれの画像上の任意の点であって、点の周囲の情報（例えば、周囲の点のＲＧＢ情報、明度など）に特徴がある点である。例えば、対象物と背景の境界となる点である。具体的な抽出方法は、例えば「特開２００３−２４２１６２号公報」などに記載されている
【００２４】
それぞれの画像において特徴点が抽出されると次に、それぞれの画像において抽出された特徴点の対応付けを行う。例えば、基準画像の任意の特徴点における周囲の情報と補完画像で取得されたすべての特徴点における周囲の情報を比較し、周囲の情報が一致する特徴点を探すという具合である。ここでは、少なくとも８個以上の特徴点が対応づけられれば良く、すべての特徴点が対応づけられる必要はない（対応付けができない特徴点は排除する）。
【００２５】
特徴点の対応付けがされると次に、複数の対応付けされた特徴点から被写体及び不要物ごとに基礎行列を取得する。
【００２６】
ここで、基礎行列とは基準画像と補完画像の対応する点の座標上の関係（写像関係）を示す行列である（図３）。具体的には、２枚の画像の対応点と思われる２点をｐ１、ｐ２とし、エピポーラ幾何学の原理によって基礎行列をＦとする。そして、ｐ１Ｔ＊Ｆ＊ｐ２＝０の関係が成立する場合のＦが基礎行列である。ここで、特徴点ｐ１、ｐ２は図３に示す１×３で構成される三次元の位置情報を示す行列であり、Ｆは３×３で構成される行列で表現することができる。これにより、２枚の画像から対応する複数の特徴点ペア（ｐ１，ｐ２），（ｐ３,ｐ４），（ｐ５，ｐ６），（ｐ７，ｐ８），（ｐ９，ｐ１０），（ｐ１１，ｐ１２），（ｐ１３，ｐ１４），（ｐ１５，ｐ１６）・・・をそれぞれ与えて複数の方程式を立ててこれを解き、基礎行列を求める。これらの具体的な算出は、例えば「金谷健一・三島等「未構成カメラによる２画像からの３次元復元とその信頼性評価」情報処理学会論文誌：コンピュータビジョンとイメージメディア,Vol.42,No.SIG 6(CVIM 2),2001」などに記載されている。
【００２７】
基礎行列が導かれると、導かれた基礎行列Ｆをもとに特徴点ごとに奥行きを求める（つまり、撮影ポジションからの距離が導かれる）。ここで、奥行きを求める具体的な算出方法についても、上記に記載の論文に記載されている。
【００２８】
画像ごとに各特徴点の奥行きが求められると、奥行きごとに特徴点のグループ分けを行い、画像に点在する特徴点がどの対象物における特徴点であるかを判別する。対象物ごとの特徴点が判別されると、対象物ごとに判別された特徴点を結んだ、対象物の輪郭情報を対象物ごとに取得する。
【００２９】
「隠れ部分特定部」（０２０２）は、複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する機能を有している。具体的には、複数の画像から導かれた各撮影ポジションから各対象物までの奥行きと、対象物ごとに取得した特徴点を結ぶ輪郭情報を元に画像に撮影されている対象物から被写体及び不要物を識別する。対象物から被写体と不要物を識別すると、特定された被写体と重なっている不要物が隠す部分を輪郭情報を元に特定するという具合である。
ここで、被写体を識別させるにあたり、ＰＣ等に出力される基準画像に撮影されている対象物のいずれかを人からの入力をうけて選択させることで、本実施例の「隠れ部分特定部」（０２０２）は、選択された対象物を被写体として識別し、被写体を隠す隠れ部分を特定させてもよいし、また、撮影ポジションから対象物ごとの距離に応じて区分けを行い（例えば、撮影ポジションから最も奥にある対象物までの距離を何等分かに分割する）、指定する範囲の範囲内にある対象物を被写体として識別させてもよい。さらには、画像から得られる距離に応じた別の情報（例えば、距離に応じてその輝度が異なって表現される輝度ヒストグラムなど）を使用して複数の対象物から被写体を識別させて、被写体を隠す隠れ部分を特定させてもよい。
【００３０】
以下に、図４Ａ及びＢを用いて実際に取得された撮影ポジションから各対象物までの奥行きをもとに被写体と不要物とを識別し、隠れ部分を特定する手法の一例を説明する。図４Ａは、基準画像である画像Ａにおける対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図である（例えば、「対象物Ｃ」は対象物Ａ、Ｂの後景にあって撮影ポジションからのＸ軸方向の距離は５ａという具合である）。また、図４Ｂは、補完画像である画像Ｂにおける対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図である。
【００３１】
ここで、図４Ａに示すように画像Ａの撮影ポジションからＸ軸方向に任意の距離で区分けを行う（本例では、距離「ａ」で区分けを行う）。区分けを行うと、被写体が撮影されていると考えられる任意の範囲を指定する。範囲が指定されると、指定された範囲に属する対象物を検索する（例えば、距離「５ａ〜６ａ」の範囲を指定したとすると、「対象物Ｃ」が検索される）。対象物を検索すると、検索された対象物を被写体として識別する（検索対象外の対象物は不要物であると識別される）。ここで、本例では区分けをするにあたり任意の距離で区分けを行ったが、あらかじめ一定の奥行きを定めておき、それを任意の数で分割することとしてもよい。さらには、より具体的な方法として固定閾値判別、累積ヒストグラム、判別分析法のいずれか、もしくは複数の手法から最適なものを選択することとしてもよい。また、対象物を検索するにあたり、指定の範囲に属する対象物を検索することとしたが、対象物が検索できない場合には指定した範囲に最も近い対象物を検索することとしてもよい。
【００３２】
被写体と不要物とを識別すると、識別された被写体より前景に存在する不要物を特定する（本例では、対象物Ａ、Ｂが該当する）。不要物が特定されると、基礎行列を用いて補完画像である画像Ｂから、画像Ａにおいて隠れている部分を特定するという具合である。
【００３３】
「隠れ部分取得部」（０２０３）は、隠れ部分を他の画像から取得する機能を有している。具体的には、まず前記「隠れ部分特定部」（０２０２）において被写体を隠す隠れ部分が特定されたとする。隠れ部分が特定されると、前記「画像取得部」（０２０１）において求められている被写体と識別された対象物の基礎行列を使用し、基準画像における隠れ部分に対応する部分を補完画像から取得する。
【００３４】
<ハードウェア的構成>
図５は、本実施例の「画像合成システム」のハードウェア構成の一例を表す概略図である。この図を利用して、本実施例の画像合成システムにおけるそれぞれのハードウェア構成部の働きについて説明する。
【００３５】
本実施例の「画像合成システム」は、各種演算処理や制御を行う「ＣＰＵ」（０５０１）と、「主メモリ」（０５０２）とを備えている。また、「画像合成システム」は、取得した画像などを保存する「記憶装置」（０５０３）や、画像データを取得するための「Ｉ／Ｏ」（０５０４）なども備えている。また、被写体等を出力させるための「画面」（０５０５）や被写体等を選択するためのマウスなどの「ＵＩ」（０５０６）も備えている。そして、これらが、「システムバス」などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
【００３６】
ここで、「画像合成システム」は、「Ｉ／Ｏ」（０５０４）を介して、基準画像及び補完画像を取得したとする。画像を取得すると「ＣＰＵ」（０５０１）は「記憶装置」（０５０３）に取得した画像を記録させるとともに、「主メモリ」（０５０２）のワーク領域に展開されている。「前処理プログラム」（０５０７）を呼び出す。呼び出された「前処理プログラム」（０５０７）は、取得したそれぞれの画像に対して必要な前処理を行い、処理したそれぞれの画像を「特徴点検出プログラム」（０５１１）に引き渡す。ここで、前処理とは取得した画像の特徴点を抽出するにあたり必要に応じて、あらかじめ準備されているノイズ除去するプログラム（０５０８）や画像のコントラスト強調（０５０９）、画像の２値化（０５１０）などを行うプログラムを実行する処理である。
【００３７】
「特徴点検出プログラム」（０５１１）は、前処理した画像を取得すると、各画像における特徴点を検出する。特徴点が検出されると特徴点を各画像間でマッチングを行う。マッチングしない特徴点は不良点として除去を行う。各特徴点がマッチングもしくは除去されると、「基礎行列算出プログラム」（０５１２）に、対象物ごとにマッチングした各特徴点の情報を引き渡す。
【００３８】
「基礎行列算出プログラム」（０５１２）は、対象物ごとにマッチングした特徴点を受けとると特徴点の情報をもとに、対象物ごとに基礎行列の算出を行う。基礎行列が導かれると、「距離算出プログラム」（０５１３）に基礎行列を引き渡す。
【００３９】
「距離算出プログラム」（０５１３）は、「基礎行列算出プログラム」（０５１２）より引き渡された対象物ごとに算出された基礎行列を使用しそれぞれの奥行きを求める。
【００４０】
次に、「ＣＰＵ」（０５０１）は、「主メモリ」（０５０２）のワーク領域に展開されている「隠れ部分特定プログラム」（０５１４）を呼び出す。「隠れ部分特定プログラム」（０５１４）は、基準画像に撮影されている複数の対象物から被写体を識別する。ここで、被写体を認識する方法として、プログラムで自動認識させてもよいし、必要に応じてＵＩを用いてユーザが被写体を指定し被写体を認識させてもよい。次に、被写体を識別すると、「距離算出プログラム」（０５１３）において算出された距離が識別された被写体よりも前景である不要物を取得する。これにより、被写体を隠している隠れ部分を特定する。隠れ部分が特定されると、「隠れ部分取得プログラム」（０５１５）を呼び出す。
【００４１】
「隠れ部分取得プログラム」（０５１５）は、「隠れ部分特定プログラム」（０５１４）において特定された隠れ部分を補完する部分を基礎行列を用いて、補完画像より取得する。
【００４２】
<処理の流れ>
【００４３】
図６は、本実施例の画像合成システムにおける、画像の取得から隠れ部分取得までの流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され、計算機を制御するためのプログラムを構成する処理ステップであってもかまわない。
【００４４】
ここで、画像合成システムは基準画像と補完画像を取得したとする（Ｓ０６０１、Ｓ０６０４）。基準画像と補完画像を取得すると、特徴点抽出前の前処理を行う（Ｓ０６０２、Ｓ０６０５）。前処理が完了すると、基準画像と補完画像それぞれにおいて特徴点の抽出を行う（Ｓ０６０３、Ｓ０６０６）。特徴点が抽出されると、基準画像と補完画像間で特徴点のマッチングを行う（Ｓ０６０７）。マッチング処理が完了すると、基礎行列の算出を行う（Ｓ０６０８）。算出すると、基礎行列から奥行き（距離）を算出する（Ｓ０６０９）。奥行きが算出されると、複数の対象物から被写体の識別を行う（Ｓ０６１０、Ｓ０６１１）。被写体を識別すると、基準画像において被写体の隠れ部分を特定する（Ｓ０６１２）。隠れ部分を特定すると、隠れ部分を補完画像から取得する（Ｓ０６１３）。
【００４５】
<効果の簡単な説明>
【００４６】
本実施例の画像合成システムによって、基準画像と複数もしくは単数の補完画像を取得することにより、基準画像に撮影されている被写体を遮る部分を特定することが可能となる。
【００４７】
≪実施例２≫
【００４８】
<概要>
【００４９】
本実施例は、実施例１を基本とする画像合成システムにおいて、補完画像より取得した隠れ部分を基準画像に合わせて補正し、補正した隠れ部分を基準画像に貼換えることができることを特徴としている。
【００５０】
<機能的構成>
【００５１】
図７は、本実施例の画像合成システムにおける機能的構成の一例を表す図である。この図にあるように本実施例は、実施例１の画像合成システムを基本として「補正部」（０７０４）と「貼換部」（０７０５）を新たに有していることを特徴としている。
【００５２】
なお、本実施例において実施例１にて説明した構成について詳細な説明は省略し、本実施例において特徴的な箇所についてのみ説明する。
【００５３】
「補正部」（０７０４）は、取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する機能を有する。具体的には、「隠れ部分取得部」（０７０３）において補完画像から取得された基準画像に補完すべき部分を、基準画像に合わせて補正する。ここで具体的に補正とは、色彩補正や輝度補正や形状補正などの手法を用いて基準画像と補完画像と異なる輝度や色彩のバランスを補正し、基準画像に貼り付けた際に違和感がないようにする。
【００５４】
「貼換部」（０７０５）は、補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える機能を有する。具体的には、前記「補正部」（０７０４）において補正された、補完画像より取得した基準画像に貼り付けるべき隠れ部分を実際に、基準画像に貼換える。
【００５５】
<ハードウェア的構成>
図８は、本実施例の「画像合成システム」のハードウェア構成の一例を表す概略図である。これらの図を利用して、本実施例の画像合成システムの処理を説明する。
【００５６】
ここで、「画像合成システム」は、「Ｉ／Ｏ」（０８０４）を介して、基準画像及び補完画像を取得したとする。画像を取得すると「ＣＰＵ」（０８０１）は「記憶装置」（０８０３）に取得した画像を記録させるとともに、「主メモリ」（０８０２）のワーク領域に展開されている。「前処理プログラム」（０８０７）を呼び出す。呼び出された「前処理プログラム」（０８０７）は、取得したそれぞれの画像に対して必要な前処理を行い、処理したそれぞれの画像を「特徴点検出プログラム」（０８１１）に引き渡す。ここで、前処理とは取得した画像の特徴点を抽出するにあたり必要に応じて、あらかじめ準備されているノイズ除去するプログラム（０８０８）や画像のコントラスト強調（０８０９）、画像の２値化（０８１０）などを行うプログラムを実行する処理である。
【００５７】
「特徴点検出プログラム」（０８１１）は、前処理した画像を取得すると、各画像における特徴点を検出する。特徴点が検出されると特徴点を各画像間でマッチングを行う。マッチングしない特徴点は不良点として除去を行う。各特徴点がマッチングもしくは除去されると、「基礎行列算出プログラム」（０８１２）に、対象物ごとにマッチングした各特徴点の情報を引き渡す。
【００５８】
「基礎行列算出プログラム」（０８１２）は、対象物ごとにマッチングした特徴点を受けとると特徴点の情報をもとに、対象物ごとに基礎行列の算出を行う。基礎行列が導かれると、「距離算出プログラム」（０８１３）に基礎行列を引き渡す。
【００５９】
「距離算出プログラム」（０８１３）は、「基礎行列算出プログラム」（０８１２）より引き渡された対象物ごとに算出された基礎行列を使用しそれぞれの奥行きを求める。
【００６０】
次に、「ＣＰＵ」（０８０１）は、「主メモリ」（０８０２）のワーク領域に展開されている「隠れ部分特定プログラム」（０８１４）を呼び出す。「隠れ部分特定プログラム」（０８１４）は、基準画像に撮影されている複数の対象物から被写体を識別する。ここで、被写体を認識する方法として、プログラムで自動認識させてもよいし、必要に応じてＵＩを用いてユーザが被写体を認識させてもよい。次に、被写体を識別すると、「距離算出プログラム」（０８１３）において算出された距離が識別された被写体よりも前景である不要物を取得する。これにより、被写体を隠している隠れ部分を特定する。隠れ部分が特定されると、「隠れ部分取得プログラム」（０８１５）を呼び出す。
【００６１】
「隠れ部分取得プログラム」（０８１５）は、「隠れ部分特定プログラム」（０８１４）において特定された隠れ部分を補完する部分を基礎行列を用いて、隠れ部分を補完画像より取得する。
【００６２】
隠れ部分を取得すると、必要に応じて各種画像補正プログラムを呼び出し、取得した隠れ部分の画像を基準画像に貼り付けるための補正を行う。ここで、各種画像補正プログラムとは「色彩補正プログラム」（０８１７）や「輝度補正プログラム」（０８１８）や「形状補正プログラム」（０８１９）などである。
【００６３】
画像の補正が行われると、「画像貼換プログラム」（０８２０）は、補正を行った隠れ部分を基準画像に貼換えて画像の合成を行う。
【００６４】
<処理の流れ>
【００６５】
図９は、本実施例の画像合成システムにおける、画像の取得から基準画像へ隠れ部分を貼換えるまでの流れの一例を表すフローチャートである。なお、以下に占めるステップは、媒体に記録され、計算機を制御するためのプログラムを構成する処理ステップであってもかまわない。
【００６６】
ここで、画像合成システムは基準画像と補完画像を取得したとする（Ｓ０９０１、Ｓ０９０４）。基準画像と補完画像を取得すると、特徴点抽出前の前処理を行う（Ｓ０９０２、Ｓ０９０５）。前処理が完了すると、基準画像と補完画像それぞれにおいて特徴点の抽出を行う（Ｓ０９０３、Ｓ０９０６）。特徴点が抽出されると、基準画像と補完画像間で特徴点のマッチングを行う（Ｓ０９０７）。マッチング処理が完了すると、基礎行列の算出を行う（Ｓ０９０８）。算出すると、基礎行列から奥行き（距離）を算出する（Ｓ０９０９）。奥行きが算出されると、被写体の識別を行う（Ｓ０９１０、Ｓ０９１１）。被写体の隠れ部分を一の画像中にて特定する（Ｓ０９１２）。隠れ部分を特定すると、隠れ部分を他の画像から取得する（Ｓ０９１３）。隠れ部分を取得すると、取得した隠れ部分の画像に対して補正を行う（Ｓ０９１４）。隠れ部分に補正を行うと、基準画像に隠れ部分を貼換える（Ｓ０９１５）。
【００６７】
<効果の簡単な説明>
【００６８】
本実施例の画像合成システムによって、補完画像より取得した隠れ部分を基準画像に合わせて補正を行い、実際に基準画像に隠れ部分を貼換えることが可能となる。
【図面の簡単な説明】
【００６９】
【図１】実施例１の画像合成システムにおける機能を説明する図
【図２】実施例１の画像合成システムにおける機能的構成の一例を表す図
【図３】実施例１の画像合成システムにおける基礎行列を説明するための図
【図４Ａ】実施例１の画像合成システムにおける基準画像である画像Ａの対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図
【図４Ｂ】実施例１の画像合成システムにおける基準画像である画像Ｂの対象物の位置関係と、撮影ポジションからの各対象物の距離を示した図
【図５】実施例１の画像合成システムにおけるハードウェア構成の一例を表す図
【図６】実施例１の画像合成システムにおける画像の取得から隠れ部分取得までの流れの一例を表すフローチャート
【図７】実施例２の画像合成システムにおける機能的構成の一例を表す図
【図８】実施例２の画像合成システムにおけるハードウェア構成の一例を表す図
【図９】実施例２の画像合成システムにおける画像の取得から基準画像へ隠れ部分を貼換までの流れの一例を表すフローチャート
【符号の説明】
【００７０】
０２０１ 画像取得部
０２０２ 隠れ部分特定部
０２０３ 隠れ部分取得部
０７０４ 補正部
０７０５ 貼換部
【特許請求の範囲】
【請求項１】
撮影ポジションからの相対的位置で識別可能な被写体及び撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得部と、
前記複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定部と、
隠れ部分を他の画像から取得する隠れ部分取得部と、
を有する画像合成システム。
【請求項２】
取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正部と、
補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換部と、
を有する請求項１に記載の画像合成システム。
【請求項３】
撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得ステップと、
複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定ステップと、
隠れ部分を他の画像から取得する隠れ部分取得ステップと、
を有する画像合成システムの動作方法。
【請求項４】
取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正ステップと、
補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換ステップと、
を有する請求項３に記載の画像合成システムの動作方法
【請求項１】
撮影ポジションからの相対的位置で識別可能な被写体及び撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得部と、
前記複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定部と、
隠れ部分を他の画像から取得する隠れ部分取得部と、
を有する画像合成システム。
【請求項２】
取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正部と、
補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換部と、
を有する請求項１に記載の画像合成システム。
【請求項３】
撮影ポジションからの相対的位置で識別可能な被写体および撮影ポジションからの相対的位置で識別可能な不要物を含む画像を複数の撮影ポジションごとに取得する画像取得ステップと、
複数の画像それぞれの画像中における対象物の位置と、画像ごとの対象物と撮影ポジションとの位置関係を示す情報と、から得られる相対的位置情報を用いて対象物を被写体と不要物とに識別するとともに被写体に被写体以外の不要物が重なっている被写体の隠れ部分を一の画像中にて特定する隠れ部分特定ステップと、
隠れ部分を他の画像から取得する隠れ部分取得ステップと、
を有する画像合成システムの動作方法。
【請求項４】
取得した隠れ部分を相対的位置情報を用いて一の画像における隠れ部分領域形状に補正する補正ステップと、
補正結果を利用して一の画像の隠れ部分を被写体の画像に貼り換える貼換ステップと、
を有する請求項３に記載の画像合成システムの動作方法
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２０５８１（Ｐ２０１０−２０５８１Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８１０１８（Ｐ２００８−１８１０１８）
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（５９９０１６４３１）学校法人 芝浦工業大学 (109)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（５９９０１６４３１）学校法人 芝浦工業大学 (109)
【Ｆターム（参考）】
[ Back to top ]