画像抽出方法、装置、および証明書用写真生成装置
【課題】カメラの視点、視線が６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置を提供することを目的とする。
【解決手段】第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出する。
【解決手段】第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景と対象とを含む複数枚の画像を用い、背景画像と対象画像とを分離して対象画像を切り出す方法、および装置に関し、特に画像を撮影するカメラが視点／視線の６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置に関する。
【背景技術】
【０００２】
証明写真などのポートレート撮影システムや侵入検知／監視システムなどにおいて、対象とする物体と背景とを分離し、対象とする物体を切り出す画像処理方法が開示されている（特許文献１〜特許文献４参照）。
【特許文献１】特開２００２−９９９１０号公報
【特許文献２】特開２０００−３６０３２号公報
【特許文献３】特開２００２−１５８９９９号公報
【特許文献４】特開２００２−３４４９４９号公報 特許文献１に記載の方法では、図４に示す対象画像の抽出例のごとく、予め、背景画像（Ｆａ）を撮影して蓄積し、新たに撮影した背景と対象とを含む画像の中から、ユーザが指定した画像（Ｆｂ）と背景画像（Ｆａ）との差分をとることにより抽出画像（Ｆｃ）として抽出する。
【０００３】
特許文献２に記載の方法では、背景画像と対象画像から対象を抽出する際に、背景画像と対象画像の共通領域（背景）の明るさの違いを補正することで対象の抽出を高精度化している。
【０００４】
特許文献３に記載の方法では、所定の監視区域内の物体を検出するため監視区域内の複数の位置から撮影した画像を背景画像として保持し、物体が映っている画像（対象画像）の背景領域がどの背景画像と同一であるかをマッチングしている。
【０００５】
特許文献４に記載の方法では、動画像をブロックごとに符号化して復号する際の情報から該ブロックの平行移動量を求めている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、および特許文献２に記載の方法では、カメラの視点／視線が固定されていることを前提としている。図４に示すごとく、背景画像Ｆａと背景と対象とを含む画像Ｆｂとから対象画像のみを抽出して抽出画像Ｆｃとする場合、次式に示すごとく、同一座標（ｘ，ｙ）にある画素ごとに差分を求め、差分が予め定めた閾値Ｔｈ以下のときは背景領域とみなし、例えば、Ｆｃ＝０（黒）、あるいはブルーバック等所定の色とし、閾値Ｔｈ以上のときは対象画像とし、Ｆｃ＝Ｆｂとして抽出する。
【０００７】
【数１】
しかし、撮影者がカメラを持って撮影する場合、図５に示すごとく、カメラの視点、視線の６軸にずれが生じて背景の位置が移動するため、特許文献１、および特許文献２に記載の方法では対応出来ない。
【０００８】
図５に示すずれのうち（１）、（２）、（３）は平行移動、（４）、（５）、（６）は回転移動である。
【０００９】
対象と背景とが十分に遠いとき、撮影された画像の、（１）、（２）、（３）のずれによる変化は無視できる範囲と見なせるが、（４）、（５）、（６）のずれは無視できない場合が多い。
【００１０】
また、撮影された画像の移動の種類という観点で分類すると、対象と背景とが十分に遠いとき、（１）、（２）、（３）、（４）、（５）は平行移動（図６）であり、（６）は回転移動（図７）になる。
【００１１】
画像が平行移動と見なせる場合は、特許文献３、および特許文献４に記載の方法が適用できる。図６に示すごとく、画像が平行移動した場合、すなわち画像Ｆａ中の特徴点Ａ（ｘ，ｙ）に対応する、画像Ｆｂ中の点Ａ’（ｘ’，ｙ’）を、例えばパターンマッチング法、あるいは、金出他が提唱するＫＬＴ法等を用いて推定し、対応する位置の画素ごとに比較する。（非特許文献１、非特許文献２参照）
【非特許文献１】TomasiC. and Kanade T. “Detection and Trucking of Point Figures”, CMU Tech. Rep. CMU-CS-91-132, April 1991
【非特許文献２】金出武雄, コンラッド・ポールマン, 森田俊彦,”因子分解法による物体形状とカメラ運動の復元”, 電子情報通信学会論文誌 D-II Vol.J76-D-II No.8,pp1497-1505, 1993年8月 この場合、（ｘ，ｙ）と（ｘ’，ｙ’）の関係はずれ量をΔｘ，Δｙとした場合、
【００１２】
【数２】
で表すことができる。図８に示すごとく、画像中の各特徴点Ａ、と点Ａ’とのずれ量は、点Ｂ、と点Ｂ’とのずれ量、点Ｃ、と点Ｃ’とのずれ量と同一で、それぞれ、Δｘ，Δｙある。
【００１３】
すなわち抽出画像Ｆｃは、
【００１４】
【数３】
となる。
【００１５】
しかし、撮影者がカメラを持って画像を撮影した場合、画像には平行移動だけでなく回転が加わる（図９）。
【００１６】
この場合、ずれ量の値は座標によって全て異なる（図１０）ため、全画素について個別にずれ量を算出する必要があり、特許文献３、および特許文献４に記載の方法は適用できない。
【００１７】
本発明は、かかる課題を解決し、カメラの視点、視線が６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
第一の発明は、第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
【００１９】
第二の発明は、第一の発明に記載の画像抽出方法であって、アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする。
【００２０】
第三の発明は、第一の発明に記載の画像抽出方法であって、さらに、入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする。
【００２１】
第四の発明は、視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
第五の発明は、第一の発明に記載の画像抽出方法であって、さらに、抽出画像に外接する矩形領域を設定し、抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする。
【発明の効果】
【００２２】
本発明により、固定されたカメラで撮影した画像だけでなく、撮影者が手に持つような、視点、視線の６軸自由度を有するカメラで撮影した画像であっても、背景画像と対象画像とを分離し、対象画像を切り出すことが可能となる。
【発明を実施するための最良の形態】
【００２３】
図１に本発明のフロー例を示す。ステップＳ１１で、背景のみの第一の画像を撮影し、ステップＳ１２で第一の画像から複数の特徴点を抽出する。この場合、対象を含む第二の画像を撮影したときに、当該特徴点が当該対象により隠されても最低３個の特徴点が検出できるように、十分な個数、特徴点を抽出することが望ましい。
【００２４】
ステップＳ１３で、背景と対象とを含む第二の画像を撮影し、ステップＳ１４で、第一の画像内の特徴点に対応する第二の画像内の点を３点推定し、対応する特徴点の組を３組抽出する。異なる視点、視線から撮影した二つの画像から、対応する特徴点を見つけ出す方法としては、例えば前記ＫＬＴ法を用いる。
【００２５】
ステップＳ１５では、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量Δx，Δyを算出し、第二の画像の座標を第一の画像に正規化する。ずれ量は、３組の特徴点の座標を、例えば次式に示すアフィン行列に代入し、連立方程式を解くことによりアフィン行列のパラメータとして算出する。第二の画像の座標正規化は、当該アフィン行列に第二の画像の座標を代入することにより求められる。
【００２６】
【数４】
ステップＳ１６では、第一の画像と正規化した第二の画像の対応する画素について、画素値の差分ΔＰを算出する。
【００２７】
ステップＳ１７では、算出したΔＰと閾値Ｔｈとを比較する。ΔＰが閾値Ｔｈよりも大きい場合はステップＳ１８に進み、当該画素を、対象領域として抽出画像に出力し、ΔＰが閾値Ｔｈ以下の場合は当該画素を背景領域とみなし、ステップＳ１９に進む。
【００２８】
ステップＳ１９では、第一の画像と正規化した第二の画像の対応する全画素について処理が完了したかを確認し、未処理の画素がある場合はステップＳ１５に戻り、未処理の画素がない場合は処理を終了する。
【００２９】
これにより、背景をのぞいた、対象画像のみを抽出画像として出力することが可能となる。
【実施例１】
【００３０】
図２は本発明の実施例１を示す。実施例１において、画像撮影手段１０は、視点、視線の６軸自由度を有するカメラなどの入力装置であって、背景のみの第一の画像と、背景と対象とを含む第二の画像とを撮影して保持する。
【００３１】
特徴点抽出手段１１は第一の画像内の局所的に存在する小領域を、少なくとも３点、特徴点として抽出する。この場合、対象を含む第二の画像を撮影したときに、当該特徴点が当該対象により隠されても、最低３個の特徴点が検出できるように、十分な個数、特徴点を抽出する。特徴点は、図３に示すような縦横にエッジがあるような部分が最適である。縦横方向それぞれのエッジを持っていることで、画像が任意の回転を行った場合でも、特徴点が第二の画像ではどこにあるかの推定を高精度に行うことが可能となる。
【００３２】
ずれ量算出手段１２では、第一の画像の特徴点と、第二の画像とを入力し、例えばＫＬＴ法を用いて第一の画像の特徴点に対応する点を第二の画像内で推定し、その点の座標を検出する。
【００３３】
ずれ量算出手段１２ではさらに、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出する。ずれ量は、３組の点の座標をアフィン行列に代入し、連立方程式を解くことによりアフィン行列のパラメータとして算出する。
【００３４】
ずれ補正画像生成手段１３では、ずれ量算出手段１２で算出したアフィン行列を用い、第一の画像の画素に対応する第二の画像の画素が、第一の画像の画素と同一位置となるように第二の画像の座標を補正する。
【００３５】
差分算出手段１４は、第一の画像の画素値と、第一の画像の画素に対応する第二の画像の画素値との差分値を算出する。外光の影響やカメラのセンサモジュールの感度などの問題から、同一の背景であっても必ずしも差分は０にはならないが、差分が、予め定めた閾値Ｔｈ未満であれば同一背景とみなす。
【００３６】
対象画像抽出手段１５は、差分値＜Ｔｈの場合は背景として予め定めた背景色（例えば黒やブルーなど）を出力し、差分値≧Ｔｈの場合は第二の画像の画素、すなわち、対象画像の画素値を出力する。このような処理を実行することで、平行移動のみならず回転移動を有する画像から対象物を抽出することが可能となる。
【００３７】
なお、特徴点が4組求められる場合は、当該座標の組を次式に示すＨｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘに代入することによりずれ量を算出することも可能である。
【００３８】
【数５】
対象抽出に使用する画像は、背景のみの背景画像と対象と背景とが映っている対象画像の２枚があれば抽出可能であるが、撮影した複数枚の画像を表示し、ユーザが最適な画像を選択することが出来るようにすることで、ユーザの望む抽出画像を生成することが可能となる。
【実施例２】
【００３９】
図１１は、実施例１に示す方法を、免許証やパスポート等の対象の画像サイズが規定されている証明書写真装置に適用する実施例２のフローを示す。例えばパスポートの場合、画像サイズは ４．５ｃｍ×３．５ｃｍ、頭頂部に余白、背景は無背景（薄い色）と規定されている。
【００４０】
実施例１で、図１２に示す領域を抽出した例について説明する。ステップＳ２１で、抽出した領域の上部を顔とみなして、当該領域に外接する対象矩形領域をセットする（図１３）。次にステップＳ２２で、当該対象矩形領域に外接する、縦横比Ｎ：Ｍ＝９：７の余白付写真領域をセットする（図１４）。
【００４１】
次にステップＳ２３で、対象領域の上下に余白があるかを判定し、余白がある場合はステップＳ２４に進み、余白を対象領域の上側とし、余白付写真領域の縦横比を保存し、縦４５ｍｍとなるように拡縮して写真領域をセットする。対象領域の上下に余白が無い場合は、ステップＳ２５に進み、余白付写真領域の縦横比を保存し、縦３８ｍｍとなるように拡縮し、対象領域の最上部に余白７ｍｍを追加して写真領域をセットする。
【００４２】
これにより，抽出した対象領域から証明写真を生成することが可能になる。
（付記１）
第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
（付記２）
付記１に記載の画像抽出方法であって、アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする画像抽出方法。
（付記３）
付記１に記載の画像抽出方法であって、さらに、入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする画像抽出方法。
（付記４）
視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
（付記５）
付記１に記載の画像抽出方法であって、さらに、抽出画像に外接する矩形領域を設定し、抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする。
（付記６）
第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも４点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を４点推定して対応する特徴点の組を４組抽出し、ホモグラフィー行列に、抽出した４組の特徴点の座標を代入することにより第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
（付記７）
付記５に記載の画像抽出方法であって、さらに、余白付領域の上下に余白が無い場合は、縦横比を変えることなく所定の寸法に拡縮した後に、余白付領域の上下に所定の余白を追加することを特徴とする。
【図面の簡単な説明】
【００４３】
【図１】本発明のフロー例
【図２】実施例１
【図３】特徴点の例
【図４】対象画像の抽出例
【図５】６軸ずれの説明図
【図６】（１）〜（５）軸ずれの効果
【図７】（６）軸ずれの効果
【図８】平行移動による各点のずれ
【図９】６軸ずれが生じた画像
【図１０】回転移動による各点のずれ
【図１１】実施例２のフロー
【図１２】抽出画像例
【図１３】対象矩形領域
【図１４】余白付写真領域
【図１５】写真領域
【符号の説明】
【００４４】
１０ 画像撮影手段
１１ 特徴点抽出手段
１２ ずれ量算出手段
１３ ずれ補正画像生成手段
１４ 差分算出手段
１５ 対象画像抽出手段
【技術分野】
【０００１】
本発明は、背景と対象とを含む複数枚の画像を用い、背景画像と対象画像とを分離して対象画像を切り出す方法、および装置に関し、特に画像を撮影するカメラが視点／視線の６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置に関する。
【背景技術】
【０００２】
証明写真などのポートレート撮影システムや侵入検知／監視システムなどにおいて、対象とする物体と背景とを分離し、対象とする物体を切り出す画像処理方法が開示されている（特許文献１〜特許文献４参照）。
【特許文献１】特開２００２−９９９１０号公報
【特許文献２】特開２０００−３６０３２号公報
【特許文献３】特開２００２−１５８９９９号公報
【特許文献４】特開２００２−３４４９４９号公報 特許文献１に記載の方法では、図４に示す対象画像の抽出例のごとく、予め、背景画像（Ｆａ）を撮影して蓄積し、新たに撮影した背景と対象とを含む画像の中から、ユーザが指定した画像（Ｆｂ）と背景画像（Ｆａ）との差分をとることにより抽出画像（Ｆｃ）として抽出する。
【０００３】
特許文献２に記載の方法では、背景画像と対象画像から対象を抽出する際に、背景画像と対象画像の共通領域（背景）の明るさの違いを補正することで対象の抽出を高精度化している。
【０００４】
特許文献３に記載の方法では、所定の監視区域内の物体を検出するため監視区域内の複数の位置から撮影した画像を背景画像として保持し、物体が映っている画像（対象画像）の背景領域がどの背景画像と同一であるかをマッチングしている。
【０００５】
特許文献４に記載の方法では、動画像をブロックごとに符号化して復号する際の情報から該ブロックの平行移動量を求めている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、および特許文献２に記載の方法では、カメラの視点／視線が固定されていることを前提としている。図４に示すごとく、背景画像Ｆａと背景と対象とを含む画像Ｆｂとから対象画像のみを抽出して抽出画像Ｆｃとする場合、次式に示すごとく、同一座標（ｘ，ｙ）にある画素ごとに差分を求め、差分が予め定めた閾値Ｔｈ以下のときは背景領域とみなし、例えば、Ｆｃ＝０（黒）、あるいはブルーバック等所定の色とし、閾値Ｔｈ以上のときは対象画像とし、Ｆｃ＝Ｆｂとして抽出する。
【０００７】
【数１】
しかし、撮影者がカメラを持って撮影する場合、図５に示すごとく、カメラの視点、視線の６軸にずれが生じて背景の位置が移動するため、特許文献１、および特許文献２に記載の方法では対応出来ない。
【０００８】
図５に示すずれのうち（１）、（２）、（３）は平行移動、（４）、（５）、（６）は回転移動である。
【０００９】
対象と背景とが十分に遠いとき、撮影された画像の、（１）、（２）、（３）のずれによる変化は無視できる範囲と見なせるが、（４）、（５）、（６）のずれは無視できない場合が多い。
【００１０】
また、撮影された画像の移動の種類という観点で分類すると、対象と背景とが十分に遠いとき、（１）、（２）、（３）、（４）、（５）は平行移動（図６）であり、（６）は回転移動（図７）になる。
【００１１】
画像が平行移動と見なせる場合は、特許文献３、および特許文献４に記載の方法が適用できる。図６に示すごとく、画像が平行移動した場合、すなわち画像Ｆａ中の特徴点Ａ（ｘ，ｙ）に対応する、画像Ｆｂ中の点Ａ’（ｘ’，ｙ’）を、例えばパターンマッチング法、あるいは、金出他が提唱するＫＬＴ法等を用いて推定し、対応する位置の画素ごとに比較する。（非特許文献１、非特許文献２参照）
【非特許文献１】TomasiC. and Kanade T. “Detection and Trucking of Point Figures”, CMU Tech. Rep. CMU-CS-91-132, April 1991
【非特許文献２】金出武雄, コンラッド・ポールマン, 森田俊彦,”因子分解法による物体形状とカメラ運動の復元”, 電子情報通信学会論文誌 D-II Vol.J76-D-II No.8,pp1497-1505, 1993年8月 この場合、（ｘ，ｙ）と（ｘ’，ｙ’）の関係はずれ量をΔｘ，Δｙとした場合、
【００１２】
【数２】
で表すことができる。図８に示すごとく、画像中の各特徴点Ａ、と点Ａ’とのずれ量は、点Ｂ、と点Ｂ’とのずれ量、点Ｃ、と点Ｃ’とのずれ量と同一で、それぞれ、Δｘ，Δｙある。
【００１３】
すなわち抽出画像Ｆｃは、
【００１４】
【数３】
となる。
【００１５】
しかし、撮影者がカメラを持って画像を撮影した場合、画像には平行移動だけでなく回転が加わる（図９）。
【００１６】
この場合、ずれ量の値は座標によって全て異なる（図１０）ため、全画素について個別にずれ量を算出する必要があり、特許文献３、および特許文献４に記載の方法は適用できない。
【００１７】
本発明は、かかる課題を解決し、カメラの視点、視線が６軸自由度を有する場合にも対応可能な、対象画像切り出し方法、および装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
第一の発明は、第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
【００１９】
第二の発明は、第一の発明に記載の画像抽出方法であって、アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする。
【００２０】
第三の発明は、第一の発明に記載の画像抽出方法であって、さらに、入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする。
【００２１】
第四の発明は、視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
第五の発明は、第一の発明に記載の画像抽出方法であって、さらに、抽出画像に外接する矩形領域を設定し、抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする。
【発明の効果】
【００２２】
本発明により、固定されたカメラで撮影した画像だけでなく、撮影者が手に持つような、視点、視線の６軸自由度を有するカメラで撮影した画像であっても、背景画像と対象画像とを分離し、対象画像を切り出すことが可能となる。
【発明を実施するための最良の形態】
【００２３】
図１に本発明のフロー例を示す。ステップＳ１１で、背景のみの第一の画像を撮影し、ステップＳ１２で第一の画像から複数の特徴点を抽出する。この場合、対象を含む第二の画像を撮影したときに、当該特徴点が当該対象により隠されても最低３個の特徴点が検出できるように、十分な個数、特徴点を抽出することが望ましい。
【００２４】
ステップＳ１３で、背景と対象とを含む第二の画像を撮影し、ステップＳ１４で、第一の画像内の特徴点に対応する第二の画像内の点を３点推定し、対応する特徴点の組を３組抽出する。異なる視点、視線から撮影した二つの画像から、対応する特徴点を見つけ出す方法としては、例えば前記ＫＬＴ法を用いる。
【００２５】
ステップＳ１５では、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量Δx，Δyを算出し、第二の画像の座標を第一の画像に正規化する。ずれ量は、３組の特徴点の座標を、例えば次式に示すアフィン行列に代入し、連立方程式を解くことによりアフィン行列のパラメータとして算出する。第二の画像の座標正規化は、当該アフィン行列に第二の画像の座標を代入することにより求められる。
【００２６】
【数４】
ステップＳ１６では、第一の画像と正規化した第二の画像の対応する画素について、画素値の差分ΔＰを算出する。
【００２７】
ステップＳ１７では、算出したΔＰと閾値Ｔｈとを比較する。ΔＰが閾値Ｔｈよりも大きい場合はステップＳ１８に進み、当該画素を、対象領域として抽出画像に出力し、ΔＰが閾値Ｔｈ以下の場合は当該画素を背景領域とみなし、ステップＳ１９に進む。
【００２８】
ステップＳ１９では、第一の画像と正規化した第二の画像の対応する全画素について処理が完了したかを確認し、未処理の画素がある場合はステップＳ１５に戻り、未処理の画素がない場合は処理を終了する。
【００２９】
これにより、背景をのぞいた、対象画像のみを抽出画像として出力することが可能となる。
【実施例１】
【００３０】
図２は本発明の実施例１を示す。実施例１において、画像撮影手段１０は、視点、視線の６軸自由度を有するカメラなどの入力装置であって、背景のみの第一の画像と、背景と対象とを含む第二の画像とを撮影して保持する。
【００３１】
特徴点抽出手段１１は第一の画像内の局所的に存在する小領域を、少なくとも３点、特徴点として抽出する。この場合、対象を含む第二の画像を撮影したときに、当該特徴点が当該対象により隠されても、最低３個の特徴点が検出できるように、十分な個数、特徴点を抽出する。特徴点は、図３に示すような縦横にエッジがあるような部分が最適である。縦横方向それぞれのエッジを持っていることで、画像が任意の回転を行った場合でも、特徴点が第二の画像ではどこにあるかの推定を高精度に行うことが可能となる。
【００３２】
ずれ量算出手段１２では、第一の画像の特徴点と、第二の画像とを入力し、例えばＫＬＴ法を用いて第一の画像の特徴点に対応する点を第二の画像内で推定し、その点の座標を検出する。
【００３３】
ずれ量算出手段１２ではさらに、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出する。ずれ量は、３組の点の座標をアフィン行列に代入し、連立方程式を解くことによりアフィン行列のパラメータとして算出する。
【００３４】
ずれ補正画像生成手段１３では、ずれ量算出手段１２で算出したアフィン行列を用い、第一の画像の画素に対応する第二の画像の画素が、第一の画像の画素と同一位置となるように第二の画像の座標を補正する。
【００３５】
差分算出手段１４は、第一の画像の画素値と、第一の画像の画素に対応する第二の画像の画素値との差分値を算出する。外光の影響やカメラのセンサモジュールの感度などの問題から、同一の背景であっても必ずしも差分は０にはならないが、差分が、予め定めた閾値Ｔｈ未満であれば同一背景とみなす。
【００３６】
対象画像抽出手段１５は、差分値＜Ｔｈの場合は背景として予め定めた背景色（例えば黒やブルーなど）を出力し、差分値≧Ｔｈの場合は第二の画像の画素、すなわち、対象画像の画素値を出力する。このような処理を実行することで、平行移動のみならず回転移動を有する画像から対象物を抽出することが可能となる。
【００３７】
なお、特徴点が4組求められる場合は、当該座標の組を次式に示すＨｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘに代入することによりずれ量を算出することも可能である。
【００３８】
【数５】
対象抽出に使用する画像は、背景のみの背景画像と対象と背景とが映っている対象画像の２枚があれば抽出可能であるが、撮影した複数枚の画像を表示し、ユーザが最適な画像を選択することが出来るようにすることで、ユーザの望む抽出画像を生成することが可能となる。
【実施例２】
【００３９】
図１１は、実施例１に示す方法を、免許証やパスポート等の対象の画像サイズが規定されている証明書写真装置に適用する実施例２のフローを示す。例えばパスポートの場合、画像サイズは ４．５ｃｍ×３．５ｃｍ、頭頂部に余白、背景は無背景（薄い色）と規定されている。
【００４０】
実施例１で、図１２に示す領域を抽出した例について説明する。ステップＳ２１で、抽出した領域の上部を顔とみなして、当該領域に外接する対象矩形領域をセットする（図１３）。次にステップＳ２２で、当該対象矩形領域に外接する、縦横比Ｎ：Ｍ＝９：７の余白付写真領域をセットする（図１４）。
【００４１】
次にステップＳ２３で、対象領域の上下に余白があるかを判定し、余白がある場合はステップＳ２４に進み、余白を対象領域の上側とし、余白付写真領域の縦横比を保存し、縦４５ｍｍとなるように拡縮して写真領域をセットする。対象領域の上下に余白が無い場合は、ステップＳ２５に進み、余白付写真領域の縦横比を保存し、縦３８ｍｍとなるように拡縮し、対象領域の最上部に余白７ｍｍを追加して写真領域をセットする。
【００４２】
これにより，抽出した対象領域から証明写真を生成することが可能になる。
（付記１）
第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも３点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
（付記２）
付記１に記載の画像抽出方法であって、アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする画像抽出方法。
（付記３）
付記１に記載の画像抽出方法であって、さらに、入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする画像抽出方法。
（付記４）
視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
（付記５）
付記１に記載の画像抽出方法であって、さらに、抽出画像に外接する矩形領域を設定し、抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする。
（付記６）
第一の視点、視線で第一の画像を撮影し、第一の画像から少なくとも４点の特徴点を抽出し、任意の第二の視点、視線で第二の画像を撮影し、第一の画像内の特徴点に対応する第二の画像内の点を４点推定して対応する特徴点の組を４組抽出し、ホモグラフィー行列に、抽出した４組の特徴点の座標を代入することにより第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
（付記７）
付記５に記載の画像抽出方法であって、さらに、余白付領域の上下に余白が無い場合は、縦横比を変えることなく所定の寸法に拡縮した後に、余白付領域の上下に所定の余白を追加することを特徴とする。
【図面の簡単な説明】
【００４３】
【図１】本発明のフロー例
【図２】実施例１
【図３】特徴点の例
【図４】対象画像の抽出例
【図５】６軸ずれの説明図
【図６】（１）〜（５）軸ずれの効果
【図７】（６）軸ずれの効果
【図８】平行移動による各点のずれ
【図９】６軸ずれが生じた画像
【図１０】回転移動による各点のずれ
【図１１】実施例２のフロー
【図１２】抽出画像例
【図１３】対象矩形領域
【図１４】余白付写真領域
【図１５】写真領域
【符号の説明】
【００４４】
１０ 画像撮影手段
１１ 特徴点抽出手段
１２ ずれ量算出手段
１３ ずれ補正画像生成手段
１４ 差分算出手段
１５ 対象画像抽出手段
【特許請求の範囲】
【請求項１】
第一の視点、視線で第一の画像を撮影し、
第一の画像から少なくとも３点の特徴点を抽出し、
任意の第二の視点、視線で第二の画像を撮影し、
第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、
抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、
第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
【請求項２】
請求項１に記載の画像抽出方法であって、
アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする画像抽出方法。
【請求項３】
請求項１に記載の画像抽出方法であって、さらに、
入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする画像抽出方法。
【請求項４】
視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、
前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、
第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、
前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、
差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
【請求項５】
請求項１に記載の画像抽出方法であって、さらに、
抽出画像に外接する矩形領域を設定し、
抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、
該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする画像抽出方法。
【請求項１】
第一の視点、視線で第一の画像を撮影し、
第一の画像から少なくとも３点の特徴点を抽出し、
任意の第二の視点、視線で第二の画像を撮影し、
第一の画像内の特徴点に対応する第二の画像内の点を、少なくとも３点推定して対応する特徴点の組を３組抽出し、
抽出した３組の特徴点の座標を基に、第一の画像と第二の画像とのずれ量を算出して第二の画像の座標を第一の画像に正規化し、
第一の画像と正規化した第二の画像の対応する画素について画素値の差分を算出し、算出した差分が、予め設定した所定の閾値よりも大きい画素を、対象領域として抽出することを特徴とする画像抽出方法。
【請求項２】
請求項１に記載の画像抽出方法であって、
アフィン行列に、類似の特徴を有する点の組の座標を代入することにより第二の画像を撮影した視点、視線を特定することを特徴とする画像抽出方法。
【請求項３】
請求項１に記載の画像抽出方法であって、さらに、
入力した複数の画像を表示し、１枚以上の背景画像、およびまたは、１枚以上の背景と対象とを含む画像のいずれか一方、または両方を指定することを特徴とする画像抽出方法。
【請求項４】
視点、視線の６軸自由度を有し、少なくとも二つの画像を撮影する手段と、
前記画像撮影手段で撮影した第一の画像から特徴点を抽出する特徴点抽出手段と、
第一の画像の特徴点と、第二の画像とを入力し、第一の画像の特徴点に対応する点を第二の画像内で推定してその点の座標を検出し、第一の画像の特徴点の座標と、検出した点の座標とから第一の画像と第二の画像のずれ量を算出するずれ量算出手段と、
前記ずれ量算出手段で算出したずれ量を基に、第一の画像の画素と、第一の画像の画素に対応する第二の画像の画素が同一位置となるように第二の画像の座標を補正するずれ補正画像生成手段と、
第一の画像の画素値と、第一の画像の画素に対応する、前記ずれ補正画像生成手段で生成した第二の画像の画素値との差分値を算出する差分算出手段と、
差分が予め定めた閾値より大きい領域を対象として抽出する手段とを有することを特徴とする画像抽出装置。
【請求項５】
請求項１に記載の画像抽出方法であって、さらに、
抽出画像に外接する矩形領域を設定し、
抽出画像の左右、或いは上下に余白を付加することで、該外接矩形領域に外接する、所定の縦横比の余白付領域を設定し、
該余白付領域を、縦横比を変えることなく所定の寸法に拡縮することを特徴とする画像抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−３０９５２９（Ｐ２００６−３０９５２９Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１３１７２０（Ｐ２００５−１３１７２０）
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]