画像処理方法、画像処理装置及びスキャナ
【課題】特定のオブジェクトの境界の内側にある、画像における領域を確保し、これにより特定のオブジェクト手の領域、即ち別のオブジェクトを画像から間接的に除く。
【解決手段】画像処理方法は、画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段、エッジマップから境界線の候補を取得し、境界線の候補のうちで、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段、及び特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除く除去手段を備える。この方法は、特定のオブジェクトの境界を越えて捕捉された画像における、例えば手のような別のオブジェクトの画像を除去することに適用される。本発明の実施の形態に係る画像処理方法によれば、画像における特定のオブジェクトの境界は、正確に決定され、これにより境界を越える別のオブジェクトを除去して、その後の他の画像処理を容易にすることができる。
【解決手段】画像処理方法は、画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段、エッジマップから境界線の候補を取得し、境界線の候補のうちで、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段、及び特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除く除去手段を備える。この方法は、特定のオブジェクトの境界を越えて捕捉された画像における、例えば手のような別のオブジェクトの画像を除去することに適用される。本発明の実施の形態に係る画像処理方法によれば、画像における特定のオブジェクトの境界は、正確に決定され、これにより境界を越える別のオブジェクトを除去して、その後の他の画像処理を容易にすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関するものであり、より詳細には、捕捉された画像から、特定のオブジェクトの境界を越える別のオブジェクトを除く方法に関する。
【背景技術】
【０００２】
分厚い書類の画像がカメラ又はスキャナで捕捉されるとき、ユーザは、図１（ａ）で例示されるように書類の両側を手で押すか又は何とかして書類をフラットにする。書類の画像における手又は何か他のものの存在は、例えば書類の上を位置合わせること、書類の画像を修正すること等といった、その後の処理の結果に影響を及ぼす場合がある。図１（ｂ）に例示されるように、位置合わせされたコーナのポイントが真のコーナのポイントから幾分逸脱するように、手の存在のため、本のコーナのポイントの検出に影響を及ぼす。従って、（例えば図１（ｂ）における本等といった）特定のオブジェクトの境界を越える画像における手が除かれ、これにより手の存在によるその後の処理の結果に対する影響が最小にされる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の手の検出方法は、２つの一般的なカテゴリに分類され、一方は、多数のトレーニングデータから皮膚色を作成し、画像の画素を分類し、これにより手の領域を検出することであり、他方は、多数のトレーニングデータから統計的モデルを作成し、手を検出し、手の領域が検出された後に皮膚色モデルを使用して手の境界を正確に更に位置合わせすることである。第一のカテゴリの方法は、画像における手の色を良好にモデル化し、皮膚色モデルでテストすることができない場合、又は手の領域以外の皮膚の色に類似した多くの色の領域が存在する場合に失敗しやすいという、トレーニングデータの大きな影響を受けるという問題を有しており、第二のカテゴリの方法は、強力な分類能力で分類子を学習するため、多数の手のトレーニングデータを必要とし、それらの効力は、手の外観の大きな多様性のために保証されない場合があるという問題点がある。
【課題を解決するための手段】
【０００４】
上述した問題を考慮して、本発明の実施の形態は、特定のオブジェクトの境界の内側にある画像における領域を確保し、これにより手の領域、又は特定のオブジェクトとは別のオブジェクトを画像から間接的に除くことを提案する。本発明の実施の形態によれば、書類の境界は、モデルを作成するための多数のオフラインのトレーニングデータを必要とすることなしに、現在の画像からフィッティングされ、これにより良好なポピュラリティで便利且つ迅速な処理が実行される。さらに、画像処理の効率及び精度は、他のオブジェクトの領域を除く技術により著しく改善することができる。
【０００５】
本発明の実施の形態によれば、画像における前景のオブジェクトのエッジマップを決定し、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定し、特定のオブジェクト以外の境界線を越える前景のオブジェクトを除くことを含む画像処理方法が提供される。
【０００６】
本発明の別の実施の形態によれば、画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段、特定のオブジェクト以外の境界線を越える前景のオブジェクトを除去する除去手段を含む画像処理装置が提供される。
【０００７】
本発明の更に別の実施の形態によれば、コンピュータにより読み取られて実行されたときに、コンピュータに、上述した画像処理方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータプログラムが提供される。
【０００８】
本発明の更なる実施の形態によれば、本発明の実施の形態に係る上述したコンピュータプログラムを記録した記録媒体が提供される。
【図面の簡単な説明】
【０００９】
本発明の上述した目的及び効果、並びに他の目的及び効果は、本発明の実施の形態と共に、添付図面を参照して以下に更に記載される。添付図面において、同じ又は類似の技術的特徴又は構成要素は、同じ又は類似の参照符号で示される。
【図１】図１ａは、本をフラットに維持するために手で本の両側を押しているのを例示する図であり、図１ｂは、本の境界での手の存在のため、コーナポイントの誤った判定を例示する図である。
【図２】本発明の実施の形態に係る図１（ａ）で例示される境界を越える手を除くプロセスのフローチャートである。
【図３】入力画像からエッジマップを決定するプロセスを例示するフローチャートである。
【図４】図４ａ及び図４ｂは、原画像とバイナリマスク処理された画像との間の比較を例示する図である。
【図５】図５ａ及び図５ｂは、取得された左エッジマップと右エッジマップを例示し、図５ｃ及び図５ｄは、左エッジマップと右エッジマップからのフィッティングにより得られる境界の候補を例示する図である。
【図６】エッジマップから境界線を決定するプロセスを例示するフローチャートである。
【図７】図７ａはフィットされたラインの２つの側で取られる特定の幅の領域を取得することを例示し、図７ｂは、フィットされたラインの２つの側で特徴ベクトルを取得することを例示するフローチャートである。
【図８】図８ａ及び図８ｂは、原画像と手が除去された画像との間の比較を例示する図である。
【図９】本発明の別の実施の形態に係る画像処理装置の機能ブロック図である。
【図１０】図１０ａ及び図１０ｂは、本発明の他の実施の形態に係る、画像処理装置におけるエッジマップ決定手段をそれぞれ例示する機能ブロック図である。
【図１１】本発明の他の実施の形態に係る、画像処理装置における境界線決定手段を例示する機能ブロック図である。
【図１２】本発明の実施の形態に係る画像処理方法が実施される汎用コンピュータシステムを例示するブロック図である。
【発明を実施するための形態】
【００１０】
本発明の実施の形態は、添付図面を参照して以下に記載される。本発明のソリューションに密接に関連する装置の構造及び／又は方法の処理のみが図面に例示され、本発明に関連しない他の詳細は、それら不要な詳細のために本発明を曖昧にしないように省略される。同じ又は類似の構成要素又はコンポーネントは、図面を通して同じ又は類似の参照符号で示される。
【００１１】
本発明の実施の形態によれば、画像における前景のオブジェクトのエッジマップを決定すること（Ｓ２１０）、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定すること（Ｓ２２０）、及び特定のオブジェクト以外の境界線を越える前景のオブジェクトを除くこと（Ｓ２３０）を含む画像処理方法が提供される。
【００１２】
本発明は、画像における非特異的なオブジェクト、すなわち図１（ａ）に例示される本の境界を越える手が除かれる例を通して、図面を参照して以下に記載される。本と手の両者は、図１（ａ）における前景のオブジェクトである。勿論、当業者であれば、本発明の実施の形態に係る画像処理方法は、手以外の本の境界を越える別のオブジェクトの除去にも適用可能であることを理解されるであろう。境界が他のオブジェクトの領域の除去について決定されるべき特定のオブジェクトは、本に限定されないが、必要に応じて画像における前景のオブジェクトとすることができる。
【００１３】
この実施の形態では、本の左及び右の境界が決定される必要があり、左及び右の境界を越える手の領域が除去されることが想定される。しかし、当業者であれば、本発明の実施の形態に係る画像処理方法は、画像における本の上側及び下側の境界である手又は別のオブジェクトにも同様に適用可能であることを理解されるであろう。
【００１４】
図２におけるそれぞれの処理の様々な実現が以下に記載される。
はじめに、エッジマップが決定されるステップＳ２１０でのプロセスの特定の実現は、図３を参照して記載される。
【００１５】
図３に例示されるように、はじめに、バイナリマスク処理された画像は、ステップＳ３１０で入力画像から決定される。バイナリマスク処理された画像を取得する特定の例は、以下に簡単に記載される。
【００１６】
入力画像f(x,y)（0≦x≦w-1及び0≦y≦h-1）（ｗ及びｈは、入力画像の幅及び高さをそれぞれ表す）が与えられると、画像の後景領域の色fbackgroundの平均は、画像の境界領域から推定される。ここで、画像の後景領域は、一様なテクスチャ領域として想定され、従って後景の色の平均は、画像の境界領域から容易に推定される。次いで、距離画像は、式（１）に示されるように、後景の色の推定される平均に従って原画像から計算される。
【数１】
【００１７】
ここで｜・｜は２つのベクトル間のＬ1距離（ブロック距離）を表す。Ｌ1距離は、２つのベクトル間の差を表すために当該技術分野で一般に使用されるパラメータであり、その概念及び解法は、当業者に知られており、従ってその詳細の繰り返される説明はここでは省略される。距離画像dist(x,y)（0≦x≦w-1及び0≦y≦h-1）について、閾値TをOtsuアルゴリズムにより取得することができ、入力画像は、式（２）において示されるように、この閾値で２値化される。
【数２】
【００１８】
図４（ａ）及び図４（ｂ）は、入力画像と該入力画像のバイナリマスク処理された画像をそれぞれ示す。明らかであるように、図４ｂにおけるマスク処理された画像における前傾の画素は、手及び本を含んでいる。
【００１９】
図３を参照して、バイナリマスク処理された画像が取得された後に、バイナリマスク処理された画像からエッジマップを取得するプロセスが開始される。特に、前景の画素は、ステップＳ３２０で、マスク処理された画像の中に対して左の領域で選択され、次いで、ステップＳ３３０で、その左の隣接する画素が後景（ホワイト）画素であるかが判定され、その左の隣接する画素が後景（ホワイト）の画素であると判定された場合、ステップ３４０で、左のエッジマップの画素として前景の画素が選択され、さもなければ、ステップＳ３５０で、その画素は却下される。図３は、左のエッジマップの画素を取得する処理を例示しており、同様に、バイナリマスク処理された画像から右のエッジマップを計算する処理は、以下の通りである。マスク処理された画像の中央に対して右の領域において、現在の画素が前景（ブラック）の画素であり、その右の隣接する画素が後景（ホワイト）の画素である場合、前景の画素は、右のエッジマップの画素である。上述のプロセスは、図４ｂに例示されるマスク処理された画像の上側の境界ｌ1と下側の境界ｌ2との間で実行されるか、又は全体の画像の上側境界ｍ1と下側の境界ｍ2との間で実行されるが、本発明は、この点において限定されない。マスク処理された画像の中央、上側の境界及び下側境界は、従来技術におけるように取得することができ、その説明は、本発明において省略される。図５（ａ）及び図５（ｂ）は、バイナリマスク処理された画像のこのように取得された左エッジマップと右エッジマップを例示する。
【００２０】
文書の原画像からエッジマップを取得する方法は、さもなければ実行されるが、上述されたものに定義されない。例えば、左エッジマップを取得するため、原画像の前景の画素とその左の隣接する画素との間の輝度における差について、この差が予め設定された閾値を超える場合、その画素は左エッジマップの画素として決定され、同様に、原画像のそれぞれの前景の画素とその右の隣接する画素との間の輝度における差について、この差が予め設定された閾値を超える場合、その画素は右のエッジマップの画素として決定される。閾値は、（例えば原画像の前景の画素と後景の画素との間の輝度における差等といった）実際条件に依存して設定することができ、或いは経験的又は実験的に設定することができる。
【００２１】
図２を参照して、エッジマップが原画像から決定されるステップＳ２１０での処理の後、次の処理がステップＳ２２０で開始され、境界線の候補がエッジマップから取得され、境界線は、境界線の候補から決定される。ステップＳ２２０でのプロセスの特定の実現は、図６を参照して以下に詳細に説明される。
【００２２】
エッジマップから境界線の候補を取得すること、及び境界線の候補のうちから境界線を決定すること（Ｓ２２０）は、フィッティング（図６ａ）を通してエッジマップから境界線の候補をはじめに取得し、次いで境界線の候補のうちから境界線を決定すること（図６ｂ）を含む。
【００２３】
はじめにフィッティングを通してエッジマップから境界線の候補を取得する特定の例の処理は、図６ａを参照して記載される。以下の説明は、例として左のエッジマップを例として取り上げるが、右のエッジマップにも同様に適用される。ステップＳ６１０で、左のエッジマップは、例えば水平方向（すなわち書類の上側及び下側エッジの方向）において、予め決定された幅の幾つかの矩形領域等といった、予め決定されたサイズの幾つかの領域に分割され、それぞれの領域における前景の画素の数がカウントされる。ステップＳ６２０で、予め設定された閾値を超える前景の画素の数をもつ領域が選択され、すなわち予め設定された閾値を超える前景の画素の数をもつ領域のみが確保され、ステップＳ６３０で、その領域における前景の画素を使用してラインがフィットされる。ラインフィッティング方法は、例えば再帰的最小自乗方法とすることができ、勿論、ラインフィッティングの結果は、従来技術における適切なラインフィッティング方法において代替的に取得することができる。Ｓ６４０で、境界線の候補として、フィッティングラインが取得される。図５ａ及び図５ｂは、左のエッジマップと右のエッジマップのそれぞれに関するフィッティングによる結果のラインを例示する。図５ａ及び図５ｂに例示されるように、破線は、フィッティングにより得られた結果的な境界線の候補を表す。それぞれの図は２つのみの候補を例示しているが、これらは単なる例示であって、より多くの候補又はより少ない候補を実際に得ることができる。勿論、真の境界線は、この段階において決定されない。
【００２４】
図６ｂは、フィットされたラインから境界線を選択する処理の例を示す。特に、ステップＳ６５０で、図７ａに例示されるように、それぞれのフィットされたライン、即ちそれぞれの境界線の候補、のそれぞれの側で特定の幅の領域が選択される。なお、特定の幅の領域は、原画像から抽出される。図７ａは、画像における特定のオブジェクトから、即ち本の上側の境界ｌ1と下側の境界ｌ2との間で、矩形の領域が選択されるシナリオを例示している。しかし、特定の条件下において必要に応じて全体の画像の上側の境界ｍ1と下側の境界ｍ2との間で領域を代替的に選択することができるため、本発明は、この例に限定されない。次いで、２つの領域の特徴の表現間の差は、ステップＳ６６０で計算される。この差は、Ｌ1距離、ユークリッド距離等で計算することができるが、本発明は、この点に限定されない。２つの側の領域間で最も大きい差をもつラインは、ステップＳ６７０で、左のエッジマップと右のエッジマップからのフィットされたラインから選択される。ステップＳ６８０で、選択されたラインの２つの側の領域間の差が予め設定された距離を越えるかが判定され、選択されたラインの２つの側の領域間の差が予め設定された距離を越えると判定された場合、ステップＳ６９０で、本の境界としてラインが受け入れられ、さもなければ、ステップＳ６８５で、そのラインは却下される。代替的な実施の形態では、特徴の表現間の最も大きい差をもつ境界線の候補は、ステップＳ６８０で、最終判定を行うことなしに、結果として得られる真の境界線として採用される。
【００２５】
ステップＳ６８０での判定が行われた場合、更なる利益を得ることができ、即ち誤った判定の割合を最低に引き下げることができる。誤判定は、境界線について本の中央線の間違い等を示し、これにより本自身のコンテンツといった、さもなければ除去されないコンテンツがその後のプロセスにおいて除去される。
【００２６】
ステップＳ６６０で、２つの領域の特徴の表現間の差が計算される。２つの側での特徴の表現間の差をどのように計算するかに関する特定の例は、図７ｂを参照して以下に記載される。図７に例示されるように、それぞれの選択された領域は、サブ領域のヒストグラム特徴表現により特徴付けられ、即ち領域は水平方向及び垂直方向のそれぞれにおいて幾つかのサブ領域に分割され、それぞれのサブ領域におけるそれぞれの画素のＲ，Ｇ及びＢ色の値は、予め設定された量子化間隔に基づいて異なる量子化間隔にそれぞれ量子化され、次いで、それぞれのサブ領域のカラーヒストグラムは、３つのＲ，Ｇ及びＢカラーチャネルを通してそれぞれ計算され、３つのヒストグラムは、サブ領域のカラーヒストグラムの表現に接続され、最終的に、これらのサブ領域のカラーヒストグラムの表現は、全体の領域のカラーヒストグラムの表現に接続される。特徴の表現は、処理される境界線の候補の２つの側での特徴の表現間の差を取得することができる限りにおいて、ヒストグラムの表現以外のものとすることができる。カラーヒストグラムは、それぞれの色の空間的な位置を気にすることなしに、全体の画像における異なる色の割合を表すために、当該技術分野で一般に使用される概念である。ヒストグラムにおける全ての値は、統計により得られ、画像における色の観点で量の特徴を示し、カラーヒストグラムにおける画像の色の統計的な分布及び基本色相を反映することができる。カラーヒストグラムの詳細について、Shapiro, Linda G及びStockman, George C.,による“Computer Vision”Prentice Hall, 2003 ISBN0130307963及び“Color Histogram”http://en.wikipedia.org/wiki/Color_histogramを参照されたい。
【００２７】
特徴の表現間の差を計算するためにカラーヒストグラムの特徴が上記のように使用されたが、境界線の候補の２つの側での特定の領域（この例では特定の幅の矩形領域）間の差を表すために特徴の表現が十分である限りにおいて、他の適切な特徴の表現を適用することができる。特徴の表現間の差の計算の領域は、必ずしも矩形である必要はなく、適切な形状を使用することができる。
【００２８】
明らかであるように、特定の例において、境界線の唯一の候補が上述した処理において取得される場合、この候補は、最終的な真の境界線としてダイレクトに選択される。
【００２９】
図２を参照して、ステップＳ２２０の後に、ステップＳ２３０で、特定のオブジェクト以外の境界線を超える前景のオブジェクト、即ちこの実施の形態では本の境界を越える手を除くプロセスが実行される。このようにして、手が除去された本の画像が取得される。図８ａ及び図８ｂは、原画像と手が除去された例示的な画像をそれぞれ示す。
【００３０】
なお、上述の処理において、例えば画像の垂直方向に関して特定の範囲（例えば−１５°〜１５°等）を超えて、特定のオブジェクトである本が著しく傾いている場合、好適な実施の形態では、処理すべき画像の方向が推定され、処理すべき画像における本のオブジェクトが予め決定された範囲内で傾き、これにより上述された画像処理の精度を更に改善するように、従来技術におけるように修正される。従来技術における画像の方向を推定及び修正する詳細について、例えばSun Changming及びSi Deyiによる“Skew and Slant Correction for Document Images Using Gradient
Direction”in 4th
International Conference on Document Analysis and Recognition等を参照されたい。
【００３１】
上述された詳細な説明は、本の画像の境界を越える手の画像が除去される例を通して説明されたが、当業者であれば、係る画像処理のソリューションは、ここでは列挙されない、本の画像の境界を越える様々な他のオブジェクトの画像を除去することにも同様に適用できることを理解されたい。
【００３２】
さらに、特定のオブジェクト（例えば本等）の左の境界と右の境界との間の画像における領域は、上述されたそれぞれの実施の形態と特定の例における境界を越える手の領域を除去するように決定される。しかし、本発明の実施の形態に係るプロセスは、境界を超える別のオブジェクトの領域を除くように、特定のオブジェクトの上側の境界と下側の境界との間の画像における領域を決定することにも同様に適用され、その処理は類似しており、従ってその繰り返される説明は、簡潔さのためにここでは省略される。
【００３３】
本発明の実施の形態に係る画像処理方法に関連して、本発明の実施の形態は、図９に例示される画像処理装置を提供し、この画像処理装置は、画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段９０１、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段９０２、及び特定のオブジェクト以外の境界線を越える前景のオブジェクトを除く除去手段９０３を含む。
【００３４】
特定の例では、エッジマップは、バイナリマスクで決定され、図１０ａを参照して、エッジマップ決定手段９０１は、後景のオブジェクトを前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを決定するバイナリマスク決定手段９０１１を含み、エッジマップ決定手段９０１は、バイナリマスク決定手段９０１１により決定されたバイナリマスクに従ってエッジマップを決定する。
【００３５】
別の特定の例では、エッジマップは、輝度における差から代替的に決定され、図１０ｂを参照して、エッジマップ決定手段９０１は、画像における前景のオブジェクトの前景の画素と、前景の画素に隣接し且つ前景の画素よりも前景のオブジェクトの中心から離れている前景の画素の一方の側の前景の画素の隣接する画素との間の輝度における差を計算し、差が予め決定された第一の閾値を超えている場合、前景の画素をエッジマップの画素として決定する輝度差計算手段９０１２を含む。
【００３６】
別の特定の例では、図１１を参照して、境界線決定手段９０２は、取得されたエッジマップ上の単位として予め決定されたサイズの領域をとる前景の画素の数であって、予め決定されたサイズの領域に含まれるエッジマップにおける前景の画素をカウントすることで取得される前景の画素の数を取得し、予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択する領域取得手段９０２１、選択された領域に含まれる前景の領域を境界線の候補にフィットさせる候補フィッティング手段９０２２、及び原画像から、境界線の候補に隣接する境界線について、それぞれの候補の２つの側で特定の幅の領域の特徴の表現を取得し、２つの側での領域の特徴の表現間の差を決定し、特徴の表現間で最も大きい差をもつ境界線の候補を境界線として選択する特徴表現取得手段９０２３を含む。
【００３７】
図９乃至図１１を参照して上述された本発明の実施の形態に係る画像処理装置、及びそのそれぞれ構成手段は、例えば図２〜図８を参照して記載される本発明の実施の形態に係る画像処理方法を実行し、同様の利益を達成することができる。その詳細について、上述した関連する記載が参照され、その繰り返される説明は、ここでは省略される。
【００３８】
上述された詳細な説明は、本発明に係る装置及び／又は方法の様々な実現を説明するため、ブロック図、フローチャート及び／又は実施の形態で提示されている。当業者であれば、これらのブロック図、フローチャート及び／又は実施の形態におけるそれぞれの機能及び／又は動作は、様々なハードウェア、ソフトウェア、ファームウェア或いは本質的にこれらの組み合わせで個別に及び／又は集合的に実行することができる。実施の形態では、明細書で記載された主題の幾つかの態様は、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、デジタルシグナルプロセッサ（DSP）又は別の集積された形態で実施することができる。しかし、当業者であれば、本明細書で記載される実現の幾つかの態様は、（例えば１以上のコンピュータシステムで実行される１以上のコンピュータプログラムの形式といった）１以上のコンピュータで実行される１以上のコンピュータプログラムの形式で、（例えば１以上のマイクロプロセッサで実行される１以上のプログラムの形式といった）１以上のプロセッサで実行される１以上のプログラムの形式で、ファームウェア又は本質的に組み合わせの等価な形式で、集積回路において全体的に又は部分的に実施され、当業者は、本明細書における開示に照らして、この開示の回路を設計すること、及び／又はこの開示のファームウェアのコードを書くことができる。
【００３９】
例えば、図２，図３及び図６に例示される本の境界を越える手を除去するプロセスのフローチャートにおけるそれぞれのプロセスは、ソフトウェア、ファームウェア、ハードウェア又はこれらの組み合わせで実行される。ソフトウェア又はファームウェアで実行される場合、ソフトウェアを構成するプログラムは、様々なプログラムがインストールされたときに、様々な機能を実行することができる、記憶媒体又はネットワークから専門分野に特化したハードウェア構造をもつコンピュータ（図１２に例示される汎用コンピュータ１２００）にインストールされる。
【００４０】
図１２は、本発明の実施の形態に係る画像処理方法が実行される汎用コンピュータシステムの一般的な構造図を示す。コンピュータシステム１２００は、単なる例示であって、本発明に係る方法及び装置のアプリケーション又は機能の範囲の制限を示唆するものではない。さらに、コンピュータシステム１２００は、例示的なオペレーティングシステム１２００で例示される１つのコンポーネント又はコンポーネントの組み合わせに依存するか、１つのコンポーネント又はコンポーネントの組み合わせを必要とするものとして解釈されるべきではない。
【００４１】
図１２を参照して、中央処理装置（CPU）１２０１は、リードオンリメモリ（ROM）１２０２に記憶されたプログラム又は記憶部１２０８からランダムアクセスメモリ（RAM）１２０３にロードされたプログラムに従って様々なプロセスを実行する。RAM１２０３には、CPU１２０２が様々な処理を実行するときに必要とされるデータが必要に応じて記憶される。CPU１２０１、ROM１２０２及びRAM１２０３は、バス１２０４を介して互いに接続され、バス１２０４には、入力／出力インタフェース１２０５も接続される。
【００４２】
入力／出力インターフェース１２０５には、以下のコンポーネントも接続される。入力部１２０６（キーボード、マウス等を含む）、出力部１２０７（陰極線管（CRT）、液晶ディスプレイ（LCD）等のディスプレイ、及びスピーカ等を含む）、記憶部１２０８（ハードディスク等を含む）及び通信部１２０９（例えばLANカードといったネットワークインタフェースカード、モデム等を含む）。通信部１２０９は、例えばInternetであるネットワークを通して通信プロセスを実行する。ドライブ１２１０は、必要に応じて、入力／出力インタフェース１２０５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の取り外し可能な媒体１２１１は、そこからフェッチされたコンピュータプログラムが必要に応じて記憶部１２０８にインストールすることができるように、必要に応じてドライブ１２１０にインストールされる。
【００４３】
上述した一連のプロセスは、ソフトウェアで実行され、ソフトウェアを構成するプログラムは、例えばInternet等のネットワークから、又は例えば取り外し可能な媒体１２１１等の記憶媒体からインストールされる。
【００４４】
当業者は、係る記憶媒体は、プログラムが記憶され、ユーザにプログラムを提供するために装置から個別に流通される、図１２に例示される取り外し可能な媒体１２１１に限定されないことを理解されるであろう。取り外し可能な媒体１２１１の例は、磁気ディスク（フロプティカルディスクを含む）、光ディスク（コンパクトディスクリードオンリメモリ（CD-ROM）及びデジタルバーサティルディスク（DVD）を含む）、光磁気ディスク（ミニディスク（MD）（登録商標）を含む）及び半導体メモリを含む。代替的に、記憶媒体は、プログラムが記憶され、プログラムを含む装置と共にユーザに流通される、ROM１２０２、記憶部１２０８に含まれるハードディスク等である。
【００４５】
従って、本発明は、コンピュータにより読み取られて実行されたとき、コンピュータに、本発明の実施の形態に係る上述の画像処理方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータプログラムを更に提案する。これに応じて、コンピュータプログラムが実施される先に列挙される様々な記憶媒体は、本発明の範囲に含まれる。
【００４６】
本発明の実施の形態の上述した説明では、実施の形態において記載及び／又は例示される特徴は、他の実施の形態における特徴と共に又は他の実施の形態における特徴の代わりに１以上の他の実施の形態において完全に同じように又は類似して使用することができる。
【００４７】
この文脈で使用されたときに用語「含む／備える」は、特徴、エレメント、プロセス又はコンポーネントの存在を示すが、１以上の他の特徴、エレメント、プロセス又はコンポーネントの存在又は追加を排除するものではない。序数に関連する用語「第一」、「第二」等は、これらの用語で定義されたときに、特徴、エレメント、プロセス又はコンポーネントの実行順序又は重要度を意味するものではなく、記載の明確さのため、これらの特徴、エレメント、プロセス又はコンポーネントを識別することが意図される。
【００４８】
本発明のそれぞれの実施の形態に係る方法は、明細書で記載されるか又は図面で示される時間的なシーケンスで実行されるように制限されず、別の時間シーケンス、同時又は個別に実行することもできる。本明細書で記載される本方法が実行されるシーケンスは、本発明の範囲を制限するものではない。
【００４９】
本発明は本発明の実施の形態の説明において先に開示されたは、当業者は本発明の精神及び範囲から逸脱することなしに、本発明に対する様々な修正、改造又は等価なものを創作することができることを理解されたい。これらの修正、改造又は等価なものは、本発明の範囲に包含されるものとして解釈される。
【００５０】
上述した本発明の実施の形態について、以下に付記する。
（付記）
（付記１）
画像における前景のオブジェクトのエッジマップを決定するステップと、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定するステップと、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除くステップと、
を含む画像処理方法。
（付記２）
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
後景のオブジェクトを前記前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを取得するステップと、
前記バイナリマスクに従ってエッジマップを決定するステップと、
を含む付記１記載の画像処理方法。
（付記３）
前記バイナリマスクに従って前記エッジマップを決定するステップは、
前記バイナリマスクの処理が施された画像の中央の一方の側にある領域における前景の画素を選択し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた画素であって、前記前景の画素に隣接する画素が後景の画素である場合、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
付記２記載の画像処理方法。
（付記４）
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
前記前景のオブジェクトの前景の画素と、前記前景の画素の一方の側にある前記前景の画素の隣接画素であって、前記前景の画素に隣接し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた隣接画素との間の輝度における差を計算し、前記差が予め決定された第一の閾値を超える場合に、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
付記１記載の画像処理方法。
（付記５）
前記エッジマップから前記境界線の候補を取得するステップは、
前記エッジマップでの単位として予め決定されたサイズの領域を取る前景の画素の数を取得するステップと、前記前景の画素の数は、前記予め決定されたサイズの領域に含まれる前記エッジマップにおける前景の画素をカウントすることで取得され、
予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択するステップと、
選択された領域に含まれる前景の画素にフィッティング処理を施して、前記境界線の候補を取得するステップと、
を含む付記１乃至４の何れか記載の画像処理方法。
（付記６）
前記境界線の候補のうちで前記境界線を決定するステップは、
前記境界線の候補のそれぞれについて、前記画像から、前記境界線の候補に隣接する前記境界線の候補の２つの側で特定の幅の領域の特徴表現を取得するステップと、
前記２つの側の領域の特徴表現間の差を決定し、前記特徴表現間で最も大きい差をもつ境界線の候補を前記境界線として選択するステップと、
を含む付記１乃至５の何れか記載の画像処理方法。
（付記７）
予め設定された閾値を超える前記特徴表現間で最も大きい差をもつ前記境界線の候補は、前記境界線として選択される、
付記６記載の画像処理方法。
（付記８）
前記特徴表現は、前記２つの側の領域にそれぞれ対応するカラーヒストグラム又はグレイレベルヒストグラムを有し、
前記２つの側の領域のそれぞれは、複数サブ領域に分割され、
カラーヒストグラム又はグレイレベルヒストグラムは、それぞれのサブ領域におけるカウントから取得され、これらのサブ領域のヒストグラムは、前記領域の特徴表現を取得するために接続される、
付記６記載の画像処理方法。
（付記９）
前記エッジマップは、左のエッジマップと右のエッジマップを含み、
前記境界線は、左の境界線と右の境界線とを含む、
付記１乃至８の何れか記載の画像処理方法。
（付記１０）
画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段と、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段と、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除く除去手段と、
を備える画像処理装置。
（付記１１）
前記エッジマップ決定手段は、
後景のオブジェクトを前記前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを取得する決定するバイナリマスク決定手段を有する、
付記１０記載の画像処理装置。
（付記１２）
前記エッジマップ決定手段は、前記バイナリマスクの処理が施された画像の中央の一方の側にある領域における前景の画素を選択し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた画素であって、前記前景の画素に隣接する画素が後景の画素である場合、前記前景の画素を前記エッジマップの画素として決定するように、前記バイナリマスクに従って前記エッジマップを決定するように構成される、
付記１１記載の画像処理装置。
（付記１３）
前記エッジマップ決定手段は、
前記画像における前景のオブジェクトの前景の画素と、前記前景の画素の一方の側にある前記前景の画素の隣接画素であって、前記前景の画素に隣接し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた隣接画素との間の輝度における差を計算し、前記差が予め決定された第一の閾値を超える場合に、前記前景の画素を前記エッジマップの画素として決定する輝度差計算手段を有する、
付記１０乃至１２の何れか記載の画像処理装置。
（付記１４）
前記境界線決定手段は、
前記エッジマップでの単位として予め決定されたサイズの領域を取る前景の画素の数を取得するステップと、前記前景の画素の数は、前記予め決定されたサイズの領域に含まれる前記エッジマップにおける前景の画素をカウントすることで取得され、
予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択するステップと、
選択された領域に含まれる前景の画素にフィッティング処理を施して、前記境界線の候補を取得するステップと、
を含む付記１０乃至１３の何れか記載の画像処理装置。
（付記１５）
前記境界線決定手段は、
前記画像から、前記境界線の候補に隣接する前記境界線の候補のそれぞれの２つの側で特定の幅の領域の特徴表現を取得し、前記２つの側の領域の特徴表現間の差を決定し、前記特徴表現間で最も大きい差をもつ境界線の候補を前記境界線として選択する特徴表現取得手段を有する、
付記１０乃至１４の何れか記載の画像処理装置。
（付記１６）
前記特徴表現取得手段は、予め設定された閾値を超える前記特徴表現間で最も大きい差をもつ前記境界線の候補を前記境界線として選択する、
付記１５記載の画像処理装置。
（付記１７）
前記特徴表現は、前記２つの側の領域にそれぞれ対応するカラーヒストグラム又はグレイレベルヒストグラムを有し、
前記２つの側の領域のそれぞれは、複数サブ領域に分割され、
カラーヒストグラム又はグレイレベルヒストグラムは、それぞれのサブ領域におけるカウントから取得され、これらのサブ領域のヒストグラムは、前記領域の特徴表現を取得するために接続される、
付記１５記載の画像処理装置。
（付記１８）
付記１０乃至１７の何れか記載の画像処理装置を備えるスキャナ。
（付記１９）
コンピュータのプロセッサにより実行されたときに、前記プロセッサに、
画像における前景のオブジェクトのエッジマップを決定するステップと、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定するステップと、
前記特定のオブジェクト以外の境界線を越える前記前景のオブジェクトを除去するステップと、
を含む画像処理方法を実行させる命令を含むコンピュータプログラム。
（付記２０）
付記１９記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【００５１】
９０１：エッジマップ決定手段
９０２：境界線決定手段
９０３：除去手段
９０１１：バイナリマスク決定手段
９０１２：輝度差計算手段
９０２１：領域取得手段
９０２２：候補フィッティング手段
９０２３：特徴表現取得手段
【技術分野】
【０００１】
本発明は、画像処理の分野に関するものであり、より詳細には、捕捉された画像から、特定のオブジェクトの境界を越える別のオブジェクトを除く方法に関する。
【背景技術】
【０００２】
分厚い書類の画像がカメラ又はスキャナで捕捉されるとき、ユーザは、図１（ａ）で例示されるように書類の両側を手で押すか又は何とかして書類をフラットにする。書類の画像における手又は何か他のものの存在は、例えば書類の上を位置合わせること、書類の画像を修正すること等といった、その後の処理の結果に影響を及ぼす場合がある。図１（ｂ）に例示されるように、位置合わせされたコーナのポイントが真のコーナのポイントから幾分逸脱するように、手の存在のため、本のコーナのポイントの検出に影響を及ぼす。従って、（例えば図１（ｂ）における本等といった）特定のオブジェクトの境界を越える画像における手が除かれ、これにより手の存在によるその後の処理の結果に対する影響が最小にされる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の手の検出方法は、２つの一般的なカテゴリに分類され、一方は、多数のトレーニングデータから皮膚色を作成し、画像の画素を分類し、これにより手の領域を検出することであり、他方は、多数のトレーニングデータから統計的モデルを作成し、手を検出し、手の領域が検出された後に皮膚色モデルを使用して手の境界を正確に更に位置合わせすることである。第一のカテゴリの方法は、画像における手の色を良好にモデル化し、皮膚色モデルでテストすることができない場合、又は手の領域以外の皮膚の色に類似した多くの色の領域が存在する場合に失敗しやすいという、トレーニングデータの大きな影響を受けるという問題を有しており、第二のカテゴリの方法は、強力な分類能力で分類子を学習するため、多数の手のトレーニングデータを必要とし、それらの効力は、手の外観の大きな多様性のために保証されない場合があるという問題点がある。
【課題を解決するための手段】
【０００４】
上述した問題を考慮して、本発明の実施の形態は、特定のオブジェクトの境界の内側にある画像における領域を確保し、これにより手の領域、又は特定のオブジェクトとは別のオブジェクトを画像から間接的に除くことを提案する。本発明の実施の形態によれば、書類の境界は、モデルを作成するための多数のオフラインのトレーニングデータを必要とすることなしに、現在の画像からフィッティングされ、これにより良好なポピュラリティで便利且つ迅速な処理が実行される。さらに、画像処理の効率及び精度は、他のオブジェクトの領域を除く技術により著しく改善することができる。
【０００５】
本発明の実施の形態によれば、画像における前景のオブジェクトのエッジマップを決定し、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定し、特定のオブジェクト以外の境界線を越える前景のオブジェクトを除くことを含む画像処理方法が提供される。
【０００６】
本発明の別の実施の形態によれば、画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段、特定のオブジェクト以外の境界線を越える前景のオブジェクトを除去する除去手段を含む画像処理装置が提供される。
【０００７】
本発明の更に別の実施の形態によれば、コンピュータにより読み取られて実行されたときに、コンピュータに、上述した画像処理方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータプログラムが提供される。
【０００８】
本発明の更なる実施の形態によれば、本発明の実施の形態に係る上述したコンピュータプログラムを記録した記録媒体が提供される。
【図面の簡単な説明】
【０００９】
本発明の上述した目的及び効果、並びに他の目的及び効果は、本発明の実施の形態と共に、添付図面を参照して以下に更に記載される。添付図面において、同じ又は類似の技術的特徴又は構成要素は、同じ又は類似の参照符号で示される。
【図１】図１ａは、本をフラットに維持するために手で本の両側を押しているのを例示する図であり、図１ｂは、本の境界での手の存在のため、コーナポイントの誤った判定を例示する図である。
【図２】本発明の実施の形態に係る図１（ａ）で例示される境界を越える手を除くプロセスのフローチャートである。
【図３】入力画像からエッジマップを決定するプロセスを例示するフローチャートである。
【図４】図４ａ及び図４ｂは、原画像とバイナリマスク処理された画像との間の比較を例示する図である。
【図５】図５ａ及び図５ｂは、取得された左エッジマップと右エッジマップを例示し、図５ｃ及び図５ｄは、左エッジマップと右エッジマップからのフィッティングにより得られる境界の候補を例示する図である。
【図６】エッジマップから境界線を決定するプロセスを例示するフローチャートである。
【図７】図７ａはフィットされたラインの２つの側で取られる特定の幅の領域を取得することを例示し、図７ｂは、フィットされたラインの２つの側で特徴ベクトルを取得することを例示するフローチャートである。
【図８】図８ａ及び図８ｂは、原画像と手が除去された画像との間の比較を例示する図である。
【図９】本発明の別の実施の形態に係る画像処理装置の機能ブロック図である。
【図１０】図１０ａ及び図１０ｂは、本発明の他の実施の形態に係る、画像処理装置におけるエッジマップ決定手段をそれぞれ例示する機能ブロック図である。
【図１１】本発明の他の実施の形態に係る、画像処理装置における境界線決定手段を例示する機能ブロック図である。
【図１２】本発明の実施の形態に係る画像処理方法が実施される汎用コンピュータシステムを例示するブロック図である。
【発明を実施するための形態】
【００１０】
本発明の実施の形態は、添付図面を参照して以下に記載される。本発明のソリューションに密接に関連する装置の構造及び／又は方法の処理のみが図面に例示され、本発明に関連しない他の詳細は、それら不要な詳細のために本発明を曖昧にしないように省略される。同じ又は類似の構成要素又はコンポーネントは、図面を通して同じ又は類似の参照符号で示される。
【００１１】
本発明の実施の形態によれば、画像における前景のオブジェクトのエッジマップを決定すること（Ｓ２１０）、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定すること（Ｓ２２０）、及び特定のオブジェクト以外の境界線を越える前景のオブジェクトを除くこと（Ｓ２３０）を含む画像処理方法が提供される。
【００１２】
本発明は、画像における非特異的なオブジェクト、すなわち図１（ａ）に例示される本の境界を越える手が除かれる例を通して、図面を参照して以下に記載される。本と手の両者は、図１（ａ）における前景のオブジェクトである。勿論、当業者であれば、本発明の実施の形態に係る画像処理方法は、手以外の本の境界を越える別のオブジェクトの除去にも適用可能であることを理解されるであろう。境界が他のオブジェクトの領域の除去について決定されるべき特定のオブジェクトは、本に限定されないが、必要に応じて画像における前景のオブジェクトとすることができる。
【００１３】
この実施の形態では、本の左及び右の境界が決定される必要があり、左及び右の境界を越える手の領域が除去されることが想定される。しかし、当業者であれば、本発明の実施の形態に係る画像処理方法は、画像における本の上側及び下側の境界である手又は別のオブジェクトにも同様に適用可能であることを理解されるであろう。
【００１４】
図２におけるそれぞれの処理の様々な実現が以下に記載される。
はじめに、エッジマップが決定されるステップＳ２１０でのプロセスの特定の実現は、図３を参照して記載される。
【００１５】
図３に例示されるように、はじめに、バイナリマスク処理された画像は、ステップＳ３１０で入力画像から決定される。バイナリマスク処理された画像を取得する特定の例は、以下に簡単に記載される。
【００１６】
入力画像f(x,y)（0≦x≦w-1及び0≦y≦h-1）（ｗ及びｈは、入力画像の幅及び高さをそれぞれ表す）が与えられると、画像の後景領域の色fbackgroundの平均は、画像の境界領域から推定される。ここで、画像の後景領域は、一様なテクスチャ領域として想定され、従って後景の色の平均は、画像の境界領域から容易に推定される。次いで、距離画像は、式（１）に示されるように、後景の色の推定される平均に従って原画像から計算される。
【数１】
【００１７】
ここで｜・｜は２つのベクトル間のＬ1距離（ブロック距離）を表す。Ｌ1距離は、２つのベクトル間の差を表すために当該技術分野で一般に使用されるパラメータであり、その概念及び解法は、当業者に知られており、従ってその詳細の繰り返される説明はここでは省略される。距離画像dist(x,y)（0≦x≦w-1及び0≦y≦h-1）について、閾値TをOtsuアルゴリズムにより取得することができ、入力画像は、式（２）において示されるように、この閾値で２値化される。
【数２】
【００１８】
図４（ａ）及び図４（ｂ）は、入力画像と該入力画像のバイナリマスク処理された画像をそれぞれ示す。明らかであるように、図４ｂにおけるマスク処理された画像における前傾の画素は、手及び本を含んでいる。
【００１９】
図３を参照して、バイナリマスク処理された画像が取得された後に、バイナリマスク処理された画像からエッジマップを取得するプロセスが開始される。特に、前景の画素は、ステップＳ３２０で、マスク処理された画像の中に対して左の領域で選択され、次いで、ステップＳ３３０で、その左の隣接する画素が後景（ホワイト）画素であるかが判定され、その左の隣接する画素が後景（ホワイト）の画素であると判定された場合、ステップ３４０で、左のエッジマップの画素として前景の画素が選択され、さもなければ、ステップＳ３５０で、その画素は却下される。図３は、左のエッジマップの画素を取得する処理を例示しており、同様に、バイナリマスク処理された画像から右のエッジマップを計算する処理は、以下の通りである。マスク処理された画像の中央に対して右の領域において、現在の画素が前景（ブラック）の画素であり、その右の隣接する画素が後景（ホワイト）の画素である場合、前景の画素は、右のエッジマップの画素である。上述のプロセスは、図４ｂに例示されるマスク処理された画像の上側の境界ｌ1と下側の境界ｌ2との間で実行されるか、又は全体の画像の上側境界ｍ1と下側の境界ｍ2との間で実行されるが、本発明は、この点において限定されない。マスク処理された画像の中央、上側の境界及び下側境界は、従来技術におけるように取得することができ、その説明は、本発明において省略される。図５（ａ）及び図５（ｂ）は、バイナリマスク処理された画像のこのように取得された左エッジマップと右エッジマップを例示する。
【００２０】
文書の原画像からエッジマップを取得する方法は、さもなければ実行されるが、上述されたものに定義されない。例えば、左エッジマップを取得するため、原画像の前景の画素とその左の隣接する画素との間の輝度における差について、この差が予め設定された閾値を超える場合、その画素は左エッジマップの画素として決定され、同様に、原画像のそれぞれの前景の画素とその右の隣接する画素との間の輝度における差について、この差が予め設定された閾値を超える場合、その画素は右のエッジマップの画素として決定される。閾値は、（例えば原画像の前景の画素と後景の画素との間の輝度における差等といった）実際条件に依存して設定することができ、或いは経験的又は実験的に設定することができる。
【００２１】
図２を参照して、エッジマップが原画像から決定されるステップＳ２１０での処理の後、次の処理がステップＳ２２０で開始され、境界線の候補がエッジマップから取得され、境界線は、境界線の候補から決定される。ステップＳ２２０でのプロセスの特定の実現は、図６を参照して以下に詳細に説明される。
【００２２】
エッジマップから境界線の候補を取得すること、及び境界線の候補のうちから境界線を決定すること（Ｓ２２０）は、フィッティング（図６ａ）を通してエッジマップから境界線の候補をはじめに取得し、次いで境界線の候補のうちから境界線を決定すること（図６ｂ）を含む。
【００２３】
はじめにフィッティングを通してエッジマップから境界線の候補を取得する特定の例の処理は、図６ａを参照して記載される。以下の説明は、例として左のエッジマップを例として取り上げるが、右のエッジマップにも同様に適用される。ステップＳ６１０で、左のエッジマップは、例えば水平方向（すなわち書類の上側及び下側エッジの方向）において、予め決定された幅の幾つかの矩形領域等といった、予め決定されたサイズの幾つかの領域に分割され、それぞれの領域における前景の画素の数がカウントされる。ステップＳ６２０で、予め設定された閾値を超える前景の画素の数をもつ領域が選択され、すなわち予め設定された閾値を超える前景の画素の数をもつ領域のみが確保され、ステップＳ６３０で、その領域における前景の画素を使用してラインがフィットされる。ラインフィッティング方法は、例えば再帰的最小自乗方法とすることができ、勿論、ラインフィッティングの結果は、従来技術における適切なラインフィッティング方法において代替的に取得することができる。Ｓ６４０で、境界線の候補として、フィッティングラインが取得される。図５ａ及び図５ｂは、左のエッジマップと右のエッジマップのそれぞれに関するフィッティングによる結果のラインを例示する。図５ａ及び図５ｂに例示されるように、破線は、フィッティングにより得られた結果的な境界線の候補を表す。それぞれの図は２つのみの候補を例示しているが、これらは単なる例示であって、より多くの候補又はより少ない候補を実際に得ることができる。勿論、真の境界線は、この段階において決定されない。
【００２４】
図６ｂは、フィットされたラインから境界線を選択する処理の例を示す。特に、ステップＳ６５０で、図７ａに例示されるように、それぞれのフィットされたライン、即ちそれぞれの境界線の候補、のそれぞれの側で特定の幅の領域が選択される。なお、特定の幅の領域は、原画像から抽出される。図７ａは、画像における特定のオブジェクトから、即ち本の上側の境界ｌ1と下側の境界ｌ2との間で、矩形の領域が選択されるシナリオを例示している。しかし、特定の条件下において必要に応じて全体の画像の上側の境界ｍ1と下側の境界ｍ2との間で領域を代替的に選択することができるため、本発明は、この例に限定されない。次いで、２つの領域の特徴の表現間の差は、ステップＳ６６０で計算される。この差は、Ｌ1距離、ユークリッド距離等で計算することができるが、本発明は、この点に限定されない。２つの側の領域間で最も大きい差をもつラインは、ステップＳ６７０で、左のエッジマップと右のエッジマップからのフィットされたラインから選択される。ステップＳ６８０で、選択されたラインの２つの側の領域間の差が予め設定された距離を越えるかが判定され、選択されたラインの２つの側の領域間の差が予め設定された距離を越えると判定された場合、ステップＳ６９０で、本の境界としてラインが受け入れられ、さもなければ、ステップＳ６８５で、そのラインは却下される。代替的な実施の形態では、特徴の表現間の最も大きい差をもつ境界線の候補は、ステップＳ６８０で、最終判定を行うことなしに、結果として得られる真の境界線として採用される。
【００２５】
ステップＳ６８０での判定が行われた場合、更なる利益を得ることができ、即ち誤った判定の割合を最低に引き下げることができる。誤判定は、境界線について本の中央線の間違い等を示し、これにより本自身のコンテンツといった、さもなければ除去されないコンテンツがその後のプロセスにおいて除去される。
【００２６】
ステップＳ６６０で、２つの領域の特徴の表現間の差が計算される。２つの側での特徴の表現間の差をどのように計算するかに関する特定の例は、図７ｂを参照して以下に記載される。図７に例示されるように、それぞれの選択された領域は、サブ領域のヒストグラム特徴表現により特徴付けられ、即ち領域は水平方向及び垂直方向のそれぞれにおいて幾つかのサブ領域に分割され、それぞれのサブ領域におけるそれぞれの画素のＲ，Ｇ及びＢ色の値は、予め設定された量子化間隔に基づいて異なる量子化間隔にそれぞれ量子化され、次いで、それぞれのサブ領域のカラーヒストグラムは、３つのＲ，Ｇ及びＢカラーチャネルを通してそれぞれ計算され、３つのヒストグラムは、サブ領域のカラーヒストグラムの表現に接続され、最終的に、これらのサブ領域のカラーヒストグラムの表現は、全体の領域のカラーヒストグラムの表現に接続される。特徴の表現は、処理される境界線の候補の２つの側での特徴の表現間の差を取得することができる限りにおいて、ヒストグラムの表現以外のものとすることができる。カラーヒストグラムは、それぞれの色の空間的な位置を気にすることなしに、全体の画像における異なる色の割合を表すために、当該技術分野で一般に使用される概念である。ヒストグラムにおける全ての値は、統計により得られ、画像における色の観点で量の特徴を示し、カラーヒストグラムにおける画像の色の統計的な分布及び基本色相を反映することができる。カラーヒストグラムの詳細について、Shapiro, Linda G及びStockman, George C.,による“Computer Vision”Prentice Hall, 2003 ISBN0130307963及び“Color Histogram”http://en.wikipedia.org/wiki/Color_histogramを参照されたい。
【００２７】
特徴の表現間の差を計算するためにカラーヒストグラムの特徴が上記のように使用されたが、境界線の候補の２つの側での特定の領域（この例では特定の幅の矩形領域）間の差を表すために特徴の表現が十分である限りにおいて、他の適切な特徴の表現を適用することができる。特徴の表現間の差の計算の領域は、必ずしも矩形である必要はなく、適切な形状を使用することができる。
【００２８】
明らかであるように、特定の例において、境界線の唯一の候補が上述した処理において取得される場合、この候補は、最終的な真の境界線としてダイレクトに選択される。
【００２９】
図２を参照して、ステップＳ２２０の後に、ステップＳ２３０で、特定のオブジェクト以外の境界線を超える前景のオブジェクト、即ちこの実施の形態では本の境界を越える手を除くプロセスが実行される。このようにして、手が除去された本の画像が取得される。図８ａ及び図８ｂは、原画像と手が除去された例示的な画像をそれぞれ示す。
【００３０】
なお、上述の処理において、例えば画像の垂直方向に関して特定の範囲（例えば−１５°〜１５°等）を超えて、特定のオブジェクトである本が著しく傾いている場合、好適な実施の形態では、処理すべき画像の方向が推定され、処理すべき画像における本のオブジェクトが予め決定された範囲内で傾き、これにより上述された画像処理の精度を更に改善するように、従来技術におけるように修正される。従来技術における画像の方向を推定及び修正する詳細について、例えばSun Changming及びSi Deyiによる“Skew and Slant Correction for Document Images Using Gradient
Direction”in 4th
International Conference on Document Analysis and Recognition等を参照されたい。
【００３１】
上述された詳細な説明は、本の画像の境界を越える手の画像が除去される例を通して説明されたが、当業者であれば、係る画像処理のソリューションは、ここでは列挙されない、本の画像の境界を越える様々な他のオブジェクトの画像を除去することにも同様に適用できることを理解されたい。
【００３２】
さらに、特定のオブジェクト（例えば本等）の左の境界と右の境界との間の画像における領域は、上述されたそれぞれの実施の形態と特定の例における境界を越える手の領域を除去するように決定される。しかし、本発明の実施の形態に係るプロセスは、境界を超える別のオブジェクトの領域を除くように、特定のオブジェクトの上側の境界と下側の境界との間の画像における領域を決定することにも同様に適用され、その処理は類似しており、従ってその繰り返される説明は、簡潔さのためにここでは省略される。
【００３３】
本発明の実施の形態に係る画像処理方法に関連して、本発明の実施の形態は、図９に例示される画像処理装置を提供し、この画像処理装置は、画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段９０１、エッジマップから境界線の候補を取得し、境界線の候補のうちから、前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段９０２、及び特定のオブジェクト以外の境界線を越える前景のオブジェクトを除く除去手段９０３を含む。
【００３４】
特定の例では、エッジマップは、バイナリマスクで決定され、図１０ａを参照して、エッジマップ決定手段９０１は、後景のオブジェクトを前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを決定するバイナリマスク決定手段９０１１を含み、エッジマップ決定手段９０１は、バイナリマスク決定手段９０１１により決定されたバイナリマスクに従ってエッジマップを決定する。
【００３５】
別の特定の例では、エッジマップは、輝度における差から代替的に決定され、図１０ｂを参照して、エッジマップ決定手段９０１は、画像における前景のオブジェクトの前景の画素と、前景の画素に隣接し且つ前景の画素よりも前景のオブジェクトの中心から離れている前景の画素の一方の側の前景の画素の隣接する画素との間の輝度における差を計算し、差が予め決定された第一の閾値を超えている場合、前景の画素をエッジマップの画素として決定する輝度差計算手段９０１２を含む。
【００３６】
別の特定の例では、図１１を参照して、境界線決定手段９０２は、取得されたエッジマップ上の単位として予め決定されたサイズの領域をとる前景の画素の数であって、予め決定されたサイズの領域に含まれるエッジマップにおける前景の画素をカウントすることで取得される前景の画素の数を取得し、予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択する領域取得手段９０２１、選択された領域に含まれる前景の領域を境界線の候補にフィットさせる候補フィッティング手段９０２２、及び原画像から、境界線の候補に隣接する境界線について、それぞれの候補の２つの側で特定の幅の領域の特徴の表現を取得し、２つの側での領域の特徴の表現間の差を決定し、特徴の表現間で最も大きい差をもつ境界線の候補を境界線として選択する特徴表現取得手段９０２３を含む。
【００３７】
図９乃至図１１を参照して上述された本発明の実施の形態に係る画像処理装置、及びそのそれぞれ構成手段は、例えば図２〜図８を参照して記載される本発明の実施の形態に係る画像処理方法を実行し、同様の利益を達成することができる。その詳細について、上述した関連する記載が参照され、その繰り返される説明は、ここでは省略される。
【００３８】
上述された詳細な説明は、本発明に係る装置及び／又は方法の様々な実現を説明するため、ブロック図、フローチャート及び／又は実施の形態で提示されている。当業者であれば、これらのブロック図、フローチャート及び／又は実施の形態におけるそれぞれの機能及び／又は動作は、様々なハードウェア、ソフトウェア、ファームウェア或いは本質的にこれらの組み合わせで個別に及び／又は集合的に実行することができる。実施の形態では、明細書で記載された主題の幾つかの態様は、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、デジタルシグナルプロセッサ（DSP）又は別の集積された形態で実施することができる。しかし、当業者であれば、本明細書で記載される実現の幾つかの態様は、（例えば１以上のコンピュータシステムで実行される１以上のコンピュータプログラムの形式といった）１以上のコンピュータで実行される１以上のコンピュータプログラムの形式で、（例えば１以上のマイクロプロセッサで実行される１以上のプログラムの形式といった）１以上のプロセッサで実行される１以上のプログラムの形式で、ファームウェア又は本質的に組み合わせの等価な形式で、集積回路において全体的に又は部分的に実施され、当業者は、本明細書における開示に照らして、この開示の回路を設計すること、及び／又はこの開示のファームウェアのコードを書くことができる。
【００３９】
例えば、図２，図３及び図６に例示される本の境界を越える手を除去するプロセスのフローチャートにおけるそれぞれのプロセスは、ソフトウェア、ファームウェア、ハードウェア又はこれらの組み合わせで実行される。ソフトウェア又はファームウェアで実行される場合、ソフトウェアを構成するプログラムは、様々なプログラムがインストールされたときに、様々な機能を実行することができる、記憶媒体又はネットワークから専門分野に特化したハードウェア構造をもつコンピュータ（図１２に例示される汎用コンピュータ１２００）にインストールされる。
【００４０】
図１２は、本発明の実施の形態に係る画像処理方法が実行される汎用コンピュータシステムの一般的な構造図を示す。コンピュータシステム１２００は、単なる例示であって、本発明に係る方法及び装置のアプリケーション又は機能の範囲の制限を示唆するものではない。さらに、コンピュータシステム１２００は、例示的なオペレーティングシステム１２００で例示される１つのコンポーネント又はコンポーネントの組み合わせに依存するか、１つのコンポーネント又はコンポーネントの組み合わせを必要とするものとして解釈されるべきではない。
【００４１】
図１２を参照して、中央処理装置（CPU）１２０１は、リードオンリメモリ（ROM）１２０２に記憶されたプログラム又は記憶部１２０８からランダムアクセスメモリ（RAM）１２０３にロードされたプログラムに従って様々なプロセスを実行する。RAM１２０３には、CPU１２０２が様々な処理を実行するときに必要とされるデータが必要に応じて記憶される。CPU１２０１、ROM１２０２及びRAM１２０３は、バス１２０４を介して互いに接続され、バス１２０４には、入力／出力インタフェース１２０５も接続される。
【００４２】
入力／出力インターフェース１２０５には、以下のコンポーネントも接続される。入力部１２０６（キーボード、マウス等を含む）、出力部１２０７（陰極線管（CRT）、液晶ディスプレイ（LCD）等のディスプレイ、及びスピーカ等を含む）、記憶部１２０８（ハードディスク等を含む）及び通信部１２０９（例えばLANカードといったネットワークインタフェースカード、モデム等を含む）。通信部１２０９は、例えばInternetであるネットワークを通して通信プロセスを実行する。ドライブ１２１０は、必要に応じて、入力／出力インタフェース１２０５に接続される。例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の取り外し可能な媒体１２１１は、そこからフェッチされたコンピュータプログラムが必要に応じて記憶部１２０８にインストールすることができるように、必要に応じてドライブ１２１０にインストールされる。
【００４３】
上述した一連のプロセスは、ソフトウェアで実行され、ソフトウェアを構成するプログラムは、例えばInternet等のネットワークから、又は例えば取り外し可能な媒体１２１１等の記憶媒体からインストールされる。
【００４４】
当業者は、係る記憶媒体は、プログラムが記憶され、ユーザにプログラムを提供するために装置から個別に流通される、図１２に例示される取り外し可能な媒体１２１１に限定されないことを理解されるであろう。取り外し可能な媒体１２１１の例は、磁気ディスク（フロプティカルディスクを含む）、光ディスク（コンパクトディスクリードオンリメモリ（CD-ROM）及びデジタルバーサティルディスク（DVD）を含む）、光磁気ディスク（ミニディスク（MD）（登録商標）を含む）及び半導体メモリを含む。代替的に、記憶媒体は、プログラムが記憶され、プログラムを含む装置と共にユーザに流通される、ROM１２０２、記憶部１２０８に含まれるハードディスク等である。
【００４５】
従って、本発明は、コンピュータにより読み取られて実行されたとき、コンピュータに、本発明の実施の形態に係る上述の画像処理方法を実行させるコンピュータ読み取り可能な命令を含むコンピュータプログラムを更に提案する。これに応じて、コンピュータプログラムが実施される先に列挙される様々な記憶媒体は、本発明の範囲に含まれる。
【００４６】
本発明の実施の形態の上述した説明では、実施の形態において記載及び／又は例示される特徴は、他の実施の形態における特徴と共に又は他の実施の形態における特徴の代わりに１以上の他の実施の形態において完全に同じように又は類似して使用することができる。
【００４７】
この文脈で使用されたときに用語「含む／備える」は、特徴、エレメント、プロセス又はコンポーネントの存在を示すが、１以上の他の特徴、エレメント、プロセス又はコンポーネントの存在又は追加を排除するものではない。序数に関連する用語「第一」、「第二」等は、これらの用語で定義されたときに、特徴、エレメント、プロセス又はコンポーネントの実行順序又は重要度を意味するものではなく、記載の明確さのため、これらの特徴、エレメント、プロセス又はコンポーネントを識別することが意図される。
【００４８】
本発明のそれぞれの実施の形態に係る方法は、明細書で記載されるか又は図面で示される時間的なシーケンスで実行されるように制限されず、別の時間シーケンス、同時又は個別に実行することもできる。本明細書で記載される本方法が実行されるシーケンスは、本発明の範囲を制限するものではない。
【００４９】
本発明は本発明の実施の形態の説明において先に開示されたは、当業者は本発明の精神及び範囲から逸脱することなしに、本発明に対する様々な修正、改造又は等価なものを創作することができることを理解されたい。これらの修正、改造又は等価なものは、本発明の範囲に包含されるものとして解釈される。
【００５０】
上述した本発明の実施の形態について、以下に付記する。
（付記）
（付記１）
画像における前景のオブジェクトのエッジマップを決定するステップと、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定するステップと、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除くステップと、
を含む画像処理方法。
（付記２）
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
後景のオブジェクトを前記前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを取得するステップと、
前記バイナリマスクに従ってエッジマップを決定するステップと、
を含む付記１記載の画像処理方法。
（付記３）
前記バイナリマスクに従って前記エッジマップを決定するステップは、
前記バイナリマスクの処理が施された画像の中央の一方の側にある領域における前景の画素を選択し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた画素であって、前記前景の画素に隣接する画素が後景の画素である場合、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
付記２記載の画像処理方法。
（付記４）
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
前記前景のオブジェクトの前景の画素と、前記前景の画素の一方の側にある前記前景の画素の隣接画素であって、前記前景の画素に隣接し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた隣接画素との間の輝度における差を計算し、前記差が予め決定された第一の閾値を超える場合に、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
付記１記載の画像処理方法。
（付記５）
前記エッジマップから前記境界線の候補を取得するステップは、
前記エッジマップでの単位として予め決定されたサイズの領域を取る前景の画素の数を取得するステップと、前記前景の画素の数は、前記予め決定されたサイズの領域に含まれる前記エッジマップにおける前景の画素をカウントすることで取得され、
予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択するステップと、
選択された領域に含まれる前景の画素にフィッティング処理を施して、前記境界線の候補を取得するステップと、
を含む付記１乃至４の何れか記載の画像処理方法。
（付記６）
前記境界線の候補のうちで前記境界線を決定するステップは、
前記境界線の候補のそれぞれについて、前記画像から、前記境界線の候補に隣接する前記境界線の候補の２つの側で特定の幅の領域の特徴表現を取得するステップと、
前記２つの側の領域の特徴表現間の差を決定し、前記特徴表現間で最も大きい差をもつ境界線の候補を前記境界線として選択するステップと、
を含む付記１乃至５の何れか記載の画像処理方法。
（付記７）
予め設定された閾値を超える前記特徴表現間で最も大きい差をもつ前記境界線の候補は、前記境界線として選択される、
付記６記載の画像処理方法。
（付記８）
前記特徴表現は、前記２つの側の領域にそれぞれ対応するカラーヒストグラム又はグレイレベルヒストグラムを有し、
前記２つの側の領域のそれぞれは、複数サブ領域に分割され、
カラーヒストグラム又はグレイレベルヒストグラムは、それぞれのサブ領域におけるカウントから取得され、これらのサブ領域のヒストグラムは、前記領域の特徴表現を取得するために接続される、
付記６記載の画像処理方法。
（付記９）
前記エッジマップは、左のエッジマップと右のエッジマップを含み、
前記境界線は、左の境界線と右の境界線とを含む、
付記１乃至８の何れか記載の画像処理方法。
（付記１０）
画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段と、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段と、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除く除去手段と、
を備える画像処理装置。
（付記１１）
前記エッジマップ決定手段は、
後景のオブジェクトを前記前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを取得する決定するバイナリマスク決定手段を有する、
付記１０記載の画像処理装置。
（付記１２）
前記エッジマップ決定手段は、前記バイナリマスクの処理が施された画像の中央の一方の側にある領域における前景の画素を選択し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた画素であって、前記前景の画素に隣接する画素が後景の画素である場合、前記前景の画素を前記エッジマップの画素として決定するように、前記バイナリマスクに従って前記エッジマップを決定するように構成される、
付記１１記載の画像処理装置。
（付記１３）
前記エッジマップ決定手段は、
前記画像における前景のオブジェクトの前景の画素と、前記前景の画素の一方の側にある前記前景の画素の隣接画素であって、前記前景の画素に隣接し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた隣接画素との間の輝度における差を計算し、前記差が予め決定された第一の閾値を超える場合に、前記前景の画素を前記エッジマップの画素として決定する輝度差計算手段を有する、
付記１０乃至１２の何れか記載の画像処理装置。
（付記１４）
前記境界線決定手段は、
前記エッジマップでの単位として予め決定されたサイズの領域を取る前景の画素の数を取得するステップと、前記前景の画素の数は、前記予め決定されたサイズの領域に含まれる前記エッジマップにおける前景の画素をカウントすることで取得され、
予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択するステップと、
選択された領域に含まれる前景の画素にフィッティング処理を施して、前記境界線の候補を取得するステップと、
を含む付記１０乃至１３の何れか記載の画像処理装置。
（付記１５）
前記境界線決定手段は、
前記画像から、前記境界線の候補に隣接する前記境界線の候補のそれぞれの２つの側で特定の幅の領域の特徴表現を取得し、前記２つの側の領域の特徴表現間の差を決定し、前記特徴表現間で最も大きい差をもつ境界線の候補を前記境界線として選択する特徴表現取得手段を有する、
付記１０乃至１４の何れか記載の画像処理装置。
（付記１６）
前記特徴表現取得手段は、予め設定された閾値を超える前記特徴表現間で最も大きい差をもつ前記境界線の候補を前記境界線として選択する、
付記１５記載の画像処理装置。
（付記１７）
前記特徴表現は、前記２つの側の領域にそれぞれ対応するカラーヒストグラム又はグレイレベルヒストグラムを有し、
前記２つの側の領域のそれぞれは、複数サブ領域に分割され、
カラーヒストグラム又はグレイレベルヒストグラムは、それぞれのサブ領域におけるカウントから取得され、これらのサブ領域のヒストグラムは、前記領域の特徴表現を取得するために接続される、
付記１５記載の画像処理装置。
（付記１８）
付記１０乃至１７の何れか記載の画像処理装置を備えるスキャナ。
（付記１９）
コンピュータのプロセッサにより実行されたときに、前記プロセッサに、
画像における前景のオブジェクトのエッジマップを決定するステップと、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定するステップと、
前記特定のオブジェクト以外の境界線を越える前記前景のオブジェクトを除去するステップと、
を含む画像処理方法を実行させる命令を含むコンピュータプログラム。
（付記２０）
付記１９記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【００５１】
９０１：エッジマップ決定手段
９０２：境界線決定手段
９０３：除去手段
９０１１：バイナリマスク決定手段
９０１２：輝度差計算手段
９０２１：領域取得手段
９０２２：候補フィッティング手段
９０２３：特徴表現取得手段
【特許請求の範囲】
【請求項１】
画像における前景のオブジェクトのエッジマップを決定するステップと、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定するステップと、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除くステップと、
を含む画像処理方法。
【請求項２】
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
後景のオブジェクトを前記前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを取得するステップと、
前記バイナリマスクに従ってエッジマップを決定するステップと、
を含む請求項１記載の画像処理方法。
【請求項３】
前記バイナリマスクに従って前記エッジマップを決定するステップは、
前記バイナリマスクの処理が施された画像の中央の一方の側にある領域における前景の画素を選択し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた画素であって、前記前景の画素に隣接する画素が後景の画素である場合、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
請求項２記載の画像処理方法。
【請求項４】
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
前記前景のオブジェクトの前景の画素と、前記前景の画素の一方の側にある前記前景の画素の隣接画素であって、前記前景の画素に隣接し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた隣接画素との間の輝度における差を計算し、前記差が予め決定された第一の閾値を超える場合に、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
請求項１記載の画像処理方法。
【請求項５】
前記エッジマップから前記境界線の候補を取得するステップは、
前記エッジマップでの単位として予め決定されたサイズの領域を取る前景の画素の数を取得するステップと、前記前景の画素の数は、前記予め決定されたサイズの領域に含まれる前記エッジマップにおける前景の画素をカウントすることで取得され、
予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択するステップと、
選択された領域に含まれる前景の画素にフィッティング処理を施して、前記境界線の候補を取得するステップと、
を含む請求項１乃至４の何れか記載の画像処理方法。
【請求項６】
前記境界線の候補のうちで前記境界線を決定するステップは、
前記境界線の候補のそれぞれについて、前記画像から、前記境界線の候補に隣接する前記境界線の候補の２つの側で特定の幅の領域の特徴表現を取得するステップと、
前記２つの側の領域の特徴表現間の差を決定し、前記特徴表現間で最も大きい差をもつ境界線の候補を前記境界線として選択するステップと、
を含む請求項１乃至５の何れか記載の画像処理方法。
【請求項７】
予め設定された閾値を超える前記特徴表現間で最も大きい差をもつ前記境界線の候補は、前記境界線として選択される、
請求項６記載の画像処理方法。
【請求項８】
前記特徴表現は、前記２つの側の領域にそれぞれ対応するカラーヒストグラム又はグレイレベルヒストグラムを有し、
前記２つの側の領域のそれぞれは、複数サブ領域に分割され、
カラーヒストグラム又はグレイレベルヒストグラムは、それぞれのサブ領域におけるカウントから取得され、これらのサブ領域のヒストグラムは、前記領域の特徴表現を取得するために接続される、
請求項６記載の画像処理法方法。
【請求項９】
前記エッジマップは、左のエッジマップと右のエッジマップを含み、
前記境界線は、左の境界線と右の境界線とを含む、
請求項１乃至８の何れか記載の画像処理方法。
【請求項１０】
画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段と、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段と、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除く除去手段と、
を備える画像処理装置。
【請求項１】
画像における前景のオブジェクトのエッジマップを決定するステップと、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定するステップと、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除くステップと、
を含む画像処理方法。
【請求項２】
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
後景のオブジェクトを前記前景のオブジェクトと区別する、捕捉された画像のバイナリマスクを取得するステップと、
前記バイナリマスクに従ってエッジマップを決定するステップと、
を含む請求項１記載の画像処理方法。
【請求項３】
前記バイナリマスクに従って前記エッジマップを決定するステップは、
前記バイナリマスクの処理が施された画像の中央の一方の側にある領域における前景の画素を選択し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた画素であって、前記前景の画素に隣接する画素が後景の画素である場合、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
請求項２記載の画像処理方法。
【請求項４】
前記画像における前記前景のオブジェクトのエッジマップを決定するステップは、
前記前景のオブジェクトの前景の画素と、前記前景の画素の一方の側にある前記前景の画素の隣接画素であって、前記前景の画素に隣接し、前記前景の画素よりも前記前景のオブジェクトの中心から離れた隣接画素との間の輝度における差を計算し、前記差が予め決定された第一の閾値を超える場合に、前記前景の画素を前記エッジマップの画素として決定するステップを含む、
請求項１記載の画像処理方法。
【請求項５】
前記エッジマップから前記境界線の候補を取得するステップは、
前記エッジマップでの単位として予め決定されたサイズの領域を取る前景の画素の数を取得するステップと、前記前景の画素の数は、前記予め決定されたサイズの領域に含まれる前記エッジマップにおける前景の画素をカウントすることで取得され、
予め決定された第二の閾値を超える前景の画素の数をもつ領域を選択するステップと、
選択された領域に含まれる前景の画素にフィッティング処理を施して、前記境界線の候補を取得するステップと、
を含む請求項１乃至４の何れか記載の画像処理方法。
【請求項６】
前記境界線の候補のうちで前記境界線を決定するステップは、
前記境界線の候補のそれぞれについて、前記画像から、前記境界線の候補に隣接する前記境界線の候補の２つの側で特定の幅の領域の特徴表現を取得するステップと、
前記２つの側の領域の特徴表現間の差を決定し、前記特徴表現間で最も大きい差をもつ境界線の候補を前記境界線として選択するステップと、
を含む請求項１乃至５の何れか記載の画像処理方法。
【請求項７】
予め設定された閾値を超える前記特徴表現間で最も大きい差をもつ前記境界線の候補は、前記境界線として選択される、
請求項６記載の画像処理方法。
【請求項８】
前記特徴表現は、前記２つの側の領域にそれぞれ対応するカラーヒストグラム又はグレイレベルヒストグラムを有し、
前記２つの側の領域のそれぞれは、複数サブ領域に分割され、
カラーヒストグラム又はグレイレベルヒストグラムは、それぞれのサブ領域におけるカウントから取得され、これらのサブ領域のヒストグラムは、前記領域の特徴表現を取得するために接続される、
請求項６記載の画像処理法方法。
【請求項９】
前記エッジマップは、左のエッジマップと右のエッジマップを含み、
前記境界線は、左の境界線と右の境界線とを含む、
請求項１乃至８の何れか記載の画像処理方法。
【請求項１０】
画像における前景のオブジェクトのエッジマップを決定するエッジマップ決定手段と、
前記エッジマップから境界線の候補を取得し、前記境界線の候補のうちで、前記前景のオブジェクトにおける特定のオブジェクトの境界を定義する境界線を決定する境界線決定手段と、
前記特定のオブジェクト以外の前記境界線を超える前記前景のオブジェクトを除く除去手段と、
を備える画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−４０８９（Ｐ２０１３−４０８９Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１２−１３１７９８（Ｐ２０１２−１３１７９８）
【出願日】平成２４年６月１１日（２０１２．６．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２４年６月１１日（２０１２．６．１１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]