画像処理装置、制御方法、及びプログラム
【課題】カメラなどの撮影装置で文書を撮影した場合、傾きから文書に台形状の歪みが発生する。これを補正するために文書枠を検出する必要があるが、文書領域外に直線成分が多数ある場合などには、文書枠の推定が困難である。
【解決手段】直線成分の組み合わせから文書枠候補を推定する際に、直線の直交方向への色の勾配を加味することで、余分な文書枠候補を絞り込むことを可能とする。
【解決手段】直線成分の組み合わせから文書枠候補を推定する際に、直線の直交方向への色の勾配を加味することで、余分な文書枠候補を絞り込むことを可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、制御方法、及びプログラムに関し、特に、文書画像処理における前処理に関する。
【背景技術】
【０００２】
近年、ネットワークの広がりにより、文書が電子的に配布される機会も増え、それに伴い紙の文書をスキャンにより電子文書化して配布可能とする技術が普及している。しかし、掲示されているポスターや、会議で用いたホワイトボード、サイズの大きな模造紙など、スキャンすることが困難な被写体（文書）が存在する。そこで、カメラで撮影した画像を電子文書化する技術が開発されている。ここで、カメラと被写文書との位置関係により得られる画像に台形状の歪みが生じるため、歪みを補正する技術が必要となる。
【０００３】
例えば、色差からエッジを取得し、一定以上の長さの線分を文書枠として検出し、歪みを補正する技術がある（特許文献１等参照）。また、台座上にある文書を撮影した場合に、検出した線分候補の撮影画像平面上の相対位置から隣接辺を求めていく技術がある（特許文献２等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０５８８７７号公報
【特許文献２】特開２００７−５８６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文書やホワイトボードなどの長方形の撮影対象をカメラにより撮影した場合、当該撮影対象とカメラを正確に正対させるのが困難であるため、撮影画像中の文書には３次元的な傾きにより、台形状の歪みが生じる。そのため撮影画像中から文書（ホワイトボード）を読みやすい形で抽出する為には、文書枠（ホワイトボードの枠）を正確に抽出する必要がある。文書枠を抽出する方法として、ハフ変換などを用いて直線成分を検出し、４直線から文書枠を推定する方法がある。しかし、文書の背景によっては、直線が多数抽出され、文書枠を構成する組み合わせの数が増大し、正しい文書枠の推定が困難となる問題があった。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本願発明は、以下の構成を有する。文字を含む四辺からなる領域を有し、前記領域の四辺の全てが画像に収まる画像データを入力とし、前記領域の四辺が示す文書枠を抽出する画像処理装置であって、入力された前記画像データから直線成分を検出する検出手段と、前記検出手段にて検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出手段と、前記検出手段にて検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出手段と、前記抽出手段にて抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み手段とを有する。
【発明の効果】
【０００７】
直線が多数検出される煩雑な背景を持つ文書画像から精度よく文書枠の候補を絞り込むことが可能である。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の入力画像取得環境の例を示す図。
【図２】実施形態１における入力画像の例を示す図。
【図３】実施形態１の構成例を示す図。
【図４】実施形態１における文書領域抽出のフローチャートの図。
【図５】実施形態１の動作を示すブロック図。
【図６】実施形態１における直線検出処理の例を示す図。
【図７】実施形態１における勾配方向算出処理の例を示す図。
【図８】実施形態１における対辺候補作成処理の例を示す図。
【図９】実施形態１における文書枠座標算出処理の例を示す図。
【図１０】実施形態１における文書枠候補抽出処理結果の例を示す図。
【図１１】実施形態１における文書枠補正結果の例を示す図。
【図１２】実施形態２における文書領域抽出のフローチャートの図。
【図１３】実施形態２における縦方向線・横方向線判別処理結果の例を示す図。
【発明を実施するための形態】
【０００９】
＜実施形態１＞
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。図１は、本発明の実施例の画像処理装置へと入力される画像が取得される環境を示す図である。文書媒体１０１は、撮影対象となる矩形状の白板（ホワイトボード）やポスター、紙文書などであり、本発明ではこれらをまとめて文書と呼ぶこととする。撮影装置１０２は、文書媒体１０１を撮影するデジタルカメラなどの撮影装置である。撮影装置１０２で撮影して得られた画像が、処理対象の画像（入力画像）となる。表示部１０３は、撮影装置１０２に備えられ、撮影対象等を表示する。操作部１０４は、撮影装置１０２に備えられ、撮影装置１０２をユーザが操作する際に用いられる。
【００１０】
図２に入力画像の例を示す。画像２００は、例えば表示部１０３に表示される。撮影装置１０２により撮影された画像２００は、文書領域２１０（被写体の文書が写っている領域）と、文書領域以外の部分である背景領域２２０から構成される。文書領域２１０には文字領域２１１が含まれている。また、撮影位置と対象物の位置関係が正対していない場合（すなわち、斜め方向から撮影した場合）、文書領域２１０には傾き、すなわち線形歪みが生じる。ここでは、文書領域２１０は実際には直方形であるが、線形歪みにより、台形状の画像となっている。
【００１１】
［システム構成］
図３に本発明を実施する画像処理装置３００の構成例を示す。画像処理装置３００は、撮影画像データの入力を行う画像入力部３０１と、画像データに本発明の処理を施す画像処理プログラムを実行し、制御するＣＰＵ３０２と、該プログラムを実行する際のワークメモリやデータの一時保存などに利用されるＲＡＭ３０３と、該プログラムやデータを格納する記憶部３０４とから成る。
【００１２】
ここで、画像処理装置３００の構成は一例であり、ここで示した以外の構成要素を含んでいても良い。また、外部の汎用コンピュータなどを用いて画像処理を実行しても良いし、撮影装置１０２などの電子回路上で画像処理を実行しても構わない。
【００１３】
図５は本実施形態の全体を説明するブロック図である。撮影画像５０１は、撮影装置１０２により撮影された画像を示す。画像判別部５０２は、撮影画像５０１が文書領域を含むか否かの判別を行う。文書領域抽出部５０３は、文書領域を含む撮影画像５０１から文書領域の枠を抽出する。ここでは、この枠を“文書枠”と記載する。歪み補正部５０４は、文書領域抽出部５０３で得た文書枠の撮影画像５０１上の座標をパラメータとして文書領域に対して逆透視変換を行い、直方形形状へと補正する。電子文書生成部５０５は、歪み補正部５０４により補正した画像から外部プログラムにて扱える電子文書５０６を生成する。電子文書５０６は、電子文書生成部５０５により生成された電子文書を示す。
【００１４】
［処理の流れ］
以下、撮影画像５０１の例として、図２に示した画像２００を用いた場合の処理を説明する。なお、本処理は、本実施形態において画像処理装置３００に備えられたＣＰＵ３０２がＲＡＭ３０３や記憶部３０４等に格納されたプログラムを読み込み、実行するものである。また、抽出される直線の情報や勾配情報は、ＲＡＭ３０３や記憶部３０４の記憶手段に保持される。
【００１５】
画像判別部５０２により、撮影画像５０１に文書が含まれるか否かの判定を行う。画像データから文字を抽出する方法に関しては、例えば特開２００２−０４２０５５号公報などの方法を用いて抽出することができる。処理の結果、画像２００から文字領域２１１が得られ、文書画像を含む画像であると判定される。また、ユーザインターフェースを用いて、ユーザによって画像種別を切り替えても良い。
【００１６】
文書領域抽出部５０３の詳細な処理について、図４のフローチャートを用いて説明する。Ｓ４０１にて、文書領域抽出部５０３は、画像２００から直線成分を検出する。直線成分の検出は、公知の手法を用いて、例えば次のように行うことができる。すなわち、ＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタなどを用いたエッジ強調手法により、画像２００中の文書の境界部分に該当する画素を強調する。このエッジを強調した画像に対し、ハフ変換や最小近似法などの公知の直線抽出法を用いることで、直線を検出することが可能である。検出した直線は、例えば画像データにおける端点と端点の座標を保持し、そのベクトルを算出することで直線の向きを取得することができる。なお、直線のベクトルを求める際には、例えば、画像において左から右へ向かってｘ座標が増加し、上から下へ向かってｙ座標が増加する場合、直線の両端のうち、ｘ座標の値が小さい端点を始点とし、他点を終点として求めても良い。同じｘ座標の値である場合には、ｙ座標の値が小さい端点を始点とする。
【００１７】
直線成分を抽出するための処理を適用した結果を図６に示す。図６（ａ）に示す画像６００は、図２に示した画像２００に対してエッジ強調を行った例である。図６（ｂ）に示す画像６１０は、画像６００に対してハフ変換を適用し、得られた直線成分を表した図である。この直線抽出の処理の結果、線分６１１から線分６１８までの計８本の線分が得られる。
【００１８】
Ｓ４０２では、文書領域抽出部５０３は、Ｓ４０１により得られた全直線成分に対して直交方向の画素情報の変化から勾配方向を算出する。例えば、図７（ａ）に示す方法では、抽出された直線を含む領域７００において、直線に対し、直交方向に走査することで輝度のヒストグラムを取得する。ここで、直交方向に走査するとは、例えば、直交方向の画素の値を順に読み出し、その値を抽出することを意味する。そして、直線と直交線の交点位置でのヒストグラムの傾きから輝度の勾配の方向を取得する。また、Ｓ４０１におけるエッジ画像生成時に、副次的に得られる輝度の勾配情報を用いても良い。
【００１９】
具体的には図７（ａ）に示すように、直線に対し直交する方向において、左から右に走査した結果、輝度が直線の左側と比較し、直線の右側において高くなっている。この場合、直線を基準として輝度の高低により、値の高い方向を向くとして、右向きの勾配情報が取得される。具体的には、直線のベクトルから、そのベクトルに直交する直交ベクトルを求める。そして、その直交ベクトルに沿って画素値（本実施形態では輝度情報）を走査し、ヒストグラムを求める。ここで、図７（ａ）に示した直線の上部を始点とし、下部を終点とすると、直線のベクトルは下を向いていることとなる。この方向に基づいて画素値を走査する方向を一意とする。このヒストグラムと着目する直線に対する直交ベクトルとから、着目する直線の勾配情報（輝度の勾配）を取得する。そして、先に抽出された直線の情報と勾配情報とを対応付けて、記憶手段に保持する。勾配情報を表現するデータ構造については特に限定するものではないが、例えば直線が示すベクトルに向かって右側の画素値が高ければ“１”、左側が高ければ“０”というフラグを付与してもよい。
【００２０】
図７（ｂ）に示す画像７１０は、画像６００で図示した線分に勾配情報を付加した結果である。各線分に付随する矢印は輝度の上向き方向を示す。例えば図７（ｂ）で示す線分６１１は上向きの矢印に示されている。これは、線分６１１の位置を基準として下から上方向へ画像の輝度が高くなっている、つまり線分６１１に対して上側が明るくなっていることを示す。なお、本実施形態において、勾配方向の算出において、輝度情報を用いているが、これに限定されるものではない。例えば、直線を基準として、その近傍の画素値により変化を算出できれば他の情報を用いても良い。
【００２１】
Ｓ４０３では、文書領域抽出部５０３は、Ｓ４０１により得られた線分の一つを処理対象線として選択する。ここでは、処理対象線分として線分６１１が選択されたとする。Ｓ４０４では、文書領域抽出部５０３は、未処理の線分全てに対して、Ｓ４０３にて選択された処理対象線分と対辺を成すかを、Ｓ４０２で算出した勾配情報を基に判定する。処理対象線分と対辺を成すと判定された全ての線分を対辺候補として対辺候補リストを作成する。
【００２２】
対辺の判定方法について、図８（ａ）の線分８０１と線分８０２を用いて説明する。最初に、線分８０１、８０２の座標から“内側”を求める。ここで“内側”とは、線分８０１の両端、線分８０２の両端の４点を４頂点とする四角形８０３を描き、四角形の内部方向を“内側”とする。次に、線分８０１、８０２の勾配情報において、勾配方向がいずれも内側へ、または外側へと向いている勾配であれば対辺候補と判定する。つまり、勾配情報としては、対辺となる線分において、逆方向の値を有することとなる。例えば、輝度の上向き方向を表す矢印８０４、８０５はそれぞれ内側を向いているため、線分８０１と線分８０２は対辺候補と判定される。なお、２線分が作る内側方向へ輝度が高くなる対辺候補を“山型対辺”、内側方向へ輝度が低くなる対辺候補を“谷型対辺”と便宜上呼ぶこととする。例えば画像８００における対辺は山型対辺、画像８１０における対辺は谷型対辺となる。
【００２３】
図８（ｂ）に示す画像８２０は、処理対象である線分６１１に対して、未処理の線分、つまり線分６１１以外の全ての直線から対辺となり得る直線を表した図である。対辺候補として線分６１２、６１４、６１６、６１８が、いずれも谷型対辺として得られた。これらをそれぞれ、対辺種類（線分ａ，線分ｂ）の命名規則を用いて、谷型対辺（６１１，６１２）、谷型対辺（６１１，６１４）、谷型対辺（６１１，６１６）、谷型対辺（６１１，６１８）と表す。なお、実際のデータ構造は、各直線の情報を対応付けて、記憶手段にて保持することとなる。もしくはテーブルを作成し、対応する直線間の情報を保持しても良い。
【００２４】
Ｓ４０５では、文書領域抽出部５０３は、Ｓ４０１により得られた全ての線分に対してＳ４０４の処理を行ったか否かを判定する。行っていなければＳ４０３へ戻り、他の線分に対しても処理を行う。全ての線分に対して処理が終了していればＳ４０６へ進む。すなわち、残りの未処理直線である線分６１２から６１８に関しても同様にＳ４０４で対辺候補リストを作成する。この処理の結果、谷型対辺（６１１，６１２）、谷型対辺（６１１，６１４）、谷型対辺（６１１，６１６）、谷型対辺（６１１，６１８）、山型対辺（６１２，６１３）、山型対辺（６１２，６１５）、山型対辺（６１２，６１７）、谷型対辺（６１３，６１４）、山型対辺（６１３，６１５）、山型対辺（６１３，６１７）、谷型対辺（６１４，６１６）、谷型対辺（６１４，６１８）、谷型対辺（６１５，６１６）、山型対辺（６１５，６１７）、谷型対辺（６１６，６１８）の１５個の対辺候補リストが得られる。そして、全ての直線に対して処理をした後にＳ４０６へ進む。
【００２５】
Ｓ４０６では、文書領域抽出部５０３は、Ｓ４０４により得られた対辺候補を１つ処理対象として選択する。ここでは、処理対象の対辺候補として、谷型対辺（６１１，６１２）が選択されたとする。
【００２６】
Ｓ４０７では、文書領域抽出部５０３は、Ｓ４０４により得られた対辺候補リストの内、未処理の対辺候補から処理対辺候補と山谷同型の対辺候補を組み合わせて文書枠候補リストを作成する。また、処理対象対辺候補と、同じ辺を持つ対辺候補については文書枠を形成できないため、除外する。なお、２つの谷型対辺から構成される文書枠候補を“谷型枠”、２つの山型対辺から構成される文書枠候補を“山型枠”と呼ぶこととする。これらの文書枠は、いずれも四辺の勾配方向が、文書枠の内側外側を基準として、同一の向きとなっている。すなわち、山型枠は、四辺の勾配方向が全て文書枠の内側を向いており、谷型枠は、四辺の勾配方向が全て文書枠の外側を向いている。
【００２７】
処理対象の対辺候補である谷型対辺（６１１，６１２）に対しては、同じ谷型対辺であり、線分６１１、６１２を含まない対辺候補である、谷型対辺（６１３，６１４）、谷型対辺（６１４，６１６）、谷型対辺（６１４，６１８）、谷型対辺（６１５，６１６）、谷型対辺（６１６，６１８）が谷型枠候補として得られる。
【００２８】
これらをそれぞれ、枠種類（線分ａ，線分ａ’，線分ｂ，線分ｂ’）の命名規則を用いて、谷型枠（６１１，６１２，６１３，６１４）、谷型枠（６１１，６１２，６１４，６１６）、谷型枠（６１１，６１２，６１４，６１８）、谷型枠（６１１，６１２，６１５，６１６）、谷型枠（６１１，６１２，６１６，６１８）と表す。
【００２９】
Ｓ４０８では、文書領域抽出部５０３は、Ｓ４０４により得られた全ての対辺候補に対して、Ｓ４０７の処理を行ったか否かを判定する。全ての対辺候補に対する処理が終了していなければＳ４０６へ戻り、未処理の対辺候補に対して処理を適用する。全ての対辺候補への処理が終了していればＳ４０９へ進む。
【００３０】
このように、残りの未処理対辺に関しても同様にＳ４０７で文書枠候補リストを作成する。この処理により谷型枠（６１１，６１２，６１３，６１４）、谷型枠（６１１，６１２，６１４，６１６）、谷型枠（６１１，６１２，６１４，６１８）、谷型枠（６１１，６１２，６１５，６１６）、谷型枠（６１１，６１２，６１６，６１８）、谷型枠（６１１，６１４，６１５，６１６）、谷型枠（６１１，６１４，６１６，６１８）、谷型枠（６１１，６１６，６１３，６１４）、谷型枠（６１１，６１８，６１３，６１４）、谷型枠（６１１，６１８，６１４，６１６）、谷型枠（６１３，６１４，６１５，６１６）、谷型枠（６１４，６１８，６１５，６１６）、山型枠（６１２，６１３，６１５，６１７）、山型枠（６１２，６１５，６１３，６１７）、山型枠（６１２，６１７，６１３，６１５）の１５の文書枠候補リストが得られる。そして、全ての直線に対して処理をした後、Ｓ４０９へ進む。
【００３１】
Ｓ４０９では、文書枠候補の４線分から実際に文書枠となる四角形を算出する。直線検出で求めた線分はレンズの歪みやノイズなどの影響から、通常は実際の枠辺と同一にはならない。そのため、線分を延伸することにより４線分のそれぞれの交点を計算し、頂点とする。
【００３２】
例えば、以下の４つの線分について説明する。ここで、ｘ、ｙはそれぞれ線分の端点のｘ座標、ｙ座標を示す。
【００３３】
線分Ａ（Ａｘ１，Ａｙ１）−（Ａｘ２，Ａｙ２）
線分ａ（ａｘ１，ａｙ１）−（ａｘ２，ａｙ２） （線分Ａの対辺）
線分Ｂ（Ｂｘ１，Ｂｙ１）−（Ｂｘ２，Ｂｙ２）
線分ｂ（ｂｘ１，ｂｙ１）−（ｂｘ２，ｂｙ２） （線分Ｂの対辺）
上記の４線分からなる四角形の頂点は、隣接辺である線分ＡとＢ、線分Ａとｂ、線分ａとＢ、線分ａとｂ、の交点を求める事でわかる。図９（ａ）に示す計算式９００は、線分Ａ（Ａｘ１，Ａｙ１）−（Ａｘ２，Ａｙ２）と線分Ｂ（Ｂｘ１，Ｂｙ１）−（Ｂｘ２，Ｂｙ２）との交点座標（ＡＢｘ，ＡＢｙ）を求める計算式である。
【００３４】
ここで、条件として、
（−Ａｙ１＋Ａｙ２）＊（Ｂｘ１−Ｂｘ２）−（Ａｘ１−Ａｘ２）＊（−Ｂｙ１＋Ｂｙ２）＝０
であった場合は隣接辺が平行となり、解は存在しないため、文書枠候補から除外する。
【００３５】
また、画像９１０で示す、線分９１１，９１２，９１３，９１４から算出した４つの頂点９１５，９１６，９１７，９１８が作る四角形のように、四角形の各辺に線分が重ならない場合も候補のリストから除外する。Ｓ４０８で作成した１４の文書枠候補リストの内、谷型枠（６１１，６１２，６１３，６１４）、谷型枠（６１１，６１２，６１４，６１６）、谷型枠（６１１，６１２，６１４，６１８）、谷型枠（６１１，６１２，６１５，６１６）、谷型枠（６１１，６１２，６１６，６１８）、谷型枠（６１１，６１４，６１５，６１６）、谷型枠（６１１，６１４，６１６，６１８）、谷型枠（６１１，６１６，６１３，６１４）、谷型枠（６１１，６１８，６１３，６１４）、谷型枠（６１３，６１４，６１５，６１６）、谷型枠（６１４，６１８，６１５，６１６）、山型枠（６１２，６１３，６１５，６１７）、山型枠（６１２，６１５，６１３，６１７）の１３枠候補は含まれる四辺が文書枠を成さないため除外される。図１０（ａ）の画像１０００に示す、谷型枠（６１１，６１４，６１６，６１８）１００１と山型枠（６１２，６１７，６１３，６１５）１００２の２枠候補へと最終的に絞り込まれ、図４のフローチャートの全処理が完了する。なお、本フローチャートでは説明の為に対辺単位での処理を行ったが、最初から４線分を網羅的に組み合わせ、勾配情報に基づいて文書枠候補を判定しても良い。
【００３６】
図１０（ｂ）に示す画像１０１０は、表示部１０３に文書枠候補の絞り込み結果を表示した例である。オリジナル画像表示部１０１１は、撮影画像上に文書枠候補をオーバーレイ表示する。候補サムネイル部１０１２は、それぞれの文書枠候補について歪み補正した結果をサムネイルで表示する。この表示部１０３に表示された画像を参照して、ユーザが操作部１０４で選択操作を行うことにより、補正に使用する文書枠候補を決定することができる。ここでは、補正に使用する文書枠として山型枠（６１２，６１７，６１３，６１５）１００２がユーザにより選択されたとする。なお、表示部１０３に表示する画像１０１０の構成は一例であり、パーソナルコンピューター上で決定しても良いし、１以上の文書枠候補全てに対して歪み補正処理をかけ、電子文書化しても良い。
【００３７】
歪み補正部５０４では、文書領域抽出部５０３で得られた文書枠の頂点情報から歪みを補正する。ここでの歪み補正とは、矩形領域を３次元的な角度をもって２次元平面に投影した場合に生成される不等辺四角形領域を、元の矩形領域へと補正する演算、いわゆる逆透視変換演算である。用いられる変換行列のパラメータについては、例えば特開２００３−２８８５８８に開示されているように、逆透視変換の演算式に４頂点の座標を与える事で、得られる連立方程式を解くことにより抽出できる。その他、本発明に適用できれば、どのような手法を用いても良い。
【００３８】
電子文書生成部５０５では、補正した画像を電子文書５０６として生成し出力する。ここでは、電子文書５０６としてＪＰＥＧ形式により出力する。なお、ＪＰＥＧ形式の出力は一例であり、電子デバイスの取り扱い可能な形式に応じた変換や、再利用可能な電子文書、例えばワードプロセッシング文書やプレゼンテーション文書などへ変換しても良い。
【００３９】
図１１（ａ）に示す画像１１００は、実施形態１を適用した結果、出力される電子文書５０６の例である。対象物との傾きから台形状に歪んだ部分が、正対した長方形の状態で電子文書化される。
【００４０】
また、図１１（ｂ）の画像１１１０は勾配情報を用いなかった場合の例である。線分６１２、６１４、６１５、６１８からなる文書枠１１１１のような文書枠まで余分に検出される。この場合には、合計１６通りから文書枠候補の選択をする必要がある。
【００４１】
以上説明したように、本発明を適用することで、適用しない場合と比較し、好適な文書枠候補を残したまま削減することが可能となり、後段の処理の負荷を軽減することができる。
【００４２】
＜実施形態２＞
実施形態１では、単純に全ての直線から総当たりで対辺候補の検索を行った。しかし、実際の文書画像では背景領域などから直線が多く検出されれば、その分負荷が増大する。そこで、縦方向の線分と横方向の線分を分類する方法を組み合わせることで絞り込みの処理をさらに高速化することが可能である。
【００４３】
図１２は本実施形態の文書領域抽出部５０３における文書領域抽出処理をフローチャートにより説明した図である。以下、入力される撮影画像５０１の例に、図２に示した画像２００を用いて処理を説明する。なお、本処理フローは例えば、ＣＰＵ３０２がＲＡＭ３０３や記憶部３０４に格納されたプログラムやデータを読み出し、実行することで実現される。Ｓ１２０１では、文書領域抽出部５０３は、直線成分を検出する。詳細な処理方法はＳ４０１と同様であるため省略する。図６（ｂ）に示す画像６１０が直線検出した結果である。ここでは線分６１１から６１８まで８本の直線が検出される。Ｓ１２０２では、文書領域抽出部５０３は、直線の勾配方向を算出する。詳細な処理方法はＳ４０２と同様であるため省略する。図７（ｂ）に示す画像７１０が勾配情報を付加した結果である。
【００４４】
Ｓ１２０３では、文書領域抽出部５０３は、縦方向線及び横方向線の判定を行う。画像平面上での水平に対する線分の相対角度から、縦方向線および横方向線の判定を行う。ここでは、水平に対して相対的に０度以上４５度未満、１３５度以上１８０度未満であれば横方向線、４５度以上１３５度未満であれば縦方向線と判定する。なお、縦方向線もしくは横方向線を判定するための基準は、上記の値に限定されるものではなく、必要に応じて変更して良い。また、本発明を適用可能であれば、他の方法を用いても良い。図１３に示す画像１３００が縦方向線と横方向線を判定した結果である。ここでは、縦方向線を実線、横方向線を破線で表す。
【００４５】
Ｓ１２０４では、文書領域抽出部５０３は、処理対象となる線分を選択する。ここでは線分６１１が選択されたとする。Ｓ１２０５では、文書領域抽出部５０３は、処理対象線分が縦方向線か横方向線かによる分岐処理を行う。縦方向線であればＳ１２０６へ、横方向線であればＳ１２０７へ進む。ここで、線分６１１は横方向線であるので、Ｓ１２０７へ進む。
【００４６】
Ｓ１２０７では、文書領域抽出部５０３は、未処理の横方向線に対して上下対辺候補を作成する。ここでは未処理の横方向線として線分６１２、６１７、６１８が対象となる。対辺候補の判定自体はＳ４０４と同様であるため省略する。結果、対辺候補として６１２、６１８が、いずれも横方向の谷型対辺として得られた。これらをそれぞれ、上下谷型対辺（６１１，６１２）、上下谷型対辺（６１１，６１８）と表す。なお、上下谷型対辺、上下山型対辺は“上下対辺”であり、左右谷型対辺、左右山型対辺は“左右対辺”となる。
【００４７】
Ｓ１２０８の終了判定に従い、線分６１２から６１８まで繰り返し処理を行う。Ｓ１２０４で線分６１３（縦方向線）が選択されたとする。Ｓ１２０５で縦方向線と判定され、Ｓ１２０６へ進む。Ｓ１２０６では、未処理の縦方向線として線分６１４、６１５、６１６を対象として左右対辺候補を作成する。処理の結果、谷型対辺候補として線分６１４、山型対辺候補として線分６１５が取得される。これらをそれぞれ、左右谷型対辺（６１３，６１４）、左右山型対辺（６１３，６１５）と表す。
【００４８】
同様に残りの線分に対してＳ１２０４からＳ１２０８を繰り返す。処理の結果、上下谷型対辺（６１１，６１２）、上下谷型対辺（６１１，６１８）、上下谷型対辺（６１７，６１８）、上下山型対辺（６１２，６１７）、左右谷型対辺（６１３，６１４）、左右谷型対辺（６１４，６１６）、左右谷型対辺（６１５，６１６）、左右山型対辺（６１３，６１５）の８個の対辺候補リストが作成された。全ての線分に対して処理が完了した後、Ｓ１２０９へ進む。
【００４９】
Ｓ１２０９では、文書領域抽出部５０３は、上下谷型対辺（６１１，６１２）を処理対象対辺として選択し、Ｓ１２１０へ進む。Ｓ１２１０では、文書領域抽出部５０３は、上下対辺か左右対辺かで処理の分岐を行う。ここで、上下谷型対辺（６１１，６１２）は“上下対辺”であるため、Ｓ１２１１へ進む。
【００５０】
Ｓ１２１１では、文書領域抽出部５０３は、未処理の左右対辺に対して文書枠候補リストを作成する。ここでは、左右谷型対辺（６１３，６１４）、左右谷型対辺（６１４，６１６）、左右谷型対辺（６１５，６１６）、左右山型対辺（６１３，６１５）が対象となる。詳細な処理はＳ４０７と同様であるため省略する。処理の結果、左右谷型対辺（６１３，６１４）、左右谷型対辺（６１４，６１６）、左右谷型対辺（６１５，６１６）が文書枠候補として得られた。これらをそれぞれ谷型枠候補（６１１，６１２，６１３，６１４）、谷型枠候補（６１１，６１２，６１４，６１６）、谷型枠候補（６１１，６１２，６１５，６１６）と表す。
【００５１】
Ｓ１２１３の終了判定に従い、未処理の対辺について処理を行う。Ｓ１２０９で左右谷型対辺（６１３，６１４）が選択されたとする。Ｓ１２１０で左右対辺と判断されＳ１２１２へ進む。Ｓ１２１２では、未処理の上下対辺に対して文書枠候補リストを作成する。ここでは、上下谷型対辺（６１１，６１８）、上下谷型対辺（６１７，６１８）、上下山型対辺（６１２，６１７）が対象となる。処理の結果、谷型枠候補（６１１，６１８，６１３，６１４）、谷型枠候補（６１７，６１８，６１３，６１４）が得られる。
【００５２】
同様に残りの対辺に対してＳ１２０９からＳ１２１３を繰り返す。結果、谷型枠候補（６１１，６１２，６１３，６１４）、谷型枠候補（６１１，６１２，６１４，６１６）、谷型枠候補（６１１，６１２，６１５，６１６）、谷型枠候補（６１１，６１８，６１３，６１４）、谷型枠候補（６１１，６１８，６１４，６１６）、谷型枠候補（６１１，６１８，６１５，６１６）、谷型枠候補（６１７，６１８，６１３，６１４）、谷型枠候補（６１７，６１８，６１４，６１６）、谷型枠候補（６１７，６１８，６１５，６１６）、山型枠候補（６１２，６１７，６１３，６１５）の１０個の文書枠候補リストが作成された。全ての線分に対して処理が完了した後、Ｓ１２０９へ進む。
【００５３】
Ｓ１２１４では、文書領域抽出部５０３は、４線分から文書枠の頂点の算出を行う。詳細な処理はＳ４０９と同様であるため省略する。処理の結果、谷型枠（６１１，６１４，６１６，６１８）１００１と山型枠（６１２，６１７，６１３，６１５）１００２の２枠候補へと最終的に絞り込まれ、図１２のフローチャートの全処理が完了する。歪み補正部５０４、電子文書生成部５０５の処理に関しては、実施形態１と同様であるため省略する。
【００５４】
以上説明したように、実施形態１と比較して、対辺候補数が１５から８へ、文書枠候補数が１５から１０へ、いずれも削減することができた。対辺候補作成処理時には、実施形態１では８本中２本の線分の組み合わせである２８通りで探索するのに対し、実施形態２では、縦方向線４本中２本の組み合わせと、横方向線４本中２本の組み合わせとの計１２通りの探索で済む。このことから、実施形態１の効果に加え、更に処理コストを削減することができる。
【００５５】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、画像処理装置、制御方法、及びプログラムに関し、特に、文書画像処理における前処理に関する。
【背景技術】
【０００２】
近年、ネットワークの広がりにより、文書が電子的に配布される機会も増え、それに伴い紙の文書をスキャンにより電子文書化して配布可能とする技術が普及している。しかし、掲示されているポスターや、会議で用いたホワイトボード、サイズの大きな模造紙など、スキャンすることが困難な被写体（文書）が存在する。そこで、カメラで撮影した画像を電子文書化する技術が開発されている。ここで、カメラと被写文書との位置関係により得られる画像に台形状の歪みが生じるため、歪みを補正する技術が必要となる。
【０００３】
例えば、色差からエッジを取得し、一定以上の長さの線分を文書枠として検出し、歪みを補正する技術がある（特許文献１等参照）。また、台座上にある文書を撮影した場合に、検出した線分候補の撮影画像平面上の相対位置から隣接辺を求めていく技術がある（特許文献２等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０５８８７７号公報
【特許文献２】特開２００７−５８６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文書やホワイトボードなどの長方形の撮影対象をカメラにより撮影した場合、当該撮影対象とカメラを正確に正対させるのが困難であるため、撮影画像中の文書には３次元的な傾きにより、台形状の歪みが生じる。そのため撮影画像中から文書（ホワイトボード）を読みやすい形で抽出する為には、文書枠（ホワイトボードの枠）を正確に抽出する必要がある。文書枠を抽出する方法として、ハフ変換などを用いて直線成分を検出し、４直線から文書枠を推定する方法がある。しかし、文書の背景によっては、直線が多数抽出され、文書枠を構成する組み合わせの数が増大し、正しい文書枠の推定が困難となる問題があった。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本願発明は、以下の構成を有する。文字を含む四辺からなる領域を有し、前記領域の四辺の全てが画像に収まる画像データを入力とし、前記領域の四辺が示す文書枠を抽出する画像処理装置であって、入力された前記画像データから直線成分を検出する検出手段と、前記検出手段にて検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出手段と、前記検出手段にて検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出手段と、前記抽出手段にて抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み手段とを有する。
【発明の効果】
【０００７】
直線が多数検出される煩雑な背景を持つ文書画像から精度よく文書枠の候補を絞り込むことが可能である。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の入力画像取得環境の例を示す図。
【図２】実施形態１における入力画像の例を示す図。
【図３】実施形態１の構成例を示す図。
【図４】実施形態１における文書領域抽出のフローチャートの図。
【図５】実施形態１の動作を示すブロック図。
【図６】実施形態１における直線検出処理の例を示す図。
【図７】実施形態１における勾配方向算出処理の例を示す図。
【図８】実施形態１における対辺候補作成処理の例を示す図。
【図９】実施形態１における文書枠座標算出処理の例を示す図。
【図１０】実施形態１における文書枠候補抽出処理結果の例を示す図。
【図１１】実施形態１における文書枠補正結果の例を示す図。
【図１２】実施形態２における文書領域抽出のフローチャートの図。
【図１３】実施形態２における縦方向線・横方向線判別処理結果の例を示す図。
【発明を実施するための形態】
【０００９】
＜実施形態１＞
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。図１は、本発明の実施例の画像処理装置へと入力される画像が取得される環境を示す図である。文書媒体１０１は、撮影対象となる矩形状の白板（ホワイトボード）やポスター、紙文書などであり、本発明ではこれらをまとめて文書と呼ぶこととする。撮影装置１０２は、文書媒体１０１を撮影するデジタルカメラなどの撮影装置である。撮影装置１０２で撮影して得られた画像が、処理対象の画像（入力画像）となる。表示部１０３は、撮影装置１０２に備えられ、撮影対象等を表示する。操作部１０４は、撮影装置１０２に備えられ、撮影装置１０２をユーザが操作する際に用いられる。
【００１０】
図２に入力画像の例を示す。画像２００は、例えば表示部１０３に表示される。撮影装置１０２により撮影された画像２００は、文書領域２１０（被写体の文書が写っている領域）と、文書領域以外の部分である背景領域２２０から構成される。文書領域２１０には文字領域２１１が含まれている。また、撮影位置と対象物の位置関係が正対していない場合（すなわち、斜め方向から撮影した場合）、文書領域２１０には傾き、すなわち線形歪みが生じる。ここでは、文書領域２１０は実際には直方形であるが、線形歪みにより、台形状の画像となっている。
【００１１】
［システム構成］
図３に本発明を実施する画像処理装置３００の構成例を示す。画像処理装置３００は、撮影画像データの入力を行う画像入力部３０１と、画像データに本発明の処理を施す画像処理プログラムを実行し、制御するＣＰＵ３０２と、該プログラムを実行する際のワークメモリやデータの一時保存などに利用されるＲＡＭ３０３と、該プログラムやデータを格納する記憶部３０４とから成る。
【００１２】
ここで、画像処理装置３００の構成は一例であり、ここで示した以外の構成要素を含んでいても良い。また、外部の汎用コンピュータなどを用いて画像処理を実行しても良いし、撮影装置１０２などの電子回路上で画像処理を実行しても構わない。
【００１３】
図５は本実施形態の全体を説明するブロック図である。撮影画像５０１は、撮影装置１０２により撮影された画像を示す。画像判別部５０２は、撮影画像５０１が文書領域を含むか否かの判別を行う。文書領域抽出部５０３は、文書領域を含む撮影画像５０１から文書領域の枠を抽出する。ここでは、この枠を“文書枠”と記載する。歪み補正部５０４は、文書領域抽出部５０３で得た文書枠の撮影画像５０１上の座標をパラメータとして文書領域に対して逆透視変換を行い、直方形形状へと補正する。電子文書生成部５０５は、歪み補正部５０４により補正した画像から外部プログラムにて扱える電子文書５０６を生成する。電子文書５０６は、電子文書生成部５０５により生成された電子文書を示す。
【００１４】
［処理の流れ］
以下、撮影画像５０１の例として、図２に示した画像２００を用いた場合の処理を説明する。なお、本処理は、本実施形態において画像処理装置３００に備えられたＣＰＵ３０２がＲＡＭ３０３や記憶部３０４等に格納されたプログラムを読み込み、実行するものである。また、抽出される直線の情報や勾配情報は、ＲＡＭ３０３や記憶部３０４の記憶手段に保持される。
【００１５】
画像判別部５０２により、撮影画像５０１に文書が含まれるか否かの判定を行う。画像データから文字を抽出する方法に関しては、例えば特開２００２−０４２０５５号公報などの方法を用いて抽出することができる。処理の結果、画像２００から文字領域２１１が得られ、文書画像を含む画像であると判定される。また、ユーザインターフェースを用いて、ユーザによって画像種別を切り替えても良い。
【００１６】
文書領域抽出部５０３の詳細な処理について、図４のフローチャートを用いて説明する。Ｓ４０１にて、文書領域抽出部５０３は、画像２００から直線成分を検出する。直線成分の検出は、公知の手法を用いて、例えば次のように行うことができる。すなわち、ＳｏｂｅｌフィルタやＬａｐｌａｃｉａｎフィルタなどを用いたエッジ強調手法により、画像２００中の文書の境界部分に該当する画素を強調する。このエッジを強調した画像に対し、ハフ変換や最小近似法などの公知の直線抽出法を用いることで、直線を検出することが可能である。検出した直線は、例えば画像データにおける端点と端点の座標を保持し、そのベクトルを算出することで直線の向きを取得することができる。なお、直線のベクトルを求める際には、例えば、画像において左から右へ向かってｘ座標が増加し、上から下へ向かってｙ座標が増加する場合、直線の両端のうち、ｘ座標の値が小さい端点を始点とし、他点を終点として求めても良い。同じｘ座標の値である場合には、ｙ座標の値が小さい端点を始点とする。
【００１７】
直線成分を抽出するための処理を適用した結果を図６に示す。図６（ａ）に示す画像６００は、図２に示した画像２００に対してエッジ強調を行った例である。図６（ｂ）に示す画像６１０は、画像６００に対してハフ変換を適用し、得られた直線成分を表した図である。この直線抽出の処理の結果、線分６１１から線分６１８までの計８本の線分が得られる。
【００１８】
Ｓ４０２では、文書領域抽出部５０３は、Ｓ４０１により得られた全直線成分に対して直交方向の画素情報の変化から勾配方向を算出する。例えば、図７（ａ）に示す方法では、抽出された直線を含む領域７００において、直線に対し、直交方向に走査することで輝度のヒストグラムを取得する。ここで、直交方向に走査するとは、例えば、直交方向の画素の値を順に読み出し、その値を抽出することを意味する。そして、直線と直交線の交点位置でのヒストグラムの傾きから輝度の勾配の方向を取得する。また、Ｓ４０１におけるエッジ画像生成時に、副次的に得られる輝度の勾配情報を用いても良い。
【００１９】
具体的には図７（ａ）に示すように、直線に対し直交する方向において、左から右に走査した結果、輝度が直線の左側と比較し、直線の右側において高くなっている。この場合、直線を基準として輝度の高低により、値の高い方向を向くとして、右向きの勾配情報が取得される。具体的には、直線のベクトルから、そのベクトルに直交する直交ベクトルを求める。そして、その直交ベクトルに沿って画素値（本実施形態では輝度情報）を走査し、ヒストグラムを求める。ここで、図７（ａ）に示した直線の上部を始点とし、下部を終点とすると、直線のベクトルは下を向いていることとなる。この方向に基づいて画素値を走査する方向を一意とする。このヒストグラムと着目する直線に対する直交ベクトルとから、着目する直線の勾配情報（輝度の勾配）を取得する。そして、先に抽出された直線の情報と勾配情報とを対応付けて、記憶手段に保持する。勾配情報を表現するデータ構造については特に限定するものではないが、例えば直線が示すベクトルに向かって右側の画素値が高ければ“１”、左側が高ければ“０”というフラグを付与してもよい。
【００２０】
図７（ｂ）に示す画像７１０は、画像６００で図示した線分に勾配情報を付加した結果である。各線分に付随する矢印は輝度の上向き方向を示す。例えば図７（ｂ）で示す線分６１１は上向きの矢印に示されている。これは、線分６１１の位置を基準として下から上方向へ画像の輝度が高くなっている、つまり線分６１１に対して上側が明るくなっていることを示す。なお、本実施形態において、勾配方向の算出において、輝度情報を用いているが、これに限定されるものではない。例えば、直線を基準として、その近傍の画素値により変化を算出できれば他の情報を用いても良い。
【００２１】
Ｓ４０３では、文書領域抽出部５０３は、Ｓ４０１により得られた線分の一つを処理対象線として選択する。ここでは、処理対象線分として線分６１１が選択されたとする。Ｓ４０４では、文書領域抽出部５０３は、未処理の線分全てに対して、Ｓ４０３にて選択された処理対象線分と対辺を成すかを、Ｓ４０２で算出した勾配情報を基に判定する。処理対象線分と対辺を成すと判定された全ての線分を対辺候補として対辺候補リストを作成する。
【００２２】
対辺の判定方法について、図８（ａ）の線分８０１と線分８０２を用いて説明する。最初に、線分８０１、８０２の座標から“内側”を求める。ここで“内側”とは、線分８０１の両端、線分８０２の両端の４点を４頂点とする四角形８０３を描き、四角形の内部方向を“内側”とする。次に、線分８０１、８０２の勾配情報において、勾配方向がいずれも内側へ、または外側へと向いている勾配であれば対辺候補と判定する。つまり、勾配情報としては、対辺となる線分において、逆方向の値を有することとなる。例えば、輝度の上向き方向を表す矢印８０４、８０５はそれぞれ内側を向いているため、線分８０１と線分８０２は対辺候補と判定される。なお、２線分が作る内側方向へ輝度が高くなる対辺候補を“山型対辺”、内側方向へ輝度が低くなる対辺候補を“谷型対辺”と便宜上呼ぶこととする。例えば画像８００における対辺は山型対辺、画像８１０における対辺は谷型対辺となる。
【００２３】
図８（ｂ）に示す画像８２０は、処理対象である線分６１１に対して、未処理の線分、つまり線分６１１以外の全ての直線から対辺となり得る直線を表した図である。対辺候補として線分６１２、６１４、６１６、６１８が、いずれも谷型対辺として得られた。これらをそれぞれ、対辺種類（線分ａ，線分ｂ）の命名規則を用いて、谷型対辺（６１１，６１２）、谷型対辺（６１１，６１４）、谷型対辺（６１１，６１６）、谷型対辺（６１１，６１８）と表す。なお、実際のデータ構造は、各直線の情報を対応付けて、記憶手段にて保持することとなる。もしくはテーブルを作成し、対応する直線間の情報を保持しても良い。
【００２４】
Ｓ４０５では、文書領域抽出部５０３は、Ｓ４０１により得られた全ての線分に対してＳ４０４の処理を行ったか否かを判定する。行っていなければＳ４０３へ戻り、他の線分に対しても処理を行う。全ての線分に対して処理が終了していればＳ４０６へ進む。すなわち、残りの未処理直線である線分６１２から６１８に関しても同様にＳ４０４で対辺候補リストを作成する。この処理の結果、谷型対辺（６１１，６１２）、谷型対辺（６１１，６１４）、谷型対辺（６１１，６１６）、谷型対辺（６１１，６１８）、山型対辺（６１２，６１３）、山型対辺（６１２，６１５）、山型対辺（６１２，６１７）、谷型対辺（６１３，６１４）、山型対辺（６１３，６１５）、山型対辺（６１３，６１７）、谷型対辺（６１４，６１６）、谷型対辺（６１４，６１８）、谷型対辺（６１５，６１６）、山型対辺（６１５，６１７）、谷型対辺（６１６，６１８）の１５個の対辺候補リストが得られる。そして、全ての直線に対して処理をした後にＳ４０６へ進む。
【００２５】
Ｓ４０６では、文書領域抽出部５０３は、Ｓ４０４により得られた対辺候補を１つ処理対象として選択する。ここでは、処理対象の対辺候補として、谷型対辺（６１１，６１２）が選択されたとする。
【００２６】
Ｓ４０７では、文書領域抽出部５０３は、Ｓ４０４により得られた対辺候補リストの内、未処理の対辺候補から処理対辺候補と山谷同型の対辺候補を組み合わせて文書枠候補リストを作成する。また、処理対象対辺候補と、同じ辺を持つ対辺候補については文書枠を形成できないため、除外する。なお、２つの谷型対辺から構成される文書枠候補を“谷型枠”、２つの山型対辺から構成される文書枠候補を“山型枠”と呼ぶこととする。これらの文書枠は、いずれも四辺の勾配方向が、文書枠の内側外側を基準として、同一の向きとなっている。すなわち、山型枠は、四辺の勾配方向が全て文書枠の内側を向いており、谷型枠は、四辺の勾配方向が全て文書枠の外側を向いている。
【００２７】
処理対象の対辺候補である谷型対辺（６１１，６１２）に対しては、同じ谷型対辺であり、線分６１１、６１２を含まない対辺候補である、谷型対辺（６１３，６１４）、谷型対辺（６１４，６１６）、谷型対辺（６１４，６１８）、谷型対辺（６１５，６１６）、谷型対辺（６１６，６１８）が谷型枠候補として得られる。
【００２８】
これらをそれぞれ、枠種類（線分ａ，線分ａ’，線分ｂ，線分ｂ’）の命名規則を用いて、谷型枠（６１１，６１２，６１３，６１４）、谷型枠（６１１，６１２，６１４，６１６）、谷型枠（６１１，６１２，６１４，６１８）、谷型枠（６１１，６１２，６１５，６１６）、谷型枠（６１１，６１２，６１６，６１８）と表す。
【００２９】
Ｓ４０８では、文書領域抽出部５０３は、Ｓ４０４により得られた全ての対辺候補に対して、Ｓ４０７の処理を行ったか否かを判定する。全ての対辺候補に対する処理が終了していなければＳ４０６へ戻り、未処理の対辺候補に対して処理を適用する。全ての対辺候補への処理が終了していればＳ４０９へ進む。
【００３０】
このように、残りの未処理対辺に関しても同様にＳ４０７で文書枠候補リストを作成する。この処理により谷型枠（６１１，６１２，６１３，６１４）、谷型枠（６１１，６１２，６１４，６１６）、谷型枠（６１１，６１２，６１４，６１８）、谷型枠（６１１，６１２，６１５，６１６）、谷型枠（６１１，６１２，６１６，６１８）、谷型枠（６１１，６１４，６１５，６１６）、谷型枠（６１１，６１４，６１６，６１８）、谷型枠（６１１，６１６，６１３，６１４）、谷型枠（６１１，６１８，６１３，６１４）、谷型枠（６１１，６１８，６１４，６１６）、谷型枠（６１３，６１４，６１５，６１６）、谷型枠（６１４，６１８，６１５，６１６）、山型枠（６１２，６１３，６１５，６１７）、山型枠（６１２，６１５，６１３，６１７）、山型枠（６１２，６１７，６１３，６１５）の１５の文書枠候補リストが得られる。そして、全ての直線に対して処理をした後、Ｓ４０９へ進む。
【００３１】
Ｓ４０９では、文書枠候補の４線分から実際に文書枠となる四角形を算出する。直線検出で求めた線分はレンズの歪みやノイズなどの影響から、通常は実際の枠辺と同一にはならない。そのため、線分を延伸することにより４線分のそれぞれの交点を計算し、頂点とする。
【００３２】
例えば、以下の４つの線分について説明する。ここで、ｘ、ｙはそれぞれ線分の端点のｘ座標、ｙ座標を示す。
【００３３】
線分Ａ（Ａｘ１，Ａｙ１）−（Ａｘ２，Ａｙ２）
線分ａ（ａｘ１，ａｙ１）−（ａｘ２，ａｙ２） （線分Ａの対辺）
線分Ｂ（Ｂｘ１，Ｂｙ１）−（Ｂｘ２，Ｂｙ２）
線分ｂ（ｂｘ１，ｂｙ１）−（ｂｘ２，ｂｙ２） （線分Ｂの対辺）
上記の４線分からなる四角形の頂点は、隣接辺である線分ＡとＢ、線分Ａとｂ、線分ａとＢ、線分ａとｂ、の交点を求める事でわかる。図９（ａ）に示す計算式９００は、線分Ａ（Ａｘ１，Ａｙ１）−（Ａｘ２，Ａｙ２）と線分Ｂ（Ｂｘ１，Ｂｙ１）−（Ｂｘ２，Ｂｙ２）との交点座標（ＡＢｘ，ＡＢｙ）を求める計算式である。
【００３４】
ここで、条件として、
（−Ａｙ１＋Ａｙ２）＊（Ｂｘ１−Ｂｘ２）−（Ａｘ１−Ａｘ２）＊（−Ｂｙ１＋Ｂｙ２）＝０
であった場合は隣接辺が平行となり、解は存在しないため、文書枠候補から除外する。
【００３５】
また、画像９１０で示す、線分９１１，９１２，９１３，９１４から算出した４つの頂点９１５，９１６，９１７，９１８が作る四角形のように、四角形の各辺に線分が重ならない場合も候補のリストから除外する。Ｓ４０８で作成した１４の文書枠候補リストの内、谷型枠（６１１，６１２，６１３，６１４）、谷型枠（６１１，６１２，６１４，６１６）、谷型枠（６１１，６１２，６１４，６１８）、谷型枠（６１１，６１２，６１５，６１６）、谷型枠（６１１，６１２，６１６，６１８）、谷型枠（６１１，６１４，６１５，６１６）、谷型枠（６１１，６１４，６１６，６１８）、谷型枠（６１１，６１６，６１３，６１４）、谷型枠（６１１，６１８，６１３，６１４）、谷型枠（６１３，６１４，６１５，６１６）、谷型枠（６１４，６１８，６１５，６１６）、山型枠（６１２，６１３，６１５，６１７）、山型枠（６１２，６１５，６１３，６１７）の１３枠候補は含まれる四辺が文書枠を成さないため除外される。図１０（ａ）の画像１０００に示す、谷型枠（６１１，６１４，６１６，６１８）１００１と山型枠（６１２，６１７，６１３，６１５）１００２の２枠候補へと最終的に絞り込まれ、図４のフローチャートの全処理が完了する。なお、本フローチャートでは説明の為に対辺単位での処理を行ったが、最初から４線分を網羅的に組み合わせ、勾配情報に基づいて文書枠候補を判定しても良い。
【００３６】
図１０（ｂ）に示す画像１０１０は、表示部１０３に文書枠候補の絞り込み結果を表示した例である。オリジナル画像表示部１０１１は、撮影画像上に文書枠候補をオーバーレイ表示する。候補サムネイル部１０１２は、それぞれの文書枠候補について歪み補正した結果をサムネイルで表示する。この表示部１０３に表示された画像を参照して、ユーザが操作部１０４で選択操作を行うことにより、補正に使用する文書枠候補を決定することができる。ここでは、補正に使用する文書枠として山型枠（６１２，６１７，６１３，６１５）１００２がユーザにより選択されたとする。なお、表示部１０３に表示する画像１０１０の構成は一例であり、パーソナルコンピューター上で決定しても良いし、１以上の文書枠候補全てに対して歪み補正処理をかけ、電子文書化しても良い。
【００３７】
歪み補正部５０４では、文書領域抽出部５０３で得られた文書枠の頂点情報から歪みを補正する。ここでの歪み補正とは、矩形領域を３次元的な角度をもって２次元平面に投影した場合に生成される不等辺四角形領域を、元の矩形領域へと補正する演算、いわゆる逆透視変換演算である。用いられる変換行列のパラメータについては、例えば特開２００３−２８８５８８に開示されているように、逆透視変換の演算式に４頂点の座標を与える事で、得られる連立方程式を解くことにより抽出できる。その他、本発明に適用できれば、どのような手法を用いても良い。
【００３８】
電子文書生成部５０５では、補正した画像を電子文書５０６として生成し出力する。ここでは、電子文書５０６としてＪＰＥＧ形式により出力する。なお、ＪＰＥＧ形式の出力は一例であり、電子デバイスの取り扱い可能な形式に応じた変換や、再利用可能な電子文書、例えばワードプロセッシング文書やプレゼンテーション文書などへ変換しても良い。
【００３９】
図１１（ａ）に示す画像１１００は、実施形態１を適用した結果、出力される電子文書５０６の例である。対象物との傾きから台形状に歪んだ部分が、正対した長方形の状態で電子文書化される。
【００４０】
また、図１１（ｂ）の画像１１１０は勾配情報を用いなかった場合の例である。線分６１２、６１４、６１５、６１８からなる文書枠１１１１のような文書枠まで余分に検出される。この場合には、合計１６通りから文書枠候補の選択をする必要がある。
【００４１】
以上説明したように、本発明を適用することで、適用しない場合と比較し、好適な文書枠候補を残したまま削減することが可能となり、後段の処理の負荷を軽減することができる。
【００４２】
＜実施形態２＞
実施形態１では、単純に全ての直線から総当たりで対辺候補の検索を行った。しかし、実際の文書画像では背景領域などから直線が多く検出されれば、その分負荷が増大する。そこで、縦方向の線分と横方向の線分を分類する方法を組み合わせることで絞り込みの処理をさらに高速化することが可能である。
【００４３】
図１２は本実施形態の文書領域抽出部５０３における文書領域抽出処理をフローチャートにより説明した図である。以下、入力される撮影画像５０１の例に、図２に示した画像２００を用いて処理を説明する。なお、本処理フローは例えば、ＣＰＵ３０２がＲＡＭ３０３や記憶部３０４に格納されたプログラムやデータを読み出し、実行することで実現される。Ｓ１２０１では、文書領域抽出部５０３は、直線成分を検出する。詳細な処理方法はＳ４０１と同様であるため省略する。図６（ｂ）に示す画像６１０が直線検出した結果である。ここでは線分６１１から６１８まで８本の直線が検出される。Ｓ１２０２では、文書領域抽出部５０３は、直線の勾配方向を算出する。詳細な処理方法はＳ４０２と同様であるため省略する。図７（ｂ）に示す画像７１０が勾配情報を付加した結果である。
【００４４】
Ｓ１２０３では、文書領域抽出部５０３は、縦方向線及び横方向線の判定を行う。画像平面上での水平に対する線分の相対角度から、縦方向線および横方向線の判定を行う。ここでは、水平に対して相対的に０度以上４５度未満、１３５度以上１８０度未満であれば横方向線、４５度以上１３５度未満であれば縦方向線と判定する。なお、縦方向線もしくは横方向線を判定するための基準は、上記の値に限定されるものではなく、必要に応じて変更して良い。また、本発明を適用可能であれば、他の方法を用いても良い。図１３に示す画像１３００が縦方向線と横方向線を判定した結果である。ここでは、縦方向線を実線、横方向線を破線で表す。
【００４５】
Ｓ１２０４では、文書領域抽出部５０３は、処理対象となる線分を選択する。ここでは線分６１１が選択されたとする。Ｓ１２０５では、文書領域抽出部５０３は、処理対象線分が縦方向線か横方向線かによる分岐処理を行う。縦方向線であればＳ１２０６へ、横方向線であればＳ１２０７へ進む。ここで、線分６１１は横方向線であるので、Ｓ１２０７へ進む。
【００４６】
Ｓ１２０７では、文書領域抽出部５０３は、未処理の横方向線に対して上下対辺候補を作成する。ここでは未処理の横方向線として線分６１２、６１７、６１８が対象となる。対辺候補の判定自体はＳ４０４と同様であるため省略する。結果、対辺候補として６１２、６１８が、いずれも横方向の谷型対辺として得られた。これらをそれぞれ、上下谷型対辺（６１１，６１２）、上下谷型対辺（６１１，６１８）と表す。なお、上下谷型対辺、上下山型対辺は“上下対辺”であり、左右谷型対辺、左右山型対辺は“左右対辺”となる。
【００４７】
Ｓ１２０８の終了判定に従い、線分６１２から６１８まで繰り返し処理を行う。Ｓ１２０４で線分６１３（縦方向線）が選択されたとする。Ｓ１２０５で縦方向線と判定され、Ｓ１２０６へ進む。Ｓ１２０６では、未処理の縦方向線として線分６１４、６１５、６１６を対象として左右対辺候補を作成する。処理の結果、谷型対辺候補として線分６１４、山型対辺候補として線分６１５が取得される。これらをそれぞれ、左右谷型対辺（６１３，６１４）、左右山型対辺（６１３，６１５）と表す。
【００４８】
同様に残りの線分に対してＳ１２０４からＳ１２０８を繰り返す。処理の結果、上下谷型対辺（６１１，６１２）、上下谷型対辺（６１１，６１８）、上下谷型対辺（６１７，６１８）、上下山型対辺（６１２，６１７）、左右谷型対辺（６１３，６１４）、左右谷型対辺（６１４，６１６）、左右谷型対辺（６１５，６１６）、左右山型対辺（６１３，６１５）の８個の対辺候補リストが作成された。全ての線分に対して処理が完了した後、Ｓ１２０９へ進む。
【００４９】
Ｓ１２０９では、文書領域抽出部５０３は、上下谷型対辺（６１１，６１２）を処理対象対辺として選択し、Ｓ１２１０へ進む。Ｓ１２１０では、文書領域抽出部５０３は、上下対辺か左右対辺かで処理の分岐を行う。ここで、上下谷型対辺（６１１，６１２）は“上下対辺”であるため、Ｓ１２１１へ進む。
【００５０】
Ｓ１２１１では、文書領域抽出部５０３は、未処理の左右対辺に対して文書枠候補リストを作成する。ここでは、左右谷型対辺（６１３，６１４）、左右谷型対辺（６１４，６１６）、左右谷型対辺（６１５，６１６）、左右山型対辺（６１３，６１５）が対象となる。詳細な処理はＳ４０７と同様であるため省略する。処理の結果、左右谷型対辺（６１３，６１４）、左右谷型対辺（６１４，６１６）、左右谷型対辺（６１５，６１６）が文書枠候補として得られた。これらをそれぞれ谷型枠候補（６１１，６１２，６１３，６１４）、谷型枠候補（６１１，６１２，６１４，６１６）、谷型枠候補（６１１，６１２，６１５，６１６）と表す。
【００５１】
Ｓ１２１３の終了判定に従い、未処理の対辺について処理を行う。Ｓ１２０９で左右谷型対辺（６１３，６１４）が選択されたとする。Ｓ１２１０で左右対辺と判断されＳ１２１２へ進む。Ｓ１２１２では、未処理の上下対辺に対して文書枠候補リストを作成する。ここでは、上下谷型対辺（６１１，６１８）、上下谷型対辺（６１７，６１８）、上下山型対辺（６１２，６１７）が対象となる。処理の結果、谷型枠候補（６１１，６１８，６１３，６１４）、谷型枠候補（６１７，６１８，６１３，６１４）が得られる。
【００５２】
同様に残りの対辺に対してＳ１２０９からＳ１２１３を繰り返す。結果、谷型枠候補（６１１，６１２，６１３，６１４）、谷型枠候補（６１１，６１２，６１４，６１６）、谷型枠候補（６１１，６１２，６１５，６１６）、谷型枠候補（６１１，６１８，６１３，６１４）、谷型枠候補（６１１，６１８，６１４，６１６）、谷型枠候補（６１１，６１８，６１５，６１６）、谷型枠候補（６１７，６１８，６１３，６１４）、谷型枠候補（６１７，６１８，６１４，６１６）、谷型枠候補（６１７，６１８，６１５，６１６）、山型枠候補（６１２，６１７，６１３，６１５）の１０個の文書枠候補リストが作成された。全ての線分に対して処理が完了した後、Ｓ１２０９へ進む。
【００５３】
Ｓ１２１４では、文書領域抽出部５０３は、４線分から文書枠の頂点の算出を行う。詳細な処理はＳ４０９と同様であるため省略する。処理の結果、谷型枠（６１１，６１４，６１６，６１８）１００１と山型枠（６１２，６１７，６１３，６１５）１００２の２枠候補へと最終的に絞り込まれ、図１２のフローチャートの全処理が完了する。歪み補正部５０４、電子文書生成部５０５の処理に関しては、実施形態１と同様であるため省略する。
【００５４】
以上説明したように、実施形態１と比較して、対辺候補数が１５から８へ、文書枠候補数が１５から１０へ、いずれも削減することができた。対辺候補作成処理時には、実施形態１では８本中２本の線分の組み合わせである２８通りで探索するのに対し、実施形態２では、縦方向線４本中２本の組み合わせと、横方向線４本中２本の組み合わせとの計１２通りの探索で済む。このことから、実施形態１の効果に加え、更に処理コストを削減することができる。
【００５５】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
文字を含む四辺からなる領域を有し、前記領域の四辺の全てが画像に収まる画像データを入力とし、前記領域の四辺が示す文書枠を抽出する画像処理装置であって、
入力された前記画像データから直線成分を検出する検出手段と、
前記検出手段にて検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出手段と、
前記検出手段にて検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出手段と、
前記抽出手段にて抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み手段と
を有する画像処理装置。
【請求項２】
前記抽出手段は、
前記直線成分を、入力された前記画像データに対する相対的な傾きから、文書枠における、上下の辺となる横方向線と、左右の辺となる縦方向線に分類する分類手段と、
ある縦方向線と逆方向の勾配方向を有する他の縦方向線とを左右対辺とし、ある横方向線と逆方向の勾配方向を有する他の横方向線とを上下対辺として選択する選択手段と
を更に有し、
前記上下対辺と前記左右対辺とを組み合わせることにより、四辺からなる前記文書枠候補として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記画素情報として輝度の値を用いて勾配方向を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記文書枠とは、ホワイトボード、ポスター、紙文書のいずれかの枠であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
文字を含む四辺からなる領域を有し、前記領域の四辺の全てが画像に収まる画像データを入力とし、前記領域の四辺が示す文書枠を抽出する画像処理装置の制御方法であって、
前記画像処理装置の検出手段が、入力された前記画像データから直線成分を検出する検出工程と、
前記画像処理装置の算出手段が、前記検出工程において検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出工程と、
前記画像処理装置の抽出手段が、前記検出工程において検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出工程と、
前記画像処理装置の絞り込み手段が、前記抽出工程において抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み工程と
を有する制御方法。
【請求項６】
コンピュータを、
入力された画像データから直線成分を検出する検出手段、
前記検出手段にて検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出手段、
前記検出手段にて検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出手段、
前記抽出手段にて抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み手段
として機能させるためのプログラム。
【請求項１】
文字を含む四辺からなる領域を有し、前記領域の四辺の全てが画像に収まる画像データを入力とし、前記領域の四辺が示す文書枠を抽出する画像処理装置であって、
入力された前記画像データから直線成分を検出する検出手段と、
前記検出手段にて検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出手段と、
前記検出手段にて検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出手段と、
前記抽出手段にて抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み手段と
を有する画像処理装置。
【請求項２】
前記抽出手段は、
前記直線成分を、入力された前記画像データに対する相対的な傾きから、文書枠における、上下の辺となる横方向線と、左右の辺となる縦方向線に分類する分類手段と、
ある縦方向線と逆方向の勾配方向を有する他の縦方向線とを左右対辺とし、ある横方向線と逆方向の勾配方向を有する他の横方向線とを上下対辺として選択する選択手段と
を更に有し、
前記上下対辺と前記左右対辺とを組み合わせることにより、四辺からなる前記文書枠候補として抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、前記画素情報として輝度の値を用いて勾配方向を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記文書枠とは、ホワイトボード、ポスター、紙文書のいずれかの枠であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
文字を含む四辺からなる領域を有し、前記領域の四辺の全てが画像に収まる画像データを入力とし、前記領域の四辺が示す文書枠を抽出する画像処理装置の制御方法であって、
前記画像処理装置の検出手段が、入力された前記画像データから直線成分を検出する検出工程と、
前記画像処理装置の算出手段が、前記検出工程において検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出工程と、
前記画像処理装置の抽出手段が、前記検出工程において検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出工程と、
前記画像処理装置の絞り込み手段が、前記抽出工程において抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み工程と
を有する制御方法。
【請求項６】
コンピュータを、
入力された画像データから直線成分を検出する検出手段、
前記検出手段にて検出された前記直線成分に対する直交方向において、画素情報の高低による勾配方向を算出する算出手段、
前記検出手段にて検出された前記直線成分の中から四辺を選択し、選択された当該四辺からなる１以上の文書枠候補を抽出する抽出手段、
前記抽出手段にて抽出された前記文書枠候補のうち、文書枠の四辺の勾配方向が当該文書枠の内側もしくは外側のいずれかの方向に対して同一の向きとならない文書枠候補を抽出された前記文書枠候補から除く絞り込み手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１４４３０（Ｐ２０１２−１４４３０Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５０２６４（Ｐ２０１０−１５０２６４）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]