画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
【課題】簡単な操作によって画像内から所望の多角形を指定可能な画像処理装置を提供する。
【解決手段】画像処理装置１０１は、ユーザによる入力を受け付け可能な入力装置１０４と接続される、画像を処理するための画像処理装置であって、入力画像から抽出する多角形の辺の数を特定する辺数特定部１０１１と、多角形を構成しうるように入力画像から抽出された線分を、多角形をなす各辺の候補群に分類する線分分類部１０１３と、線分分類部１０１３により分類された各候補群について、入力装置１０４が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択部１０１４と、線分選択部１０１４によって各候補群から選択された線分により、多角形を形成する多角形形成部１０１５と、を備える。
【解決手段】画像処理装置１０１は、ユーザによる入力を受け付け可能な入力装置１０４と接続される、画像を処理するための画像処理装置であって、入力画像から抽出する多角形の辺の数を特定する辺数特定部１０１１と、多角形を構成しうるように入力画像から抽出された線分を、多角形をなす各辺の候補群に分類する線分分類部１０１３と、線分分類部１０１３により分類された各候補群について、入力装置１０４が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択部１０１４と、線分選択部１０１４によって各候補群から選択された線分により、多角形を形成する多角形形成部１０１５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の複数の線分から、ユーザが望む多角形を指定することが可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像装置を搭載するデジタル機器において、名刺を撮影して該名刺に記載されている内容を自動的に読み込む技術や、看板等を撮影して該看板に記載された情報から処理を行う技術が盛んに研究開発されている。これらを実現するためには、撮影した画像内に存在する、名刺、看板等の矩形領域を検出することが必要となる。
【０００３】
しかし、名刺や看板等の撮影においては、背景や、名刺、看板内に様々な模様が存在する可能性が高く、その模様によって、間違った矩形候補が生じることがある。この場合、最終的に、ユーザがどの矩形候補が正解かを選択する必要が生じる。また、矩形候補の数が多くなった場合、ユーザが望む矩形を選択することが困難となる。
【０００４】
特許文献１によると、撮像して得られた画像データから複数の直線を抽出し、その抽出された複数の直線が囲む閉領域を抽出することで、閉領域の四辺の一部がとぎれて観察される場合であっても、画像から閉領域を抽出する手法が提案されている。
【０００５】
特許文献２によると、画像上に設定された一群の連続する多節線分または点列で既定される関心領域の形状を修正する場合、多節線分または点列を等間隔に配列し、その内の一つを選択してこれをドラッグすることによって、選択した多節線分はたは点列に隣接する他の多節線分または点列の一つまたは複数を、所定の張力に応じて追随して移動させることで、操作する数を軽減して、関心領域の形状修正が実施できる手法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−０１１７６２号公報（２００７年１月１８日公開）
【特許文献２】特開２０００−３０８６１９号公報（２０００年１１月７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１および２には、画像内においてユーザが望む多角形を、少ない回数の直感的かつ簡単な操作によって指定することができる技術は開示されていない。
【０００８】
すなわち、特許文献１では、求めた複数の閉領域をデジタルカメラの表示部に表示し、十字キー等の操作によって、所望の閉領域をユーザが選択できるようにし、そのようなユーザインタフェースによって、ユーザの領域の部分的修正を行う、と説明されているが、具体的な閉領域の選択方法が提示されていない。
【０００９】
また、特許文献２では、関心領域選択候補は一つであり、ユーザはその関心領域選択候補の各変更対象の頂点を選択する。この場合、頂点数が多くなった場合に、ユーザにとって、ユーザが望む関心領域を選択するために、多数の頂点の選択が必要となる。また、頂点の操作はマウスで行われるため、特に表示画面が小さい場合等、ユーザにとって操作が困難となる問題があった。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、少ない回数の直感的かつ簡単な操作により入力画像内から任意の多角形の指定を行うことを目的としている。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、上記の課題を解決するために、ユーザによる入力を受け付け可能な入力装置と接続される、画像を処理するための画像処理装置であって、入力画像から抽出する多角形の辺の数を特定する辺数特定手段と、上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類手段と、上記線分分類手段により分類された上記各候補群について、上記入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択手段と、上記線分選択手段によって上記各候補群から選択された線分により、多角形を形成する多角形形成手段と、を備えることを特徴としている。
【００１２】
本発明に係る画像処理方法は画像を処理するための画像処理方法であって、入力画像から抽出する多角形の辺の数を特定する辺数特定ステップと、上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類ステップと、上記線分分類ステップにより分類された上記各候補群について、ユーザによる入力を受け付け可能な入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択ステップと、上記線分選択ステップによって上記各候補群から選択された線分により、多角形を形成する多角形形成ステップと、を備えることを特徴としている。
【００１３】
上記構成によると、線分分類手段は、辺数特定手段により特定された数の辺を持つ多角形を構成しうるように入力画像から抽出された線分を、上記多角形の各辺の候補群に分類し、線分選択手段は、入力装置が受け付けた入力に応じて、ユーザが所望する線分を上記候補群から選択する。そして多角形形成手段が、各候補群から選択された線分から多角形を形成する。また、上記画像処理方法の各ステップにおいては、上記画像処理装置の各手段と同一の処理が実現されている。
【００１４】
上記のようにユーザは、入力装置を介して、各候補群について線分を１本ずつ選択すればよい。すなわち、入力画像から抽出された線分は多角形の辺の各候補群に分類されているので、ユーザは、所望とする多角形の各辺を指定する時に、該各辺の候補群以外は無視して選択を行うことが可能となる。
【００１５】
よって、煩雑な操作を行うことなく、少ない回数の簡単な操作で、所望の多角形を構成する辺を選択し、多角形の指定を行うことができる。
【００１６】
また、上記入力装置は２次元方向の入力が可能であると同時に上記多角形の辺と同数の入力方向を有し、上記入力方向のそれぞれと、上記多角形の各辺の候補群の位置関係とが一対一の関係で対応しており、上記線分選択手段は、上記入力装置が受け付けた入力方向に対応する候補群内で線分の選択を行うことが好ましい。
【００１７】
上記構成によれば、入力装置の各入力方向が、多角形をなす各辺の候補群の位置関係と一対一で対応付けられている。そして、線分選択手段は、上記入力装置が受け付けた入力方向に対応する候補群の選択を行う。
【００１８】
よってユーザは、上記入力装置の各入力方向を入力するだけで、各候補群から所望とする線分の選択を行うことができ、さらに、選択を行いたい線分が属する候補群の存在する方向に入力を行えば、該候補群内で線分の選択を行うことができる。よって、感覚的な操作で所望の多角形を構成する辺を指定することが可能となる。
【００１９】
また、上記線分選択手段は、現在選択されている線分が当該線分の属する候補群の端に存在する場合、上記入力装置がユーザの入力を受け付けると、当該候補群の他方の端に存在する線分を選択することが好ましい。
【００２０】
上記構成によれば、現在選択されている線分が当該線分の属する候補群の端に存在する場合、入力装置がユーザの入力を受け付けると、線分選択手段は、当該候補群の他方の端に存在する線分を選択する。
【００２１】
よって、ユーザは、一度選択した線分を、該線分の属する候補群に対応する方向への入力を繰り返すことによって再び選択することが可能となる。
【００２２】
また、上記入力装置は、２次元方向に上記多角形の辺と同数の入力方向を有する方向入力手段と、選択される線分を指示するための線分指示手段とを有し、上記方向入力手段の上記入力方向のそれぞれは、上記多角形の各辺の候補群の位置関係と一対一の関係で対応しており、上記線分選択手段は、上記方向入力手段が受け付けた入力方向に対応する候補群内で、上記線分指示手段により指示された線分を選択することが好ましい。
【００２３】
上記構成によれば、方向入力手段が受け付けた入力方向に対応する候補群内で、線分指示手段によって選択する線分の指示を行うことが出来る。すなわち、候補群の選択と、当該選択された候補群内での線分の指示とが、それぞれ独立した操作によって行われる。
【００２４】
よって、方向入力手段および線分指示手段はそれぞれ１つずつの役割のみを担っているため、１つの手段に対して複数の動作が割り当てられる構成に比べて、ユーザの操作に対してユーザの意図しない動作が発生し難くなり、またそのため、ユーザは快適に操作を行うことが可能となる。
【００２５】
また、上記線分選択手段は、各辺の候補群がいずれの入力方向に対応しているかをユーザに提示することが好ましい。
【００２６】
上記構成によれば、線分選択手段は、入力装置の各入力方向が各辺の候補群のいずれに対応しているかをユーザに提示する。
【００２７】
よって、上記提示に従うことで、ユーザは選択を行いたい辺候補群に対してどの方向に入力すればいいかを間違えることなく、スムーズに線分の選択を行うことが出来る。
【００２８】
また、前記入力装置がタッチパネルであり、タッチパネル上に、該候補群に対応しユーザが入力可能なキーを表示するための、キー表示処理手段を備えることが好ましい。
【００２９】
上記構成によると、前記入力装置がタッチパネルであり、キー表示処理手段がタッチパネル上に、該候補群に対応するキーを表示する。
【００３０】
よって、ユーザは、画面上の選択を行いたい候補群の近傍に表示されるキーに直接ふれることで、所望の候補群の選択を行うことができ、感覚的な操作で所望の線分を選択することができる。
【００３１】
また、上記多角形形成手段は、上記各候補群において選択された全ての線分を延長または短縮したものを各辺とする多角形を形成することが好ましい。
【００３２】
また、上記線分選択手段は、上記入力画像から抽出された線分のうち、選択している線分と、選択していない線分とを、互いに異なる種類の線としてユーザに提示することが好ましい。
【００３３】
上記構成によれば、線分選択手段は、選択している線分と、選択していない線分とを互いに異なる種類の線としてユーザに提示する。
【００３４】
よって、ユーザは、どの線分が現在選択されているかを簡単に確認することが可能となる。また、現在選択されている線分から形成される多角形の位置および形状をある程度予想し、所望の多角形を選択できているか否かを確認することが可能になる。
【００３５】
本発明にかかる画像処理プログラムは、上記画像処理方法をコンピュータに実行させることを特徴としている。
【００３６】
本発明に係る記録媒体は、上記画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したことを特徴としている。
【００３７】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の技術的範囲に含まれる。
【発明の効果】
【００３８】
本発明に係る画像処理装置は、以上のように、ユーザは多角形を構成しうる各辺の候補群に分類された画像内の複数の線分から、ユーザが望む目的の辺を、多角形を構成しうる各辺に対応付けられた入力装置で選択する構成である。
【００３９】
それゆえ、ユーザは、煩雑な操作を行うことなく、少ない回数の簡単な操作で、所望の多角形を構成する辺を選択し、多角形の指定を行うことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る情報処理端末の構成を示すブロック図である。
【図２】図２（ａ）は本発明の第１の実施形態に係る情報処理端末の概観を示す斜視図であり、図２（ｂ）は本発明の第１の実施形態に係る情報処理端末の背面の概観を示す斜視図である。
【図３】本発明の第１および第２の実施の形態に係る画像処理装置で実行される、プログラムの制御手順を示すフローチャートである。
【図４】本発明の第１および第２の実施の形態に係る画像処理装置で使用するデジタル画像の一例を示した図である。
【図５】線分抽出部における処理の実行によって抽出される線分の一例を示す図である。
【図６】線分分類部における処理の手順を示すフローチャートである。
【図７】線分分類部における処理の説明図である。
【図８】線分分類部における処理の他の例を示す説明図である。
【図９】カーソルキーの上下左右の方向キーと、分類された辺候補の対応を表す図である。
【図１０】カーソルキーと辺候補の対応をユーザに示す図である。
【図１１】つまみを有するスティック状の操作装置を示す図である。
【図１２】図１２（ａ）は、つまみの回転方向が４分割されたスティック状の操作装置を示す図であり、図１２（ｂ）は、つまみの回転方向が３分割されたスティック状の操作装置を示す図である。
【図１３】入力装置としてタッチパネルを採用した場合におけるインタフェース図である。
【図１４】辺候補から矩形を構成する方法を示す図である。
【図１５】図１５（ａ）〜（ｅ）は辺候補の選択処理において、カーソルキーの下方向キーを押した際に、辺候補ＢＬ５〜ＢＬ１が順次選択される様子を示した図である。
【図１６】線分選択部における処理の他の例におけるカーソルキー、確定ボタン、内側指示ボタンおよび外側指示ボタンを示す図である。
【図１７】線分選択部における処理の他の例の手順を示すフローチャートである。
【図１８】図１８（ａ）〜（ｃ）は、カーソルキー、内側指示ボタンおよび外側指示ボタンを用いて辺候補群ＴＬ１〜ＴＬ４を選択する様子を示す図である。
【図１９】カーソルキー１０４１、確定ボタン１０４２およびクリアボタン１０４７を示す図である。
【図２０】図２０（ａ）は本発明の第２の実施形態に係る情報処理端末の概観を示す斜視図であり、図２０（ｂ）は本発明の第２の実施形態に係る情報処理端末の背面の概観を示す斜視図である。
【図２１】線分分類部における処理の、辺数が３である場合の処理の概要を示す説明図である。
【図２２】本発明の第２の実施形態に係る辺候補の切替えを行う際のインタフェース図である。
【発明を実施するための形態】
【００４１】
（第１の実施形態）
以下、この発明の第１の実施形態について図１〜１９を参照して説明する。以下の説明では同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００４２】
本実施の形態に係る画像処理装置における処理は、コンピュータまたは情報端末、デジタルカメラに搭載されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で実行されるソフトウェアによって実現される。なお、情報端末やデジタルカメラなどにおいては、画像処理や制御を行うＣＰＵ上で実行されるソフトウェアにより実現されてもよいし、専用のハードウェアとして実現されてもよい。
【００４３】
（装置の構成）
図２（ａ）は本実施形態に係る情報処理端末１の概観を示す斜視図であり、図２（ｂ）は情報処理端末１の背面の概観を示す斜視図である。図１は、画像処理装置１０１の構成を示すブロック図である。まず、図１および２を参照して情報処理端末１の構成を説明する。
【００４４】
図２（ａ）に示すように、情報処理端末１は、平板上の筐体である情報処理端末本体１１からなり、情報処理端末本体１１の正面には情報を表示するためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などからなる表示装置１０２が配置され、情報処理端末本体１１の下面には、表示されたメニュー項目等を選択するための上下左右を指示可能なカーソルキー（方向入力手段）１０４１および確定ボタン１０４２が配置されている。
【００４５】
カーソルキー１０４１は、表示装置１０２上に表示されたメニュー項目等を移動するものであり、デジタル画像内の矩形抽出の際に後述する候補線分を選択する際にも利用される。ここでは、カーソルキー１０４１は上方向キー、下方向キー、左方向キーおよび右方向キーの４つのキーから成っている。確定ボタン１０４２は、各種動作モードのメニュー項目が表示されている状態では、選択／実行キーとして機能し、デジタル画像内の矩形抽出の際に多角形の確定ボタンとしても利用される。
【００４６】
そして、図２（ｂ）に示すように、情報処理端末本体１１の背面上部には、撮像装置１０３が設置されている。撮像装置１０３として、ＣＣＤ、ＣＭＯＳ等が用いられる。
【００４７】
また、図１に示すように、情報処理端末１は、該情報処理端末自体を集中的に制御するためのＣＰＵにより実現される、画像を処理するための画像処理装置１０１と、情報を表示するためのＬＣＤまたはＯＥＬなどからなる表示装置１０２と、上記カーソルキー１０４１および確定ボタン１０４２により構成される入力装置１０４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んで構成されるメモリ１０５と、固定ディスク１０６と、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）１０７１が着脱自在に装着されて、装着されたＦＤ１０７１にアクセスするＦＤ駆動装置１０７と、光ディスク１０８１が着脱自在に装着されて、装着された光ディスク１０８１にアクセスする光ディスク駆動装置１０８と、通信Ｉ／Ｆ１０９とを含む。上述より、上記画像処理装置１０１は、上記入力装置１０４（カーソルキー１０４１および確定ボタン１０４２）と接続される、画像を処理するための画像処理装置であるといえる。
【００４８】
画像処理装置１０１は、辺数特定部（辺数特定手段）１０１１、線分抽出部（線分抽出手段）１０１２、線分分類部（線分分類手段）１０１３、線分選択部（線分選択手段）１０１４および多角形形成部（多角形形成手段）１０１５を備えている。
【００４９】
辺数特定部１０１１は、上記撮像装置１０３が撮像した画像である入力画像から抽出する多角形の辺の数を特定し、特定した辺数を線分抽出部１０１２に送信する。
【００５０】
線分抽出部１０１２は、上記入力画像から、上記多角形を構成しうるような線分を抽出し、抽出された線分を含む画像データを線分選択部１０１４に送信する。
【００５１】
線分分類部１０１３は、線分抽出部１０１２によって、上記多角形を構成しうるように上記入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類し、当該分類された線分を含む画像データを線分選択部１０１４に送信する。
【００５２】
線分選択部１０１４は、上記線分分類部１０１３により分類された上記各候補群について、上記入力装置１０４が受け付けた入力に応じて、ユーザが所望とする線分を選択し、多角形形成部１０１５に送信する。また、線分選択部１０１４は、キー表示処理部１０１６（キー表示処理手段）を備えるが、当該キー表示処理部１０１６が行う処理については実施形態２において説明する。
【００５３】
多角形形成部１０１５は、上記線分選択部１０１４によって上記各候補群から選択された線分により、多角形を形成する。なお、上述した各部の処理の詳細については後述する。
【００５４】
光ディスク１０８１は、光学ドライブ装置を使い、光（半導体レーザ）の反射により情報を読み書きする記録媒体であり、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ）等がある。
【００５５】
通信Ｉ／Ｆ１０９は通信路１１０と該情報処理端末１とを通信可能に接続する機能を有する。通信路１１０にはインターネットを含む各種ネットワークを適用できる。
【００５６】
図１に示す情報処理端末１に搭載されるソフトウェアはＦＤ１０７１、光ディスク１０８１などの記録媒体に格納されて流通し、情報処理端末１の所定記録エリアに、ＣＰＵによりＦＤ駆動装置１０７または光ディスク駆動装置１０８を介して読み込まれて実行される。また通信Ｉ／Ｆ１０９および通信路１１０を通してソフトウェアを読み込んでもよい。
【００５７】
図１および図２における情報処理端末１が備えるハードウェア自体は一般的なものである。そして、本発明の最も本質的な部分はＣＰＵにおいて実行されるソフトウェア（プログラムやデータ）である。
【００５８】
（処理手順について）
図３は、画像処理装置１０１で実行される、プログラムの制御手順を示すフローチャートである。図３を参照して、画像処理装置１０１で実行されるプログラムについて説明する。本実施の形態に係る情報処理端末１においてＣＰＵにより読み出されて実行されるプログラムは、以下のような制御手順を有する。
【００５９】
まず、ＣＰＵは、ステップ（以下、ステップをＳと略す）１００において、デジタル画像の取得を行う。図４は、当該デジタル画像の一例を示した図である。このとき、線分抽出部１０１２は、撮像装置１０３が撮像したデジタル画像（入力画像）の取得を行い、当該入力画像を線分抽出部１０１２に送信する。
【００６０】
Ｓ１０１において、辺数特定部１０１１は、本発明において最終的に決定する多角形を構成する辺の数（以下、辺数と称する）を予め特定し、特定した辺数を線分抽出部１０１２に送信する。なお、当該処理の詳細については後述する。本実施の形態では、辺数を４と特定する。
【００６１】
Ｓ１０２において、線分抽出部１０１２は、撮像装置１０３から受信した上記入力画像のエッジ候補から、辺数特定部１０１１から受信した上記辺数の多角形を構成しうるような線分群の抽出を行う。図５は、線分抽出部における処理の実行によって抽出される線分の一例を示す図である。当該図５において太線となっている線分が、当該線分抽出部１０１２による処理により抽出された線分である。なお、当該処理の詳細については後述する。
【００６２】
そして、線分抽出部１０１２は、抽出された線分を含む画像データを線分分類部１０１３に送信する。
【００６３】
図７は、線分分類部１０１３における処理の説明図である。Ｓ１０３において、線分分類部１０１３は、線分抽出部１０１２から受信した上記抽出された線分を含む画像データをもとに、辺数特定部１０１１が特定した辺数に応じて、図７に示すように、線分抽出部１０１２により抽出された線分Ｌ１〜Ｌ１５を、矩形を構成しうる上辺Ｌ１〜Ｌ４、左辺Ｌ５、６、下辺Ｌ７〜Ｌ１１および右辺Ｌ１２〜Ｌ１５の４つの候補群に分類する。なお、当該処理の詳細については後述する。
【００６４】
そして、線分分類部１０１３は、上記分類された線分を含む画像データを生成し、当該画像データを線分選択部１０１４に送信する。
【００６５】
Ｓ１０４において、線分選択部１０１４はユーザのカーソルキー１０４１による入力に応じて、Ｓ１０３で分類した辺候補の選択を行う。
【００６６】
ここで、図１５（ａ）〜（ｅ）は辺候補の選択処理において、カーソルキーの下方向キーを押した際に、辺候補ＢＬ５〜ＢＬ１が順次選択される様子を示した図である。
【００６７】
具体的には、線分選択部１０１４は、上記カーソルキー１０４１が受け付けた入力に応じて、線分分類部１０１３から受信した画像データに含まれる分類された線分を各候補群から一本ずつ選択する。なお、当該処理のさらなる詳細については後述する。
【００６８】
Ｓ１０５において、線分選択部１０１４は、確定ボタン１０４２の操作を受け付けることで、その時点において選択されている線分および選択されていない線分を含む画像データを多角形形成部１０１５に送信する。そして、多角形形成部１０１５は、上記線分選択部１０１４から受信した画像データにおいて、選択されている辺から多角形を確定する。以上により、ユーザが所望とする多角形を指定する処理は完了する。以下に、上記各ステップにおける処理の詳細を述べる。
【００６９】
（入力画像取得処理）
入力画像の取得を行うＳ１００の説明を行う。入力画像は、撮像装置１０３によって撮影し、メモリ１０５に格納される。あるいは、ＦＤ１０７１、光ディスク１０８１等の記録媒体をＦＤ駆動装置１０７または光ディスク駆動装置１０８を介して読み込まれたデジタル画像や、通信Ｉ／Ｆ１０９および通信路１１０を通して読み込まれたデジタル画像であってもよい。デジタル画像の形式には、ビットマップ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐｓ）等の画像形式であるが、前述の形式に限定しない。
【００７０】
（辺数特定処理）
辺数の特定を行うＳ１０１の説明を行う。Ｓ１０１においては、辺数特定部１０１１が、本発明において最終的に決定する多角形を構成する辺の数を予め特定する。特定方法としては、本発明を適用するアプリケーションにおいて、予め辺の数が決められている場合は、メモリ１０５内部に予め辺の固定数を格納しておく。
【００７１】
また、辺数特定部１０１１は、Ｓ１００において取得された入力画像の形状から自動的に辺数を判断し、形成する多角形の辺数の候補を、入力装置１０４を介して、ユーザに提示して選択させることもできる。当該辺数判断の方法の詳細については、後述する（線分分類処理）の項にて説明する。
【００７２】
ユーザによる選択方法としては、キーボードによる数値の入力、リストボックスによる選択等を用いるが、前述の方法に限定しない。本実施の形態では、矩形を抽出することを目的とし、辺の数は４とする。
【００７３】
（線分抽出処理）
線分の抽出を行うＳ１０２の説明を行う。まず、Ｓ１００において取得された入力画像に対して、グレースケール処理を施した後、入力画像のエッジ検出を行う。エッジ検出方法としては、画像全体にＳｏｂｅｌフィルタ、Ｌａｐｌａｃｉａｎフィルタ、Ｃａｎｎｙフィルタ等、既存技術を用いるが、前述の方法に限定しない。
【００７４】
次に、エッジ検出フィルタをかけた後の画像に対して、線分の検出を行う。線分検出方法としては、ハフ変換、標準的ハフ変換等、既存技術を用いて、変換後に得られたスコアの高いものを線分とするが、前述の方法に限定しない。
【００７５】
画像サイズが大きくなった場合、これらの処理に負荷がかかる可能性があるため、グレースケール処理を施す前に、画像の縮小処理を行ってもよい。この場合の縮小処理には、ニアレストネイバー法、バイリニア法、バイキュービック法等、既存技術を用いるが、前述の方法に限定しない。
【００７６】
（線分分類処理）
図６は、線分分類部１０１３における処理の手順を示すフローチャートである。上記抽出された線分を辺候補群に分類するＳ１０３について、図６および図７を参照しつつ説明する。
【００７７】
まず、Ｓ２００において、線分分類部１０１３は全辺候補の端点の座標を平均した位置ＣＰの取得を行う。具体的には、図７に示す、Ｓ１０２において抽出された線分である辺Ｌ１〜Ｌ１５の、各辺の端点の座標を平均した値を示す位置をＣＰとする。
【００７８】
次に、Ｓ２０１において、線分分類部１０１３はＣＰを原点とした各辺候補の法線ベクトルの取得を行う。この場合の法線ベクトルとは、具体的には、ＣＰから各辺に対して垂線を引いた際の直線である。
【００７９】
Ｓ２０２において、ＣＰを通る水平線分と各法線ベクトルとのなす角度の算出を行う。なす角度は０°≦θ＜３６０°とする。図７の例では、Ｌ１に対してθ１、Ｌ２に対してθ２、・・・、Ｌ１５に対してθ１５が算出される。なお、上記線分のうち互いに平行となっている線分の各法線ベクトルは、上記ＣＰを通る水平線分と同じ角度を成す。
【００８０】
Ｓ２０３において、各角度を最終的に抽出する辺の数に応じてクラスタリング処理による分類を行う。本実施形態においては、図７のように、θ１〜θ１５を角度に対して４つのグループに分けることになる。この場合、θ１〜θ４、θ５とθ６、θ７〜θ１１およびθ１２〜θ１５が近い角度を示すことによって、それぞれ同じグループとなることがわかる。クラスタリング処理の方法としては、階層的クラスタリング、非階層的クラスタリングがあり、非階層的クラスタリングの例としては、ｋ−ｍｅａｎｓ法、ＩＳＯＤＡＴＡ等があるが、前述の方法に限定しない。
【００８１】
なお、辺数が４以外の場合は、上記クラスタリング処理による分類を行う際のグループ数を当該辺数と同数にすればよいので、上記線分分類処理は、他の辺数にも容易に適用可能である。
【００８２】
また、上述の（辺数特定処理）の項にて、形成する多角形の辺数をユーザに提示するために、入力画像の形状から自動的に辺数判断を行う処理を、以上の説明と同様の処理によって行うことが出来る。
【００８３】
すなわち、Ｓ２０２における処理と同様に、ＣＰを通る水平線分と各法線ベクトルとのなす角度の算出を行う。そして、算出した角度に対して、適当と考えられる分類数を、
・ＢｅａｌｅのＦ値
・Ｐｓｅｕｄｏ Ｔ２ Ｔｅｓｔ
・Ｃｕｂｉｃ Ｃｌｕｓｔｅｒｉｎｇ Ｃｒｉｔｅｒｉｏｎ（ＣＣＣ）統計量
などの指標を用いて算出する（http://ua.t.u-tokyo.ac.jp/okabelab/asami/clustering.pdf.P28参照のこと）。このようにして算出された分類数を辺数とすることで、辺数判断の自動化が可能となる。なお、指標は上記のものに限定しない。
【００８４】
また、図８は、線分分類部１０１３における処理の他の例を示す説明図である。上述した線分分類方法とは別の処理を、図８を参照しつつ説明する。当該線分分類処理においては、図８に示すように、辺の数を４と設定するために画像の対角線によって上部Ａ１、下部Ａ２、左部Ａ３および右部Ａ４の四分割した場合に、各々の辺候補がどの領域に含まれるかによって、分類を行う。
【００８５】
辺候補が２つの領域にまたがって存在する場合、領域により多く含まれる方に分類する。図８に記載されている辺候補ＴＬ４を例にとると、辺候補ＴＬ４は、上部Ａ１、左部Ａ３および右部Ａ４の領域にまたがって存在している。しかし、辺候補ＴＬ４のうち上部Ａ１の領域に存在する部分の割合が最も大きいため、辺候補ＴＬ４は上部Ａ１に分類される。
【００８６】
これを踏まえると、Ｓ１０２で抽出された辺候補は、上部Ａ１に対してＴＬ１〜ＴＬ４、下部Ａ２に対してＢＬ１〜ＢＬ５、左部Ａ３に対してＬＬ１〜ＬＬ２、右部Ａ４に対してＲＬ１〜ＲＬ４に分類される。ただし、この分類方法は、既存技術を用いており、前述の方法に限定しない。例えば、線分分類部１０１３は、上述の複数の領域にまたがった辺候補の分類において、辺候補の全長のうち所定の閾値を超える割合が存在する領域に、当該辺候補を分類してもよい。図８を例に取ると、辺候補ＴＬ４は上部Ａ１、左部Ａ３および右部Ａ４にまたがって存在するが、当該辺候補ＴＬ４の全長のうち上部Ａ１が占める割合が、例えば６０パーセント以上であれば辺候補ＴＬ４を上部Ａ１に分類する。
【００８７】
（線分選択処理）
図９は、カーソルキー１０４１の上下左右の方向キーと、分類された各辺の候補群の対応を表す図である。図１０は、カーソルキー１０４１と辺候補の対応をユーザに提示する様子を示す図である。図１１は、つまみ１０４４を有するスティック状の操作装置を示す図である。図１２（ａ）は、つまみ１０４４の回転方向が４分割されたスティック状の操作装置を示す図であり、図１２（ｂ）は、つまみ１０４４の回転方向が３分割されたスティック状の操作装置を示す図である。図１４は、辺候補から矩形を構成する方法を示す図である。図１３は入力装置１０４としてタッチパネルを採用した場合におけるインタフェース図である。辺候補の切替えを行うＳ１０４において線分選択部１０１４が行う処理の流れを、図９〜１５を参照しつつ説明する。
【００８８】
線分選択部１０１４が辺候補の切替えを行う際のユーザインタフェースとして、カーソルキー１０４１を用いる。ここでは、カーソルキー１０４１は上方向キー、下方向キー、左方向キーおよび右方向キーの４つのキーから成っており、図９に示すようにそれぞれのキーがＳ１０３で分類した各候補群と対応付けられる。
【００８９】
具体的には、上方向キーが、辺候補群ＴＬ１〜ＴＬ４の切替え操作に割り当てられ、下方向キーが、辺候補群ＢＬ１〜ＢＬ５の切替え操作に割り当てられ、左方向キーが、辺候補群ＬＬ１およびＬＬ２の切替え操作に割り当てられ、右方向キーが辺候補群ＲＬ１〜ＲＬ４の切替え操作に割り当てられる。切替え操作は、方向キーを押すと、画像の最も内側に存在する辺候補から、画像の最も外側に存在する辺候補に向かって、辺候補の切替えが行われる。上方向キーを押して辺候補群ＴＬ１〜ＴＬ４の切替えを行う例を示すと、辺候補の切替えの初期位置がＴＬ３であった場合、上方向キーを押す度に、ＴＬ３→ＴＬ２→ＴＬ１と、外側に向かって切替わる。最も外側の辺候補に切替わった時点で上方向キーを押すと、ＴＬ１→ＴＬ４と、最も内側の辺候補に切替わる。下方向キー、左方向キー、右方向キーに対しても、上方向キーと同様の切替え操作となり、右方向キーを押して辺候補ＲＬ１〜ＲＬ４の切替えを行う場合、辺候補の初期位置がＲＬ３であった場合、右方向キーを押すと、ＲＬ３→ＲＬ２→ＲＬ１→ＲＬ４→ＲＬ３となる。
【００９０】
また、図１０に示すように、ユーザが辺候補とボタンとの割り当て関係がわかるように、画面内に描かれている辺候補付近に、割り当てられたカーソルキーの画像２０１（ａ）〜（ｄ）を提示してもよい。換言すれば、線分選択部は、各辺の候補群がいずれの入力方向に対応しているかをユーザに提示してもよい。カーソルキーの位置は、例えば、各辺候補の中心位置に表示する等が挙げられる。
【００９１】
また、当該辺方向の切替え方向はこの方向に限られるものではなく、画像の最も外側に存在する辺候補から、画像の最も内側に存在する辺候補に向かって、辺候補の切替えが行われてもよい。その場合は、最も内側の辺候補、例えばＴＬ４に切替わった時点で上方向キーを押すと、ＴＬ４→ＴＬ１と、最も外側の辺候補に切替わる。換言すれば、現在選択されている線分が当該線分の属する候補群の端に存在する場合、上記入力装置がユーザの入力を受け付けると、当該候補群の他方の端に存在する線分を選択する。
【００９２】
また、入力装置１０４の変更例として、図１１に示すスティック状の操作装置を使用することも考えられる。当該操作装置は、つまみ１０４４（入力装置）を倒すことで方向を入力でき、２次元方向における、３６０度の方向を認識することができる。これを、図１２（ａ）に示すように、矢印で囲まれた範囲につまみ１０４４を倒した際に、同じ方向として認識するように設定した場合、方向を四分割することで、上下左右の四方向入力装置にもなり、また、図１２（ｂ）に示すように、方向を三分割することで、三方向入力装置にもなる。これによって、線分候補から、矩形以外の多角形を構成する場合に、入力装置の物理的な形状の変更を行うことなく、辺候補と入力装置の対応付けが可能となる。換言すれば、上記スティック状の操作装置は、２次元方向の入力が可能であると同時に上記多角形の辺と同数の入力方向を有する。そして、上記入力方向のそれぞれと、上記多角形の各辺の候補群の位置関係とが一対一の関係で対応しており、上記線分選択部１０１４は、上記入力装置が受け付けた入力方向に対応する候補群の選択を行う。
【００９３】
入力装置１０４のさらに別の変更例として、図１３に示すようなタッチパネル１０４３を入力装置１０４として用いてもよい。タッチパネル１０４３の詳細は後述する第２の実施形態にて説明するが、線分選択部１０１４に備えられるキー表示処理部１０１６（キー表示処理手段）によって画面下方に表示されるカーソルキー画像ａおよびボタン画像ｂは、それぞれカーソルキー１０４１および確定ボタン１０４２と同様の機能を持つ。すなわち、線分選択部１０１４は、当該カーソルキー画像ａおよびボタン画像ｂが受け付けた入力方向に対応する辺の候補群の選択を行う。よって、タッチパネル上に表示されたカーソルキー画像ａおよびボタン画像ｂにふれることで、上述のような線分の選択を行うことが可能である。
【００９４】
次に、辺候補の切替えを行った際に構成される矩形に関する説明を、図１４を用いて行う。図１４の例では、Ｓ１０４における操作によって、上部Ａ１に対して辺候補ＴＬ１、下部Ａ２に対して辺候補ＢＬ５、左部Ａ３に対して辺候補ＬＬ１、右部Ａ４に対して辺候補ＲＬ１が選択されている。この場合、辺候補ＢＬ５の長さが短いため、四本の辺候補によって矩形を構成することができない。したがって、それぞれの辺候補を延長し、他の辺候補と交わる四点からなる矩形とすることで、前記問題を解決する。
【００９５】
また、ユーザに対しては、図１４の右部に示すように、選択した辺候補によって構成される矩形を実線で、それ以外の線分を点線で表示することで、選択した辺候補によってどのような矩形が構成されるかが、直感的にわかるようになっている。ただし、この表示方法に限定せず、選択した辺候補によって構成される矩形を赤の実線、それ以外の線分を黒の実線にすることや、選択した辺候補によって構成される矩形を太線、それ以外の線分を細線にする等、ユーザが、選択した辺候補によって構成される矩形と、それ以外の線分の区別が行えればよい。換言すれば、線分選択部１０１４は、上記入力画像から抽出された線分のうち、選択している線分と選択していない線分とを、色または線種が互いに異なる線としてユーザに提示してもよい。
【００９６】
これらを踏まえて、Ｓ１０４における操作のうち、カーソルキー１０４１の下方向キーを押したときの、選択した辺候補によって構成される矩形の変化を図１５に示す。図１５において、選択されている辺候補は実線で、それ以外は破線で示されている。ここで、図１５（ａ）は、ＢＬ５を選択しているときに構成される矩形を図示し、同様に、図１５（ｂ）〜（ｅ）は、それぞれＢＬ４、ＢＬ３、ＢＬ２およびＢＬ１を選択しているときに構成される矩形を図示する。辺候補の初期値は、例として、上部Ａ１に対して辺候補ＴＬ１、下部Ａ２に対して辺候補ＢＬ５、左部Ａ３に対して辺候補ＬＬ１、右部Ａ４に対して辺候補ＲＬ１とする。そして、下方向キーを押す度に、図１５（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）→（ａ）・・・の順番で矩形が順次変化する。
【００９７】
また、上述した線分選択方法とは別の、下記の方法をとることも考えられる。
【００９８】
図１６は、線分選択部１０１４における処理の他の例におけるカーソルキー１０４１、確定ボタン１０４２、内側指示ボタン１０４５および外側指示ボタン１０４６を示す図である。
【００９９】
当該線分選択処理において、入力装置１０４は、内側指示ボタン（入力装置、線分指示手段）１０４５および外側指示ボタン（入力装置、線分指示手段）１０４６をさらに備えてもよい。前記内側指示ボタン１０４５は、辺候補を外側から内側へと順次指示可能なボタンであり、前記外側指示ボタン１０４６は、辺候補を内側から外側へと順次指示可能なボタンである。
【０１００】
図１７は、線分選択部１０１４における処理の他の例の手順を示すフローチャートである。当該処理の流れを図１７を参照しつつ説明する。
【０１０１】
まず、Ｓ３００において、線分選択部１０１４は、ユーザによるカーソルキー１０４１への入力に応じて候補群の選択を行う。図１８（ａ）〜（ｃ）は、カーソルキー１０４１、内側指示ボタン１０４５および外側指示ボタン１０４６を用いて辺候補群ＴＬ１〜ＴＬ４を選択する様子を示す図である。図１８（ａ）に示すように、カーソルキー１０４１の上方向キーを押すことにより、当該カーソルキー１０４１の上方向キーに対応付けられた辺候補群ＴＬ１〜ＴＬ４が選択される。ここで、選択されている辺候補群ＴＬ１〜ＴＬ４は、図１８（ａ）において太線で描かれている。他の方向キーを押した際には、その方向キーに対応付けられた辺候補群が選択される。
【０１０２】
次に、Ｓ３０１において、線分選択部１０１４は、Ｓ３００にて選択された辺候補群からの辺候補の選択を行う。具体的には、内側指示ボタン１０４５を押すと、図１８（ｂ）のように、図１８（ａ）で指示されている辺候補より一つ内側の辺候補を指示する。このとき、指示される辺候補は、ＴＬ１→ＴＬ２となり、その後内側指示ボタン１０４５を押す度に、ＴＬ３→ＴＬ４→ＴＬ１の順番で辺候補が指示されていく。また、外側指示ボタン１０４６を押すと、図１８（ｃ）のように、図１８（ａ）で指示されている辺候補より一つ外側の辺候補を指示する。このとき、辺候補が指示される順番は、ＴＬ１→ＴＬ４→ＴＬ３→ＴＬ２→ＴＬ１となる。このように、Ｓ３０１とＳ３０２とを繰り返すことによって、全辺の候補を指示する。
【０１０３】
そして、Ｓ３０３において、確定ボタン１０４２による辺候補の確定を行う。具体的には、確定ボタン１０４２を押すことによって、Ｓ３０１およびＳ３０２で選択した辺候補の確定を行う。
【０１０４】
内側指示ボタン１０４５および外側指示ボタン１０４６は特定のボタンに限られるものではなく、他のボタンを代用して用いることも可能である。また、内側指示ボタン１０４５および外側指示ボタン１０４６はタッチパネルによって実施することも可能である。
【０１０５】
また、入力装置１０４は、クリアボタン１０４７をさらに備えてもよい。当該クリアボタン１０４７を押すことによって、直前の操作を取り消すことが可能である。
【０１０６】
図１９は、カーソルキー１０４１、確定ボタン１０４２およびクリアボタン１０４７を示す図である。
【０１０７】
クリアボタン１０４７は特定のボタンに限られるものではなく、他のボタンを代用して用いることも可能である。また、前記クリアボタン１０４７はタッチパネルによって実施することも可能である。
【０１０８】
（多角形確定処理）
次に多角形の確定を行うＳ１０５の説明を行う。Ｓ１０３において選択した辺候補によって構成される多角形を、確定ボタン１０４２を押すことで確定させる。確定とは、すなわち、多角形形成部１０１５が、上記各候補群において選択された全ての線分を延長または短縮したものを各辺とする多角形を形成することである。
【０１０９】
（本実施形態の利点）
最後に、上述した一連の処理によって得られる本実施形態の利点について説明する。上記辺候補の選択処理において、上部Ａ１に対する候補数が４、下部Ａ２に対する候補数が５、左部Ａ３に対する候補が２、右部Ａ４に対する候補が４であるため、矩形候補数は、
４×５×２×４＝１６０
通り存在することになる。しかし、上記選択処理においては、各辺候補をそれぞれ独立したキーを押すことで選択するため、選択回数は最多でも、
４＋５＋２＋４＝１５
回で済むこととなる。
【０１１０】
確定した多角形によって、様々な処理が可能となる。例えば、入力画像が、斜め方向から撮影した名刺や、ホワイトボード、看板等の矩形領域を含む場合、その矩形領域を囲むように多角形を確定させ、その多角形を用いて透視変換処理を行い、多角形内の画像の補正を行うことができる。特に、名刺の場合、画像が補正されることによって、名刺内の文字列を様々な角度から撮影してもＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）で読み取ることが容易となり、情報処理端末１を名刺リーダとして用いることが可能となる。
【０１１１】
以上のように、本発明によれば、ユーザは多角形を構成しうる各辺の候補群に分類された画像内の複数の線分から、ユーザが望む目的の辺を、多角形を構成しうる各辺に対応付けられた入力装置で選択することによって、少ない回数で直感的に選択し、多角形を指定することが可能になる。
【０１１２】
（第２の実施形態）
以下、この発明の第２の実施の形態について図面を参照して説明する。以下の説明では同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【０１１３】
本実施の形態に係る画像処理装置における処理は、コンピュータまたは情報端末、デジタルカメラに搭載されるＣＰＵ上で実行されるソフトウェアによって実現される。なお、情報端末やデジタルカメラなどにおいては、画像処理や制御を行うＣＰＵ上で実行されるソフトウェアにより実現されてもよいし、専用のハードウェアとして実現されてもよい。
【０１１４】
（装置の構成）
図２０（ａ）は本発明の第２の実施形態に係る情報処理端末２の概観を示す斜視図であり、図２０（ｂ）は本発明の第２の実施形態に係る情報処理端末２の背面の概観を示す斜視図である。
【０１１５】
情報処理端末２は、平板上の筐体である情報処理端末本体１２からなり、情報処理端末本体１２の正面には情報を表示するためのＬＣＤまたはＯＥＬなどからなる表示装置１０２とタッチパネル１０４３（入力手段）が配置されている。タッチパネルとしては、抵抗膜方式、静電容量方式、光センサ方式等、既存技術を用いるが、前述の方法に限定しない。
【０１１６】
また、情報処理端末本体１２の背面上部には、撮像装置１０３が設置されている。撮像装置２１として、ＣＣＤ、ＣＭＯＳ等が用いられる。
【０１１７】
本発明の実施の形態に係る情報処理端末の構成を示すブロック図については、第１の実施形態と同一で、図１のように構成されるため説明を省略する。
【０１１８】
（処理手順について）
本実施の形態に係る画像処理装置１０１で実行されるプログラムについて説明する。なお、本実施の形態において、Ｓ１０１のステップにおける処理は第１の実施の形態と同一であるため、ここでは説明を省略する。
【０１１９】
まず、Ｓ１０２において実施形態１と同様に辺数の特定を行う。本実施形態では、辺数を３と設定する。
【０１２０】
次に、辺候補の分類を行うＳ１０３の説明を行う。
【０１２１】
図２１は線分分類部１０１３における処理の、辺数が３である場合の処理の概要を示す説明図である。当該図２１において、Ｌ１１〜Ｌ１９は線分抽出部１０１２により入力画像中から抽出された線分である。Ｌ１１〜Ｌ１３、Ｌ１４〜Ｌ１６、Ｌ１７〜Ｌ１９はそれぞれ並行となっており、図６に示すＳ２０２において、実施形態１におけるＳ２０２における説明と同様に、Ｌ１１〜Ｌ１３に対してθ１１〜θ１３、Ｌ１４〜Ｌ１６に対してθ１４〜θ１６、Ｌ１７〜Ｌ１９に対してθ１７〜θ１９が算出される。これら線分群に対して、Ｓ２０３において辺数３としてクラスタリング処理による分類を行った場合、θ１１〜θ１３、θ１４〜θ１６、θ１７〜θ１９がそれぞれ同じ角度を示すことによって、それぞれ同じグループとなり、Ｌ１１〜Ｌ１９は３つの辺候補群に分類される。
【０１２２】
ここで、図２２は本実施形態に係る辺候補の切替えを行う際のインタフェース図である。図２２を参照しながら、辺候補の切替えを行うＳ１０４の説明を行う。辺候補の切替えを行うユーザインタフェースとして、タッチパネル１０４３を用いる。ここで、タッチパネル１０４３は表示装置１０２上にあるため、表示装置１０２の座標系と、タッチパネル１０４３の座標系が等しい、あるいは、ほぼ等しいため、ユーザは画面上の表示物に対して直感的に操作を行えるものとなっているとする。
【０１２３】
本実施形態において、線分選択部１０１４は、タッチパネル上に、該候補群に対応しユーザが入力可能なキーを表示するための、図１に示すようなキー表示処理部１０１６（キー表示処理手段）を備える。表示装置１０２の画面上部には、Ｓ１００で取得したデジタル画像と、Ｓ１０２およびＳ１０３で抽出、分類された辺候補が表示されており、画面下部には、キー表示処理部１０１６が、上方向キー、左下方向キーおよび右下方向キーの三つの方向キーから成るカーソルキー画像ｃを表示する。そして、タッチパネル１０４３によって、それぞれの方向キーを操作することができ、それぞれの方向キーがＳ１０３で分類した領域と対応付けられる。ただし、デジタル画像とカーソルキー画像ｃの位置関係や形状は、これに限定されることはない。
【０１２４】
切替え操作は、方向キーを押すと、画像の最も内側に存在する辺候補から、画像の最も外側に存在する辺候補に向かって、辺候補の切替えが行われる。また、ユーザが辺候補とボタンとの割り当て関係がわかるように、画面内に描かれている辺候補付近に割り当てられたカーソルキーの画像を提示する。カーソルキーの位置は、例えば、各辺候補の中心位置に表示する等が挙げられる。
【０１２５】
次に辺候補の確定を行うＳ１０５の説明を行う。Ｓ１０４において選択した辺候補によって構成される三角形の情報を、画面上に描かれたボタン画像ｂを押すことで確定させる。
【０１２６】
この辺候補の切替え方法により、上部Ｂ１に対する候補数が３、左下部Ｂ２に対する候補数が３、右下部Ｂ３に対する候補が３であるため、矩形候補数は、
３×３×３＝２７
通り存在することになるが、選択回数は、
３＋３＋３＝９
回で済むこととなる。
【０１２７】
以上のように、本発明によれば、ユーザは多角形を構成しうる各辺の候補群に分類された画像内の複数の線分から、ユーザが望む目的の辺を、多角形を構成しうる各辺に対応付けられた入力装置で選択することによって、少ない回数で直感的に選択し、多角形を指定することが可能になる。
【０１２８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１２９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３０】
また、上述した情報処理端末１および２の各ブロック、特に画像処理装置１０１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３１】
すなわち、情報処理端末１および２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報処理端末１および２の制御プログラム（画像処理装置１０１）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１０１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３３】
また、情報処理端末１および２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１３４】
なお、本発明は、以下のようにも表現できる。
【０１３５】
すなわち、本発明に係る画像処理装置は、画像内の複数の線分から多角形の構成に必要な辺を選択して多角形を構成する画像処理装置であって、前記複数の線分を多角形を構成しうる各辺の候補群に分類する線分分類手段と、前記候補群から入力装置によって前記各辺の候補群の線分から目的の辺を選択する辺選択手段と、前記選択された辺から多角形を形成する多角形形成手段を備えたことを特徴としている。また、上記辺選択手段は、入力装置は二次元の方向を入力することができ、前記入力装置が入力できる入力方向数が前記多角形を構成する辺の数に等しく、各入力方向と前記各辺の候補群の配置関係が一対一で対応付けられており、前記各入力方向の入力によって前記各辺の候補群から目的の辺を選択することが好ましい。また、上記辺選択手段は、前記各辺に対応付けられた前記入力方向を入力すると前記各辺の候補群内の線分が前記多角形の中心から外側に向かって選択し、選択されている前記線分が前記多角形の最も外側の場合に前記各辺に対応付けられた前記各入力方向を入力すると前記多角形の最も中心位置にある線分が選択することが好ましい。また、上記辺選択手段は、前記各入力方向と前記各辺の候補群の配置関係がユーザに提示されることことが好ましい。また、上記辺選択手段において前記入力装置はソフトウェアで構成されることが好ましい。また、上記辺選択手段において、前記入力装置がタッチパネルで構成されることが好ましい。また、上記多角形形成手段は、選択された各辺を延長して交わった交点から前記多角形が形成されることが好ましい。また、前記多角形形成手段は、形成された多角形を構成する各辺と前記各辺を除く線分を互いに異なる種類の線としてユーザに提示することが好ましい。本発明にかかる画像処理方法は、画像内の複数の線分から多角形の構成に必要な辺を選択して多角形を構成する画像処理方法であって、前記複数の線分を多角形を構成しうる各辺の候補群に分類する線分分類ステップと、前記候補群から入力装置によって前記各辺の候補群の線分から目的の辺を選択する辺選択ステップと、前記選択された辺から多角形を形成する多角形形成ステップを備えてもよい。
【産業上の利用可能性】
【０１３６】
本発明は、入力画像の中から任意の多角形を簡単に指定可能な画像処理装置、特に、名刺や、看板等に描かれた文字の読み取りに利用することができる。そして、本発明に係る画像処理装置を、携帯電話、デジタルカメラ、ＰＤＡ等の撮像装置が設けられた情報処理端末に実装することで、簡便に入力画像内の多角形（名刺等）を指定できる情報処理端末を提供できる。
【符号の説明】
【０１３７】
１０１ 画像処理装置
１０１１ 辺数特定部（辺数特定手段）
１０１３ 線分分類部（線分分類手段）
１０１４ 線分選択部（線分選択手段）
１０１５ 多角形形成部（多角形形成手段）
１０１６ キー表示処理部（キー表示処理手段）
１０４ 入力装置
１０４１ カーソルキー（入力装置、方向入力手段）
１０４２ 確定ボタン（入力装置）
１０４３ タッチパネル（入力装置）
１０４４ つまみ（入力装置）
１０４５ 内側指示ボタン（入力装置、線分指示手段）
１０４６ 外側指示ボタン（入力装置、線分指示手段）
１０４７ クリアボタン（入力装置）
ａ カーソルキー画像（入力装置）
ｂ ボタン画像（入力装置）
ｃ カーソルキー画像（入力装置）
【技術分野】
【０００１】
本発明は、画像内の複数の線分から、ユーザが望む多角形を指定することが可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像装置を搭載するデジタル機器において、名刺を撮影して該名刺に記載されている内容を自動的に読み込む技術や、看板等を撮影して該看板に記載された情報から処理を行う技術が盛んに研究開発されている。これらを実現するためには、撮影した画像内に存在する、名刺、看板等の矩形領域を検出することが必要となる。
【０００３】
しかし、名刺や看板等の撮影においては、背景や、名刺、看板内に様々な模様が存在する可能性が高く、その模様によって、間違った矩形候補が生じることがある。この場合、最終的に、ユーザがどの矩形候補が正解かを選択する必要が生じる。また、矩形候補の数が多くなった場合、ユーザが望む矩形を選択することが困難となる。
【０００４】
特許文献１によると、撮像して得られた画像データから複数の直線を抽出し、その抽出された複数の直線が囲む閉領域を抽出することで、閉領域の四辺の一部がとぎれて観察される場合であっても、画像から閉領域を抽出する手法が提案されている。
【０００５】
特許文献２によると、画像上に設定された一群の連続する多節線分または点列で既定される関心領域の形状を修正する場合、多節線分または点列を等間隔に配列し、その内の一つを選択してこれをドラッグすることによって、選択した多節線分はたは点列に隣接する他の多節線分または点列の一つまたは複数を、所定の張力に応じて追随して移動させることで、操作する数を軽減して、関心領域の形状修正が実施できる手法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−０１１７６２号公報（２００７年１月１８日公開）
【特許文献２】特開２０００−３０８６１９号公報（２０００年１１月７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１および２には、画像内においてユーザが望む多角形を、少ない回数の直感的かつ簡単な操作によって指定することができる技術は開示されていない。
【０００８】
すなわち、特許文献１では、求めた複数の閉領域をデジタルカメラの表示部に表示し、十字キー等の操作によって、所望の閉領域をユーザが選択できるようにし、そのようなユーザインタフェースによって、ユーザの領域の部分的修正を行う、と説明されているが、具体的な閉領域の選択方法が提示されていない。
【０００９】
また、特許文献２では、関心領域選択候補は一つであり、ユーザはその関心領域選択候補の各変更対象の頂点を選択する。この場合、頂点数が多くなった場合に、ユーザにとって、ユーザが望む関心領域を選択するために、多数の頂点の選択が必要となる。また、頂点の操作はマウスで行われるため、特に表示画面が小さい場合等、ユーザにとって操作が困難となる問題があった。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、少ない回数の直感的かつ簡単な操作により入力画像内から任意の多角形の指定を行うことを目的としている。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、上記の課題を解決するために、ユーザによる入力を受け付け可能な入力装置と接続される、画像を処理するための画像処理装置であって、入力画像から抽出する多角形の辺の数を特定する辺数特定手段と、上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類手段と、上記線分分類手段により分類された上記各候補群について、上記入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択手段と、上記線分選択手段によって上記各候補群から選択された線分により、多角形を形成する多角形形成手段と、を備えることを特徴としている。
【００１２】
本発明に係る画像処理方法は画像を処理するための画像処理方法であって、入力画像から抽出する多角形の辺の数を特定する辺数特定ステップと、上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類ステップと、上記線分分類ステップにより分類された上記各候補群について、ユーザによる入力を受け付け可能な入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択ステップと、上記線分選択ステップによって上記各候補群から選択された線分により、多角形を形成する多角形形成ステップと、を備えることを特徴としている。
【００１３】
上記構成によると、線分分類手段は、辺数特定手段により特定された数の辺を持つ多角形を構成しうるように入力画像から抽出された線分を、上記多角形の各辺の候補群に分類し、線分選択手段は、入力装置が受け付けた入力に応じて、ユーザが所望する線分を上記候補群から選択する。そして多角形形成手段が、各候補群から選択された線分から多角形を形成する。また、上記画像処理方法の各ステップにおいては、上記画像処理装置の各手段と同一の処理が実現されている。
【００１４】
上記のようにユーザは、入力装置を介して、各候補群について線分を１本ずつ選択すればよい。すなわち、入力画像から抽出された線分は多角形の辺の各候補群に分類されているので、ユーザは、所望とする多角形の各辺を指定する時に、該各辺の候補群以外は無視して選択を行うことが可能となる。
【００１５】
よって、煩雑な操作を行うことなく、少ない回数の簡単な操作で、所望の多角形を構成する辺を選択し、多角形の指定を行うことができる。
【００１６】
また、上記入力装置は２次元方向の入力が可能であると同時に上記多角形の辺と同数の入力方向を有し、上記入力方向のそれぞれと、上記多角形の各辺の候補群の位置関係とが一対一の関係で対応しており、上記線分選択手段は、上記入力装置が受け付けた入力方向に対応する候補群内で線分の選択を行うことが好ましい。
【００１７】
上記構成によれば、入力装置の各入力方向が、多角形をなす各辺の候補群の位置関係と一対一で対応付けられている。そして、線分選択手段は、上記入力装置が受け付けた入力方向に対応する候補群の選択を行う。
【００１８】
よってユーザは、上記入力装置の各入力方向を入力するだけで、各候補群から所望とする線分の選択を行うことができ、さらに、選択を行いたい線分が属する候補群の存在する方向に入力を行えば、該候補群内で線分の選択を行うことができる。よって、感覚的な操作で所望の多角形を構成する辺を指定することが可能となる。
【００１９】
また、上記線分選択手段は、現在選択されている線分が当該線分の属する候補群の端に存在する場合、上記入力装置がユーザの入力を受け付けると、当該候補群の他方の端に存在する線分を選択することが好ましい。
【００２０】
上記構成によれば、現在選択されている線分が当該線分の属する候補群の端に存在する場合、入力装置がユーザの入力を受け付けると、線分選択手段は、当該候補群の他方の端に存在する線分を選択する。
【００２１】
よって、ユーザは、一度選択した線分を、該線分の属する候補群に対応する方向への入力を繰り返すことによって再び選択することが可能となる。
【００２２】
また、上記入力装置は、２次元方向に上記多角形の辺と同数の入力方向を有する方向入力手段と、選択される線分を指示するための線分指示手段とを有し、上記方向入力手段の上記入力方向のそれぞれは、上記多角形の各辺の候補群の位置関係と一対一の関係で対応しており、上記線分選択手段は、上記方向入力手段が受け付けた入力方向に対応する候補群内で、上記線分指示手段により指示された線分を選択することが好ましい。
【００２３】
上記構成によれば、方向入力手段が受け付けた入力方向に対応する候補群内で、線分指示手段によって選択する線分の指示を行うことが出来る。すなわち、候補群の選択と、当該選択された候補群内での線分の指示とが、それぞれ独立した操作によって行われる。
【００２４】
よって、方向入力手段および線分指示手段はそれぞれ１つずつの役割のみを担っているため、１つの手段に対して複数の動作が割り当てられる構成に比べて、ユーザの操作に対してユーザの意図しない動作が発生し難くなり、またそのため、ユーザは快適に操作を行うことが可能となる。
【００２５】
また、上記線分選択手段は、各辺の候補群がいずれの入力方向に対応しているかをユーザに提示することが好ましい。
【００２６】
上記構成によれば、線分選択手段は、入力装置の各入力方向が各辺の候補群のいずれに対応しているかをユーザに提示する。
【００２７】
よって、上記提示に従うことで、ユーザは選択を行いたい辺候補群に対してどの方向に入力すればいいかを間違えることなく、スムーズに線分の選択を行うことが出来る。
【００２８】
また、前記入力装置がタッチパネルであり、タッチパネル上に、該候補群に対応しユーザが入力可能なキーを表示するための、キー表示処理手段を備えることが好ましい。
【００２９】
上記構成によると、前記入力装置がタッチパネルであり、キー表示処理手段がタッチパネル上に、該候補群に対応するキーを表示する。
【００３０】
よって、ユーザは、画面上の選択を行いたい候補群の近傍に表示されるキーに直接ふれることで、所望の候補群の選択を行うことができ、感覚的な操作で所望の線分を選択することができる。
【００３１】
また、上記多角形形成手段は、上記各候補群において選択された全ての線分を延長または短縮したものを各辺とする多角形を形成することが好ましい。
【００３２】
また、上記線分選択手段は、上記入力画像から抽出された線分のうち、選択している線分と、選択していない線分とを、互いに異なる種類の線としてユーザに提示することが好ましい。
【００３３】
上記構成によれば、線分選択手段は、選択している線分と、選択していない線分とを互いに異なる種類の線としてユーザに提示する。
【００３４】
よって、ユーザは、どの線分が現在選択されているかを簡単に確認することが可能となる。また、現在選択されている線分から形成される多角形の位置および形状をある程度予想し、所望の多角形を選択できているか否かを確認することが可能になる。
【００３５】
本発明にかかる画像処理プログラムは、上記画像処理方法をコンピュータに実行させることを特徴としている。
【００３６】
本発明に係る記録媒体は、上記画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したことを特徴としている。
【００３７】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の技術的範囲に含まれる。
【発明の効果】
【００３８】
本発明に係る画像処理装置は、以上のように、ユーザは多角形を構成しうる各辺の候補群に分類された画像内の複数の線分から、ユーザが望む目的の辺を、多角形を構成しうる各辺に対応付けられた入力装置で選択する構成である。
【００３９】
それゆえ、ユーザは、煩雑な操作を行うことなく、少ない回数の簡単な操作で、所望の多角形を構成する辺を選択し、多角形の指定を行うことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る情報処理端末の構成を示すブロック図である。
【図２】図２（ａ）は本発明の第１の実施形態に係る情報処理端末の概観を示す斜視図であり、図２（ｂ）は本発明の第１の実施形態に係る情報処理端末の背面の概観を示す斜視図である。
【図３】本発明の第１および第２の実施の形態に係る画像処理装置で実行される、プログラムの制御手順を示すフローチャートである。
【図４】本発明の第１および第２の実施の形態に係る画像処理装置で使用するデジタル画像の一例を示した図である。
【図５】線分抽出部における処理の実行によって抽出される線分の一例を示す図である。
【図６】線分分類部における処理の手順を示すフローチャートである。
【図７】線分分類部における処理の説明図である。
【図８】線分分類部における処理の他の例を示す説明図である。
【図９】カーソルキーの上下左右の方向キーと、分類された辺候補の対応を表す図である。
【図１０】カーソルキーと辺候補の対応をユーザに示す図である。
【図１１】つまみを有するスティック状の操作装置を示す図である。
【図１２】図１２（ａ）は、つまみの回転方向が４分割されたスティック状の操作装置を示す図であり、図１２（ｂ）は、つまみの回転方向が３分割されたスティック状の操作装置を示す図である。
【図１３】入力装置としてタッチパネルを採用した場合におけるインタフェース図である。
【図１４】辺候補から矩形を構成する方法を示す図である。
【図１５】図１５（ａ）〜（ｅ）は辺候補の選択処理において、カーソルキーの下方向キーを押した際に、辺候補ＢＬ５〜ＢＬ１が順次選択される様子を示した図である。
【図１６】線分選択部における処理の他の例におけるカーソルキー、確定ボタン、内側指示ボタンおよび外側指示ボタンを示す図である。
【図１７】線分選択部における処理の他の例の手順を示すフローチャートである。
【図１８】図１８（ａ）〜（ｃ）は、カーソルキー、内側指示ボタンおよび外側指示ボタンを用いて辺候補群ＴＬ１〜ＴＬ４を選択する様子を示す図である。
【図１９】カーソルキー１０４１、確定ボタン１０４２およびクリアボタン１０４７を示す図である。
【図２０】図２０（ａ）は本発明の第２の実施形態に係る情報処理端末の概観を示す斜視図であり、図２０（ｂ）は本発明の第２の実施形態に係る情報処理端末の背面の概観を示す斜視図である。
【図２１】線分分類部における処理の、辺数が３である場合の処理の概要を示す説明図である。
【図２２】本発明の第２の実施形態に係る辺候補の切替えを行う際のインタフェース図である。
【発明を実施するための形態】
【００４１】
（第１の実施形態）
以下、この発明の第１の実施形態について図１〜１９を参照して説明する。以下の説明では同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００４２】
本実施の形態に係る画像処理装置における処理は、コンピュータまたは情報端末、デジタルカメラに搭載されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で実行されるソフトウェアによって実現される。なお、情報端末やデジタルカメラなどにおいては、画像処理や制御を行うＣＰＵ上で実行されるソフトウェアにより実現されてもよいし、専用のハードウェアとして実現されてもよい。
【００４３】
（装置の構成）
図２（ａ）は本実施形態に係る情報処理端末１の概観を示す斜視図であり、図２（ｂ）は情報処理端末１の背面の概観を示す斜視図である。図１は、画像処理装置１０１の構成を示すブロック図である。まず、図１および２を参照して情報処理端末１の構成を説明する。
【００４４】
図２（ａ）に示すように、情報処理端末１は、平板上の筐体である情報処理端末本体１１からなり、情報処理端末本体１１の正面には情報を表示するためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などからなる表示装置１０２が配置され、情報処理端末本体１１の下面には、表示されたメニュー項目等を選択するための上下左右を指示可能なカーソルキー（方向入力手段）１０４１および確定ボタン１０４２が配置されている。
【００４５】
カーソルキー１０４１は、表示装置１０２上に表示されたメニュー項目等を移動するものであり、デジタル画像内の矩形抽出の際に後述する候補線分を選択する際にも利用される。ここでは、カーソルキー１０４１は上方向キー、下方向キー、左方向キーおよび右方向キーの４つのキーから成っている。確定ボタン１０４２は、各種動作モードのメニュー項目が表示されている状態では、選択／実行キーとして機能し、デジタル画像内の矩形抽出の際に多角形の確定ボタンとしても利用される。
【００４６】
そして、図２（ｂ）に示すように、情報処理端末本体１１の背面上部には、撮像装置１０３が設置されている。撮像装置１０３として、ＣＣＤ、ＣＭＯＳ等が用いられる。
【００４７】
また、図１に示すように、情報処理端末１は、該情報処理端末自体を集中的に制御するためのＣＰＵにより実現される、画像を処理するための画像処理装置１０１と、情報を表示するためのＬＣＤまたはＯＥＬなどからなる表示装置１０２と、上記カーソルキー１０４１および確定ボタン１０４２により構成される入力装置１０４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んで構成されるメモリ１０５と、固定ディスク１０６と、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）１０７１が着脱自在に装着されて、装着されたＦＤ１０７１にアクセスするＦＤ駆動装置１０７と、光ディスク１０８１が着脱自在に装着されて、装着された光ディスク１０８１にアクセスする光ディスク駆動装置１０８と、通信Ｉ／Ｆ１０９とを含む。上述より、上記画像処理装置１０１は、上記入力装置１０４（カーソルキー１０４１および確定ボタン１０４２）と接続される、画像を処理するための画像処理装置であるといえる。
【００４８】
画像処理装置１０１は、辺数特定部（辺数特定手段）１０１１、線分抽出部（線分抽出手段）１０１２、線分分類部（線分分類手段）１０１３、線分選択部（線分選択手段）１０１４および多角形形成部（多角形形成手段）１０１５を備えている。
【００４９】
辺数特定部１０１１は、上記撮像装置１０３が撮像した画像である入力画像から抽出する多角形の辺の数を特定し、特定した辺数を線分抽出部１０１２に送信する。
【００５０】
線分抽出部１０１２は、上記入力画像から、上記多角形を構成しうるような線分を抽出し、抽出された線分を含む画像データを線分選択部１０１４に送信する。
【００５１】
線分分類部１０１３は、線分抽出部１０１２によって、上記多角形を構成しうるように上記入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類し、当該分類された線分を含む画像データを線分選択部１０１４に送信する。
【００５２】
線分選択部１０１４は、上記線分分類部１０１３により分類された上記各候補群について、上記入力装置１０４が受け付けた入力に応じて、ユーザが所望とする線分を選択し、多角形形成部１０１５に送信する。また、線分選択部１０１４は、キー表示処理部１０１６（キー表示処理手段）を備えるが、当該キー表示処理部１０１６が行う処理については実施形態２において説明する。
【００５３】
多角形形成部１０１５は、上記線分選択部１０１４によって上記各候補群から選択された線分により、多角形を形成する。なお、上述した各部の処理の詳細については後述する。
【００５４】
光ディスク１０８１は、光学ドライブ装置を使い、光（半導体レーザ）の反射により情報を読み書きする記録媒体であり、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ）等がある。
【００５５】
通信Ｉ／Ｆ１０９は通信路１１０と該情報処理端末１とを通信可能に接続する機能を有する。通信路１１０にはインターネットを含む各種ネットワークを適用できる。
【００５６】
図１に示す情報処理端末１に搭載されるソフトウェアはＦＤ１０７１、光ディスク１０８１などの記録媒体に格納されて流通し、情報処理端末１の所定記録エリアに、ＣＰＵによりＦＤ駆動装置１０７または光ディスク駆動装置１０８を介して読み込まれて実行される。また通信Ｉ／Ｆ１０９および通信路１１０を通してソフトウェアを読み込んでもよい。
【００５７】
図１および図２における情報処理端末１が備えるハードウェア自体は一般的なものである。そして、本発明の最も本質的な部分はＣＰＵにおいて実行されるソフトウェア（プログラムやデータ）である。
【００５８】
（処理手順について）
図３は、画像処理装置１０１で実行される、プログラムの制御手順を示すフローチャートである。図３を参照して、画像処理装置１０１で実行されるプログラムについて説明する。本実施の形態に係る情報処理端末１においてＣＰＵにより読み出されて実行されるプログラムは、以下のような制御手順を有する。
【００５９】
まず、ＣＰＵは、ステップ（以下、ステップをＳと略す）１００において、デジタル画像の取得を行う。図４は、当該デジタル画像の一例を示した図である。このとき、線分抽出部１０１２は、撮像装置１０３が撮像したデジタル画像（入力画像）の取得を行い、当該入力画像を線分抽出部１０１２に送信する。
【００６０】
Ｓ１０１において、辺数特定部１０１１は、本発明において最終的に決定する多角形を構成する辺の数（以下、辺数と称する）を予め特定し、特定した辺数を線分抽出部１０１２に送信する。なお、当該処理の詳細については後述する。本実施の形態では、辺数を４と特定する。
【００６１】
Ｓ１０２において、線分抽出部１０１２は、撮像装置１０３から受信した上記入力画像のエッジ候補から、辺数特定部１０１１から受信した上記辺数の多角形を構成しうるような線分群の抽出を行う。図５は、線分抽出部における処理の実行によって抽出される線分の一例を示す図である。当該図５において太線となっている線分が、当該線分抽出部１０１２による処理により抽出された線分である。なお、当該処理の詳細については後述する。
【００６２】
そして、線分抽出部１０１２は、抽出された線分を含む画像データを線分分類部１０１３に送信する。
【００６３】
図７は、線分分類部１０１３における処理の説明図である。Ｓ１０３において、線分分類部１０１３は、線分抽出部１０１２から受信した上記抽出された線分を含む画像データをもとに、辺数特定部１０１１が特定した辺数に応じて、図７に示すように、線分抽出部１０１２により抽出された線分Ｌ１〜Ｌ１５を、矩形を構成しうる上辺Ｌ１〜Ｌ４、左辺Ｌ５、６、下辺Ｌ７〜Ｌ１１および右辺Ｌ１２〜Ｌ１５の４つの候補群に分類する。なお、当該処理の詳細については後述する。
【００６４】
そして、線分分類部１０１３は、上記分類された線分を含む画像データを生成し、当該画像データを線分選択部１０１４に送信する。
【００６５】
Ｓ１０４において、線分選択部１０１４はユーザのカーソルキー１０４１による入力に応じて、Ｓ１０３で分類した辺候補の選択を行う。
【００６６】
ここで、図１５（ａ）〜（ｅ）は辺候補の選択処理において、カーソルキーの下方向キーを押した際に、辺候補ＢＬ５〜ＢＬ１が順次選択される様子を示した図である。
【００６７】
具体的には、線分選択部１０１４は、上記カーソルキー１０４１が受け付けた入力に応じて、線分分類部１０１３から受信した画像データに含まれる分類された線分を各候補群から一本ずつ選択する。なお、当該処理のさらなる詳細については後述する。
【００６８】
Ｓ１０５において、線分選択部１０１４は、確定ボタン１０４２の操作を受け付けることで、その時点において選択されている線分および選択されていない線分を含む画像データを多角形形成部１０１５に送信する。そして、多角形形成部１０１５は、上記線分選択部１０１４から受信した画像データにおいて、選択されている辺から多角形を確定する。以上により、ユーザが所望とする多角形を指定する処理は完了する。以下に、上記各ステップにおける処理の詳細を述べる。
【００６９】
（入力画像取得処理）
入力画像の取得を行うＳ１００の説明を行う。入力画像は、撮像装置１０３によって撮影し、メモリ１０５に格納される。あるいは、ＦＤ１０７１、光ディスク１０８１等の記録媒体をＦＤ駆動装置１０７または光ディスク駆動装置１０８を介して読み込まれたデジタル画像や、通信Ｉ／Ｆ１０９および通信路１１０を通して読み込まれたデジタル画像であってもよい。デジタル画像の形式には、ビットマップ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐｓ）等の画像形式であるが、前述の形式に限定しない。
【００７０】
（辺数特定処理）
辺数の特定を行うＳ１０１の説明を行う。Ｓ１０１においては、辺数特定部１０１１が、本発明において最終的に決定する多角形を構成する辺の数を予め特定する。特定方法としては、本発明を適用するアプリケーションにおいて、予め辺の数が決められている場合は、メモリ１０５内部に予め辺の固定数を格納しておく。
【００７１】
また、辺数特定部１０１１は、Ｓ１００において取得された入力画像の形状から自動的に辺数を判断し、形成する多角形の辺数の候補を、入力装置１０４を介して、ユーザに提示して選択させることもできる。当該辺数判断の方法の詳細については、後述する（線分分類処理）の項にて説明する。
【００７２】
ユーザによる選択方法としては、キーボードによる数値の入力、リストボックスによる選択等を用いるが、前述の方法に限定しない。本実施の形態では、矩形を抽出することを目的とし、辺の数は４とする。
【００７３】
（線分抽出処理）
線分の抽出を行うＳ１０２の説明を行う。まず、Ｓ１００において取得された入力画像に対して、グレースケール処理を施した後、入力画像のエッジ検出を行う。エッジ検出方法としては、画像全体にＳｏｂｅｌフィルタ、Ｌａｐｌａｃｉａｎフィルタ、Ｃａｎｎｙフィルタ等、既存技術を用いるが、前述の方法に限定しない。
【００７４】
次に、エッジ検出フィルタをかけた後の画像に対して、線分の検出を行う。線分検出方法としては、ハフ変換、標準的ハフ変換等、既存技術を用いて、変換後に得られたスコアの高いものを線分とするが、前述の方法に限定しない。
【００７５】
画像サイズが大きくなった場合、これらの処理に負荷がかかる可能性があるため、グレースケール処理を施す前に、画像の縮小処理を行ってもよい。この場合の縮小処理には、ニアレストネイバー法、バイリニア法、バイキュービック法等、既存技術を用いるが、前述の方法に限定しない。
【００７６】
（線分分類処理）
図６は、線分分類部１０１３における処理の手順を示すフローチャートである。上記抽出された線分を辺候補群に分類するＳ１０３について、図６および図７を参照しつつ説明する。
【００７７】
まず、Ｓ２００において、線分分類部１０１３は全辺候補の端点の座標を平均した位置ＣＰの取得を行う。具体的には、図７に示す、Ｓ１０２において抽出された線分である辺Ｌ１〜Ｌ１５の、各辺の端点の座標を平均した値を示す位置をＣＰとする。
【００７８】
次に、Ｓ２０１において、線分分類部１０１３はＣＰを原点とした各辺候補の法線ベクトルの取得を行う。この場合の法線ベクトルとは、具体的には、ＣＰから各辺に対して垂線を引いた際の直線である。
【００７９】
Ｓ２０２において、ＣＰを通る水平線分と各法線ベクトルとのなす角度の算出を行う。なす角度は０°≦θ＜３６０°とする。図７の例では、Ｌ１に対してθ１、Ｌ２に対してθ２、・・・、Ｌ１５に対してθ１５が算出される。なお、上記線分のうち互いに平行となっている線分の各法線ベクトルは、上記ＣＰを通る水平線分と同じ角度を成す。
【００８０】
Ｓ２０３において、各角度を最終的に抽出する辺の数に応じてクラスタリング処理による分類を行う。本実施形態においては、図７のように、θ１〜θ１５を角度に対して４つのグループに分けることになる。この場合、θ１〜θ４、θ５とθ６、θ７〜θ１１およびθ１２〜θ１５が近い角度を示すことによって、それぞれ同じグループとなることがわかる。クラスタリング処理の方法としては、階層的クラスタリング、非階層的クラスタリングがあり、非階層的クラスタリングの例としては、ｋ−ｍｅａｎｓ法、ＩＳＯＤＡＴＡ等があるが、前述の方法に限定しない。
【００８１】
なお、辺数が４以外の場合は、上記クラスタリング処理による分類を行う際のグループ数を当該辺数と同数にすればよいので、上記線分分類処理は、他の辺数にも容易に適用可能である。
【００８２】
また、上述の（辺数特定処理）の項にて、形成する多角形の辺数をユーザに提示するために、入力画像の形状から自動的に辺数判断を行う処理を、以上の説明と同様の処理によって行うことが出来る。
【００８３】
すなわち、Ｓ２０２における処理と同様に、ＣＰを通る水平線分と各法線ベクトルとのなす角度の算出を行う。そして、算出した角度に対して、適当と考えられる分類数を、
・ＢｅａｌｅのＦ値
・Ｐｓｅｕｄｏ Ｔ２ Ｔｅｓｔ
・Ｃｕｂｉｃ Ｃｌｕｓｔｅｒｉｎｇ Ｃｒｉｔｅｒｉｏｎ（ＣＣＣ）統計量
などの指標を用いて算出する（http://ua.t.u-tokyo.ac.jp/okabelab/asami/clustering.pdf.P28参照のこと）。このようにして算出された分類数を辺数とすることで、辺数判断の自動化が可能となる。なお、指標は上記のものに限定しない。
【００８４】
また、図８は、線分分類部１０１３における処理の他の例を示す説明図である。上述した線分分類方法とは別の処理を、図８を参照しつつ説明する。当該線分分類処理においては、図８に示すように、辺の数を４と設定するために画像の対角線によって上部Ａ１、下部Ａ２、左部Ａ３および右部Ａ４の四分割した場合に、各々の辺候補がどの領域に含まれるかによって、分類を行う。
【００８５】
辺候補が２つの領域にまたがって存在する場合、領域により多く含まれる方に分類する。図８に記載されている辺候補ＴＬ４を例にとると、辺候補ＴＬ４は、上部Ａ１、左部Ａ３および右部Ａ４の領域にまたがって存在している。しかし、辺候補ＴＬ４のうち上部Ａ１の領域に存在する部分の割合が最も大きいため、辺候補ＴＬ４は上部Ａ１に分類される。
【００８６】
これを踏まえると、Ｓ１０２で抽出された辺候補は、上部Ａ１に対してＴＬ１〜ＴＬ４、下部Ａ２に対してＢＬ１〜ＢＬ５、左部Ａ３に対してＬＬ１〜ＬＬ２、右部Ａ４に対してＲＬ１〜ＲＬ４に分類される。ただし、この分類方法は、既存技術を用いており、前述の方法に限定しない。例えば、線分分類部１０１３は、上述の複数の領域にまたがった辺候補の分類において、辺候補の全長のうち所定の閾値を超える割合が存在する領域に、当該辺候補を分類してもよい。図８を例に取ると、辺候補ＴＬ４は上部Ａ１、左部Ａ３および右部Ａ４にまたがって存在するが、当該辺候補ＴＬ４の全長のうち上部Ａ１が占める割合が、例えば６０パーセント以上であれば辺候補ＴＬ４を上部Ａ１に分類する。
【００８７】
（線分選択処理）
図９は、カーソルキー１０４１の上下左右の方向キーと、分類された各辺の候補群の対応を表す図である。図１０は、カーソルキー１０４１と辺候補の対応をユーザに提示する様子を示す図である。図１１は、つまみ１０４４を有するスティック状の操作装置を示す図である。図１２（ａ）は、つまみ１０４４の回転方向が４分割されたスティック状の操作装置を示す図であり、図１２（ｂ）は、つまみ１０４４の回転方向が３分割されたスティック状の操作装置を示す図である。図１４は、辺候補から矩形を構成する方法を示す図である。図１３は入力装置１０４としてタッチパネルを採用した場合におけるインタフェース図である。辺候補の切替えを行うＳ１０４において線分選択部１０１４が行う処理の流れを、図９〜１５を参照しつつ説明する。
【００８８】
線分選択部１０１４が辺候補の切替えを行う際のユーザインタフェースとして、カーソルキー１０４１を用いる。ここでは、カーソルキー１０４１は上方向キー、下方向キー、左方向キーおよび右方向キーの４つのキーから成っており、図９に示すようにそれぞれのキーがＳ１０３で分類した各候補群と対応付けられる。
【００８９】
具体的には、上方向キーが、辺候補群ＴＬ１〜ＴＬ４の切替え操作に割り当てられ、下方向キーが、辺候補群ＢＬ１〜ＢＬ５の切替え操作に割り当てられ、左方向キーが、辺候補群ＬＬ１およびＬＬ２の切替え操作に割り当てられ、右方向キーが辺候補群ＲＬ１〜ＲＬ４の切替え操作に割り当てられる。切替え操作は、方向キーを押すと、画像の最も内側に存在する辺候補から、画像の最も外側に存在する辺候補に向かって、辺候補の切替えが行われる。上方向キーを押して辺候補群ＴＬ１〜ＴＬ４の切替えを行う例を示すと、辺候補の切替えの初期位置がＴＬ３であった場合、上方向キーを押す度に、ＴＬ３→ＴＬ２→ＴＬ１と、外側に向かって切替わる。最も外側の辺候補に切替わった時点で上方向キーを押すと、ＴＬ１→ＴＬ４と、最も内側の辺候補に切替わる。下方向キー、左方向キー、右方向キーに対しても、上方向キーと同様の切替え操作となり、右方向キーを押して辺候補ＲＬ１〜ＲＬ４の切替えを行う場合、辺候補の初期位置がＲＬ３であった場合、右方向キーを押すと、ＲＬ３→ＲＬ２→ＲＬ１→ＲＬ４→ＲＬ３となる。
【００９０】
また、図１０に示すように、ユーザが辺候補とボタンとの割り当て関係がわかるように、画面内に描かれている辺候補付近に、割り当てられたカーソルキーの画像２０１（ａ）〜（ｄ）を提示してもよい。換言すれば、線分選択部は、各辺の候補群がいずれの入力方向に対応しているかをユーザに提示してもよい。カーソルキーの位置は、例えば、各辺候補の中心位置に表示する等が挙げられる。
【００９１】
また、当該辺方向の切替え方向はこの方向に限られるものではなく、画像の最も外側に存在する辺候補から、画像の最も内側に存在する辺候補に向かって、辺候補の切替えが行われてもよい。その場合は、最も内側の辺候補、例えばＴＬ４に切替わった時点で上方向キーを押すと、ＴＬ４→ＴＬ１と、最も外側の辺候補に切替わる。換言すれば、現在選択されている線分が当該線分の属する候補群の端に存在する場合、上記入力装置がユーザの入力を受け付けると、当該候補群の他方の端に存在する線分を選択する。
【００９２】
また、入力装置１０４の変更例として、図１１に示すスティック状の操作装置を使用することも考えられる。当該操作装置は、つまみ１０４４（入力装置）を倒すことで方向を入力でき、２次元方向における、３６０度の方向を認識することができる。これを、図１２（ａ）に示すように、矢印で囲まれた範囲につまみ１０４４を倒した際に、同じ方向として認識するように設定した場合、方向を四分割することで、上下左右の四方向入力装置にもなり、また、図１２（ｂ）に示すように、方向を三分割することで、三方向入力装置にもなる。これによって、線分候補から、矩形以外の多角形を構成する場合に、入力装置の物理的な形状の変更を行うことなく、辺候補と入力装置の対応付けが可能となる。換言すれば、上記スティック状の操作装置は、２次元方向の入力が可能であると同時に上記多角形の辺と同数の入力方向を有する。そして、上記入力方向のそれぞれと、上記多角形の各辺の候補群の位置関係とが一対一の関係で対応しており、上記線分選択部１０１４は、上記入力装置が受け付けた入力方向に対応する候補群の選択を行う。
【００９３】
入力装置１０４のさらに別の変更例として、図１３に示すようなタッチパネル１０４３を入力装置１０４として用いてもよい。タッチパネル１０４３の詳細は後述する第２の実施形態にて説明するが、線分選択部１０１４に備えられるキー表示処理部１０１６（キー表示処理手段）によって画面下方に表示されるカーソルキー画像ａおよびボタン画像ｂは、それぞれカーソルキー１０４１および確定ボタン１０４２と同様の機能を持つ。すなわち、線分選択部１０１４は、当該カーソルキー画像ａおよびボタン画像ｂが受け付けた入力方向に対応する辺の候補群の選択を行う。よって、タッチパネル上に表示されたカーソルキー画像ａおよびボタン画像ｂにふれることで、上述のような線分の選択を行うことが可能である。
【００９４】
次に、辺候補の切替えを行った際に構成される矩形に関する説明を、図１４を用いて行う。図１４の例では、Ｓ１０４における操作によって、上部Ａ１に対して辺候補ＴＬ１、下部Ａ２に対して辺候補ＢＬ５、左部Ａ３に対して辺候補ＬＬ１、右部Ａ４に対して辺候補ＲＬ１が選択されている。この場合、辺候補ＢＬ５の長さが短いため、四本の辺候補によって矩形を構成することができない。したがって、それぞれの辺候補を延長し、他の辺候補と交わる四点からなる矩形とすることで、前記問題を解決する。
【００９５】
また、ユーザに対しては、図１４の右部に示すように、選択した辺候補によって構成される矩形を実線で、それ以外の線分を点線で表示することで、選択した辺候補によってどのような矩形が構成されるかが、直感的にわかるようになっている。ただし、この表示方法に限定せず、選択した辺候補によって構成される矩形を赤の実線、それ以外の線分を黒の実線にすることや、選択した辺候補によって構成される矩形を太線、それ以外の線分を細線にする等、ユーザが、選択した辺候補によって構成される矩形と、それ以外の線分の区別が行えればよい。換言すれば、線分選択部１０１４は、上記入力画像から抽出された線分のうち、選択している線分と選択していない線分とを、色または線種が互いに異なる線としてユーザに提示してもよい。
【００９６】
これらを踏まえて、Ｓ１０４における操作のうち、カーソルキー１０４１の下方向キーを押したときの、選択した辺候補によって構成される矩形の変化を図１５に示す。図１５において、選択されている辺候補は実線で、それ以外は破線で示されている。ここで、図１５（ａ）は、ＢＬ５を選択しているときに構成される矩形を図示し、同様に、図１５（ｂ）〜（ｅ）は、それぞれＢＬ４、ＢＬ３、ＢＬ２およびＢＬ１を選択しているときに構成される矩形を図示する。辺候補の初期値は、例として、上部Ａ１に対して辺候補ＴＬ１、下部Ａ２に対して辺候補ＢＬ５、左部Ａ３に対して辺候補ＬＬ１、右部Ａ４に対して辺候補ＲＬ１とする。そして、下方向キーを押す度に、図１５（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）→（ａ）・・・の順番で矩形が順次変化する。
【００９７】
また、上述した線分選択方法とは別の、下記の方法をとることも考えられる。
【００９８】
図１６は、線分選択部１０１４における処理の他の例におけるカーソルキー１０４１、確定ボタン１０４２、内側指示ボタン１０４５および外側指示ボタン１０４６を示す図である。
【００９９】
当該線分選択処理において、入力装置１０４は、内側指示ボタン（入力装置、線分指示手段）１０４５および外側指示ボタン（入力装置、線分指示手段）１０４６をさらに備えてもよい。前記内側指示ボタン１０４５は、辺候補を外側から内側へと順次指示可能なボタンであり、前記外側指示ボタン１０４６は、辺候補を内側から外側へと順次指示可能なボタンである。
【０１００】
図１７は、線分選択部１０１４における処理の他の例の手順を示すフローチャートである。当該処理の流れを図１７を参照しつつ説明する。
【０１０１】
まず、Ｓ３００において、線分選択部１０１４は、ユーザによるカーソルキー１０４１への入力に応じて候補群の選択を行う。図１８（ａ）〜（ｃ）は、カーソルキー１０４１、内側指示ボタン１０４５および外側指示ボタン１０４６を用いて辺候補群ＴＬ１〜ＴＬ４を選択する様子を示す図である。図１８（ａ）に示すように、カーソルキー１０４１の上方向キーを押すことにより、当該カーソルキー１０４１の上方向キーに対応付けられた辺候補群ＴＬ１〜ＴＬ４が選択される。ここで、選択されている辺候補群ＴＬ１〜ＴＬ４は、図１８（ａ）において太線で描かれている。他の方向キーを押した際には、その方向キーに対応付けられた辺候補群が選択される。
【０１０２】
次に、Ｓ３０１において、線分選択部１０１４は、Ｓ３００にて選択された辺候補群からの辺候補の選択を行う。具体的には、内側指示ボタン１０４５を押すと、図１８（ｂ）のように、図１８（ａ）で指示されている辺候補より一つ内側の辺候補を指示する。このとき、指示される辺候補は、ＴＬ１→ＴＬ２となり、その後内側指示ボタン１０４５を押す度に、ＴＬ３→ＴＬ４→ＴＬ１の順番で辺候補が指示されていく。また、外側指示ボタン１０４６を押すと、図１８（ｃ）のように、図１８（ａ）で指示されている辺候補より一つ外側の辺候補を指示する。このとき、辺候補が指示される順番は、ＴＬ１→ＴＬ４→ＴＬ３→ＴＬ２→ＴＬ１となる。このように、Ｓ３０１とＳ３０２とを繰り返すことによって、全辺の候補を指示する。
【０１０３】
そして、Ｓ３０３において、確定ボタン１０４２による辺候補の確定を行う。具体的には、確定ボタン１０４２を押すことによって、Ｓ３０１およびＳ３０２で選択した辺候補の確定を行う。
【０１０４】
内側指示ボタン１０４５および外側指示ボタン１０４６は特定のボタンに限られるものではなく、他のボタンを代用して用いることも可能である。また、内側指示ボタン１０４５および外側指示ボタン１０４６はタッチパネルによって実施することも可能である。
【０１０５】
また、入力装置１０４は、クリアボタン１０４７をさらに備えてもよい。当該クリアボタン１０４７を押すことによって、直前の操作を取り消すことが可能である。
【０１０６】
図１９は、カーソルキー１０４１、確定ボタン１０４２およびクリアボタン１０４７を示す図である。
【０１０７】
クリアボタン１０４７は特定のボタンに限られるものではなく、他のボタンを代用して用いることも可能である。また、前記クリアボタン１０４７はタッチパネルによって実施することも可能である。
【０１０８】
（多角形確定処理）
次に多角形の確定を行うＳ１０５の説明を行う。Ｓ１０３において選択した辺候補によって構成される多角形を、確定ボタン１０４２を押すことで確定させる。確定とは、すなわち、多角形形成部１０１５が、上記各候補群において選択された全ての線分を延長または短縮したものを各辺とする多角形を形成することである。
【０１０９】
（本実施形態の利点）
最後に、上述した一連の処理によって得られる本実施形態の利点について説明する。上記辺候補の選択処理において、上部Ａ１に対する候補数が４、下部Ａ２に対する候補数が５、左部Ａ３に対する候補が２、右部Ａ４に対する候補が４であるため、矩形候補数は、
４×５×２×４＝１６０
通り存在することになる。しかし、上記選択処理においては、各辺候補をそれぞれ独立したキーを押すことで選択するため、選択回数は最多でも、
４＋５＋２＋４＝１５
回で済むこととなる。
【０１１０】
確定した多角形によって、様々な処理が可能となる。例えば、入力画像が、斜め方向から撮影した名刺や、ホワイトボード、看板等の矩形領域を含む場合、その矩形領域を囲むように多角形を確定させ、その多角形を用いて透視変換処理を行い、多角形内の画像の補正を行うことができる。特に、名刺の場合、画像が補正されることによって、名刺内の文字列を様々な角度から撮影してもＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）で読み取ることが容易となり、情報処理端末１を名刺リーダとして用いることが可能となる。
【０１１１】
以上のように、本発明によれば、ユーザは多角形を構成しうる各辺の候補群に分類された画像内の複数の線分から、ユーザが望む目的の辺を、多角形を構成しうる各辺に対応付けられた入力装置で選択することによって、少ない回数で直感的に選択し、多角形を指定することが可能になる。
【０１１２】
（第２の実施形態）
以下、この発明の第２の実施の形態について図面を参照して説明する。以下の説明では同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【０１１３】
本実施の形態に係る画像処理装置における処理は、コンピュータまたは情報端末、デジタルカメラに搭載されるＣＰＵ上で実行されるソフトウェアによって実現される。なお、情報端末やデジタルカメラなどにおいては、画像処理や制御を行うＣＰＵ上で実行されるソフトウェアにより実現されてもよいし、専用のハードウェアとして実現されてもよい。
【０１１４】
（装置の構成）
図２０（ａ）は本発明の第２の実施形態に係る情報処理端末２の概観を示す斜視図であり、図２０（ｂ）は本発明の第２の実施形態に係る情報処理端末２の背面の概観を示す斜視図である。
【０１１５】
情報処理端末２は、平板上の筐体である情報処理端末本体１２からなり、情報処理端末本体１２の正面には情報を表示するためのＬＣＤまたはＯＥＬなどからなる表示装置１０２とタッチパネル１０４３（入力手段）が配置されている。タッチパネルとしては、抵抗膜方式、静電容量方式、光センサ方式等、既存技術を用いるが、前述の方法に限定しない。
【０１１６】
また、情報処理端末本体１２の背面上部には、撮像装置１０３が設置されている。撮像装置２１として、ＣＣＤ、ＣＭＯＳ等が用いられる。
【０１１７】
本発明の実施の形態に係る情報処理端末の構成を示すブロック図については、第１の実施形態と同一で、図１のように構成されるため説明を省略する。
【０１１８】
（処理手順について）
本実施の形態に係る画像処理装置１０１で実行されるプログラムについて説明する。なお、本実施の形態において、Ｓ１０１のステップにおける処理は第１の実施の形態と同一であるため、ここでは説明を省略する。
【０１１９】
まず、Ｓ１０２において実施形態１と同様に辺数の特定を行う。本実施形態では、辺数を３と設定する。
【０１２０】
次に、辺候補の分類を行うＳ１０３の説明を行う。
【０１２１】
図２１は線分分類部１０１３における処理の、辺数が３である場合の処理の概要を示す説明図である。当該図２１において、Ｌ１１〜Ｌ１９は線分抽出部１０１２により入力画像中から抽出された線分である。Ｌ１１〜Ｌ１３、Ｌ１４〜Ｌ１６、Ｌ１７〜Ｌ１９はそれぞれ並行となっており、図６に示すＳ２０２において、実施形態１におけるＳ２０２における説明と同様に、Ｌ１１〜Ｌ１３に対してθ１１〜θ１３、Ｌ１４〜Ｌ１６に対してθ１４〜θ１６、Ｌ１７〜Ｌ１９に対してθ１７〜θ１９が算出される。これら線分群に対して、Ｓ２０３において辺数３としてクラスタリング処理による分類を行った場合、θ１１〜θ１３、θ１４〜θ１６、θ１７〜θ１９がそれぞれ同じ角度を示すことによって、それぞれ同じグループとなり、Ｌ１１〜Ｌ１９は３つの辺候補群に分類される。
【０１２２】
ここで、図２２は本実施形態に係る辺候補の切替えを行う際のインタフェース図である。図２２を参照しながら、辺候補の切替えを行うＳ１０４の説明を行う。辺候補の切替えを行うユーザインタフェースとして、タッチパネル１０４３を用いる。ここで、タッチパネル１０４３は表示装置１０２上にあるため、表示装置１０２の座標系と、タッチパネル１０４３の座標系が等しい、あるいは、ほぼ等しいため、ユーザは画面上の表示物に対して直感的に操作を行えるものとなっているとする。
【０１２３】
本実施形態において、線分選択部１０１４は、タッチパネル上に、該候補群に対応しユーザが入力可能なキーを表示するための、図１に示すようなキー表示処理部１０１６（キー表示処理手段）を備える。表示装置１０２の画面上部には、Ｓ１００で取得したデジタル画像と、Ｓ１０２およびＳ１０３で抽出、分類された辺候補が表示されており、画面下部には、キー表示処理部１０１６が、上方向キー、左下方向キーおよび右下方向キーの三つの方向キーから成るカーソルキー画像ｃを表示する。そして、タッチパネル１０４３によって、それぞれの方向キーを操作することができ、それぞれの方向キーがＳ１０３で分類した領域と対応付けられる。ただし、デジタル画像とカーソルキー画像ｃの位置関係や形状は、これに限定されることはない。
【０１２４】
切替え操作は、方向キーを押すと、画像の最も内側に存在する辺候補から、画像の最も外側に存在する辺候補に向かって、辺候補の切替えが行われる。また、ユーザが辺候補とボタンとの割り当て関係がわかるように、画面内に描かれている辺候補付近に割り当てられたカーソルキーの画像を提示する。カーソルキーの位置は、例えば、各辺候補の中心位置に表示する等が挙げられる。
【０１２５】
次に辺候補の確定を行うＳ１０５の説明を行う。Ｓ１０４において選択した辺候補によって構成される三角形の情報を、画面上に描かれたボタン画像ｂを押すことで確定させる。
【０１２６】
この辺候補の切替え方法により、上部Ｂ１に対する候補数が３、左下部Ｂ２に対する候補数が３、右下部Ｂ３に対する候補が３であるため、矩形候補数は、
３×３×３＝２７
通り存在することになるが、選択回数は、
３＋３＋３＝９
回で済むこととなる。
【０１２７】
以上のように、本発明によれば、ユーザは多角形を構成しうる各辺の候補群に分類された画像内の複数の線分から、ユーザが望む目的の辺を、多角形を構成しうる各辺に対応付けられた入力装置で選択することによって、少ない回数で直感的に選択し、多角形を指定することが可能になる。
【０１２８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１２９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１３０】
また、上述した情報処理端末１および２の各ブロック、特に画像処理装置１０１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３１】
すなわち、情報処理端末１および２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである情報処理端末１および２の制御プログラム（画像処理装置１０１）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１０１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３３】
また、情報処理端末１および２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１３４】
なお、本発明は、以下のようにも表現できる。
【０１３５】
すなわち、本発明に係る画像処理装置は、画像内の複数の線分から多角形の構成に必要な辺を選択して多角形を構成する画像処理装置であって、前記複数の線分を多角形を構成しうる各辺の候補群に分類する線分分類手段と、前記候補群から入力装置によって前記各辺の候補群の線分から目的の辺を選択する辺選択手段と、前記選択された辺から多角形を形成する多角形形成手段を備えたことを特徴としている。また、上記辺選択手段は、入力装置は二次元の方向を入力することができ、前記入力装置が入力できる入力方向数が前記多角形を構成する辺の数に等しく、各入力方向と前記各辺の候補群の配置関係が一対一で対応付けられており、前記各入力方向の入力によって前記各辺の候補群から目的の辺を選択することが好ましい。また、上記辺選択手段は、前記各辺に対応付けられた前記入力方向を入力すると前記各辺の候補群内の線分が前記多角形の中心から外側に向かって選択し、選択されている前記線分が前記多角形の最も外側の場合に前記各辺に対応付けられた前記各入力方向を入力すると前記多角形の最も中心位置にある線分が選択することが好ましい。また、上記辺選択手段は、前記各入力方向と前記各辺の候補群の配置関係がユーザに提示されることことが好ましい。また、上記辺選択手段において前記入力装置はソフトウェアで構成されることが好ましい。また、上記辺選択手段において、前記入力装置がタッチパネルで構成されることが好ましい。また、上記多角形形成手段は、選択された各辺を延長して交わった交点から前記多角形が形成されることが好ましい。また、前記多角形形成手段は、形成された多角形を構成する各辺と前記各辺を除く線分を互いに異なる種類の線としてユーザに提示することが好ましい。本発明にかかる画像処理方法は、画像内の複数の線分から多角形の構成に必要な辺を選択して多角形を構成する画像処理方法であって、前記複数の線分を多角形を構成しうる各辺の候補群に分類する線分分類ステップと、前記候補群から入力装置によって前記各辺の候補群の線分から目的の辺を選択する辺選択ステップと、前記選択された辺から多角形を形成する多角形形成ステップを備えてもよい。
【産業上の利用可能性】
【０１３６】
本発明は、入力画像の中から任意の多角形を簡単に指定可能な画像処理装置、特に、名刺や、看板等に描かれた文字の読み取りに利用することができる。そして、本発明に係る画像処理装置を、携帯電話、デジタルカメラ、ＰＤＡ等の撮像装置が設けられた情報処理端末に実装することで、簡便に入力画像内の多角形（名刺等）を指定できる情報処理端末を提供できる。
【符号の説明】
【０１３７】
１０１ 画像処理装置
１０１１ 辺数特定部（辺数特定手段）
１０１３ 線分分類部（線分分類手段）
１０１４ 線分選択部（線分選択手段）
１０１５ 多角形形成部（多角形形成手段）
１０１６ キー表示処理部（キー表示処理手段）
１０４ 入力装置
１０４１ カーソルキー（入力装置、方向入力手段）
１０４２ 確定ボタン（入力装置）
１０４３ タッチパネル（入力装置）
１０４４ つまみ（入力装置）
１０４５ 内側指示ボタン（入力装置、線分指示手段）
１０４６ 外側指示ボタン（入力装置、線分指示手段）
１０４７ クリアボタン（入力装置）
ａ カーソルキー画像（入力装置）
ｂ ボタン画像（入力装置）
ｃ カーソルキー画像（入力装置）
【特許請求の範囲】
【請求項１】
ユーザによる入力を受け付け可能な入力装置と接続される、画像を処理するための画像処理装置であって、
入力画像から抽出する多角形の辺の数を特定する辺数特定手段と、
上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類手段と、
上記線分分類手段により分類された上記各候補群について、上記入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択手段と、
上記線分選択手段によって上記各候補群から選択された線分により、多角形を形成する多角形形成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
上記入力装置は２次元方向の入力が可能であると同時に上記多角形の辺と同数の入力方向を有し、
上記入力方向のそれぞれと、上記多角形の各辺の候補群の位置関係とが一対一の関係で対応しており、
上記線分選択手段は、上記入力装置が受け付けた入力方向に対応する候補群内で線分の選択を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記線分選択手段は、現在選択されている線分が当該線分の属する候補群の端に存在する場合、上記入力装置がユーザの入力を受け付けると、当該候補群の他方の端に存在する線分を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記入力装置は、２次元方向に上記多角形の辺と同数の入力方向を有する方向入力手段と、選択される線分を指示するための線分指示手段とを有し、
上記方向入力手段の上記入力方向のそれぞれは、上記多角形の各辺の候補群の位置関係と一対一の関係で対応しており、
上記線分選択手段は、上記方向入力手段が受け付けた入力方向に対応する候補群内で、上記線分指示手段により指示された線分を選択することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
上記線分選択手段は、各辺の候補群がいずれの入力方向に対応しているかをユーザに提示することを特徴とする請求項２から４のいずれかに記載の画像処理装置。
【請求項６】
前記入力装置がタッチパネルであり、
タッチパネル上に、該候補群に対応しユーザが入力可能なキーを表示するための、キー表示処理手段を備えることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
上記多角形形成手段は、上記各候補群において選択された全ての線分を延長または短縮したものを各辺とする多角形を形成することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
上記線分選択手段は、上記入力画像から抽出された線分のうち、選択している線分と、選択していない線分とを、互いに異なる種類の線としてユーザに提示することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項９】
画像を処理するための画像処理方法であって、
入力画像から抽出する多角形の辺の数を特定する辺数特定ステップと、
上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類ステップと、
上記線分分類ステップにより分類された上記各候補群について、ユーザによる入力を受け付け可能な入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択ステップと、
上記線分選択ステップによって上記各候補群から選択された線分により、多角形を形成する多角形形成ステップと、を備えることを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１】
ユーザによる入力を受け付け可能な入力装置と接続される、画像を処理するための画像処理装置であって、
入力画像から抽出する多角形の辺の数を特定する辺数特定手段と、
上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類手段と、
上記線分分類手段により分類された上記各候補群について、上記入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択手段と、
上記線分選択手段によって上記各候補群から選択された線分により、多角形を形成する多角形形成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
上記入力装置は２次元方向の入力が可能であると同時に上記多角形の辺と同数の入力方向を有し、
上記入力方向のそれぞれと、上記多角形の各辺の候補群の位置関係とが一対一の関係で対応しており、
上記線分選択手段は、上記入力装置が受け付けた入力方向に対応する候補群内で線分の選択を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記線分選択手段は、現在選択されている線分が当該線分の属する候補群の端に存在する場合、上記入力装置がユーザの入力を受け付けると、当該候補群の他方の端に存在する線分を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記入力装置は、２次元方向に上記多角形の辺と同数の入力方向を有する方向入力手段と、選択される線分を指示するための線分指示手段とを有し、
上記方向入力手段の上記入力方向のそれぞれは、上記多角形の各辺の候補群の位置関係と一対一の関係で対応しており、
上記線分選択手段は、上記方向入力手段が受け付けた入力方向に対応する候補群内で、上記線分指示手段により指示された線分を選択することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
上記線分選択手段は、各辺の候補群がいずれの入力方向に対応しているかをユーザに提示することを特徴とする請求項２から４のいずれかに記載の画像処理装置。
【請求項６】
前記入力装置がタッチパネルであり、
タッチパネル上に、該候補群に対応しユーザが入力可能なキーを表示するための、キー表示処理手段を備えることを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
上記多角形形成手段は、上記各候補群において選択された全ての線分を延長または短縮したものを各辺とする多角形を形成することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
上記線分選択手段は、上記入力画像から抽出された線分のうち、選択している線分と、選択していない線分とを、互いに異なる種類の線としてユーザに提示することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項９】
画像を処理するための画像処理方法であって、
入力画像から抽出する多角形の辺の数を特定する辺数特定ステップと、
上記多角形を構成しうるように入力画像から抽出された線分を、当該多角形をなす各辺の候補群に分類する線分分類ステップと、
上記線分分類ステップにより分類された上記各候補群について、ユーザによる入力を受け付け可能な入力装置が受け付けた入力に応じて、ユーザが所望とする線分を選択する線分選択ステップと、
上記線分選択ステップによって上記各候補群から選択された線分により、多角形を形成する多角形形成ステップと、を備えることを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１２３５６７（Ｐ２０１１−１２３５６７Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７８８２１（Ｐ２００９−２７８８２１）
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]