画像処理装置、画像処理方法及びプログラム
【課題】ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させる。
【解決手段】画像処理装置３は、撮影装置２から画像データを入力し、当該画像データから線分を検出する。そして、画像処理装置３は、ホワイトボード１の領域に係る情報に基づいて、画像データに含まれるホワイトボード１を囲む四角枠を、検出した線分から決定する。
【解決手段】画像処理装置３は、撮影装置２から画像データを入力し、当該画像データから線分を検出する。そして、画像処理装置３は、ホワイトボード１の領域に係る情報に基づいて、画像データに含まれるホワイトボード１を囲む四角枠を、検出した線分から決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトボードや紙資料等の撮影対象の矩形を撮影する技術に関するものである。
【背景技術】
【０００２】
今日、会社、学校及び研究機関等で会議や集会を行う際には、ホワイトボードを用いて会議や集会の内容をまとめることが広く行われている。その際、デジタルカメラ等を用いてホワイトボードを撮影し、会議の記録として残しておくことがよく行われている。しかし、ホワイトボードの前に人や物が置かれているために正面から撮影できずに斜めから撮影しなければならないことが度々発生する。このようにして撮影された画像データは、ホワイトボードの板書内容が歪んで写っているため、保存や表示に適さないことが多い。
【０００３】
また、無線ＬＡＮの普及に伴い無線ＬＡＮ機能付きデジタルカメラや、カメラに刺して使うＳＤカード型無線アダプタが市販されている。このような機器の中には、撮影した画像データを直ぐにＰＣに送信して保存、表示させることが可能なものがある。この種の機器を使用することにより、手元の物体を撮影して直ぐに会議参加者全員に見せることが可能になる。
【０００４】
特許文献１に開示される技術は、画像データから直線パラメータを抽出し、直線を組み合わせてホワイトボードの輪郭を形成する四角枠の候補を複数個生成する。そして、ユーザが目視で四角枠の候補の中からホワイトボードの輪郭に合った四角枠を探し出し、その四角枠で画像データを切り出した後、射影変換によって正面から見たときと等価な画像データを生成する。
【０００５】
また、特許文献２に開示される技術は、撮影された画像データからエッジを抽出した後に四角枠の候補を算出し、四角枠の候補が複数存在する場合は四角枠の重心と大きさに基づいてグループ分けを行う。そして、複数の四角枠の候補を順に強調表示し、その中からユーザが目視で最適な四角枠を選択し、選択された四角枠に基づいて射影変換を行い、歪み補正された画像データを得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３６３１５１号公報
【特許文献２】特開２０１０−２２４９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示される技術においては、四角枠の候補の数が多くなると、ユーザが目視によって最適な四角枠を探し出すことは困難である。また、特許文献２に開示される技術においては、グループ分けによる近接候補のクラスタリングは、ユーザの作業量を減らす効果はあるが、最適な四角枠の位置が代表的な四角枠の位置に丸められてしまう恐れがあり、正確性を損なう可能性がある。
【０００８】
そこで、本発明の目的は、ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させることにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段により入力された前記画像データから線分を検出する検出手段と、撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出手段により検出された線分から決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理システムの構成を示す図である。
【図２】ホワイトボードを撮影装置によって撮影される状況を示す図である。
【図３】撮影装置によって撮影されたホワイトボードを含む画像データを示す図である。
【図４】画像処理装置の内部構成を示す図である。
【図５】射影変換を説明するための図である。
【図６】第１の実施形態における画像処理装置の処理を示すフローチャートである。
【図７】図６のステップＳ６０７の歪み補正処理を示すフローチャートである。
【図８】事前に登録しておく画像データを示す図である。
【図９】四角枠を修正する四角枠修正ウィンドウを示す図である。
【図１０】画像データに対する歪み補正処理を説明するための図である。
【図１１】エッジ線分の集合から生成された四角枠の集合の例を示す図である。
【図１２】画像データを表示する画像表示ウィンドウを示す図である。
【図１３】画像データを表示する画像表示ウィンドウを示す図である。
【図１４】図７のステップＳ７０５の四角枠の第１候補の算出処理を示すフローチャートである。
【図１５】第２の実施形態における画像処理装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態は飽くまでも本発明の適用例に過ぎず、本発明を限定するものではない。また、以下の説明では、撮影対象の矩形としてホワイトボードを例に挙げているが、ホワイトボードに限定されるものではなく、紙資料や名刺等の矩形且つ平面形状の対象物全般に適用可能である。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理システムの構成を示す図である。図１に示すように、第１の実施形態に係る画像処理システム７は、撮影装置２、画像処理装置３及び表示装置４から構成される。撮影装置２と画像処理装置３とは無線ＬＡＮ等の無線通信路５で接続されているが、特に無線である必要はなく、有線であっても構わない。また、画像処理装置３と表示装置４とはＨＤＭＩ（High Definition Multimedia Interface）等の有線通信路６で接続されているが、特に有線である必要はなく、無線であっても構わない。
【００１４】
撮影装置２は、撮影ボタン２１と液晶パネル等のビューファインダ２２とを備える。図１では、撮影装置２の撮影対象の矩形としてホワイトボード１が配置されているが、特にホワイトボード１に限定する必要はなく、机の上に置かれた名刺や紙資料のように矩形且つ平面形状の対象物であればよい。ビューファインダ２２には撮影対象の矩形が表示され、この状態で撮影ボタン２１が押下されることにより、撮影装置２は撮影対象の矩形の画像データを生成し、無線通信路５を介して画像処理装置３に送信する。画像処理装置３は、有線通信路６を介して撮影対象の矩形の画像データやＧＵＩを表示装置４に対して送信する。表示装置４は、画像処理装置３から受信した撮影対象の矩形の画像データやＧＵＩを表示する。
【００１５】
図２に示すように、ホワイトボード１を撮影装置２ａや撮影装置２ｂによって斜めから撮影すると、撮影装置２ａは、図３の３１ａに示すような歪んだ画像データを生成し、撮影装置２ｂは、図３の３１ｂに示すような歪んだ画像データを生成する。画像処理装置３は、このように歪んだ画像データを撮影装置２から入力すると、射影変換等の画像処理によって画像データに対する歪み補正を行い、正面から撮影したような画像データ（図３の３４）を生成する。なお、射影変換時に使用されるパラメータは、撮影装置２から入力された画像データの特徴点に基づいて自動的に算出される。
【００１６】
図４は、画像処理装置３の内部構成を示す図である。ＵＩ（User Interface）デバイス４０１は、マウス、デジタイザ及びキーボード等であり、画像処理装置３にユーザの指示を入力するために用いられる。ＣＰＵ（Central Processing Unit）４０２は、プログラム用記憶領域４０６からＲＡＭ（Random Access Memory）４０３にプログラムを読み込み、当該プログラムを解釈、実行することによって画像処理装置３内の各種制御や計算、ＵＩの表示等を行う。通信インタフェース（ＩＦ）４０４は、撮影装置２や表示装置４との間の通信インタフェースである。ＵＩ表示部４０５は、画像処理装置３の状態や処理内容を表示するＬＥＤや液晶パネル等であるが、表示装置４を制御して表示する構成であってもよい。プログラム用記憶領域４０６及びデータ用記憶領域４０７は、ハードディスクやフラッシュメモリ等に構成することが可能であるが、特定の記憶媒体に限定する必要はない。
【００１７】
なお、本実施形態に係る画像処理システム７は、会議の際に使用されることが多いため、実際の運用では、画像処理装置３上で議事録の作成や会議情報の管理等を行う会議システムと統合して使用されることが多い。
【００１８】
次に、画像処理装置３で実行される射影変換を表す各種数式と射影変換の際に使用される各種パラメータの算出式とについて説明する。図５に示すように、撮影対象の矩形５０１の四隅をＰ1、Ｐ2、Ｐ3、Ｐ4とし、撮影対象の矩形５０１（ここでは、ホワイトボード１）上の任意の点ＰをベクトルＳ、Ａ、Ｂで表すものとする。ここで、各ベクトルは次のように定義される。
【００１９】
【数１】
【００２０】
次に、Ｐ1、Ｐ2、Ｐ3、Ｐ4から視点である原点Ｏに向けて直線を引いたときに投射面８１と交わる点をそれぞれｐ1、ｐ2、ｐ3、ｐ4とする。これらの点は投射面５０２をｚ＝ｆで表すと、次の式１のように定義される。ここで、ｆは焦点距離に対応する。
【００２１】
【数２】
【００２２】
なお、ｘn、ｙnは画像データ上の座標であり、その範囲は次のようになる。
【００２３】
【数３】
【００２４】
これらの点ｐ1、ｐ2、ｐ3、ｐ4は、画像データを解析することにより座標値ｘn、ｙnを決定することが可能である。次に、Ｐ1、Ｐ2、Ｐ3、Ｐ4から原点Ｏに向かう直線は次の式２で表される。
【００２５】
【数４】
【００２６】
ここで、投射面５０２と交わる点がｐ1、ｐ2、ｐ3、ｐ4であることから、式２に式１のｘn、ｙn、ｆを代入すると次の連立方程式を得る。
【００２７】
【数５】
【００２８】
また、撮影対象の矩形５０１上の点Ｐから原点Ｏに向かう直線は次の式で表される。
【００２９】
【数６】
【００３０】
従って、投射面５０２上の点ｐの座標ｘ、ｙは次の式４のように表される。
【００３１】
【数７】
【００３２】
ここで、ｘ、ｙをｕ、ｖから数値的に算出するための式を導出するために、先ず式３をＡx、Ａy、Ａz、Ｂx、Ｂy、Ｂz、Ｓx、Ｓyについて解く。
【００３３】
【数８】
【００３４】
これを式４に代入すると、分子分母でｆとＳzとが消えるため、次のような式６を得る。
【００３５】
【数９】
【００３６】
ここで、Ａx´、Ａy´、Ａz´、Ｂx´、Ｂy´、Ｂz´、Ｓx´、Ｓy´は、次の式７のようにｘn、ｙnから数値的に算出可能であり、射影変換のパラメータと呼ばれる。
【００３７】
【数１０】
【００３８】
また、式６をｕ、ｖについて解くと、ｕ、ｖをｘ、ｙから数値的に算出するための次の式８を得る。
【００３９】
【数１１】
【００４０】
次に、焦点距離ｆをｘn、ｙnから求めるための式を導出する。先ず、ベクトルＡとベクトルＢとは撮影対象の矩形５０１の辺に沿って定義していることから、ＡとＢとは直交する。即ち、内積が零になることから次の式９を得る。
【００４１】
【数１２】
【００４２】
式９に式５を代入すると、Ｓｚが消えて次の式１０を得る。
【００４３】
【数１３】
【００４４】
ここで、α、βは次の式１１、式１２のように、ｘn、ｙnから数値的に算出される。
【００４５】
【数１４】
【００４６】
式１０をｆについて解くことにより、次の式１３のように、焦点距離ｆを数値的に算出することができる。
【００４７】
【数１５】
【００４８】
次に、撮影対象の矩形５０１の縦横比を求めるための式は、次の式１４の通りである。
【００４９】
【数１６】
【００５０】
次に、図６を参照しながら、第１の実施形態における画像処理装置３の処理について詳細に説明する。図６は、第１の実施形態における画像処理装置３の処理を示すフローチャートである。
【００５１】
ステップＳ６０２、Ｓ６０３、Ｓ６０４において、画像処理装置３は、撮影対象の矩形５０１について領域情報Ｐを取得する。これらの処理は歪み補正処理（ステップＳ６０７）の前に行われていればよいため、実際の運用では会議の直前やシステムインストール時に行われる。また、領域情報Ｐは、同じ会議室で同じホワイトボードを使っている限り、再利用することが可能なため、会議システムの会議室情報に付随して登録してもよい。その際、会議室に複数個のホワイトボードが存在する場合にはそれぞれについて領域情報Ｐを事前に登録しておく。また、照明を点灯している場合と消灯している場合とで夫々領域情報Ｐを登録しておいてもよい。
【００５２】
ステップＳ６０１において、画像処理装置３は、領域情報Ｐにデフォルト値を設定する。デフォルト値としては、例えば以下のような値が設定される。
・撮影対象の矩形（ホワイトボード１）の縦横比：３／４
・撮影対象の矩形（ホワイトボード１）の縁の色：黒
・撮影対象の矩形（ホワイトボード１）の内外の色合い：内側→白、外側→グレー
・撮影対象の矩形（ホワイトボード１）の周辺画像データ：なし
【００５３】
ステップＳ６０２において、画像処理装置３は、図８に示すように、画像データ８０１を撮影装置２から取得し、事前に登録しておく画像データ（以下、事前登録済み画像データと称す）として保存する。その際、ホワイトボード１には何も書かれていない方が望ましい。
【００５４】
ステップＳ６０３において、画像処理装置３は、図９に示すように、四角枠修正ウィンドウ９０１を表示装置４に表示する。この四角枠修正ウィンドウ９０１には、ステップＳ４０２で取得された事前登録済み画像データ８０１が表示されており、その上に四角枠９０２が表示されている。四角枠９０２は、デフォルト値の領域情報Ｐに基づいて表示される。ユーザは、ＵＩデバイス４０１を用いて四角枠９０２を修正し、ホワイトボード１の領域を囲むように調整する。そしてユーザが修正画像表示ボタン９０３を押下すると、四角枠９０２が決定され、歪み補正が施された画像データが表示される。
【００５５】
ステップＳ６０４において、画像処理装置３は、四角枠９０２の周辺画像データを解析して次のような情報を取得し、領域情報Ｐとして保持する。
・撮影対象の矩形（ホワイトボード１）の縦横比：（図８の８０１参照）
・撮影対象の矩形（ホワイトボード１）の縁の色：（図８の８０２参照）
・撮影対象の矩形（ホワイトボード１）の内外の色合い：（図８の８０３参照）
・撮影対象の矩形（ホワイトボード１）の周辺画像データ：（図８の８０４参照）
なお、領域情報Ｐは四角枠９０２周辺の複数個所から取得される。また、周辺画像データの解析対象となる事前登録済み画像データ８０１としては、歪み補正後の画像データが用いられる。
【００５６】
これら以外にも、事前登録済み画像データ８０１から撮影対象の矩形の輪郭線を検出する際に使用されたハフ変換の適切な閾値を、領域情報Ｐに含めて保持してもよい。また、事前登録済み画像データ８０１を撮影する際に使用された撮影パラメータ（絞り、露光時間、ＩＳＯ感度、ホワイトバランス等）も、領域情報Ｐに含めて保持してもよい。
【００５７】
上述したように、ステップＳ６０２〜Ｓ６０４において、画像処理装置３は、事前登録済み画像データ８０１から個々の領域情報Ｐを抽出している。他の実施形態として、領域情報Ｐとして、歪み補正後の事前登録済み画像データ８０１自体を登録しておき、後段の処理で必要になった際に、事前登録済み画像データ８０１から領域情報Ｐを取得するようにしてもよい。
【００５８】
次に、ステップＳ６０５、Ｓ６０６、Ｓ６０７において、画像処理装置３は、ユーザの撮影動作に合わせた歪み補正処理を行う。実際の運用では、会議中に撮影対象の矩形が撮影され、当該撮影によって生成された画像データを即時歪み補正して会議フォルダに保存したり、議事録等に張り付けることを想定している。
【００５９】
ステップＳ６０５において、画像処理装置３は、撮影装置２からの画像データの入力を待つ。ステップＳ６０６において、画像処理装置３は、撮影装置２から画像データが入力されたか否かを判定する。画像データが入力された場合、処理はステップＳ６０７に移行する。一方、画像データが入力されていない場合、処理はステップＳ６０５に戻る。ステップＳ６０７において、画像処理装置３は、入力された画像データの歪み補正処理を行う。ステップＳ６０７の後、処理はステップＳ６０５に戻る。
【００６０】
次に、図７を参照しながら、図６のステップＳ６０７の歪み補正処理について詳細に説明する。図７は、図６のステップＳ６０７の歪み補正処理を示すフローチャートである。
【００６１】
ステップＳ７０１において、画像処理装置３は、図１０の１００１に示すような、撮影対象の矩形を含む画像データＩを撮影装置２から入力する。なお、図７に示す歪み補正処理によって補正された後の画像データは、図１０の１００４に示すような撮影対象の矩形が切り出された画像データＪとなる。
【００６２】
ステップＳ７０２において、画像処理装置３は、画像データＩ内の直線的なエッジ部分（エッジ線分）を、ハフ変換を用いて抽出し、エッジ線分の集合Ｅを生成する。その際、領域情報Ｐにハフ変換の閾値を含めているならば、これを用いてエッジ線分の抽出レベルを調節してもよい。図１０の１００２は、画像データＩ１００１上にエッジ線分を重ねて表示した状態を示している。
【００６３】
ステップＳ７０３において、画像処理装置３は、エッジ線分の集合Ｅの中から縦線らしい線分と横線らしい線分とを抽出し、縦線の集合Ｖと横線の集合Ｈとを生成する。ステップＳ７０４において、画像処理装置３は、縦線の集合Ｖから任意の縦線２本、横線の集合Ｈから任意の横線２本を抽出し、これらを組み合わせて四角枠を生成する処理を、集合Ｖと集合Ｈとの全ての要素に適用することにより、四角枠の集合Ｑを生成する。図１１の１１０１〜１１０４は、エッジ線分の集合Ｅから生成された四角枠の集合Ｑの例を示す図である。
【００６４】
ステップＳ７０５において、画像処理装置３は、四角枠の集合Ｑの中から撮影対象の矩形を投射面に投影した際にできる四角枠として最も相応しい第１候補を算出する。ステップＳ７０５の詳細は後述するが、処理結果として、図１１の１１０４に示す第１候補の四角枠とその候補レベル値とが得られる。ここで候補レベル値とは、どれだけ撮影対象の矩形を正しく囲んでいる四角枠なのかを数値化した値である。
【００６５】
ステップＳ７０６において、画像処理装置３は、第１候補の四角枠の候補レベル値が一定の値以上であるか否かを判定する。第１候補の四角枠の候補レベル値が一定の値以上である場合、処理はステップＳ７０７に移行する。一方、第１候補の四角枠の候補レベル値が一定の値未満である場合、画像処理装置３は、撮影対象の矩形の切り出しが不可能であるとして処理を終了する。ステップＳ７０７において、画像処理装置３は、第１候補の四角枠に従って画像データＩから撮影対象の矩形を切り出し、射影変換を行って画像データＪを生成する。ここで、画像データＪのある点（ｕ，ｖ）に対応する画像データＩ上の点（ｘ，ｙ）は、式６によって算出される。点（ｘ，ｙ）が画素の中心ではない場合にはバイリニア補間等の適切な補間処理が行われる。また、逆に画像データＩ上の点から対応する画像データＪ上の点を求める際には、式８が使用される。
【００６６】
ステップＳ７０８において、画像処理装置３は、図１２又は図１３の画像表示ウィンドウ１２０１、１３０１に示すように画像データＪを表示装置４に表示する。図１２の画像表示ウィンドウ１２０１は、切り出し用の四角枠が適切ではなかった場合に画像データＪが表示された例を示している。ユーザが再修正ボタン１２１１を押下することにより、図１２の四角枠修正ウィンドウ１２０２が表示され、ユーザによる手動修正を行うことが可能となる。即ち、ユーザは四角枠１２２２の四隅等をＵＩデバイス４０１でドラッグすることにより、図１３の四角枠修正ウィンドウ１３０２に示すように撮影対象の矩形をぴったりと囲むように四角枠１３２２を修正することが可能である。最後に修正を確定し、修正後の射影変換結果をもう一度表示させるためには、ユーザは修正画像表示ボタン１３２１を押せばよい。これにより、図１３に示すように、画像表示ウィンドウ１３０１内に画像データＪが適切に表示される。
【００６７】
他の実施形態として、射影変換結果の表示と四角枠の修正とを表示装置４上で行うのではなく、撮影装置２のビューファインダ２２上で行うようにしてもよい。この場合、ビューファインダ２２をタッチパネルとして構成し、指によるポインティングができることが望ましい。
【００６８】
ステップＳ７０９において、画像処理装置３は、ユーザによって四角枠が修正されたか否かを判定する。即ちここでは、ユーザによって四角枠が修正され、修正画像表示ボタン１２２１、１３２１が押されたか否かが判定される。ユーザによって四角枠が修正された場合、処理はステップＳ７１０に移行する。一方、ユーザによって四角枠が修正されていない場合、処理はＳ７１１に移行する。
【００６９】
ステップＳ７１０において、画像処理装置３は、図６のステップＳ６０４と同じ周辺画像データの解析処理によって、四角枠の修正結果から撮影対象の矩形の正しい領域情報Ｐを学習（再登録）する。なお、領域情報Ｐは四角枠周辺の複数個所から取得される。また、周辺画像データの解析対象となる事前登録済み画像データとしては、歪み補正後の画像データが用いられる。このように、四角枠の修正時に正しい領域情報Ｐを学習するため、図６のステップＳ６０２、Ｓ６０３、Ｓ６０４に示すような事前の登録作業を行わなくても、システムを使用していく過程で自然に領域情報Ｐの登録が行われる。領域情報Ｐの学習後はステップＳ７０７に戻って修正後の射影変換結果が表示される。
【００７０】
ステップＳ７１１において、画像処理装置３は、射影変換によって歪み補正された画像データＪをデータ用記憶領域４０７に保存する。具体的には、会議システムによって用意される会議フォルダに保存される。また、保存された画像データは議事録等に張り付けることも可能である。
【００７１】
次に、図１４を参照しながら、図７のステップＳ７０５の四角枠の第１候補の算出処理について詳細に説明する。図１４は、図７のステップＳ７０５の四角枠の第１候補の算出処理を示すフローチャートである。
【００７２】
ステップＳ１４０１において、画像処理装置３は、四角枠の集合Ｑを入力する。四角枠の集合Ｑには、例えば図１１の点線に示すような四角枠１１０１〜１１０４が含まれる。図１４を用いて説明する四角枠の第１候補の算出処理では、このような四角枠の集合Ｑから撮影対象の矩形を囲むのに最適な四角枠が算出される。図１１の例では、四角枠１１０４が四角枠の第１候補Ｔとして算出される。
【００７３】
ステップＳ１４０２において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、式７に従って四隅の点（ｘn，ｙn）（ｎ＝１，２，３，４，）から射影変換のパラメータＡx´、Ａy´、Ａz´、Ｂx´、Ｂy´、Ｂz´、Ｓx´、Ｓy´を算出する。ステップＳ１４０３において、画像処理装置３は、式１１、式１２に従って四隅の点（ｘn，ｙn）（ｎ＝１，２，３，４）からαとβとを算出し、式１３に従って焦点距離ｆを算出する。
【００７４】
ステップＳ１４０４において、画像処理装置３は、撮影装置２の焦点距離とステップＳ１４０３で算出した焦点距離ｆとを比較し、撮影装置２の焦点距離に近い焦点距離ｆを持つ四角枠の候補レベル値をアップする。ここでは、例えば、撮影装置２の焦点距離との差分が一定の値以下である焦点距離ｆを持つ四角枠の候補レベル値をアップすることが考えられる。なお、撮影装置２の焦点距離は撮影装置２から直接取得する他に、出力される画像データに付加されているメタデータ（ＪＰＥＧのＥｘｉｆデータ等）に記載されている値を用いてもよい。
【００７５】
ステップＳ１４０５において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、式１４に従って各四角枠が切り出すであろう撮影対象の矩形の縦横比を算出する。ステップＳ１４０６において、画像処理装置３は、領域情報Ｐの中から撮影対象の矩形の縦横比を抽出し、撮影対象の矩形の縦横比とステップＳ１４０５で算出した縦横比とを比較する。そして画像処理装置３は、撮影対象の矩形の縦横比に近い縦横比を持つ四角枠の候補レベル値をアップする。ここでは、例えば、撮影対象の矩形の縦横比との差分が一定の値以下である縦横比を持つ四角枠の候補レベル値をアップすることが考えられる。
【００７６】
ステップＳ１４０７において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、領域情報Ｐの中から抽出した撮影対象の矩形の縁の色と四角枠の縁の色とを比較し、撮影対象の矩形の縁の色に近い色の縁を持つ四角枠の候補レベル値をアップする。ステップＳ１４０８において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、領域情報Ｐの中から抽出された撮影対象の矩形の内外の色合いと四角枠の内外の色合いとを比較し、撮影対象の矩形の内外の色合いと近い内外の色合いを持つ四角枠の候補レベル値をアップする。なお、ステップＳ１４０７とＳ１４０８とにおける色や色合いの比較は次の方法によって行うことが可能であるが、本発明はこの方法に限定されるものではない。
【００７７】
画像データの画素Ｉ（ｘ，ｙ）の赤色成分、緑色成分、青色成分をＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とし、撮影対象の矩形の画像データにおける画素ＩP（ｘ，ｙ）の赤色成分、緑色成分、青色成分をＲP（ｘ，ｙ）、ＧP（ｘ，ｙ）、ＢP（ｘ，ｙ）とすると、ある領域ＫとＫPの色の平均の差分は次の式１５により求められる。そして、例えば、この差分が一定の値以下となる色や色合いを持つ四角枠の候補レベル値をアップすることが考えられる。
【００７８】
【数１７】
【００７９】
ステップＳ１４０９において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、式６に従って四角枠の周辺画像データを射影変換する。なお、射影変換の際には必要に応じてバイリニア補間等の適切な補間処理が行われる。ステップＳ１４１０において、画像処理装置３は、領域情報Ｐの中から撮影対象の矩形の周辺画像データを抽出し、撮影対象の矩形の周辺画像データとステップＳ１４０５で射影変換処理された周辺画像データとを比較する。そして画像処理装置３は、撮影対象の矩形の周辺画像データと近い周辺画像データを持つ四角枠の候補レベル値をアップする。なお、周辺画像データの比較は次の方法によって行うことが可能であるが、本発明はこの方法に限定されるものではない。
【００８０】
四角枠の周辺画像データの画素Ｉ（ｘ，ｙ）の明るさ成分をＯ（ｘ，ｙ）とし、撮影対象の矩形の周辺画像データの画素ＩP（ｘ、ｙ）の明るさ成分をＯP（ｘ，ｙ）とすると、或る領域Ｋの画像データの差分は次の式１６により求められる。そして、例えば、この差分が一定の値以下となる周辺画像データを持つ四角枠の候補レベル値をアップすることが考えられる。
【００８１】
【数１８】
【００８２】
領域情報Ｐに撮影パラメータを含めているならば、画像処理装置３は、ステップＳ１４０７〜Ｓ１４１０において、当該撮影パラメータを用いて色の比較処理や画像データの比較処理を行ってもよい。また、ステップＳ１４０３〜Ｓ１４１０の各段階において、候補レベル値が一定値に満たない候補を切り落とし、順次絞込みを行うようにしてもよい。さらに、焦点距離、縦横比、縁の色、内外の色合い、周辺画像データに関する各比較処理は、必ずしもこの順番で全て行う必要はなく、幾つかの比較処理を選択して別の順番で実行してもよい。ステップＳ１４１１において、画像処理装置３は、候補レベル値が最大となった四角枠を第１候補Ｔとし、その候補レベル値をＬＴとする。
【００８３】
以上により、本実施形態によれば、ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させることが可能となる。
【００８４】
次に、本発明の第２の実施形態について説明する。本発明の第２の実施形態では、撮影された画像データがホワイトボードを含むものであれば、画像データを表示装置４に表示させずにそのまま保存する。一方、撮影された画像データがホワイトボードを含むものでなければ、画像データを表示装置４に表示させる。これにより、会議記録として保存さえできればよいホワイトボードを含む画像データはそのまま会議フォルダに保存し、画像データを表示することによる会議の一時的中断を防ぐことができる。また、撮影装置２によってホワイトボード以外のものが撮影された場合には、画像データを加工することなく直ぐに表示することで会議参加者全員に見せることが可能になる。なお、画像データがホワイトボードを含まない場合に直ぐに表示すること以外にも、画像データを指定のサーバにアップロードする等、事前に指定された処理を行うようにしてもよい。
【００８５】
図１５のステップＳ７０１〜Ｓ７０６の処理の流れは、図７と同一符号のステップの処理の流れと同じであるため、説明は省略する。ステップＳ７０６において第１候補の四角枠の候補レベル値が一定の値以上であると判定された場合、処理はステップＳ１５０１に移行する。一方、ステップＳ７０６において第１候補の四角枠の候補レベル値が一定の値未満であると判定された場合、処理はステップＳ１５０３に移行する。
【００８６】
ステップＳ１５０１において、画像処理装置３は、図７のステップＳ７０７と同様に、第１候補の四角枠に従って画像データＩから撮影対象の矩形を切り出し、射影変換を行って画像データＪを生成する。ステップＳ１５０２おいて、画像処理装置３は、射影変換によって歪み補正された画像データＪをデータ用記憶領域４０７に保存する。
【００８７】
ステップＳ１５０３において、画像処理装置３は、撮像装置２から入力した画像データＩを画像データＪにそのままコピーする。ステップＳ１５０４において、画像処理装置３は、図７のステップＳ７０８と同様に、図１２又は図１３の画像表示ウィンドウ１２０１、１３０１に示すように画像データＪを表示装置４に表示する。ステップＳ１５０５において、画像処理装置３は、図７のステップＳ７０９と同様に、ユーザによって四角枠が修正されたか否かを判定する。ユーザによって四角枠が修正された場合、処理はステップＳ１５０６に移行する。ユーザによって四角枠が修正されていない場合、処理はステップＳ１５０２に移行する。ステップＳ１５０６において、画像処理装置３は、図７のステップＳ７１０と同様に、周辺画像データの解析処理によって、四角枠の修正結果から撮影対象の矩形の正しい領域情報Ｐを学習する。ステップＳ１５０７において、画像処理装置３は、第１候補の四角枠に従って画像データＩから撮影対象の矩形を切り出し、射影変換を行って画像データＪを生成する。
【００８８】
なお、ステップＳ１５０３〜Ｓ１５０７は、画像データＩ内にホワイトボードが含まれていたが、ステップＳ７０２〜Ｓ７０５で検出できなかったときの救済処理であるため、救済処理が必要なければ省いても構わない。
【００８９】
以上、本発明の実施形態について説明したが、本発明は、例えば、システム、装置、方法、プログラム又は記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９１】
１：ホワイトボード、２：撮影装置、３：画像処理装置、４：表示装置、７：画像処理システム
【技術分野】
【０００１】
本発明は、ホワイトボードや紙資料等の撮影対象の矩形を撮影する技術に関するものである。
【背景技術】
【０００２】
今日、会社、学校及び研究機関等で会議や集会を行う際には、ホワイトボードを用いて会議や集会の内容をまとめることが広く行われている。その際、デジタルカメラ等を用いてホワイトボードを撮影し、会議の記録として残しておくことがよく行われている。しかし、ホワイトボードの前に人や物が置かれているために正面から撮影できずに斜めから撮影しなければならないことが度々発生する。このようにして撮影された画像データは、ホワイトボードの板書内容が歪んで写っているため、保存や表示に適さないことが多い。
【０００３】
また、無線ＬＡＮの普及に伴い無線ＬＡＮ機能付きデジタルカメラや、カメラに刺して使うＳＤカード型無線アダプタが市販されている。このような機器の中には、撮影した画像データを直ぐにＰＣに送信して保存、表示させることが可能なものがある。この種の機器を使用することにより、手元の物体を撮影して直ぐに会議参加者全員に見せることが可能になる。
【０００４】
特許文献１に開示される技術は、画像データから直線パラメータを抽出し、直線を組み合わせてホワイトボードの輪郭を形成する四角枠の候補を複数個生成する。そして、ユーザが目視で四角枠の候補の中からホワイトボードの輪郭に合った四角枠を探し出し、その四角枠で画像データを切り出した後、射影変換によって正面から見たときと等価な画像データを生成する。
【０００５】
また、特許文献２に開示される技術は、撮影された画像データからエッジを抽出した後に四角枠の候補を算出し、四角枠の候補が複数存在する場合は四角枠の重心と大きさに基づいてグループ分けを行う。そして、複数の四角枠の候補を順に強調表示し、その中からユーザが目視で最適な四角枠を選択し、選択された四角枠に基づいて射影変換を行い、歪み補正された画像データを得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３６３１５１号公報
【特許文献２】特開２０１０−２２４９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示される技術においては、四角枠の候補の数が多くなると、ユーザが目視によって最適な四角枠を探し出すことは困難である。また、特許文献２に開示される技術においては、グループ分けによる近接候補のクラスタリングは、ユーザの作業量を減らす効果はあるが、最適な四角枠の位置が代表的な四角枠の位置に丸められてしまう恐れがあり、正確性を損なう可能性がある。
【０００８】
そこで、本発明の目的は、ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させることにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像データを入力する入力手段と、前記入力手段により入力された前記画像データから線分を検出する検出手段と、撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出手段により検出された線分から決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理システムの構成を示す図である。
【図２】ホワイトボードを撮影装置によって撮影される状況を示す図である。
【図３】撮影装置によって撮影されたホワイトボードを含む画像データを示す図である。
【図４】画像処理装置の内部構成を示す図である。
【図５】射影変換を説明するための図である。
【図６】第１の実施形態における画像処理装置の処理を示すフローチャートである。
【図７】図６のステップＳ６０７の歪み補正処理を示すフローチャートである。
【図８】事前に登録しておく画像データを示す図である。
【図９】四角枠を修正する四角枠修正ウィンドウを示す図である。
【図１０】画像データに対する歪み補正処理を説明するための図である。
【図１１】エッジ線分の集合から生成された四角枠の集合の例を示す図である。
【図１２】画像データを表示する画像表示ウィンドウを示す図である。
【図１３】画像データを表示する画像表示ウィンドウを示す図である。
【図１４】図７のステップＳ７０５の四角枠の第１候補の算出処理を示すフローチャートである。
【図１５】第２の実施形態における画像処理装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態は飽くまでも本発明の適用例に過ぎず、本発明を限定するものではない。また、以下の説明では、撮影対象の矩形としてホワイトボードを例に挙げているが、ホワイトボードに限定されるものではなく、紙資料や名刺等の矩形且つ平面形状の対象物全般に適用可能である。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理システムの構成を示す図である。図１に示すように、第１の実施形態に係る画像処理システム７は、撮影装置２、画像処理装置３及び表示装置４から構成される。撮影装置２と画像処理装置３とは無線ＬＡＮ等の無線通信路５で接続されているが、特に無線である必要はなく、有線であっても構わない。また、画像処理装置３と表示装置４とはＨＤＭＩ（High Definition Multimedia Interface）等の有線通信路６で接続されているが、特に有線である必要はなく、無線であっても構わない。
【００１４】
撮影装置２は、撮影ボタン２１と液晶パネル等のビューファインダ２２とを備える。図１では、撮影装置２の撮影対象の矩形としてホワイトボード１が配置されているが、特にホワイトボード１に限定する必要はなく、机の上に置かれた名刺や紙資料のように矩形且つ平面形状の対象物であればよい。ビューファインダ２２には撮影対象の矩形が表示され、この状態で撮影ボタン２１が押下されることにより、撮影装置２は撮影対象の矩形の画像データを生成し、無線通信路５を介して画像処理装置３に送信する。画像処理装置３は、有線通信路６を介して撮影対象の矩形の画像データやＧＵＩを表示装置４に対して送信する。表示装置４は、画像処理装置３から受信した撮影対象の矩形の画像データやＧＵＩを表示する。
【００１５】
図２に示すように、ホワイトボード１を撮影装置２ａや撮影装置２ｂによって斜めから撮影すると、撮影装置２ａは、図３の３１ａに示すような歪んだ画像データを生成し、撮影装置２ｂは、図３の３１ｂに示すような歪んだ画像データを生成する。画像処理装置３は、このように歪んだ画像データを撮影装置２から入力すると、射影変換等の画像処理によって画像データに対する歪み補正を行い、正面から撮影したような画像データ（図３の３４）を生成する。なお、射影変換時に使用されるパラメータは、撮影装置２から入力された画像データの特徴点に基づいて自動的に算出される。
【００１６】
図４は、画像処理装置３の内部構成を示す図である。ＵＩ（User Interface）デバイス４０１は、マウス、デジタイザ及びキーボード等であり、画像処理装置３にユーザの指示を入力するために用いられる。ＣＰＵ（Central Processing Unit）４０２は、プログラム用記憶領域４０６からＲＡＭ（Random Access Memory）４０３にプログラムを読み込み、当該プログラムを解釈、実行することによって画像処理装置３内の各種制御や計算、ＵＩの表示等を行う。通信インタフェース（ＩＦ）４０４は、撮影装置２や表示装置４との間の通信インタフェースである。ＵＩ表示部４０５は、画像処理装置３の状態や処理内容を表示するＬＥＤや液晶パネル等であるが、表示装置４を制御して表示する構成であってもよい。プログラム用記憶領域４０６及びデータ用記憶領域４０７は、ハードディスクやフラッシュメモリ等に構成することが可能であるが、特定の記憶媒体に限定する必要はない。
【００１７】
なお、本実施形態に係る画像処理システム７は、会議の際に使用されることが多いため、実際の運用では、画像処理装置３上で議事録の作成や会議情報の管理等を行う会議システムと統合して使用されることが多い。
【００１８】
次に、画像処理装置３で実行される射影変換を表す各種数式と射影変換の際に使用される各種パラメータの算出式とについて説明する。図５に示すように、撮影対象の矩形５０１の四隅をＰ1、Ｐ2、Ｐ3、Ｐ4とし、撮影対象の矩形５０１（ここでは、ホワイトボード１）上の任意の点ＰをベクトルＳ、Ａ、Ｂで表すものとする。ここで、各ベクトルは次のように定義される。
【００１９】
【数１】
【００２０】
次に、Ｐ1、Ｐ2、Ｐ3、Ｐ4から視点である原点Ｏに向けて直線を引いたときに投射面８１と交わる点をそれぞれｐ1、ｐ2、ｐ3、ｐ4とする。これらの点は投射面５０２をｚ＝ｆで表すと、次の式１のように定義される。ここで、ｆは焦点距離に対応する。
【００２１】
【数２】
【００２２】
なお、ｘn、ｙnは画像データ上の座標であり、その範囲は次のようになる。
【００２３】
【数３】
【００２４】
これらの点ｐ1、ｐ2、ｐ3、ｐ4は、画像データを解析することにより座標値ｘn、ｙnを決定することが可能である。次に、Ｐ1、Ｐ2、Ｐ3、Ｐ4から原点Ｏに向かう直線は次の式２で表される。
【００２５】
【数４】
【００２６】
ここで、投射面５０２と交わる点がｐ1、ｐ2、ｐ3、ｐ4であることから、式２に式１のｘn、ｙn、ｆを代入すると次の連立方程式を得る。
【００２７】
【数５】
【００２８】
また、撮影対象の矩形５０１上の点Ｐから原点Ｏに向かう直線は次の式で表される。
【００２９】
【数６】
【００３０】
従って、投射面５０２上の点ｐの座標ｘ、ｙは次の式４のように表される。
【００３１】
【数７】
【００３２】
ここで、ｘ、ｙをｕ、ｖから数値的に算出するための式を導出するために、先ず式３をＡx、Ａy、Ａz、Ｂx、Ｂy、Ｂz、Ｓx、Ｓyについて解く。
【００３３】
【数８】
【００３４】
これを式４に代入すると、分子分母でｆとＳzとが消えるため、次のような式６を得る。
【００３５】
【数９】
【００３６】
ここで、Ａx´、Ａy´、Ａz´、Ｂx´、Ｂy´、Ｂz´、Ｓx´、Ｓy´は、次の式７のようにｘn、ｙnから数値的に算出可能であり、射影変換のパラメータと呼ばれる。
【００３７】
【数１０】
【００３８】
また、式６をｕ、ｖについて解くと、ｕ、ｖをｘ、ｙから数値的に算出するための次の式８を得る。
【００３９】
【数１１】
【００４０】
次に、焦点距離ｆをｘn、ｙnから求めるための式を導出する。先ず、ベクトルＡとベクトルＢとは撮影対象の矩形５０１の辺に沿って定義していることから、ＡとＢとは直交する。即ち、内積が零になることから次の式９を得る。
【００４１】
【数１２】
【００４２】
式９に式５を代入すると、Ｓｚが消えて次の式１０を得る。
【００４３】
【数１３】
【００４４】
ここで、α、βは次の式１１、式１２のように、ｘn、ｙnから数値的に算出される。
【００４５】
【数１４】
【００４６】
式１０をｆについて解くことにより、次の式１３のように、焦点距離ｆを数値的に算出することができる。
【００４７】
【数１５】
【００４８】
次に、撮影対象の矩形５０１の縦横比を求めるための式は、次の式１４の通りである。
【００４９】
【数１６】
【００５０】
次に、図６を参照しながら、第１の実施形態における画像処理装置３の処理について詳細に説明する。図６は、第１の実施形態における画像処理装置３の処理を示すフローチャートである。
【００５１】
ステップＳ６０２、Ｓ６０３、Ｓ６０４において、画像処理装置３は、撮影対象の矩形５０１について領域情報Ｐを取得する。これらの処理は歪み補正処理（ステップＳ６０７）の前に行われていればよいため、実際の運用では会議の直前やシステムインストール時に行われる。また、領域情報Ｐは、同じ会議室で同じホワイトボードを使っている限り、再利用することが可能なため、会議システムの会議室情報に付随して登録してもよい。その際、会議室に複数個のホワイトボードが存在する場合にはそれぞれについて領域情報Ｐを事前に登録しておく。また、照明を点灯している場合と消灯している場合とで夫々領域情報Ｐを登録しておいてもよい。
【００５２】
ステップＳ６０１において、画像処理装置３は、領域情報Ｐにデフォルト値を設定する。デフォルト値としては、例えば以下のような値が設定される。
・撮影対象の矩形（ホワイトボード１）の縦横比：３／４
・撮影対象の矩形（ホワイトボード１）の縁の色：黒
・撮影対象の矩形（ホワイトボード１）の内外の色合い：内側→白、外側→グレー
・撮影対象の矩形（ホワイトボード１）の周辺画像データ：なし
【００５３】
ステップＳ６０２において、画像処理装置３は、図８に示すように、画像データ８０１を撮影装置２から取得し、事前に登録しておく画像データ（以下、事前登録済み画像データと称す）として保存する。その際、ホワイトボード１には何も書かれていない方が望ましい。
【００５４】
ステップＳ６０３において、画像処理装置３は、図９に示すように、四角枠修正ウィンドウ９０１を表示装置４に表示する。この四角枠修正ウィンドウ９０１には、ステップＳ４０２で取得された事前登録済み画像データ８０１が表示されており、その上に四角枠９０２が表示されている。四角枠９０２は、デフォルト値の領域情報Ｐに基づいて表示される。ユーザは、ＵＩデバイス４０１を用いて四角枠９０２を修正し、ホワイトボード１の領域を囲むように調整する。そしてユーザが修正画像表示ボタン９０３を押下すると、四角枠９０２が決定され、歪み補正が施された画像データが表示される。
【００５５】
ステップＳ６０４において、画像処理装置３は、四角枠９０２の周辺画像データを解析して次のような情報を取得し、領域情報Ｐとして保持する。
・撮影対象の矩形（ホワイトボード１）の縦横比：（図８の８０１参照）
・撮影対象の矩形（ホワイトボード１）の縁の色：（図８の８０２参照）
・撮影対象の矩形（ホワイトボード１）の内外の色合い：（図８の８０３参照）
・撮影対象の矩形（ホワイトボード１）の周辺画像データ：（図８の８０４参照）
なお、領域情報Ｐは四角枠９０２周辺の複数個所から取得される。また、周辺画像データの解析対象となる事前登録済み画像データ８０１としては、歪み補正後の画像データが用いられる。
【００５６】
これら以外にも、事前登録済み画像データ８０１から撮影対象の矩形の輪郭線を検出する際に使用されたハフ変換の適切な閾値を、領域情報Ｐに含めて保持してもよい。また、事前登録済み画像データ８０１を撮影する際に使用された撮影パラメータ（絞り、露光時間、ＩＳＯ感度、ホワイトバランス等）も、領域情報Ｐに含めて保持してもよい。
【００５７】
上述したように、ステップＳ６０２〜Ｓ６０４において、画像処理装置３は、事前登録済み画像データ８０１から個々の領域情報Ｐを抽出している。他の実施形態として、領域情報Ｐとして、歪み補正後の事前登録済み画像データ８０１自体を登録しておき、後段の処理で必要になった際に、事前登録済み画像データ８０１から領域情報Ｐを取得するようにしてもよい。
【００５８】
次に、ステップＳ６０５、Ｓ６０６、Ｓ６０７において、画像処理装置３は、ユーザの撮影動作に合わせた歪み補正処理を行う。実際の運用では、会議中に撮影対象の矩形が撮影され、当該撮影によって生成された画像データを即時歪み補正して会議フォルダに保存したり、議事録等に張り付けることを想定している。
【００５９】
ステップＳ６０５において、画像処理装置３は、撮影装置２からの画像データの入力を待つ。ステップＳ６０６において、画像処理装置３は、撮影装置２から画像データが入力されたか否かを判定する。画像データが入力された場合、処理はステップＳ６０７に移行する。一方、画像データが入力されていない場合、処理はステップＳ６０５に戻る。ステップＳ６０７において、画像処理装置３は、入力された画像データの歪み補正処理を行う。ステップＳ６０７の後、処理はステップＳ６０５に戻る。
【００６０】
次に、図７を参照しながら、図６のステップＳ６０７の歪み補正処理について詳細に説明する。図７は、図６のステップＳ６０７の歪み補正処理を示すフローチャートである。
【００６１】
ステップＳ７０１において、画像処理装置３は、図１０の１００１に示すような、撮影対象の矩形を含む画像データＩを撮影装置２から入力する。なお、図７に示す歪み補正処理によって補正された後の画像データは、図１０の１００４に示すような撮影対象の矩形が切り出された画像データＪとなる。
【００６２】
ステップＳ７０２において、画像処理装置３は、画像データＩ内の直線的なエッジ部分（エッジ線分）を、ハフ変換を用いて抽出し、エッジ線分の集合Ｅを生成する。その際、領域情報Ｐにハフ変換の閾値を含めているならば、これを用いてエッジ線分の抽出レベルを調節してもよい。図１０の１００２は、画像データＩ１００１上にエッジ線分を重ねて表示した状態を示している。
【００６３】
ステップＳ７０３において、画像処理装置３は、エッジ線分の集合Ｅの中から縦線らしい線分と横線らしい線分とを抽出し、縦線の集合Ｖと横線の集合Ｈとを生成する。ステップＳ７０４において、画像処理装置３は、縦線の集合Ｖから任意の縦線２本、横線の集合Ｈから任意の横線２本を抽出し、これらを組み合わせて四角枠を生成する処理を、集合Ｖと集合Ｈとの全ての要素に適用することにより、四角枠の集合Ｑを生成する。図１１の１１０１〜１１０４は、エッジ線分の集合Ｅから生成された四角枠の集合Ｑの例を示す図である。
【００６４】
ステップＳ７０５において、画像処理装置３は、四角枠の集合Ｑの中から撮影対象の矩形を投射面に投影した際にできる四角枠として最も相応しい第１候補を算出する。ステップＳ７０５の詳細は後述するが、処理結果として、図１１の１１０４に示す第１候補の四角枠とその候補レベル値とが得られる。ここで候補レベル値とは、どれだけ撮影対象の矩形を正しく囲んでいる四角枠なのかを数値化した値である。
【００６５】
ステップＳ７０６において、画像処理装置３は、第１候補の四角枠の候補レベル値が一定の値以上であるか否かを判定する。第１候補の四角枠の候補レベル値が一定の値以上である場合、処理はステップＳ７０７に移行する。一方、第１候補の四角枠の候補レベル値が一定の値未満である場合、画像処理装置３は、撮影対象の矩形の切り出しが不可能であるとして処理を終了する。ステップＳ７０７において、画像処理装置３は、第１候補の四角枠に従って画像データＩから撮影対象の矩形を切り出し、射影変換を行って画像データＪを生成する。ここで、画像データＪのある点（ｕ，ｖ）に対応する画像データＩ上の点（ｘ，ｙ）は、式６によって算出される。点（ｘ，ｙ）が画素の中心ではない場合にはバイリニア補間等の適切な補間処理が行われる。また、逆に画像データＩ上の点から対応する画像データＪ上の点を求める際には、式８が使用される。
【００６６】
ステップＳ７０８において、画像処理装置３は、図１２又は図１３の画像表示ウィンドウ１２０１、１３０１に示すように画像データＪを表示装置４に表示する。図１２の画像表示ウィンドウ１２０１は、切り出し用の四角枠が適切ではなかった場合に画像データＪが表示された例を示している。ユーザが再修正ボタン１２１１を押下することにより、図１２の四角枠修正ウィンドウ１２０２が表示され、ユーザによる手動修正を行うことが可能となる。即ち、ユーザは四角枠１２２２の四隅等をＵＩデバイス４０１でドラッグすることにより、図１３の四角枠修正ウィンドウ１３０２に示すように撮影対象の矩形をぴったりと囲むように四角枠１３２２を修正することが可能である。最後に修正を確定し、修正後の射影変換結果をもう一度表示させるためには、ユーザは修正画像表示ボタン１３２１を押せばよい。これにより、図１３に示すように、画像表示ウィンドウ１３０１内に画像データＪが適切に表示される。
【００６７】
他の実施形態として、射影変換結果の表示と四角枠の修正とを表示装置４上で行うのではなく、撮影装置２のビューファインダ２２上で行うようにしてもよい。この場合、ビューファインダ２２をタッチパネルとして構成し、指によるポインティングができることが望ましい。
【００６８】
ステップＳ７０９において、画像処理装置３は、ユーザによって四角枠が修正されたか否かを判定する。即ちここでは、ユーザによって四角枠が修正され、修正画像表示ボタン１２２１、１３２１が押されたか否かが判定される。ユーザによって四角枠が修正された場合、処理はステップＳ７１０に移行する。一方、ユーザによって四角枠が修正されていない場合、処理はＳ７１１に移行する。
【００６９】
ステップＳ７１０において、画像処理装置３は、図６のステップＳ６０４と同じ周辺画像データの解析処理によって、四角枠の修正結果から撮影対象の矩形の正しい領域情報Ｐを学習（再登録）する。なお、領域情報Ｐは四角枠周辺の複数個所から取得される。また、周辺画像データの解析対象となる事前登録済み画像データとしては、歪み補正後の画像データが用いられる。このように、四角枠の修正時に正しい領域情報Ｐを学習するため、図６のステップＳ６０２、Ｓ６０３、Ｓ６０４に示すような事前の登録作業を行わなくても、システムを使用していく過程で自然に領域情報Ｐの登録が行われる。領域情報Ｐの学習後はステップＳ７０７に戻って修正後の射影変換結果が表示される。
【００７０】
ステップＳ７１１において、画像処理装置３は、射影変換によって歪み補正された画像データＪをデータ用記憶領域４０７に保存する。具体的には、会議システムによって用意される会議フォルダに保存される。また、保存された画像データは議事録等に張り付けることも可能である。
【００７１】
次に、図１４を参照しながら、図７のステップＳ７０５の四角枠の第１候補の算出処理について詳細に説明する。図１４は、図７のステップＳ７０５の四角枠の第１候補の算出処理を示すフローチャートである。
【００７２】
ステップＳ１４０１において、画像処理装置３は、四角枠の集合Ｑを入力する。四角枠の集合Ｑには、例えば図１１の点線に示すような四角枠１１０１〜１１０４が含まれる。図１４を用いて説明する四角枠の第１候補の算出処理では、このような四角枠の集合Ｑから撮影対象の矩形を囲むのに最適な四角枠が算出される。図１１の例では、四角枠１１０４が四角枠の第１候補Ｔとして算出される。
【００７３】
ステップＳ１４０２において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、式７に従って四隅の点（ｘn，ｙn）（ｎ＝１，２，３，４，）から射影変換のパラメータＡx´、Ａy´、Ａz´、Ｂx´、Ｂy´、Ｂz´、Ｓx´、Ｓy´を算出する。ステップＳ１４０３において、画像処理装置３は、式１１、式１２に従って四隅の点（ｘn，ｙn）（ｎ＝１，２，３，４）からαとβとを算出し、式１３に従って焦点距離ｆを算出する。
【００７４】
ステップＳ１４０４において、画像処理装置３は、撮影装置２の焦点距離とステップＳ１４０３で算出した焦点距離ｆとを比較し、撮影装置２の焦点距離に近い焦点距離ｆを持つ四角枠の候補レベル値をアップする。ここでは、例えば、撮影装置２の焦点距離との差分が一定の値以下である焦点距離ｆを持つ四角枠の候補レベル値をアップすることが考えられる。なお、撮影装置２の焦点距離は撮影装置２から直接取得する他に、出力される画像データに付加されているメタデータ（ＪＰＥＧのＥｘｉｆデータ等）に記載されている値を用いてもよい。
【００７５】
ステップＳ１４０５において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、式１４に従って各四角枠が切り出すであろう撮影対象の矩形の縦横比を算出する。ステップＳ１４０６において、画像処理装置３は、領域情報Ｐの中から撮影対象の矩形の縦横比を抽出し、撮影対象の矩形の縦横比とステップＳ１４０５で算出した縦横比とを比較する。そして画像処理装置３は、撮影対象の矩形の縦横比に近い縦横比を持つ四角枠の候補レベル値をアップする。ここでは、例えば、撮影対象の矩形の縦横比との差分が一定の値以下である縦横比を持つ四角枠の候補レベル値をアップすることが考えられる。
【００７６】
ステップＳ１４０７において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、領域情報Ｐの中から抽出した撮影対象の矩形の縁の色と四角枠の縁の色とを比較し、撮影対象の矩形の縁の色に近い色の縁を持つ四角枠の候補レベル値をアップする。ステップＳ１４０８において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、領域情報Ｐの中から抽出された撮影対象の矩形の内外の色合いと四角枠の内外の色合いとを比較し、撮影対象の矩形の内外の色合いと近い内外の色合いを持つ四角枠の候補レベル値をアップする。なお、ステップＳ１４０７とＳ１４０８とにおける色や色合いの比較は次の方法によって行うことが可能であるが、本発明はこの方法に限定されるものではない。
【００７７】
画像データの画素Ｉ（ｘ，ｙ）の赤色成分、緑色成分、青色成分をＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とし、撮影対象の矩形の画像データにおける画素ＩP（ｘ，ｙ）の赤色成分、緑色成分、青色成分をＲP（ｘ，ｙ）、ＧP（ｘ，ｙ）、ＢP（ｘ，ｙ）とすると、ある領域ＫとＫPの色の平均の差分は次の式１５により求められる。そして、例えば、この差分が一定の値以下となる色や色合いを持つ四角枠の候補レベル値をアップすることが考えられる。
【００７８】
【数１７】
【００７９】
ステップＳ１４０９において、画像処理装置３は、四角枠の集合Ｑのそれぞれに対して、式６に従って四角枠の周辺画像データを射影変換する。なお、射影変換の際には必要に応じてバイリニア補間等の適切な補間処理が行われる。ステップＳ１４１０において、画像処理装置３は、領域情報Ｐの中から撮影対象の矩形の周辺画像データを抽出し、撮影対象の矩形の周辺画像データとステップＳ１４０５で射影変換処理された周辺画像データとを比較する。そして画像処理装置３は、撮影対象の矩形の周辺画像データと近い周辺画像データを持つ四角枠の候補レベル値をアップする。なお、周辺画像データの比較は次の方法によって行うことが可能であるが、本発明はこの方法に限定されるものではない。
【００８０】
四角枠の周辺画像データの画素Ｉ（ｘ，ｙ）の明るさ成分をＯ（ｘ，ｙ）とし、撮影対象の矩形の周辺画像データの画素ＩP（ｘ、ｙ）の明るさ成分をＯP（ｘ，ｙ）とすると、或る領域Ｋの画像データの差分は次の式１６により求められる。そして、例えば、この差分が一定の値以下となる周辺画像データを持つ四角枠の候補レベル値をアップすることが考えられる。
【００８１】
【数１８】
【００８２】
領域情報Ｐに撮影パラメータを含めているならば、画像処理装置３は、ステップＳ１４０７〜Ｓ１４１０において、当該撮影パラメータを用いて色の比較処理や画像データの比較処理を行ってもよい。また、ステップＳ１４０３〜Ｓ１４１０の各段階において、候補レベル値が一定値に満たない候補を切り落とし、順次絞込みを行うようにしてもよい。さらに、焦点距離、縦横比、縁の色、内外の色合い、周辺画像データに関する各比較処理は、必ずしもこの順番で全て行う必要はなく、幾つかの比較処理を選択して別の順番で実行してもよい。ステップＳ１４１１において、画像処理装置３は、候補レベル値が最大となった四角枠を第１候補Ｔとし、その候補レベル値をＬＴとする。
【００８３】
以上により、本実施形態によれば、ホワイトボードや紙資料等の撮影対象の矩形を撮影する作業を効率化させることが可能となる。
【００８４】
次に、本発明の第２の実施形態について説明する。本発明の第２の実施形態では、撮影された画像データがホワイトボードを含むものであれば、画像データを表示装置４に表示させずにそのまま保存する。一方、撮影された画像データがホワイトボードを含むものでなければ、画像データを表示装置４に表示させる。これにより、会議記録として保存さえできればよいホワイトボードを含む画像データはそのまま会議フォルダに保存し、画像データを表示することによる会議の一時的中断を防ぐことができる。また、撮影装置２によってホワイトボード以外のものが撮影された場合には、画像データを加工することなく直ぐに表示することで会議参加者全員に見せることが可能になる。なお、画像データがホワイトボードを含まない場合に直ぐに表示すること以外にも、画像データを指定のサーバにアップロードする等、事前に指定された処理を行うようにしてもよい。
【００８５】
図１５のステップＳ７０１〜Ｓ７０６の処理の流れは、図７と同一符号のステップの処理の流れと同じであるため、説明は省略する。ステップＳ７０６において第１候補の四角枠の候補レベル値が一定の値以上であると判定された場合、処理はステップＳ１５０１に移行する。一方、ステップＳ７０６において第１候補の四角枠の候補レベル値が一定の値未満であると判定された場合、処理はステップＳ１５０３に移行する。
【００８６】
ステップＳ１５０１において、画像処理装置３は、図７のステップＳ７０７と同様に、第１候補の四角枠に従って画像データＩから撮影対象の矩形を切り出し、射影変換を行って画像データＪを生成する。ステップＳ１５０２おいて、画像処理装置３は、射影変換によって歪み補正された画像データＪをデータ用記憶領域４０７に保存する。
【００８７】
ステップＳ１５０３において、画像処理装置３は、撮像装置２から入力した画像データＩを画像データＪにそのままコピーする。ステップＳ１５０４において、画像処理装置３は、図７のステップＳ７０８と同様に、図１２又は図１３の画像表示ウィンドウ１２０１、１３０１に示すように画像データＪを表示装置４に表示する。ステップＳ１５０５において、画像処理装置３は、図７のステップＳ７０９と同様に、ユーザによって四角枠が修正されたか否かを判定する。ユーザによって四角枠が修正された場合、処理はステップＳ１５０６に移行する。ユーザによって四角枠が修正されていない場合、処理はステップＳ１５０２に移行する。ステップＳ１５０６において、画像処理装置３は、図７のステップＳ７１０と同様に、周辺画像データの解析処理によって、四角枠の修正結果から撮影対象の矩形の正しい領域情報Ｐを学習する。ステップＳ１５０７において、画像処理装置３は、第１候補の四角枠に従って画像データＩから撮影対象の矩形を切り出し、射影変換を行って画像データＪを生成する。
【００８８】
なお、ステップＳ１５０３〜Ｓ１５０７は、画像データＩ内にホワイトボードが含まれていたが、ステップＳ７０２〜Ｓ７０５で検出できなかったときの救済処理であるため、救済処理が必要なければ省いても構わない。
【００８９】
以上、本発明の実施形態について説明したが、本発明は、例えば、システム、装置、方法、プログラム又は記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９１】
１：ホワイトボード、２：撮影装置、３：画像処理装置、４：表示装置、７：画像処理システム
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された前記画像データから線分を検出する検出手段と、
撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出手段により検出された線分から決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記撮影対象の矩形の領域に係る情報として、前記撮影対象の矩形の縦横比、前記撮影対象の矩形の縁の色、前記撮影対象の矩形の内外の色合い、及び、前記撮影対象の矩形の周辺画像データのうちの少なくとも何れか一つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影対象の矩形の領域に係る情報に基づいて、前記画像データに前記撮影対象の矩形が含まれているか否かを判定する判定手段と、
前記判定手段により前記画像データに前記撮影対象の矩形が含まれていないと判定された場合、所定の処理を実行する制御手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の処理は、前記画像データを表示させる処理であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記四角枠を修正する修正手段と、
前記修正手段により修正された前記四角枠に基づいて、前記撮影対象の矩形の領域に係る情報を再登録する再登録手段とを更に有することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置によって実行される画像処理方法であって、
画像データを入力する入力ステップと、
前記入力ステップにより入力された前記画像データから線分を検出する検出ステップと、
撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出ステップにより検出された線分から決定する決定ステップとを含むことを特徴とする画像処理方法。
【請求項７】
画像データを入力する入力ステップと、
前記入力ステップにより入力された前記画像データから線分を検出する検出ステップと、
撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出ステップにより検出された線分から決定する決定ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された前記画像データから線分を検出する検出手段と、
撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出手段により検出された線分から決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記撮影対象の矩形の領域に係る情報として、前記撮影対象の矩形の縦横比、前記撮影対象の矩形の縁の色、前記撮影対象の矩形の内外の色合い、及び、前記撮影対象の矩形の周辺画像データのうちの少なくとも何れか一つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影対象の矩形の領域に係る情報に基づいて、前記画像データに前記撮影対象の矩形が含まれているか否かを判定する判定手段と、
前記判定手段により前記画像データに前記撮影対象の矩形が含まれていないと判定された場合、所定の処理を実行する制御手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の処理は、前記画像データを表示させる処理であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記四角枠を修正する修正手段と、
前記修正手段により修正された前記四角枠に基づいて、前記撮影対象の矩形の領域に係る情報を再登録する再登録手段とを更に有することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置によって実行される画像処理方法であって、
画像データを入力する入力ステップと、
前記入力ステップにより入力された前記画像データから線分を検出する検出ステップと、
撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出ステップにより検出された線分から決定する決定ステップとを含むことを特徴とする画像処理方法。
【請求項７】
画像データを入力する入力ステップと、
前記入力ステップにより入力された前記画像データから線分を検出する検出ステップと、
撮影対象の矩形の領域に係る情報に基づいて、前記画像データに含まれる前記撮影対象の矩形を囲む四角枠を、前記検出ステップにより検出された線分から決定する決定ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２３８０９８（Ｐ２０１２−２３８０９８Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５３６０（Ｐ２０１１−１０５３６０）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]