文書画像の処理方法及び装置
【課題】文書画像の処理方法及び装置を提供する。
【解決手段】ビューポート内に目標オブジェクトを含む３Ｄビューポートを生成するプロセスが呼び出され（１７０１）。それを使って、ユーザは３Ｄビューポート内の目標オブジェクトの調整を行う（１７０２）。ユーザが目標オブジェクトを所望通りに調整し終えると、オブジェクトの２Ｄ画像をレンダリングし、（１７０３）、３Ｄビューポートが終了する（１７０４）。
【解決手段】ビューポート内に目標オブジェクトを含む３Ｄビューポートを生成するプロセスが呼び出され（１７０１）。それを使って、ユーザは３Ｄビューポート内の目標オブジェクトの調整を行う（１７０２）。ユーザが目標オブジェクトを所望通りに調整し終えると、オブジェクトの２Ｄ画像をレンダリングし、（１７０３）、３Ｄビューポートが終了する（１７０４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像キャプチャリングのシステムおよび方法に関し、より具体的には文書を含む画像の処理方法及び装置に関する。
【背景技術】
【０００２】
文書の画像をキャプチャする方法として、図１に示すようにデジタルカメラまたはスマートフォン（高機能携帯電話）の利用がある。これらの文書の写真は、平面走査をするスキャナに比べると、遠近方向のひずみ、捩じれ、照度むらなどの様々な問題点を含んでいる。
【０００３】
このような問題を調整するための対話型または自動のシステムがいくつか存在する。例えば、デジタルカメラには台形歪み補正機能（keystone correction）を有するものがある。写真を見るときに、ユーザが台形歪み補正のコマンドをメニューから選択することができる。そのようなシステムにおいては、台形を構成する辺の組が自動的に検出される。ユーザは所望の台形の辺を（矢印ボタンで）選択して、メニューコマンドにより画像が直交する辺をもつ四角形になるように補正を行う。新しい画像が生成され、同時に原画像も保存される。
【０００４】
透視変換などの種々の補正機能を利用するそのほかのシステムもあるが、初心者には複雑すぎるかもしれない。ユーザが画像を選択し、透視変換のコマンドへ進む。アンカーポイントが現れ、それをユーザが所望の位置へドラッグする。アンカーポイントは、連動する対辺のアンカーポイントに連結されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書で記述する本発明の特定の例示的実施形態は、画像調整の従来技術に関する上述及びその他の問題の１つ又は複数を実質的に取り除くための方法及び装置に関する。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、文書を含む画像の処理方法であって、生成手段が、画像の３次元ビューポートを生成することと、調整手段が、前記生成された３次元ビューポート内の前記画像上で前記画像の調整を指示するジェスチャを直接受信すると、前記ジェスチャに従って前記画像を調整することと、を含む、文書を含む画像の処理方法が提供される。
【０００７】
本発明の第２の態様によれば、第１の態様において、レンダリング手段が、前記調整画像を２次元画像としてレンダリングし、前記画像を２次元ビューポート上に表示することをさらに含む。
【０００８】
本発明の第３の態様によれば、第１の態様において、前記調整のためのジェスチャが前記画像の回転または伸張の命令である場合、前記ジェスチャに従って回転または伸張を実行する。
【０００９】
本発明の第４の態様によれば、第１の態様において、前記調整のためのジェスチャが前記画像をスクロールするための命令である場合、前記スクロールが前記画像の回転軸に沿うものかどうかを判定する。
【００１０】
本発明の第５の態様によれば、第４の態様において、前記スクロールが前記画像の回転軸に沿うものである場合に、前記ジェスチャに従って前記画像をスクロールし、幾何変換用の数値アルゴリズムを利用してスキューの補正を行う。
【００１１】
本発明の第６の態様によれば、第４の態様において、前記スクロールが前記画像の回転軸に沿うものでない場合には、前記ジェスチャに従ってスクロールを行い、前記スクロールに基づいて前記画像の伸張の補正を行う。
【００１２】
本発明の第７の態様によれば、文書の画像の処理方法であって、生成手段が、文書の画像の３次元ビューポートを生成することと、受信手段が、ジェスチャによる命令を受信することと、調整手段が、前記命令が前記画像をスクロールすることである場合、前記ジェスチャに従って前記画像のスクロールを行い、該スクロール中に幾何変換用の数値アルゴリズムを利用して幾何歪みを補正することと、を含む、文書の画像の処理方法が提供される。
【００１３】
本発明の第８の態様によれば、第７の態様において、前記命令が前記画像のドラッグである場合、前記ジェスチャに従って前記画像のドラッグを行い、該ドラッグ中に幾何歪みを補正する。
【００１４】
本発明の第９の態様によれば、第７の態様において、前記スクロールが前記画像の回転軸に沿う場合、前記幾何歪みの補正は、幾何変換用の数値アルゴリズムを適用したスキューの補正を含む。
【００１５】
本発明の第１０の態様によれば、第７の態様において、前記スクロールが前記画像の回転軸に直交する場合、前記幾何歪みの補正は、前記スクロールに基づく前記画像の伸張の補正を含む。
【００１６】
本発明の第１１の態様によれば、第７の態様において、前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記幾何歪みの補正は、伸張の補正とスキューの補正を含む。
【００１７】
本発明の第１２の態様によれば、第１１の態様において、前記スキューの補正は、ニュートン法を利用することを含む。
【００１８】
本発明の第１３の態様によれば、文書の画像を３次元ビューポートに表示することが可能なタッチディスプレイと、前記タッチディスプレイ上の前記３次元ビューポート内に表示された画像上への直接のジェスチャを受信すると、前記ジェスチャに従って前記画像を処理する操作手段と、前記画像の操作により生じた前記画像のスクロール、ドラッグ、または回転による幾何歪みに対する前記画像の補正を行う補正手段と、を備える装置が提供される。
【００１９】
本発明の第１４の態様によれば、第１３の態様において、調整された画像をレンダリングして２次元画像とするレンダリング手段をさらに備え、前記タッチディスプレイは、前記２次元画像を２次元ビューポート上に表示可能である。
【００２０】
本発明の第１５の態様によれば、第１３の態様において、前記スクロールが前記画像の回転軸に直交する場合、前記補正手段は、前記スクロールに基づく前記画像の伸張を補正することにより幾何歪みの補正を行う。
【００２１】
本発明の第１６の態様によれば、第１３の態様において、前記スクロールが前記画像の回転軸に沿う場合、前記補正手段は、キュー補正のために幾何変換用の数値アルゴリズムを適用して幾何歪みを補正する。
【００２２】
本発明の第１７の態様によれば、第１３の態様において、前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記補正手段は、伸張の補正とスキューの補正とによって幾何歪みを補正する。
【００２３】
本発明の第１８の態様によれば、第１３の態様において、前記操作手段は、マルチタッチジェスチャを含むジェスチャを受信すると、前記画像の回転により前記画像を操作し、前記マルチタッチジェスチャは、前記画像をその場所に保持するための前記画像上への第１の直接タッチと、前記画像を回転させる第２のタッチとを含む。
【００２４】
本発明の第１９の態様によれば、第１３の態様において、前記操作手段は、マルチタッチのジェスチャを含むジェスチャを受信すると、座標軸に沿う前記画像の拡大縮小により前記画像を操作し、前記マルチタッチジェスチャは、前記画像を伸張して座標軸に沿って前記画像を拡大縮小するために画像上を直接４回タッチすることを含む。
【００２５】
例示的実施形態の更なる態様は、以下の記述で部分的に説明され、また以下の記述で部分的に明らかとなり、または例示的実施形態の実施により習得されるであろう。例示的実施形態の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組合せによって、実現及び達成することができる。
【００２６】
上記及び以下の記述はいずれも、単に例示及び説明を目的とするものであり、実施形態またはその適用を限定することは全く意図されていないことを理解されたい。
【発明の効果】
【００２７】
３次元ビューポートにおける画像を処理するための方法及び装置を提供することができる。
【図面の簡単な説明】
【００２８】
本明細書に組み込まれ本明細書の一部をなす添付の図面が実施形態を例示し、説明と相俟って例示的実施形態の説明及び例示に供する。
【図１】ある角度で文書の写真を撮影している例を示す図である。
【図２】遠近方向のひずみを持つ文書の写真の一例を示す図である。
【図３】例示的一実施形態による、写真オブジェクト中の文書の調整を示す図である。
【図４】例示的一実施形態による、調整の実行に利用される例示的ジェスチャを示す図である。
【図５】例示的一実施形態による、読めるようにするための文書画像の拡大を示す図である。
【図６】画像を垂直にスクロールする場合のスキューと例示的一実施形態によるそのスキューの補正の比較を示す図である。
【図７】例示的一実施形態による、座標平面の中心原点に配置された図３（ａ）の写真オブジェクトを示す図である。
【図８】例示的一実施形態による、ｙ軸を中心に角度θだけ回転された写真オブジェクトの側面図である。
【図９】例示的一実施形態による、ｙ軸を中心に角度θだけ既に回転され、次にｘ軸を中心に角度−ψだけ回転させようとする写真オブジェクトの側面図である。
【図１０】例示的一実施形態による、写真オブジェクトのパラメータから回転角の初期推定値を計算するためのパラメータを示す図である。
【図１１】水平軸方向への画像のスクロールを示す図である。
【図１２】画像を水平スクロールすることによって生じる可能性のある伸張を示す図である。
【図１３】例示的一実施形態による、写真オブジェクトの平面図から考慮される例示的パラメータを示す図である。
【図１４】例示的実施形態の実装により操作されたスライドの写真を示す図である。
【図１５】例示的実施形態の実装により操作されたホワイトボードの写真を示す図である。
【図１６】例示的一実施形態による、別個の２Ｄモードがない、純粋な３Ｄビューポートのフローチャートを示す図である。
【図１７】例示的一実施形態による、３Ｄビューポートモードの活用に関連する２Ｄ画像のレンダリングのフローチャートを示す図である。
【図１８】例示的一実施形態による、ビューポートにおける調整のフローチャートを示す図である。
【図１９】本発明による方法の実施形態を実装することが可能なコンピュータ／サーバシステムの一実施形態を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下の詳細な説明においては添付の図面を参照する。ここで、同一の機能的要素は同様の符号で示される。前述の添付図面は、本発明の原理に整合する例示的実施形態および実装を例示するものであり、それに限定するためのものではない。これらの実装は、当業者が例示的実施形態を実行できるように十分詳細に説明される。また、例示的実施形態の範囲及び趣旨を逸脱することなしに、他の実装が利用されてもよいこと、及び様々な要素の構造上の変更及び／又は代用が行われてもよいことを理解されたい。従って、以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。更に、記載の実施形態は、汎用コンピュータ上で実行されるソフトウェア、専用ハードウェア、あるいはソフトウェアとハードウェアの組合せ、のいずれの形態において実装されてもよい。
【００３０】
電子装置上にキャプチャまたは表示された文書の画像を、電子装置と対話して操作または補正する公知の方法にはいくつかの欠点がある。例えば、従来のシステムでは、文書の画像を作業する際に入力と出力で異なるモードを使用しなければならないことが多い。これは文書との円滑な対話を阻害するばかりでなく、対話がモード選択の誤りになりやすくなる。また、従来のシステムで文書画像の操作に利用される制御ポイントまたは制御セグメントは、ユーザインタフェースが明快な設計となることを阻む。例えば、従来のシステムにおいて制御ポイントやラインなどのような小さな目標物をタッチスクリーン上で選択することは困難である（いわゆる“指太問題”）。さらに、制御ポイントと制御セグメントを利用するには（マウスのクリックやドラッグなどの）余計な操作を必要とする。さらには、そのような制御ポイントとセグメントを利用すると余分な画像が生成され、また、文書を読みやすくするためには高分解能を必要とするので、文書の写真の収集量の増大と共にこの余分な画像がメモリの相当な量を占める可能性が出てくる。
【００３１】
従来のシステムには自動的な調整法も存在するが、これらの方法では文書を囲む四角形の端が写真の中に見えていることを必要とするものが多い。また、従来の方法ではそのページ中のテキストの行の検出結果を利用するものもあるが、これは絵や図や手書きのものに対してはうまく機能しない。したがって、従来技術のシステムには、自動的な補正方法はあっても、機能しないことがある。
【００３２】
このような問題に対処するために、本発明の例示的実施形態にはいくつかの特徴がある。１）キャプチャ画像の表示に、標準的な２次元（２Ｄ）ビューポートではなく３次元（３Ｄ）ビューポートを利用する。２）３Ｄビューポート内のキャプチャ画像の処理／調整を行う際に、制御ポイントやセグメントを利用するのではなく、ジェスチャとマルチタッチジェスチャを利用する。３）画像歪みの補正には、モバイル装置での使用が困難な大規模な処理能力を必要とする処理ではなく、３Ｄビューポート内での数値的方法（ニュートン法など）を利用する。これにより、本発明の例示的実施形態では、モードなしの円滑な対話が可能であり、制御ポイントやセグメントを排除し、新規に高分解能画像を生成するのではなく少量のメタデータを生成してそのシーンのビューを特定する。マルチタッチディスプレイと３Ｄグラフィックスとを利用することで、例示的実施形態では直感的かつ円滑な調整用の対話型技術とすることが可能である。マルチタッチディスプレイにより、ユーザはジェスチャの豊富な表現力を用いて（例えば文書の写真などの）画像オブジェクトを直接操作することが可能となる。透視画法的なカメラのレンダリング機構を用いて画像オブジェクトを３Ｄシーン／ビューポートに配置することにより、ユーザは３Ｄビューポート内のシーンにおける画像オブジェクトを操作するだけで遠近歪みを簡単に補正することができる。
【００３３】
以前のシステムでは、調整を行うためにビューポートとして２次元の四角形の観察領域を利用していた。しかし、それによってオブジェクトの操作はｘとｙの次元のみに限られていた。本発明の例示的実施形態では、ビューポートとして文書の画像に対して新たな３次元の観察領域を生成して、ユーザがジェスチャとマルチタッチジェスチャで調整を実行できるようにし、また、３Ｄ領域での操作を可能とした。本発明の例示的実施形態は、ｘ、ｙ、ｚの次元を利用して数値的手法を実行する。これは従来のシステムに比べると計算負荷が小さい。
【００３４】
特定の実施形態では、遠近歪み（台形歪みとも言う）の問題に焦点を絞って調整を行う。これは、図１に示すように、文書の写真が斜めから撮られた場合に発生する。斜めから写真を撮影することは、立ち上がって撮影することに比べれば簡単であるばかりでなく、ユーザまたはカメラが文書の真上にある場合にできやすい文書上の影を防いでくれる。遠近歪みが起きるそのほかの一般的な場面としては、名刺、ホワイトボード、スライド、サインの撮影などがある。
【００３５】
図２は、例示的実施形態による、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションでの遠近歪みの有る文書写真の一例を示す。図２のこの写真は、図１に示した状況で撮影されたものである。ＧＵＩアプリケーションの中心となるのは、文書の写真を３Ｄのシーンとして表示する３Ｄビューポートである。
【００３６】
図３（ａ）〜（ｃ）は例示的一実施形態による、写真オブジェクトの調整を示している。調整を実行するには、写真オブジェクトを最初に３Ｄビューポート内で回転させて文書のコンテンツが正立するようにする（図３（ａ）を回転させて図３（ｂ）の方向にする）。これは、文書のエッジが写真内に見えている場合には、図３（ａ）と図３（ｂ）に示すように、この回転操作後には向かい合うエッジ同士が平行になるということである。
【００３７】
図４（ａ）、（ｂ）は例示的一実施形態による、図３（ａ）、（ｂ）の調整の実行に利用できる例示的ジェスチャを示す。図４（ａ）では回転を行うマルチタッチジェスチャの例が示されている。この例では、ユーザは写真オブジェクトに１本の指で触れてそこに保持し、そして（反対側の手の）第２の指で右か左にドラッグして垂直軸を中心とする回転を行う。
【００３８】
この回転操作の副作用として、図３（ｂ）に示すように、文書のコンテンツが水平方向に圧縮されることがしばしばある。これを解決するためには、ユーザは伸張（一軸方向への拡大）を行って圧縮状態を解決する（図３（ｂ）から図３（ｃ）へ）。伸張のマルチタッチジェスチャの一例は、図４（ｂ）に示すように（それぞれの手から二つずつの）四つの接触ポイントを利用する。ハードウェアが二つの接触ポイントしかサポートしていない場合には、伸張を行うジェスチャの一方法として、ツールバー（図２の２０１参照）にジェスチャの別の解釈を与えるボタンを配置させて、２つの接触ポイントを相互に離すか近づけるように動かす（代替解釈ではない通常の解釈では、これは摘まむか拡大することを表すジェスチャである）。
【００３９】
図５（ａ）、（ｂ）は例示的一実施形態による、３Ｄビューポート内の文書画像を拡大して判読可能にすることを示す図である。図５（ａ）に示すように、文書画像は拡大して判読可能とすることができる。拡大操作は、例えばピンチジェスチャなどで実行することができ、図５（ｂ）に示すように、拡大された文書の詳細部分を示すことも可能である。ノイズ除去処理がなされてないにもかかわらず、結果は判読可能なことが多い。
【００４０】
ところで、ユーザはビューポートの周りに普通あるスクロールバーを利用するか、またはそのページにタッチしてドラッグすることによって、ページ内をスクロールしようとすることがある。
【００４１】
これを実現する一つの手法は、２Ｄビューポートと３Ｄビューポートの両方を利用する方法である。この場合、３Ｄビューポートはユーザが遠近補正をし、観察用の新しい画像を生成するための特別なモードとして存在し、補正のあとは元のモードである２Ｄビューポートに戻るというものである。しかし、この手法には、複数のＵＩメタファ、モードが必要であること、生成画像による大量のメモリ占有などのように、ユーザにとって複雑さが増すという欠点がある。より技術的な問題点としては、ディスプレイ上にきれいな変換画像を作成するためのレンダリング・パイプラインは、グラフィカル・プロセシング・ユニット（ＧＰＵ）などの専用のグラフィックハードウェアを活用しているが、プラットフォームによっては（例えばＷＩＮＤＯＷＳ（登録商標） ７）、それがビットマップを処理するためのソフトウェア・レンダリング・パイプラインとは異なっていて、その結果、ソフトウェア・レンダリング・パイプラインが画像品質の顕著な劣化（例えば、アンチエイリアシングの劣化）をもたらす場合がある。
【００４２】
透視図法のレンダリングにおいて３Ｄシーン内でスクロールすると、３Ｄグラフィックスにいくつかの問題が生じる。垂直方向にスクロールした場合の例について以下に述べる。参考のために、３Ｄグラフィックスの座標の標準的表記は以下のようになっている。ｘ軸(以下、水平軸ともいう)はスクリーンに向かって右向き、ｙ軸(以下、垂直軸ともいう)はスクリーンに向かって上向き、そしてｚ軸はスクリーンの外向き(スクリーンに向かったときの手前向き)である。
【００４３】
図６（ａ）〜（ｅ）は、画像を垂直にスクロールする場合のスキューと、例示的一実施形態によるそのスキューの補正との比較を示す図である。
【００４４】
図６を参照すると、垂直軸（ｙ軸）を中心にある角度θだけ回転して調整された図６（ａ）に示す画像をもとにスクロールすると、図６（ａ）を上方向へスクロールして図６（ｂ）となり、上方向に再度スクロールして図６（ｃ）となるにつれて、スキューが出てくる。このスキューは、水平軸（ｘ軸）を中心に別の角度ψだけ回転させることにより補正できる。図６（ａ）を上方向に補正有りでスクロールしたものが図６（ｄ）であり、さらにそれを上方向にスクロールしたものが図６（ｅ）となっている。この回転角ψはスクロール値ｄｙによって変わり、回転角ψとスクロール値ｄｙとの関係は単純ではない。
【００４５】
与えられたスクロール値ｄｙと角度θに対する角度ψを計算する例示的実施形態による方法では、まずこれらの方程式を導出する。これは、これらの角度の正弦と余弦を含む項となるが、ψに関する単純な式になるようには見えない。正弦関数と余弦関数は微分可能なので、ニュートン法などの数値解析法を適用できる。
【００４６】
図７は例示的一実施形態による、座標平面の中心原点に配置された図３（ａ）の写真オブジェクトを示す図である。まず、幅ｗ、高さｈの写真オブジェクト７００が図７の７０１で示すシーンの原点（０，０，０）に配置される。これは図３（ａ）のシーンに対応している。
【００４７】
図８は例示的一実施形態に従って、ｙ軸を中心に角度θだけ回転させた写真オブジェクト８００の側面図である。最初に、目または透視カメラが８０１で示す点（０，０，ｄ）にあるとし、観察面はｘｙ平面に平行な固定位置にあるものとする。ユーザが、文書のコンテンツを調整するために８０２に示すようにオブジェクトを角度θだけ回転すると、右上の隅から延びる内角αを持つ直線が観察面に水平線として投影されるような内角αが存在する。
【００４８】
図９は例示的一実施形態による、ｙ軸を中心に角度θだけ既に回転させて、次にｘ軸を中心に角度−ψだけ回転させようとする写真オブジェクト９００の側面図である。ここで、図９に示すようにパラメータａ，ｂ，αとスクロール距離ｄｙが与えられたとして、スクロール補正のための大きさψの回転角が計算される。角度ψは、点Ｐ’とＱ’とが観察面上に同じ高さに射影される条件を満足する必要がある。すなわち、等価的には、側面図から点の集合｛Ｅ’，Ｐ’，Ｑ’｝が同一直線状になければならない。目がビューポートの中心を介してオブジェクトから同一の距離にあるために、線分Ｅ’Ｐ’とＥ’Ｑ’が同一の傾斜である。
【００４９】
三角法を利用して、下記の表式が導かれる。
【００５０】
【数１】
ここで、ｆ（ψ）はψと（τ＋ψ）の三角関数の多項式であり、ここでもパラメータｂ，ｄ，ｈ，ｄｙが含まれている。陽関数表示すると次の様になる。
【数２】
【００５１】
式（２）はψに関する簡単な式にはならないので、ｆ（ψ）＝０を数値的に解く必要がある。ｆ（ψ）＝０は、ニュートン法などのアルゴリズムを適用して数値的に解くことが可能である。反復アルゴリズムであるニュートン法を利用するためには、導関数ｆ’（ψ）を求め、解の初期推定値をψ０とする。ニュートン法によれば、反復数列｛ψｎ｝が次の漸化式で定義される。
【００５２】
【数３】
【００５３】
導関数ｆ’（ψ）は、上記の式（２）で与えられるｆ（ψ）から、三角関数の微分に関する基本公式と、合成関数の導関数に関する連鎖律とを利用して求めることができる。
【００５４】
解の初期推定値ψ０は図９の粗い近似で求められる。
【００５５】
図１０は、例示的一実施形態による、写真オブジェクト１０００のパラメータから回転角を近似するためのパラメータを示している。角度を推定する一方法が図１０に示されており、これから次式が得られる。
【００５６】
【数４】
【００５７】
例示的実施形態の実装において、項の計算は、連続する項の間の差がε＝０．００００１より小さくなるまで行われる。これには数百回の反復が必要であるが、ユーザがスクロールバーを繰り返しクリックする際にリアルタイムの対話として十分高速に実行される。
【００５８】
図１１（ａ）〜（ｃ）は画像の水平軸方向へのスクロールを示している。図１１（ａ）の文書の画像は、３次元ビューポート内を図１１（ｂ）に示すように右に移動させ、次に図１１（ｃ）に示すように左に移動させて、どのような歪みが生じるかを判定する。水平方向のスクロールは垂直方向に比べてはるかに単純であることが分かる。歪みは垂直方向のスクロールの場合とは異なっており、スキューの問題は予想されない。この様子は図１１（ａ）の画像を右にスクロールした図１１（ｂ）と左にスクロールした図１１（ｃ）とが示されている。
【００５９】
図１２は、画像を補正なしで水平方向へスクロールした場合（１２０１）に生じる伸張と、伸張補正された場合（１２０２）の画像とを示している。水平スクロールした場合の歪みは、１２０１に示すように、水平方向の伸張となって現れやすい。
【００６０】
図１２の１２０１に示された伸張を補正し、１２０２のようなきちんと調整された画像を得るために、まず図１３に示す平面図を検討してみる。
【００６１】
図１３は、例示的一実施形態による、写真オブジェクトの平面図において考慮される例示的パラメータを示す図である。（図７に示したように）幅２ａの写真オブジェクトを考え、それがｙ軸に関してθだけ回転されているとする。写真オブジェクトが水平方向にｄｘ１３０１だけスクロールされ、回転された面内で横移動され、写真オブジェクトが観察面に投影された場合に同じ寸法に見えるように幅が２ａ’に拡大されたとすると、解くべき問題は、ａ’１３０２と倍率を求めることである。
【００６２】
相似の三角形から、次の関係が得られる。
【００６３】
【数５】
【００６４】
ｄｚ＝ｄｘｔａｎθであるので、次の解が得られる。
【００６５】
【数６】
【００６６】
図１４は例示的実施形態に従って操作されたスライドの写真を示す図である。スライド１４０１の写真は、１４０２に示すように調整することができる。
【００６７】
図１５は例示的実施形態の実装によって操作されたホワイトボードの写真を示す図である。ホワイトボードの写真１５０１は、１５０２のように調整することができる。
【００６８】
図１６は、例示的一実施形態に従った、純粋な３Ｄモードを実装した場合のフローチャートを示す。タッチディスプレイ上に、ジェスチャまたはマルチタッチジェスチャ、またはそのほかの方法で、ユーザから命令が入力される（１６００）。命令が処理されて、文書画像の調整命令であるかどうかが判定される（１６０１）。文書画像の調整命令であれば、調整手段が、ユーザ入力に従って文書を調整する（１６０２）。ここでは、操作手段が、入力された命令に従って文書画像を処理し、補正手段が、画像のスクロール、ドラッグ、または回転による幾何歪みに対する補正を行う調整を行う。調整命令でない場合には、別の命令をチェックしてそれが実行される。例えば、例示的実施形態が、表示された画像に関する（メタデータなどの）情報を保存するための命令どうかを判定する場合（１６０３）、そのような情報の保存のための命令であれば、情報が保存される（１６０４）。情報保存の命令でなければ、代わりに別の命令が処理される（１６０５）。
【００６９】
図１７は例示的一実施形態による、３Ｄモードが実装された状態での２Ｄ画像のレンダリングのフローチャートを示す図である。この実装は、純粋な３Ｄモードの場合に似ているが、いくつかの顕著な違いがある。文書画像の調整の命令であれば、ビューポート内に目標オブジェクトを含む３Ｄビューポートを生成することを含む生成手段が呼び出され、３Ｄビューポートを生成する（１７０１）。それを使って、ユーザはタッチディスプレイ上に、ジェスチャまたはマルチタッチジェスチャ、またはそのほかの方法で命令を入力し、この入力は受信手段により受け付けられ、次に、調整手段が、入力された命令に従って３Ｄビューポート内の目標オブジェクトの調整を行う（１７０２）。調整手段では、操作手段が、入力された命令に従って３Ｄビューポート内の目標オブジェクトの画像を処理し、そして、補正手段が、画像のスクロール、ドラッグ、または回転による幾何歪みに対する補正を行う。ユーザが目標オブジェクトを所望通りに調整し終えると、レンダリング手段が、調整されたオブジェクトの２Ｄ画像をレンダリングして（３Ｄビューポート内に表示して）（１７０３）、３Ｄビューポートが終了する（１７０４）。続けて、レンダリングされた２Ｄ画像が、調整された目標オブジェクトとして表示される。命令が保存命令であれば、レンダリングされた２Ｄ画像がユーザの今後の参考のために保存される（１７０５）。
【００７０】
図１８は例示的一実施形態による、３Ｄビューポートでの目標オブジェクトの調整のフローチャートを示す図である。３Ｄビューポート内で命令が解析されて、幾何変換（１８０１）か、スクロール（１８０３）か、または別の命令（１６０５）かが判定される。目標オブジェクトの幾何変換の命令である場合には、適切な幾何変換（例えば、回転、伸張、拡大、など）が実行される（１８０２）。命令が目標オブジェクトのスクロール（１８０３）であれば、スクロール命令が解析されて、オブジェクトの回転軸に沿うスクロールか否かが検討される（１８０４）。スクロールがオブジェクトの回転軸に沿うものである場合（例えば回転軸に平行であるような場合）、スクロールがスキュー補正を伴って実行される（１８０５）。これはニュートン法を利用して行われてもよい。スクロールがオブジェクトの回転軸に沿うものではない場合には、伸張補正を伴ってスクロールが実行される（１８０６）。あるいはまた、スクロールが目標オブジェクトの回転軸に直交でも平行でもない場合には、伸張とスキューの両方に対する補正が実行される。
【００７１】
図１９は、本発明による方法の実施形態を実装することが可能なコンピュータ／サーバシステム１９００の実施形態を示すブロック図である。システム１９００は、当業者には周知のように、命令の実行を行うプロセッサ１９０２とメモリ１９０３を含むコンピュータ／サーバプラットフォーム１９０１を備える。本明細書で用いられる「コンピュータ可読媒体」という用語は、プロセッサ１９０２に実行命令を与えることに関与する任意の媒体を指す。更に、コンピュータプラットフォーム１９０１は、キーボード、マウス、タッチデバイス、マルチタッチデバイスまたは音声命令などの複数の入力装置１９０４からの入力を受信する。コンピュータプラットフォーム１９０１はさらに、ポータブルハードディスク装置、光学媒体（ＣＤまたはＤＶＤ）、ディスク媒体、またはコンピュータが実行可能なコードを読み込むことができるその他の任意の媒体などのリムーバブル記憶装置１９０５に接続されていてもよい。コンピュータプラットフォームは更に、インターネットやその他のローカルな公共または私的なネットワーク部品に繋がるネットワークリソース１９０６に接続されていてもよい。ネットワークリソース１９０６は、ネットワーク１９０７上のリモートロケーションから命令およびデータをコンピュータプラットフォームへ供給してもよい。ネットワークリソース１９０６への接続は、８０２．１１標準やＢｌｕｅｔｏｏｔｈ（登録商標）やセルラープロトコル等の無線プロトコル経由で、または、ケーブルやファイバ光学部品などの物理的伝送媒体経由であってもよい。ネットワークリソースは、コンピュータプラットフォーム１９０１から隔離された場所にデータ及び実行可能な命令を格納するための記憶装置を含んでいてもよい。コンピュータはディスプレイ１９０８と対話して、データおよびその他の情報をユーザへ出力したり、ユーザからの追加の指示と入力を要求したりする。従ってディスプレイ１９０８は、ユーザと対話するための入力装置１９０４として更に作用してもよい。
【００７２】
さらに、ここに開示した本発明の明細書を考察し、本発明を実施すれば、本発明の他の実装が当業者には明らかとなるであろう。前述の実施形態の様々な態様及び／又は構成要素は、画像識別システムに単独もしくは任意の組み合わせで使用することが可能である。明細書及び実施例は例示としてのみ理解されるべきであり、本発明の真の範囲と精神は添付の特許請求の範囲によって示されるものとする。
【符号の説明】
【００７３】
１９０２ プロセッサ
１９０３ メモリ
１９０４ 入力装置
１９０５ リムーバブル記憶装置
１９０６ ネットワークリソース
１９０７ ネットワーク
１９０８ ディスプレイ
【技術分野】
【０００１】
本発明は、画像キャプチャリングのシステムおよび方法に関し、より具体的には文書を含む画像の処理方法及び装置に関する。
【背景技術】
【０００２】
文書の画像をキャプチャする方法として、図１に示すようにデジタルカメラまたはスマートフォン（高機能携帯電話）の利用がある。これらの文書の写真は、平面走査をするスキャナに比べると、遠近方向のひずみ、捩じれ、照度むらなどの様々な問題点を含んでいる。
【０００３】
このような問題を調整するための対話型または自動のシステムがいくつか存在する。例えば、デジタルカメラには台形歪み補正機能（keystone correction）を有するものがある。写真を見るときに、ユーザが台形歪み補正のコマンドをメニューから選択することができる。そのようなシステムにおいては、台形を構成する辺の組が自動的に検出される。ユーザは所望の台形の辺を（矢印ボタンで）選択して、メニューコマンドにより画像が直交する辺をもつ四角形になるように補正を行う。新しい画像が生成され、同時に原画像も保存される。
【０００４】
透視変換などの種々の補正機能を利用するそのほかのシステムもあるが、初心者には複雑すぎるかもしれない。ユーザが画像を選択し、透視変換のコマンドへ進む。アンカーポイントが現れ、それをユーザが所望の位置へドラッグする。アンカーポイントは、連動する対辺のアンカーポイントに連結されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書で記述する本発明の特定の例示的実施形態は、画像調整の従来技術に関する上述及びその他の問題の１つ又は複数を実質的に取り除くための方法及び装置に関する。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、文書を含む画像の処理方法であって、生成手段が、画像の３次元ビューポートを生成することと、調整手段が、前記生成された３次元ビューポート内の前記画像上で前記画像の調整を指示するジェスチャを直接受信すると、前記ジェスチャに従って前記画像を調整することと、を含む、文書を含む画像の処理方法が提供される。
【０００７】
本発明の第２の態様によれば、第１の態様において、レンダリング手段が、前記調整画像を２次元画像としてレンダリングし、前記画像を２次元ビューポート上に表示することをさらに含む。
【０００８】
本発明の第３の態様によれば、第１の態様において、前記調整のためのジェスチャが前記画像の回転または伸張の命令である場合、前記ジェスチャに従って回転または伸張を実行する。
【０００９】
本発明の第４の態様によれば、第１の態様において、前記調整のためのジェスチャが前記画像をスクロールするための命令である場合、前記スクロールが前記画像の回転軸に沿うものかどうかを判定する。
【００１０】
本発明の第５の態様によれば、第４の態様において、前記スクロールが前記画像の回転軸に沿うものである場合に、前記ジェスチャに従って前記画像をスクロールし、幾何変換用の数値アルゴリズムを利用してスキューの補正を行う。
【００１１】
本発明の第６の態様によれば、第４の態様において、前記スクロールが前記画像の回転軸に沿うものでない場合には、前記ジェスチャに従ってスクロールを行い、前記スクロールに基づいて前記画像の伸張の補正を行う。
【００１２】
本発明の第７の態様によれば、文書の画像の処理方法であって、生成手段が、文書の画像の３次元ビューポートを生成することと、受信手段が、ジェスチャによる命令を受信することと、調整手段が、前記命令が前記画像をスクロールすることである場合、前記ジェスチャに従って前記画像のスクロールを行い、該スクロール中に幾何変換用の数値アルゴリズムを利用して幾何歪みを補正することと、を含む、文書の画像の処理方法が提供される。
【００１３】
本発明の第８の態様によれば、第７の態様において、前記命令が前記画像のドラッグである場合、前記ジェスチャに従って前記画像のドラッグを行い、該ドラッグ中に幾何歪みを補正する。
【００１４】
本発明の第９の態様によれば、第７の態様において、前記スクロールが前記画像の回転軸に沿う場合、前記幾何歪みの補正は、幾何変換用の数値アルゴリズムを適用したスキューの補正を含む。
【００１５】
本発明の第１０の態様によれば、第７の態様において、前記スクロールが前記画像の回転軸に直交する場合、前記幾何歪みの補正は、前記スクロールに基づく前記画像の伸張の補正を含む。
【００１６】
本発明の第１１の態様によれば、第７の態様において、前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記幾何歪みの補正は、伸張の補正とスキューの補正を含む。
【００１７】
本発明の第１２の態様によれば、第１１の態様において、前記スキューの補正は、ニュートン法を利用することを含む。
【００１８】
本発明の第１３の態様によれば、文書の画像を３次元ビューポートに表示することが可能なタッチディスプレイと、前記タッチディスプレイ上の前記３次元ビューポート内に表示された画像上への直接のジェスチャを受信すると、前記ジェスチャに従って前記画像を処理する操作手段と、前記画像の操作により生じた前記画像のスクロール、ドラッグ、または回転による幾何歪みに対する前記画像の補正を行う補正手段と、を備える装置が提供される。
【００１９】
本発明の第１４の態様によれば、第１３の態様において、調整された画像をレンダリングして２次元画像とするレンダリング手段をさらに備え、前記タッチディスプレイは、前記２次元画像を２次元ビューポート上に表示可能である。
【００２０】
本発明の第１５の態様によれば、第１３の態様において、前記スクロールが前記画像の回転軸に直交する場合、前記補正手段は、前記スクロールに基づく前記画像の伸張を補正することにより幾何歪みの補正を行う。
【００２１】
本発明の第１６の態様によれば、第１３の態様において、前記スクロールが前記画像の回転軸に沿う場合、前記補正手段は、キュー補正のために幾何変換用の数値アルゴリズムを適用して幾何歪みを補正する。
【００２２】
本発明の第１７の態様によれば、第１３の態様において、前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記補正手段は、伸張の補正とスキューの補正とによって幾何歪みを補正する。
【００２３】
本発明の第１８の態様によれば、第１３の態様において、前記操作手段は、マルチタッチジェスチャを含むジェスチャを受信すると、前記画像の回転により前記画像を操作し、前記マルチタッチジェスチャは、前記画像をその場所に保持するための前記画像上への第１の直接タッチと、前記画像を回転させる第２のタッチとを含む。
【００２４】
本発明の第１９の態様によれば、第１３の態様において、前記操作手段は、マルチタッチのジェスチャを含むジェスチャを受信すると、座標軸に沿う前記画像の拡大縮小により前記画像を操作し、前記マルチタッチジェスチャは、前記画像を伸張して座標軸に沿って前記画像を拡大縮小するために画像上を直接４回タッチすることを含む。
【００２５】
例示的実施形態の更なる態様は、以下の記述で部分的に説明され、また以下の記述で部分的に明らかとなり、または例示的実施形態の実施により習得されるであろう。例示的実施形態の態様は、以下の詳細な説明及び添付の特許請求の範囲において特に指摘された要素、及び種々の要素と態様との組合せによって、実現及び達成することができる。
【００２６】
上記及び以下の記述はいずれも、単に例示及び説明を目的とするものであり、実施形態またはその適用を限定することは全く意図されていないことを理解されたい。
【発明の効果】
【００２７】
３次元ビューポートにおける画像を処理するための方法及び装置を提供することができる。
【図面の簡単な説明】
【００２８】
本明細書に組み込まれ本明細書の一部をなす添付の図面が実施形態を例示し、説明と相俟って例示的実施形態の説明及び例示に供する。
【図１】ある角度で文書の写真を撮影している例を示す図である。
【図２】遠近方向のひずみを持つ文書の写真の一例を示す図である。
【図３】例示的一実施形態による、写真オブジェクト中の文書の調整を示す図である。
【図４】例示的一実施形態による、調整の実行に利用される例示的ジェスチャを示す図である。
【図５】例示的一実施形態による、読めるようにするための文書画像の拡大を示す図である。
【図６】画像を垂直にスクロールする場合のスキューと例示的一実施形態によるそのスキューの補正の比較を示す図である。
【図７】例示的一実施形態による、座標平面の中心原点に配置された図３（ａ）の写真オブジェクトを示す図である。
【図８】例示的一実施形態による、ｙ軸を中心に角度θだけ回転された写真オブジェクトの側面図である。
【図９】例示的一実施形態による、ｙ軸を中心に角度θだけ既に回転され、次にｘ軸を中心に角度−ψだけ回転させようとする写真オブジェクトの側面図である。
【図１０】例示的一実施形態による、写真オブジェクトのパラメータから回転角の初期推定値を計算するためのパラメータを示す図である。
【図１１】水平軸方向への画像のスクロールを示す図である。
【図１２】画像を水平スクロールすることによって生じる可能性のある伸張を示す図である。
【図１３】例示的一実施形態による、写真オブジェクトの平面図から考慮される例示的パラメータを示す図である。
【図１４】例示的実施形態の実装により操作されたスライドの写真を示す図である。
【図１５】例示的実施形態の実装により操作されたホワイトボードの写真を示す図である。
【図１６】例示的一実施形態による、別個の２Ｄモードがない、純粋な３Ｄビューポートのフローチャートを示す図である。
【図１７】例示的一実施形態による、３Ｄビューポートモードの活用に関連する２Ｄ画像のレンダリングのフローチャートを示す図である。
【図１８】例示的一実施形態による、ビューポートにおける調整のフローチャートを示す図である。
【図１９】本発明による方法の実施形態を実装することが可能なコンピュータ／サーバシステムの一実施形態を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下の詳細な説明においては添付の図面を参照する。ここで、同一の機能的要素は同様の符号で示される。前述の添付図面は、本発明の原理に整合する例示的実施形態および実装を例示するものであり、それに限定するためのものではない。これらの実装は、当業者が例示的実施形態を実行できるように十分詳細に説明される。また、例示的実施形態の範囲及び趣旨を逸脱することなしに、他の実装が利用されてもよいこと、及び様々な要素の構造上の変更及び／又は代用が行われてもよいことを理解されたい。従って、以下の詳細な記述は本発明を制限するものとして解釈されるべきではない。更に、記載の実施形態は、汎用コンピュータ上で実行されるソフトウェア、専用ハードウェア、あるいはソフトウェアとハードウェアの組合せ、のいずれの形態において実装されてもよい。
【００３０】
電子装置上にキャプチャまたは表示された文書の画像を、電子装置と対話して操作または補正する公知の方法にはいくつかの欠点がある。例えば、従来のシステムでは、文書の画像を作業する際に入力と出力で異なるモードを使用しなければならないことが多い。これは文書との円滑な対話を阻害するばかりでなく、対話がモード選択の誤りになりやすくなる。また、従来のシステムで文書画像の操作に利用される制御ポイントまたは制御セグメントは、ユーザインタフェースが明快な設計となることを阻む。例えば、従来のシステムにおいて制御ポイントやラインなどのような小さな目標物をタッチスクリーン上で選択することは困難である（いわゆる“指太問題”）。さらに、制御ポイントと制御セグメントを利用するには（マウスのクリックやドラッグなどの）余計な操作を必要とする。さらには、そのような制御ポイントとセグメントを利用すると余分な画像が生成され、また、文書を読みやすくするためには高分解能を必要とするので、文書の写真の収集量の増大と共にこの余分な画像がメモリの相当な量を占める可能性が出てくる。
【００３１】
従来のシステムには自動的な調整法も存在するが、これらの方法では文書を囲む四角形の端が写真の中に見えていることを必要とするものが多い。また、従来の方法ではそのページ中のテキストの行の検出結果を利用するものもあるが、これは絵や図や手書きのものに対してはうまく機能しない。したがって、従来技術のシステムには、自動的な補正方法はあっても、機能しないことがある。
【００３２】
このような問題に対処するために、本発明の例示的実施形態にはいくつかの特徴がある。１）キャプチャ画像の表示に、標準的な２次元（２Ｄ）ビューポートではなく３次元（３Ｄ）ビューポートを利用する。２）３Ｄビューポート内のキャプチャ画像の処理／調整を行う際に、制御ポイントやセグメントを利用するのではなく、ジェスチャとマルチタッチジェスチャを利用する。３）画像歪みの補正には、モバイル装置での使用が困難な大規模な処理能力を必要とする処理ではなく、３Ｄビューポート内での数値的方法（ニュートン法など）を利用する。これにより、本発明の例示的実施形態では、モードなしの円滑な対話が可能であり、制御ポイントやセグメントを排除し、新規に高分解能画像を生成するのではなく少量のメタデータを生成してそのシーンのビューを特定する。マルチタッチディスプレイと３Ｄグラフィックスとを利用することで、例示的実施形態では直感的かつ円滑な調整用の対話型技術とすることが可能である。マルチタッチディスプレイにより、ユーザはジェスチャの豊富な表現力を用いて（例えば文書の写真などの）画像オブジェクトを直接操作することが可能となる。透視画法的なカメラのレンダリング機構を用いて画像オブジェクトを３Ｄシーン／ビューポートに配置することにより、ユーザは３Ｄビューポート内のシーンにおける画像オブジェクトを操作するだけで遠近歪みを簡単に補正することができる。
【００３３】
以前のシステムでは、調整を行うためにビューポートとして２次元の四角形の観察領域を利用していた。しかし、それによってオブジェクトの操作はｘとｙの次元のみに限られていた。本発明の例示的実施形態では、ビューポートとして文書の画像に対して新たな３次元の観察領域を生成して、ユーザがジェスチャとマルチタッチジェスチャで調整を実行できるようにし、また、３Ｄ領域での操作を可能とした。本発明の例示的実施形態は、ｘ、ｙ、ｚの次元を利用して数値的手法を実行する。これは従来のシステムに比べると計算負荷が小さい。
【００３４】
特定の実施形態では、遠近歪み（台形歪みとも言う）の問題に焦点を絞って調整を行う。これは、図１に示すように、文書の写真が斜めから撮られた場合に発生する。斜めから写真を撮影することは、立ち上がって撮影することに比べれば簡単であるばかりでなく、ユーザまたはカメラが文書の真上にある場合にできやすい文書上の影を防いでくれる。遠近歪みが起きるそのほかの一般的な場面としては、名刺、ホワイトボード、スライド、サインの撮影などがある。
【００３５】
図２は、例示的実施形態による、グラフィカルユーザインタフェース（ＧＵＩ）アプリケーションでの遠近歪みの有る文書写真の一例を示す。図２のこの写真は、図１に示した状況で撮影されたものである。ＧＵＩアプリケーションの中心となるのは、文書の写真を３Ｄのシーンとして表示する３Ｄビューポートである。
【００３６】
図３（ａ）〜（ｃ）は例示的一実施形態による、写真オブジェクトの調整を示している。調整を実行するには、写真オブジェクトを最初に３Ｄビューポート内で回転させて文書のコンテンツが正立するようにする（図３（ａ）を回転させて図３（ｂ）の方向にする）。これは、文書のエッジが写真内に見えている場合には、図３（ａ）と図３（ｂ）に示すように、この回転操作後には向かい合うエッジ同士が平行になるということである。
【００３７】
図４（ａ）、（ｂ）は例示的一実施形態による、図３（ａ）、（ｂ）の調整の実行に利用できる例示的ジェスチャを示す。図４（ａ）では回転を行うマルチタッチジェスチャの例が示されている。この例では、ユーザは写真オブジェクトに１本の指で触れてそこに保持し、そして（反対側の手の）第２の指で右か左にドラッグして垂直軸を中心とする回転を行う。
【００３８】
この回転操作の副作用として、図３（ｂ）に示すように、文書のコンテンツが水平方向に圧縮されることがしばしばある。これを解決するためには、ユーザは伸張（一軸方向への拡大）を行って圧縮状態を解決する（図３（ｂ）から図３（ｃ）へ）。伸張のマルチタッチジェスチャの一例は、図４（ｂ）に示すように（それぞれの手から二つずつの）四つの接触ポイントを利用する。ハードウェアが二つの接触ポイントしかサポートしていない場合には、伸張を行うジェスチャの一方法として、ツールバー（図２の２０１参照）にジェスチャの別の解釈を与えるボタンを配置させて、２つの接触ポイントを相互に離すか近づけるように動かす（代替解釈ではない通常の解釈では、これは摘まむか拡大することを表すジェスチャである）。
【００３９】
図５（ａ）、（ｂ）は例示的一実施形態による、３Ｄビューポート内の文書画像を拡大して判読可能にすることを示す図である。図５（ａ）に示すように、文書画像は拡大して判読可能とすることができる。拡大操作は、例えばピンチジェスチャなどで実行することができ、図５（ｂ）に示すように、拡大された文書の詳細部分を示すことも可能である。ノイズ除去処理がなされてないにもかかわらず、結果は判読可能なことが多い。
【００４０】
ところで、ユーザはビューポートの周りに普通あるスクロールバーを利用するか、またはそのページにタッチしてドラッグすることによって、ページ内をスクロールしようとすることがある。
【００４１】
これを実現する一つの手法は、２Ｄビューポートと３Ｄビューポートの両方を利用する方法である。この場合、３Ｄビューポートはユーザが遠近補正をし、観察用の新しい画像を生成するための特別なモードとして存在し、補正のあとは元のモードである２Ｄビューポートに戻るというものである。しかし、この手法には、複数のＵＩメタファ、モードが必要であること、生成画像による大量のメモリ占有などのように、ユーザにとって複雑さが増すという欠点がある。より技術的な問題点としては、ディスプレイ上にきれいな変換画像を作成するためのレンダリング・パイプラインは、グラフィカル・プロセシング・ユニット（ＧＰＵ）などの専用のグラフィックハードウェアを活用しているが、プラットフォームによっては（例えばＷＩＮＤＯＷＳ（登録商標） ７）、それがビットマップを処理するためのソフトウェア・レンダリング・パイプラインとは異なっていて、その結果、ソフトウェア・レンダリング・パイプラインが画像品質の顕著な劣化（例えば、アンチエイリアシングの劣化）をもたらす場合がある。
【００４２】
透視図法のレンダリングにおいて３Ｄシーン内でスクロールすると、３Ｄグラフィックスにいくつかの問題が生じる。垂直方向にスクロールした場合の例について以下に述べる。参考のために、３Ｄグラフィックスの座標の標準的表記は以下のようになっている。ｘ軸(以下、水平軸ともいう)はスクリーンに向かって右向き、ｙ軸(以下、垂直軸ともいう)はスクリーンに向かって上向き、そしてｚ軸はスクリーンの外向き(スクリーンに向かったときの手前向き)である。
【００４３】
図６（ａ）〜（ｅ）は、画像を垂直にスクロールする場合のスキューと、例示的一実施形態によるそのスキューの補正との比較を示す図である。
【００４４】
図６を参照すると、垂直軸（ｙ軸）を中心にある角度θだけ回転して調整された図６（ａ）に示す画像をもとにスクロールすると、図６（ａ）を上方向へスクロールして図６（ｂ）となり、上方向に再度スクロールして図６（ｃ）となるにつれて、スキューが出てくる。このスキューは、水平軸（ｘ軸）を中心に別の角度ψだけ回転させることにより補正できる。図６（ａ）を上方向に補正有りでスクロールしたものが図６（ｄ）であり、さらにそれを上方向にスクロールしたものが図６（ｅ）となっている。この回転角ψはスクロール値ｄｙによって変わり、回転角ψとスクロール値ｄｙとの関係は単純ではない。
【００４５】
与えられたスクロール値ｄｙと角度θに対する角度ψを計算する例示的実施形態による方法では、まずこれらの方程式を導出する。これは、これらの角度の正弦と余弦を含む項となるが、ψに関する単純な式になるようには見えない。正弦関数と余弦関数は微分可能なので、ニュートン法などの数値解析法を適用できる。
【００４６】
図７は例示的一実施形態による、座標平面の中心原点に配置された図３（ａ）の写真オブジェクトを示す図である。まず、幅ｗ、高さｈの写真オブジェクト７００が図７の７０１で示すシーンの原点（０，０，０）に配置される。これは図３（ａ）のシーンに対応している。
【００４７】
図８は例示的一実施形態に従って、ｙ軸を中心に角度θだけ回転させた写真オブジェクト８００の側面図である。最初に、目または透視カメラが８０１で示す点（０，０，ｄ）にあるとし、観察面はｘｙ平面に平行な固定位置にあるものとする。ユーザが、文書のコンテンツを調整するために８０２に示すようにオブジェクトを角度θだけ回転すると、右上の隅から延びる内角αを持つ直線が観察面に水平線として投影されるような内角αが存在する。
【００４８】
図９は例示的一実施形態による、ｙ軸を中心に角度θだけ既に回転させて、次にｘ軸を中心に角度−ψだけ回転させようとする写真オブジェクト９００の側面図である。ここで、図９に示すようにパラメータａ，ｂ，αとスクロール距離ｄｙが与えられたとして、スクロール補正のための大きさψの回転角が計算される。角度ψは、点Ｐ’とＱ’とが観察面上に同じ高さに射影される条件を満足する必要がある。すなわち、等価的には、側面図から点の集合｛Ｅ’，Ｐ’，Ｑ’｝が同一直線状になければならない。目がビューポートの中心を介してオブジェクトから同一の距離にあるために、線分Ｅ’Ｐ’とＥ’Ｑ’が同一の傾斜である。
【００４９】
三角法を利用して、下記の表式が導かれる。
【００５０】
【数１】
ここで、ｆ（ψ）はψと（τ＋ψ）の三角関数の多項式であり、ここでもパラメータｂ，ｄ，ｈ，ｄｙが含まれている。陽関数表示すると次の様になる。
【数２】
【００５１】
式（２）はψに関する簡単な式にはならないので、ｆ（ψ）＝０を数値的に解く必要がある。ｆ（ψ）＝０は、ニュートン法などのアルゴリズムを適用して数値的に解くことが可能である。反復アルゴリズムであるニュートン法を利用するためには、導関数ｆ’（ψ）を求め、解の初期推定値をψ０とする。ニュートン法によれば、反復数列｛ψｎ｝が次の漸化式で定義される。
【００５２】
【数３】
【００５３】
導関数ｆ’（ψ）は、上記の式（２）で与えられるｆ（ψ）から、三角関数の微分に関する基本公式と、合成関数の導関数に関する連鎖律とを利用して求めることができる。
【００５４】
解の初期推定値ψ０は図９の粗い近似で求められる。
【００５５】
図１０は、例示的一実施形態による、写真オブジェクト１０００のパラメータから回転角を近似するためのパラメータを示している。角度を推定する一方法が図１０に示されており、これから次式が得られる。
【００５６】
【数４】
【００５７】
例示的実施形態の実装において、項の計算は、連続する項の間の差がε＝０．００００１より小さくなるまで行われる。これには数百回の反復が必要であるが、ユーザがスクロールバーを繰り返しクリックする際にリアルタイムの対話として十分高速に実行される。
【００５８】
図１１（ａ）〜（ｃ）は画像の水平軸方向へのスクロールを示している。図１１（ａ）の文書の画像は、３次元ビューポート内を図１１（ｂ）に示すように右に移動させ、次に図１１（ｃ）に示すように左に移動させて、どのような歪みが生じるかを判定する。水平方向のスクロールは垂直方向に比べてはるかに単純であることが分かる。歪みは垂直方向のスクロールの場合とは異なっており、スキューの問題は予想されない。この様子は図１１（ａ）の画像を右にスクロールした図１１（ｂ）と左にスクロールした図１１（ｃ）とが示されている。
【００５９】
図１２は、画像を補正なしで水平方向へスクロールした場合（１２０１）に生じる伸張と、伸張補正された場合（１２０２）の画像とを示している。水平スクロールした場合の歪みは、１２０１に示すように、水平方向の伸張となって現れやすい。
【００６０】
図１２の１２０１に示された伸張を補正し、１２０２のようなきちんと調整された画像を得るために、まず図１３に示す平面図を検討してみる。
【００６１】
図１３は、例示的一実施形態による、写真オブジェクトの平面図において考慮される例示的パラメータを示す図である。（図７に示したように）幅２ａの写真オブジェクトを考え、それがｙ軸に関してθだけ回転されているとする。写真オブジェクトが水平方向にｄｘ１３０１だけスクロールされ、回転された面内で横移動され、写真オブジェクトが観察面に投影された場合に同じ寸法に見えるように幅が２ａ’に拡大されたとすると、解くべき問題は、ａ’１３０２と倍率を求めることである。
【００６２】
相似の三角形から、次の関係が得られる。
【００６３】
【数５】
【００６４】
ｄｚ＝ｄｘｔａｎθであるので、次の解が得られる。
【００６５】
【数６】
【００６６】
図１４は例示的実施形態に従って操作されたスライドの写真を示す図である。スライド１４０１の写真は、１４０２に示すように調整することができる。
【００６７】
図１５は例示的実施形態の実装によって操作されたホワイトボードの写真を示す図である。ホワイトボードの写真１５０１は、１５０２のように調整することができる。
【００６８】
図１６は、例示的一実施形態に従った、純粋な３Ｄモードを実装した場合のフローチャートを示す。タッチディスプレイ上に、ジェスチャまたはマルチタッチジェスチャ、またはそのほかの方法で、ユーザから命令が入力される（１６００）。命令が処理されて、文書画像の調整命令であるかどうかが判定される（１６０１）。文書画像の調整命令であれば、調整手段が、ユーザ入力に従って文書を調整する（１６０２）。ここでは、操作手段が、入力された命令に従って文書画像を処理し、補正手段が、画像のスクロール、ドラッグ、または回転による幾何歪みに対する補正を行う調整を行う。調整命令でない場合には、別の命令をチェックしてそれが実行される。例えば、例示的実施形態が、表示された画像に関する（メタデータなどの）情報を保存するための命令どうかを判定する場合（１６０３）、そのような情報の保存のための命令であれば、情報が保存される（１６０４）。情報保存の命令でなければ、代わりに別の命令が処理される（１６０５）。
【００６９】
図１７は例示的一実施形態による、３Ｄモードが実装された状態での２Ｄ画像のレンダリングのフローチャートを示す図である。この実装は、純粋な３Ｄモードの場合に似ているが、いくつかの顕著な違いがある。文書画像の調整の命令であれば、ビューポート内に目標オブジェクトを含む３Ｄビューポートを生成することを含む生成手段が呼び出され、３Ｄビューポートを生成する（１７０１）。それを使って、ユーザはタッチディスプレイ上に、ジェスチャまたはマルチタッチジェスチャ、またはそのほかの方法で命令を入力し、この入力は受信手段により受け付けられ、次に、調整手段が、入力された命令に従って３Ｄビューポート内の目標オブジェクトの調整を行う（１７０２）。調整手段では、操作手段が、入力された命令に従って３Ｄビューポート内の目標オブジェクトの画像を処理し、そして、補正手段が、画像のスクロール、ドラッグ、または回転による幾何歪みに対する補正を行う。ユーザが目標オブジェクトを所望通りに調整し終えると、レンダリング手段が、調整されたオブジェクトの２Ｄ画像をレンダリングして（３Ｄビューポート内に表示して）（１７０３）、３Ｄビューポートが終了する（１７０４）。続けて、レンダリングされた２Ｄ画像が、調整された目標オブジェクトとして表示される。命令が保存命令であれば、レンダリングされた２Ｄ画像がユーザの今後の参考のために保存される（１７０５）。
【００７０】
図１８は例示的一実施形態による、３Ｄビューポートでの目標オブジェクトの調整のフローチャートを示す図である。３Ｄビューポート内で命令が解析されて、幾何変換（１８０１）か、スクロール（１８０３）か、または別の命令（１６０５）かが判定される。目標オブジェクトの幾何変換の命令である場合には、適切な幾何変換（例えば、回転、伸張、拡大、など）が実行される（１８０２）。命令が目標オブジェクトのスクロール（１８０３）であれば、スクロール命令が解析されて、オブジェクトの回転軸に沿うスクロールか否かが検討される（１８０４）。スクロールがオブジェクトの回転軸に沿うものである場合（例えば回転軸に平行であるような場合）、スクロールがスキュー補正を伴って実行される（１８０５）。これはニュートン法を利用して行われてもよい。スクロールがオブジェクトの回転軸に沿うものではない場合には、伸張補正を伴ってスクロールが実行される（１８０６）。あるいはまた、スクロールが目標オブジェクトの回転軸に直交でも平行でもない場合には、伸張とスキューの両方に対する補正が実行される。
【００７１】
図１９は、本発明による方法の実施形態を実装することが可能なコンピュータ／サーバシステム１９００の実施形態を示すブロック図である。システム１９００は、当業者には周知のように、命令の実行を行うプロセッサ１９０２とメモリ１９０３を含むコンピュータ／サーバプラットフォーム１９０１を備える。本明細書で用いられる「コンピュータ可読媒体」という用語は、プロセッサ１９０２に実行命令を与えることに関与する任意の媒体を指す。更に、コンピュータプラットフォーム１９０１は、キーボード、マウス、タッチデバイス、マルチタッチデバイスまたは音声命令などの複数の入力装置１９０４からの入力を受信する。コンピュータプラットフォーム１９０１はさらに、ポータブルハードディスク装置、光学媒体（ＣＤまたはＤＶＤ）、ディスク媒体、またはコンピュータが実行可能なコードを読み込むことができるその他の任意の媒体などのリムーバブル記憶装置１９０５に接続されていてもよい。コンピュータプラットフォームは更に、インターネットやその他のローカルな公共または私的なネットワーク部品に繋がるネットワークリソース１９０６に接続されていてもよい。ネットワークリソース１９０６は、ネットワーク１９０７上のリモートロケーションから命令およびデータをコンピュータプラットフォームへ供給してもよい。ネットワークリソース１９０６への接続は、８０２．１１標準やＢｌｕｅｔｏｏｔｈ（登録商標）やセルラープロトコル等の無線プロトコル経由で、または、ケーブルやファイバ光学部品などの物理的伝送媒体経由であってもよい。ネットワークリソースは、コンピュータプラットフォーム１９０１から隔離された場所にデータ及び実行可能な命令を格納するための記憶装置を含んでいてもよい。コンピュータはディスプレイ１９０８と対話して、データおよびその他の情報をユーザへ出力したり、ユーザからの追加の指示と入力を要求したりする。従ってディスプレイ１９０８は、ユーザと対話するための入力装置１９０４として更に作用してもよい。
【００７２】
さらに、ここに開示した本発明の明細書を考察し、本発明を実施すれば、本発明の他の実装が当業者には明らかとなるであろう。前述の実施形態の様々な態様及び／又は構成要素は、画像識別システムに単独もしくは任意の組み合わせで使用することが可能である。明細書及び実施例は例示としてのみ理解されるべきであり、本発明の真の範囲と精神は添付の特許請求の範囲によって示されるものとする。
【符号の説明】
【００７３】
１９０２ プロセッサ
１９０３ メモリ
１９０４ 入力装置
１９０５ リムーバブル記憶装置
１９０６ ネットワークリソース
１９０７ ネットワーク
１９０８ ディスプレイ
【特許請求の範囲】
【請求項１】
文書を含む画像の処理方法であって、
生成手段が、画像の３次元ビューポートを生成することと、
調整手段が、前記生成された３次元ビューポート内の前記画像上で前記画像の調整を指示するジェスチャを直接受信すると、前記ジェスチャに従って前記画像を調整することと、
を含む、
文書を含む画像の処理方法。
【請求項２】
レンダリング手段が、前記調整画像を２次元画像としてレンダリングし、前記画像を２次元ビューポート上に表示することをさらに含む、
請求項１に記載の方法。
【請求項３】
前記調整のためのジェスチャが前記画像の回転または伸張の命令である場合、前記ジェスチャに従って回転または伸張を実行する、
請求項１に記載の方法。
【請求項４】
前記調整のためのジェスチャが前記画像をスクロールするための命令である場合、前記スクロールが前記画像の回転軸に沿うものかどうかを判定する、
請求項１に記載の方法。
【請求項５】
前記スクロールが前記画像の回転軸に沿うものである場合に、前記ジェスチャに従って前記画像をスクロールし、幾何変換用の数値アルゴリズムを利用してスキューの補正を行う、
請求項４に記載の方法。
【請求項６】
前記スクロールが前記画像の回転軸に沿うものでない場合には、前記ジェスチャに従ってスクロールを行い、前記スクロールに基づいて前記画像の伸張の補正を行う、
請求項４に記載の方法。
【請求項７】
文書の画像の処理方法であって、
生成手段が、文書の画像の３次元ビューポートを生成することと、
受信手段が、ジェスチャによる命令を受信することと、
調整手段が、前記命令が前記画像をスクロールすることである場合、前記ジェスチャに従って前記画像のスクロールを行い、該スクロール中に幾何変換用の数値アルゴリズムを利用して幾何歪みを補正することと、
を含む、
文書の画像の処理方法。
【請求項８】
前記命令が前記画像のドラッグである場合、前記ジェスチャに従って前記画像のドラッグを行い、該ドラッグ中に幾何歪みを補正する、
請求項７に記載の方法。
【請求項９】
前記スクロールが前記画像の回転軸に沿う場合、前記幾何歪みの補正は、幾何変換用の数値アルゴリズムを適用したスキューの補正を含む、
請求項７に記載の方法。
【請求項１０】
前記スクロールが前記画像の回転軸に直交する場合、前記幾何歪みの補正は、前記スクロールに基づく前記画像の伸張の補正を含む、
請求項７に記載の方法。
【請求項１１】
前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記幾何歪みの補正は、伸張の補正とスキューの補正を含む、
請求項７に記載の方法。
【請求項１２】
前記スキューの補正は、ニュートン法を利用することを含む、
請求項１１に記載の方法。
【請求項１３】
文書の画像を３次元ビューポートに表示することが可能なタッチディスプレイと、
前記タッチディスプレイ上の前記３次元ビューポート内に表示された画像上への直接のジェスチャを受信すると、前記ジェスチャに従って前記画像を処理する操作手段と、
前記画像の操作により生じた前記画像のスクロール、ドラッグ、または回転による幾何歪みに対する前記画像の補正を行う補正手段と、
を備える装置。
【請求項１４】
調整された画像をレンダリングして２次元画像とするレンダリング手段をさらに備え、
前記タッチディスプレイは、前記２次元画像を２次元ビューポート上に表示可能である、
請求項１３に記載の装置。
【請求項１５】
前記スクロールが前記画像の回転軸に直交する場合、前記補正手段は、前記スクロールに基づく前記画像の伸張を補正することにより幾何歪みの補正を行う、
請求項１３に記載の装置。
【請求項１６】
前記スクロールが前記画像の回転軸に沿う場合、前記補正手段は、キュー補正のために幾何変換用の数値アルゴリズムを適用して幾何歪みを補正する、
請求項１３に記載の装置。
【請求項１７】
前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記補正手段は、伸張の補正とスキューの補正とによって幾何歪みを補正する、
請求項１３に記載の装置。
【請求項１８】
前記操作手段は、マルチタッチジェスチャを含むジェスチャを受信すると、前記画像の回転により前記画像を操作し、
前記マルチタッチジェスチャは、前記画像をその場所に保持するための前記画像上への第１の直接タッチと、前記画像を回転させる第２のタッチとを含む、
請求項１３に記載の装置。
【請求項１９】
前記操作手段は、マルチタッチのジェスチャを含むジェスチャを受信すると、座標軸に沿う前記画像の拡大縮小により前記画像を操作し、
前記マルチタッチジェスチャは、前記画像を伸張して座標軸に沿って前記画像を拡大縮小するために画像上を直接４回タッチすることを含む、
請求項１３に記載の装置。
【請求項１】
文書を含む画像の処理方法であって、
生成手段が、画像の３次元ビューポートを生成することと、
調整手段が、前記生成された３次元ビューポート内の前記画像上で前記画像の調整を指示するジェスチャを直接受信すると、前記ジェスチャに従って前記画像を調整することと、
を含む、
文書を含む画像の処理方法。
【請求項２】
レンダリング手段が、前記調整画像を２次元画像としてレンダリングし、前記画像を２次元ビューポート上に表示することをさらに含む、
請求項１に記載の方法。
【請求項３】
前記調整のためのジェスチャが前記画像の回転または伸張の命令である場合、前記ジェスチャに従って回転または伸張を実行する、
請求項１に記載の方法。
【請求項４】
前記調整のためのジェスチャが前記画像をスクロールするための命令である場合、前記スクロールが前記画像の回転軸に沿うものかどうかを判定する、
請求項１に記載の方法。
【請求項５】
前記スクロールが前記画像の回転軸に沿うものである場合に、前記ジェスチャに従って前記画像をスクロールし、幾何変換用の数値アルゴリズムを利用してスキューの補正を行う、
請求項４に記載の方法。
【請求項６】
前記スクロールが前記画像の回転軸に沿うものでない場合には、前記ジェスチャに従ってスクロールを行い、前記スクロールに基づいて前記画像の伸張の補正を行う、
請求項４に記載の方法。
【請求項７】
文書の画像の処理方法であって、
生成手段が、文書の画像の３次元ビューポートを生成することと、
受信手段が、ジェスチャによる命令を受信することと、
調整手段が、前記命令が前記画像をスクロールすることである場合、前記ジェスチャに従って前記画像のスクロールを行い、該スクロール中に幾何変換用の数値アルゴリズムを利用して幾何歪みを補正することと、
を含む、
文書の画像の処理方法。
【請求項８】
前記命令が前記画像のドラッグである場合、前記ジェスチャに従って前記画像のドラッグを行い、該ドラッグ中に幾何歪みを補正する、
請求項７に記載の方法。
【請求項９】
前記スクロールが前記画像の回転軸に沿う場合、前記幾何歪みの補正は、幾何変換用の数値アルゴリズムを適用したスキューの補正を含む、
請求項７に記載の方法。
【請求項１０】
前記スクロールが前記画像の回転軸に直交する場合、前記幾何歪みの補正は、前記スクロールに基づく前記画像の伸張の補正を含む、
請求項７に記載の方法。
【請求項１１】
前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記幾何歪みの補正は、伸張の補正とスキューの補正を含む、
請求項７に記載の方法。
【請求項１２】
前記スキューの補正は、ニュートン法を利用することを含む、
請求項１１に記載の方法。
【請求項１３】
文書の画像を３次元ビューポートに表示することが可能なタッチディスプレイと、
前記タッチディスプレイ上の前記３次元ビューポート内に表示された画像上への直接のジェスチャを受信すると、前記ジェスチャに従って前記画像を処理する操作手段と、
前記画像の操作により生じた前記画像のスクロール、ドラッグ、または回転による幾何歪みに対する前記画像の補正を行う補正手段と、
を備える装置。
【請求項１４】
調整された画像をレンダリングして２次元画像とするレンダリング手段をさらに備え、
前記タッチディスプレイは、前記２次元画像を２次元ビューポート上に表示可能である、
請求項１３に記載の装置。
【請求項１５】
前記スクロールが前記画像の回転軸に直交する場合、前記補正手段は、前記スクロールに基づく前記画像の伸張を補正することにより幾何歪みの補正を行う、
請求項１３に記載の装置。
【請求項１６】
前記スクロールが前記画像の回転軸に沿う場合、前記補正手段は、キュー補正のために幾何変換用の数値アルゴリズムを適用して幾何歪みを補正する、
請求項１３に記載の装置。
【請求項１７】
前記スクロールが前記画像の回転軸に直交でも平行でもない場合、前記補正手段は、伸張の補正とスキューの補正とによって幾何歪みを補正する、
請求項１３に記載の装置。
【請求項１８】
前記操作手段は、マルチタッチジェスチャを含むジェスチャを受信すると、前記画像の回転により前記画像を操作し、
前記マルチタッチジェスチャは、前記画像をその場所に保持するための前記画像上への第１の直接タッチと、前記画像を回転させる第２のタッチとを含む、
請求項１３に記載の装置。
【請求項１９】
前記操作手段は、マルチタッチのジェスチャを含むジェスチャを受信すると、座標軸に沿う前記画像の拡大縮小により前記画像を操作し、
前記マルチタッチジェスチャは、前記画像を伸張して座標軸に沿って前記画像を拡大縮小するために画像上を直接４回タッチすることを含む、
請求項１３に記載の装置。
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８０４６６（Ｐ２０１３−８０４６６Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２０８１３９（Ｐ２０１２−２０８１３９）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２４年９月２１日（２０１２．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]