画像処理装置およびこれを備えた原稿読取システム
【課題】画像処理装置において、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録可能とする。
【解決手段】撮影画像において特定領域Ａ１、Ａ２を設定する特定領域設定部３３と、特定領域においてユーザの指先を認識する指認識部３１と、指認識部にて認識された手指の動きを検出する動き検出部３５と、動き検出部の検出結果に基づき、ユーザからの動作指令が与えられたと判定した場合に、撮影画像を記録する画像記録部３６とを備えた構成とする。
【解決手段】撮影画像において特定領域Ａ１、Ａ２を設定する特定領域設定部３３と、特定領域においてユーザの指先を認識する指認識部３１と、指認識部にて認識された手指の動きを検出する動き検出部３５と、動き検出部の検出結果に基づき、ユーザからの動作指令が与えられたと判定した場合に、撮影画像を記録する画像記録部３６とを備えた構成とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している（特許文献１参照）。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０３２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、背に綴じ部を設けた一般的な本では、見開き状態において中央部がＶ字状に落ち込んだり、各ページの間に隙間が生じたりするため、紙面を両手で押さえるなどして読み取り（撮像）時の紙面を正常に保持する（すなわち、紙面の歪みに起因する画像のずれ等を防止する）必要がある。
【０００５】
しかしながら、上記特許文献１に記載のような従来のブックスキャナでは、上述のように紙面を両手で押さえた状態で原稿を読み取るための特定の操作（例えば、シャッターボタンの押下や、マウスクリック等）を行うことが難しいという問題があった。これに対し、本を手で押さえる代わりに保持具を使用することが考えられるが、複数ページの読み取りを行う場合には、各ページを読み取る度にユーザが本を保持具にセットし直すという煩わしい操作が必要となる。また、所定の時間間隔で自動的に原稿読取を実施することも考えられるが、時間間隔の設定が長すぎる場合には、無駄な待ち時間が生じる一方、時間間隔の設定が短すぎる場合には、ページをめくる途中で読み取りが行われるなどして画像の読み取りミスが生じる。
【０００６】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録可能とする画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するために為されたものであり、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像において特定領域を設定する特定領域設定部と、前記特定領域においてユーザの指先を認識する指認識部と、前記指認識部にて認識された前記指先の動きを検出する動き検出部と、前記動き検出部が、前記指先の動きが所定時間以上静止していることを検出したときに、前記撮影画像を記録する画像記録部とを備えたものである。
【発明の効果】
【０００８】
このように本発明によれば、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録する
ことが可能となるという優れた効果を奏する。さらに、特定領域において、ユーザの指先が所定時間以上静止していることを検出したときに、撮影画像を記録するようにしているので、特定領域をコンテンツ領域外に設定すれば、ユーザの手指等がコンテンツとともに撮像画像として記録されてしまうことを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る原稿読取システムを示す全体構成図
【図２】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図３】本原稿読取システムの基本撮影モードにおける原稿読取の手順を示すフロー図
【図４】図３に示した輪郭検出（ＳＴ１０３）の手順を示すフロー図
【図５】輪郭検出の要領を説明する模式図
【図６】図３に示したメッシュモデル生成（ＳＴ１０４）の手順を示すフロー図
【図７】メッシュモデル生成の要領を説明する模式図
【図８】メッシュモデルに基づいて画像を平面化した画像の模式図
【図９】本原稿読取システムの自動撮影モードにおける原稿読取の手順を示すフロー図
【図１０】図９に示した特定領域設定（ＳＴ４０６）の手順を示すフロー図
【図１１】（Ａ）特定領域設定および（Ｂ）特定領域における指認識の要領を説明する模式図
【図１２】特定領域の再設定の要領を説明する模式図（（Ａ）変更前、（Ｂ）変更後）
【図１３】特定領域の再設定の要領を説明する模式図（（Ａ）変更前、（Ｂ）変更後）
【図１４】図９に示した再撮影判定（ＳＴ４１７）の手順を示すフロー図
【図１５】（Ａ）動作解除領域の設定および（Ｂ）動作解除領域における指認識の要領を説明する模式図
【発明を実施するための形態】
【００１０】
上記課題を解決するためになされた第１の発明は、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像において特定領域を設定する特定領域設定部と、前記特定領域においてユーザの指先を認識する指認識部と、前記指認識部にて認識された前記指先の動きを検出する動き検出部と、前記動き検出部が、前記指先の動きが所定時間以上静止していることを検出したときに、前記撮影画像を記録する画像記録部とを備えたものであり、これにより、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録することが可能となるという優れた効果を奏する。さらに、特定領域をコンテンツ領域外に設定すれば、ユーザの手指等がコンテンツとともに撮像画像として記録されてしまうことを防止することができる。
【００１１】
また、第２の発明は、前記第１の発明において、前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と重ならない位置に前記特定領域を配置する構成とする。
【００１２】
これによると、コンテンツがユーザの手指で覆われる（すなわち、撮像画像においてコンテンツの一部が欠落する）ことを回避しつつ、所望のタイミングで撮影画像を記録することが可能となる。
【００１３】
また、第３の発明は、前記第１または第２の発明において、前記特定領域設定部は、前記輪郭成分から算出された前記原稿のサイズに基づき、前記特定領域を設定する構成とする。
【００１４】
これによると、サイズの異なる種々の原稿に対して、適切なサイズの特定領域を適切な位置に容易に配置することが可能となる。この場合、特定領域を原稿の四隅に重ならないように配置することにより、原稿の輪郭や位置が検出できなくなるという不都合を回避することができる。
【００１５】
また、第４の発明は、前記第１から第３の発明のいずれかにおいて、前記特定領域は、前記ユーザの左右の手指に対応して前記撮像画像における原稿の左右にそれぞれ配置された２つの領域からなる構成とする。
【００１６】
これによると、ユーザが原稿の左右を手で押さえることにより、読み取り時の紙面を確実に正常に保持することができる。この場合、原稿の一方側（例えば、下側）を手で押さえたときのように、原稿の他方側（例えば、上側）が浮き上がるなどの不都合を回避することができる。
【００１７】
また、第５の発明は、前記第１から第４の発明のいずれかにおいて、前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と、前記特定領域との最短距離が所定の閾値よりも大きい場合、当該最短距離が前記閾値以下となるように前記特定領域を拡大する構成とする。
【００１８】
これによると、ユーザが原稿を手で押さえることが可能な領域（特定領域）を原稿の中心側に拡げて、原稿が厚い場合などでも、読み取り時の紙面を確実に正常に保持することができる。
【００１９】
また、第６の発明は、前記第１から第５の発明のいずれかにおいて、前記特定領域設定部は、前記特定領域と重ならないように動作解除領域を設定し、前記指認識部は、前記動作解除領域においてユーザの手指を認識し、前記画像記録部は、前記動作解除領域における前記動き検出部の検出結果に基づき、前記ユーザからの動作解除指令が与えられたと判定した場合に、前記動作指令に拘わらず前記原稿画像を記録しない構成とする。
【００２０】
これによると、記録する画像をユーザが確認して画像のずれ等を発見した場合には、特定の操作を必要とすることなく、撮影画像の記録を取り消すことができ、再び所望のタイミングで撮影画像を記録することが可能となる。
【００２１】
また、第７の発明は、前記第１から第６の発明のいずれかに係る画像処理装置と、前記撮影画像を撮影するカメラ部を有する画像入力装置とを備えた原稿読取システムである。
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は、本実施形態に係る原稿読取システムを示す全体構成図である。この原稿読取システムは、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２４】
ブックスキャナ１は、本Ｂの紙面を撮像するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に本Ｂを載置して、カメラ部３で本Ｂの紙面を撮像する。ブックスキャナ１の基本撮影モードでは、本Ｂは、自然に開いた状態で紙面の撮影が行われ、本Ｂの見開き２ページの撮影画像が得られる。そして、歪みのある紙面の画像を平面化する処理が行われて、見開き２ページ分の平面化された紙面の画像を取得することができる。
【００２５】
また、本Ｂの紙面を撮像する際には、ユーザは本Ｂの紙面を手で押さえて紙面を正常に保持する必要が生じる場合がある。このような場合でも、ブックスキャナ１では、自動撮影モードにおいて、ユーザが本Ｂを押さえる手指の位置や動きを認識して、これをユーザからの動作指令とすることにより、ユーザが特定の操作（例えば、シャッターボタンの押下や、ＰＣ２のマウスクリック等）をする必要なしに所望のタイミングで撮像を行うことが可能である。これにより、紙面の歪みに起因する画像のずれ等を効果的に防止して、所望の画像を記録することができる。
【００２６】
図２は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮像処理部１１と、操作指示部１２と、外部インタフェイス１３とを有している。ＰＣ２は、外部インタフェイス２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７と、データ格納部２８とを有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００２７】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度、フレームレート、シャッタスピードなどの撮像条件が入力され、この動作条件が制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮像処理部１１が所要の動作を行う。
【００２８】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、原稿（ここでは本の紙面）Ｂが載置面５とともに写った撮影画像を取得する。
【００２９】
画像処理部２３は、自動撮影モードにおいてユーザの手指を認識する指認識部３１と、撮影画像から本Ｂのページの輪郭を検出するページ輪郭検出部（輪郭成分抽出部）３２と、撮影画像において指認識部３１が手指を認識する所定の領域（以下、「特定領域」という。）を設定する特定領域設定部３３と、撮影画像に含まれるコンテンツ（ここでは、文字、図形その他の人の知覚によって認識される情報）の領域を認識するコンテンツ領域認識部３４と、指認識部３１によって認識された手指（指先）の動きを検出する動き検出部３５と、動き検出部の検出結果に基づきユーザからの動作指令が与えられたと判定した場合に、撮影画像データをデータ格納部２８に格納すると共に、撮影画像データを表示データ生成部２５に送出する画像記録部３６とを有している。
【００３０】
指認識部３１は、肌色と指の形状情報に基づき、指先の位置と指の向きとを認識する。ここでは、指認識部３１は、カメラ部３からのＲＧＢ画像（撮影画像）をＨＳＶ変換し、ＨＳＶ変換された画像における肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の範囲を肌色領域として抽出する。そして、抽出した肌色領域を２値化して手指の輪郭を算出し、この算出した輪郭について形状認識（予め準備された複数の手指の形状パターンと比較）して、指の本数と各指先の座標とを推定する。さらに、指先の位置と指の輪郭から指の方向を算出する。なお、指認識部３１は、左右の手指の位置等をそれぞれ認識する第１指位置検出部４１および第２指位置検出部４２を有している。
【００３１】
コンテンツ領域認識部３４は、ページ輪郭検出部３２が検出した輪郭情報（ここでは、図５（Ｂ）中の６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂ等の輪郭成分）からコンテンツ領域を決定する。ここでは、複数の原稿のサイズと、それらに対応するコンテンツ領域の情報（座標）とが設定されたテーブル情報が予め準備されており、
コンテンツ領域認識部３４は、そのテーブル情報に基づきコンテンツ領域Ｃ１、Ｃ２（図１２参照）を決定することができる。この場合、輪郭情報に基づき算出された原稿のサイズと一致する原稿のサイズがテーブル情報に存在しない場合には、最も値の近い原稿サイズに基づきコンテンツ領域の座標が決定される。
【００３２】
或いは、コンテンツ領域認識部３４は、指認識部３１においてＨＳＶ変換された画像において、原稿の背景色に相当する色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）領域を抽出し、これにより、コンテンツ領域を推定することも可能である。さらに、コンテンツ領域を所定の関係式に基づき算出してもよい。なお、本実施形態では、左右のページにそれぞれ１つのコンテンツ領域を検出した例を示すが、ページ内により多くのコンテンツ領域が検出される構成も可能である。
【００３３】
動き検出部３５は、指認識部３１によって認識された手指（指先）についてフレーム間の移動量を考慮することにより動き検出を行う。動き検出では、特定領域をＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）領域に設定し、このＲＯＩ領域において、指先位置が１０フレームの間に規定値（例えば、１００画素）以内の変動であれば、手指が静止していると判定する。
【００３４】
なお、指認識、コンテンツ領域認識および動き検出の方法については、上述の方法に限らず周知の技術を適宜用いることができる。
【００３５】
図３は、本原稿読取システムの基本撮影モードにおける原稿読取の手順を示すフロー図である。まず、ユーザがブックスキャナ１のカメラ部３の下に本（原稿）をセットする（ＳＴ１０１）。そして、ブックスキャナ１を起動させるとともに、ＰＣ２で所要のアプリケーションを起動させると、画像の入力、すなわちブックスキャナ１で撮像が開始されてその撮像データがＰＣ２に送信され（ＳＴ１０２）、ＰＣ２の画像データ入力部２２では、本Ｂの紙面を載置面５とともに撮影した撮影画像を取得する。
【００３６】
そしてＰＣ２では、ページ輪郭検出部３２により、撮影画像から本Ｂのページの輪郭を検出する処理が行われ（ＳＴ１０３）、続いて、検出した輪郭情報から、本Ｂの全体を対象にしてメッシュモデルを生成する処理が行われる（ＳＴ１０４）。さらに、生成されたメッシュモデルに基づいて、画像記録部３６によって画像を平面化する画像変換処理が行われる（ＳＴ１０５）。ここでは、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。
【００３７】
このようにして平面化された画像のデータは表示データ生成部２５に送られ、そこで生成された表示データに基づき表示器２６に表示される（ＳＴ１０６）。これによりユーザは画像の記録が適切に行われたか否かを確認することができる。また、平面化された画像のデータはデータ格納部２８に格納される（ＳＴ１０７）。
【００３８】
図４は、図３に示した輪郭検出（ＳＴ１０３）の手順を示すフロー図であり、図５は、輪郭検出の要領を説明する模式図である。ここでは、本Ｂの紙面を載置面５とともに撮影した撮影画像から、本Ｂの輪郭情報として、本Ｂの載置状態を大まかに把握するための主要直線成分と、ページの上下左右およびセンタ（左右中央）における端点である複数の特異点を検出する。
【００３９】
まず、本全体の外形の主要直線成分を検出する（ＳＴ２０１）。ここでは、図５（Ａ）に示すように、撮影画像内で、本Ｂ全体の外形における左右の側縁（通常は表紙の側縁）を示す２本の直線と、左右のページの綴じ目（センタ）を示す１本の直線を検出する。この直線成分の検出は、ハフ（Ｈｏｕｇｈ）変換により行えばよい。
【００４０】
また、撮影画像に対してエッジ検出を行う（ＳＴ２０２）。このエッジ検出は、キャニー（Ｃａｎｎｙ）法を用いて行えばよい。ついで、取得したエッジ画像内の輪郭成分（原稿の
輪郭を構成する画素）を抽出する（ＳＴ２０３）。ついで、取得した輪郭成分に基づいて、ページの上下左右の端点である特異点を検出する（ＳＴ２０４）。ここでは、図５（Ｂ）に示すように、見開き２ページの撮影画像において、ページの上下左右の端点として６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂが検出される。
【００４１】
そして、特異点検出（ＳＴ２０４）で取得した特異点の妥当性を判断する（ＳＴ２０５）。ここでは、取得した特異点と、直線成分検出（ＳＴ２０１）で取得した直線成分とを比較して、ページの上下左右の端点である特異点の妥当性を判断する。ここで、特異点が妥当であるものと判定されると、その特異点を確定する（ＳＴ２０６）。
【００４２】
なお、エッジ検出（ＳＴ２０２）、輪郭成分抽出（ＳＴ２０３）、および特異点検出（ＳＴ２０４）の各処理は、直線成分検出（ＳＴ２０１）の処理と平行して行うようにしてもよい。
【００４３】
図６は、図３に示したメッシュモデル生成（ＳＴ１０４）の手順を示すフロー図であり、図７は、メッシュモデル生成の要領を説明する模式図であり、図８は、メッシュモデルに基づいて画像を平面化した画像の模式図である。ここでは、本Ｂの紙面を載置面５とともに撮影した撮影画像から、本の紙面全体を対象にしたメッシュモデルを生成する。
【００４４】
まず、本Ｂのページの歪曲した輪郭線を表す歪曲成分を抽出する（ＳＴ３０１）。図７（Ａ）に示すように、ページの上縁および下縁の輪郭線は、外側に膨らんだ歪曲した状態で表示され、このページの上縁および下縁の歪曲した輪郭成分（輪郭を構成する画素）を、図４に示したエッジ検出（ＳＴ２０２）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ３０２）。ここで、歪曲成分が妥当でないものと判定されると、途切れた部分の補間処理を行う（ＳＴ３０３）。これにより、歪曲成分が途切れることなく連続した状態となる。
【００４５】
ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ３０４）。撮影画像上でページの上縁および下縁の輪郭線が歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、ページの上縁および下縁の輪郭線を示す歪曲成分に基づいて、ページの上縁および下縁の３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面５に対してページの上縁および下縁の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。
【００４６】
ついで、縦横のメッシュラインを生成し（ＳＴ３０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納する（ＳＴ３０６）。ここでは、図７（Ｂ）に示すように、ページの上縁および下縁の高さ成分に基づいて、ページの上縁および下縁を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上縁および下縁の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。
【００４７】
なお、このように取得したメッシュモデルに基づく画像は、図８に示すように、画像記録部３６により平面化されて格納される。
【００４８】
図９は、本原稿読取システムの自動撮影モードにおける原稿読取の手順を示すフロー図である。この自動撮影モードにおいて、前述の基本撮影モードと同様の処理については詳細な説明を省略する。
【００４９】
まず、ユーザは、ブックスキャナ１のカメラ部３の下に本をセットし（ＳＴ４０１）、ページをめくることにより、撮影を開始するページを開く（ＳＴ４０２）。このとき、ブックスキャナ１の動作モードとして自動撮影モードが選択される。
【００５０】
この動作モードの選択は、ユーザがブックスキャナ１またはＰＣ２に対して所定の操作（ボタンの押下等）を行うことにより実行可能である。或いは、ユーザの特別な操作なしに、撮影画像に基づき動作モードを選択することもできる。例えば、図１に示したブックスキャナ１の脚部に示されたガイドラインＬに対し、本Ｂの外形輪郭における上辺の位置がガイドラインＬ上にある場合にのみ自動撮影モードを選択する構成としてもよい。
【００５１】
その後、ブックスキャナ１で撮影が開始されてその撮影画像のデータがＰＣ２に所定のフレームレートにて順次に送信される（ＳＴ４０３）。ここでの撮影画像は、比較的低解像度（例えば、ＶＧＡ、３０ｆｐｓ）のものであり、ＰＣ２の表示器２６の画面における第１の画像表示枠にリアルタイム画像として表示される（ＳＴ４０４）。
【００５２】
続いて、ページ輪郭検出部３２により、撮影画像から本Ｂのページの輪郭を検出する処理が行われ、輪郭情報として６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂの座標データがそれぞれ取得される（ＳＴ４０５）。そして、特定領域設定部３３により、それら特異点の座標データに基づき、指認識部３１による手指の認識に用いるための特定領域を設定する処理が行われる（ＳＴ４０６）。ここでは、左右の手指にそれぞれ対応する２つの特定領域（第１特定領域、第２特定領域）が設定される。
【００５３】
詳細は後述するが、図１１（Ａ）に示すように、第１および第２特定領域Ａ１、Ａ２は、矩形状をなし、撮影画像における原稿の左右にそれぞれ配置される。第１および第２特定領域Ａ１、Ａ２は、その少なくとも一部が原稿の紙面と重なり、ここでは、紙面外の領域も含む。これにより、特定領域（指認識を行う領域）にページの左右端が確実に含まれるようにして、指先がページ上に位置しているにも拘わらず指認識できないという不都合を回避することができる。
【００５４】
次に、指認識部３１は、算出された第１および第２特定領域Ａ１、Ａ２において、それぞれ手指の認識処理を行い（ＳＴ４０７）、左右の手指（指先）がそれぞれ第１および第２特定領域Ａ１、Ａ２内に位置しているか否かを判定する（ＳＴ４０８、ＳＴ４０９）。ここでは、左右の手指がともに特定領域内に位置すると判定された場合（ＳＴ４０８；Ｙｅｓ、ＳＴ４０９；Ｙｅｓ）にのみ、各手指の動き検出を行う（ＳＴ４１０）。この動き検出において、第１および第２特定領域Ａ１、Ａ２におけるユーザの左右の手指が、それぞれ規定時間以上静止している（すなわち、ユーザが撮影画像を記録するための動作指令を与えた）と判定されると（ＳＴ４１１；Ｙｅｓ）、制御部２４は、カメラ部３における撮影画像の解像度の設定を変更し（ＳＴ４１２）、比較的高解像度の画像データがＰＣ２に入力されるようにする（ＳＴ４１３）。
【００５５】
次に、画像記録部３６は、その高解像度の画像のデータを、表示データ生成部２５を介して表示器２６に表示させると共に、データ格納部２８に格納する（ＳＴ４１４）。このとき、高解像度の画像は、表示器２６において、上述のリアルタイム撮影画像が表示される第１の画像表示枠とは別に、第２の画像表示枠に表示される。なお、ＳＴ４１４において画像が格納される際には、ユーザに報知するためにブックスキャナ１またはＰＣ２においてシャッタ音を出すようにするとよい。また、ＳＴ４１４における画像の表示は、表示
器の画面サイズが小さく第２の画像表示枠を設け難い場合や、ユーザが表示を必要としない場合には省略することができる。その後、制御部２４は、カメラ部３における撮影画像の解像度の設定を変更し（ＳＴ４１５）、再び比較的低解像度の画像データがＰＣ２に入力されるようにする（ＳＴ４１６）。
【００５６】
その後、データ格納部２８に格納された高解像度の画像について、ユーザが再撮影を必要とするか否かを判断する再撮影判定の処理が実施される（ＳＴ４１７）。これにより、ユーザは、自動撮影された画像に不満がある場合には、再撮影を実行することができる。
【００５７】
上記ＳＴ４０２〜ＳＴ４１７のステップは、撮影が必要な各ページに対して繰り返し実行され、最終的に全てのページの撮影が完了したと判定されると（ＳＴ４１８；Ｙｅｓ）、自動撮影モードが終了する。この終了の判定は、例えば、ブックスキャナ１またはＰＣ２に対するユーザの所定の操作（自動撮影モード終了の指令）に基づき行われる。なお、特定領域中の手指は、原稿と共に撮影されるが、画像記録部３６は、画像中の手指を消去する処理を行うことができる。また、画像記録部３６は、基本撮影モードの場合と同様に、撮像画像を格納する前に平面化等の画像処理を適宜行うことが可能である。
【００５８】
図１０は、図９に示した特定領域設定（ＳＴ４０６）の手順を示すフロー図であり、図１１は、（Ａ）特定領域設定および（Ｂ）特定領域における指認識の要領を説明する模式図であり、図１２および図１３は、設定された特定領域の再設定の要領を説明する模式図（（Ａ）変更前、（Ｂ）変更後）である。
【００５９】
まず、特定領域設定部３３は、ページ輪郭検出部３２から取得した特異点に基づき、原稿のサイズ（本実施形態では、見開き状態のページのサイズ）を算出する（ＳＴ５０１）。続いて、画像記録部３６は、周知の処理に基づき撮像画像のデスキュー（傾き補正）を実施し（ＳＴ５０２）、デスキュー画像を表示器２６の第２の画像表示枠に表示させる（ＳＴ５０３）。続いて、特定領域設定部３３は、ページサイズから第１および第２特定領域Ａ１、Ａ２をそれぞれ撮像画像に配置する（ＳＴ５０４）。
【００６０】
ここでは、複数のページサイズと、それらに対応する第１および第２特定領域Ａ１、Ａ２の情報（座標）とが設定されたテーブル情報が予め準備されており、特定領域設定部３３は、そのテーブル情報に基づき第１および第２特定領域Ａ１、Ａ２を設定することができる。この場合、算出されたページサイズと一致するページサイズがテーブル情報に存在しない場合には、最も値の近いページサイズに基づき、特定領域の座標が決定される。また、別法として、特定領域を所定の関係式に基づき算出してもよい。
【００６１】
ページサイズは、図１１（Ａ）に示すように、ページの上下左右の端点の４つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂの座標データ（Ｘａ，Ｙａ）、（Ｘａ，Ｙｂ）、（Ｘｂ，Ｙａ）、（Ｘｂ，Ｙｂ）に基づき決定される。ここで、第１および第２特定領域Ａ１、Ａ２において、矩形の左右辺はそれぞれＹ軸方向に平行であり、矩形の上下辺はそれぞれＸ軸方向に平行である。また、第１特定領域Ａ１において、左右辺の位置の座標Ｘ１、Ｘ２と上下辺の位置の座標Ｙ２、Ｙ１とは以下の式１、式２の関係を満たす。
【００６２】
Ｘ１＜Ｘａ＜Ｘ２・・・（式１）
Ｙａ＜Ｙ１＜Ｙ２＜Ｙｂ・・・（式２）
つまり、第１特定領域Ａ１は、左ページの左辺（座標Ｘａ）を左右に跨ぎ、且つ左ページの上下の中間に配置される。特に、ページの上下方向の中心位置と、第１特定領域Ａ１の上下方向の中心位置とを一致させることが好ましい。
【００６３】
同様に、第２特定領域Ａ２において、左右辺の位置の座標Ｘ３、Ｘ４と上下辺の位置の
座標Ｙ２、Ｙ１とは以下の式３、式４の関係を満たす。
【００６４】
Ｘ３＜Ｘｂ＜Ｘ４・・・（式３）
Ｙａ＜Ｙ１＜Ｙ２＜Ｙｂ・・・（式４）
つまり、第２特定領域Ａ２は、右ページの右辺（座標Ｘｂ）を左右に跨ぎ、且つ右ページの上下の中間に配置される。ここで、第２特定領域Ａ２のサイズおよび上下方向の位置は第１特定領域Ａ１と同一に設定されることが好ましいが、必ずしもこれに限定される必要はない。
【００６５】
なお、図１１（Ｂ）に示すように、左の手指の動き検出は、指認識部３１によって検出された指先（ここでは、２本）の座標（Ｘ５，Ｙ５）、（Ｘ６，Ｙ６）が第１特定領域Ａ１内にある場合に行われる。同様に、右の手指の動き検出は、２本の指先の座標（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）が第２特定領域Ａ２内にある場合に行われる。
【００６６】
このように、２つの特定領域Ａ１、Ａ２が配置された後には、再び図１０に示すように、特定領域設定部３３は、コンテンツの領域の抽出を行う（ＳＴ５０５）。ここでは、図１２（Ａ）に示すように、左右のページにそれぞれ１つのコンテンツ領域Ｃ１およびコンテンツ領域Ｃ２が抽出される。続いて、特定領域設定部３３は、コンテンツ領域とこれに対応する特定領域との最短距離（例えば、コンテンツ領域Ｃ１の左辺と、特定領域Ａ１の右辺との距離）を算出し（ＳＴ５０６）、この最短距離に基づき両領域の重なりを判定する（ＳＴ５０７）。そして、図１２（Ａ）に示すように、両領域に重なりが生じている場合（Ｙｅｓ）には、図１２（Ｂ）に示すように、該当特定領域（図１２（Ｂ）中では、第１特定領域Ａ１）をコンテンツ領域から離間させる外方（ここでは、左方向）に予め設定された距離だけ移動させる（ＳＴ５０８）。その後、再びＳＴ５０６に戻り、最終的に全ての特定領域について対応するコンテンツ領域との重なりが解消されるまでＳＴ５０６〜ＳＴ５０８を繰り返す。これにより、画像中のコンテンツがユーザの手指で覆われる（すなわち、撮像画像においてコンテンツの一部が欠落する）ことを回避することが可能となる。
【００６７】
一方、特定領域とコンテンツ領域とが重なっていない場合（ＳＴ５０７；Ｎｏ）、ＳＴ５０６で算出された最短距離が規定値を越えているか否かを判定する（ＳＴ５０９）。そこで、図１３（Ａ）に示すように、最短距離Ｗが規定値（所定の閾値）を超えている場合（すなわち、コンテンツ領域と特定領域とが過度に離間されている場合）、図１３（Ｂ）に示すように、その最短距離Ｗが規定値以下となるまで、特定領域の内側（図１２（Ｂ）中では、第１特定領域Ａ１の右辺側）を延長するように所定の長さだけ拡大する（ＳＴ５１０）。この特定領域の拡大は、最終的に最短距離Ｗが規定値以下となるまで繰り返される。これにより、原稿が厚い場合などでも、読み取り時の紙面を確実に正常に保持することができる。なお、ここでは、特定領域を拡大したが、特定領域のサイズを変えずに、最短距離Ｗが規定値以下となるまで、特定領域を内側に移動させる構成も可能である。
【００６８】
その後、全ての特定領域に対してコンテンツ領域との重なりが解消されたか否かが判定され（ＳＴ５０７）、最終的に全ての特定領域に対する処理が完了すると（ＳＴ５１１）（Ｙｅｓ）、特定領域の設定処理が終了する。
【００６９】
なお、上記ＳＴ５０５〜ＳＴ５１０における特定領域とコンテンツ領域との重なりを回避する処理は、必要に応じて省略してもよい。
【００７０】
図１４は、図９に示した再撮影判定（ＳＴ４１７）の手順を示すフロー図であり、図１５は、（Ａ）動作解除領域の設定および（Ｂ）動作解除領域における指認識の要領を説明する模式図である。
【００７１】
まず、特定領域設定部３３は、上述の第１および第２特定領域Ａ１、Ａ２と同様に、図１５（Ａ）に示す矩形の動作解除領域Ａ３を設定する（ＳＴ６０１）。この動作解除領域Ａ３の位置およびサイズは、６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂに基づき決定される。ここで、動作解除領域Ａ３において、矩形の左右辺はそれぞれＹ軸方向に平行である。また、矩形の上下辺は、それぞれＸ軸方向に平行であり、第１および第２特定領域Ａ１、Ａ２と同じ位置にある。動作解除領域Ａ３において、左右辺の座標Ｘ１０、Ｘ１１は以下の式５の関係を満たす。
【００７２】
ｘ１０＜ｘｃ＜ｘ１１・・・（式５）
つまり、動作解除領域Ａ３は、両ページのセンタ（座Ｘｃ）を左右に跨ぎ、且つ両ページの上下の中間に配置される。なお、動作解除領域の上下辺の座標は、必ずしも第１および第２特定領域と同じ位置にある必要はないが、同じ位置とすることによりユーザの操作性が高まる。
【００７３】
このように、動作解除領域Ａ３が配置された後には、再び図１４に示すように、指認識部３１は、動作解除領域Ａ３において手指の認識処理を行い（ＳＴ６０２）、手指が動作解除領域Ａ３に位置しているか否かを判定する（ＳＴ６０３）。ここでは、図１５（Ｂ）に示すように、ユーザの右の手指が特定領域内に位置すると判定された場合（Ｙｅｓ）、手指の動き検出を行う（ＳＴ６０４）。この動き検出において、動作解除領域Ａ３におけるユーザの手指が、規定時間以上静止している（すなわち、ユーザが動作解除指令を与えた）と判定されると（ＳＴ６０５；Ｙｅｓ）、画像記録部は、ＳＴ４１１（Ｙｅｓ）におけるユーザの動作指令に拘わらず、図９のＳＴ４１４の動作を取り消して、そこで保存した画像を消去する（ＳＴ６０６）。一方、動作解除領域Ａ３において手指が認識されないか、或いは、ユーザの手指が規定時間以上静止しない場合には（ＳＴ６０５；Ｎｏ）、最終的に撮影が終了するまで（ＳＴ６０７；Ｙｅｓ）、図９のＳＴ４０２に戻って次ページに対して同様のステップを実行する。
【００７４】
このように、ユーザは、記録する画像を確認して画像のずれ等を発見した場合には、一方の手指を特定領域から動作解除領域に移動させてそのまま所定時間静止させることにより、特定の操作を必要とすることなく、撮影画像の記録を取り消すことができる。
【００７５】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態における手指の認識は、ユーザの両手を対象としたが、片手を対象としてもよい。その場合、特定領域も片手に対応する一方側のみに設定される（すなわち、特定領域は少なくとも１つ以上設定すればよい。）。また、上記実施形態では、特定領域または動作解除領域において、ユーザの手指が一定時間静止したことをもって、ユーザの動作指令または動作解除指令が与えられたものとしたが、必ずしも手指の静止に限らず、領域内における手指の所定の動きが検出されたことをもって動作指令または動作解除指令が与えられたものとしてもよい。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００７６】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、所望のタイミングで撮影画像を記録することを可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００７７】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
２４ 制御部
２６ 表示器
２８ データ格納部
３１ 指認識部
３２ ページ輪郭検出部（輪郭成分抽出部）
３３ 特定領域設定部
３４ コンテンツ領域認識部
３５ 動き検出部
３６ 画像記録部
Ａ１、Ａ２ 特定領域
Ａ３ 動作解除領域
Ｃ１、Ｃ２ コンテンツ領域
ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂ 特異点
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができるブックスキャナ（書画カメラ）が普及している（特許文献１参照）。このようなブックスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０３２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、背に綴じ部を設けた一般的な本では、見開き状態において中央部がＶ字状に落ち込んだり、各ページの間に隙間が生じたりするため、紙面を両手で押さえるなどして読み取り（撮像）時の紙面を正常に保持する（すなわち、紙面の歪みに起因する画像のずれ等を防止する）必要がある。
【０００５】
しかしながら、上記特許文献１に記載のような従来のブックスキャナでは、上述のように紙面を両手で押さえた状態で原稿を読み取るための特定の操作（例えば、シャッターボタンの押下や、マウスクリック等）を行うことが難しいという問題があった。これに対し、本を手で押さえる代わりに保持具を使用することが考えられるが、複数ページの読み取りを行う場合には、各ページを読み取る度にユーザが本を保持具にセットし直すという煩わしい操作が必要となる。また、所定の時間間隔で自動的に原稿読取を実施することも考えられるが、時間間隔の設定が長すぎる場合には、無駄な待ち時間が生じる一方、時間間隔の設定が短すぎる場合には、ページをめくる途中で読み取りが行われるなどして画像の読み取りミスが生じる。
【０００６】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録可能とする画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するために為されたものであり、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像において特定領域を設定する特定領域設定部と、前記特定領域においてユーザの指先を認識する指認識部と、前記指認識部にて認識された前記指先の動きを検出する動き検出部と、前記動き検出部が、前記指先の動きが所定時間以上静止していることを検出したときに、前記撮影画像を記録する画像記録部とを備えたものである。
【発明の効果】
【０００８】
このように本発明によれば、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録する
ことが可能となるという優れた効果を奏する。さらに、特定領域において、ユーザの指先が所定時間以上静止していることを検出したときに、撮影画像を記録するようにしているので、特定領域をコンテンツ領域外に設定すれば、ユーザの手指等がコンテンツとともに撮像画像として記録されてしまうことを防止することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る原稿読取システムを示す全体構成図
【図２】ブックスキャナ１およびＰＣ２の概略構成を示すブロック図
【図３】本原稿読取システムの基本撮影モードにおける原稿読取の手順を示すフロー図
【図４】図３に示した輪郭検出（ＳＴ１０３）の手順を示すフロー図
【図５】輪郭検出の要領を説明する模式図
【図６】図３に示したメッシュモデル生成（ＳＴ１０４）の手順を示すフロー図
【図７】メッシュモデル生成の要領を説明する模式図
【図８】メッシュモデルに基づいて画像を平面化した画像の模式図
【図９】本原稿読取システムの自動撮影モードにおける原稿読取の手順を示すフロー図
【図１０】図９に示した特定領域設定（ＳＴ４０６）の手順を示すフロー図
【図１１】（Ａ）特定領域設定および（Ｂ）特定領域における指認識の要領を説明する模式図
【図１２】特定領域の再設定の要領を説明する模式図（（Ａ）変更前、（Ｂ）変更後）
【図１３】特定領域の再設定の要領を説明する模式図（（Ａ）変更前、（Ｂ）変更後）
【図１４】図９に示した再撮影判定（ＳＴ４１７）の手順を示すフロー図
【図１５】（Ａ）動作解除領域の設定および（Ｂ）動作解除領域における指認識の要領を説明する模式図
【発明を実施するための形態】
【００１０】
上記課題を解決するためになされた第１の発明は、原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像において特定領域を設定する特定領域設定部と、前記特定領域においてユーザの指先を認識する指認識部と、前記指認識部にて認識された前記指先の動きを検出する動き検出部と、前記動き検出部が、前記指先の動きが所定時間以上静止していることを検出したときに、前記撮影画像を記録する画像記録部とを備えたものであり、これにより、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、特定の操作を必要とすることなく、所望のタイミングで撮影画像を記録することが可能となるという優れた効果を奏する。さらに、特定領域をコンテンツ領域外に設定すれば、ユーザの手指等がコンテンツとともに撮像画像として記録されてしまうことを防止することができる。
【００１１】
また、第２の発明は、前記第１の発明において、前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と重ならない位置に前記特定領域を配置する構成とする。
【００１２】
これによると、コンテンツがユーザの手指で覆われる（すなわち、撮像画像においてコンテンツの一部が欠落する）ことを回避しつつ、所望のタイミングで撮影画像を記録することが可能となる。
【００１３】
また、第３の発明は、前記第１または第２の発明において、前記特定領域設定部は、前記輪郭成分から算出された前記原稿のサイズに基づき、前記特定領域を設定する構成とする。
【００１４】
これによると、サイズの異なる種々の原稿に対して、適切なサイズの特定領域を適切な位置に容易に配置することが可能となる。この場合、特定領域を原稿の四隅に重ならないように配置することにより、原稿の輪郭や位置が検出できなくなるという不都合を回避することができる。
【００１５】
また、第４の発明は、前記第１から第３の発明のいずれかにおいて、前記特定領域は、前記ユーザの左右の手指に対応して前記撮像画像における原稿の左右にそれぞれ配置された２つの領域からなる構成とする。
【００１６】
これによると、ユーザが原稿の左右を手で押さえることにより、読み取り時の紙面を確実に正常に保持することができる。この場合、原稿の一方側（例えば、下側）を手で押さえたときのように、原稿の他方側（例えば、上側）が浮き上がるなどの不都合を回避することができる。
【００１７】
また、第５の発明は、前記第１から第４の発明のいずれかにおいて、前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と、前記特定領域との最短距離が所定の閾値よりも大きい場合、当該最短距離が前記閾値以下となるように前記特定領域を拡大する構成とする。
【００１８】
これによると、ユーザが原稿を手で押さえることが可能な領域（特定領域）を原稿の中心側に拡げて、原稿が厚い場合などでも、読み取り時の紙面を確実に正常に保持することができる。
【００１９】
また、第６の発明は、前記第１から第５の発明のいずれかにおいて、前記特定領域設定部は、前記特定領域と重ならないように動作解除領域を設定し、前記指認識部は、前記動作解除領域においてユーザの手指を認識し、前記画像記録部は、前記動作解除領域における前記動き検出部の検出結果に基づき、前記ユーザからの動作解除指令が与えられたと判定した場合に、前記動作指令に拘わらず前記原稿画像を記録しない構成とする。
【００２０】
これによると、記録する画像をユーザが確認して画像のずれ等を発見した場合には、特定の操作を必要とすることなく、撮影画像の記録を取り消すことができ、再び所望のタイミングで撮影画像を記録することが可能となる。
【００２１】
また、第７の発明は、前記第１から第６の発明のいずれかに係る画像処理装置と、前記撮影画像を撮影するカメラ部を有する画像入力装置とを備えた原稿読取システムである。
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は、本実施形態に係る原稿読取システムを示す全体構成図である。この原稿読取システムは、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、ブックスキャナ（画像入力装置）１とＰＣ（画像処理装置）２とからなっている。
【００２４】
ブックスキャナ１は、本Ｂの紙面を撮像するカメラ部３と、このカメラ部３を保持するスタンド部４とを備え、スタンド部４を机などの載置面５に据え付けるとともに、カメラ部３の真下の載置面５上に本Ｂを載置して、カメラ部３で本Ｂの紙面を撮像する。ブックスキャナ１の基本撮影モードでは、本Ｂは、自然に開いた状態で紙面の撮影が行われ、本Ｂの見開き２ページの撮影画像が得られる。そして、歪みのある紙面の画像を平面化する処理が行われて、見開き２ページ分の平面化された紙面の画像を取得することができる。
【００２５】
また、本Ｂの紙面を撮像する際には、ユーザは本Ｂの紙面を手で押さえて紙面を正常に保持する必要が生じる場合がある。このような場合でも、ブックスキャナ１では、自動撮影モードにおいて、ユーザが本Ｂを押さえる手指の位置や動きを認識して、これをユーザからの動作指令とすることにより、ユーザが特定の操作（例えば、シャッターボタンの押下や、ＰＣ２のマウスクリック等）をする必要なしに所望のタイミングで撮像を行うことが可能である。これにより、紙面の歪みに起因する画像のずれ等を効果的に防止して、所望の画像を記録することができる。
【００２６】
図２は、ブックスキャナ１およびＰＣ２の概略構成を示すブロック図である。ブックスキャナ１は、カメラ部３を備えた撮像処理部１１と、操作指示部１２と、外部インタフェイス１３とを有している。ＰＣ２は、外部インタフェイス２１と、画像データ入力部（撮影画像取得部）２２と、画像処理部２３と、制御部２４と、表示データ生成部２５と、表示器２６と、入力部２７と、データ格納部２８とを有している。なお、ＰＣ２の画像処理部２３および表示データ生成部２５は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理で実現される。
【００２７】
ＰＣ２では、キーボードなどからなる入力部２７の操作により、ブックスキャナ１で撮影される画像の解像度、フレームレート、シャッタスピードなどの撮像条件が入力され、この動作条件が制御部２４からブックスキャナ１に送信され、ブックスキャナ１では、ＰＣ２から送信された動作条件に基づいて操作指示部１２による指示にしたがって撮像処理部１１が所要の動作を行う。
【００２８】
ＰＣ２の画像データ入力部２２では、ブックスキャナ１から送信される画像データをメモリに格納し、必要に応じてその画像データを画像処理部２３に出力する。この画像データ入力部２２では、原稿（ここでは本の紙面）Ｂが載置面５とともに写った撮影画像を取得する。
【００２９】
画像処理部２３は、自動撮影モードにおいてユーザの手指を認識する指認識部３１と、撮影画像から本Ｂのページの輪郭を検出するページ輪郭検出部（輪郭成分抽出部）３２と、撮影画像において指認識部３１が手指を認識する所定の領域（以下、「特定領域」という。）を設定する特定領域設定部３３と、撮影画像に含まれるコンテンツ（ここでは、文字、図形その他の人の知覚によって認識される情報）の領域を認識するコンテンツ領域認識部３４と、指認識部３１によって認識された手指（指先）の動きを検出する動き検出部３５と、動き検出部の検出結果に基づきユーザからの動作指令が与えられたと判定した場合に、撮影画像データをデータ格納部２８に格納すると共に、撮影画像データを表示データ生成部２５に送出する画像記録部３６とを有している。
【００３０】
指認識部３１は、肌色と指の形状情報に基づき、指先の位置と指の向きとを認識する。ここでは、指認識部３１は、カメラ部３からのＲＧＢ画像（撮影画像）をＨＳＶ変換し、ＨＳＶ変換された画像における肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の範囲を肌色領域として抽出する。そして、抽出した肌色領域を２値化して手指の輪郭を算出し、この算出した輪郭について形状認識（予め準備された複数の手指の形状パターンと比較）して、指の本数と各指先の座標とを推定する。さらに、指先の位置と指の輪郭から指の方向を算出する。なお、指認識部３１は、左右の手指の位置等をそれぞれ認識する第１指位置検出部４１および第２指位置検出部４２を有している。
【００３１】
コンテンツ領域認識部３４は、ページ輪郭検出部３２が検出した輪郭情報（ここでは、図５（Ｂ）中の６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂ等の輪郭成分）からコンテンツ領域を決定する。ここでは、複数の原稿のサイズと、それらに対応するコンテンツ領域の情報（座標）とが設定されたテーブル情報が予め準備されており、
コンテンツ領域認識部３４は、そのテーブル情報に基づきコンテンツ領域Ｃ１、Ｃ２（図１２参照）を決定することができる。この場合、輪郭情報に基づき算出された原稿のサイズと一致する原稿のサイズがテーブル情報に存在しない場合には、最も値の近い原稿サイズに基づきコンテンツ領域の座標が決定される。
【００３２】
或いは、コンテンツ領域認識部３４は、指認識部３１においてＨＳＶ変換された画像において、原稿の背景色に相当する色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）領域を抽出し、これにより、コンテンツ領域を推定することも可能である。さらに、コンテンツ領域を所定の関係式に基づき算出してもよい。なお、本実施形態では、左右のページにそれぞれ１つのコンテンツ領域を検出した例を示すが、ページ内により多くのコンテンツ領域が検出される構成も可能である。
【００３３】
動き検出部３５は、指認識部３１によって認識された手指（指先）についてフレーム間の移動量を考慮することにより動き検出を行う。動き検出では、特定領域をＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）領域に設定し、このＲＯＩ領域において、指先位置が１０フレームの間に規定値（例えば、１００画素）以内の変動であれば、手指が静止していると判定する。
【００３４】
なお、指認識、コンテンツ領域認識および動き検出の方法については、上述の方法に限らず周知の技術を適宜用いることができる。
【００３５】
図３は、本原稿読取システムの基本撮影モードにおける原稿読取の手順を示すフロー図である。まず、ユーザがブックスキャナ１のカメラ部３の下に本（原稿）をセットする（ＳＴ１０１）。そして、ブックスキャナ１を起動させるとともに、ＰＣ２で所要のアプリケーションを起動させると、画像の入力、すなわちブックスキャナ１で撮像が開始されてその撮像データがＰＣ２に送信され（ＳＴ１０２）、ＰＣ２の画像データ入力部２２では、本Ｂの紙面を載置面５とともに撮影した撮影画像を取得する。
【００３６】
そしてＰＣ２では、ページ輪郭検出部３２により、撮影画像から本Ｂのページの輪郭を検出する処理が行われ（ＳＴ１０３）、続いて、検出した輪郭情報から、本Ｂの全体を対象にしてメッシュモデルを生成する処理が行われる（ＳＴ１０４）。さらに、生成されたメッシュモデルに基づいて、画像記録部３６によって画像を平面化する画像変換処理が行われる（ＳＴ１０５）。ここでは、射影変換（アフィン変換）により画像の平面化が行われ、フラットベッドスキャナで読み取ったものと同様の画像を取得することができる。
【００３７】
このようにして平面化された画像のデータは表示データ生成部２５に送られ、そこで生成された表示データに基づき表示器２６に表示される（ＳＴ１０６）。これによりユーザは画像の記録が適切に行われたか否かを確認することができる。また、平面化された画像のデータはデータ格納部２８に格納される（ＳＴ１０７）。
【００３８】
図４は、図３に示した輪郭検出（ＳＴ１０３）の手順を示すフロー図であり、図５は、輪郭検出の要領を説明する模式図である。ここでは、本Ｂの紙面を載置面５とともに撮影した撮影画像から、本Ｂの輪郭情報として、本Ｂの載置状態を大まかに把握するための主要直線成分と、ページの上下左右およびセンタ（左右中央）における端点である複数の特異点を検出する。
【００３９】
まず、本全体の外形の主要直線成分を検出する（ＳＴ２０１）。ここでは、図５（Ａ）に示すように、撮影画像内で、本Ｂ全体の外形における左右の側縁（通常は表紙の側縁）を示す２本の直線と、左右のページの綴じ目（センタ）を示す１本の直線を検出する。この直線成分の検出は、ハフ（Ｈｏｕｇｈ）変換により行えばよい。
【００４０】
また、撮影画像に対してエッジ検出を行う（ＳＴ２０２）。このエッジ検出は、キャニー（Ｃａｎｎｙ）法を用いて行えばよい。ついで、取得したエッジ画像内の輪郭成分（原稿の
輪郭を構成する画素）を抽出する（ＳＴ２０３）。ついで、取得した輪郭成分に基づいて、ページの上下左右の端点である特異点を検出する（ＳＴ２０４）。ここでは、図５（Ｂ）に示すように、見開き２ページの撮影画像において、ページの上下左右の端点として６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂが検出される。
【００４１】
そして、特異点検出（ＳＴ２０４）で取得した特異点の妥当性を判断する（ＳＴ２０５）。ここでは、取得した特異点と、直線成分検出（ＳＴ２０１）で取得した直線成分とを比較して、ページの上下左右の端点である特異点の妥当性を判断する。ここで、特異点が妥当であるものと判定されると、その特異点を確定する（ＳＴ２０６）。
【００４２】
なお、エッジ検出（ＳＴ２０２）、輪郭成分抽出（ＳＴ２０３）、および特異点検出（ＳＴ２０４）の各処理は、直線成分検出（ＳＴ２０１）の処理と平行して行うようにしてもよい。
【００４３】
図６は、図３に示したメッシュモデル生成（ＳＴ１０４）の手順を示すフロー図であり、図７は、メッシュモデル生成の要領を説明する模式図であり、図８は、メッシュモデルに基づいて画像を平面化した画像の模式図である。ここでは、本Ｂの紙面を載置面５とともに撮影した撮影画像から、本の紙面全体を対象にしたメッシュモデルを生成する。
【００４４】
まず、本Ｂのページの歪曲した輪郭線を表す歪曲成分を抽出する（ＳＴ３０１）。図７（Ａ）に示すように、ページの上縁および下縁の輪郭線は、外側に膨らんだ歪曲した状態で表示され、このページの上縁および下縁の歪曲した輪郭成分（輪郭を構成する画素）を、図４に示したエッジ検出（ＳＴ２０２）で取得したエッジ画像から抽出する。そして、歪曲成分の連続性に基づいて歪曲成分の妥当性を判断する（ＳＴ３０２）。ここで、歪曲成分が妥当でないものと判定されると、途切れた部分の補間処理を行う（ＳＴ３０３）。これにより、歪曲成分が途切れることなく連続した状態となる。
【００４５】
ついで、歪曲成分を高さ成分に変換する演算を行う（ＳＴ３０４）。撮影画像上でページの上縁および下縁の輪郭線が歪曲した状態で表示されるのは、３次元的には紙面が上側に凸となるように湾曲していることによるものであり、ページの上縁および下縁の輪郭線を示す歪曲成分に基づいて、ページの上縁および下縁の３次元的な湾曲状態を示す高さ成分を求めることができる。具体的には載置面５に対してページの上縁および下縁の高さ（Ｚ軸の座標）を一定間隔で求める。この高さ成分により、ページの上縁および下縁の実際の長さを推定することができる。
【００４６】
ついで、縦横のメッシュラインを生成し（ＳＴ３０５）、その縦横のメッシュラインが交差するメッシュ交点の座標をメッシュテーブルに格納する（ＳＴ３０６）。ここでは、図７（Ｂ）に示すように、ページの上縁および下縁の高さ成分に基づいて、ページの上縁および下縁を示す曲線をメッシュ数に応じて等間隔に分割する基点の座標を求め、上縁および下縁の互いに対応する基点を結線して縦メッシュラインを求める。ついで、縦メッシュラインをメッシュ数に応じて等間隔に分割する点（メッシュ交点）の座標を求め、その点を結線して横メッシュラインを求める。
【００４７】
なお、このように取得したメッシュモデルに基づく画像は、図８に示すように、画像記録部３６により平面化されて格納される。
【００４８】
図９は、本原稿読取システムの自動撮影モードにおける原稿読取の手順を示すフロー図である。この自動撮影モードにおいて、前述の基本撮影モードと同様の処理については詳細な説明を省略する。
【００４９】
まず、ユーザは、ブックスキャナ１のカメラ部３の下に本をセットし（ＳＴ４０１）、ページをめくることにより、撮影を開始するページを開く（ＳＴ４０２）。このとき、ブックスキャナ１の動作モードとして自動撮影モードが選択される。
【００５０】
この動作モードの選択は、ユーザがブックスキャナ１またはＰＣ２に対して所定の操作（ボタンの押下等）を行うことにより実行可能である。或いは、ユーザの特別な操作なしに、撮影画像に基づき動作モードを選択することもできる。例えば、図１に示したブックスキャナ１の脚部に示されたガイドラインＬに対し、本Ｂの外形輪郭における上辺の位置がガイドラインＬ上にある場合にのみ自動撮影モードを選択する構成としてもよい。
【００５１】
その後、ブックスキャナ１で撮影が開始されてその撮影画像のデータがＰＣ２に所定のフレームレートにて順次に送信される（ＳＴ４０３）。ここでの撮影画像は、比較的低解像度（例えば、ＶＧＡ、３０ｆｐｓ）のものであり、ＰＣ２の表示器２６の画面における第１の画像表示枠にリアルタイム画像として表示される（ＳＴ４０４）。
【００５２】
続いて、ページ輪郭検出部３２により、撮影画像から本Ｂのページの輪郭を検出する処理が行われ、輪郭情報として６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂの座標データがそれぞれ取得される（ＳＴ４０５）。そして、特定領域設定部３３により、それら特異点の座標データに基づき、指認識部３１による手指の認識に用いるための特定領域を設定する処理が行われる（ＳＴ４０６）。ここでは、左右の手指にそれぞれ対応する２つの特定領域（第１特定領域、第２特定領域）が設定される。
【００５３】
詳細は後述するが、図１１（Ａ）に示すように、第１および第２特定領域Ａ１、Ａ２は、矩形状をなし、撮影画像における原稿の左右にそれぞれ配置される。第１および第２特定領域Ａ１、Ａ２は、その少なくとも一部が原稿の紙面と重なり、ここでは、紙面外の領域も含む。これにより、特定領域（指認識を行う領域）にページの左右端が確実に含まれるようにして、指先がページ上に位置しているにも拘わらず指認識できないという不都合を回避することができる。
【００５４】
次に、指認識部３１は、算出された第１および第２特定領域Ａ１、Ａ２において、それぞれ手指の認識処理を行い（ＳＴ４０７）、左右の手指（指先）がそれぞれ第１および第２特定領域Ａ１、Ａ２内に位置しているか否かを判定する（ＳＴ４０８、ＳＴ４０９）。ここでは、左右の手指がともに特定領域内に位置すると判定された場合（ＳＴ４０８；Ｙｅｓ、ＳＴ４０９；Ｙｅｓ）にのみ、各手指の動き検出を行う（ＳＴ４１０）。この動き検出において、第１および第２特定領域Ａ１、Ａ２におけるユーザの左右の手指が、それぞれ規定時間以上静止している（すなわち、ユーザが撮影画像を記録するための動作指令を与えた）と判定されると（ＳＴ４１１；Ｙｅｓ）、制御部２４は、カメラ部３における撮影画像の解像度の設定を変更し（ＳＴ４１２）、比較的高解像度の画像データがＰＣ２に入力されるようにする（ＳＴ４１３）。
【００５５】
次に、画像記録部３６は、その高解像度の画像のデータを、表示データ生成部２５を介して表示器２６に表示させると共に、データ格納部２８に格納する（ＳＴ４１４）。このとき、高解像度の画像は、表示器２６において、上述のリアルタイム撮影画像が表示される第１の画像表示枠とは別に、第２の画像表示枠に表示される。なお、ＳＴ４１４において画像が格納される際には、ユーザに報知するためにブックスキャナ１またはＰＣ２においてシャッタ音を出すようにするとよい。また、ＳＴ４１４における画像の表示は、表示
器の画面サイズが小さく第２の画像表示枠を設け難い場合や、ユーザが表示を必要としない場合には省略することができる。その後、制御部２４は、カメラ部３における撮影画像の解像度の設定を変更し（ＳＴ４１５）、再び比較的低解像度の画像データがＰＣ２に入力されるようにする（ＳＴ４１６）。
【００５６】
その後、データ格納部２８に格納された高解像度の画像について、ユーザが再撮影を必要とするか否かを判断する再撮影判定の処理が実施される（ＳＴ４１７）。これにより、ユーザは、自動撮影された画像に不満がある場合には、再撮影を実行することができる。
【００５７】
上記ＳＴ４０２〜ＳＴ４１７のステップは、撮影が必要な各ページに対して繰り返し実行され、最終的に全てのページの撮影が完了したと判定されると（ＳＴ４１８；Ｙｅｓ）、自動撮影モードが終了する。この終了の判定は、例えば、ブックスキャナ１またはＰＣ２に対するユーザの所定の操作（自動撮影モード終了の指令）に基づき行われる。なお、特定領域中の手指は、原稿と共に撮影されるが、画像記録部３６は、画像中の手指を消去する処理を行うことができる。また、画像記録部３６は、基本撮影モードの場合と同様に、撮像画像を格納する前に平面化等の画像処理を適宜行うことが可能である。
【００５８】
図１０は、図９に示した特定領域設定（ＳＴ４０６）の手順を示すフロー図であり、図１１は、（Ａ）特定領域設定および（Ｂ）特定領域における指認識の要領を説明する模式図であり、図１２および図１３は、設定された特定領域の再設定の要領を説明する模式図（（Ａ）変更前、（Ｂ）変更後）である。
【００５９】
まず、特定領域設定部３３は、ページ輪郭検出部３２から取得した特異点に基づき、原稿のサイズ（本実施形態では、見開き状態のページのサイズ）を算出する（ＳＴ５０１）。続いて、画像記録部３６は、周知の処理に基づき撮像画像のデスキュー（傾き補正）を実施し（ＳＴ５０２）、デスキュー画像を表示器２６の第２の画像表示枠に表示させる（ＳＴ５０３）。続いて、特定領域設定部３３は、ページサイズから第１および第２特定領域Ａ１、Ａ２をそれぞれ撮像画像に配置する（ＳＴ５０４）。
【００６０】
ここでは、複数のページサイズと、それらに対応する第１および第２特定領域Ａ１、Ａ２の情報（座標）とが設定されたテーブル情報が予め準備されており、特定領域設定部３３は、そのテーブル情報に基づき第１および第２特定領域Ａ１、Ａ２を設定することができる。この場合、算出されたページサイズと一致するページサイズがテーブル情報に存在しない場合には、最も値の近いページサイズに基づき、特定領域の座標が決定される。また、別法として、特定領域を所定の関係式に基づき算出してもよい。
【００６１】
ページサイズは、図１１（Ａ）に示すように、ページの上下左右の端点の４つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂの座標データ（Ｘａ，Ｙａ）、（Ｘａ，Ｙｂ）、（Ｘｂ，Ｙａ）、（Ｘｂ，Ｙｂ）に基づき決定される。ここで、第１および第２特定領域Ａ１、Ａ２において、矩形の左右辺はそれぞれＹ軸方向に平行であり、矩形の上下辺はそれぞれＸ軸方向に平行である。また、第１特定領域Ａ１において、左右辺の位置の座標Ｘ１、Ｘ２と上下辺の位置の座標Ｙ２、Ｙ１とは以下の式１、式２の関係を満たす。
【００６２】
Ｘ１＜Ｘａ＜Ｘ２・・・（式１）
Ｙａ＜Ｙ１＜Ｙ２＜Ｙｂ・・・（式２）
つまり、第１特定領域Ａ１は、左ページの左辺（座標Ｘａ）を左右に跨ぎ、且つ左ページの上下の中間に配置される。特に、ページの上下方向の中心位置と、第１特定領域Ａ１の上下方向の中心位置とを一致させることが好ましい。
【００６３】
同様に、第２特定領域Ａ２において、左右辺の位置の座標Ｘ３、Ｘ４と上下辺の位置の
座標Ｙ２、Ｙ１とは以下の式３、式４の関係を満たす。
【００６４】
Ｘ３＜Ｘｂ＜Ｘ４・・・（式３）
Ｙａ＜Ｙ１＜Ｙ２＜Ｙｂ・・・（式４）
つまり、第２特定領域Ａ２は、右ページの右辺（座標Ｘｂ）を左右に跨ぎ、且つ右ページの上下の中間に配置される。ここで、第２特定領域Ａ２のサイズおよび上下方向の位置は第１特定領域Ａ１と同一に設定されることが好ましいが、必ずしもこれに限定される必要はない。
【００６５】
なお、図１１（Ｂ）に示すように、左の手指の動き検出は、指認識部３１によって検出された指先（ここでは、２本）の座標（Ｘ５，Ｙ５）、（Ｘ６，Ｙ６）が第１特定領域Ａ１内にある場合に行われる。同様に、右の手指の動き検出は、２本の指先の座標（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）が第２特定領域Ａ２内にある場合に行われる。
【００６６】
このように、２つの特定領域Ａ１、Ａ２が配置された後には、再び図１０に示すように、特定領域設定部３３は、コンテンツの領域の抽出を行う（ＳＴ５０５）。ここでは、図１２（Ａ）に示すように、左右のページにそれぞれ１つのコンテンツ領域Ｃ１およびコンテンツ領域Ｃ２が抽出される。続いて、特定領域設定部３３は、コンテンツ領域とこれに対応する特定領域との最短距離（例えば、コンテンツ領域Ｃ１の左辺と、特定領域Ａ１の右辺との距離）を算出し（ＳＴ５０６）、この最短距離に基づき両領域の重なりを判定する（ＳＴ５０７）。そして、図１２（Ａ）に示すように、両領域に重なりが生じている場合（Ｙｅｓ）には、図１２（Ｂ）に示すように、該当特定領域（図１２（Ｂ）中では、第１特定領域Ａ１）をコンテンツ領域から離間させる外方（ここでは、左方向）に予め設定された距離だけ移動させる（ＳＴ５０８）。その後、再びＳＴ５０６に戻り、最終的に全ての特定領域について対応するコンテンツ領域との重なりが解消されるまでＳＴ５０６〜ＳＴ５０８を繰り返す。これにより、画像中のコンテンツがユーザの手指で覆われる（すなわち、撮像画像においてコンテンツの一部が欠落する）ことを回避することが可能となる。
【００６７】
一方、特定領域とコンテンツ領域とが重なっていない場合（ＳＴ５０７；Ｎｏ）、ＳＴ５０６で算出された最短距離が規定値を越えているか否かを判定する（ＳＴ５０９）。そこで、図１３（Ａ）に示すように、最短距離Ｗが規定値（所定の閾値）を超えている場合（すなわち、コンテンツ領域と特定領域とが過度に離間されている場合）、図１３（Ｂ）に示すように、その最短距離Ｗが規定値以下となるまで、特定領域の内側（図１２（Ｂ）中では、第１特定領域Ａ１の右辺側）を延長するように所定の長さだけ拡大する（ＳＴ５１０）。この特定領域の拡大は、最終的に最短距離Ｗが規定値以下となるまで繰り返される。これにより、原稿が厚い場合などでも、読み取り時の紙面を確実に正常に保持することができる。なお、ここでは、特定領域を拡大したが、特定領域のサイズを変えずに、最短距離Ｗが規定値以下となるまで、特定領域を内側に移動させる構成も可能である。
【００６８】
その後、全ての特定領域に対してコンテンツ領域との重なりが解消されたか否かが判定され（ＳＴ５０７）、最終的に全ての特定領域に対する処理が完了すると（ＳＴ５１１）（Ｙｅｓ）、特定領域の設定処理が終了する。
【００６９】
なお、上記ＳＴ５０５〜ＳＴ５１０における特定領域とコンテンツ領域との重なりを回避する処理は、必要に応じて省略してもよい。
【００７０】
図１４は、図９に示した再撮影判定（ＳＴ４１７）の手順を示すフロー図であり、図１５は、（Ａ）動作解除領域の設定および（Ｂ）動作解除領域における指認識の要領を説明する模式図である。
【００７１】
まず、特定領域設定部３３は、上述の第１および第２特定領域Ａ１、Ａ２と同様に、図１５（Ａ）に示す矩形の動作解除領域Ａ３を設定する（ＳＴ６０１）。この動作解除領域Ａ３の位置およびサイズは、６つの特異点ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂに基づき決定される。ここで、動作解除領域Ａ３において、矩形の左右辺はそれぞれＹ軸方向に平行である。また、矩形の上下辺は、それぞれＸ軸方向に平行であり、第１および第２特定領域Ａ１、Ａ２と同じ位置にある。動作解除領域Ａ３において、左右辺の座標Ｘ１０、Ｘ１１は以下の式５の関係を満たす。
【００７２】
ｘ１０＜ｘｃ＜ｘ１１・・・（式５）
つまり、動作解除領域Ａ３は、両ページのセンタ（座Ｘｃ）を左右に跨ぎ、且つ両ページの上下の中間に配置される。なお、動作解除領域の上下辺の座標は、必ずしも第１および第２特定領域と同じ位置にある必要はないが、同じ位置とすることによりユーザの操作性が高まる。
【００７３】
このように、動作解除領域Ａ３が配置された後には、再び図１４に示すように、指認識部３１は、動作解除領域Ａ３において手指の認識処理を行い（ＳＴ６０２）、手指が動作解除領域Ａ３に位置しているか否かを判定する（ＳＴ６０３）。ここでは、図１５（Ｂ）に示すように、ユーザの右の手指が特定領域内に位置すると判定された場合（Ｙｅｓ）、手指の動き検出を行う（ＳＴ６０４）。この動き検出において、動作解除領域Ａ３におけるユーザの手指が、規定時間以上静止している（すなわち、ユーザが動作解除指令を与えた）と判定されると（ＳＴ６０５；Ｙｅｓ）、画像記録部は、ＳＴ４１１（Ｙｅｓ）におけるユーザの動作指令に拘わらず、図９のＳＴ４１４の動作を取り消して、そこで保存した画像を消去する（ＳＴ６０６）。一方、動作解除領域Ａ３において手指が認識されないか、或いは、ユーザの手指が規定時間以上静止しない場合には（ＳＴ６０５；Ｎｏ）、最終的に撮影が終了するまで（ＳＴ６０７；Ｙｅｓ）、図９のＳＴ４０２に戻って次ページに対して同様のステップを実行する。
【００７４】
このように、ユーザは、記録する画像を確認して画像のずれ等を発見した場合には、一方の手指を特定領域から動作解除領域に移動させてそのまま所定時間静止させることにより、特定の操作を必要とすることなく、撮影画像の記録を取り消すことができる。
【００７５】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態における手指の認識は、ユーザの両手を対象としたが、片手を対象としてもよい。その場合、特定領域も片手に対応する一方側のみに設定される（すなわち、特定領域は少なくとも１つ以上設定すればよい。）。また、上記実施形態では、特定領域または動作解除領域において、ユーザの手指が一定時間静止したことをもって、ユーザの動作指令または動作解除指令が与えられたものとしたが、必ずしも手指の静止に限らず、領域内における手指の所定の動きが検出されたことをもって動作指令または動作解除指令が与えられたものとしてもよい。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００７６】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、ユーザが原稿を手で押さえて読み取り時の紙面を正常に保持しながら、所望のタイミングで撮影画像を記録することを可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００７７】
１ ブックスキャナ（画像入力装置）
２ ＰＣ（画像処理装置）
３ カメラ部
２２ 画像データ入力部（撮影画像取得部）
２４ 制御部
２６ 表示器
２８ データ格納部
３１ 指認識部
３２ ページ輪郭検出部（輪郭成分抽出部）
３３ 特定領域設定部
３４ コンテンツ領域認識部
３５ 動き検出部
３６ 画像記録部
Ａ１、Ａ２ 特定領域
Ａ３ 動作解除領域
Ｃ１、Ｃ２ コンテンツ領域
ＳＬｔ、ＳＬｂ、ＳＲｔ、ＳＲｂ、ＳＣｔ、ＳＣｂ 特異点
【特許請求の範囲】
【請求項１】
原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像において特定領域を設定する特定領域設定部と、
前記特定領域においてユーザの指先を認識する指認識部と、
前記指認識部にて認識された前記指先の動きを検出する動き検出部と、
前記動き検出部が、前記指先の動きが所定時間以上静止していることを検出したときに、前記撮影画像を記録する画像記録部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と重ならない位置に前記特定領域を配置することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像画像から原稿の輪郭成分を抽出する輪郭成分抽出部とを備え、前記特定領域設定部は、前記輪郭成分から算出された前記原稿のサイズに基づき、前記特定領域を設定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記特定領域は、前記ユーザの左右の手指に対応して前記撮像画像における原稿の左右にそれぞれ配置された２つの領域からなることを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と、前記特定領域との最短距離が所定の閾値よりも大きい場合、当該最短距離が前記閾値以下となるように前記特定領域を拡大することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記特定領域設定部は、前記特定領域と重ならないように動作解除領域を設定し、
前記指認識部は、前記動作解除領域においてユーザの手指を認識し、
前記画像記録部は、前記動作解除領域における前記動き検出部の検出結果に基づき、前記ユーザからの動作解除指令が与えられたと判定した場合に、前記動作指令に拘わらず前記原稿画像を記録しないことを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
請求項１から請求項６のいずれかに記載の画像処理装置と、前記撮影画像を撮影するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【請求項１】
原稿の紙面を載置面とともに撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像において特定領域を設定する特定領域設定部と、
前記特定領域においてユーザの指先を認識する指認識部と、
前記指認識部にて認識された前記指先の動きを検出する動き検出部と、
前記動き検出部が、前記指先の動きが所定時間以上静止していることを検出したときに、前記撮影画像を記録する画像記録部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と重ならない位置に前記特定領域を配置することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像画像から原稿の輪郭成分を抽出する輪郭成分抽出部とを備え、前記特定領域設定部は、前記輪郭成分から算出された前記原稿のサイズに基づき、前記特定領域を設定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記特定領域は、前記ユーザの左右の手指に対応して前記撮像画像における原稿の左右にそれぞれ配置された２つの領域からなることを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記特定領域設定部は、前記撮影画像に含まれるコンテンツの領域と、前記特定領域との最短距離が所定の閾値よりも大きい場合、当該最短距離が前記閾値以下となるように前記特定領域を拡大することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記特定領域設定部は、前記特定領域と重ならないように動作解除領域を設定し、
前記指認識部は、前記動作解除領域においてユーザの手指を認識し、
前記画像記録部は、前記動作解除領域における前記動き検出部の検出結果に基づき、前記ユーザからの動作解除指令が与えられたと判定した場合に、前記動作指令に拘わらず前記原稿画像を記録しないことを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
請求項１から請求項６のいずれかに記載の画像処理装置と、前記撮影画像を撮影するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−２７０３２（Ｐ２０１３−２７０３２Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−２８４９１８（Ｐ２０１１−２８４９１８）
【出願日】平成２３年１２月２７日（２０１１．１２．２７）
【分割の表示】特願２０１１−１５９８７３（Ｐ２０１１−１５９８７３）の分割
【原出願日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年１２月２７日（２０１１．１２．２７）
【分割の表示】特願２０１１−１５９８７３（Ｐ２０１１−１５９８７３）の分割
【原出願日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]