書籍読み取りシステム及び書籍読み取り方法
【課題】綴じられた書籍をめくりながら、書籍に記載された情報を高速に読み取る技術を提供する。
【解決手段】書籍画像取得部３の動作可能周期よりも高速な周期で動作しうるページ状態測定部１により、書籍のページ状態を測定する。ついで、ページ状態測定部１によって測定されたページ状態が、書籍画像の取得に適するものかどうかを、制御部２により判定する。ページ状態が書籍画像の取得に適すると制御部２が判定した場合には、書籍画像取得部３に対して、書籍画像取得のための指示を送る。ついで、書籍画像取得部３が、書籍のページについての、高解像度の画像を取得する。
【解決手段】書籍画像取得部３の動作可能周期よりも高速な周期で動作しうるページ状態測定部１により、書籍のページ状態を測定する。ついで、ページ状態測定部１によって測定されたページ状態が、書籍画像の取得に適するものかどうかを、制御部２により判定する。ページ状態が書籍画像の取得に適すると制御部２が判定した場合には、書籍画像取得部３に対して、書籍画像取得のための指示を送る。ついで、書籍画像取得部３が、書籍のページについての、高解像度の画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書籍読み取りシステム及び書籍読み取り方法に関するものである。特に、本発明は、綴じられた書籍をめくりながら、書籍に記載された情報を読み取るために好適な技術に関するものである。
【背景技術】
【０００２】
書籍電子化のニーズが全世界で急速に高まっている。このようなニーズのもと、様々な書籍電子化技術が開発されているが、書籍を高速かつ手軽に電子化するための現在の技術は、そのニーズに対して十分でない。特に、書籍電子化には、高速性と高精細の両者を備えた画像センシングシステムが必須であるが、そのようなシステムは未だに実現されていない。
【０００３】
発明者らは、高速な書籍電子化技術の実現に向けて、書籍のページめくり動作中に、動いているページを連続的に読み取る方式であるBook Flipping Scanning を提唱している（下記非特許文献１）。Book Flipping Scanning のアプローチは強力であり、様々な応用形態を提供しうると考えられる。
【０００４】
また、発明者らは、これまでに、高速な三次元センシング技術（下記非特許文献２）を用いて、Book Flipping Scanningの有効性を確認してきた。しかし、電子化された書籍画像が低解像度であるという問題があった。
【０００５】
また、下記特許文献１には、めくられた状態のページを撮影する技術が記載されているが、これは、動いているページを撮影するためのものではない。よって、特許文献１の技術では、綴じられた書籍の各ページにおける画像を取得するためには、相当に長い時間を要することになる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】[1] T. Nakashima, Y. Watanabe, T. Komuro, and M. Ishikawa. Book flipping scanning. 22nd Symposium on User Interface Software and Technology (UIST2009) (Victoria, 2009.10.5) / Adjunct Proceedings, pp. 79{80, 2009.
【非特許文献２】[2] 渡辺義浩, 小室孝, 石川正俊. 多点瞬時解析高速ビジョンによる運動/変形物体のリアルタイム3 次元センシング. 日本ロボット学会誌, Vol. 25, No. 6, pp. 1005{1013, 2007.
【非特許文献３】[3] Y. D. Wang, I. Ishii, T. Takaki, and K. Tajima. An intelligent high-frame-rate video logging system for abnormal behavior analysis. Journal of Robotics and Mechatronics, Vol. 23, No. 1, pp. 53-65, 2011.
【非特許文献４】[4] 重本倫宏, 星川章, 長原一, 岩井儀雄, 谷内田正彦, 鈴木俊哉. 時間的・空間的分解能の異なる複合センサカメラシステム. 情報処理学会論文誌, Vol. 47, No. SIG 5, 2006.
【非特許文献５】[5] 松延徹, 長原一, 岩井儀雄, 谷内田正彦, 鈴木俊哉. モーフィングによる高解像度高フレームレート動画像の生成. 電子情報通信学会論文誌, Vol. J90-D, No. 4, pp. 1073{1084, 2007.
【非特許文献６】[6] 小野田偉, 長原一, 谷内田正彦. モーフィングによる高解像度フレームレート動画像の生成. 電気情報通信学会技術研究報告.PRMU, Vol. 108, No. 327, pp. 259-266, 2008.
【非特許文献７】[7] Y. Watanabe, T. Nakashima, T. Komuro, and M. Ishikawa. Estimation of non-rigid surface deformation using developable surface model. International Conference on Pattern Recognition, pp. 197{200, 2010.
【非特許文献８】[8] D. A. Forsyth and J. Ponce. 大北剛（編）, コンピュータビジョン. 共立出版, 2007.
【特許文献】
【０００７】
【特許文献１】特表２００７−５２７１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
書籍画像の高精細化に向けたキーポイントは、ダイナミックな現象に対して適応的に撮像を行う画像センシング方法にあると考えられる。任意のタイミングで生じる最適な一瞬に合わせて、画像センシングを機能させることで、効率的な高精細センシングを達成できると期待できる。
【０００９】
同様の考え方は、ミルククラウンのような瞬間的な画像を捉えるために、通過センサとカメラを用いた複合センサシステムで導入されている。しかし、紙面の複雑な変形を認識するためにはこのようなシステムよりも高度な認識を高速に遂行する必要がある。
【００１０】
これに対して、速度が十分に高速なカメラを用いることによって、生じる現象全てを録画する方法も考えられる。しかし、カメラの速度がボトルネックとなるために、画像解像度を上げることは困難であると考えられる。生産ライン向けに、異常動作が発生したタイミングのみを画像ベースで認識し、録画する高速カメラシステムが開発されているが、高精細な観測は行われていない（前記非特許文献３）。
【００１１】
この他に、高速・低解像度カメラと低速・高解像度カメラの2 種から得られた画像を用いて、擬似的に高速・高解像度映像を生成する技術が報告されている（前期非特許文献４〜６）。
【００１２】
しかし、この技術では、生成される映像の品質が撮像されるパターンに依存する問題がある。また、得られる画像は仮想画像であり、高い品質は望めない。これらの適応的な撮像を行う技術では、今回の目的を達成するために十分でないと考えられる。
【００１３】
本発明は、前記の状況に鑑みてなされたものである。本発明は、比較的に高速でページをめくりながら、高精細な書籍画像を取得するために利用可能な技術を提供することを目的としている。
【課題を解決するための手段】
【００１４】
前記した課題を解決する手段は、以下の項目のように記載できる。
【００１５】
（項目１）
ページ状態測定部と、制御部と、書籍画像取得部とを備えており、
前記ページ状態測定部は、書籍のページ状態を測定する構成となっており、
かつ、前記ページ状態測定部は、前記書籍画像取得部の動作可能周期よりも高速な周期で動作しうる構成とされており、
前記制御部は、前記ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうか判定する構成とされており、
かつ、前記制御部は、前記ページ状態が書籍画像の取得に適すると判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送る構成となっており、
前記書籍画像取得部は、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得する構成となっている
ことを特徴とする書籍読み取りシステム。
【００１６】
（項目２）
前記ページ状態測定部は、前記書籍の画像を取得することにより、前記書籍のページ状態を測定する構成となっている
項目１に記載の書籍読み取りシステム。
【００１７】
（項目３）
前記書籍画像取得部は、前記書籍の見開き状態における左右のページの画像をそれぞれ取得する構成となっている
項目１又は２に記載の書籍読み取りシステム。
【００１８】
ここで、書籍のページは、めくり動作によって移動中であってもよい。めくり動作は、使用者によって行われるものでも、装置によって行われるものでもよい。
【００１９】
（項目４）
以下のステップを備えることを特徴とする書籍読み取り方法：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定するステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを、制御部により判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送るステップ；
（４）前記書籍画像取得部が、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得するステップ。
【００２０】
（項目５）
コンピュータに以下のステップを実行させることができるコンピュータプログラム：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定させるステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送ることにより、前記書籍のページについての画像を前記書籍画像取得部に取得させるステップ。
【発明の効果】
【００２１】
本発明によれば、高速に動作するページ状態測定部によって、書籍のページの変形を高速に捉えることができる一方、比較的に低速で動作可能な書籍画像取得部を用いることで、高精細な書籍画像を取り込むことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態における書籍読み取りシステムの概略的な構成を示すブロック図である。
【図２】本発明の一実施形態における書籍読み取り方法の概略的な手順を示すフローチャートである。
【図３】本発明の一実施例における書籍読み取りシステムの概略的な構成を示す説明図である。
【図４】本発明の一実施例において撮像タイミングを判定する手順を示す説明図である。
【図５】パターン画像の識別処理の例を説明するための説明図である。
【図６】ページが重なっている状態を示すための説明図である。
【図７】紙面における各種のパラメータの取り方を説明するための説明図である。
【図８】湾曲したページを平面展開する様子を説明するための説明図である。
【図９】局所解像度の定式化を説明するための説明図である。
【図１０（ａ）】右ページの評価関数を示すグラフであり、これは、理想的な状態を示す。
【図１０（ｂ）】右ページの評価関数を示すグラフであり、これは、ページ切り替えの直後に極大値となる状態を示す。
【図１１（ａ）】左ページの評価関数を示すグラフであり、これは、理想的な状態を示す。
【図１１（ｂ）】左ページの評価関数を示すグラフであり、これは、極大値に到達する前にページ切り替えが行われた状態を示す。
【図１２】右ページの状態遷移図を示す。
【図１３】左ページの状態遷移図を示す。
【図１４】評価関数に基づいた状態変数の変化と、撮像タイミングの判定の様子を示す説明図である。
【図１５】右ページの評価関数の時系列データを示すグラフであり、横軸はフレーム番号、縦軸は評価値を示す。
【図１６】左ページの評価関数の時系列データを示すグラフであり、横軸はフレーム番号、縦軸は評価値を示す。
【図１７】書籍紙面の三次元センシング結果から可展面推定を行う手順を説明するための説明図である。
【図１８】元画像と、そこから得られた平面展開画像との比較を示す図である。
【図１９】実施例の高解像度カメラの設置状態を説明するための説明図である。
【図２０】本発明の変形例１を説明するための説明図である。
【図２１】本発明の変形例２を説明するための説明図である。
【図２２】本発明の変形例３を説明するための説明図である。
【図２３】本発明の変形例４を説明するための説明図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照しながら、本発明の実施形態に係る書籍読み取りシステムについて説明する。
【００２４】
（本実施形態の構成）
本実施形態の書籍読み取りシステムは、ページ状態測定部１と、制御部２と、書籍画像取得部３とを備えている（図１参照）。
【００２５】
ページ状態測定部１は、書籍のページ状態を測定する構成となっている。より詳しくは、ページ状態測定部１は、高速カメラ１１とレーザ光源１２とを備えている。高速カメラ１１は、後述する書籍画像取得部３の高解像度カメラ３１よりも高速な（つまり短い）周期で動作しうるものとなっている。これにより、ページ状態測定部１は、書籍画像取得部３の動作可能周期よりも高速な周期で動作しうる構成となっている。
【００２６】
レーザ光源１２は、所定のパターンを持つ光を書籍に投影出来る構成となっている。高速カメラ１１は、レーザ光源１２から照射されて書籍で反射された光を取得するものである。ページ状態測定部１は、高速カメラ１１によって書籍の画像を取得することにより、書籍のページ状態を測定する構成となっている。高速カメラ１１及びレーザ光源１２の詳しい動作については後述する。
【００２７】
制御部２は、ページ状態測定部１によって測定されたページ状態が、書籍画像の取得に適するものかどうか判定する構成とされている。具体的には、制御部２は、ＣＰＵ２１とメモリ２２とＩ／Ｏインタフェース２３とを備えている。CPU２１は、メモリ２２に格納された所定のプログラムに対応して、必要な処理を行うことができるようになっている。このプログラムに基づいて、制御部２は、ページ状態が書籍画像の取得に適すると判定した場合に、書籍画像取得部３に対して、書籍画像取得のための指示を送る構成となっている。また、メモリ２２は、ページ状態測定部１及び書籍画像取得部３で取得された画像を必要に応じて記録できるようになっている。ただし、メモリ２２とＣＰＵ２１とは、ネットワークを介して接続されていても良い。要するに、制御部２は、必要な機能を実行できるように構成されていれば良い。なお、制御部２の詳しい動作も後述する。
【００２８】
書籍画像取得部３は、制御部２からの指示を受けた後、書籍のページについての画像を取得する構成となっている。具体的には、書籍画像取得部３は、高解像度カメラ３１と、拡散光源３２とを備えている。高解像度カメラ３１は、ページ状態測定部１の高速カメラ１１よりも高解像度で、書籍の画像を取得できるように構成されている。拡散光源３２は、高解像度カメラ３１が動作するときに発光して、撮影対象である書籍のページに拡散光（少なくとも撮影対象箇所の範囲に拡散された光）を照射できるようになっている。
【００２９】
（本実施形態の動作）
次に、前記実施形態のシステムを用いた書籍読み取り方法の概略を、図２を参照しながら説明する。
【００３０】
（図２のステップＳＡ−１）
まず、ページ状態測定部１のレーザ光源１２を、書籍のページ面に対して照射する。レーザ光源１２により照射されるパターンの例は後述する。この照射は、システムの動作中において、高解像度カメラ３１の動作時を除いて、常時行われることが好ましい。ついで、高速カメラ１１を用いて、少なくとも各ページを撮影できる程度の既定の周期でページ面を撮影する。撮影された画像（ページ状態に相当）は、制御部２に順次送られて、メモリ２２に格納される。
【００３１】
（図２のステップＳＡ−２）
ついで、制御部２は、ページ状態測定部１によって前記のように測定されたページ状態が、書籍画像の取得に適するものかどうかを判定する。判定の具体例は後述する。また、この判定は、所定のプログラムに基づいて、ＣＰＵ２１により実行される。
【００３２】
（図２のステップＳＡ−３）
ページ状態が書籍画像の取得に適すると制御部２が判定した場合には、制御部２のＣＰＵ２１は、インタフェース２３を介して、書籍画像取得部３に対して、書籍画像取得のための指示を送る。
【００３３】
（図２のステップＳＡ−４）
ついで、書籍画像取得部３は、制御部２からの前記指示を受けた後、書籍のページについての画像を取得する。具体的には、書籍画像取得部３の拡散光源３２が発光すると同時に、高解像度カメラ３１によって書籍の対応ページの画像を取得する。カメラ３１が一つである場合には、書籍の見開きページを一つの画像として取得することが通常である。ただし、後述するように、複数のカメラ３１を用いる場合には、左ページと右ページとをそれぞれ別の画像として取得することができる。あるいは、ページ中の必要な箇所のみを撮影することも可能である。
【００３４】
（図２のステップＳＡ−５）
前記のようにして取得された画像のデータは、本実施形態では、メモリ２２に保存される。
【００３５】
（実施例）
以下においては、さらに具体的な例を用いて、本実施形態のシステム及び方法を詳しく説明する。この実施例の説明では、まず、１節でシステムの構成を述べる。次に、紙面の三次元変形を推定する手法を２節で述べる。推定された変形を用いて、適応的撮像のタイミングを定量的に評価する手法を３節で述べる。４節では動作実験の結果を示す。５節でまとめを述べる。その後、実施例の変形例を説明する。
【００３６】
１．本実施例のシステム構成
本実施例のシステム構成を図３に示す。前記実施形態と共通する構成要素に同じ符号を付すことにより、説明を簡略化する。
【００３７】
本実施例のページ状態測定部１の高速カメラ１１は、500fpsの速度でリアルタイムに紙面の形状を撮影する。また、制御部２は、同じフレームレートで紙面の状態を評価することができるようになっている。
【００３８】
ページ状態測定部１のレーザ光源１２からは、書籍の電子化に適したマルチラインパターンを紙面に照射するようになっている。照射されたラインの識別を、高速カメラ１１で撮像された画像を用いて制御部２が行うことにより、紙面の奥行き情報を計測することができる。ラインの同定処理は次節で詳述する。
【００３９】
また、紙面形状の評価では、電子化される書籍データの品質を、可展面モデルを用いて制御部２がリアルタイムに解析している。この解析方法については、4 節で述べる。この品質評価をもとに、電子化のために最適なタイミングで撮像を行うように高解像度カメラ３１の制御を制御部２が行っている。
【００４０】
図３の例では、高解像度カメラ３１による撮像を行う瞬間においては、拡散光源３２をストロボ発光する。さらに、これと同時に、レーザ光源１２をオフとすることにより、高速カメラ１１を用いた三次元センシングが瞬間的に停止するように、制御部２により制御が行われている。高解像度カメラ３１のシャッタ時間と拡散光源３２の点灯時間は、予想される紙面の動きに対して十分に短く設定されている。高解像度カメラ３１による適応的撮像が完了すると同時に、ページ状態測定部１による三次元センシングが再開される仕組みとなっている。
【００４１】
高解像度カメラ３１によって撮像された画像は、紙面の変形によって歪んでいる。この変形による歪みは、紙の物理特性をもとに可展面でモデル化することができる。可展面とは、伸縮や断裂を起こすこと無く平面に展開することが可能な非剛体物体である。このモデルのもと、紙面の三次元変形を平面に展開する操作を行うことで、歪みを補正することが可能である（前記非特許文献７参照）。本システムでは、ページ状態測定部１での三次元センシングによって取得された形状と、書籍画像取得部３の高解像度カメラ３１によって取得された画像とを用いて、平坦時の書籍画像を復元することができる。
【００４２】
レーザ光源１２からレーザパターンが照射された画像を、高速カメラ１１で撮像した後は、図４に示すように、制御部２による処理が画像に対して行われる。本実施例で行われる処理は、
・パターン画像の三次元点群変換、
・三次元点群の連続曲面(柱面)推定、及び
・紙面変形の評価
である。
【００４３】
下記の２節では、連続曲面を推定するまでの具体的な手続きを述べる。また、３節では評価関数の設計と定式化について述べる。
【００４４】
２．紙面の三次元変形推定
２．１ パターンの識別と三次元点群の計算
まず、高速カメラ１１によって撮像された画像I(i, j) を用いて、三次元点群を算出する手法を述べる。以下では画像の原点を画像の左上隅に取り、i 方向を下向きに取りj 方向を右向きに取る。紙面に投影されたレーザ光パターンに含まれる平行直線群を、ラインと呼ぶ。パターンのライン方向は、書籍中央の綴じ部と直交する方向に設置されているものとする。また、画像上の点のうち、ライン上の点を輝点と呼び、その画像座標をベクトルuk(k = 1, . . . , Np)で表す。
【００４５】
ベクトルuk を三次元座標に変換したものをベクトルvk と呼ぶ。ベクトルvkを計算するためには、高速カメラ１１による撮像画像上の輝点がどのラインに属しているかを推定する必要がある。
【００４６】
本実施例の場合、紙面の変形が滑らかであり、レーザ光源１２によるパターンが紙面内に投影されているとすると、ライン方向と直交する方向に走査した場合、投影したラインの順番は、撮像画像上で入れ替わることも、一部のラインが消失することも基本的には起こらないと仮定できる。ただし、書籍の綴じ部や端のように変形が滑らかでない領域や、雑音が生じた領域では、撮像画像上でラインパターンは理想的には得られない。本実施例では、ロバストにパターンの識別を行うために、クラスタリングを利用した。具体的な手続きを下記に簡単に示す。また、手順の概要を図５に示す。なお、以下の手続きは撮像画像を２値化したものに適用するものとする。
(1) 輝点の取得画像をi 方向に走査し、ライン上の輝点ベクトルukを検出する（図５（ａ））。
(2) 輝点群の分類走査後、画像上の同じ分割領域に属するもの同士で、輝点群を分類する（図５（ｂ））。分類された各点群の集合をクラスタと呼ぶ。
(3) パターンの識別近傍のクラスタを結合し、i 方向に上に位置するクラスタから順番にライン識別番号を割り振る（図５（ｃ））。これにより、クラスタに分類された輝点群を取得できる（図５（ｄ））。
【００４７】
ラインの識別が完了した後は、各輝点の画像座標を三次元座標に変換する。高速カメラ１１の視線方向をz 軸に取ったカメラ座標系での三次元点ベクトルvk と、その点が結ぶ画像素子上での像ベクトルuk とは以下の関係式を満たす（前記非特許文献８参照）。
【００４８】
【００４９】
ここでベクトルKは、高速カメラ１１の内部パラメータを表す。一方、予め行うキャリブレーションによって、投影するパターンのh 番目のラインの三次元的な広がりを、曲面gh(x, y, z) = 0 で表すことができる。これを式(1)と連立して解くことで、検出された輝点の画像座標を三次元座標に変換できる。
【００５０】
2.2 紙面の分割
ページめくり中には、図６の左図のように、めくり中のページが、その次のページに重なって観測される場合が起こる。このような重なり状態で、遮蔽された紙面を電子化しないように処理するために、本実施例の手法では、書籍中央の綴じ部を境界としてページを左右に分割した上で、それぞれの領域で重なりを検出する。そのために、分割された各左右領域において重なりが生じている場合であっても、ページ単位で分割できる手法を提案する。
【００５１】
なお、ここでは、左右の分割については、綴じ部の位置が予め分かっていることを仮定する。また、高速カメラ１１から見て右側のページを書籍の右側、その逆側を左側とする。さらに、本実施例では、ぺージめくり動作は右から左へと紙面を移動させるものであると仮定して、手法を説明する。
【００５２】
重なりが発生した場合、パターンを書籍上部からレーザ光源１２で投影すると、高速カメラ１１による撮像画像上では、図６の右図の様に、重なった状態の下の紙面に影ができる。ここでは、この影がi 方向にほぼ平行であると仮定し、横軸を座標j、縦軸を各j 内の輝点数とした分布の極小値をページの境界として認識する。なお、電子化のための撮像対象としてみなす紙面は、右領域の場合はここで求められた境界よりも右側のページ、左領域の場合も境界よりも右側のページとする。
【００５３】
2.2.1 一般化柱面モデルを用いた紙面形状の推定
本節では、取得された三次元点群から連続曲面を制御部２で推定する手法を述べる。この連続曲面は、３節で述べる紙面の評価のために必要となる。３節で提案する手法では、高解像度カメラ３１から見た紙面の変形をもとに、形状の評価が行われる。前記の手法で取得された三次元点群は、高速カメラ１１の座標系で記述されているので、まず、低速高解像度カメラ３１の座標系に座標変換する必要がある。座標変換された点群ベクトルVチルダに対して、曲面の推定を行う。
【００５４】
ここで、本実施例のシステムが観測する紙面は、伸縮や断裂を起こす事無く平面に展開することが可能な非剛体物体である。このような物体は、可展面と呼ばれる。可展面ベクトルMは、孤長s をパラメータとした準線ベクトルξ(s)と母線ベクトルη(s)とを用いて次のように表すことができる（前記非特許文献７）。
【００５５】
【００５６】
三次元点群から可展面を推定する手法は既に提案されている（前記非特許文献７）。本実施例においてこの手法を用いることは可能である。しかしながら、この手法においては、複雑な非線形最適化問題を解く必要があり、計算量が多いために、リアルタイムでの実行は困難である。そこで、本実施例では、目標とする曲面の自由度を制限し、近似された曲面モデルで、高速に推定を行える手法を提案する。
【００５７】
提案手法では、柱面を曲面モデルとして採用した。柱面は可展面クラスに属する曲面であり、∂ｚ／∂ｙ = const となる多項式曲面として記述できる。この場合、母線が高解像度カメラの三次元座標系のyz 平面に平行な柱面となる。また本手法では、書籍の綴じ部がyz 平面に平行になるように設定し、書籍の綴じ部の中点ベクトルr0 = [x0 y0 z0]T を予め求めておく。具体的には以下のような曲面となる。
【００５８】
【００５９】
書籍の「のど」（ページの背側の部分）の傾きが固定されていて既知の場合でも、柱面の母線の傾きであるy の係数について推定を行う。これは、柱面近似が困難な場合にも、推定精度を下げないようにするためである。なお、推定は左右ページで別々に行う。本実施例では、式（３）においてN = 2 として実験を行った。
【００６０】
具体的な推定では、三次元点群ベクトルVチルダから最小二乗法によって(a0, . . . , aN, b)を求める。ここで、式(3) の曲面をz = f(x, y) で表し、高解像度カメラ３１の座標系に変換された三次元点を
とすると、以下の最小化問題を解くことで柱面が推定できる。これは(a0, . . . , aN, b)について線形な方程式を解くことに帰着されるので高速に解くことができる。
【００６１】
【００６２】
さらに、推定した曲面において紙面に属する範囲を求める。この範囲内の形状に対して、３節で説明した、撮像タイミングを決定するための評価手法が適用される。ここで、対象の紙面の大きさは既知であるとし、そのサイズを縦Lh 横Lw とおく。
【００６３】
まず、柱面を仮定したため、母線ベクトルは曲面全体でベクトルη = [0 1 b]T となる（図７参照）。始点がベクトルr0 となるように準線ξ(s)を選ぶと、0 ≦ s ≦ Lw、｜t｜≦ Lh/2 の範囲となる。今回は、準線の終点位置を求めるために、準線の接線ベクトルを用いて線積分を適用した。準線の接線ベクトルは、法線ベクトルと母線ベクトルの外積から求められる。以上によって、紙面を範囲付きの曲面として表現することができる。
【００６４】
3 適応的撮像のための紙面評価の手法
3.1 概要
以下においては、ページ状態測定部１で取得されたページ状態が、高解像度カメラ３１による撮像に適するかどうかを制御部２が判断するための評価関数について述べる。ここで、評価関数は最適な状態ほど大きな値をとるものとする。評価関数の値が最大となる時刻において、高解像度カメラ３１により撮像することによって、ロバストでかつ高精細なページ画像を得ることができる。
【００６５】
今回のシステムで得られる紙面画像は、最終的には、可展面モデルを用いて補正されるため、紙面が撮像に適するかどうかは、この補正時の品質によって判断される必要がある。そこで、補正画像の品質を定量化することで、評価関数を設計する。つまり、ここでの評価は、「仮にそのタイミングでページを高解像度カメラで撮像した場合に得られるであろう品質」を評価することにより、撮像タイミングを決定するためのものである。
【００６６】
ここでは、画像の高精細さの品質を解像度で決定する。高解像度カメラからの距離が相対的に遠い、あるいはそのカメラから見て傾斜が急である領域では、この領域の画素数が、補正前の画像上において少ない。したがって、この領域は補正時に引き延ばされるため、精細度が低下すると考えられる。この概念図を図８に示す。このような効果を評価するために局所解像度と呼ぶ指標を導入する。図８の符号１で示す領域は、符号２で示す領域に比べて元の情報が少なく、粗い画像になる。
【００６７】
3.2 局所解像度の定式化
局所解像度を、曲面上の単位面積を高解像度カメラ上に投影した場合の画素数と定義する。これによって、補正画像上の対応する領域の画像の精細さを仮想的に計算できる。本節では、この局所解像度を具体的に定式化する。
【００６８】
図９のように、高解像度カメラ３１の座標系において、曲面ベクトルXをz = f(x, y) とし、(dx, dy) を微小量として曲面上に4点(P0, P1, P2, P3)を取る。(P0, P1, P2, P3)に囲まれた部分の面積dSは次式となる。
【００６９】
【００７０】
同領域を高解像度カメラに投影した場合の画素数dpは、(P0, P1, P2, P3)を投影した点群(Q0, Q1, Q2, Q3)内の面積に等しい。高解像度カメラ３１の焦点距離を単位画素あたりの撮像素子長で割ったものをFとすれば、(Q0, Q1, Q2, Q3)は、次のように表される。
【００７１】
【００７２】
と仮定して、微少量の2 次以上の項を無視し、以下の近似式を用いると、dp は式(10)のようになる。
【００７３】
【００７４】
以上より、局所解像度γは次のようになる。
【００７５】
【００７６】
このように、局所解像度は、紙面を表す曲面X 上の位置ベクトルを引数にとる関数で表現される。
【００７７】
3.3 評価関数の定式化
前節で定義した局所解像度を用いて評価関数を設定する。局所解像度の平均が高い場合、平面展開画像の全体的な精細さも高いと考えられるので、評価関数は局所解像度が高い場合に大きな値をとるものとする。
【００７８】
一方、局所解像度の標準偏差が低い場合、場所による精細さのばらつきが少ないと考えられるので、評価関数は標準偏差が低い場合に大きな値をとるものとする。
【００７９】
そこで、局所解像度の平均ηと標準偏差σの線形和として、評価関数Cを次のように記述する。
【００８０】
【００８１】
ただしdSは紙面ベクトルX上の面素であり、Sは、Xの表面積を表す。式(13)、(14)を解析的に求めるのは困難であるため、本実施例では、柱面推定した紙面曲面上の制限範囲内で等間隔に点群をサンプリングした後に、全ての点上で局所解像度を計算し、その平均と標準偏差を計算することで、上記の評価関数を計算した。
【００８２】
3.4 評価関数値を用いた最適撮像時刻の認識
最適撮像時刻は左右ページで異なると考えられるため、本手法では、評価関数も左右ページで個別に計算する。予想される評価関数の概形は右ページでは図１０(a)、図１０(b)、左ページでは図１１(a)、図１１(b)の様になる。
【００８３】
以下では、右ページの紙面がめくられてから、左ページに移動して静止するまでの時間をぺージめくり時間と呼び、右ページの紙面がめくられてから、その次の紙面がめくられるまでの時間をページ待ち時間と呼ぶこととする。
【００８４】
図１０(a)では、まず右ページがほとんど静止した状態にあり、評価関数はほとんど一定となる。紙面がめくられると評価関数は極大を取った後減少し、その後、ページの切り替えが起こると不連続に増加する。しかし、ページ待ち時間が短い場合、図１０(b)の様に、ページの切り替えが起こった直後が極大になる場合も考えられる。
【００８５】
左ページのページ待ち時間がぺージめくり時間に対して十分長い場合には、図１１(a)のように、評価関数はまず上昇して極大を取り、その後減少して一定値に落ち着くと考えられる。ページ待ち時間が短い場合には、図１１(b)のように、ページ切り替えが起こる直前に極大を取る。
【００８６】
ぺージめくり動作を人の手で行った場合、図１０(b)や図１１(b)のような状況が頻発すると考えられ、機械で行った場合にも、いくらかの割合で起こると考えられる。そのため、本実施例では、ページ待ち時間が短い場合にも、撮り逃すことなく最適な時刻で精細画像を高解像度カメラ３１で撮像できる手法を提案する。
【００８７】
右ページ、左ページそれぞれに状態変数Sr，Slを用意し、次のように定義する。
[右ページ]
Sr = 0：右ページの紙面切り替えが起こってから左ページのページ切り替えが起こるまでの状態。
Sr = 1：Sr = 0 の状態を抜けてから右ページの評価関数値が極大になるまでの状態。
Sr = 2：右ページの評価関数値が極大になってから右ページのページ切り替えが起こるまでの状態。
[左ページ]
Sl = 0：右ページの紙面切り替えが起こってから左ページのページ切り替えが起こるまでの状態。
Sl = 1： Sl = 0 を抜けてから左ページの評価関数値が極大になるか右ページの紙面切り替えが起こるまでの状態。
Sl = 2：左ページの評価関数値が極大になってから右ページのページ切り替えが起こるまでの状態。
【００８８】
右ページ、左ページの状態遷移図をそれぞれ図１２、図１３に示す。Sr = 0 とSl = 0 は同じ時間帯であり、この時間帯において右ページまたは左ページがページ重なり状態にあることは分かるが、どちらが手前であるかは定かではないので、両ページとも撮像には適さない。この時間帯を過ぎた直後では、左ページは、ページ重なり状態にある一方、右ページは、評価関数が極大になる前か、極大になった後かの、いずれかである。右ページにおける前者の状態をSr = 1 とし、後者の状態をSr = 2 とすると、前者の場合は極大になるのを待って撮像し、後者の場合は、評価関数値は減少するので、Sr = 0 からの遷移直後に撮像する。一方、左ページの場合、Sl = 0の状態を抜けた時には評価関数が極小であり、時間経過とともに、評価関数値は増加していく。Sl = 0の状態を抜けた直後の状態をSl = 1 とする。ページ重なり状態になる前に最適形状で画像を撮る必要があるので、Sr = 0 となる前に、左ページの評価関数が極大になった場合、その瞬間に左ページを撮像してSl = 2 とし、Sr = 0 となる瞬間にSl = 1 であれば、左ページを撮像してSl = 0 とし、Sl = 2 であればそのままSl = 0 とする。具体的な遷移の様子を図１４に示す。この図において図中の数字は、左右のページにおけるSr, Slの値をそれぞれ示す。
【００８９】
４．提案システムの構築と適応的撮像の実験
4.1 構築した書籍電子化システム
以上の実施例の内容に対応して、実際に書籍電子化システムを構築した。
【００９０】
三次元センシングのためのページ状態測定部１には、解像度1,280×1,024、フレームレート500fpsのカメラ１１と、赤外レーザ１２とを用いた。この赤外レーザ１２には光分散レンズが搭載されており、１５本のマルチラインパターンを投影する。また、書籍画像取得部３の拡散光源３２として、白色のLED照明を設置し、これに対して、高解像度カメラ３１で撮像する際にのみ点灯する制御を行った。高解像度カメラ３１は解像度3,296×2,472、フレームレートが16fps のものを採用した。この例では、Ｂ５サイズの書籍見開き形状を高解像度カメラの画角に収めたため、書籍画像の解像度は、補正前で約200dpiとなる。
【００９１】
この実験では右ページのみ撮像を行った。提案したアルゴリズムを実装し、実行した結果、500fps の速度でリアルタイムに三次元認識を行うことができた。また、最適タイミングの認識後、高解像度カメラが撮像を行うまでの遅延は8ms 程度に収まっていることを確認した。
【００９２】
4.2 システムの動作検証
ページを連続的にめくった場合の評価関数の時系列データを図１５と図１６に示す。
【００９３】
ここで、ページのめくり速度は約300ページ／分程度であった。図１５は右ページのデータである。今回は、右側の領域のみを撮像する制御を行った。同図には、撮像するタイミングとして認識された時刻とその際の評価関数の値とが十字で示されている。撮像タイミングの判定には、左ページのデータも利用されている。左ページのデータを図１６に示す。なお、今回の実験では、評価関数の係数をλ＝−２とした。
【００９４】
５．実施例のまとめ
実験の結果、適応的に撮像された紙面画像と三次元計測の両者がメモリ２２に蓄積された。この計測された三次元点群を用いて、既知の手法（非特許文献７参照）によって可展面を推定した結果例を図１７に示す。同図において、白丸は計測点、図中横方向に延びる実線は、推定された可展面の準線、これに交差する複数の実線は、母線群である。さらに、この推定をもとに補正した三つの画像の例を図１８に示す。同図においては、上から、撮像された画像、補正画像、補正画像の拡大がそれぞれ示されている。
【００９５】
前記実施例では、高速かつ高精細な書籍電子化の実現に向けて、三次元形状を用いて適応的に撮像を行う書籍電子化システムを提案した。本システムは、高速な三次元センシングによってリアルタイムに得られた紙面変形を評価し、書籍電子化のために最適となるタイミングにおいてのみ高精細な画像を適応的に撮像するものである。この構成のもと、可展面の概念を導入した高速な三次元変形推定手法、局所解像度を導入した最適形状の認識のための評価関数を提案した。さらに、システムを構築し、その動作を検証した。動作検証の結果、紙面の三次元形状の取得及び、その形状の評価を500fps の速度で行うことができた。また、得られた評価関数値の時系列データも予定通りのものが得られ、最適時刻において紙面画像を取得することができた。これによって、200dpi 程度の解像度の紙面画像を300 ページ/分で撮像できることを実証した。
【００９６】
（変形例１：カメラ台数）
前記した実施形態では、１台の高解像度カメラ３１を用いて、見開き状態のページ全体を撮影した（図１９参照）。これに対して、２台の高解像度カメラ３１を用いて、見開き状態の右ページと左ページとをそれぞれ撮影することも可能である（図２０参照）。
【００９７】
さらに、ページ状態測定部１の高速カメラ１１を右ページと左ページのために１台ずつ設置することも可能である。
【００９８】
他の構成は、前記した実施形態又は実施例と同様とすることができるので、これ以上詳しい説明は省略する。
【００９９】
（変形例２：ページ面積による撮影タイミング判定）
前記した実施形態では、予想される局所解像度を用いて、高解像度カメラ３１による撮影タイミングを判定していた。しかし、この方法は一例に過ぎず、他の方法も可能である。すなわち、「この状態になった場合に撮像しなさい」という理想状態をシステムで保持しておき、めくり動作中の紙面の形状との相関係数を求める。予め定めておいた相関係数(設定値)以上になった場合に撮像を実施することができる。この方法のバリエーションは数多くあり得る。変形例２では、そのバリエーションの1つとして、ページ状態測定部１の高速カメラ１１で観測されるページの面積を観測情報として利用する（図２１参照）。
【０１００】
この例では、まず、撮像する紙面形状を予め学習させておく。つまり、「この形状のときに撮像しなさい」という学習を行っておく。
【０１０１】
ついで、書籍をめくっている間に、以下の計算を実施して、撮像タイミングの判定を行う。なお、以下では、簡単のために右ページについてのみ説明するが、左ページにおいても同様である。
【０１０２】
学習した紙面形状の面積をSMとし、めくり中に時々刻々変化する紙面の面積をSIとすると、ΔS＝|SM−SI|が"０"（ゼロ）もしくは予め定める設定値ΔSS以下となるタイミングを、高速カメラ１１による画像に基づいて制御部２が判定し、高解像度カメラ３１による撮像を行うことができる。
【０１０３】
つまり、撮像タイミングは、制御部２が以下を判定することで決定できる。
ΔS＝０、又は
ΔS≦ΔSS。
【０１０４】
（変形例３：ページ形状による撮像タイミング判定）
この例では、高速カメラ１１で観測されるページの枠線形状を利用する。システムが保持した理想の枠線形状との相関を計算して撮像タイミングを制御部２が認識することができる（図２２）。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０５】
（変形例４：レーザパターンによる撮像タイミング判定）
この例では、高速カメラ１１が、レーザ光源１２から紙面に照射されたパターン光を撮像する場合を想定している。この場合、予め理想状態のパターン画像をシステムが保持し、その画像との相関を計算することにより、制御部２が撮像タイミングを認識できる。（図２３）。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０６】
（変形例５：紙面上のテクスチャによる撮像タイミング判定）
この例では、書籍の全てのページに既知のパターンが印字されている。撮像タイミングとなる場合に高速カメラ１１によって観測されるべきパターンの見え方を予めシステムが保持する。そして、高速カメラ１１で得た画像とシステム側で保持している画像との相関を計算することにより、制御部２が撮像タイミングを認識する。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０７】
（変形例６：最前面の判定による撮像タイミング判定）
この例では、高速カメラ１１で得た画像に基づいて、ページが最前面であるかどうかを検出し、最前面になった瞬間を制御部２が撮像タイミングと認識する。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０８】
（変形例７：形状比較による撮像タイミング判定）
この例では、ページ状態測定部１として、高速カメラに代えて、三次元スキャナや距離センサを用いる。そして、撮像するための理想形状を予めシステムが保持し、その形状とページ状態測定部で得た形状データとの類似度が高くなったときに、制御部２の指示によって、高解像度カメラ３１で撮像する。形状データとは、ページの代表点1点のみまでのセンサからの距離や、三次元スキャナで得られたページ全体曲面などである。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０９】
また、前記した各変形例の方法を組み合わせることも可能である。また、前記した方法に加えて、経過時間を加味して、撮影タイミングを判定することも可能である。すなわち、ページを等速でめくることができる場合には、前頁を撮像してから一定時間経過毎に、制御部２の指示により撮像を実施することができる。
【０１１０】
なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。
【０１１１】
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
【０１１２】
また、本発明を構成する各機能要素は、離散して存在しても良い。離散して存在する場合には、例えばネットワークを介して必要なデータを受け渡すことができる。各部の内部における各機能も、同様に、離散して存在することが可能である。例えば、グリッドコンピューティングやクラウドコンピューティングを用いて、本実施形態における各機能要素あるいはその一部分を実現することも可能である。
【符号の説明】
【０１１３】
１ ページ状態測定部
１１ 高速カメラ
１２ レーザ光源
２ 制御部
２１ ＣＰＵ
２２ メモリ
２３ インタフェース
３ 書籍画像取得部
３１ カメラ
３１ 高解像度カメラ
３２ 拡散光源
【技術分野】
【０００１】
本発明は、書籍読み取りシステム及び書籍読み取り方法に関するものである。特に、本発明は、綴じられた書籍をめくりながら、書籍に記載された情報を読み取るために好適な技術に関するものである。
【背景技術】
【０００２】
書籍電子化のニーズが全世界で急速に高まっている。このようなニーズのもと、様々な書籍電子化技術が開発されているが、書籍を高速かつ手軽に電子化するための現在の技術は、そのニーズに対して十分でない。特に、書籍電子化には、高速性と高精細の両者を備えた画像センシングシステムが必須であるが、そのようなシステムは未だに実現されていない。
【０００３】
発明者らは、高速な書籍電子化技術の実現に向けて、書籍のページめくり動作中に、動いているページを連続的に読み取る方式であるBook Flipping Scanning を提唱している（下記非特許文献１）。Book Flipping Scanning のアプローチは強力であり、様々な応用形態を提供しうると考えられる。
【０００４】
また、発明者らは、これまでに、高速な三次元センシング技術（下記非特許文献２）を用いて、Book Flipping Scanningの有効性を確認してきた。しかし、電子化された書籍画像が低解像度であるという問題があった。
【０００５】
また、下記特許文献１には、めくられた状態のページを撮影する技術が記載されているが、これは、動いているページを撮影するためのものではない。よって、特許文献１の技術では、綴じられた書籍の各ページにおける画像を取得するためには、相当に長い時間を要することになる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】[1] T. Nakashima, Y. Watanabe, T. Komuro, and M. Ishikawa. Book flipping scanning. 22nd Symposium on User Interface Software and Technology (UIST2009) (Victoria, 2009.10.5) / Adjunct Proceedings, pp. 79{80, 2009.
【非特許文献２】[2] 渡辺義浩, 小室孝, 石川正俊. 多点瞬時解析高速ビジョンによる運動/変形物体のリアルタイム3 次元センシング. 日本ロボット学会誌, Vol. 25, No. 6, pp. 1005{1013, 2007.
【非特許文献３】[3] Y. D. Wang, I. Ishii, T. Takaki, and K. Tajima. An intelligent high-frame-rate video logging system for abnormal behavior analysis. Journal of Robotics and Mechatronics, Vol. 23, No. 1, pp. 53-65, 2011.
【非特許文献４】[4] 重本倫宏, 星川章, 長原一, 岩井儀雄, 谷内田正彦, 鈴木俊哉. 時間的・空間的分解能の異なる複合センサカメラシステム. 情報処理学会論文誌, Vol. 47, No. SIG 5, 2006.
【非特許文献５】[5] 松延徹, 長原一, 岩井儀雄, 谷内田正彦, 鈴木俊哉. モーフィングによる高解像度高フレームレート動画像の生成. 電子情報通信学会論文誌, Vol. J90-D, No. 4, pp. 1073{1084, 2007.
【非特許文献６】[6] 小野田偉, 長原一, 谷内田正彦. モーフィングによる高解像度フレームレート動画像の生成. 電気情報通信学会技術研究報告.PRMU, Vol. 108, No. 327, pp. 259-266, 2008.
【非特許文献７】[7] Y. Watanabe, T. Nakashima, T. Komuro, and M. Ishikawa. Estimation of non-rigid surface deformation using developable surface model. International Conference on Pattern Recognition, pp. 197{200, 2010.
【非特許文献８】[8] D. A. Forsyth and J. Ponce. 大北剛（編）, コンピュータビジョン. 共立出版, 2007.
【特許文献】
【０００７】
【特許文献１】特表２００７−５２７１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
書籍画像の高精細化に向けたキーポイントは、ダイナミックな現象に対して適応的に撮像を行う画像センシング方法にあると考えられる。任意のタイミングで生じる最適な一瞬に合わせて、画像センシングを機能させることで、効率的な高精細センシングを達成できると期待できる。
【０００９】
同様の考え方は、ミルククラウンのような瞬間的な画像を捉えるために、通過センサとカメラを用いた複合センサシステムで導入されている。しかし、紙面の複雑な変形を認識するためにはこのようなシステムよりも高度な認識を高速に遂行する必要がある。
【００１０】
これに対して、速度が十分に高速なカメラを用いることによって、生じる現象全てを録画する方法も考えられる。しかし、カメラの速度がボトルネックとなるために、画像解像度を上げることは困難であると考えられる。生産ライン向けに、異常動作が発生したタイミングのみを画像ベースで認識し、録画する高速カメラシステムが開発されているが、高精細な観測は行われていない（前記非特許文献３）。
【００１１】
この他に、高速・低解像度カメラと低速・高解像度カメラの2 種から得られた画像を用いて、擬似的に高速・高解像度映像を生成する技術が報告されている（前期非特許文献４〜６）。
【００１２】
しかし、この技術では、生成される映像の品質が撮像されるパターンに依存する問題がある。また、得られる画像は仮想画像であり、高い品質は望めない。これらの適応的な撮像を行う技術では、今回の目的を達成するために十分でないと考えられる。
【００１３】
本発明は、前記の状況に鑑みてなされたものである。本発明は、比較的に高速でページをめくりながら、高精細な書籍画像を取得するために利用可能な技術を提供することを目的としている。
【課題を解決するための手段】
【００１４】
前記した課題を解決する手段は、以下の項目のように記載できる。
【００１５】
（項目１）
ページ状態測定部と、制御部と、書籍画像取得部とを備えており、
前記ページ状態測定部は、書籍のページ状態を測定する構成となっており、
かつ、前記ページ状態測定部は、前記書籍画像取得部の動作可能周期よりも高速な周期で動作しうる構成とされており、
前記制御部は、前記ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうか判定する構成とされており、
かつ、前記制御部は、前記ページ状態が書籍画像の取得に適すると判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送る構成となっており、
前記書籍画像取得部は、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得する構成となっている
ことを特徴とする書籍読み取りシステム。
【００１６】
（項目２）
前記ページ状態測定部は、前記書籍の画像を取得することにより、前記書籍のページ状態を測定する構成となっている
項目１に記載の書籍読み取りシステム。
【００１７】
（項目３）
前記書籍画像取得部は、前記書籍の見開き状態における左右のページの画像をそれぞれ取得する構成となっている
項目１又は２に記載の書籍読み取りシステム。
【００１８】
ここで、書籍のページは、めくり動作によって移動中であってもよい。めくり動作は、使用者によって行われるものでも、装置によって行われるものでもよい。
【００１９】
（項目４）
以下のステップを備えることを特徴とする書籍読み取り方法：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定するステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを、制御部により判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送るステップ；
（４）前記書籍画像取得部が、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得するステップ。
【００２０】
（項目５）
コンピュータに以下のステップを実行させることができるコンピュータプログラム：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定させるステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送ることにより、前記書籍のページについての画像を前記書籍画像取得部に取得させるステップ。
【発明の効果】
【００２１】
本発明によれば、高速に動作するページ状態測定部によって、書籍のページの変形を高速に捉えることができる一方、比較的に低速で動作可能な書籍画像取得部を用いることで、高精細な書籍画像を取り込むことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態における書籍読み取りシステムの概略的な構成を示すブロック図である。
【図２】本発明の一実施形態における書籍読み取り方法の概略的な手順を示すフローチャートである。
【図３】本発明の一実施例における書籍読み取りシステムの概略的な構成を示す説明図である。
【図４】本発明の一実施例において撮像タイミングを判定する手順を示す説明図である。
【図５】パターン画像の識別処理の例を説明するための説明図である。
【図６】ページが重なっている状態を示すための説明図である。
【図７】紙面における各種のパラメータの取り方を説明するための説明図である。
【図８】湾曲したページを平面展開する様子を説明するための説明図である。
【図９】局所解像度の定式化を説明するための説明図である。
【図１０（ａ）】右ページの評価関数を示すグラフであり、これは、理想的な状態を示す。
【図１０（ｂ）】右ページの評価関数を示すグラフであり、これは、ページ切り替えの直後に極大値となる状態を示す。
【図１１（ａ）】左ページの評価関数を示すグラフであり、これは、理想的な状態を示す。
【図１１（ｂ）】左ページの評価関数を示すグラフであり、これは、極大値に到達する前にページ切り替えが行われた状態を示す。
【図１２】右ページの状態遷移図を示す。
【図１３】左ページの状態遷移図を示す。
【図１４】評価関数に基づいた状態変数の変化と、撮像タイミングの判定の様子を示す説明図である。
【図１５】右ページの評価関数の時系列データを示すグラフであり、横軸はフレーム番号、縦軸は評価値を示す。
【図１６】左ページの評価関数の時系列データを示すグラフであり、横軸はフレーム番号、縦軸は評価値を示す。
【図１７】書籍紙面の三次元センシング結果から可展面推定を行う手順を説明するための説明図である。
【図１８】元画像と、そこから得られた平面展開画像との比較を示す図である。
【図１９】実施例の高解像度カメラの設置状態を説明するための説明図である。
【図２０】本発明の変形例１を説明するための説明図である。
【図２１】本発明の変形例２を説明するための説明図である。
【図２２】本発明の変形例３を説明するための説明図である。
【図２３】本発明の変形例４を説明するための説明図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照しながら、本発明の実施形態に係る書籍読み取りシステムについて説明する。
【００２４】
（本実施形態の構成）
本実施形態の書籍読み取りシステムは、ページ状態測定部１と、制御部２と、書籍画像取得部３とを備えている（図１参照）。
【００２５】
ページ状態測定部１は、書籍のページ状態を測定する構成となっている。より詳しくは、ページ状態測定部１は、高速カメラ１１とレーザ光源１２とを備えている。高速カメラ１１は、後述する書籍画像取得部３の高解像度カメラ３１よりも高速な（つまり短い）周期で動作しうるものとなっている。これにより、ページ状態測定部１は、書籍画像取得部３の動作可能周期よりも高速な周期で動作しうる構成となっている。
【００２６】
レーザ光源１２は、所定のパターンを持つ光を書籍に投影出来る構成となっている。高速カメラ１１は、レーザ光源１２から照射されて書籍で反射された光を取得するものである。ページ状態測定部１は、高速カメラ１１によって書籍の画像を取得することにより、書籍のページ状態を測定する構成となっている。高速カメラ１１及びレーザ光源１２の詳しい動作については後述する。
【００２７】
制御部２は、ページ状態測定部１によって測定されたページ状態が、書籍画像の取得に適するものかどうか判定する構成とされている。具体的には、制御部２は、ＣＰＵ２１とメモリ２２とＩ／Ｏインタフェース２３とを備えている。CPU２１は、メモリ２２に格納された所定のプログラムに対応して、必要な処理を行うことができるようになっている。このプログラムに基づいて、制御部２は、ページ状態が書籍画像の取得に適すると判定した場合に、書籍画像取得部３に対して、書籍画像取得のための指示を送る構成となっている。また、メモリ２２は、ページ状態測定部１及び書籍画像取得部３で取得された画像を必要に応じて記録できるようになっている。ただし、メモリ２２とＣＰＵ２１とは、ネットワークを介して接続されていても良い。要するに、制御部２は、必要な機能を実行できるように構成されていれば良い。なお、制御部２の詳しい動作も後述する。
【００２８】
書籍画像取得部３は、制御部２からの指示を受けた後、書籍のページについての画像を取得する構成となっている。具体的には、書籍画像取得部３は、高解像度カメラ３１と、拡散光源３２とを備えている。高解像度カメラ３１は、ページ状態測定部１の高速カメラ１１よりも高解像度で、書籍の画像を取得できるように構成されている。拡散光源３２は、高解像度カメラ３１が動作するときに発光して、撮影対象である書籍のページに拡散光（少なくとも撮影対象箇所の範囲に拡散された光）を照射できるようになっている。
【００２９】
（本実施形態の動作）
次に、前記実施形態のシステムを用いた書籍読み取り方法の概略を、図２を参照しながら説明する。
【００３０】
（図２のステップＳＡ−１）
まず、ページ状態測定部１のレーザ光源１２を、書籍のページ面に対して照射する。レーザ光源１２により照射されるパターンの例は後述する。この照射は、システムの動作中において、高解像度カメラ３１の動作時を除いて、常時行われることが好ましい。ついで、高速カメラ１１を用いて、少なくとも各ページを撮影できる程度の既定の周期でページ面を撮影する。撮影された画像（ページ状態に相当）は、制御部２に順次送られて、メモリ２２に格納される。
【００３１】
（図２のステップＳＡ−２）
ついで、制御部２は、ページ状態測定部１によって前記のように測定されたページ状態が、書籍画像の取得に適するものかどうかを判定する。判定の具体例は後述する。また、この判定は、所定のプログラムに基づいて、ＣＰＵ２１により実行される。
【００３２】
（図２のステップＳＡ−３）
ページ状態が書籍画像の取得に適すると制御部２が判定した場合には、制御部２のＣＰＵ２１は、インタフェース２３を介して、書籍画像取得部３に対して、書籍画像取得のための指示を送る。
【００３３】
（図２のステップＳＡ−４）
ついで、書籍画像取得部３は、制御部２からの前記指示を受けた後、書籍のページについての画像を取得する。具体的には、書籍画像取得部３の拡散光源３２が発光すると同時に、高解像度カメラ３１によって書籍の対応ページの画像を取得する。カメラ３１が一つである場合には、書籍の見開きページを一つの画像として取得することが通常である。ただし、後述するように、複数のカメラ３１を用いる場合には、左ページと右ページとをそれぞれ別の画像として取得することができる。あるいは、ページ中の必要な箇所のみを撮影することも可能である。
【００３４】
（図２のステップＳＡ−５）
前記のようにして取得された画像のデータは、本実施形態では、メモリ２２に保存される。
【００３５】
（実施例）
以下においては、さらに具体的な例を用いて、本実施形態のシステム及び方法を詳しく説明する。この実施例の説明では、まず、１節でシステムの構成を述べる。次に、紙面の三次元変形を推定する手法を２節で述べる。推定された変形を用いて、適応的撮像のタイミングを定量的に評価する手法を３節で述べる。４節では動作実験の結果を示す。５節でまとめを述べる。その後、実施例の変形例を説明する。
【００３６】
１．本実施例のシステム構成
本実施例のシステム構成を図３に示す。前記実施形態と共通する構成要素に同じ符号を付すことにより、説明を簡略化する。
【００３７】
本実施例のページ状態測定部１の高速カメラ１１は、500fpsの速度でリアルタイムに紙面の形状を撮影する。また、制御部２は、同じフレームレートで紙面の状態を評価することができるようになっている。
【００３８】
ページ状態測定部１のレーザ光源１２からは、書籍の電子化に適したマルチラインパターンを紙面に照射するようになっている。照射されたラインの識別を、高速カメラ１１で撮像された画像を用いて制御部２が行うことにより、紙面の奥行き情報を計測することができる。ラインの同定処理は次節で詳述する。
【００３９】
また、紙面形状の評価では、電子化される書籍データの品質を、可展面モデルを用いて制御部２がリアルタイムに解析している。この解析方法については、4 節で述べる。この品質評価をもとに、電子化のために最適なタイミングで撮像を行うように高解像度カメラ３１の制御を制御部２が行っている。
【００４０】
図３の例では、高解像度カメラ３１による撮像を行う瞬間においては、拡散光源３２をストロボ発光する。さらに、これと同時に、レーザ光源１２をオフとすることにより、高速カメラ１１を用いた三次元センシングが瞬間的に停止するように、制御部２により制御が行われている。高解像度カメラ３１のシャッタ時間と拡散光源３２の点灯時間は、予想される紙面の動きに対して十分に短く設定されている。高解像度カメラ３１による適応的撮像が完了すると同時に、ページ状態測定部１による三次元センシングが再開される仕組みとなっている。
【００４１】
高解像度カメラ３１によって撮像された画像は、紙面の変形によって歪んでいる。この変形による歪みは、紙の物理特性をもとに可展面でモデル化することができる。可展面とは、伸縮や断裂を起こすこと無く平面に展開することが可能な非剛体物体である。このモデルのもと、紙面の三次元変形を平面に展開する操作を行うことで、歪みを補正することが可能である（前記非特許文献７参照）。本システムでは、ページ状態測定部１での三次元センシングによって取得された形状と、書籍画像取得部３の高解像度カメラ３１によって取得された画像とを用いて、平坦時の書籍画像を復元することができる。
【００４２】
レーザ光源１２からレーザパターンが照射された画像を、高速カメラ１１で撮像した後は、図４に示すように、制御部２による処理が画像に対して行われる。本実施例で行われる処理は、
・パターン画像の三次元点群変換、
・三次元点群の連続曲面(柱面)推定、及び
・紙面変形の評価
である。
【００４３】
下記の２節では、連続曲面を推定するまでの具体的な手続きを述べる。また、３節では評価関数の設計と定式化について述べる。
【００４４】
２．紙面の三次元変形推定
２．１ パターンの識別と三次元点群の計算
まず、高速カメラ１１によって撮像された画像I(i, j) を用いて、三次元点群を算出する手法を述べる。以下では画像の原点を画像の左上隅に取り、i 方向を下向きに取りj 方向を右向きに取る。紙面に投影されたレーザ光パターンに含まれる平行直線群を、ラインと呼ぶ。パターンのライン方向は、書籍中央の綴じ部と直交する方向に設置されているものとする。また、画像上の点のうち、ライン上の点を輝点と呼び、その画像座標をベクトルuk(k = 1, . . . , Np)で表す。
【００４５】
ベクトルuk を三次元座標に変換したものをベクトルvk と呼ぶ。ベクトルvkを計算するためには、高速カメラ１１による撮像画像上の輝点がどのラインに属しているかを推定する必要がある。
【００４６】
本実施例の場合、紙面の変形が滑らかであり、レーザ光源１２によるパターンが紙面内に投影されているとすると、ライン方向と直交する方向に走査した場合、投影したラインの順番は、撮像画像上で入れ替わることも、一部のラインが消失することも基本的には起こらないと仮定できる。ただし、書籍の綴じ部や端のように変形が滑らかでない領域や、雑音が生じた領域では、撮像画像上でラインパターンは理想的には得られない。本実施例では、ロバストにパターンの識別を行うために、クラスタリングを利用した。具体的な手続きを下記に簡単に示す。また、手順の概要を図５に示す。なお、以下の手続きは撮像画像を２値化したものに適用するものとする。
(1) 輝点の取得画像をi 方向に走査し、ライン上の輝点ベクトルukを検出する（図５（ａ））。
(2) 輝点群の分類走査後、画像上の同じ分割領域に属するもの同士で、輝点群を分類する（図５（ｂ））。分類された各点群の集合をクラスタと呼ぶ。
(3) パターンの識別近傍のクラスタを結合し、i 方向に上に位置するクラスタから順番にライン識別番号を割り振る（図５（ｃ））。これにより、クラスタに分類された輝点群を取得できる（図５（ｄ））。
【００４７】
ラインの識別が完了した後は、各輝点の画像座標を三次元座標に変換する。高速カメラ１１の視線方向をz 軸に取ったカメラ座標系での三次元点ベクトルvk と、その点が結ぶ画像素子上での像ベクトルuk とは以下の関係式を満たす（前記非特許文献８参照）。
【００４８】
【００４９】
ここでベクトルKは、高速カメラ１１の内部パラメータを表す。一方、予め行うキャリブレーションによって、投影するパターンのh 番目のラインの三次元的な広がりを、曲面gh(x, y, z) = 0 で表すことができる。これを式(1)と連立して解くことで、検出された輝点の画像座標を三次元座標に変換できる。
【００５０】
2.2 紙面の分割
ページめくり中には、図６の左図のように、めくり中のページが、その次のページに重なって観測される場合が起こる。このような重なり状態で、遮蔽された紙面を電子化しないように処理するために、本実施例の手法では、書籍中央の綴じ部を境界としてページを左右に分割した上で、それぞれの領域で重なりを検出する。そのために、分割された各左右領域において重なりが生じている場合であっても、ページ単位で分割できる手法を提案する。
【００５１】
なお、ここでは、左右の分割については、綴じ部の位置が予め分かっていることを仮定する。また、高速カメラ１１から見て右側のページを書籍の右側、その逆側を左側とする。さらに、本実施例では、ぺージめくり動作は右から左へと紙面を移動させるものであると仮定して、手法を説明する。
【００５２】
重なりが発生した場合、パターンを書籍上部からレーザ光源１２で投影すると、高速カメラ１１による撮像画像上では、図６の右図の様に、重なった状態の下の紙面に影ができる。ここでは、この影がi 方向にほぼ平行であると仮定し、横軸を座標j、縦軸を各j 内の輝点数とした分布の極小値をページの境界として認識する。なお、電子化のための撮像対象としてみなす紙面は、右領域の場合はここで求められた境界よりも右側のページ、左領域の場合も境界よりも右側のページとする。
【００５３】
2.2.1 一般化柱面モデルを用いた紙面形状の推定
本節では、取得された三次元点群から連続曲面を制御部２で推定する手法を述べる。この連続曲面は、３節で述べる紙面の評価のために必要となる。３節で提案する手法では、高解像度カメラ３１から見た紙面の変形をもとに、形状の評価が行われる。前記の手法で取得された三次元点群は、高速カメラ１１の座標系で記述されているので、まず、低速高解像度カメラ３１の座標系に座標変換する必要がある。座標変換された点群ベクトルVチルダに対して、曲面の推定を行う。
【００５４】
ここで、本実施例のシステムが観測する紙面は、伸縮や断裂を起こす事無く平面に展開することが可能な非剛体物体である。このような物体は、可展面と呼ばれる。可展面ベクトルMは、孤長s をパラメータとした準線ベクトルξ(s)と母線ベクトルη(s)とを用いて次のように表すことができる（前記非特許文献７）。
【００５５】
【００５６】
三次元点群から可展面を推定する手法は既に提案されている（前記非特許文献７）。本実施例においてこの手法を用いることは可能である。しかしながら、この手法においては、複雑な非線形最適化問題を解く必要があり、計算量が多いために、リアルタイムでの実行は困難である。そこで、本実施例では、目標とする曲面の自由度を制限し、近似された曲面モデルで、高速に推定を行える手法を提案する。
【００５７】
提案手法では、柱面を曲面モデルとして採用した。柱面は可展面クラスに属する曲面であり、∂ｚ／∂ｙ = const となる多項式曲面として記述できる。この場合、母線が高解像度カメラの三次元座標系のyz 平面に平行な柱面となる。また本手法では、書籍の綴じ部がyz 平面に平行になるように設定し、書籍の綴じ部の中点ベクトルr0 = [x0 y0 z0]T を予め求めておく。具体的には以下のような曲面となる。
【００５８】
【００５９】
書籍の「のど」（ページの背側の部分）の傾きが固定されていて既知の場合でも、柱面の母線の傾きであるy の係数について推定を行う。これは、柱面近似が困難な場合にも、推定精度を下げないようにするためである。なお、推定は左右ページで別々に行う。本実施例では、式（３）においてN = 2 として実験を行った。
【００６０】
具体的な推定では、三次元点群ベクトルVチルダから最小二乗法によって(a0, . . . , aN, b)を求める。ここで、式(3) の曲面をz = f(x, y) で表し、高解像度カメラ３１の座標系に変換された三次元点を
とすると、以下の最小化問題を解くことで柱面が推定できる。これは(a0, . . . , aN, b)について線形な方程式を解くことに帰着されるので高速に解くことができる。
【００６１】
【００６２】
さらに、推定した曲面において紙面に属する範囲を求める。この範囲内の形状に対して、３節で説明した、撮像タイミングを決定するための評価手法が適用される。ここで、対象の紙面の大きさは既知であるとし、そのサイズを縦Lh 横Lw とおく。
【００６３】
まず、柱面を仮定したため、母線ベクトルは曲面全体でベクトルη = [0 1 b]T となる（図７参照）。始点がベクトルr0 となるように準線ξ(s)を選ぶと、0 ≦ s ≦ Lw、｜t｜≦ Lh/2 の範囲となる。今回は、準線の終点位置を求めるために、準線の接線ベクトルを用いて線積分を適用した。準線の接線ベクトルは、法線ベクトルと母線ベクトルの外積から求められる。以上によって、紙面を範囲付きの曲面として表現することができる。
【００６４】
3 適応的撮像のための紙面評価の手法
3.1 概要
以下においては、ページ状態測定部１で取得されたページ状態が、高解像度カメラ３１による撮像に適するかどうかを制御部２が判断するための評価関数について述べる。ここで、評価関数は最適な状態ほど大きな値をとるものとする。評価関数の値が最大となる時刻において、高解像度カメラ３１により撮像することによって、ロバストでかつ高精細なページ画像を得ることができる。
【００６５】
今回のシステムで得られる紙面画像は、最終的には、可展面モデルを用いて補正されるため、紙面が撮像に適するかどうかは、この補正時の品質によって判断される必要がある。そこで、補正画像の品質を定量化することで、評価関数を設計する。つまり、ここでの評価は、「仮にそのタイミングでページを高解像度カメラで撮像した場合に得られるであろう品質」を評価することにより、撮像タイミングを決定するためのものである。
【００６６】
ここでは、画像の高精細さの品質を解像度で決定する。高解像度カメラからの距離が相対的に遠い、あるいはそのカメラから見て傾斜が急である領域では、この領域の画素数が、補正前の画像上において少ない。したがって、この領域は補正時に引き延ばされるため、精細度が低下すると考えられる。この概念図を図８に示す。このような効果を評価するために局所解像度と呼ぶ指標を導入する。図８の符号１で示す領域は、符号２で示す領域に比べて元の情報が少なく、粗い画像になる。
【００６７】
3.2 局所解像度の定式化
局所解像度を、曲面上の単位面積を高解像度カメラ上に投影した場合の画素数と定義する。これによって、補正画像上の対応する領域の画像の精細さを仮想的に計算できる。本節では、この局所解像度を具体的に定式化する。
【００６８】
図９のように、高解像度カメラ３１の座標系において、曲面ベクトルXをz = f(x, y) とし、(dx, dy) を微小量として曲面上に4点(P0, P1, P2, P3)を取る。(P0, P1, P2, P3)に囲まれた部分の面積dSは次式となる。
【００６９】
【００７０】
同領域を高解像度カメラに投影した場合の画素数dpは、(P0, P1, P2, P3)を投影した点群(Q0, Q1, Q2, Q3)内の面積に等しい。高解像度カメラ３１の焦点距離を単位画素あたりの撮像素子長で割ったものをFとすれば、(Q0, Q1, Q2, Q3)は、次のように表される。
【００７１】
【００７２】
と仮定して、微少量の2 次以上の項を無視し、以下の近似式を用いると、dp は式(10)のようになる。
【００７３】
【００７４】
以上より、局所解像度γは次のようになる。
【００７５】
【００７６】
このように、局所解像度は、紙面を表す曲面X 上の位置ベクトルを引数にとる関数で表現される。
【００７７】
3.3 評価関数の定式化
前節で定義した局所解像度を用いて評価関数を設定する。局所解像度の平均が高い場合、平面展開画像の全体的な精細さも高いと考えられるので、評価関数は局所解像度が高い場合に大きな値をとるものとする。
【００７８】
一方、局所解像度の標準偏差が低い場合、場所による精細さのばらつきが少ないと考えられるので、評価関数は標準偏差が低い場合に大きな値をとるものとする。
【００７９】
そこで、局所解像度の平均ηと標準偏差σの線形和として、評価関数Cを次のように記述する。
【００８０】
【００８１】
ただしdSは紙面ベクトルX上の面素であり、Sは、Xの表面積を表す。式(13)、(14)を解析的に求めるのは困難であるため、本実施例では、柱面推定した紙面曲面上の制限範囲内で等間隔に点群をサンプリングした後に、全ての点上で局所解像度を計算し、その平均と標準偏差を計算することで、上記の評価関数を計算した。
【００８２】
3.4 評価関数値を用いた最適撮像時刻の認識
最適撮像時刻は左右ページで異なると考えられるため、本手法では、評価関数も左右ページで個別に計算する。予想される評価関数の概形は右ページでは図１０(a)、図１０(b)、左ページでは図１１(a)、図１１(b)の様になる。
【００８３】
以下では、右ページの紙面がめくられてから、左ページに移動して静止するまでの時間をぺージめくり時間と呼び、右ページの紙面がめくられてから、その次の紙面がめくられるまでの時間をページ待ち時間と呼ぶこととする。
【００８４】
図１０(a)では、まず右ページがほとんど静止した状態にあり、評価関数はほとんど一定となる。紙面がめくられると評価関数は極大を取った後減少し、その後、ページの切り替えが起こると不連続に増加する。しかし、ページ待ち時間が短い場合、図１０(b)の様に、ページの切り替えが起こった直後が極大になる場合も考えられる。
【００８５】
左ページのページ待ち時間がぺージめくり時間に対して十分長い場合には、図１１(a)のように、評価関数はまず上昇して極大を取り、その後減少して一定値に落ち着くと考えられる。ページ待ち時間が短い場合には、図１１(b)のように、ページ切り替えが起こる直前に極大を取る。
【００８６】
ぺージめくり動作を人の手で行った場合、図１０(b)や図１１(b)のような状況が頻発すると考えられ、機械で行った場合にも、いくらかの割合で起こると考えられる。そのため、本実施例では、ページ待ち時間が短い場合にも、撮り逃すことなく最適な時刻で精細画像を高解像度カメラ３１で撮像できる手法を提案する。
【００８７】
右ページ、左ページそれぞれに状態変数Sr，Slを用意し、次のように定義する。
[右ページ]
Sr = 0：右ページの紙面切り替えが起こってから左ページのページ切り替えが起こるまでの状態。
Sr = 1：Sr = 0 の状態を抜けてから右ページの評価関数値が極大になるまでの状態。
Sr = 2：右ページの評価関数値が極大になってから右ページのページ切り替えが起こるまでの状態。
[左ページ]
Sl = 0：右ページの紙面切り替えが起こってから左ページのページ切り替えが起こるまでの状態。
Sl = 1： Sl = 0 を抜けてから左ページの評価関数値が極大になるか右ページの紙面切り替えが起こるまでの状態。
Sl = 2：左ページの評価関数値が極大になってから右ページのページ切り替えが起こるまでの状態。
【００８８】
右ページ、左ページの状態遷移図をそれぞれ図１２、図１３に示す。Sr = 0 とSl = 0 は同じ時間帯であり、この時間帯において右ページまたは左ページがページ重なり状態にあることは分かるが、どちらが手前であるかは定かではないので、両ページとも撮像には適さない。この時間帯を過ぎた直後では、左ページは、ページ重なり状態にある一方、右ページは、評価関数が極大になる前か、極大になった後かの、いずれかである。右ページにおける前者の状態をSr = 1 とし、後者の状態をSr = 2 とすると、前者の場合は極大になるのを待って撮像し、後者の場合は、評価関数値は減少するので、Sr = 0 からの遷移直後に撮像する。一方、左ページの場合、Sl = 0の状態を抜けた時には評価関数が極小であり、時間経過とともに、評価関数値は増加していく。Sl = 0の状態を抜けた直後の状態をSl = 1 とする。ページ重なり状態になる前に最適形状で画像を撮る必要があるので、Sr = 0 となる前に、左ページの評価関数が極大になった場合、その瞬間に左ページを撮像してSl = 2 とし、Sr = 0 となる瞬間にSl = 1 であれば、左ページを撮像してSl = 0 とし、Sl = 2 であればそのままSl = 0 とする。具体的な遷移の様子を図１４に示す。この図において図中の数字は、左右のページにおけるSr, Slの値をそれぞれ示す。
【００８９】
４．提案システムの構築と適応的撮像の実験
4.1 構築した書籍電子化システム
以上の実施例の内容に対応して、実際に書籍電子化システムを構築した。
【００９０】
三次元センシングのためのページ状態測定部１には、解像度1,280×1,024、フレームレート500fpsのカメラ１１と、赤外レーザ１２とを用いた。この赤外レーザ１２には光分散レンズが搭載されており、１５本のマルチラインパターンを投影する。また、書籍画像取得部３の拡散光源３２として、白色のLED照明を設置し、これに対して、高解像度カメラ３１で撮像する際にのみ点灯する制御を行った。高解像度カメラ３１は解像度3,296×2,472、フレームレートが16fps のものを採用した。この例では、Ｂ５サイズの書籍見開き形状を高解像度カメラの画角に収めたため、書籍画像の解像度は、補正前で約200dpiとなる。
【００９１】
この実験では右ページのみ撮像を行った。提案したアルゴリズムを実装し、実行した結果、500fps の速度でリアルタイムに三次元認識を行うことができた。また、最適タイミングの認識後、高解像度カメラが撮像を行うまでの遅延は8ms 程度に収まっていることを確認した。
【００９２】
4.2 システムの動作検証
ページを連続的にめくった場合の評価関数の時系列データを図１５と図１６に示す。
【００９３】
ここで、ページのめくり速度は約300ページ／分程度であった。図１５は右ページのデータである。今回は、右側の領域のみを撮像する制御を行った。同図には、撮像するタイミングとして認識された時刻とその際の評価関数の値とが十字で示されている。撮像タイミングの判定には、左ページのデータも利用されている。左ページのデータを図１６に示す。なお、今回の実験では、評価関数の係数をλ＝−２とした。
【００９４】
５．実施例のまとめ
実験の結果、適応的に撮像された紙面画像と三次元計測の両者がメモリ２２に蓄積された。この計測された三次元点群を用いて、既知の手法（非特許文献７参照）によって可展面を推定した結果例を図１７に示す。同図において、白丸は計測点、図中横方向に延びる実線は、推定された可展面の準線、これに交差する複数の実線は、母線群である。さらに、この推定をもとに補正した三つの画像の例を図１８に示す。同図においては、上から、撮像された画像、補正画像、補正画像の拡大がそれぞれ示されている。
【００９５】
前記実施例では、高速かつ高精細な書籍電子化の実現に向けて、三次元形状を用いて適応的に撮像を行う書籍電子化システムを提案した。本システムは、高速な三次元センシングによってリアルタイムに得られた紙面変形を評価し、書籍電子化のために最適となるタイミングにおいてのみ高精細な画像を適応的に撮像するものである。この構成のもと、可展面の概念を導入した高速な三次元変形推定手法、局所解像度を導入した最適形状の認識のための評価関数を提案した。さらに、システムを構築し、その動作を検証した。動作検証の結果、紙面の三次元形状の取得及び、その形状の評価を500fps の速度で行うことができた。また、得られた評価関数値の時系列データも予定通りのものが得られ、最適時刻において紙面画像を取得することができた。これによって、200dpi 程度の解像度の紙面画像を300 ページ/分で撮像できることを実証した。
【００９６】
（変形例１：カメラ台数）
前記した実施形態では、１台の高解像度カメラ３１を用いて、見開き状態のページ全体を撮影した（図１９参照）。これに対して、２台の高解像度カメラ３１を用いて、見開き状態の右ページと左ページとをそれぞれ撮影することも可能である（図２０参照）。
【００９７】
さらに、ページ状態測定部１の高速カメラ１１を右ページと左ページのために１台ずつ設置することも可能である。
【００９８】
他の構成は、前記した実施形態又は実施例と同様とすることができるので、これ以上詳しい説明は省略する。
【００９９】
（変形例２：ページ面積による撮影タイミング判定）
前記した実施形態では、予想される局所解像度を用いて、高解像度カメラ３１による撮影タイミングを判定していた。しかし、この方法は一例に過ぎず、他の方法も可能である。すなわち、「この状態になった場合に撮像しなさい」という理想状態をシステムで保持しておき、めくり動作中の紙面の形状との相関係数を求める。予め定めておいた相関係数(設定値)以上になった場合に撮像を実施することができる。この方法のバリエーションは数多くあり得る。変形例２では、そのバリエーションの1つとして、ページ状態測定部１の高速カメラ１１で観測されるページの面積を観測情報として利用する（図２１参照）。
【０１００】
この例では、まず、撮像する紙面形状を予め学習させておく。つまり、「この形状のときに撮像しなさい」という学習を行っておく。
【０１０１】
ついで、書籍をめくっている間に、以下の計算を実施して、撮像タイミングの判定を行う。なお、以下では、簡単のために右ページについてのみ説明するが、左ページにおいても同様である。
【０１０２】
学習した紙面形状の面積をSMとし、めくり中に時々刻々変化する紙面の面積をSIとすると、ΔS＝|SM−SI|が"０"（ゼロ）もしくは予め定める設定値ΔSS以下となるタイミングを、高速カメラ１１による画像に基づいて制御部２が判定し、高解像度カメラ３１による撮像を行うことができる。
【０１０３】
つまり、撮像タイミングは、制御部２が以下を判定することで決定できる。
ΔS＝０、又は
ΔS≦ΔSS。
【０１０４】
（変形例３：ページ形状による撮像タイミング判定）
この例では、高速カメラ１１で観測されるページの枠線形状を利用する。システムが保持した理想の枠線形状との相関を計算して撮像タイミングを制御部２が認識することができる（図２２）。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０５】
（変形例４：レーザパターンによる撮像タイミング判定）
この例では、高速カメラ１１が、レーザ光源１２から紙面に照射されたパターン光を撮像する場合を想定している。この場合、予め理想状態のパターン画像をシステムが保持し、その画像との相関を計算することにより、制御部２が撮像タイミングを認識できる。（図２３）。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０６】
（変形例５：紙面上のテクスチャによる撮像タイミング判定）
この例では、書籍の全てのページに既知のパターンが印字されている。撮像タイミングとなる場合に高速カメラ１１によって観測されるべきパターンの見え方を予めシステムが保持する。そして、高速カメラ１１で得た画像とシステム側で保持している画像との相関を計算することにより、制御部２が撮像タイミングを認識する。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０７】
（変形例６：最前面の判定による撮像タイミング判定）
この例では、高速カメラ１１で得た画像に基づいて、ページが最前面であるかどうかを検出し、最前面になった瞬間を制御部２が撮像タイミングと認識する。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０８】
（変形例７：形状比較による撮像タイミング判定）
この例では、ページ状態測定部１として、高速カメラに代えて、三次元スキャナや距離センサを用いる。そして、撮像するための理想形状を予めシステムが保持し、その形状とページ状態測定部で得た形状データとの類似度が高くなったときに、制御部２の指示によって、高解像度カメラ３１で撮像する。形状データとは、ページの代表点1点のみまでのセンサからの距離や、三次元スキャナで得られたページ全体曲面などである。他の構成は変形例２及び前記実施形態と同様なので説明を省略する。
【０１０９】
また、前記した各変形例の方法を組み合わせることも可能である。また、前記した方法に加えて、経過時間を加味して、撮影タイミングを判定することも可能である。すなわち、ページを等速でめくることができる場合には、前頁を撮像してから一定時間経過毎に、制御部２の指示により撮像を実施することができる。
【０１１０】
なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。
【０１１１】
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
【０１１２】
また、本発明を構成する各機能要素は、離散して存在しても良い。離散して存在する場合には、例えばネットワークを介して必要なデータを受け渡すことができる。各部の内部における各機能も、同様に、離散して存在することが可能である。例えば、グリッドコンピューティングやクラウドコンピューティングを用いて、本実施形態における各機能要素あるいはその一部分を実現することも可能である。
【符号の説明】
【０１１３】
１ ページ状態測定部
１１ 高速カメラ
１２ レーザ光源
２ 制御部
２１ ＣＰＵ
２２ メモリ
２３ インタフェース
３ 書籍画像取得部
３１ カメラ
３１ 高解像度カメラ
３２ 拡散光源
【特許請求の範囲】
【請求項１】
ページ状態測定部と、制御部と、書籍画像取得部とを備えており、
前記ページ状態測定部は、書籍のページ状態を測定する構成となっており、
かつ、前記ページ状態測定部は、前記書籍画像取得部の動作可能周期よりも高速な周期で動作しうる構成とされており、
前記制御部は、前記ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうか判定する構成とされており、
かつ、前記制御部は、前記ページ状態が書籍画像の取得に適すると判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送る構成となっており、
前記書籍画像取得部は、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得する構成となっている
ことを特徴とする書籍読み取りシステム。
【請求項２】
前記ページ状態測定部は、前記書籍の画像を取得することにより、前記書籍のページ状態を測定する構成となっている
請求項１に記載の書籍読み取りシステム。
【請求項３】
前記書籍画像取得部は、前記書籍の見開き状態における左右のページの画像をそれぞれ取得する構成となっている
請求項１又は２に記載の書籍読み取りシステム。
【請求項４】
以下のステップを備えることを特徴とする書籍読み取り方法：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定するステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを、制御部により判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送るステップ；
（４）前記書籍画像取得部が、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得するステップ。
【請求項５】
コンピュータに以下のステップを実行させることができるコンピュータプログラム：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定させるステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送ることにより、前記書籍のページについての画像を前記書籍画像取得部に取得させるステップ。
【請求項１】
ページ状態測定部と、制御部と、書籍画像取得部とを備えており、
前記ページ状態測定部は、書籍のページ状態を測定する構成となっており、
かつ、前記ページ状態測定部は、前記書籍画像取得部の動作可能周期よりも高速な周期で動作しうる構成とされており、
前記制御部は、前記ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうか判定する構成とされており、
かつ、前記制御部は、前記ページ状態が書籍画像の取得に適すると判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送る構成となっており、
前記書籍画像取得部は、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得する構成となっている
ことを特徴とする書籍読み取りシステム。
【請求項２】
前記ページ状態測定部は、前記書籍の画像を取得することにより、前記書籍のページ状態を測定する構成となっている
請求項１に記載の書籍読み取りシステム。
【請求項３】
前記書籍画像取得部は、前記書籍の見開き状態における左右のページの画像をそれぞれ取得する構成となっている
請求項１又は２に記載の書籍読み取りシステム。
【請求項４】
以下のステップを備えることを特徴とする書籍読み取り方法：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定するステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを、制御部により判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送るステップ；
（４）前記書籍画像取得部が、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得するステップ。
【請求項５】
コンピュータに以下のステップを実行させることができるコンピュータプログラム：
（１）書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定させるステップ；
（２）ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを判定するステップ；
（３）前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送ることにより、前記書籍のページについての画像を前記書籍画像取得部に取得させるステップ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０（ａ）】
【図１０（ｂ）】
【図１１（ａ）】
【図１１（ｂ）】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０（ａ）】
【図１０（ｂ）】
【図１１（ａ）】
【図１１（ｂ）】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２５３７２１（Ｐ２０１２−２５３７２１Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２７１８０（Ｐ２０１１−１２７１８０）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]