手書き情報反映システム、手書き情報反映方法、およびプログラム
【課題】紙媒体から抽出した手書き情報をリフロー型電子書籍データに反映する手書き情報反映システム等を提供する。
【解決手段】Ｓ１において、マーカラインが付与された紙書籍４の紙面が読み取られ、読取画像データが生成される。Ｓ２において、読取画像データが走査され、背景色が異なる領域が抽出される。Ｓ３において、抽出領域ごとに抽出領域内のエッジが算出され、２値化される。Ｓ４〜Ｓ６において、２値化領域ごとに行間を除いた行ごとの行領域が抽出され、行領域ごとに１文字ごとの文字領域が抽出され、文字領域ごとに文字認識が行われ、文字コードが特定される。Ｓ７において、抽出領域ごとに抽出領域内の文字コード群が手書き情報データとして保存される。そして、手書き情報データの抽出文字列と電子書籍データのマッチングが行われ、マッチした位置に手書き情報データが反映される。
【解決手段】Ｓ１において、マーカラインが付与された紙書籍４の紙面が読み取られ、読取画像データが生成される。Ｓ２において、読取画像データが走査され、背景色が異なる領域が抽出される。Ｓ３において、抽出領域ごとに抽出領域内のエッジが算出され、２値化される。Ｓ４〜Ｓ６において、２値化領域ごとに行間を除いた行ごとの行領域が抽出され、行領域ごとに１文字ごとの文字領域が抽出され、文字領域ごとに文字認識が行われ、文字コードが特定される。Ｓ７において、抽出領域ごとに抽出領域内の文字コード群が手書き情報データとして保存される。そして、手書き情報データの抽出文字列と電子書籍データのマッチングが行われ、マッチした位置に手書き情報データが反映される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き情報反映システム、手書き情報反映方法、およびプログラムに関し、特に、紙媒体から抽出した手書き情報を電子書籍データに反映する手書き情報反映システム等に関する。
【背景技術】
【０００２】
近年、紙の節約、嵩張る紙の輸送や保管費の削減のため、ディスプレイに表示して閲覧するデジタルデータによる電子書籍が提供されるようになってきている。
【０００３】
書籍が電子化されることにより、様々な利用方法が可能となる。特許文献１には、読書進行状況情報に応じた実際の書籍と同様の厚みを有する縦縞模様を表示することにより、現在表示しているページが書籍全体としてどの当りの位置に相当するのかをユーザに対して直感的かつ大まかに認識させる技術が提案されている。
【０００４】
また特許文献２には、ページ毎に索引としてのキーワードを抽出し、そのキーワードから目次を作成することにより、検索に必要とされる文字列の入力を不要として、それら電子化ドキュメントを容易に検索・表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１５０６１８号公報
【特許文献２】特開２００５−２７５７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１および特許文献２の技術では、紙媒体に付与されたマーカやメモ書きを抽出し、抽出したマーカやメモ書きを手書き情報としてリフロー型電子書籍データに反映することができない課題があった。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、紙媒体から抽出した手書き情報をリフロー型電子書籍データに反映する手書き情報反映システム等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、第１の本発明は、リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶手段と、前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出手段と、前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映手段と、を具備することを特徴とする手書き情報反映システムである。
第１の発明によって、紙媒体から抽出した手書き情報を電子書籍データに簡単に反映することが可能となる。
【０００９】
前記抽出手段は、前記手書き情報としてメモ書きを含むメモ画像を抽出し、前記反映位置として前記メモ画像と近い位置の文字列を抽出する。
これにより、メモ書きとして抽出されたメモ画像と、そのメモ画像と近い位置の文字列とを対応付けて手書き情報データとして保存することができる。
【００１０】
前記抽出手段は、前記メモ画像のヒストグラムを算出し、前記ヒストグラムの分布に応じてメモ画像と書籍画像を区別する。
これにより、誤ってメモ画像として抽出された書籍画像をメモ画像の対象から除外することができる。
【００１１】
前記反映手段は、反映させる前記メモ画像の選択画面を表示し、前記選択画面で選択された前記メモ画像を前記リフロー型電子書籍データに反映する。
これにより、反映させるメモ画像を確認することができるため、ユーザは、メモ画像のみを確実に電子書籍データに反映することができる。
【００１２】
前記抽出手段は、前記手書き情報としてマーカ領域を抽出し、前記反映位置として前記マーカ領域内の文字列を抽出する。
これにより、マーカ領域ごとにマーカ領域内の文字列を手書き情報データとして保存することができる。
【００１３】
第２の発明は、リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、を含むことを特徴とする。
第２の発明によって、紙媒体から抽出した手書き情報を電子書籍データに簡単に反映することが可能となる。
【００１４】
第３の発明は、リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、を実行させるためのプログラムである。
【００１５】
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る手書き情報反映システムを得ることができる。
【発明の効果】
【００１６】
本発明により、紙媒体から抽出した手書き情報をリフロー型電子書籍データに反映する手書き情報反映システム等を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態に係る手書き情報反映システムの構成例を示す図である。
【図２】第１の実施の形態における端末のハードウエア構成例を示す図である。
【図３】第１の実施の形態における端末の記憶部に記憶される情報の例である。
【図４】第１の実施の形態における手書き情報抽出処理を説明するフローチャートである。
【図５】第１の実施の形態における読取画像データの例を示す図である。
【図６】２値化領域の行間を除いた行ごとの行領域を抽出する例を示す図である。
【図７】行領域ごとに１文字ごとの文字領域を抽出する例を示す図である。
【図８】第１の実施の形態における手書き情報データの例を示す図である。
【図９】第１の実施の形態における手書き情報反映処理を説明するフローチャートである。
【図１０】マーカタグが追加された電子書籍データのXMLファイルと、そのファイルに基づく表示画面の一例を示す図である。
【図１１】第２の実施の形態における手書き情報抽出処理を説明するフローチャートである。
【図１２】第２の実施の形態における読取画像データの例を示す図である。
【図１３】抽出領域画像から算出されたヒストグラムの例を示す図である。
【図１４】反映メモ選択画面の表示例を示す図である。
【図１５】第２の実施の形態における手書き情報データの例を示す図である。
【図１６】第２の実施の形態における手書き情報反映処理を説明するフローチャートである。
【図１７】メモタグが追加された電子書籍データのXMLファイルと、そのファイルに基づく表示画面の例を示す図である。
【図１８】変形例における読取画像データの例を示す図である。
【図１９】変形例における手書き情報データの例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００１９】
［本発明の第１の実施の形態］
図１は、本発明の実施の形態に係る手書き情報反映システム１の構成例を示す図である。
【００２０】
図１に示す手書き情報反映システム１は、端末２と読取装置３とが相互に接続されることで構成される。端末２は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disc Drive）等からなるコンピュータシステムであり、例えば、パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォンである。
【００２１】
端末２は、リフロー型の電子書籍データを記憶する。電子書籍データには、書誌データ（書籍の題号、著者、出版社、出版年月等）、目次データ（書籍の本文の内容を示す見出し等）、本文データ（書籍の本文に関する電子データ）、文献リストデータ（書籍の著者、題号、出版社、出版年月等）などが含まれる。
【００２２】
リフロー型の電子書籍データとは、文字を大きくすればページ数が増え、文字を小さくすればページ数が減るといったように、文字の大きさを変更しても画面に合わせて文字がリフローするため、ページ送りだけで読み進めることができる電子書籍データのことである。
【００２３】
端末２は、読み取り装置３が紙書籍４から読み取った読取画像のデータを受信し、記憶する。また端末２は、読取画像データから所定の抽出条件に基づいて手書き情報を抽出するとともに、電子書籍データから手書き情報にマッチングする位置を反映位置として抽出し、その反映位置に手書き情報を反映する。第１の実施の形態でいう手書き情報とは、例えば、蛍光ペンによるマーカラインが付与された部分のことである。
【００２４】
読取装置３は、例えば、スキャナやカメラなどであり、紙書籍４の紙面を読み取り、読取画像データを生成する。第１の実施の形態において、読取装置３は、紙書籍４の１頁分を画像化することができる装置であれば、何でもよい。なお、端末２にカメラが実装されている場合、端末２と読取装置３は一体とされる。
【００２５】
図２は、端末２のハードウエア構成例を示す図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２６】
端末２は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２７】
制御部１１は、CPU、ROM、RAM等で構成される。CPUは、記憶部１２、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、端末２が行う後述する処理を実現する。ROMは、不揮発性メモリであり、端末２のブートプログラムやBIOS（Basic Input/Output System）等のプログラム、データ等を恒久的に保持している。RAMは、揮発性メモリであり、記憶部１２、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２８】
記憶部１２は、HDD等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を端末２に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
【００２９】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ROM、−Ｒ、−ＲＷ等）、DVDドライブ（−ROM、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
【００３０】
通信制御部１４は、通信制御装置、通信ポート等を有し、端末２とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３１】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、端末２に対して、操作指示、動作指示、データ入力等を行うことができる。
【００３２】
表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して端末２のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３３】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、端末２に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して端末２は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、USB（Universal Serial Bus）やIEEE（The Institute of Electrical and
Electronics Engineers）１３９４やＲＳ（Recommended Standard）−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３４】
図３は、端末２の記憶部１２に記憶される情報の例である。
【００３５】
図３に示すように、端末２の記憶部１２は、読取画像データ２１、電子書籍データ２２、手書き情報データ２３、手書き情報反映ＡＰ（アプリケーション）２４、および電子書籍ビューア２５を記憶している。
【００３６】
読取画像データ２１は、読取装置３で読み取られた紙書籍４が画像化されたデータである。電子書籍データ２２は、書籍１冊分のデータであって、書誌データ、目次データ、本文データ、文献リストデータなどを含み、リフロー型に制作されたデータである。
【００３７】
手書き情報データ２３は、手書き情報反映アプリケーション２４により、所定の抽出条件に基づいて読取画像データ２１から抽出された手書き情報のデータである。
【００３８】
手書き情報反映アプリケーション２４は、所定の抽出条件に基づいて、読取画像データ２１から手書き情報を抽出し、手書き情報データ２３を生成する。また手書き情報反映アプリケーション２４は、電子書籍データ２２から手書き情報にマッチングする位置を反映位置として抽出し、その反映位置に、抽出された手書き情報を反映する。
【００３９】
電子書籍ビューア２５は、手書き情報が反映された電子書籍データ２２を取得し、その内容を表示する。
【００４０】
図４は、手書き情報反映システム１が実行する、第１の実施の形態における手書き情報抽出処理を説明するフローチャートである。図４の説明に当たり、図５〜図９を参照し、具体的な処理内容も説明する。
【００４１】
ステップＳ１において、読取装置３は、蛍光ペンなどによるマーカラインが付与された紙書籍４の紙面を読み取り、読取画像データを生成する。
【００４２】
図５は、読取装置３により読み取られ、生成された読取画像データ２１ａ、２１ｂの例を示す図である。
【００４３】
図５に示すように、読取画像データ２１ａには、「吾輩（わがはい）は猫」の文字にマーカ３０ａが付与されているとともに、「である。名前はまだ無い。」の文字にマーカ３０ｂが付与されている。また、読取画像データ２１ｂには、「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の文字にマーカ３０ｃが付与されている。図５の例では、読取画像データ２１ａに含まれるマーカ３０ａとマーカ３０ｂは、互いのマーカラインが接していないが、読取画像データ２１ｂに含まれるマーカ３０ｃは、複数行のマーカラインが接している。
【００４４】
図４の説明に戻る。ステップＳ２において、端末２の手書き情報反映アプリケーション２４は、ステップＳ１の処理で読取装置３により生成された読取画像データを走査し、背景色が異なる領域（例えば、蛍光色）を抽出する。例えば、図５において、マーカ３０ａ、３０ｂ、３０ｃ（斜線で囲まれた領域）が異なる領域と判断され、矢印Ｓ２の先に示すように、抽出領域３１ａ、３１ｂ、３１ｃとしてそれぞれ抽出される。
【００４５】
図４の説明に戻る。ステップＳ３において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２の処理で抽出した抽出領域ごとに、抽出領域内のエッジを算出し、２値化する。例えば、図５において、抽出領域３１ａ、３１ｂ、３１ｃ内のエッジが算出されて２値化され、矢印Ｓ３の先に示すように、２値化領域３２ａ、３２ｂ、３２ｃがそれぞれ得られる。
【００４６】
図４の説明に戻る。ステップＳ４において、端末２の手書き情報反映アプリケーション２４は、ステップＳ３の処理で２値化した２値化領域ごとに、行間を除いた行ごとの行領域を抽出する。
【００４７】
図６は、２値化領域３２ｃの行間を除いた行ごとの行領域を抽出する例を示す図である。
【００４８】
図６に示すように、２値化領域３２ｃには、「しかしその」の文字列が含まれる行、「当時は何という考もな」の文字列が含まれる行、「かったから別段恐ろしいと」の文字列が含まれる行、「も思わなかった。」の文字列が含まれる行、および行間（空白）が含まれている。この２値化領域３２ｃにおいて、矢印Ｓ４の先に示すように、行間を除く行ごとの行領域３３ａ、３３ｂ、３３ｃ、３３ｄがそれぞれ抽出される。なお、図５における２値化領域３２ａ、３２ｂは、行間を含まない１行からなる文字列であるため、２値化領域３２ａ、３２ｂがそのまま行領域となる（図示せず）。
【００４９】
図４の説明に戻る。ステップＳ５において、端末２の手書き情報反映アプリケーション２４は、ステップＳ４の処理で抽出した行領域ごとに、１文字ごとの文字領域を抽出する。
【００５０】
図７は、行領域３３ａごとに１文字ごとの文字領域を抽出する例を示す図である。
【００５１】
図７に示すように、行領域３３ａには、「しかしその」の文字列が含まれており、矢印Ｓ５の先に示すように、「し」の文字領域３４ａ、「か」の文字領域３４ｂ、「し」の文字領域３４ｃ、「そ」の文字領域３４ｄ、「の」の文字領域３４ｅがそれぞれ抽出される。
【００５２】
図４の説明に戻る。ステップＳ６において、端末２の手書き情報反映アプリケーション２４は、ステップＳ５の処理で抽出した文字領域ごとに、文字認識を行い、文字コードを特定する。ステップＳ７において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２の処理で抽出した抽出領域ごとに、抽出領域内の文字コード群を手書き情報データ（マーカ）として記憶部１２に保存する。
【００５３】
図８は、手書き情報データ２３ａの例を示す図である。
【００５４】
図８に示すように、Ｎｏ．１のデータ格納領域には、種別が「マーカ」、抽出文字列が「吾輩（わがはい）は猫」の手書き情報データ（抽出領域３１ａ内の文字コード群）が保存され、Ｎｏ．２のデータ格納領域には、種別が「マーカ」、抽出文字列が「である。名前はまだ無い。」の手書き情報データ（抽出領域３１ｂ内の文字コード群）が保存され、Ｎｏ．３のデータ格納領域には、種別が「マーカ」、抽出文字列が「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の手書き情報データ（抽出領域３１ｃ内の文字コード群）が保存される。
【００５５】
以上のようにして、手書き情報反映システム１は、蛍光ペンによるマーカラインが付与された紙書籍４の紙面を読み取り、そのマーカ領域を手書き情報として抽出し、保存することができる。
【００５６】
図９は、手書き情報反映システム１が実行する、第１の実施の形態における手書き情報反映処理を説明するフローチャートである。図９の説明に当たり、図１０を参照し、具体的な処理内容も説明する。
【００５７】
ステップＳ１１において、端末２の手書き情報反映アプリケーション２４は、記憶部１２に保存されている手書き情報データ２３ａ（図８）の抽出文字列と、閾値以上の割合で一致する電子書籍データ２２の文字列を検索する。
【００５８】
具体的には、端末２の手書き情報反映アプリケーション２４は、手書き情報データ２３ａの抽出文字列の先頭から、文字列の最後まで１文字ずつ電子書籍データ２２とマッチングを行い、マッチしたら１、マッチしなかったら０というようにスコアリングし、予め設定した閾値を元にマッチするかしないかを判断する。例えば、１９文字の抽出文字列に完全一致させる場合にはスコアが１９でなければならないが、閾値（一致する割合）を設定することで、あいまい検索が可能となる。
【００５９】
ステップＳ１２において、端末２の手書き情報反映アプリケーション２４は、ステップＳ１１の処理で検索した電子書籍データ２２の文字列を囲むマーカタグを追加する。
【００６０】
具体的には、図５に示した読取画像データ２１ａにおいて、「吾輩（わがはい）は猫である。名前はまだ無い。」の一文がひとつの段落を構成している。すなわち、XML（Extensible Markup Language）の形式で記述された電子書籍データ２２では、「吾輩（わがはい）は猫である。名前はまだ無い。」の前段に「<P>」が記述され、後段に「</P>」が記述されることで、<P>〜</P>で囲まれた部分がひとつの段落であることが表されている。
【００６１】
図８に示すように、手書き情報データ２３ａにおける「吾輩（わがはい）は猫」と「である。名前はまだ無い。」の抽出文字列は別々に抽出されているため、電子書籍データ２２のXMLファイルにおける「吾輩（わがはい）は猫」の前段に「<span class＝“mark”>」が記述され、後段に「</span>」が記述される。また、「である。名前はまだ無い。」の前段に「<span class＝“mark”>」が記述され、後段に「</span>」が記述される。これにより、<span class＝“mark”>〜</span>で囲まれた部分にマーカタグ（マーカ機能）が追加される。
【００６２】
図９の説明に戻る。ステップＳ１３において、端末２の手書き情報反映アプリケーション２４は、ステップＳ１２の処理で追加したマーカタグのうち、連続するマーカタグを統合する。これにより、電子書籍データ２２のXMLファイルにおける「吾輩（わがはい）は猫」と「である。名前はまだ無い。」にそれぞれマーカタグが追加されていたが、それらが１つに統合される。
【００６３】
なお、図８に示すように、手書き情報データ２３ａにおける「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の抽出文字列は一続きで抽出されているため、１つのマーカタグが追加され、マーカタグの統合の必要はない。
【００６４】
図１０は、マーカタグが追加された電子書籍データ２２のXMLファイル４１ａと、そのファイルに基づく表示画面４２ａの例を示す図である。
【００６５】
図１０に示すように、電子書籍データ２２のXMLファイル４１ａには、「吾輩（わがはい）は猫である。名前はまだ無い。」の前後にマーカタグが記述されているとともに、「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の前後にマーカタグが記述されている。電子書籍ビューア２５は、このXMLファイル４１ａに基づいて表示画面４２ａを表示部１６に表示させることができる。図１０の例では、紙書籍４の紙面で付与された手書きマーカが電子書籍データ２２に反映され、表示されている（図中、斜線で囲まれた領域）。
【００６６】
［本発明の第１の実施の形態における効果］
１．以上のように、紙書籍に付与したマーカを簡単にリフロー型の電子書籍に反映することができる。例えば、学校の教科書や参考書などの場合、授業中に複数の書籍にマーカした内容を電子書籍に反映することによって、電車などでまとめて確認することができる。
【００６７】
２．著名人が付与したマーカをリフロー型の電子書籍に反映することによって、新たな付加価値を持つ電子書籍を提供することができる。例えば、著名人のファンなどは、オリジナルの電子書籍にあまり関心がなくても、著名人が特にお勧めする文章がマーカされた電子書籍であれば購入することが考えられ、販促効果が期待できる。
【００６８】
［本発明の第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００６９】
第２の実施の形態において、基本的なシステム構成（図１）、端末２のハードウエア構成（図２）および記憶部１２に記憶される情報（図３）は、第１の実施の形態と同様である。第２の実施の形態では、手書き情報として、メモ書きを抽出して電子書籍データ２２に反映させることを特徴とするものである。
【００７０】
図１１は、手書き情報反映システム１が実行する、第２の実施の形態における手書き情報抽出処理を説明するフローチャートである。図１１の説明に当たり、図１２〜図１５を参照し、具体的な処理内容も説明する。
【００７１】
ステップＳ２１において、読取装置３は、手書き文字が書き込まれた紙書籍４の紙面を読み取り、読取画像データを生成する。
【００７２】
図１２は、読取装置３により読み取られ、生成された読取画像データ２１ｃ、２１ｄの例を示す図である。
【００７３】
図１２に示すように、読取画像データ２１ｃには、基本版面５２内の上方（「吾輩」と「である。」の行間付近）に、「メモＡです。」の手書き文字５１ａが書き込まれている。また、読取画像データ２１ｄには、基本版面５２外の下方に、「メモＢです。」の手書き文字５１ｂが書き込まれている。なお、読取画像データ２１ｄには、書籍画像５３も含まれる。
【００７４】
図１１の説明に戻る。ステップＳ２２において、端末２の手書き情報反映アプリケーション２４は、紙書籍４の紙面の基本版面を取得する。例えば、手書き情報反映アプリケーション２４は、紙面における本文のうち、最左端の文字列のエッジと最右端の文字列のエッジから横サイズを算出し、最上端の文字列のエッジと最下端の文字列のエッジから縦サイズを算出することで、基本版面を取得することができる。
【００７５】
ステップＳ２３において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２２の処理で取得した基本版面外におけるエッジを算出し、エッジが多い領域を抽出する。つまり、基本版面外には本文が存在しないため、エッジが多い領域がメモ書き候補として抽出される。例えば、図１２において、読取画像データ２１ｄ内に含まれる手書き文字５１ｂが抽出領域画像として抽出される。
【００７６】
ステップＳ２４において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２２の処理で取得した基本版面内におけるエッジを算出し、エッジの出現位置が不規則な領域を抽出する。
【００７７】
具体的には、予め、メモ書きがない紙面に基づいて行領域と行間領域の幅を算出しておき、メモ書きがある紙面に対して行間領域を走査することで、エッジを探索していく。本文はエッジの出方が規則的であるが、メモ書きや画像等は不規則になるため、エッジの出方が不規則になる領域がメモ書き候補として抽出される。この方法によると、画像なども抽出される。例えば、図１２において、読取画像データ２１ｃに含まれる手書き文字５１ａと、読取画像データ２１ｄに含まれる手書き文字５１ｂが抽出領域画像として抽出される。
【００７８】
ステップＳ２５において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２３、Ｓ２４の処理で抽出した抽出領域画像ごとにヒストグラムを算出し、ヒストグラムが幅広く分布している抽出領域画像を書籍画像と判定する。
【００７９】
図１３は、抽出領域画像から算出されたヒストグラムの例を示す図である。
【００８０】
図１３（ａ）は、図１２に示した手書き文字５１ａに対応する抽出領域画像６１ａから算出されたヒストグラム６２ａを示している。図１３（ｂ）は、図１２に示した書籍画像５３に対応する抽出領域画像６１ｂから算出されたヒストグラム６２ｂを示している。図１３（ｃ）は、図１２に示した手書き文字５１ｂに対応する抽出領域画像６１ｃから算出されたヒストグラム６２ｃを示している。
【００８１】
これらの図からもわかる通り、ヒストグラム６２ｂだけが幅広く分布しており、ヒストグラム６２ａ、６２ｃは分布が両端に偏っている。従って、ヒストグラム６２ｂを算出する上で元画像となった抽出領域画像６１ｂは、メモ書きではなく、書籍画像と判断することができる。
【００８２】
図１１の説明に戻る。ステップＳ２６において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２３、Ｓ２４で抽出された抽出領域画像に基づく反映メモ選択画面を生成し、表示部１６に表示させる。
【００８３】
図１４は、反映メモ選択画面７１の表示例を示す図である。
【００８４】
図１４に示すように、反映メモ選択画面７１には、抽出領域画像６１ａ、６１ｂ、６１ｃがそれぞれファイル名とともに表示されており、各画像の左側にチェックボックスが配置され、手書きメモと判断された抽出領域画像にはチェックが入れられている。図１４の例の場合、ステップＳ２５の処理で抽出領域画像６１ｂは書籍画像であると判定されたため、チェックが外されている。
【００８５】
また反映メモ選択画面７１には、チェックボックスにチェックが入れられた手書きメモ（抽出領域画像）を電子書籍データ２２に反映する場合に選択される決定ボタン７１ａ、電子書籍データ２２への反映をキャンセルする場合に選択されるキャンセルボタン７１ｂも表示されている。
【００８６】
図１１の説明に戻る。ステップＳ２７において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２６の処理で反映メモ選択画面７１に表示された抽出領域画像６１ａ〜６１ｃごとに、読取画像データ２１における抽出領域と近い位置の文字列をそれぞれ特定する。ステップＳ２８において、端末２の手書き情報反映アプリケーション２４は、抽出領域画像６１ａ〜６１ｃと、ステップＳ２７の処理で特定された抽出文字列とを対応付けて手書き情報データ（メモ）として記憶部１２に保存する。
【００８７】
図１５は、手書き情報データ２３ｂの例を示す図である。
【００８８】
図１５に示すように、Ｎｏ．１のデータ格納領域には、種別が「メモ」、抽出領域画像が「Memo001.png」、抽出領域と近い位置の文字列が「ｘｘ（わがはい）は」の手書き情報データが保存され、Ｎｏ．２のデータ格納領域には、種別が「メモ」、抽出領域画像が「Memo003.png」、抽出領域と近い位置の文字列が「見始（みはじめ）であろう。」の手書き情報データが保存される。なお、Ｎｏ．１のデータ格納領域に記憶される文字列のうち「ｘｘ」は、文字認識できなかった文字を示している。
【００８９】
以上のようにして、手書き情報反映システム１は、メモが書き込まれた紙書籍４の紙面を読み取り、エッジが多い、またはエッジ出現位置が不規則な領域を手書き情報として抽出し、保存することができる。
【００９０】
図１６は、手書き情報反映システム１が実行する、第２の実施の形態における手書き情報反映処理を説明するフローチャートである。図１６の説明に当たり、図１７を参照し、具体的な処理内容も説明する。
【００９１】
ステップＳ３１において、端末２の手書き情報反映アプリケーション２４は、記憶部１２に保存されている手書き情報データ２３ｂ（図１５）の抽出領域と近い位置の文字列と、閾値以上の割合で一致する電子書籍データ２２の文字列を検索する。
【００９２】
具体的には、端末２の手書き情報反映アプリケーション２４は、第１の実施の形態と同様に、手書き情報データ２３ｂの文字列の先頭から、文字列の最後まで１文字ずつ電子書籍データ２２とマッチングを行い、マッチしたら１、マッチしなかったら０というようにスコアリングし、予め設定した閾値を元にマッチするかしないかを判断する。
【００９３】
ステップＳ３２において、端末２の手書き情報反映アプリケーション２４は、ステップＳ３１の処理で検索した電子書籍データ２２の文字列を囲むメモタグを追加する。
【００９４】
具体的には、上述した処理によって、図１５に示すように、手書き情報データ２３ｂにおける「ｘｘ（わがはい）は」と「見始（みはじめ）であろう。」が手書きメモの抽出領域と近い位置の文字列として抽出されているため、電子書籍データ２２のXMLファイルにおける「吾輩（わがはい）は」の前段に「<memo
src=“Memo001.png”>」が記述され、後段に「</memo>」が記述される。また、「見始（みはじめ）であろう。」の前段に「<memo src=“Memo001.png”>」が記述され、後段に「</memo>」が記述される。これにより、<memo src=“Memo001.png”>〜</memo>で囲まれた領域にメモタグ（メモ機能）が追加される。
【００９５】
図１７は、メモタグが追加された電子書籍データ２２のXMLファイル４１ｂと、そのファイルに基づく表示画面４２ｂの例を示す図である。
【００９６】
図１７に示すように、電子書籍データ２２のXMLファイル４１ｂには、「吾輩（わがはい）は」の前後にメモタグが記述されているとともに、「見始（みはじめ）であろう。」の前後にメモタグが記述されている。電子書籍ビューア２５は、このXMLファイル４１ｂに基づいて表示画面４２ｂを表示部１６に表示させることができる。図１７の例では、紙書籍４の紙面でのメモ書きが電子書籍データ２２に反映され、「メモＡです。」と「メモＢです。」の吹き出しとして表示されている。なお、図１７の例では、吹き出しが表示されている状態とされているが、実際には、メモタグで囲まれた文字列がタップされる（またはマウスが通過される）ときのみ表示される。
【００９７】
［本発明の第２の実施の形態における効果］
１．以上のように、紙書籍に書き込んだメモを簡単にリフロー型の電子書籍に反映することができる。例えば、学校の教科書や参考書などの場合、授業中に複数の書籍にメモした内容を電子書籍に反映することによって、電車などでまとめて確認することができる。
【００９８】
２．著名人が書き込んだメモをリフロー型の電子書籍に反映することによって、新たな付加価値を持つ電子書籍を提供することができる。例えば、著名人のファンなどは、オリジナルの電子書籍にあまり関心がなくても、著名人が直接書き込んだメモ入り電子書籍であれば購入することが考えられ、販促効果が期待できる。
【００９９】
［変形例］
以上においては、紙書籍に付与したマーカやメモ書きをリフロー型の電子書籍データに反映するようにしたが、これに限らず、例えば、ページの隅を折り曲げてある箇所（しおり）を検出し、そのページの先頭の文字列を抽出し、電子書籍データの文字列とマッチングする文字列にしおり機能を追加するようにしてもよい。
【０１００】
例えば、図１８に示すように、読取装置３により、読取画像データ２１ｅ、２１ｆが生成されたとする。読取画像データ２１ｆには、右上方隅にしおりが折り曲げられている。
【０１０１】
端末２の手書き情報反映アプリケーション２４は、紙書籍４の紙面の基本版面外の四隅を探索し、折り曲げ（図１８の例の場合、三角形のエッジ）を検出すると、それを、しおりとして抽出するとともに、その折り曲げを抽出したページの先頭の文字列を抽出する。そして、手書き情報反映アプリケーション２４は、図１９に示すように、種別が「しおり」、抽出文字列が「えて煮（に）て食うという話である。」の手書き情報データ２３ｃを記憶部１２に保存することができる。
【０１０２】
以上のようにして、手書き情報反映システム１は、しおりが折り曲げられた紙書籍４の紙面を読み取り、折り曲げを手書き情報として抽出し、保存することができる。
【０１０３】
以上、添付図面を参照しながら、本発明に係る手書き情報反映システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０４】
１………手書き情報反映システム
２………端末
３………読取装置
４………紙書籍
１１………制御部
１２………記憶部
１６………表示部
【技術分野】
【０００１】
本発明は、手書き情報反映システム、手書き情報反映方法、およびプログラムに関し、特に、紙媒体から抽出した手書き情報を電子書籍データに反映する手書き情報反映システム等に関する。
【背景技術】
【０００２】
近年、紙の節約、嵩張る紙の輸送や保管費の削減のため、ディスプレイに表示して閲覧するデジタルデータによる電子書籍が提供されるようになってきている。
【０００３】
書籍が電子化されることにより、様々な利用方法が可能となる。特許文献１には、読書進行状況情報に応じた実際の書籍と同様の厚みを有する縦縞模様を表示することにより、現在表示しているページが書籍全体としてどの当りの位置に相当するのかをユーザに対して直感的かつ大まかに認識させる技術が提案されている。
【０００４】
また特許文献２には、ページ毎に索引としてのキーワードを抽出し、そのキーワードから目次を作成することにより、検索に必要とされる文字列の入力を不要として、それら電子化ドキュメントを容易に検索・表示する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１５０６１８号公報
【特許文献２】特開２００５−２７５７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１および特許文献２の技術では、紙媒体に付与されたマーカやメモ書きを抽出し、抽出したマーカやメモ書きを手書き情報としてリフロー型電子書籍データに反映することができない課題があった。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、紙媒体から抽出した手書き情報をリフロー型電子書籍データに反映する手書き情報反映システム等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、第１の本発明は、リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶手段と、前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出手段と、前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映手段と、を具備することを特徴とする手書き情報反映システムである。
第１の発明によって、紙媒体から抽出した手書き情報を電子書籍データに簡単に反映することが可能となる。
【０００９】
前記抽出手段は、前記手書き情報としてメモ書きを含むメモ画像を抽出し、前記反映位置として前記メモ画像と近い位置の文字列を抽出する。
これにより、メモ書きとして抽出されたメモ画像と、そのメモ画像と近い位置の文字列とを対応付けて手書き情報データとして保存することができる。
【００１０】
前記抽出手段は、前記メモ画像のヒストグラムを算出し、前記ヒストグラムの分布に応じてメモ画像と書籍画像を区別する。
これにより、誤ってメモ画像として抽出された書籍画像をメモ画像の対象から除外することができる。
【００１１】
前記反映手段は、反映させる前記メモ画像の選択画面を表示し、前記選択画面で選択された前記メモ画像を前記リフロー型電子書籍データに反映する。
これにより、反映させるメモ画像を確認することができるため、ユーザは、メモ画像のみを確実に電子書籍データに反映することができる。
【００１２】
前記抽出手段は、前記手書き情報としてマーカ領域を抽出し、前記反映位置として前記マーカ領域内の文字列を抽出する。
これにより、マーカ領域ごとにマーカ領域内の文字列を手書き情報データとして保存することができる。
【００１３】
第２の発明は、リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、を含むことを特徴とする。
第２の発明によって、紙媒体から抽出した手書き情報を電子書籍データに簡単に反映することが可能となる。
【００１４】
第３の発明は、リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、を実行させるためのプログラムである。
【００１５】
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る手書き情報反映システムを得ることができる。
【発明の効果】
【００１６】
本発明により、紙媒体から抽出した手書き情報をリフロー型電子書籍データに反映する手書き情報反映システム等を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態に係る手書き情報反映システムの構成例を示す図である。
【図２】第１の実施の形態における端末のハードウエア構成例を示す図である。
【図３】第１の実施の形態における端末の記憶部に記憶される情報の例である。
【図４】第１の実施の形態における手書き情報抽出処理を説明するフローチャートである。
【図５】第１の実施の形態における読取画像データの例を示す図である。
【図６】２値化領域の行間を除いた行ごとの行領域を抽出する例を示す図である。
【図７】行領域ごとに１文字ごとの文字領域を抽出する例を示す図である。
【図８】第１の実施の形態における手書き情報データの例を示す図である。
【図９】第１の実施の形態における手書き情報反映処理を説明するフローチャートである。
【図１０】マーカタグが追加された電子書籍データのXMLファイルと、そのファイルに基づく表示画面の一例を示す図である。
【図１１】第２の実施の形態における手書き情報抽出処理を説明するフローチャートである。
【図１２】第２の実施の形態における読取画像データの例を示す図である。
【図１３】抽出領域画像から算出されたヒストグラムの例を示す図である。
【図１４】反映メモ選択画面の表示例を示す図である。
【図１５】第２の実施の形態における手書き情報データの例を示す図である。
【図１６】第２の実施の形態における手書き情報反映処理を説明するフローチャートである。
【図１７】メモタグが追加された電子書籍データのXMLファイルと、そのファイルに基づく表示画面の例を示す図である。
【図１８】変形例における読取画像データの例を示す図である。
【図１９】変形例における手書き情報データの例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００１９】
［本発明の第１の実施の形態］
図１は、本発明の実施の形態に係る手書き情報反映システム１の構成例を示す図である。
【００２０】
図１に示す手書き情報反映システム１は、端末２と読取装置３とが相互に接続されることで構成される。端末２は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disc Drive）等からなるコンピュータシステムであり、例えば、パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォンである。
【００２１】
端末２は、リフロー型の電子書籍データを記憶する。電子書籍データには、書誌データ（書籍の題号、著者、出版社、出版年月等）、目次データ（書籍の本文の内容を示す見出し等）、本文データ（書籍の本文に関する電子データ）、文献リストデータ（書籍の著者、題号、出版社、出版年月等）などが含まれる。
【００２２】
リフロー型の電子書籍データとは、文字を大きくすればページ数が増え、文字を小さくすればページ数が減るといったように、文字の大きさを変更しても画面に合わせて文字がリフローするため、ページ送りだけで読み進めることができる電子書籍データのことである。
【００２３】
端末２は、読み取り装置３が紙書籍４から読み取った読取画像のデータを受信し、記憶する。また端末２は、読取画像データから所定の抽出条件に基づいて手書き情報を抽出するとともに、電子書籍データから手書き情報にマッチングする位置を反映位置として抽出し、その反映位置に手書き情報を反映する。第１の実施の形態でいう手書き情報とは、例えば、蛍光ペンによるマーカラインが付与された部分のことである。
【００２４】
読取装置３は、例えば、スキャナやカメラなどであり、紙書籍４の紙面を読み取り、読取画像データを生成する。第１の実施の形態において、読取装置３は、紙書籍４の１頁分を画像化することができる装置であれば、何でもよい。なお、端末２にカメラが実装されている場合、端末２と読取装置３は一体とされる。
【００２５】
図２は、端末２のハードウエア構成例を示す図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２６】
端末２は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２７】
制御部１１は、CPU、ROM、RAM等で構成される。CPUは、記憶部１２、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、端末２が行う後述する処理を実現する。ROMは、不揮発性メモリであり、端末２のブートプログラムやBIOS（Basic Input/Output System）等のプログラム、データ等を恒久的に保持している。RAMは、揮発性メモリであり、記憶部１２、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２８】
記憶部１２は、HDD等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を端末２に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
【００２９】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ROM、−Ｒ、−ＲＷ等）、DVDドライブ（−ROM、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
【００３０】
通信制御部１４は、通信制御装置、通信ポート等を有し、端末２とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３１】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、端末２に対して、操作指示、動作指示、データ入力等を行うことができる。
【００３２】
表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して端末２のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３３】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、端末２に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して端末２は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、USB（Universal Serial Bus）やIEEE（The Institute of Electrical and
Electronics Engineers）１３９４やＲＳ（Recommended Standard）−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３４】
図３は、端末２の記憶部１２に記憶される情報の例である。
【００３５】
図３に示すように、端末２の記憶部１２は、読取画像データ２１、電子書籍データ２２、手書き情報データ２３、手書き情報反映ＡＰ（アプリケーション）２４、および電子書籍ビューア２５を記憶している。
【００３６】
読取画像データ２１は、読取装置３で読み取られた紙書籍４が画像化されたデータである。電子書籍データ２２は、書籍１冊分のデータであって、書誌データ、目次データ、本文データ、文献リストデータなどを含み、リフロー型に制作されたデータである。
【００３７】
手書き情報データ２３は、手書き情報反映アプリケーション２４により、所定の抽出条件に基づいて読取画像データ２１から抽出された手書き情報のデータである。
【００３８】
手書き情報反映アプリケーション２４は、所定の抽出条件に基づいて、読取画像データ２１から手書き情報を抽出し、手書き情報データ２３を生成する。また手書き情報反映アプリケーション２４は、電子書籍データ２２から手書き情報にマッチングする位置を反映位置として抽出し、その反映位置に、抽出された手書き情報を反映する。
【００３９】
電子書籍ビューア２５は、手書き情報が反映された電子書籍データ２２を取得し、その内容を表示する。
【００４０】
図４は、手書き情報反映システム１が実行する、第１の実施の形態における手書き情報抽出処理を説明するフローチャートである。図４の説明に当たり、図５〜図９を参照し、具体的な処理内容も説明する。
【００４１】
ステップＳ１において、読取装置３は、蛍光ペンなどによるマーカラインが付与された紙書籍４の紙面を読み取り、読取画像データを生成する。
【００４２】
図５は、読取装置３により読み取られ、生成された読取画像データ２１ａ、２１ｂの例を示す図である。
【００４３】
図５に示すように、読取画像データ２１ａには、「吾輩（わがはい）は猫」の文字にマーカ３０ａが付与されているとともに、「である。名前はまだ無い。」の文字にマーカ３０ｂが付与されている。また、読取画像データ２１ｂには、「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の文字にマーカ３０ｃが付与されている。図５の例では、読取画像データ２１ａに含まれるマーカ３０ａとマーカ３０ｂは、互いのマーカラインが接していないが、読取画像データ２１ｂに含まれるマーカ３０ｃは、複数行のマーカラインが接している。
【００４４】
図４の説明に戻る。ステップＳ２において、端末２の手書き情報反映アプリケーション２４は、ステップＳ１の処理で読取装置３により生成された読取画像データを走査し、背景色が異なる領域（例えば、蛍光色）を抽出する。例えば、図５において、マーカ３０ａ、３０ｂ、３０ｃ（斜線で囲まれた領域）が異なる領域と判断され、矢印Ｓ２の先に示すように、抽出領域３１ａ、３１ｂ、３１ｃとしてそれぞれ抽出される。
【００４５】
図４の説明に戻る。ステップＳ３において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２の処理で抽出した抽出領域ごとに、抽出領域内のエッジを算出し、２値化する。例えば、図５において、抽出領域３１ａ、３１ｂ、３１ｃ内のエッジが算出されて２値化され、矢印Ｓ３の先に示すように、２値化領域３２ａ、３２ｂ、３２ｃがそれぞれ得られる。
【００４６】
図４の説明に戻る。ステップＳ４において、端末２の手書き情報反映アプリケーション２４は、ステップＳ３の処理で２値化した２値化領域ごとに、行間を除いた行ごとの行領域を抽出する。
【００４７】
図６は、２値化領域３２ｃの行間を除いた行ごとの行領域を抽出する例を示す図である。
【００４８】
図６に示すように、２値化領域３２ｃには、「しかしその」の文字列が含まれる行、「当時は何という考もな」の文字列が含まれる行、「かったから別段恐ろしいと」の文字列が含まれる行、「も思わなかった。」の文字列が含まれる行、および行間（空白）が含まれている。この２値化領域３２ｃにおいて、矢印Ｓ４の先に示すように、行間を除く行ごとの行領域３３ａ、３３ｂ、３３ｃ、３３ｄがそれぞれ抽出される。なお、図５における２値化領域３２ａ、３２ｂは、行間を含まない１行からなる文字列であるため、２値化領域３２ａ、３２ｂがそのまま行領域となる（図示せず）。
【００４９】
図４の説明に戻る。ステップＳ５において、端末２の手書き情報反映アプリケーション２４は、ステップＳ４の処理で抽出した行領域ごとに、１文字ごとの文字領域を抽出する。
【００５０】
図７は、行領域３３ａごとに１文字ごとの文字領域を抽出する例を示す図である。
【００５１】
図７に示すように、行領域３３ａには、「しかしその」の文字列が含まれており、矢印Ｓ５の先に示すように、「し」の文字領域３４ａ、「か」の文字領域３４ｂ、「し」の文字領域３４ｃ、「そ」の文字領域３４ｄ、「の」の文字領域３４ｅがそれぞれ抽出される。
【００５２】
図４の説明に戻る。ステップＳ６において、端末２の手書き情報反映アプリケーション２４は、ステップＳ５の処理で抽出した文字領域ごとに、文字認識を行い、文字コードを特定する。ステップＳ７において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２の処理で抽出した抽出領域ごとに、抽出領域内の文字コード群を手書き情報データ（マーカ）として記憶部１２に保存する。
【００５３】
図８は、手書き情報データ２３ａの例を示す図である。
【００５４】
図８に示すように、Ｎｏ．１のデータ格納領域には、種別が「マーカ」、抽出文字列が「吾輩（わがはい）は猫」の手書き情報データ（抽出領域３１ａ内の文字コード群）が保存され、Ｎｏ．２のデータ格納領域には、種別が「マーカ」、抽出文字列が「である。名前はまだ無い。」の手書き情報データ（抽出領域３１ｂ内の文字コード群）が保存され、Ｎｏ．３のデータ格納領域には、種別が「マーカ」、抽出文字列が「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の手書き情報データ（抽出領域３１ｃ内の文字コード群）が保存される。
【００５５】
以上のようにして、手書き情報反映システム１は、蛍光ペンによるマーカラインが付与された紙書籍４の紙面を読み取り、そのマーカ領域を手書き情報として抽出し、保存することができる。
【００５６】
図９は、手書き情報反映システム１が実行する、第１の実施の形態における手書き情報反映処理を説明するフローチャートである。図９の説明に当たり、図１０を参照し、具体的な処理内容も説明する。
【００５７】
ステップＳ１１において、端末２の手書き情報反映アプリケーション２４は、記憶部１２に保存されている手書き情報データ２３ａ（図８）の抽出文字列と、閾値以上の割合で一致する電子書籍データ２２の文字列を検索する。
【００５８】
具体的には、端末２の手書き情報反映アプリケーション２４は、手書き情報データ２３ａの抽出文字列の先頭から、文字列の最後まで１文字ずつ電子書籍データ２２とマッチングを行い、マッチしたら１、マッチしなかったら０というようにスコアリングし、予め設定した閾値を元にマッチするかしないかを判断する。例えば、１９文字の抽出文字列に完全一致させる場合にはスコアが１９でなければならないが、閾値（一致する割合）を設定することで、あいまい検索が可能となる。
【００５９】
ステップＳ１２において、端末２の手書き情報反映アプリケーション２４は、ステップＳ１１の処理で検索した電子書籍データ２２の文字列を囲むマーカタグを追加する。
【００６０】
具体的には、図５に示した読取画像データ２１ａにおいて、「吾輩（わがはい）は猫である。名前はまだ無い。」の一文がひとつの段落を構成している。すなわち、XML（Extensible Markup Language）の形式で記述された電子書籍データ２２では、「吾輩（わがはい）は猫である。名前はまだ無い。」の前段に「<P>」が記述され、後段に「</P>」が記述されることで、<P>〜</P>で囲まれた部分がひとつの段落であることが表されている。
【００６１】
図８に示すように、手書き情報データ２３ａにおける「吾輩（わがはい）は猫」と「である。名前はまだ無い。」の抽出文字列は別々に抽出されているため、電子書籍データ２２のXMLファイルにおける「吾輩（わがはい）は猫」の前段に「<span class＝“mark”>」が記述され、後段に「</span>」が記述される。また、「である。名前はまだ無い。」の前段に「<span class＝“mark”>」が記述され、後段に「</span>」が記述される。これにより、<span class＝“mark”>〜</span>で囲まれた部分にマーカタグ（マーカ機能）が追加される。
【００６２】
図９の説明に戻る。ステップＳ１３において、端末２の手書き情報反映アプリケーション２４は、ステップＳ１２の処理で追加したマーカタグのうち、連続するマーカタグを統合する。これにより、電子書籍データ２２のXMLファイルにおける「吾輩（わがはい）は猫」と「である。名前はまだ無い。」にそれぞれマーカタグが追加されていたが、それらが１つに統合される。
【００６３】
なお、図８に示すように、手書き情報データ２３ａにおける「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の抽出文字列は一続きで抽出されているため、１つのマーカタグが追加され、マーカタグの統合の必要はない。
【００６４】
図１０は、マーカタグが追加された電子書籍データ２２のXMLファイル４１ａと、そのファイルに基づく表示画面４２ａの例を示す図である。
【００６５】
図１０に示すように、電子書籍データ２２のXMLファイル４１ａには、「吾輩（わがはい）は猫である。名前はまだ無い。」の前後にマーカタグが記述されているとともに、「しかしその当時は何という考もなかったから別段恐ろしいとも思わなかった。」の前後にマーカタグが記述されている。電子書籍ビューア２５は、このXMLファイル４１ａに基づいて表示画面４２ａを表示部１６に表示させることができる。図１０の例では、紙書籍４の紙面で付与された手書きマーカが電子書籍データ２２に反映され、表示されている（図中、斜線で囲まれた領域）。
【００６６】
［本発明の第１の実施の形態における効果］
１．以上のように、紙書籍に付与したマーカを簡単にリフロー型の電子書籍に反映することができる。例えば、学校の教科書や参考書などの場合、授業中に複数の書籍にマーカした内容を電子書籍に反映することによって、電車などでまとめて確認することができる。
【００６７】
２．著名人が付与したマーカをリフロー型の電子書籍に反映することによって、新たな付加価値を持つ電子書籍を提供することができる。例えば、著名人のファンなどは、オリジナルの電子書籍にあまり関心がなくても、著名人が特にお勧めする文章がマーカされた電子書籍であれば購入することが考えられ、販促効果が期待できる。
【００６８】
［本発明の第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００６９】
第２の実施の形態において、基本的なシステム構成（図１）、端末２のハードウエア構成（図２）および記憶部１２に記憶される情報（図３）は、第１の実施の形態と同様である。第２の実施の形態では、手書き情報として、メモ書きを抽出して電子書籍データ２２に反映させることを特徴とするものである。
【００７０】
図１１は、手書き情報反映システム１が実行する、第２の実施の形態における手書き情報抽出処理を説明するフローチャートである。図１１の説明に当たり、図１２〜図１５を参照し、具体的な処理内容も説明する。
【００７１】
ステップＳ２１において、読取装置３は、手書き文字が書き込まれた紙書籍４の紙面を読み取り、読取画像データを生成する。
【００７２】
図１２は、読取装置３により読み取られ、生成された読取画像データ２１ｃ、２１ｄの例を示す図である。
【００７３】
図１２に示すように、読取画像データ２１ｃには、基本版面５２内の上方（「吾輩」と「である。」の行間付近）に、「メモＡです。」の手書き文字５１ａが書き込まれている。また、読取画像データ２１ｄには、基本版面５２外の下方に、「メモＢです。」の手書き文字５１ｂが書き込まれている。なお、読取画像データ２１ｄには、書籍画像５３も含まれる。
【００７４】
図１１の説明に戻る。ステップＳ２２において、端末２の手書き情報反映アプリケーション２４は、紙書籍４の紙面の基本版面を取得する。例えば、手書き情報反映アプリケーション２４は、紙面における本文のうち、最左端の文字列のエッジと最右端の文字列のエッジから横サイズを算出し、最上端の文字列のエッジと最下端の文字列のエッジから縦サイズを算出することで、基本版面を取得することができる。
【００７５】
ステップＳ２３において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２２の処理で取得した基本版面外におけるエッジを算出し、エッジが多い領域を抽出する。つまり、基本版面外には本文が存在しないため、エッジが多い領域がメモ書き候補として抽出される。例えば、図１２において、読取画像データ２１ｄ内に含まれる手書き文字５１ｂが抽出領域画像として抽出される。
【００７６】
ステップＳ２４において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２２の処理で取得した基本版面内におけるエッジを算出し、エッジの出現位置が不規則な領域を抽出する。
【００７７】
具体的には、予め、メモ書きがない紙面に基づいて行領域と行間領域の幅を算出しておき、メモ書きがある紙面に対して行間領域を走査することで、エッジを探索していく。本文はエッジの出方が規則的であるが、メモ書きや画像等は不規則になるため、エッジの出方が不規則になる領域がメモ書き候補として抽出される。この方法によると、画像なども抽出される。例えば、図１２において、読取画像データ２１ｃに含まれる手書き文字５１ａと、読取画像データ２１ｄに含まれる手書き文字５１ｂが抽出領域画像として抽出される。
【００７８】
ステップＳ２５において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２３、Ｓ２４の処理で抽出した抽出領域画像ごとにヒストグラムを算出し、ヒストグラムが幅広く分布している抽出領域画像を書籍画像と判定する。
【００７９】
図１３は、抽出領域画像から算出されたヒストグラムの例を示す図である。
【００８０】
図１３（ａ）は、図１２に示した手書き文字５１ａに対応する抽出領域画像６１ａから算出されたヒストグラム６２ａを示している。図１３（ｂ）は、図１２に示した書籍画像５３に対応する抽出領域画像６１ｂから算出されたヒストグラム６２ｂを示している。図１３（ｃ）は、図１２に示した手書き文字５１ｂに対応する抽出領域画像６１ｃから算出されたヒストグラム６２ｃを示している。
【００８１】
これらの図からもわかる通り、ヒストグラム６２ｂだけが幅広く分布しており、ヒストグラム６２ａ、６２ｃは分布が両端に偏っている。従って、ヒストグラム６２ｂを算出する上で元画像となった抽出領域画像６１ｂは、メモ書きではなく、書籍画像と判断することができる。
【００８２】
図１１の説明に戻る。ステップＳ２６において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２３、Ｓ２４で抽出された抽出領域画像に基づく反映メモ選択画面を生成し、表示部１６に表示させる。
【００８３】
図１４は、反映メモ選択画面７１の表示例を示す図である。
【００８４】
図１４に示すように、反映メモ選択画面７１には、抽出領域画像６１ａ、６１ｂ、６１ｃがそれぞれファイル名とともに表示されており、各画像の左側にチェックボックスが配置され、手書きメモと判断された抽出領域画像にはチェックが入れられている。図１４の例の場合、ステップＳ２５の処理で抽出領域画像６１ｂは書籍画像であると判定されたため、チェックが外されている。
【００８５】
また反映メモ選択画面７１には、チェックボックスにチェックが入れられた手書きメモ（抽出領域画像）を電子書籍データ２２に反映する場合に選択される決定ボタン７１ａ、電子書籍データ２２への反映をキャンセルする場合に選択されるキャンセルボタン７１ｂも表示されている。
【００８６】
図１１の説明に戻る。ステップＳ２７において、端末２の手書き情報反映アプリケーション２４は、ステップＳ２６の処理で反映メモ選択画面７１に表示された抽出領域画像６１ａ〜６１ｃごとに、読取画像データ２１における抽出領域と近い位置の文字列をそれぞれ特定する。ステップＳ２８において、端末２の手書き情報反映アプリケーション２４は、抽出領域画像６１ａ〜６１ｃと、ステップＳ２７の処理で特定された抽出文字列とを対応付けて手書き情報データ（メモ）として記憶部１２に保存する。
【００８７】
図１５は、手書き情報データ２３ｂの例を示す図である。
【００８８】
図１５に示すように、Ｎｏ．１のデータ格納領域には、種別が「メモ」、抽出領域画像が「Memo001.png」、抽出領域と近い位置の文字列が「ｘｘ（わがはい）は」の手書き情報データが保存され、Ｎｏ．２のデータ格納領域には、種別が「メモ」、抽出領域画像が「Memo003.png」、抽出領域と近い位置の文字列が「見始（みはじめ）であろう。」の手書き情報データが保存される。なお、Ｎｏ．１のデータ格納領域に記憶される文字列のうち「ｘｘ」は、文字認識できなかった文字を示している。
【００８９】
以上のようにして、手書き情報反映システム１は、メモが書き込まれた紙書籍４の紙面を読み取り、エッジが多い、またはエッジ出現位置が不規則な領域を手書き情報として抽出し、保存することができる。
【００９０】
図１６は、手書き情報反映システム１が実行する、第２の実施の形態における手書き情報反映処理を説明するフローチャートである。図１６の説明に当たり、図１７を参照し、具体的な処理内容も説明する。
【００９１】
ステップＳ３１において、端末２の手書き情報反映アプリケーション２４は、記憶部１２に保存されている手書き情報データ２３ｂ（図１５）の抽出領域と近い位置の文字列と、閾値以上の割合で一致する電子書籍データ２２の文字列を検索する。
【００９２】
具体的には、端末２の手書き情報反映アプリケーション２４は、第１の実施の形態と同様に、手書き情報データ２３ｂの文字列の先頭から、文字列の最後まで１文字ずつ電子書籍データ２２とマッチングを行い、マッチしたら１、マッチしなかったら０というようにスコアリングし、予め設定した閾値を元にマッチするかしないかを判断する。
【００９３】
ステップＳ３２において、端末２の手書き情報反映アプリケーション２４は、ステップＳ３１の処理で検索した電子書籍データ２２の文字列を囲むメモタグを追加する。
【００９４】
具体的には、上述した処理によって、図１５に示すように、手書き情報データ２３ｂにおける「ｘｘ（わがはい）は」と「見始（みはじめ）であろう。」が手書きメモの抽出領域と近い位置の文字列として抽出されているため、電子書籍データ２２のXMLファイルにおける「吾輩（わがはい）は」の前段に「<memo
src=“Memo001.png”>」が記述され、後段に「</memo>」が記述される。また、「見始（みはじめ）であろう。」の前段に「<memo src=“Memo001.png”>」が記述され、後段に「</memo>」が記述される。これにより、<memo src=“Memo001.png”>〜</memo>で囲まれた領域にメモタグ（メモ機能）が追加される。
【００９５】
図１７は、メモタグが追加された電子書籍データ２２のXMLファイル４１ｂと、そのファイルに基づく表示画面４２ｂの例を示す図である。
【００９６】
図１７に示すように、電子書籍データ２２のXMLファイル４１ｂには、「吾輩（わがはい）は」の前後にメモタグが記述されているとともに、「見始（みはじめ）であろう。」の前後にメモタグが記述されている。電子書籍ビューア２５は、このXMLファイル４１ｂに基づいて表示画面４２ｂを表示部１６に表示させることができる。図１７の例では、紙書籍４の紙面でのメモ書きが電子書籍データ２２に反映され、「メモＡです。」と「メモＢです。」の吹き出しとして表示されている。なお、図１７の例では、吹き出しが表示されている状態とされているが、実際には、メモタグで囲まれた文字列がタップされる（またはマウスが通過される）ときのみ表示される。
【００９７】
［本発明の第２の実施の形態における効果］
１．以上のように、紙書籍に書き込んだメモを簡単にリフロー型の電子書籍に反映することができる。例えば、学校の教科書や参考書などの場合、授業中に複数の書籍にメモした内容を電子書籍に反映することによって、電車などでまとめて確認することができる。
【００９８】
２．著名人が書き込んだメモをリフロー型の電子書籍に反映することによって、新たな付加価値を持つ電子書籍を提供することができる。例えば、著名人のファンなどは、オリジナルの電子書籍にあまり関心がなくても、著名人が直接書き込んだメモ入り電子書籍であれば購入することが考えられ、販促効果が期待できる。
【００９９】
［変形例］
以上においては、紙書籍に付与したマーカやメモ書きをリフロー型の電子書籍データに反映するようにしたが、これに限らず、例えば、ページの隅を折り曲げてある箇所（しおり）を検出し、そのページの先頭の文字列を抽出し、電子書籍データの文字列とマッチングする文字列にしおり機能を追加するようにしてもよい。
【０１００】
例えば、図１８に示すように、読取装置３により、読取画像データ２１ｅ、２１ｆが生成されたとする。読取画像データ２１ｆには、右上方隅にしおりが折り曲げられている。
【０１０１】
端末２の手書き情報反映アプリケーション２４は、紙書籍４の紙面の基本版面外の四隅を探索し、折り曲げ（図１８の例の場合、三角形のエッジ）を検出すると、それを、しおりとして抽出するとともに、その折り曲げを抽出したページの先頭の文字列を抽出する。そして、手書き情報反映アプリケーション２４は、図１９に示すように、種別が「しおり」、抽出文字列が「えて煮（に）て食うという話である。」の手書き情報データ２３ｃを記憶部１２に保存することができる。
【０１０２】
以上のようにして、手書き情報反映システム１は、しおりが折り曲げられた紙書籍４の紙面を読み取り、折り曲げを手書き情報として抽出し、保存することができる。
【０１０３】
以上、添付図面を参照しながら、本発明に係る手書き情報反映システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０４】
１………手書き情報反映システム
２………端末
３………読取装置
４………紙書籍
１１………制御部
１２………記憶部
１６………表示部
【特許請求の範囲】
【請求項１】
リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶手段と、
前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出手段と、
前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映手段と、
を備えることを特徴とする手書き情報反映システム。
【請求項２】
前記抽出手段は、前記手書き情報としてメモ書きを含むメモ画像を抽出し、前記反映位置として前記メモ画像と近い位置の文字列を抽出する
ことを特徴とする請求項１に記載の手書き情報反映システム。
【請求項３】
前記抽出手段は、前記メモ画像のヒストグラムを算出し、前記ヒストグラムの分布に応じてメモ画像と書籍画像を区別する
ことを特徴とする請求項２に記載の手書き情報反映システム。
【請求項４】
前記反映手段は、反映させる前記メモ画像の選択画面を表示し、前記選択画面で選択された前記メモ画像を前記リフロー型電子書籍データに反映する
ことを特徴とする請求項２または請求項３に記載の手書き情報反映システム。
【請求項５】
前記抽出手段は、前記手書き情報としてマーカ領域を抽出し、前記反映位置として前記マーカ領域内の文字列を抽出する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の手書き情報反映システム。
【請求項６】
リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、
前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、
前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、
を含むことを特徴とする手書き情報反映方法。
【請求項７】
コンピュータに、
リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、
前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、
前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、
を実行させるためのプログラム。
【請求項１】
リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶手段と、
前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出手段と、
前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映手段と、
を備えることを特徴とする手書き情報反映システム。
【請求項２】
前記抽出手段は、前記手書き情報としてメモ書きを含むメモ画像を抽出し、前記反映位置として前記メモ画像と近い位置の文字列を抽出する
ことを特徴とする請求項１に記載の手書き情報反映システム。
【請求項３】
前記抽出手段は、前記メモ画像のヒストグラムを算出し、前記ヒストグラムの分布に応じてメモ画像と書籍画像を区別する
ことを特徴とする請求項２に記載の手書き情報反映システム。
【請求項４】
前記反映手段は、反映させる前記メモ画像の選択画面を表示し、前記選択画面で選択された前記メモ画像を前記リフロー型電子書籍データに反映する
ことを特徴とする請求項２または請求項３に記載の手書き情報反映システム。
【請求項５】
前記抽出手段は、前記手書き情報としてマーカ領域を抽出し、前記反映位置として前記マーカ領域内の文字列を抽出する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の手書き情報反映システム。
【請求項６】
リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、
前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、
前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、
を含むことを特徴とする手書き情報反映方法。
【請求項７】
コンピュータに、
リフロー型電子書籍データおよび紙書籍から読み取られた読取画像を記憶する記憶ステップと、
前記読取画像から、所定の抽出条件に基づいて、手書き情報および反映位置を抽出する抽出ステップと、
前記リフロー型電子書籍データのうち、前記抽出手段により抽出された前記反映位置に前記手書き情報を反映する反映ステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−３７４１９（Ｐ２０１３−３７４１９Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７０７６４（Ｐ２０１１−１７０７６４）
【出願日】平成２３年８月４日（２０１１．８．４）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月４日（２０１１．８．４）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]