情報処理装置、情報処理方法及び情報処理プログラムを記録した記録媒体
【課題】画像取得装置において、ディスプレイ上に配置された物理的な対象物の画像を取得可能なように支援する技術を提供することを目的とする。
【解決手段】
照射光の出射とともに画像を取得するスキャン装置２００との間でデータの送受信を行う情報処理装置１００であって、画面を有するディスプレイと、前記スキャン装置２００が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部１２３と、前記スキャン装置２００が取得した取得画像を、前記スキャン装置２００から受信するスキャン画像受信部１２９と、を含む、情報処理装置１００を提供する。
【解決手段】
照射光の出射とともに画像を取得するスキャン装置２００との間でデータの送受信を行う情報処理装置１００であって、画面を有するディスプレイと、前記スキャン装置２００が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部１２３と、前記スキャン装置２００が取得した取得画像を、前記スキャン装置２００から受信するスキャン画像受信部１２９と、を含む、情報処理装置１００を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
画像取得装置での画像の取得を支援するための技術に関する。
【背景技術】
【０００２】
画像取得装置の一つであるスキャン装置は、画像読み取り面に載置された紙原稿に光を照射し、原稿そのものを画像として読み取り、又は原稿内の文字及び図形などの情報を読み取るなどする。また、画像取得装置は、原稿上に付箋紙が添付されている場合には、原稿の情報のみならず付箋紙の情報も取得することが可能である。例えば、特許文献１には、原稿に付箋紙が添付されている場合に、付箋紙を検出する技術が開示されている。
【０００３】
ここで、付箋紙は、紙などの原稿上に添付するだけでなく、情報が表示されたディスプレイ上に添付することも考えられる。例えば、パーソナルコンピュータなどの情報処理装置のディスプレイに、操作方法などが不明な画面が表示されたとする。ユーザは、メモを記した付箋紙をディスプレイに表示された画面上の不明な箇所に添付し、不明箇所について第三者に指示を求めたいと考える。このような場合、ユーザは、付箋紙が添付された状態が分かる画面のデータをメールに添付して第三者に送付したいと考える。そのため、例えば、ユーザは、付箋紙が添付された状態の画面を画像取得装置で読み取り、読み取ったデータを第三者に送付する。これにより、ユーザは第三者に画面上の不明箇所を的確に伝えて指示を受けることができる。特に高齢化社会が進んでいる今日において、情報処理装置の操作に不慣れな高齢者が、情報処理装置を操作する状況も多くなっており、このような状況が多く発生すると考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-159065号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像取得装置が紙原稿を読み取る場合は、紙原稿自体は光を出射せず、画像取得装置が紙原稿に対して照射光を出射する。一方、画像取得装置が、例えば付箋紙が添付されたディスプレイに対して読み取り処理を行う場合、画像取得装置がディスプレイに向かって照射光を出射するだけでなくディスプレイ自体も表示光を出射している。よって、画像取得装置が出射する照射光と、ディスプレイが出射する表示光と、が干渉し合い、画像の取得が有効に実行されない。つまり、画像取得装置が、ディスプレイ上の付箋紙を認識できなかったり、付箋紙に記載された情報を取得することができない。
【０００６】
そこで、画像取得装置において、ディスプレイ上に配置された物理的な対象物の画像を取得可能なように支援する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行う情報処理装置であって、画面を有するディスプレイと、前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部と、前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部と、を含む、情報処理装置を提供する。
【発明の効果】
【０００８】
画像取得装置において、ディスプレイ上に配置された物理的な対象物の画像を取得可能なように支援する技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態例に係る、スキャン装置及び情報処理装置の外観説明図。
【図２】スキャン装置及び情報処理装置の使用方法の一例示す模式図。
【図３】第１実施形態例に係る、スキャン装置及び情報処理装置のハードウェア構成を示すブロック図の一例。
【図４Ａ】情報処理装置がディスプレイに表示する画面の表示例。
【図４Ｂ】読み取りの対象物である付箋紙が画面に添付されている状態を示す説明図。
【図４Ｃ】スキャン装置がマウスポインタの画像を読み取る様子を示す説明図。
【図４Ｄ】スキャン装置が対象物である付箋紙の画像を取得する様子を示す説明図。
【図４Ｅ】スキャンバー領域において画面の表示が制御されている様子を示す説明図。
【図４Ｆ】スキャン装置から出射される照射光Ｂと、情報処理装置の画面から出射される表示光ａと、の関係を示す説明図。
【図４Ｇ】スキャン装置が読み取ったスキャン画像から対処物画像を抽出する様子を示す説明図。
【図４Ｈ】画面と対象物画像とが合成されている様子を示す画面例。
【図５】第１実施形態例にかかる情報記憶装置及びスキャン装置の機能構成を示すブロック図の一例。
【図６】スキャン装置の検出処理の一例を示す説明図
【図７】スキャンバー領域の検出方法の一例を示す説明図。
【図８】第１実施形態例にかかる情報処理装置が実行する全体処理の流れの一例を示すフローチャート。
【図９】第１実施形態例にかかるスキャン装置の検出処理の流れの一例を示すフローチャート。
【図１０】第１実施形態例にかかる光干渉制御Ａ１の流れの一例を示すフローチャート。
【図１１】第１実施形態例にかかる光干渉制御Ａ２の流れの一例を示すフローチャート。
【図１２】表示光と照射光との光干渉制御の組み合わせを示す表。
【図１３】変形例１にかかる光干渉制御Ｂの流れの一例を示すフローチャート。
【図１４】変形例３にかかるタッチパネルを備える情報処理装置とスキャン装置との関係を示す模式図。
【図１５】タッチパネルを用いてスキャン装置の位置及び傾きを検出する方法を説明する模式図。
【図１６】対象物が写真である場合の情報処理装置１００による処理の概要を説明する説明図。
【図１７】合成画像の利用例を示す画面例（１）。
【図１８】合成画像の利用例を示す画面例（２）。
【図１９】合成画像の利用例を示す画面例（３）。
【図２０】対象物がセロハンである場合において、情報処理装置による第２実施形態例に係る処理の概要を説明する説明図。
【図２１】第２実施形態例にかかる光干渉制御Ｃの流れの一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下に、画像を取得する画像取得装置としてスキャン装置を例に挙げて説明する。なお、スキャン装置とは、読み取り対象に対して照射光を順次的に照射して読み取り対象の画像等を取得する装置を言う。
【００１１】
また、第１実施形態例では、読み取り対象として透過性の低い物理的な対象物を例に挙げて説明する。透過性の低い物理的な対象物としては付箋紙を例に挙げる。また、第２実施形態例では、読み取り対象として透過性の高い物理的な対象物を例に挙げて説明する。透過性の高い物理的な対象物としてはセロハン紙を例に挙げる。なお、物理的な対象物とは、現実に存在する物体を意味するものとする。
【００１２】
＜第１実施形態例＞
（１）外観構成
図１は、第１実施形態例に係る、スキャン装置及び情報処理装置の外観説明図である。
【００１３】
情報処理装置１００は、ディスプレイ１０１、マウス１０２、キーボード１０３及び各種処理を行うための基板等が格納された筐体１１５を含む。ディスプレイ１０１は、画像などの各種情報を表示するための画面１０１ａを有する。また、ディスプレイ１０１は、画面１０１ａに各種情報を表示する際に照明光を用いる。マウス１０２及びキーボード１０３は、ユーザからの入力を受け付ける。筐体１１５内には、後述のハードウェアを構成するＣＰＵ（Central Processing Unit）１０５、ＲＯＭ（Read Only Memory）１０６、ＲＡＭ（Random Access Memory）１０７及び通信Ｉ／Ｆ（InterFace）１０８などの各種構成が組み込まれている。その他、情報処理装置１００は、スピーカ、ヘッドホン及びカメラなどを備えていても良い。
【００１４】
スキャン装置２００は、スキャン機構２０１、操作ボタン２０２及び操作ディスプレイ２０３を含む。スキャン機構２０１は、照射光を順次的に走査して画像を読み取る。スキャン機構２０１は、一例として、照射光を生成して出射する照射機構と、照射機構を移動させて照射光を順次的に走査する走査機構、画像を取得する画像取得機構などを有する。照射機構及び走査機構を含む機構を、以降ではスキャンバーと称する。
【００１５】
操作ボタン２０２には、スキャン開始を受け付ける開始ボタン、スキャンの中止を受け付ける中止ボタン及びスキャンの各種設定を受け付ける設定ボタンなどが含まれる。設定ボタンには、例えば画面読み取りモード、原稿読み取りモードなどの各種モードごとのボタンが含まれる。本実施形態例では、一例として、ユーザが、画面読み取りモードの設定ボタンを選択すると、以下の処理が開始されるものとする。
【００１６】
ディスプレイ２０３は、例えば現在の設定情報及びスキャンの手順を知らせる報知情報など各種情報を表示する。
【００１７】
図２は、スキャン装置及び情報処理装置の使用方法の一例示す模式図である。ユーザは、図２に示すように情報処理装置１００のディスプレイ１０１の画面１０１ａ上に、スキャン装置２００を載置して使用する。ユーザは、この状態でスキャン装置２００を駆動することで、所望の画像を取得する。
【００１８】
（２）ハードウェア構成
図３は、第１実施形態例に係る、スキャン装置及び情報処理装置のハードウェア構成を示すブロック図の一例である。
【００１９】
（２−１）情報処理装置
情報処理装置１００は、例えば、入出力機器コントローラ１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７及び通信Ｉ／Ｆ１０８を有している。これらは、バス１０９を介して互いに接続されている。
【００２０】
入出力機器コントローラ１０４は、ディスプレイ１０１、マウス１０２及びキーボード１０３などと接続されている。
【００２１】
ＲＯＭ１０６は、情報処理装置１００が行う後述の各種制御に関わる各種制御プログラムを記憶している。
【００２２】
ＲＡＭ１０７は、ＲＯＭ１０６内の各種制御プログラム及び画像などの情報を一時的に記憶する。また、ＲＡＭ１０７は、各種制御プログラムの実行に応じて各種フラグなどの情報を一時的に記憶する。
【００２３】
ＣＰＵ１０５は、ＲＯＭ１０６に記憶された各種制御プログラムをＲＡＭ１０７に展開し、各種制御を行う。例えば、ＣＰＵ１０５は、入出力機器コントローラ１０４を介してディスプレイ１０１の画面１０１ａに画像などの情報を表示させる。また、ＣＰＵ１０５は、マウス１０２及びキーボード１０３などからユーザの入力操作を受け付け、入出力機器コントローラ１０４を介してユーザの入力を受信する。
【００２４】
通信Ｉ／Ｆ１０８は、ＣＰＵ１０５の制御に基づいて、例えばスキャン装置２００との間でコマンド又はデータの送受信などの通信を行う。
【００２５】
（２−２）スキャン装置
スキャン装置２００は、例えば、入出力機器コントローラ２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７及び通信Ｉ／Ｆ２０８を有している。これらは、バス２０９を介して互いに接続されている。
【００２６】
入出力機器コントローラ２０４は、スキャン機構２０１、操作ボタン２０２及び操作ディスプレイ２０３などと接続されている。
【００２７】
ＲＯＭ２０６は、スキャン装置２００が行う各種制御プログラムを記憶している。
【００２８】
ＲＡＭ２０７は、ＲＯＭ２０６内の各種制御プログラム、画像、各種フラグなどの情報を一時的に記憶する。
【００２９】
通信Ｉ／Ｆ２０８は、ＣＰＵ２０５の制御に基づいて、例えば情報処理装置１００との間でコマンド、画像などのデータの送受信を行う。
【００３０】
ＣＰＵ２０５は、ＲＯＭ２０６に記憶された各種制御プログラムをＲＡＭ２０７に展開し、各種制御を行う。例えば、ＣＰＵ２０５は、操作ボタン２０２からの入力に応じてスキャン機構２０１を制御する。また、ＣＰＵ２０５は、情報処理装置１００からのコマンドを通信Ｉ／Ｆ２０８を介して受信し、コマンドに応じてスキャン機構２０１を制御する。また、ＣＰＵ２０５は、スキャン機構２０１からスキャン画像及び照射光の走査位置などを取得し、通信Ｉ／Ｆ２０８を介して情報処理装置１００に出力する。
【００３１】
（３）処理の概要
図４Ａ〜図４Ｇを用いて情報処理装置１００による処理の概要を説明する。
【００３２】
図４Ａは、情報処理装置がディスプレイに表示する画面の表示例である。図４Ａによると、情報処理装置１００のディスプレイ１０１では、画面１０１ａにマウスポインタ１１０及びウィンドウ１１１が表示されている。ここで、マウスポインタとは、マウス１０２の画面上での操作位置を示すためのマークである。ウィンドウとは、画面１０１ａ内の独立した小さな画面であり、各ウィンドウ内に画像や文書などを表示可能な画面である。ウィンドウ１１では、一例として検索結果が表示されており、検索に用いた文字列等に関連する複数のＵＲＬ（Uniform Resource Locator）が表示されている。
【００３３】
ここで、ユーザは、ウィンドウ１１１に表示された検索結果を見ても、例えばどのＵＲＬにアクセスすれば良いのか分からず、また、アクセスしても問題がないかどうか分からないとする。そこで、図４Ｂに示すように、ユーザは、ウィンドウ１１１内の表示情報の不明箇所に対応するように、画面１０１ａ上に付箋紙１１２（１１２ａ、１１２ｂ）を添付する。図４Ｂは、読み取りの対象物である付箋紙が画面に添付されている状態を示す説明図である。ここでは、ＵＲＬ３-ＣＣＣＣの付近には、“これは見てみたいんだけど”とのコメントが記載された付箋紙１１２ａが添付されている。また、ＵＲＬ５-ＥＥＥＥの付近には、“分からない”とのコメントが記載された付箋紙１１２ｂが添付されている。本実施形態では、付箋紙１１２が画像読み取りの対象物である。
【００３４】
次に、ユーザは、図４Ｃに示すように、付箋紙１１２とともにマウスポインタ１１０を読み取り可能なように、スキャン装置２００を画面１０１ａ上に配置する。また、ユーザは、操作ボタン２０２のうち、画面読み取りモードの設定ボタンを選択する。図４Ｃは、スキャン装置がマウスポインタの画像を読み取る様子を示す説明図である。ここで、まず、画面１０１ａ上において、スキャン装置２００がどの位置にどの傾きで配置されているかなどの情報を取得する必要がある。前記情報を取得する理由は、後述の通り、画面上のスキャンバー領域２００ｂにおいて画面の表示を制御する必要があるからである。また、最終的に、付箋紙１１２の対象物画像のデータと、付箋紙１１２が添付された時の画面のみのデータと、を重畳して画面に表示するからである。ここで、スキャンバー領域２００ｂとは、スキャンバー２００ａが画面１０１ａ上において走査される領域であり、つまりスキャン装置２００が画面１０１ａ上において照射光を照射する照射領域である。また、スキャンバー２００ａとは、前述の通り、照射光を生成して出射する照射機構と、照射機構を移動させて照射光を順次的に走査する走査機構と、を含む機構を言う。
【００３５】
情報処理装置１００は、画面１０１ａ上でのスキャン装置２００の位置及び傾きを取得するため、ここでは画面１０１ａに表示するマウスポインタ１１０を用いる。そのため、スキャン装置２００のスキャン領域２００ｃ内に、対象物である付箋紙１１２だけでなく、マウスポインタ１１０を位置させる必要がある。スキャン領域２００ｃ内にマウスポインタ１１０が位置していない場合、ユーザは、スキャン領域２００ｃ内にマウスポインタ１１０を移動する。なお、情報処理装置１００が、スキャン領域２００ｃ内にマウスポインタ１１０を移動させるようにユーザに指示しても良い。ここで、スキャン領域２００ｃとは、図４Ｃに示す通り、画面１０１ａのうち、スキャン装置２００に設けられた窓内においてスキャンバー２００ａが走査される領域である。
【００３６】
図４Ｃに示すようにスキャン装置２００が配置された後、スキャン装置２００は、情報処理装置１００からの走査指示コマンド（Ｉ）に基づいて、スキャンバー２００ａを走査する。これにより、スキャン装置２００は、マウスポインタ１１０を含む画面１０１ａを画像として読み取る。なお、走査指示コマンド（Ｉ）は、画面１０１ａにおけるスキャン装置２００の位置及び傾きを取得する際に出力される走査指示コマンドを言うものとする。一方、後述の走査指示コマンド（ＩＩ）は、対象物の画像を読み取る際に出力される走査指示コマンドを言うものとする。
【００３７】
情報処理装置１００は、マウスポインタ１１０を明瞭に読み取るために、マウスポインタを黒色にするなど色を調節しても良い。情報処理装置１００は、スキャン装置２００が取得したスキャン画像からマウスポインタ１１０を検出し、画面１０１ａ上でのスキャン装置２００の位置及び傾きを取得する。これについては後述する。
【００３８】
次に、図４Ｄ、図４Ｅに示すように、スキャン装置２００は、情報処理装置１００からの走査指示コマンド（ＩＩ）に基づいて、スキャンバー２００ａを再び走査する。図４Ｄは、スキャン装置が対象物である付箋紙の画像を取得する様子を示す説明図である。図４Ｅは、スキャンバー領域において画面の表示が制御されている様子を示す説明図である。情報処理装置１００は、スキャン装置２００がスキャンバー２００ａを走査するのに応じて、スキャンバー領域２００ｂの画面の表示を一様な状態に制御する。画面の表示を一様な状態を制御するとは、例えば画面の色相、彩度、明度及び／又は輝度を一様に制御することにより画面を例えば一様に黒色状態又は白色状態などに制御することを言う。図４Ｅに示すように、画面１０１ａのうちスキャンバー２００ａ直下の領域、つまりスキャンバー領域２００ｂの表示が一様な黒色状態に制御されている。これにより、スキャンバー領域２００ｂからの表示光と、スキャン装置２００からの照射光と、の光の干渉が抑制され、スキャン装置２００は、対象物である付箋紙１１２を明瞭に読み取ることが可能となる。なお、情報処理装置１００は、先に取得したスキャン装置２００の位置及び傾きなどに基づいて、スキャンバー領域２００ｂを把握している。また、情報処理装置１００は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力するとともに、そのときに画面１０１ａに表示されている表示情報を取得する。画面１０１ａに表示されている表示情報とは、ここでは図４Ａの画面１０１ａに示される表示情報である。
【００３９】
図４Ｆは、スキャン装置から出射される照射光Ｂと、情報処理装置の画面から出射される表示光ａと、の関係を示す説明図である。情報処理装置１００のディスプレイ１０１は、各種情報を表示する画面１０１ａと、各種情報の表示に用いる照明光を生成する照明光生成部１２４ｂと、を含む。照明光生成部１２４ｂは、照明光Ａを生成し、画面１０１ａに提供する。照明光Ａは、画面１０１ａでの各種情報の表示の際に制御され、画面１０１ａからは表示光ａとして出射する。一方、スキャン装置２００は、対処物の読み取りの際に照射光Ｂを出射する。よって、スキャン装置２００が画面１０１ａを読み取る場合、スキャン装置２００から出射される照射光Ｂと、画面から出射される表示光ａと、が干渉し、画面１０１ａ上の対象物の読み取りが困難となる。そこで、図４Ｄに示すように、情報処理装置１００がスキャンバー領域２００ｂの表示を一様な状態に制御することで、照射光Ｂと表示光ａとの干渉を抑制する。結果的に、スキャン装置２００により、対象物の読み取りが可能となる。なお、実際には、スキャン装置２００は、対象物に照射光Ｂを照射し、対象物からの反射光ｂを読み取ることで対象物の画像を取得する。この反射光ｂもまた表示光ａと干渉し得る。しかし、ここでは簡単のために、単に照射光と言うときには、照射光Ｂ及び反射光ｂを含むものとする。
【００４０】
図４Ｇは、スキャン装置が読み取ったスキャン画像から対処物画像を抽出する様子を示す説明図である。情報処理装置１００は、スキャン装置２００が読み取ったスキャン画像１１３を受信する。図４Ｇに示すように、スキャン画像１１３は、付箋紙１１２ａに対応する部分以外の背景が黒色状態となっている。これは、図４Ｅに示すようにスキャンバー領域２００ｂの表示が一様な黒色状態に制御されているためである。情報処理装置１００は、スキャン画像１１３から対象物の画像である対象物画像を抽出する。ここでは、情報処理装置１００は、スキャン画像１１３から付箋紙画像１１２ａ＿image及び１１２ｂ＿imageを抽出する。例えば、情報処理装置１００は、付箋紙画像１１２ａ＿image及び１１２ｂ＿imageと、背景画像と、のコントラスト比に基づいて付箋紙画像１１２ａ＿image及び１１２ｂ＿imageを抽出する。また、情報処理装置１００は、付箋紙画像１１２ａ＿image及び１１２ｂ＿imageがスキャン画像１１３内で占める相対位置を取得する。
【００４１】
図４Hは、画面と対象物画像とが合成されている様子を示す画面例である。情報処理装置１００は、予め、画面１０１ａに表示されている表示情報を取得している。情報処理装置１００は、この画面１０１ａの表示情報と、対象物画像である付箋紙画像１１２ａ＿image及び１１２ｂ＿imageと、を重畳し合成画像を生成する。このとき、情報処理装置１００は、画面１０１ａ上でのスキャン装置２００の位置及び傾きと、スキャン画像１１３内での付箋紙画像１１２ａ＿image及び１１２ｂ＿imageの相対位置と、に基づいて重畳を行う。また、情報処理装置１００は、ユーザからの入力に基づいて、図４Ｈに示すように、合成画像を用いて操作日記１１４を作成しても良い。
【００４２】
（４）機能構成
次にスキャン装置及び情報処理装置の機能構成について説明する。
【００４３】
図５は、第１実施形態例にかかる情報記憶装置及びスキャン装置の機能構成を示すブロック図の一例である。まずスキャン装置２００の機能構成について説明する。
【００４４】
（４−１）スキャン装置
スキャン装置２００の各機能部による処理は、スキャン装置２００の入出力機器コントローラ２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７、通信Ｉ／Ｆ２０８等が相互に連携することにより実行される。
【００４５】
スキャン装置２００の機能部には、例えば、スキャン実行部２１０、照射光制御部２１１及び入力受付部２１２及び送受信部２１３などが含まれる。
【００４６】
（４−１−１）送受信部
送受信部２１３は、情報処理装置１００から入力される各種コマンドを受信し、各機能部に送信する。また、送受信部２１３は、スキャン機構２０１、操作ボタン２０２及び操作ディスプレイ２０３等と、各機能部との間でデータを送受信する。
【００４７】
（４−１−２）入力受付部
入力受付部２１２は、操作ボタン２０２及び操作ディスプレイ２０３等からのユーザの入力を送受信部２１３を介して受け付ける。入力受付部２１２は、受け付けた入力をスキャン実行部２１０及び／又は情報処理装置１００に出力する。例えば、入力受付部２１２は、画面読み取りモードの設定ボタンから入力を受け付けると、情報処理装置１００に出力する。このとき、情報処理装置１００は、画面読み取りモードの入力を受け付けると、後述の走査指示コマンド（Ｉ）及び（ＩＩ）などのコマンドを生成し、スキャン実行部２１０に出力する。
【００４８】
（４−１−３）スキャン実行部
スキャン実行部２１０は、入力受付部２１２からの入力及び／又は情報処理装置１００からのコマンドに基づいて、画像の読み取りを実行する。例えば、スキャン実行部２１０は、情報処理装置１００が生成した走査指示コマンド（Ｉ）及び（ＩＩ）を受信し、スキャン機構２０１を制御して画面１０１ａ上の読み取りを開始する。また、スキャン実行部２１０は、読み取ったスキャン画像を情報処理装置１００に送信する。
【００４９】
スキャン実行部２１０は、情報処理装置１００がスキャン装置２００位置及び傾きを取得できるように、スキャンバー２００ａの走査位置を情報処理装置１００に出力する。なお、スキャンバー領域２００ｂは、画面１０１ａのうちスキャンバー２００ａ下の領域である。
【００５０】
スキャンバー２００ａの走査位置は、例えば図４Ｃに示すスキャンバー２００ａ内のいずれかの座標Ｓ（α１、β０）で表される。ここでは、一例として、スキャンバー２００ａの右隅の座標Ｓ（α１、β０）を用いた。また、座標Ｓ（α１、β０）は、例えば、図４Ｃに示すように、スキャンバー２００ａ内の右隅を原点座標Ｓ（α０，β０）としたときの相対座標である。以下では、スキャン領域２００ｃについて、スキャン装置２００側を基準とした座標系を、スキャン座標系と言うものとする。また、Ｓはスキャン座標系に基づく座標であることを示す添え字である。なお、スキャン座標系の座標軸のα方向は、図４Ｃに示すように、スキャンバー２００ａが原点座標Ｓ（α０，β０）から終点座標Ｓ（αＥ、βＥ）に進行する方向である。また、スキャン座標系の座標軸のβ方向は、α方向と概ね直交する方向である。
【００５１】
（４−１−４）照射光制御部
照射光制御部２１１は、スキャン実行部２１０の制御に基づいて、画像の読み取りの際に出射する照射光を制御する。あるいは、照射光制御部２１１は、照射光を制御する照射光制御コマンドを受信し、照射光制御コマンドに応じて照射光を制御する。
【００５２】
（４−２）情報処理装置
情報処理装置１００の各機能部による処理は、情報処理装置１００の入出力機器コントローラ１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、通信Ｉ／Ｆ１０８等が相互に連携することにより実行される。
【００５３】
情報処理装置１００の機能部には、以下の構成が含まれる。
【００５４】
（４−２−１）送受信部
送受信部１２０は、スキャン装置２００と情報処置装置１００との間で各種データ及びコマンドの送受信を行う。例えば、送受信部１２０は、スキャン装置２００から各種データを受け取り、情報処理装置１００内の各機能部に送信する。また、送受信部１２０は、情報処理装置１００からスキャン装置２００に各種コマンドを出力する。
【００５５】
（４−２−２）入力受付部
入力受付部１２１は、マウス１０２及びキーボード１０３等からのユーザの入力を送受信部１２０を介して受け付ける。例えば、入力受付部１２１は、ユーザによるマウス１０２の移動を受け付け、表示管理部１２４に出力する。これにより、表示管理部１２４は、マウスポインタ１１０をマウス１０２の移動に追随して画面１０１ａに表示する。その他、例えば入力受付部１２１は、ユーザから各種処理の起動を受け付け、表示管理部１２４に前述の図４Ｈに示すような操作日記１１４を作成させても良い。
【００５６】
（４−２−３）指示制御部
指示制御部１２２は、スキャン装置２００及び情報処理装置１００を制御するための各種コマンドを生成し、処理の全体を制御する。
【００５７】
例えば、指示制御部１２２は、スキャン装置２００の入力受付部２１２が画面読み取りモードを受け付けると、まずスキャン装置２００の検出処理を開始させるため、スキャン装置２００に走査指示コマンド（Ｉ）を出力する。また、指示制御部１２２は、スキャン装置２００の検出処理を指示するスキャン装置検出コマンドをスキャン装置検出部１２６に出力する。スキャン装置２００の検出処理とは、画面１０１ａに対するスキャン装置２００の位置及び傾きを取得する処理である。本実施形態では、スキャン装置２００は、走査指示コマンド（Ｉ）に基づいて、前述の図４Ｃに示すように、画面１０１ａに表示されたマウスポインタ１１０を含む画像を取得する。なお、指示制御部１２２は、マウスポインタ１１０を明瞭に読み取るために、マウスポインタを黒色にするなど色を調節するように表示管理部１２４に指示しても良い。
【００５８】
ここで、指示制御部１２２は、スキャン装置２００の位置及び傾きを検出できなかった場合には、ユーザに対する警告を画面１０１ａに表示するように表示管理部１２４に指示する。例えば、表示管理部１２４は、マウスポインタ１１０をスキャン領域２００ｃ内に移動するように指示する警告メッセージを画面１０１ａに表示する。
【００５９】
次に、スキャン装置２００の検出処理の後、指示制御部１２２は、対象物である付箋紙１１２の画像を取得するため、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。このとき、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａのうちスキャンバー領域２００ｂにおいて、その表示を一様な状態に制御させる。これにより、図４Ｄ及び図４Ｅに示すように、スキャン装置２００が付箋紙１１２を読み取る場合、スキャンバー領域２００ｂが例えば黒色状態に制御される。
【００６０】
また、指示制御部１２２は、走査指示コマンド（ＩＩ）を出力するとともに、画面取得コマンドを画面取得部１３４に出力し、抽出部１３２に抽出コマンドを出力する。画面取得コマンドとは、画面１０１ａの画面データ、つまり画面１０１ａに表示されている表示情報を取得するように指示するコマンドである。画面１０１ａの画面データとは、ここでは図４Ａに示される表示情報である。抽出コマンドとは、スキャン装置２００が読み取ったスキャン画像から対象物の画像を抽出するように指示するコマンドである。
【００６１】
また、指示制御部１２２は、スキャン画像の判定結果を画像判定部１３１から取得すると、判定結果に応じて、再び走査指示コマンド（ＩＩ）及び光干渉制御コマンドを出力しても良い。これにより、スキャン装置２００は、再び画面１０１ａの表示が制御された状態で画像の読み取りを行う。
【００６２】
（４−２−４）画面取得部、画面ＤＢ
画面取得部１３４は、指示制御部１２２から画面取得コマンドを受信すると、そのとき画面１０１ａを構成している画面データを表示管理部１２４から取得する。あるいは、画面取得部１３４は、画面１０１ａをいわゆる画面キャプチャ機能により取得しても良い。
【００６３】
画面取得部１３４は、取得した画面データを画面ＤＢ１３５に格納する。
【００６４】
（４−２−５）スキャン画像受信部、スキャン画像ＤＢ
スキャン画像受信部１２９は、スキャン装置２００が読み取ったスキャン画像を受信し、スキャン画像ＤＢ１３０に格納する。ここで、スキャン画像には、走査指示コマンド（Ｉ）に対応するマウスポインタ１１０を含むスキャン画像と、走査指示コマンド（ＩＩ）に対応する付箋紙１１２の対象物画像を含むスキャン画像と、が含まれる。
【００６５】
（４−２−６）マウスポインタ情報ＤＢ
マウスポインタ情報ＤＢ１２５は、マウスポインタ１１０の形状、色等のマウスポインタ情報を記憶している。また、マウスポインタ情報ＤＢ１２５は、表示管理部１２４からマウスポインタ１１０の現在の座標Ｉ（Ｘ１、Ｙ１）を取得し記憶する。座標Ｉ（Ｘ１、Ｙ１）は、図４Ｃに示すように例えばマウスポインタ１１０の先端の座標である。座標Ｉ（Ｘ１、Ｙ１）は、例えば、図４Ｃに示すように、画面１０１ａ内の右隅を原点座標Ｉ（０，０）としたときの相対座標である。以下では、画面１０１ａについて、情報処理装置１００側を基準とした座標系を、画面座標系と言うものとする。また、Ｉは画面座標系に基づく座標であることを示す添え字である。なお、画面座標系の座標軸のＸ方向は図４Ｃにおいて原点座標Ｉ（０，０）から左に向かう方向であり、Ｙ方向は原点座標Ｉ（０，０）から下に向かう方向である。
【００６６】
（４−２−７）スキャン装置情報ＤＢ
スキャン装置情報ＤＢ１２８は、予めスキャン領域２００ｃの幅Ｗ１及び長さＬ１などのスキャン領域情報と、スキャンバー２００ａの幅Ｗ２及び長さＬ２などのスキャンバー情報と、を記憶している。また、スキャン装置情報ＤＢ１２８は、スキャン装置２００のスキャン実行部２１０からスキャンバー２００ａの現在の走査位置を示す座標を取得し記憶する。
【００６７】
（４−２−８）スキャン装置検出部
スキャン装置検出部１２６は、指示制御部１２２からスキャン装置検出コマンドを受信すると、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。つまり、画面座標系におけるスキャン装置２００の位置及び傾きを検出する。そのため、スキャン装置検出部１２６は、スキャン画像ＤＢ１３０にアクセスし、マウスポインタ１１０を含むスキャン画像を、スキャンバー２００ａが順次的に走査されるのに応じて取得する。また、これと並行して、スキャン装置検出部１２６は、スキャン座標系で特定されるスキャンバー２００ａの走査位置を、スキャン装置情報ＤＢ１２８から順次的に取得する。
【００６８】
さらに、スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０を検出する。例えば、スキャン装置検出部１２６は、マウスポインタ情報ＤＢ１２５からマウスポインタ情報を取得し、マウスポインタ情報と、スキャン画像と、を比較してマウスポインタ１１０を検出する。つまり、スキャン装置検出部１２６は、マウスポインタ情報が示すマウスポインタの形状と同様の形状をスキャン画像から検出する。ここでは、スキャン装置検出部１２６は、スキャンバー２００ａが走査開始地点からマウスポインタ１１０の先端まで走査されたときのスキャン画像に基づいて、スキャン画像からマウスポインタ１１０を検出する。
【００６９】
次に、スキャン装置検出部１２６は、画面座標系で特定される、画面１０１ａでのマウスポインタ１１０の先端の座標をマウスポインタ情報から取得する。
【００７０】
以上の処理により、スキャン装置検出部１２６は、マウスポインタ１１０の先端を検出したときのスキャン座標系でのスキャンバー２００ａの走査位置と、画面座標系でのマウスポインタ１１０の先端の座標と、を取得している。スキャン装置検出部１２６は、これらの情報に基づいて、画面座標系でのスキャン装置２００の位置及び傾きを検出する。
【００７１】
スキャン装置２００の検出処理の一例について、図６を用いて具体的に説明する。図６は、スキャン装置の検出処理の一例を示す説明図である。また、図６は、前述の図４Ｃにおいて、スキャン装置２００がマウスポインタ１１０の読み取りを行っている様子に対応している。
【００７２】
図６では、スキャンバー２００ａは、スキャン座標系の原点座標Ｓ（α０，β０）から座標Ｓ（α１、β０）まで移動している。よって、スキャン画像ＤＢ１３０は、原点座標Ｓ（α０，β０）から座標Ｓ（α１、β０）までのスキャン画像を記憶している。なお、座標Ｓ（α１、β０）で特定されるスキャンバー２００ａは、マウスポインタ１１０の先端上に位置しているものとする。
【００７３】
スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０の先端を検出すると、そのときのスキャンバー２００ａの座標Ｓ（α１、β０）をスキャン装置情報ＤＢ１２８から取得する。前述の通り、座標Ｓ（α１、β０）は、スキャン座標系の右隅を原点座標Ｓ（α０，β０）としたときの相対座標である。スキャン装置検出部１２６は、座標Ｓ（α１、β０）と、マウスポインタ１１０の先端と、のスキャン画像における位置関係から、スキャン座標系でのマウスポインタ１１０先端の座標Ｓ（α１、β１）を算出する。例えば、スキャン装置検出部１２６は、座標Ｓ（α１、β０）と、マウスポインタ１１０の先端と、の距離ｂに基づいて、座標Ｓ（α１、β１）を算出する。ここで、β１＝β０＋ｂの関係にある。
【００７４】
また、スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０の先端を検出すると、画面座標系でのマウスポインタ１１０の先端の座標Ｉ（Ｘ１、Ｙ１）を、マウスポインタ情報ＤＢ１２５から取得する。前述の通り、座標Ｉ（Ｘ１、Ｙ１）は、画面座標系の右隅を原点座標Ｉ（０，０）としたときの相対座標である。これにより、スキャン装置検出部１２６は、マウスポインタ１１０の先端座標について、スキャン座標系での座標Ｓ（α１、β１）と、画面座標系での座標Ｉ（Ｘ１、Ｙ１）と、の座標の対応関係を取得する。つまり、スキャン座標系の座標と画面座標系の座標との対応関係を取得する。
【００７５】
次に、スキャン装置検出部１２６は、先に取得したスキャンバー２００ａの座標Ｓ（α１、β０）を、前記座標の対応関係に基づいて、画面座標系での座標に変換する。座標Ｓ（α１、β０）は座標Ｉ（Ｘ２、Ｙ２）に変換される。同様に、スキャン装置検出部１２６は、スキャン座標系の原点座標Ｓ（α０，β０）を、画面座標系での座標Ｉ（Ｘ０、Ｙ０）に変換する。座標Ｉ（Ｘ０、Ｙ０）と座標Ｉ（Ｘ２、Ｙ２）とにより、スキャンバー２００ａの画面１０１ａに対する走査方向αを取得することができる。スキャン装置検出部１２６は、この走査方向αと、画面１０１ａでの水平方向と、のなす角Δθを、スキャン装置２００の画面１０１ａでの傾きΔθとする。
【００７６】
また、スキャン装置検出部１２６は、座標Ｉ（Ｘ０、Ｙ０）、傾きΔθ、スキャン領域２００ｃの幅Ｗ１及び長さＬ１等に基づいて、スキャン領域２００ｃの四隅の座標を取得する。四隅の座標とは、座標Ｉ（Ｘ０、Ｙ０）、座標Ｉ（Ｘ３、Ｙ３）、座標Ｉ（Ｘ４、Ｙ４）及び座標Ｉ（Ｘ５、Ｙ５）である。これにより、スキャン装置検出部１２６は、画面１０１ａに対するスキャン領域２００ｃの位置を把握し、画面１０１ａに対するスキャン装置２００の位置を把握する。
【００７７】
スキャン装置検出部１２６は、取得したスキャン装置２００の位置及び傾きΔθ、又は、スキャン座標系と画面座標系との前記座標の対応関係を合成画像生成部１３３及びスキャンバー領域検出部１２７に出力する。
【００７８】
また、スキャン装置検出部１２６は、スキャンバー２００ａによる読み取りが終了しても、スキャン画像からマウスポインタ１１０を検出できなかった場合には、指示制御部１２２にその旨を出力する。これにより指示制御部１２２は、表示管理部１２４によりユーザへの警告メッセージを画面１０１ａに表示させる。
【００７９】
なお、上記では、マウスポインタ１１０の先端の座標を用いてスキャン装置２００の位置及び傾きΔθを算出したが、マウスポインタ１１０の位置を特定可能な座標であればこれに限定されない。
【００８０】
（４−２−９）スキャンバー領域検出部
図７はスキャンバー領域の検出方法の一例を示す説明図である。
【００８１】
スキャン装置２００が、画面１０１ａに対してどの位置にどの傾きΔθで読み取りを行うかによって、画面１０１ａ上におけるスキャンバー領域２００ｂも異なる。よって、スキャンバー領域検出部１２７は、スキャン装置２００の画面１０１ａに対する位置及び傾きと、順次的に移動するスキャンバー２００ａの走査位置と、に基づき、次のようにしてスキャンバー領域２００ｂを取得する。
【００８２】
スキャンバー領域検出部１２７は、現在のスキャンバー２００ａの座標Ｓ（α２、β０）と、スキャンバー２００ａの幅Ｗ２及び長さＬ２と、をスキャン装置情報ＤＢ１２８から取得する。また、スキャンバー領域検出部１２７は、座標Ｓ（α２、β０）と、幅Ｗ２及び長さＬ２と、に基づいて、スキャン座標系おけるスキャンバー領域２００ｂの四隅の座標を取得する。スキャン座標系における四隅の座標は、座標Ｓ（α２、β０）、座標Ｓ（α２、β０＋Ｌ２）、座標Ｓ（α２＋Ｗ２、β０）及び座標Ｓ（α２＋Ｗ２、β０＋Ｌ２）である。なお、スキャン領域２００ｃの長さＬ１とスキャンバー領域２００ｂの長さＬ２とは同じである。
【００８３】
次に、スキャン装置検出部１２６が求めた、スキャン座標系と画面座標系との前記座標の対応関係に基づいて、スキャンバー２００ａのスキャン座標系における四隅の座標を、画面座標系の座標に変換する。なお、スキャンバー領域検出部１２７は、スキャン装置検出部１２６からスキャン装置２００の位置及び傾きΔθを取得し、これに基づいて座標の変換を行うこともできる。スキャン座標系における四隅の座標は、それぞれ、画面座標系における座標Ｉ（Ｘ６、Ｙ６）、座標Ｉ（Ｘ７、Ｙ７）、座標Ｉ（Ｘ８、Ｙ８）及び座標Ｉ（Ｘ９、Ｙ９）に変換される。これにより、スキャンバー領域検出部１２７は、画面１０１ａにおけるスキャンバー領域２００ｂを検出でき、検出結果を光干渉制御部１２３に出力する。
【００８４】
（４−２−１０）画像判定部
画像判定部１３１は、対象物画像を含むスキャン画像をスキャン画像ＤＢ１３０から読み出し、対象物の画像が明瞭に読み取られているかなどの判定を行う。例えば、画像判定部１３１は、対象物である付箋紙１１２と、付箋紙１１２以外の部分と、のコントラスト比が所定値以上であるかを判定する。画像判定部１３１は、コントラスト比が所定値以上の場合には、付箋紙１１２のエッジを検出できたと判定し、逆にコントラスト比が所定値未満の場合には、付箋紙１１２のエッジを検出できなかったと判定する。付箋紙１１２のエッジとは、付箋紙１１２の輪郭であり、付箋紙１１２とそれ以外との境界である。
【００８５】
画像判定部１３１は、判定結果を指示制御部１２２及び抽出部１３２に出力する。
【００８６】
（４−２−１１）光干渉制御部
光干渉制御部１２３は、指示制御部１２２から光干渉制御コマンドを受信し、スキャンバー領域検出部１２７から画面座標系でのスキャンバー領域２００ｂの座標を取得する。これに基づいて、光干渉制御部１２３は、画面１０１ａ全体のうちスキャンバー領域２００ｂの画面について、その画面の表示を一様な状態に制御するように表示管理部１２４に指示する。
【００８７】
画面の表示を一様な状態を制御するとは、例えば画面の色相、彩度、明度及び／又は輝度を一様に制御することにより画面を例えば一様に黒色状態又は白色状態などに制御することを言う。例えば、付箋紙が白色の用紙であり、画面が黒色状態に制御された場合、付箋紙の背景色が黒色状態となることで、対象物と画面との差を明確にできる。なお、黒色状態には黒色だけでなく、暗い灰色、明るい灰色など黒色に近い色も含まれる。同様に、白色状態には、白色だけでなく、明度又は輝度などが明るい白色に近い、例えば黄色、明るい緑なども含まれる。また、画面の表示は、例えば画面から出射される表示光の出射量を調節することで制御され得る。あるいは、画面に白色を出力するように制御するなど、画面の表示色を制御して、画面の表示を一様に制御することもできる。
【００８８】
よって、例えば、光干渉制御部１２３は、スキャンバー領域２００ｂが黒色状態になるように、スキャンバー領域２００ｂでの表示光の出射量を抑えるか、あるいは、スキャンバー領域２００ｂに黒色を出力するように表示管理部１２４に指示する。また、光干渉制御部１２３は、スキャンバー領域２００ｂが白色状態になるように、スキャンバー領域２００ｂの表示光の出射量を高めるか、あるいは、スキャンバー領域２００ｂに白色を出力するように表示管理部１２４に指示する。
【００８９】
このような制御により、対象物の読み取りの際にスキャン装置２００から出射される照射光と、情報処理装置１００の画面１０１ａから出射される表示光と、の干渉を抑制することができる。よって、対象物がディスプレイ１０１の画面１０１ａ上に配置されていても、スキャン装置２００は対象物を読み取ることが可能となる。
【００９０】
なお、画面１０１ａ全体の表示を通常の表示状態から一様な状態に制御すると、瞬時に画面の状態が変化するため、情報処理装置１００のユーザに強い刺激を与える。このような変化は、例えば、ユーザに大きな驚きを与え、また情報処理装置１００が誤作動したとユーザに誤認させるなどする。スキャンバー領域２００ｂにおいてのみ表示を制御することで、画面１０１ａ全体の表示が制御される場合に比べてユーザに与える刺激を抑制することができる。
【００９１】
なお、光干渉制御部１２３は、スキャン領域２００ｃの位置をスキャン装置検出部１２６から取得し、スキャン領域２００ｃについて表示を制御しても良い。また、光干渉制御部１２３は、スキャン装置２００の位置などに関係なく画面１０１ａ全体について、表示を制御しても良い。
【００９２】
また、光干渉制御部１２３は、画像判定部１３１での判定結果に応じて、スキャンバー領域２００ｂの画面の表示を制御しても良い。例えば、画像判定部１３１がスキャン画像において付箋紙１１２のエッジを検出できなかったと判定した場合には、光干渉制御部１２３は、指示制御部１２２から新たな光干渉制御コマンドを受信する。光干渉制御部１２３は、新たな光干渉制御コマンドに応じて表示管理部１２４を制御し、画面の表示状態を変更する。例えば、黒色状態から白色状態に画面の表示状態を変更する。スキャン装置２００は、指示制御部１２２からの走査指示コマンドに応じて、画面の表示状態が変更された状態で、再び対象物の読み取りを実行する。このように画面１０１ａの表示を様々に調節することで、スキャン装置２００が対象物の画像をより鮮明に取得できるように調節できる。
【００９３】
（４−２−１２）表示管理部
表示管理部１２４は、表示制御部１２４ａ、照明光生成部１２４ｂ及び画像信号生成部１２４ｃを含む。照明光生成部１２４ｂは、画面１０１ａに明度又は輝度を与える照明光を生成する。画像信号生成部１２４ｃは、画面１０１ａに画像などの情報を表示するための画像信号を生成する。画面はＲＧＢなどの色を決定する複数の画素から構成されており、画像信号生成部１２４ｃは、例えば各画素ごとに画像信号を生成している。表示制御部１２４ａは、照明光及び／又は画像信号を用いて画面１０１ａに画像などの情報を表示している。また、表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、照明光及び／又は画像信号を制御し、画面１０１ａのうちスキャンバー領域２００ｂの表示を一様な状態に制御する。
【００９４】
画面の表示は、画面からの表示光の出射量を調節するか、あるいは画面の表示色を制御するなどして制御することができる。
【００９５】
まず、表示光の出射量を調節することで画面の表示を制御する方法としては、例えば次のような方法が挙げられる。表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、スキャンバー領域１００ｂ内において、照明光の遮断量を調節し、最終的に表示光として画面から出射される量を調節する。
【００９６】
例えば、ディスプレイ１０１が液晶表示装置の場合は、表示制御部１２４ａが画像信号を各画素の画素電極に印加すると、液晶は画像信号に応じて傾く。この液晶の傾きの程度によって、照明光の遮断量が制御され、ひいては画面１０１ａから出射する表示光の出射量が制御される。よって、表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、スキャンバー領域１００ｂ内の各画素の画像信号を制御し、スキャンバー領域１００ｂから出射される表示光の出射量を調節する。例えば、照明光の出射量を少なくすることで、画面の表示を一様な黒色状態とすることができる。また、照明光の出射量を多くすることで、画面の表示を一様な白色状態に近くすることができる。
【００９７】
その他、表示光の出射量を制御する方法としては、照明光生成部１２４ｂでの照明光の生成量を調節することなどが挙げられる。この方法は、ディスプレイ１０１がＣＲＴ（Cathode Ray Tube）などの場合に適用可能である。
【００９８】
次に、画面の表示色を調節することで画面の表示を制御する方法としては、例えば次のような方法が挙げられる。ここで、画像信号が各画素に印加されることで、各画素のＲＧＢが決定され、画面の表示色が決定される。よって、表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、スキャンバー領域１００ｂ内の画素に対応する画像信号を制御し、スキャンバー領域１００ｂ内の表示色を制御する。
【００９９】
その他、表示管理部１２４は、マウス１０２の移動に応じてマウスポインタ１１０を画面１０１ａに表示し、マウスポインタ１１０の現在の座標Ｉ（Ｘ１、Ｙ１）をマウスポインタ情報ＤＢ１２５に格納する。また、表示管理部１２４は、入力受付部１２１が受け付けた各種処理の実行に基づいて、合成画像生成部１３３からの合成画像を処理し、前述の図４Ｈに示すような操作日記１１４を作成しても良い。
【０１００】
（４−２−１３）抽出部
抽出部１３２は、指示制御部１２２から抽出コマンドを受信すると次の処理を開始する。
【０１０１】
抽出部１３２は、付箋紙１１２のエッジの判定結果を画像判定部１３１から取得する。また、抽出部１３２は、スキャン画像ＤＢ１３０から対象物を含むスキャン画像を読み出し、エッジに基づいてスキャン画像から付箋紙１１２の画像を抽出するとともに、スキャン画像に対する付箋紙１１２の相対位置を取得する。抽出部１３２は、対象物である付箋紙１１２の画像と、スキャン画像に対する相対位置と、を合成画像生成部１３３に出力する。
【０１０２】
（４−２−１４）合成画像生成部
合成画像生成部１３３は、スキャン装置検出部１２６からスキャン領域２００ｃの位置を取得する。なお、合成画像生成部１３３は、スキャン座標系と画面座標系との前記座標の対応関係をスキャン装置検出部１２６から取得し、これに基づいてスキャン領域２００ｃを把握しても良い。
【０１０３】
また、合成画像生成部１３３は、付箋紙１１２の画像及びスキャン画像に対する相対位置を抽出部１３２から取得し、画面１０１ａに表示されている画面データを画面ＤＢ１３５から取得する。最後に、合成画像生成部１３３は、画面１０１ａ上でのスキャン領域２００ｃと、スキャン画像に対する付箋紙１１２の相対位置と、に基づいて、画面１０１ａの画面データに付箋紙１１２の画像を合成し合成画像を生成する。
【０１０４】
合成画像生成部１３３は、合成画像を表示管理部１２４に出力し、画面１０１ａに合成画像を表示させる。
【０１０５】
（５）処理の流れ
（５−１）全体処理
図８は、第１実施形態例にかかる情報処理装置が実行する全体処理の流れの一例を示すフローチャートである。
【０１０６】
ステップＳ１：指示制御部１２２は、スキャン装置２００から画面読み取りモードを受け付けると、以下の処理を実行する。
【０１０７】
ステップＳ２：指示制御部１２２は、まずスキャン装置２００の検出処理を開始させるため、スキャン装置２００に走査指示コマンド（Ｉ）を出力する。また、指示制御部１２２は、スキャン装置検出部１２６にスキャン装置検出コマンドを出力する。スキャン装置検出部１２６は、スキャン装置２００の検出処理を実行する。
【０１０８】
ステップＳ３：次に、指示制御部１２２は、対象物である付箋紙１１２の画像を取得するため、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａの表示を制御する。なお、光干渉制御部１２３は、画像判定部１３１でのスキャン画像の判定結果に応じて画面１０１ａの表示を制御しても良い。
【０１０９】
このとき、画面取得部１３４は、指示制御部１２２から画面取得コマンドを受信しており、画面１０１ａの画面データを取得し、画面ＤＢ１３５に格納している。
【０１１０】
ステップＳ４：抽出部１３２は、指示制御部１２２から抽出コマンドを受信すると、スキャン装置２００が取得したスキャン画像から、対象物の画像を抽出する。具体的には、抽出部１３２は、対象物のエッジの判定結果を画像判定部１３１から取得し、スキャン画像ＤＢ１３０から対象物を含むスキャン画像を読み出す。次に、抽出部１３２は、エッジに基づいてスキャン画像から対象物の画像を抽出するとともに、スキャン画像に対する対象物画像の相対位置を取得する。抽出部１３２は、対象物の画像と、スキャン画像に対する対象物画像の相対位置と、を合成画像生成部１３３に出力する。
【０１１１】
ステップＳ５：合成画像生成部１３３は、スキャン装置検出部１２６からスキャン装置２００の位置及び傾きΔθを取得する。また、合成画像生成部１３３は、対象物画像と、対象物画像のスキャン画像に対する相対位置と、を抽出部１３２から取得し、画面１０１ａの画面データを画面ＤＢ１３５から取得する。合成画像生成部１３３は、これら取得した情報に基づいて、画面１０１ａの画像に対象物の画像を合成し合成画像を生成する。表示管理部１２４は、画面１０１ａに合成画像を表示する。
【０１１２】
（５−２）スキャン装置の検出処理
図９は、第１実施形態例にかかるスキャン装置の検出処理の流れの一例を示すフローチャートである。以下に、前述の全体処理のうち、スキャン装置の検出処理の流れについて説明する。
【０１１３】
ステップＳ２ａ：指示制御部１２２は、まずスキャン装置２００の検出処理を開始させるため、スキャン装置２００に走査指示コマンド（Ｉ）を出力する。また、指示制御部１２２は、スキャン装置検出部１２６にスキャン装置検出コマンドを出力する。
【０１１４】
ステップＳ２ｂ：スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０を検出すると、ステップＳ２ｃに進む。ここでは、スキャン装置検出部１２６は、マウスポインタ１１０のうちその先端を検出する。一方、スキャン装置検出部１２６は、マウスポインタ１１０を検出しなかった場合、ステップＳ２ｉに進む。
【０１１５】
ステップＳ２ｃ：スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０の先端を検出すると、そのときのスキャンバー２００ａの座標Ｓ（α１、β０）をスキャン装置情報ＤＢ１２８から取得する。スキャン装置検出部１２６は、この座標Ｓ（α１、β０）に基づいて、マウスポインタ１１０先端のスキャン座標系での座標Ｓ（α１、β１）を取得する。
【０１１６】
ステップＳ２ｄ：スキャン装置検出部１２６は、マウスポインタ１１０の先端について、画面１０１ａ内での画面座標系の座標Ｉ（Ｘ１、Ｙ１）を、マウスポインタ情報ＤＢ１２５から取得する。
【０１１７】
ステップＳ２ｅ：スキャン装置検出部１２６は、座標Ｓ（α１、β１）と、座標Ｉ（Ｘ１、Ｙ１）と、に基づいてスキャン座標系の座標と画面座標系の座標との対応関係を取得する。
【０１１８】
ステップＳ２ｆ：次に、スキャン装置検出部１２６は、前記座標の対応関係を用いて、スキャンバー２００ａの画面１０１ａに対する走査方向αを取得する。
【０１１９】
ステップＳ２ｇ：スキャン装置検出部１２６は、この走査方向αと、画面１０１ａでの水平方向と、のなす角Δθを、スキャン装置２００の画面１０１ａでの傾きΔθとして算出する。
【０１２０】
ステップＳ２ｈ：また、スキャン装置検出部１２６は、スキャン座標系の原点座標Ｓ（α０，β０）を、画面座標系の座標Ｉ（Ｘ０、Ｙ０）に変換する。また、スキャン装置検出部１２６は、座標Ｉ（Ｘ０、Ｙ０）、傾きΔθ、スキャン領域２００ｃの幅Ｗ１及び長さＬ１等に基づいて、画面１０１ａに対するスキャン領域２００ｃの位置を把握する。これにより、スキャン装置２００の画面１０１ａに対する位置が把握できる。
【０１２１】
ステップＳ２ｉ：スキャン装置検出部１２６は、スキャンバー２００ａがスキャン領域２００ｃの終点に到達したかどうかを判断する。スキャンバー２００ａが終点に到達している場合は、ステップＳ２ｊに進む。そうでない場合は、ステップＳ２ｂに戻り、スキャン装置検出部１２６は、スキャンバー２００ａの走査とともにスキャン装置２００から順次的に送信されるスキャン画像からマウスポインタ１１０の検出を行う。
【０１２２】
ステップＳ２ｊ：表示管理部１２４は、ユーザへの警告メッセージを画面１０１ａに表示する。
【０１２３】
（５−３)光干渉制御
以下に、前述の全体処理のうち、光干渉制御の流れについて説明する。以下では、光干渉制御Ａ１及びＡ２についてそれぞれ説明する。
【０１２４】
光干渉制御Ａ１では、画面１０１ａのうちスキャンバー領域２００ｂの表示を黒色状態又は白色状態に制御する。
【０１２５】
光干渉制御Ａ２では、画面１０１ａ全体の表示を黒色状態又は白色状態に制御する。
【０１２６】
（５−３−１)光干渉制御Ａ１
図１０は、第１実施形態例にかかる光干渉制御Ａ１の流れの一例を示すフローチャートである。
【０１２７】
ステップＳ３１ａ：指示制御部１２２は、対象物の画像を取得するため、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａのうちスキャンバー領域２００ｂの表示制御を開始させる。
【０１２８】
ステップＳ３１ｂ：スキャンバー領域検出部１２７は、現在のスキャンバー２００ａの座標Ｓ（α２、β０）などをスキャン装置情報ＤＢ１２８から取得する。
【０１２９】
ステップＳ３１ｃ：スキャンバー領域検出部１２７は、現在のスキャンバー２００ａの座標Ｓ（α２、β０）などに基づいて、スキャン座標系おけるスキャンバー領域２００ｂの四隅の座標を取得する。次に、スキャンバー領域検出部１２７は、前記四隅の座標を画面座標系の座標に変換し、画面１０１ａにおけるスキャンバー領域２００ｂを検出する。
【０１３０】
ステップＳ３１ｄ：光干渉制御部１２３は、スキャンバー領域２００ｂの表示を黒色状態に制御する。
【０１３１】
ステップＳ３１ｅ：スキャン画像受信部１２９は、スキャン装置２００が読み取ったスキャン画像を受信し、スキャン画像ＤＢ１３０に格納する。
【０１３２】
ステップＳ３１ｆ：情報処理装置１００は、スキャン装置２００による読み取りが終了すればステップ３１ｇに進み、終了していなければステップＳ３１ｂに戻る。
【０１３３】
ステップＳ３１ｇ：画像判定部１３１は、スキャン画像において対象物のエッジが検出できるか否かの判定を行う。対象物のエッジが検出できなかった場合はステップ３１ｈに進む。対象物のエッジが検出できた場合は処理を終了する。
【０１３４】
ステップＳ３１ｈ〜３１ｊ：指示制御部１２２は、再び走査指示コマンド（ＩＩ）及び光干渉制御コマンドを出力する（Ｓ３１ｈ）。スキャンバー領域検出部１２７は、ステップＳ３１ｂ及びＳ３１ｃと同様にスキャンバー領域２００ｂを検出する（Ｓ３１ｉ、Ｓ３１ｊ）。
【０１３５】
ステップＳ３１ｋ：光干渉制御部１２３は、前記スキャンバー領域２００ｂの表示を黒色状態から白色状態に変更する。
【０１３６】
ステップＳ３１ｌ：スキャン画像受信部１２９は、スキャン画像を受信しスキャン画像ＤＢ１３０に格納する。
【０１３７】
ステップＳ３１ｍ：情報処理装置１００は、スキャン装置２００による読み取りが終了していなければステップＳ３１ｉに戻る。読み取りが終了していれば処理を終了する。
【０１３８】
（５−３−２)光干渉制御Ａ２
図１１は、第１実施形態例にかかる光干渉制御Ａ２の流れの一例を示すフローチャートである。画面全体が黒色状態又は白色状態に制御される点が、光干渉制御Ａ１と異なる。
【０１３９】
ステップＳ３２ａ：指示制御部１２２は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａ全体の表示制御を開始させる。
【０１４０】
ステップＳ３２ｂ：光干渉制御部１２３は、画面１０１ａ全体の表示を黒色状態に制御する。
【０１４１】
ステップＳ３２ｃ、Ｓ３２ｄ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０１４２】
ステップＳ３２ｅ、３２ｆ：画像判定部１３１がスキャン画像において対象物のエッジを検出できなかった場合は（Ｓ３２ｅ）、指示制御部１２２は、再び走査指示コマンド（ＩＩ）及び光干渉制御コマンドを出力する（Ｓ３１ｆ）。対象物のエッジが検出できた場合は処理を終了する。
【０１４３】
ステップＳ３２ｇ：光干渉制御部１２３は、画面１０１ａ全体の表示を黒色状態から白色状態に変更する。
【０１４４】
ステップＳ３２ｈ、Ｓ３２ｉ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０１４５】
上記光干渉制御Ａ１及びＡ２では、黒色状態から白色状態に表示を変更しているが、白色状態から黒色状態への変更でも良い。さらに、画面１０１ａ上に配置された対象物の対象物画像を取得できれば良く、表示の制御は黒色状態又は白色状態に限定されない。
【０１４６】
（６）作用効果
上述の通り、画面１０１ａの表示を一様に制御することで、画像の取得の際にスキャン装置２００から出射される照射光と、情報処理装置１００の画面１０１ａから出射される表示光と、の干渉を抑制することができる。これにより、対象物がディスプレイ１０１の画面１０１ａ上に配置されていても、スキャン装置２００により対象物を読み取ることが可能となる。
【０１４７】
また、照射光が照射されているスキャンバー領域２００ｂのみ表示を制御することで、画面１０１ａの全体の表示が制御される場合に比べてユーザに与える刺激を抑制することができる。
【０１４８】
（７）変形例
（７−１）変形例１
上記実施形態では、画面１０１ａの表示を制御することで、画面１０１ａからの表示光とスキャン装置２００からの照射光との干渉を抑制している。本変形例では、情報処理装置１００は、画面１０１ａの表示を制御するだけでなく、さらにスキャン装置２００の照射光を制御しても良い。
【０１４９】
図１２は、表示光と照射光との光干渉制御の組み合わせを示す表である。図１２では、画面１０１ａの表示は、画面１０１ａからの表示光の出射量の違いにより複数段階で調節される。さらに、スキャン装置２００からの照射光は出射量の違いにより複数段階で調節される。ここでは、一例として、制御１から制御９の９段階の光干渉制御レベルが用意されている。
【０１５０】
図１３は、変形例１にかかる光干渉制御Ｂの流れの一例を示すフローチャートである。次に、本変形例の光干渉制御Ｂについて説明する。
【０１５１】
ステップＳ３３ａ：指示制御部１２２は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａの表示制御を開始させる。本変形例の場合、指示制御部１２２は、さらにスキャン装置２００に光干渉制御コマンドを出力し、照射光の制御を開始させる。ここで、光制御コマンドには、例えば図１２の制御１から制御９のいずれを実行するかを指示する情報が含まれているものとする。
【０１５２】
ステップＳ３３ｂ、Ｓ３３ｃ：前述の光干渉制御Ａ１のステップＳ３１ｂ、Ｓ３１ｃと同様に、スキャンバー領域検出部１２７は、画面１０１ａにおけるスキャンバー領域２００ｂを検出する。
【０１５３】
ステップＳ３３ｄ：光干渉制御部１２３は、前記スキャンバー領域２００ｂの表示を、光干渉制御コマンドに応じて制御する。一方、スキャン装置２００の照射光制御部２１１は、情報処理装置１００から光干渉制御コマンドを受信すると、光干渉制御コマンドに応じて照射光の出射量を調節する。
【０１５４】
例えば、光干渉制御コマンドにおいて制御６が指定されている場合は、光干渉制御部１２３は、画面１０１ａから出射する表示光の出射量がレベル３となるように制御する。また、スキャン装置２００の照射光制御部２１１は、照明光の出射量がレベル２となるように制御する。
【０１５５】
ステップＳ３３ｅ、Ｓ３３ｆ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０１５６】
ステップＳ３３ｇ：画像判定部１３１は、スキャン画像において対象物のエッジが検出できるか否かの判定を行う。対象物のエッジが検出できなかった場合はステップ３３ｈに進む。対象物のエッジが検出できた場合は処理を終了する。
【０１５７】
ステップＳ３３ｈ：指示制御部１２２は、全ての組み合わせについて光干渉制御が終了しているか否かを判定する。光干渉制御が終了していない場合には、指示制御部１２２は、ステップＳ３３ａに戻る。なお、ステップＳ３３ａでは、指示制御部１２２は、図１２のうち実行されていない制御を指定した光干渉制御コマンドを生成し、各機能部に出力する。
【０１５８】
なお、本変形例では、表示光の出射量を調節することで画面１０１ａの表示を制御しているが、画面１０１ａの表示色を制御することで画面１０１ａの表示を制御しても良い。
【０１５９】
（７−２）変形例２
上記実施形態例の画像判定部１３１は、対象物の画像が明瞭であるかを判断するために、スキャン画像において対象物のエッジを検出できたか否かを判定している。画像判定部１３１は、さらに色味、彩度、色相などに基づいて対象物の画像が明瞭であるかどうかを判定しても良い。
【０１６０】
また、画像判定部１３１が、色味、彩度、色相などに基づいて対象物が明瞭でないと判断した場合は、情報処理装置１００は、上記実施形態例と同様に画面１０１ａの表示状態を変更しても良い。又は、上記変形例１と同様に、情報処理装置１００は、色味、彩度、色相などが最良の状態となるまで、表示光及び照射光を制御しても良い。
【０１６１】
（７−３）変形例３
上記実施形態では、情報処理装置１００は、スキャン画像からマウスポインタ１１０を検出して、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。しかし、本変形例では、画面１０１ａ上にタッチパネル１４０によりスキャン装置２００の位置及び傾きを検出する。
【０１６２】
図１４は、変形例３にかかるタッチパネルを備える情報処理装置とスキャン装置との関係を示す模式図である。情報処理装置１００のディスプレイ１０１は、画面１０１ａ上にタッチパネル１４０を備える。タッチパネル１４０は、例えば各画素に対応して静電容量センサを配置し、押圧による容量変化に基づいて押圧位置を検知する装置である。一方、スキャン装置２００は、背面に突起２２０ａ及び２２０ｂが例えば対角線上に対向する２隅に設けられている。スキャン装置２００がタッチパネル１４０上に配置され、突起２２０ａ及び２２０ｂがタッチパネル１４０を押圧すると、スキャン装置検出部１２６は画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。その検出方法を次に説明する。
【０１６３】
図１５は、タッチパネルを用いてスキャン装置の位置及び傾きを検出する方法を説明する模式図である。
【０１６４】
スキャン装置検出部１２６は、スキャン装置２００の突起２２０ａ及び２２０ｂによるタッチパネル１４０の押圧位置を検出する。例えば、突起２２０ａによる押圧位置がＩ（Ｘ１０、Ｙ１０）であり、突起２２０ｂによる押圧位置がＩ（Ｘ１１、Ｙ１１）であるとする。
【０１６５】
ここで、スキャン装置検出部１２６は、スキャン領域２００ｃの対角線方向の基本ベクトルＶ１を予め保持しているものとする。なお、画面１０１ａの座標軸とスキャン装置２００の座標軸とが概ね一致するように配置されている場合に、図１５中の破線で示されるスキャン領域２００ｃは、基本ベクトルＶ１を有する。基本ベクトルＶ１は、座標Ｉ（Ｘ１０、Ｙ１０）と座標Ｉ（Ｘ１２、Ｙ１２）とにより表される。このとき、スキャンバー２００ａの長さ方向が画面座標系のＹ方向に概ね平行であり、スキャンバー２００ａは画面座標系のＸ方向に向かって走査される。
【０１６６】
次に、スキャン装置検出部１２６は、突起２２０ａ及び２２０ｂによる押圧位置Ｉ（Ｘ１０、Ｙ１０）及びＩ（Ｘ１１、Ｙ１１）に基づいて、傾きのベクトルＶ２を算出する。スキャン装置検出部１２６は、ベクトルの内積に基づいて次式（１）によりスキャン装置２００の傾きΔθを算出する。
【０１６７】
【数１】
【０１６８】
スキャン装置検出部１２６は、座標Ｉ（Ｘ１０、Ｙ１０）、座標Ｉ（Ｘ１１、Ｙ１１）及び傾きΔθに基づいて、残りの２隅の座標を求めることで、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。
【０１６９】
その他、スキャン装置２００の背面の４隅に突起２２０を設け、画面１０１ａに対するスキャン装置２００の位置及び傾きを検出しても良い。
【０１７０】
（７−４）変形例４
上記実施形態では、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出するために、マウスポインタ１１０ではなく、テキスト間の入力位置を示すために用いられるキャレットを用いることもできる。検出方法はマウスポインタと同様である。
【０１７１】
（７−５）変形例５
上記実施形態では、情報処理装置１００は、スキャンバー領域２００ｂの表示を制御するため、表示の制御の前に画面１０１ａに対するスキャン装置２００の位置及び傾きΔθを取得した。しかし、例えば画面１０１ａの全体の表示を制御する場合には、画面１０１ａと対象物画像とを合成するまでに、スキャン装置２００の位置及び傾きΔθを取得すれば良い。
【０１７２】
（７−６）変形例６
上記実施形態では、透過性の低い物理的な対象物として付箋紙を例に挙げたが、対象物としてはその他例えば写真などであっても良い。
【０１７３】
図１６は、対象物が写真である場合の情報処理装置１００による処理の概要を説明する説明図である。対象物が異なるのみで基本的には上記処理と同様であるので簡単に以下に説明する。なお、ユーザは、画面１０１ａに表示された写真Ａと、実際の写真Ｂ及び写真Ｃと、により合成画像を生成しようとしている。
【０１７４】
同図（ａ）に示すように、画面１０１ａにマウスポインタ１１０及びウィンドウ１１１が表示されている。ウィンドウ１１１では、一例として写真の画像Ａが表示されている。
【０１７５】
同図（ｂ）に示すように、ユーザは、ウィンドウ１１１内の写真の画像Ａに対して、対象物である写真Ｂ及び写真Ｃを画面１０１ａ上に配置する。
【０１７６】
同図（ｃ）に示すように、この状態でスキャン装置２００により対象物である写真Ｂ及び写真Ｃを含む画像を読み取る。このとき、情報処理装置１００は、スキャン装置２００が読み取りを行うのに伴い、画面１０１ａの表示を制御する。また、情報処理装置１００は、対象物の読み取りに先だって、対象物の読み取りと同時、あるいは対象物の読み取り後に、スキャン装置２００の画面１０１ａに対する位置及び傾きΔθを取得する。
【０１７７】
同図（ｄ）に示すように、情報処理装置１００は、同図（ｃ）において取得したスキャン画像から、エッジに基づいて写真Ｂ及び写真Ｃの対象物画像を抽出するとともに、スキャン画像に対する対象物画像の位置を取得する。
【０１７８】
同図（ｅ）に示すように、情報処理装置１００は、同図（ａ）の画面１０１ａと、抽出した写真Ｂ及び写真Ｃの対象物画像と、を合成して画面１０１ａに表示する。このとき、情報処理装置１００は、スキャン装置２００の画面１０１ａに対する位置及び傾きと、スキャン画像に対する対象物画像の位置と、に基づいて合成を行う。
【０１７９】
その他、対象物としては例えば葉書などであっても良い。
【０１８０】
（８）利用例
以下に、上記実施形態例及び変形例により形成された合成画像の利用例を説明する。
【０１８１】
図１７〜図１９は、合成画像の利用例を示す画面例である。
【０１８２】
図１７では、前述の図４Ｈで作成された合成画像を、パソコン操作日記として保存している例が示されている。パソコン操作日記とは、例えば、パソコンでの操作を記録として保存するアプリケーションを言うものとする。各日付をクリックすることで、操作日記が図１７のように示される。また、“メールに添付”のボタンをクリックすることで、表示されている操作日記をメールに添付して送信することができる。
【０１８３】
図１８は、パソコン操作日記がメールに添付されて送信された様子を示している。このようにメールに添付してパソコン操作日記を送信することで、送信者はパソコンでの操作内容を相手方に即座かつ的確に伝えることができる。そのため、送信者は、相手方から所望の回答を引き出すことも可能となる。
【０１８４】
図１９は、例えばシニアクラブが運営する掲示板などに、パソコン操作日記を投稿している様子を示している。このように掲示板にパソコン操作日記を投稿することで、第三者にパソコンでの操作内容を即座かつ的確に伝えることができる。また、図１９に示すように、投稿者は、第三者から所望のコメントを受け取ることも可能となる。
【０１８５】
本実施形態により合成画像を生成し、上述のような利用形態を提供することで、情報処理装置１００の利用に不慣れな例えば高齢者などに情報処理装置１００の利用を促進することができる。
【０１８６】
＜第２実施形態例＞
以下の第２実施形態例では、読み取り対象として透過性の高い物理的な対象物を例に挙げて説明する。また、透過性の高い物理的な対象物としてセロハン紙を例に挙げて説明する。セロハン紙とは、例えばセルロースを原材料とする透過性の高い薄膜状のシートを言う。
【０１８７】
外観構成及びハードウェア構成は第１実施形態例と同様であるので説明を省略する。また、機能構成及びその処理は、光干渉制御の方法が異なるのみで、以下の点を除き第１実施形態例と同様であるので簡単に説明する。
【０１８８】
（１）処理の概要
図２０は、対象物がセロハンである場合において、情報処理装置による第２実施形態例に係る処理の概要を説明する説明図である。なお、ユーザは、画面１０１ａに表示された写真Ａと、実際のセロハン紙１１２ｃと、を重畳した合成画像を生成しようとしている。
【０１８９】
同図（ａ）に示すように、画面１０１ａにマウスポインタ１１０及びウィンドウ１１１が表示されている。ウィンドウ１１１では、一例として写真の画像Ａが表示されている。
【０１９０】
同図（ｂ）に示すように、ユーザは、ウィンドウ１１１内の写真の画像Ａ上に、対象物であるセロハン紙１１２ｃを配置する。
【０１９１】
同図（ｃ）に示すように、この状態でスキャン装置２００により対象物であるセロハン紙１１２ｃを含む画像を読み取る。このとき、情報処理装置１００は、スキャン装置２００による読み取りに伴い、画面１０１ａの表示を制御する。スキャン装置２００は、照射光を画面１０１ａ及びセロハン紙１１２ｃに照射して読み取りを行う。また、情報処理装置１００は、対象物の読み取りに先だって、対象物の読み取りと同時、あるいは対象物の読み取り後に、スキャン装置２００の画面１０１ａに対する位置及び傾きΔθを取得する。
【０１９２】
同図（ｄ）に示すように、情報処理装置１００は、同図（ｃ）において取得したスキャン画像から、セロハン紙１１２ｃのエッジを検出するとともに、スキャン画像に対するエッジの相対位置を取得する。
【０１９３】
同図（ｅ）に示すように、情報処理装置１００は、スキャン装置２００において照射光を出射しないように制御する。スキャン装置２００は、画面１０１ａから出射される表示光を用いて、読み取りを行う。このとき、画面１０１ａのセロハン紙１１２ｃが重畳された領域では、画面１０１ａからの表示光がセロハン紙１１２ｃを介して出射される。よって、スキャン装置２００は、セロハン紙１１２ｃが重畳された領域では、セロハン紙１１２ｃを介して出射される光を読み取ることとなる。
【０１９４】
同図（ｆ）に示すように、情報処理装置１００は、スキャン画像から、エッジで特定されるセロハン紙１１２ｃ内の均一色味情報を取得する。ここで、均一色味情報とは、所定の領域内において最も支配的な色を言うものとする。
【０１９５】
同図（ｇ）に示すように、情報処理装置１００は、同図（ａ）の画面１０１ａと、セロハン紙１１２ｃの均一色味情報と、を合成して画面１０１ａに表示する。このとき、情報処理装置１００は、スキャン装置２００の画面１０１ａに対する位置及び傾きと、スキャン画像に対するエッジの位置と、に基づいて合成を行う。
【０１９６】
（２）処理の流れ
以下に、第２実施形態例の特徴である光干渉制御の流れについて説明する。図２１は、第２実施形態例にかかる光干渉制御Ｃの流れの一例を示すフローチャートである。
【０１９７】
セロハン紙１１２ｃは透過性が高いため、情報処理装置１００は、スキャン画像からセロハン紙のエッジを取得するのが困難である。また、情報処理装置１００は、一度の読み取りで取得したスキャン画像から、セロハン紙が有する均一色味情報と、セロハン紙のエッジと、を同時に取得することが困難である。そこで、情報処理装置１００は、まずエッジの検出に焦点を当て、画面１０１ａの表示を制御する。エッジを検出した後、情報処理装置１００は、セロハン紙が有する均一色味情報に焦点を当て、スキャン装置２００から出射される照射光の制御を行う。以下に、光干渉制御Ｃの流れを説明する。
【０１９８】
ステップＳ３４ａ：情報処理装置１００は、上記第１実施形態例の光干渉制御Ａ１、Ａ２及びＢのうちいずれかを実行し、対象物であるセロハン紙１１２ｃの画像を含むスキャン画像を取得する。この処理は、スキャン画像においてセロハン紙１１２ｃのエッジを検出するために行われる。
【０１９９】
ステップＳ３４ｂ：画像判定部１３１は、スキャン画像から対象物であるセロハン紙１１２ｃのエッジを検出する。画像判定部１３１は、スキャン画像におけるエッジの位置を抽出部１３２及び合成画像生成部１３３に出力する。
【０２００】
ステップＳ３４ｃ：指示制御部１２２は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。
【０２０１】
ステップＳ３４ｄ：また、指示制御部１２２は、スキャン装置２００に光干渉制御コマンドを出力し、照射光の制御を開始させる。ここで、光制御コマンドには、スキャン装置２００からの照射光の出射を停止させるように指示する情報が含まれているものとする。これにより、スキャン装置２００の照射光制御部２１１は、画像の読み取りにおいて照射光の出射を停止する。なお、セロハン紙１１２ｃ内の均一色味情報を取得出来れば良く、照射光の出射を完全に停止しなくても良い。
【０２０２】
ステップＳ３４ｅ、Ｓ３４ｆ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０２０３】
ステップＳ３４ｇ：抽出部１３２は、画像判定部１３１が検出したエッジに基づいて、エッジで特定されるセロハン紙１１２ｃ内の均一色味情報を取得する。例えば、抽出部１３２は、エッジ内の画像の各画素の色味を検出し、色味ごとに画素数を算出する。抽出部１３２は、最も多い画素数の色味を均一色味情報として取得する。抽出部１３２は、検出した均一色味情報を合成画像生成部１３３に出力する。
【０２０４】
以上の処理の後、合成画像生成部１３３は、画面１０１ａ上でのスキャン領域２００ｃ、スキャン画像に対するセロハン紙１１２ｃのエッジの位置に基づいて、画面１０１ａの画像にセロハン紙１１２ｃの均一色味情報を合成し合成画像を生成する。
【０２０５】
なお、情報処理装置１００は、ステップＳ３４ｂにおいてエッジを検出できない場合は、上記第１実施形態例の変形例１のように様々な光干渉制御を行っても良い。
【０２０６】
その他、第１実施形態例の各種変形例も第２実施形態例に取り込み可能である。
【０２０７】
＜その他の実施形態例＞
上記実施形態では、ユーザが、スキャン装置２００の操作ボタン２０２のうち、画面読み取りモードの設定ボタンを選択すると、その選択情報が情報処理装置１００に出力される。情報処理装置１００は、画面読み取りモードが選択されたことに基づいて、上記の各種処理を行う。しかし、ユーザが画面読み取りモードを選択しなくても、情報処理装置１００が、最初に取得したスキャン画像に基づいて読み取り対象が画面１０１ａであると判断した場合、上記各種処理を行うようにしても良い。例えば、情報処理装置１００が、スキャン画像が鮮明でないと判断した場合、読み取り対象が画面１０１ａであると判断する。
【０２０８】
上記実施形態では、画像取得装置としてスキャン装置を例に挙げたが、画像取得装置は対象に対して照射光を照射して画像を取得する装置であれば特に限定されず、例えばカメラなどの撮像装置であっても良い。
【０２０９】
また、前述の方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）、ＭＯ（Magneto Optical disk）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ（ＤＶＤ−Random Access Memory）、ＢＤ（Blue-ray Disc）、ＵＳＢメモリ、半導体メモリなどを挙げることができる。前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０２１０】
以上の実施形態及びその他の実施形態に関し、更に以下の付記を開示する。
【０２１１】
＜付記＞
（付記１）
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行う情報処理装置であって、
画面を有するディスプレイと、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部と、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部と、
を含む、情報処理装置。
【０２１２】
物理的な対象物とは、例えば添付可能な付箋紙であり、メモ書きされた付箋紙がディスプレイの画面上の所望の場所に添付されているとする。画像取得装置が画面上の付箋紙の画像を取得する場合、上記情報処理装置は画面の表示を一様な状態に制御する。画面の表示を一様な状態を制御するとは、例えば画面の色相、彩度、明度及び／又は輝度を一様に制御することにより画面を例えば一様に黒色状態又は白色状態などに制御することを言う。また、画面の表示は、例えば画面から出射される表示光の出射量を調節することで制御され得る。例えば、ディスプレイが液晶表示装置の場合には、情報処理装置は、画素電極に印加する画像信号を制御して液晶の傾きを制御し、これにより画面から出射する表示光の出射量を調節する。あるいは、ディスプレイに輝度又は明度を与える照明光、液晶表示装置の場合にはバックライト光を制御して、画面からの表示光の出射量を調節しても良い。また、例えば、ディスプレイがＣＲＴ（Cathode Ray Tube）の場合には、ディスプレイ背面での照明光の出射量を制御することで、画面からの表示光の出射量を調節する。その他、情報処理装置は、画面全体に白色を出力するように制御するなど、画面の表示色を制御して、画面の表示を一様に制御することもできる。
【０２１３】
このように画面の表示を一様に制御することで、画像の取得の際に画像取得装置から出射される照射光と、情報処理装置のディスプレイから出射される表示光と、の干渉を抑制することができる。これにより、対象物がディスプレイの画面上に配置されていても、画像取得装置により対象物を読み取ることが可能となる。
【０２１４】
（付記２）
前記光干渉制御部は、前記画面の表示を黒色状態又は白色状態に制御する、付記１に記載の情報処理装置。
【０２１５】
光干渉制御部は、画像取得装置が対象物の画像を取得する際に画面を例えば一様な黒色状態に制御する。対象物が白色の用紙である場合、対象物の背景色が黒色状態となることで、対象物と画面との差が明確になり、画像取得装置により画面上の対象物を読み取り可能となる。これにより、情報処理装置の画面から出射される表示光と、画像取得装置から出射される照射光と、が干渉し合い、対象物の画像取得を困難にするなどの悪影響を抑制することができる。
【０２１６】
なお、黒色状態には黒色だけでなく、暗い灰色、明るい灰色など黒色に近い色も含まれる。同様に、白色状態には、白色だけでなく、明度又は輝度などが明るい白色に近い、例えば黄色、明るい緑なども含まれる。
【０２１７】
（付記３）
前記画面に明度又は輝度を与える照明光を生成する照明光生成部と、
前記画面に画像を表示するための画像信号を生成する画像信号生成部と、
前記照明光及び前記画像信号に基づいて、前記ディスプレイの画面に画像を表示する表示制御部と、をさらに含み、
前記光干渉制御部は、前記画像信号を制御することにより前記画面の表示を一様な状態に制御する、付記１又は２のいずれかに記載の情報処理装置。
【０２１８】
画面はＲＧＢなどの色を決定する複数の画素から構成されており、画像信号生成部は、例えば各画素ごとに画像信号を生成している。ディスプレイが液晶表示装置の場合は、情報処理装置が画像信号を各画素の画素電極に印加すると、液晶は画像信号に応じて傾く。光干渉制御部は、この画像信号を制御することで液晶の傾きを制御し、照明光を遮断する量を制御し、ひいては画面から出射する表示光の出射量を調節する。
【０２１９】
（付記４）
前記画面に明度又は輝度を与える照明光を生成する照明光生成部と、
前記照明光を用い、前記ディスプレイの画面に画像を表示する表示制御部と、をさらに含み、
前記光干渉制御部は、前記画像の表示に用いる前記照明光の出射量を制御することにより前記画面の表示を一様な状態に制御する、付記１又は２のいずれかに記載の情報処理装置。
【０２２０】
情報処理装置は、ディスプレイが液晶表示装置の場合、照明光であるバックライト光を制御して、画面からの表示光の出射量を調節し画面の表示を一様な状態に制御する。また、例えば、ディスプレイがＣＲＴの場合には、ディスプレイ背面での照明光の出射量を制御することで、画面からの表示光の出射量を調節する。
【０２２１】
情報処理装置は、例えば、照明光の出射量を少なくすることで、画面の表示を一様な黒色状態とすることができる。また、情報処理装置は、照明光の出射量を多くすることで、画面の表示を一様な白色状態に近くすることができる。
【０２２２】
（付記５）
前記画像取得装置からの前記取得画像において、前記対象物と前記対象物以外とのコントラスト比が所定値以上であることに基づいて、前記対象物のエッジを検出する画像判定部をさらに含み、
前記光干渉制御部は、前記画像判定部が前記コントラスト比が前記所定値未満であると判定した場合、前記画面の一様な状態を別の一様な状態に制御する、付記１〜４のいずれかに記載の情報処理装置。
【０２２３】
例えば、情報処理装置は、まず、画面を一様な黒色状態に制御し、画像取得装置から取得画像を受信する。ここで、取得画像には、対象物と、対象物の背景である画面と、が含まれる。この取得画像において、対象物と対象物以外とのコントラスト比が所定値未満である場合、情報処理装置は、画面を一様な黒色状態から一様な白色状態に変更し、画像取得装置に再び画像を取得させる。情報処理装置が画面の表示を様々に調節することで、画像取得装置は対象物の画像をより鮮明に取得することができる。
【０２２４】
（付記６）
前記画像取得装置が前記照射光を走査することにより画像を取得するのに伴って、前記光干渉制御部は、前記画面のうち、前記走査に応じて前記照射光が照射されている照射領域の表示を制御する、付記１〜５のいずれかに記載の情報処理装置。
【０２２５】
例えば、情報処理装置が、全画面の表示を通常状態から一様な状態に制御すると、瞬時に画面の状態が変化するため、情報処理装置のユーザに強い刺激を与える。このような変化は、例えば、ユーザに大きな驚きを与え、また情報処理装置が誤作動したとユーザに誤認させるなどする。照射光が照射されている限定された照射領域のみ表示を制御することで、全画面の表示が制御される場合に比べてユーザに与える刺激を抑制することができる。例えば、画像取得装置が、スキャンバー領域下に対してスキャン光を出射し、スキャンバーを順次的に走査して画像を取得するスキャン装置であるとする。この場合、情報処理装置は、画面のうちスキャンバー領域下でのみ画面の表示を一様な状態に制御する。
【０２２６】
（付記７）
前記取得画像に基づいて、前記画面に対する前記画像取得装置の位置及び傾きを検出する画像取得装置検出部と、
前記画像取得装置における前記照射光の走査位置を前記画像取得装置から取得し、取得した前記照射光の走査位置と、前記画面に対する前記画像取得装置の位置及び傾きと、に基づいて、前記画面に対する前記照射領域を検出する照射領域検出部と、をさらに含み、
前記光干渉制御部は、前記照射領域検出部が検出した前記照射領域の表示を制御する、付記６に記載の情報処理装置。
【０２２７】
画像取得装置が、情報処理装置の画面に対してどの位置にどの傾きで読み取りを行うかによって、画面上における照射光の照射領域も異なる。よって、情報処理装置は、画像取得装置の画面に対する位置及び傾きなどを取得する必要がある。さらに、照射光の走査位置は順次的に移動するため、画像取得装置における照射光の走査位置も取得する必要がある。情報処理装置は、これら取得した情報に基づいて、画面に対して照射光が走査されている照射領域を取得する。
【０２２８】
なお、例えば、情報処理装置は、マウスによる操作位置を示すポインタ、又は、テキスト間の入力位置を示すために用いられるキャレットなどの画像を画像取得装置から取得する。取得画像に例えばポインタが含まれていれば、情報処理装置は、取得画像内におけるポインタの座標と、画面内におけるポインタの座標とに基づいて、画像取得装置が画面内のどの位置にあるのかを把握できる。ただし、情報処理装置は、ポインタの表示を制御しているため、画面内におけるポインタの座標を認識している。また、照射光の走査方向と、画面上の水平方向と、のなす角により画像取得装置が画面に対してどの程度傾いているのかを把握することができる。
【０２２９】
（付記８）
前記光干渉制御部は、前記画像取得装置での前記対象物の画像の取得に伴って、前記画像取得装置が出射する照射光をさらに制御する、付記１〜７のいずれかに記載の情報処理装置。
【０２３０】
画像取得装置による画像の取得時には、画面から出射される表示光と、画像取得装置が出射する照射光と、が干渉し合う。そこで、光干渉制御部は、画面の表示を一様な状態に制御するだけでなく、画像取得装置から出射される照射光をさらに制御する。これにより、表示光と照射光との干渉を抑制し、対象物の画像取得を困難にするなどの悪影響を抑制することができる。
【０２３１】
（付記９）
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置が実行する情報処理方法であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御ステップと、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信ステップと、
を含む、情報処理方法。
【０２３２】
（付記１０）
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置に実行させるための情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部、及び
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部、
として前記情報処理装置を機能させる情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【符号の説明】
【０２３３】
１００：情報処置装置
１０１：ディスプレイ
１０１ａ：画面
１１０：マウスポインタ
１１２ｃ：セロハン紙
１１２ａ、１１２ｂ：付箋紙
１２２：指示制御部
１２３：光干渉制御部
１２４：表示管理部
１２４ａ：表示制御部
１２４ｂ：照明光生成部
１２４ｃ：画像信号生成部
１２５：マウスポインタ情報ＤＢ
１２６：スキャン装置検出部
１２７：スキャンバー領域検出部
１２８：スキャン装置情報ＤＢ
１２９：スキャン画像受信部
１３０：スキャン画像ＤＢ
１３１：画像判定部
１３２：抽出部
１３３：合成画像生成部
１３４：画面取得部
１３５：画面ＤＢ
１４０：タッチパネル
２００：スキャン装置
２００ａ：スキャンバー
２００ｂ：スキャンバー領域
２００ｃ：スキャン領域
２０１：スキャン機構
２０２：操作ボタン
２０３：操作ディスプレイ
２１０：スキャン実行部
２１１：照射光制御部
２１２：入力受付部
２２０ａ、２２０ｂ：突起
【技術分野】
【０００１】
画像取得装置での画像の取得を支援するための技術に関する。
【背景技術】
【０００２】
画像取得装置の一つであるスキャン装置は、画像読み取り面に載置された紙原稿に光を照射し、原稿そのものを画像として読み取り、又は原稿内の文字及び図形などの情報を読み取るなどする。また、画像取得装置は、原稿上に付箋紙が添付されている場合には、原稿の情報のみならず付箋紙の情報も取得することが可能である。例えば、特許文献１には、原稿に付箋紙が添付されている場合に、付箋紙を検出する技術が開示されている。
【０００３】
ここで、付箋紙は、紙などの原稿上に添付するだけでなく、情報が表示されたディスプレイ上に添付することも考えられる。例えば、パーソナルコンピュータなどの情報処理装置のディスプレイに、操作方法などが不明な画面が表示されたとする。ユーザは、メモを記した付箋紙をディスプレイに表示された画面上の不明な箇所に添付し、不明箇所について第三者に指示を求めたいと考える。このような場合、ユーザは、付箋紙が添付された状態が分かる画面のデータをメールに添付して第三者に送付したいと考える。そのため、例えば、ユーザは、付箋紙が添付された状態の画面を画像取得装置で読み取り、読み取ったデータを第三者に送付する。これにより、ユーザは第三者に画面上の不明箇所を的確に伝えて指示を受けることができる。特に高齢化社会が進んでいる今日において、情報処理装置の操作に不慣れな高齢者が、情報処理装置を操作する状況も多くなっており、このような状況が多く発生すると考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-159065号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像取得装置が紙原稿を読み取る場合は、紙原稿自体は光を出射せず、画像取得装置が紙原稿に対して照射光を出射する。一方、画像取得装置が、例えば付箋紙が添付されたディスプレイに対して読み取り処理を行う場合、画像取得装置がディスプレイに向かって照射光を出射するだけでなくディスプレイ自体も表示光を出射している。よって、画像取得装置が出射する照射光と、ディスプレイが出射する表示光と、が干渉し合い、画像の取得が有効に実行されない。つまり、画像取得装置が、ディスプレイ上の付箋紙を認識できなかったり、付箋紙に記載された情報を取得することができない。
【０００６】
そこで、画像取得装置において、ディスプレイ上に配置された物理的な対象物の画像を取得可能なように支援する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行う情報処理装置であって、画面を有するディスプレイと、前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部と、前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部と、を含む、情報処理装置を提供する。
【発明の効果】
【０００８】
画像取得装置において、ディスプレイ上に配置された物理的な対象物の画像を取得可能なように支援する技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態例に係る、スキャン装置及び情報処理装置の外観説明図。
【図２】スキャン装置及び情報処理装置の使用方法の一例示す模式図。
【図３】第１実施形態例に係る、スキャン装置及び情報処理装置のハードウェア構成を示すブロック図の一例。
【図４Ａ】情報処理装置がディスプレイに表示する画面の表示例。
【図４Ｂ】読み取りの対象物である付箋紙が画面に添付されている状態を示す説明図。
【図４Ｃ】スキャン装置がマウスポインタの画像を読み取る様子を示す説明図。
【図４Ｄ】スキャン装置が対象物である付箋紙の画像を取得する様子を示す説明図。
【図４Ｅ】スキャンバー領域において画面の表示が制御されている様子を示す説明図。
【図４Ｆ】スキャン装置から出射される照射光Ｂと、情報処理装置の画面から出射される表示光ａと、の関係を示す説明図。
【図４Ｇ】スキャン装置が読み取ったスキャン画像から対処物画像を抽出する様子を示す説明図。
【図４Ｈ】画面と対象物画像とが合成されている様子を示す画面例。
【図５】第１実施形態例にかかる情報記憶装置及びスキャン装置の機能構成を示すブロック図の一例。
【図６】スキャン装置の検出処理の一例を示す説明図
【図７】スキャンバー領域の検出方法の一例を示す説明図。
【図８】第１実施形態例にかかる情報処理装置が実行する全体処理の流れの一例を示すフローチャート。
【図９】第１実施形態例にかかるスキャン装置の検出処理の流れの一例を示すフローチャート。
【図１０】第１実施形態例にかかる光干渉制御Ａ１の流れの一例を示すフローチャート。
【図１１】第１実施形態例にかかる光干渉制御Ａ２の流れの一例を示すフローチャート。
【図１２】表示光と照射光との光干渉制御の組み合わせを示す表。
【図１３】変形例１にかかる光干渉制御Ｂの流れの一例を示すフローチャート。
【図１４】変形例３にかかるタッチパネルを備える情報処理装置とスキャン装置との関係を示す模式図。
【図１５】タッチパネルを用いてスキャン装置の位置及び傾きを検出する方法を説明する模式図。
【図１６】対象物が写真である場合の情報処理装置１００による処理の概要を説明する説明図。
【図１７】合成画像の利用例を示す画面例（１）。
【図１８】合成画像の利用例を示す画面例（２）。
【図１９】合成画像の利用例を示す画面例（３）。
【図２０】対象物がセロハンである場合において、情報処理装置による第２実施形態例に係る処理の概要を説明する説明図。
【図２１】第２実施形態例にかかる光干渉制御Ｃの流れの一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下に、画像を取得する画像取得装置としてスキャン装置を例に挙げて説明する。なお、スキャン装置とは、読み取り対象に対して照射光を順次的に照射して読み取り対象の画像等を取得する装置を言う。
【００１１】
また、第１実施形態例では、読み取り対象として透過性の低い物理的な対象物を例に挙げて説明する。透過性の低い物理的な対象物としては付箋紙を例に挙げる。また、第２実施形態例では、読み取り対象として透過性の高い物理的な対象物を例に挙げて説明する。透過性の高い物理的な対象物としてはセロハン紙を例に挙げる。なお、物理的な対象物とは、現実に存在する物体を意味するものとする。
【００１２】
＜第１実施形態例＞
（１）外観構成
図１は、第１実施形態例に係る、スキャン装置及び情報処理装置の外観説明図である。
【００１３】
情報処理装置１００は、ディスプレイ１０１、マウス１０２、キーボード１０３及び各種処理を行うための基板等が格納された筐体１１５を含む。ディスプレイ１０１は、画像などの各種情報を表示するための画面１０１ａを有する。また、ディスプレイ１０１は、画面１０１ａに各種情報を表示する際に照明光を用いる。マウス１０２及びキーボード１０３は、ユーザからの入力を受け付ける。筐体１１５内には、後述のハードウェアを構成するＣＰＵ（Central Processing Unit）１０５、ＲＯＭ（Read Only Memory）１０６、ＲＡＭ（Random Access Memory）１０７及び通信Ｉ／Ｆ（InterFace）１０８などの各種構成が組み込まれている。その他、情報処理装置１００は、スピーカ、ヘッドホン及びカメラなどを備えていても良い。
【００１４】
スキャン装置２００は、スキャン機構２０１、操作ボタン２０２及び操作ディスプレイ２０３を含む。スキャン機構２０１は、照射光を順次的に走査して画像を読み取る。スキャン機構２０１は、一例として、照射光を生成して出射する照射機構と、照射機構を移動させて照射光を順次的に走査する走査機構、画像を取得する画像取得機構などを有する。照射機構及び走査機構を含む機構を、以降ではスキャンバーと称する。
【００１５】
操作ボタン２０２には、スキャン開始を受け付ける開始ボタン、スキャンの中止を受け付ける中止ボタン及びスキャンの各種設定を受け付ける設定ボタンなどが含まれる。設定ボタンには、例えば画面読み取りモード、原稿読み取りモードなどの各種モードごとのボタンが含まれる。本実施形態例では、一例として、ユーザが、画面読み取りモードの設定ボタンを選択すると、以下の処理が開始されるものとする。
【００１６】
ディスプレイ２０３は、例えば現在の設定情報及びスキャンの手順を知らせる報知情報など各種情報を表示する。
【００１７】
図２は、スキャン装置及び情報処理装置の使用方法の一例示す模式図である。ユーザは、図２に示すように情報処理装置１００のディスプレイ１０１の画面１０１ａ上に、スキャン装置２００を載置して使用する。ユーザは、この状態でスキャン装置２００を駆動することで、所望の画像を取得する。
【００１８】
（２）ハードウェア構成
図３は、第１実施形態例に係る、スキャン装置及び情報処理装置のハードウェア構成を示すブロック図の一例である。
【００１９】
（２−１）情報処理装置
情報処理装置１００は、例えば、入出力機器コントローラ１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７及び通信Ｉ／Ｆ１０８を有している。これらは、バス１０９を介して互いに接続されている。
【００２０】
入出力機器コントローラ１０４は、ディスプレイ１０１、マウス１０２及びキーボード１０３などと接続されている。
【００２１】
ＲＯＭ１０６は、情報処理装置１００が行う後述の各種制御に関わる各種制御プログラムを記憶している。
【００２２】
ＲＡＭ１０７は、ＲＯＭ１０６内の各種制御プログラム及び画像などの情報を一時的に記憶する。また、ＲＡＭ１０７は、各種制御プログラムの実行に応じて各種フラグなどの情報を一時的に記憶する。
【００２３】
ＣＰＵ１０５は、ＲＯＭ１０６に記憶された各種制御プログラムをＲＡＭ１０７に展開し、各種制御を行う。例えば、ＣＰＵ１０５は、入出力機器コントローラ１０４を介してディスプレイ１０１の画面１０１ａに画像などの情報を表示させる。また、ＣＰＵ１０５は、マウス１０２及びキーボード１０３などからユーザの入力操作を受け付け、入出力機器コントローラ１０４を介してユーザの入力を受信する。
【００２４】
通信Ｉ／Ｆ１０８は、ＣＰＵ１０５の制御に基づいて、例えばスキャン装置２００との間でコマンド又はデータの送受信などの通信を行う。
【００２５】
（２−２）スキャン装置
スキャン装置２００は、例えば、入出力機器コントローラ２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７及び通信Ｉ／Ｆ２０８を有している。これらは、バス２０９を介して互いに接続されている。
【００２６】
入出力機器コントローラ２０４は、スキャン機構２０１、操作ボタン２０２及び操作ディスプレイ２０３などと接続されている。
【００２７】
ＲＯＭ２０６は、スキャン装置２００が行う各種制御プログラムを記憶している。
【００２８】
ＲＡＭ２０７は、ＲＯＭ２０６内の各種制御プログラム、画像、各種フラグなどの情報を一時的に記憶する。
【００２９】
通信Ｉ／Ｆ２０８は、ＣＰＵ２０５の制御に基づいて、例えば情報処理装置１００との間でコマンド、画像などのデータの送受信を行う。
【００３０】
ＣＰＵ２０５は、ＲＯＭ２０６に記憶された各種制御プログラムをＲＡＭ２０７に展開し、各種制御を行う。例えば、ＣＰＵ２０５は、操作ボタン２０２からの入力に応じてスキャン機構２０１を制御する。また、ＣＰＵ２０５は、情報処理装置１００からのコマンドを通信Ｉ／Ｆ２０８を介して受信し、コマンドに応じてスキャン機構２０１を制御する。また、ＣＰＵ２０５は、スキャン機構２０１からスキャン画像及び照射光の走査位置などを取得し、通信Ｉ／Ｆ２０８を介して情報処理装置１００に出力する。
【００３１】
（３）処理の概要
図４Ａ〜図４Ｇを用いて情報処理装置１００による処理の概要を説明する。
【００３２】
図４Ａは、情報処理装置がディスプレイに表示する画面の表示例である。図４Ａによると、情報処理装置１００のディスプレイ１０１では、画面１０１ａにマウスポインタ１１０及びウィンドウ１１１が表示されている。ここで、マウスポインタとは、マウス１０２の画面上での操作位置を示すためのマークである。ウィンドウとは、画面１０１ａ内の独立した小さな画面であり、各ウィンドウ内に画像や文書などを表示可能な画面である。ウィンドウ１１では、一例として検索結果が表示されており、検索に用いた文字列等に関連する複数のＵＲＬ（Uniform Resource Locator）が表示されている。
【００３３】
ここで、ユーザは、ウィンドウ１１１に表示された検索結果を見ても、例えばどのＵＲＬにアクセスすれば良いのか分からず、また、アクセスしても問題がないかどうか分からないとする。そこで、図４Ｂに示すように、ユーザは、ウィンドウ１１１内の表示情報の不明箇所に対応するように、画面１０１ａ上に付箋紙１１２（１１２ａ、１１２ｂ）を添付する。図４Ｂは、読み取りの対象物である付箋紙が画面に添付されている状態を示す説明図である。ここでは、ＵＲＬ３-ＣＣＣＣの付近には、“これは見てみたいんだけど”とのコメントが記載された付箋紙１１２ａが添付されている。また、ＵＲＬ５-ＥＥＥＥの付近には、“分からない”とのコメントが記載された付箋紙１１２ｂが添付されている。本実施形態では、付箋紙１１２が画像読み取りの対象物である。
【００３４】
次に、ユーザは、図４Ｃに示すように、付箋紙１１２とともにマウスポインタ１１０を読み取り可能なように、スキャン装置２００を画面１０１ａ上に配置する。また、ユーザは、操作ボタン２０２のうち、画面読み取りモードの設定ボタンを選択する。図４Ｃは、スキャン装置がマウスポインタの画像を読み取る様子を示す説明図である。ここで、まず、画面１０１ａ上において、スキャン装置２００がどの位置にどの傾きで配置されているかなどの情報を取得する必要がある。前記情報を取得する理由は、後述の通り、画面上のスキャンバー領域２００ｂにおいて画面の表示を制御する必要があるからである。また、最終的に、付箋紙１１２の対象物画像のデータと、付箋紙１１２が添付された時の画面のみのデータと、を重畳して画面に表示するからである。ここで、スキャンバー領域２００ｂとは、スキャンバー２００ａが画面１０１ａ上において走査される領域であり、つまりスキャン装置２００が画面１０１ａ上において照射光を照射する照射領域である。また、スキャンバー２００ａとは、前述の通り、照射光を生成して出射する照射機構と、照射機構を移動させて照射光を順次的に走査する走査機構と、を含む機構を言う。
【００３５】
情報処理装置１００は、画面１０１ａ上でのスキャン装置２００の位置及び傾きを取得するため、ここでは画面１０１ａに表示するマウスポインタ１１０を用いる。そのため、スキャン装置２００のスキャン領域２００ｃ内に、対象物である付箋紙１１２だけでなく、マウスポインタ１１０を位置させる必要がある。スキャン領域２００ｃ内にマウスポインタ１１０が位置していない場合、ユーザは、スキャン領域２００ｃ内にマウスポインタ１１０を移動する。なお、情報処理装置１００が、スキャン領域２００ｃ内にマウスポインタ１１０を移動させるようにユーザに指示しても良い。ここで、スキャン領域２００ｃとは、図４Ｃに示す通り、画面１０１ａのうち、スキャン装置２００に設けられた窓内においてスキャンバー２００ａが走査される領域である。
【００３６】
図４Ｃに示すようにスキャン装置２００が配置された後、スキャン装置２００は、情報処理装置１００からの走査指示コマンド（Ｉ）に基づいて、スキャンバー２００ａを走査する。これにより、スキャン装置２００は、マウスポインタ１１０を含む画面１０１ａを画像として読み取る。なお、走査指示コマンド（Ｉ）は、画面１０１ａにおけるスキャン装置２００の位置及び傾きを取得する際に出力される走査指示コマンドを言うものとする。一方、後述の走査指示コマンド（ＩＩ）は、対象物の画像を読み取る際に出力される走査指示コマンドを言うものとする。
【００３７】
情報処理装置１００は、マウスポインタ１１０を明瞭に読み取るために、マウスポインタを黒色にするなど色を調節しても良い。情報処理装置１００は、スキャン装置２００が取得したスキャン画像からマウスポインタ１１０を検出し、画面１０１ａ上でのスキャン装置２００の位置及び傾きを取得する。これについては後述する。
【００３８】
次に、図４Ｄ、図４Ｅに示すように、スキャン装置２００は、情報処理装置１００からの走査指示コマンド（ＩＩ）に基づいて、スキャンバー２００ａを再び走査する。図４Ｄは、スキャン装置が対象物である付箋紙の画像を取得する様子を示す説明図である。図４Ｅは、スキャンバー領域において画面の表示が制御されている様子を示す説明図である。情報処理装置１００は、スキャン装置２００がスキャンバー２００ａを走査するのに応じて、スキャンバー領域２００ｂの画面の表示を一様な状態に制御する。画面の表示を一様な状態を制御するとは、例えば画面の色相、彩度、明度及び／又は輝度を一様に制御することにより画面を例えば一様に黒色状態又は白色状態などに制御することを言う。図４Ｅに示すように、画面１０１ａのうちスキャンバー２００ａ直下の領域、つまりスキャンバー領域２００ｂの表示が一様な黒色状態に制御されている。これにより、スキャンバー領域２００ｂからの表示光と、スキャン装置２００からの照射光と、の光の干渉が抑制され、スキャン装置２００は、対象物である付箋紙１１２を明瞭に読み取ることが可能となる。なお、情報処理装置１００は、先に取得したスキャン装置２００の位置及び傾きなどに基づいて、スキャンバー領域２００ｂを把握している。また、情報処理装置１００は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力するとともに、そのときに画面１０１ａに表示されている表示情報を取得する。画面１０１ａに表示されている表示情報とは、ここでは図４Ａの画面１０１ａに示される表示情報である。
【００３９】
図４Ｆは、スキャン装置から出射される照射光Ｂと、情報処理装置の画面から出射される表示光ａと、の関係を示す説明図である。情報処理装置１００のディスプレイ１０１は、各種情報を表示する画面１０１ａと、各種情報の表示に用いる照明光を生成する照明光生成部１２４ｂと、を含む。照明光生成部１２４ｂは、照明光Ａを生成し、画面１０１ａに提供する。照明光Ａは、画面１０１ａでの各種情報の表示の際に制御され、画面１０１ａからは表示光ａとして出射する。一方、スキャン装置２００は、対処物の読み取りの際に照射光Ｂを出射する。よって、スキャン装置２００が画面１０１ａを読み取る場合、スキャン装置２００から出射される照射光Ｂと、画面から出射される表示光ａと、が干渉し、画面１０１ａ上の対象物の読み取りが困難となる。そこで、図４Ｄに示すように、情報処理装置１００がスキャンバー領域２００ｂの表示を一様な状態に制御することで、照射光Ｂと表示光ａとの干渉を抑制する。結果的に、スキャン装置２００により、対象物の読み取りが可能となる。なお、実際には、スキャン装置２００は、対象物に照射光Ｂを照射し、対象物からの反射光ｂを読み取ることで対象物の画像を取得する。この反射光ｂもまた表示光ａと干渉し得る。しかし、ここでは簡単のために、単に照射光と言うときには、照射光Ｂ及び反射光ｂを含むものとする。
【００４０】
図４Ｇは、スキャン装置が読み取ったスキャン画像から対処物画像を抽出する様子を示す説明図である。情報処理装置１００は、スキャン装置２００が読み取ったスキャン画像１１３を受信する。図４Ｇに示すように、スキャン画像１１３は、付箋紙１１２ａに対応する部分以外の背景が黒色状態となっている。これは、図４Ｅに示すようにスキャンバー領域２００ｂの表示が一様な黒色状態に制御されているためである。情報処理装置１００は、スキャン画像１１３から対象物の画像である対象物画像を抽出する。ここでは、情報処理装置１００は、スキャン画像１１３から付箋紙画像１１２ａ＿image及び１１２ｂ＿imageを抽出する。例えば、情報処理装置１００は、付箋紙画像１１２ａ＿image及び１１２ｂ＿imageと、背景画像と、のコントラスト比に基づいて付箋紙画像１１２ａ＿image及び１１２ｂ＿imageを抽出する。また、情報処理装置１００は、付箋紙画像１１２ａ＿image及び１１２ｂ＿imageがスキャン画像１１３内で占める相対位置を取得する。
【００４１】
図４Hは、画面と対象物画像とが合成されている様子を示す画面例である。情報処理装置１００は、予め、画面１０１ａに表示されている表示情報を取得している。情報処理装置１００は、この画面１０１ａの表示情報と、対象物画像である付箋紙画像１１２ａ＿image及び１１２ｂ＿imageと、を重畳し合成画像を生成する。このとき、情報処理装置１００は、画面１０１ａ上でのスキャン装置２００の位置及び傾きと、スキャン画像１１３内での付箋紙画像１１２ａ＿image及び１１２ｂ＿imageの相対位置と、に基づいて重畳を行う。また、情報処理装置１００は、ユーザからの入力に基づいて、図４Ｈに示すように、合成画像を用いて操作日記１１４を作成しても良い。
【００４２】
（４）機能構成
次にスキャン装置及び情報処理装置の機能構成について説明する。
【００４３】
図５は、第１実施形態例にかかる情報記憶装置及びスキャン装置の機能構成を示すブロック図の一例である。まずスキャン装置２００の機能構成について説明する。
【００４４】
（４−１）スキャン装置
スキャン装置２００の各機能部による処理は、スキャン装置２００の入出力機器コントローラ２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７、通信Ｉ／Ｆ２０８等が相互に連携することにより実行される。
【００４５】
スキャン装置２００の機能部には、例えば、スキャン実行部２１０、照射光制御部２１１及び入力受付部２１２及び送受信部２１３などが含まれる。
【００４６】
（４−１−１）送受信部
送受信部２１３は、情報処理装置１００から入力される各種コマンドを受信し、各機能部に送信する。また、送受信部２１３は、スキャン機構２０１、操作ボタン２０２及び操作ディスプレイ２０３等と、各機能部との間でデータを送受信する。
【００４７】
（４−１−２）入力受付部
入力受付部２１２は、操作ボタン２０２及び操作ディスプレイ２０３等からのユーザの入力を送受信部２１３を介して受け付ける。入力受付部２１２は、受け付けた入力をスキャン実行部２１０及び／又は情報処理装置１００に出力する。例えば、入力受付部２１２は、画面読み取りモードの設定ボタンから入力を受け付けると、情報処理装置１００に出力する。このとき、情報処理装置１００は、画面読み取りモードの入力を受け付けると、後述の走査指示コマンド（Ｉ）及び（ＩＩ）などのコマンドを生成し、スキャン実行部２１０に出力する。
【００４８】
（４−１−３）スキャン実行部
スキャン実行部２１０は、入力受付部２１２からの入力及び／又は情報処理装置１００からのコマンドに基づいて、画像の読み取りを実行する。例えば、スキャン実行部２１０は、情報処理装置１００が生成した走査指示コマンド（Ｉ）及び（ＩＩ）を受信し、スキャン機構２０１を制御して画面１０１ａ上の読み取りを開始する。また、スキャン実行部２１０は、読み取ったスキャン画像を情報処理装置１００に送信する。
【００４９】
スキャン実行部２１０は、情報処理装置１００がスキャン装置２００位置及び傾きを取得できるように、スキャンバー２００ａの走査位置を情報処理装置１００に出力する。なお、スキャンバー領域２００ｂは、画面１０１ａのうちスキャンバー２００ａ下の領域である。
【００５０】
スキャンバー２００ａの走査位置は、例えば図４Ｃに示すスキャンバー２００ａ内のいずれかの座標Ｓ（α１、β０）で表される。ここでは、一例として、スキャンバー２００ａの右隅の座標Ｓ（α１、β０）を用いた。また、座標Ｓ（α１、β０）は、例えば、図４Ｃに示すように、スキャンバー２００ａ内の右隅を原点座標Ｓ（α０，β０）としたときの相対座標である。以下では、スキャン領域２００ｃについて、スキャン装置２００側を基準とした座標系を、スキャン座標系と言うものとする。また、Ｓはスキャン座標系に基づく座標であることを示す添え字である。なお、スキャン座標系の座標軸のα方向は、図４Ｃに示すように、スキャンバー２００ａが原点座標Ｓ（α０，β０）から終点座標Ｓ（αＥ、βＥ）に進行する方向である。また、スキャン座標系の座標軸のβ方向は、α方向と概ね直交する方向である。
【００５１】
（４−１−４）照射光制御部
照射光制御部２１１は、スキャン実行部２１０の制御に基づいて、画像の読み取りの際に出射する照射光を制御する。あるいは、照射光制御部２１１は、照射光を制御する照射光制御コマンドを受信し、照射光制御コマンドに応じて照射光を制御する。
【００５２】
（４−２）情報処理装置
情報処理装置１００の各機能部による処理は、情報処理装置１００の入出力機器コントローラ１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、通信Ｉ／Ｆ１０８等が相互に連携することにより実行される。
【００５３】
情報処理装置１００の機能部には、以下の構成が含まれる。
【００５４】
（４−２−１）送受信部
送受信部１２０は、スキャン装置２００と情報処置装置１００との間で各種データ及びコマンドの送受信を行う。例えば、送受信部１２０は、スキャン装置２００から各種データを受け取り、情報処理装置１００内の各機能部に送信する。また、送受信部１２０は、情報処理装置１００からスキャン装置２００に各種コマンドを出力する。
【００５５】
（４−２−２）入力受付部
入力受付部１２１は、マウス１０２及びキーボード１０３等からのユーザの入力を送受信部１２０を介して受け付ける。例えば、入力受付部１２１は、ユーザによるマウス１０２の移動を受け付け、表示管理部１２４に出力する。これにより、表示管理部１２４は、マウスポインタ１１０をマウス１０２の移動に追随して画面１０１ａに表示する。その他、例えば入力受付部１２１は、ユーザから各種処理の起動を受け付け、表示管理部１２４に前述の図４Ｈに示すような操作日記１１４を作成させても良い。
【００５６】
（４−２−３）指示制御部
指示制御部１２２は、スキャン装置２００及び情報処理装置１００を制御するための各種コマンドを生成し、処理の全体を制御する。
【００５７】
例えば、指示制御部１２２は、スキャン装置２００の入力受付部２１２が画面読み取りモードを受け付けると、まずスキャン装置２００の検出処理を開始させるため、スキャン装置２００に走査指示コマンド（Ｉ）を出力する。また、指示制御部１２２は、スキャン装置２００の検出処理を指示するスキャン装置検出コマンドをスキャン装置検出部１２６に出力する。スキャン装置２００の検出処理とは、画面１０１ａに対するスキャン装置２００の位置及び傾きを取得する処理である。本実施形態では、スキャン装置２００は、走査指示コマンド（Ｉ）に基づいて、前述の図４Ｃに示すように、画面１０１ａに表示されたマウスポインタ１１０を含む画像を取得する。なお、指示制御部１２２は、マウスポインタ１１０を明瞭に読み取るために、マウスポインタを黒色にするなど色を調節するように表示管理部１２４に指示しても良い。
【００５８】
ここで、指示制御部１２２は、スキャン装置２００の位置及び傾きを検出できなかった場合には、ユーザに対する警告を画面１０１ａに表示するように表示管理部１２４に指示する。例えば、表示管理部１２４は、マウスポインタ１１０をスキャン領域２００ｃ内に移動するように指示する警告メッセージを画面１０１ａに表示する。
【００５９】
次に、スキャン装置２００の検出処理の後、指示制御部１２２は、対象物である付箋紙１１２の画像を取得するため、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。このとき、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａのうちスキャンバー領域２００ｂにおいて、その表示を一様な状態に制御させる。これにより、図４Ｄ及び図４Ｅに示すように、スキャン装置２００が付箋紙１１２を読み取る場合、スキャンバー領域２００ｂが例えば黒色状態に制御される。
【００６０】
また、指示制御部１２２は、走査指示コマンド（ＩＩ）を出力するとともに、画面取得コマンドを画面取得部１３４に出力し、抽出部１３２に抽出コマンドを出力する。画面取得コマンドとは、画面１０１ａの画面データ、つまり画面１０１ａに表示されている表示情報を取得するように指示するコマンドである。画面１０１ａの画面データとは、ここでは図４Ａに示される表示情報である。抽出コマンドとは、スキャン装置２００が読み取ったスキャン画像から対象物の画像を抽出するように指示するコマンドである。
【００６１】
また、指示制御部１２２は、スキャン画像の判定結果を画像判定部１３１から取得すると、判定結果に応じて、再び走査指示コマンド（ＩＩ）及び光干渉制御コマンドを出力しても良い。これにより、スキャン装置２００は、再び画面１０１ａの表示が制御された状態で画像の読み取りを行う。
【００６２】
（４−２−４）画面取得部、画面ＤＢ
画面取得部１３４は、指示制御部１２２から画面取得コマンドを受信すると、そのとき画面１０１ａを構成している画面データを表示管理部１２４から取得する。あるいは、画面取得部１３４は、画面１０１ａをいわゆる画面キャプチャ機能により取得しても良い。
【００６３】
画面取得部１３４は、取得した画面データを画面ＤＢ１３５に格納する。
【００６４】
（４−２−５）スキャン画像受信部、スキャン画像ＤＢ
スキャン画像受信部１２９は、スキャン装置２００が読み取ったスキャン画像を受信し、スキャン画像ＤＢ１３０に格納する。ここで、スキャン画像には、走査指示コマンド（Ｉ）に対応するマウスポインタ１１０を含むスキャン画像と、走査指示コマンド（ＩＩ）に対応する付箋紙１１２の対象物画像を含むスキャン画像と、が含まれる。
【００６５】
（４−２−６）マウスポインタ情報ＤＢ
マウスポインタ情報ＤＢ１２５は、マウスポインタ１１０の形状、色等のマウスポインタ情報を記憶している。また、マウスポインタ情報ＤＢ１２５は、表示管理部１２４からマウスポインタ１１０の現在の座標Ｉ（Ｘ１、Ｙ１）を取得し記憶する。座標Ｉ（Ｘ１、Ｙ１）は、図４Ｃに示すように例えばマウスポインタ１１０の先端の座標である。座標Ｉ（Ｘ１、Ｙ１）は、例えば、図４Ｃに示すように、画面１０１ａ内の右隅を原点座標Ｉ（０，０）としたときの相対座標である。以下では、画面１０１ａについて、情報処理装置１００側を基準とした座標系を、画面座標系と言うものとする。また、Ｉは画面座標系に基づく座標であることを示す添え字である。なお、画面座標系の座標軸のＸ方向は図４Ｃにおいて原点座標Ｉ（０，０）から左に向かう方向であり、Ｙ方向は原点座標Ｉ（０，０）から下に向かう方向である。
【００６６】
（４−２−７）スキャン装置情報ＤＢ
スキャン装置情報ＤＢ１２８は、予めスキャン領域２００ｃの幅Ｗ１及び長さＬ１などのスキャン領域情報と、スキャンバー２００ａの幅Ｗ２及び長さＬ２などのスキャンバー情報と、を記憶している。また、スキャン装置情報ＤＢ１２８は、スキャン装置２００のスキャン実行部２１０からスキャンバー２００ａの現在の走査位置を示す座標を取得し記憶する。
【００６７】
（４−２−８）スキャン装置検出部
スキャン装置検出部１２６は、指示制御部１２２からスキャン装置検出コマンドを受信すると、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。つまり、画面座標系におけるスキャン装置２００の位置及び傾きを検出する。そのため、スキャン装置検出部１２６は、スキャン画像ＤＢ１３０にアクセスし、マウスポインタ１１０を含むスキャン画像を、スキャンバー２００ａが順次的に走査されるのに応じて取得する。また、これと並行して、スキャン装置検出部１２６は、スキャン座標系で特定されるスキャンバー２００ａの走査位置を、スキャン装置情報ＤＢ１２８から順次的に取得する。
【００６８】
さらに、スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０を検出する。例えば、スキャン装置検出部１２６は、マウスポインタ情報ＤＢ１２５からマウスポインタ情報を取得し、マウスポインタ情報と、スキャン画像と、を比較してマウスポインタ１１０を検出する。つまり、スキャン装置検出部１２６は、マウスポインタ情報が示すマウスポインタの形状と同様の形状をスキャン画像から検出する。ここでは、スキャン装置検出部１２６は、スキャンバー２００ａが走査開始地点からマウスポインタ１１０の先端まで走査されたときのスキャン画像に基づいて、スキャン画像からマウスポインタ１１０を検出する。
【００６９】
次に、スキャン装置検出部１２６は、画面座標系で特定される、画面１０１ａでのマウスポインタ１１０の先端の座標をマウスポインタ情報から取得する。
【００７０】
以上の処理により、スキャン装置検出部１２６は、マウスポインタ１１０の先端を検出したときのスキャン座標系でのスキャンバー２００ａの走査位置と、画面座標系でのマウスポインタ１１０の先端の座標と、を取得している。スキャン装置検出部１２６は、これらの情報に基づいて、画面座標系でのスキャン装置２００の位置及び傾きを検出する。
【００７１】
スキャン装置２００の検出処理の一例について、図６を用いて具体的に説明する。図６は、スキャン装置の検出処理の一例を示す説明図である。また、図６は、前述の図４Ｃにおいて、スキャン装置２００がマウスポインタ１１０の読み取りを行っている様子に対応している。
【００７２】
図６では、スキャンバー２００ａは、スキャン座標系の原点座標Ｓ（α０，β０）から座標Ｓ（α１、β０）まで移動している。よって、スキャン画像ＤＢ１３０は、原点座標Ｓ（α０，β０）から座標Ｓ（α１、β０）までのスキャン画像を記憶している。なお、座標Ｓ（α１、β０）で特定されるスキャンバー２００ａは、マウスポインタ１１０の先端上に位置しているものとする。
【００７３】
スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０の先端を検出すると、そのときのスキャンバー２００ａの座標Ｓ（α１、β０）をスキャン装置情報ＤＢ１２８から取得する。前述の通り、座標Ｓ（α１、β０）は、スキャン座標系の右隅を原点座標Ｓ（α０，β０）としたときの相対座標である。スキャン装置検出部１２６は、座標Ｓ（α１、β０）と、マウスポインタ１１０の先端と、のスキャン画像における位置関係から、スキャン座標系でのマウスポインタ１１０先端の座標Ｓ（α１、β１）を算出する。例えば、スキャン装置検出部１２６は、座標Ｓ（α１、β０）と、マウスポインタ１１０の先端と、の距離ｂに基づいて、座標Ｓ（α１、β１）を算出する。ここで、β１＝β０＋ｂの関係にある。
【００７４】
また、スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０の先端を検出すると、画面座標系でのマウスポインタ１１０の先端の座標Ｉ（Ｘ１、Ｙ１）を、マウスポインタ情報ＤＢ１２５から取得する。前述の通り、座標Ｉ（Ｘ１、Ｙ１）は、画面座標系の右隅を原点座標Ｉ（０，０）としたときの相対座標である。これにより、スキャン装置検出部１２６は、マウスポインタ１１０の先端座標について、スキャン座標系での座標Ｓ（α１、β１）と、画面座標系での座標Ｉ（Ｘ１、Ｙ１）と、の座標の対応関係を取得する。つまり、スキャン座標系の座標と画面座標系の座標との対応関係を取得する。
【００７５】
次に、スキャン装置検出部１２６は、先に取得したスキャンバー２００ａの座標Ｓ（α１、β０）を、前記座標の対応関係に基づいて、画面座標系での座標に変換する。座標Ｓ（α１、β０）は座標Ｉ（Ｘ２、Ｙ２）に変換される。同様に、スキャン装置検出部１２６は、スキャン座標系の原点座標Ｓ（α０，β０）を、画面座標系での座標Ｉ（Ｘ０、Ｙ０）に変換する。座標Ｉ（Ｘ０、Ｙ０）と座標Ｉ（Ｘ２、Ｙ２）とにより、スキャンバー２００ａの画面１０１ａに対する走査方向αを取得することができる。スキャン装置検出部１２６は、この走査方向αと、画面１０１ａでの水平方向と、のなす角Δθを、スキャン装置２００の画面１０１ａでの傾きΔθとする。
【００７６】
また、スキャン装置検出部１２６は、座標Ｉ（Ｘ０、Ｙ０）、傾きΔθ、スキャン領域２００ｃの幅Ｗ１及び長さＬ１等に基づいて、スキャン領域２００ｃの四隅の座標を取得する。四隅の座標とは、座標Ｉ（Ｘ０、Ｙ０）、座標Ｉ（Ｘ３、Ｙ３）、座標Ｉ（Ｘ４、Ｙ４）及び座標Ｉ（Ｘ５、Ｙ５）である。これにより、スキャン装置検出部１２６は、画面１０１ａに対するスキャン領域２００ｃの位置を把握し、画面１０１ａに対するスキャン装置２００の位置を把握する。
【００７７】
スキャン装置検出部１２６は、取得したスキャン装置２００の位置及び傾きΔθ、又は、スキャン座標系と画面座標系との前記座標の対応関係を合成画像生成部１３３及びスキャンバー領域検出部１２７に出力する。
【００７８】
また、スキャン装置検出部１２６は、スキャンバー２００ａによる読み取りが終了しても、スキャン画像からマウスポインタ１１０を検出できなかった場合には、指示制御部１２２にその旨を出力する。これにより指示制御部１２２は、表示管理部１２４によりユーザへの警告メッセージを画面１０１ａに表示させる。
【００７９】
なお、上記では、マウスポインタ１１０の先端の座標を用いてスキャン装置２００の位置及び傾きΔθを算出したが、マウスポインタ１１０の位置を特定可能な座標であればこれに限定されない。
【００８０】
（４−２−９）スキャンバー領域検出部
図７はスキャンバー領域の検出方法の一例を示す説明図である。
【００８１】
スキャン装置２００が、画面１０１ａに対してどの位置にどの傾きΔθで読み取りを行うかによって、画面１０１ａ上におけるスキャンバー領域２００ｂも異なる。よって、スキャンバー領域検出部１２７は、スキャン装置２００の画面１０１ａに対する位置及び傾きと、順次的に移動するスキャンバー２００ａの走査位置と、に基づき、次のようにしてスキャンバー領域２００ｂを取得する。
【００８２】
スキャンバー領域検出部１２７は、現在のスキャンバー２００ａの座標Ｓ（α２、β０）と、スキャンバー２００ａの幅Ｗ２及び長さＬ２と、をスキャン装置情報ＤＢ１２８から取得する。また、スキャンバー領域検出部１２７は、座標Ｓ（α２、β０）と、幅Ｗ２及び長さＬ２と、に基づいて、スキャン座標系おけるスキャンバー領域２００ｂの四隅の座標を取得する。スキャン座標系における四隅の座標は、座標Ｓ（α２、β０）、座標Ｓ（α２、β０＋Ｌ２）、座標Ｓ（α２＋Ｗ２、β０）及び座標Ｓ（α２＋Ｗ２、β０＋Ｌ２）である。なお、スキャン領域２００ｃの長さＬ１とスキャンバー領域２００ｂの長さＬ２とは同じである。
【００８３】
次に、スキャン装置検出部１２６が求めた、スキャン座標系と画面座標系との前記座標の対応関係に基づいて、スキャンバー２００ａのスキャン座標系における四隅の座標を、画面座標系の座標に変換する。なお、スキャンバー領域検出部１２７は、スキャン装置検出部１２６からスキャン装置２００の位置及び傾きΔθを取得し、これに基づいて座標の変換を行うこともできる。スキャン座標系における四隅の座標は、それぞれ、画面座標系における座標Ｉ（Ｘ６、Ｙ６）、座標Ｉ（Ｘ７、Ｙ７）、座標Ｉ（Ｘ８、Ｙ８）及び座標Ｉ（Ｘ９、Ｙ９）に変換される。これにより、スキャンバー領域検出部１２７は、画面１０１ａにおけるスキャンバー領域２００ｂを検出でき、検出結果を光干渉制御部１２３に出力する。
【００８４】
（４−２−１０）画像判定部
画像判定部１３１は、対象物画像を含むスキャン画像をスキャン画像ＤＢ１３０から読み出し、対象物の画像が明瞭に読み取られているかなどの判定を行う。例えば、画像判定部１３１は、対象物である付箋紙１１２と、付箋紙１１２以外の部分と、のコントラスト比が所定値以上であるかを判定する。画像判定部１３１は、コントラスト比が所定値以上の場合には、付箋紙１１２のエッジを検出できたと判定し、逆にコントラスト比が所定値未満の場合には、付箋紙１１２のエッジを検出できなかったと判定する。付箋紙１１２のエッジとは、付箋紙１１２の輪郭であり、付箋紙１１２とそれ以外との境界である。
【００８５】
画像判定部１３１は、判定結果を指示制御部１２２及び抽出部１３２に出力する。
【００８６】
（４−２−１１）光干渉制御部
光干渉制御部１２３は、指示制御部１２２から光干渉制御コマンドを受信し、スキャンバー領域検出部１２７から画面座標系でのスキャンバー領域２００ｂの座標を取得する。これに基づいて、光干渉制御部１２３は、画面１０１ａ全体のうちスキャンバー領域２００ｂの画面について、その画面の表示を一様な状態に制御するように表示管理部１２４に指示する。
【００８７】
画面の表示を一様な状態を制御するとは、例えば画面の色相、彩度、明度及び／又は輝度を一様に制御することにより画面を例えば一様に黒色状態又は白色状態などに制御することを言う。例えば、付箋紙が白色の用紙であり、画面が黒色状態に制御された場合、付箋紙の背景色が黒色状態となることで、対象物と画面との差を明確にできる。なお、黒色状態には黒色だけでなく、暗い灰色、明るい灰色など黒色に近い色も含まれる。同様に、白色状態には、白色だけでなく、明度又は輝度などが明るい白色に近い、例えば黄色、明るい緑なども含まれる。また、画面の表示は、例えば画面から出射される表示光の出射量を調節することで制御され得る。あるいは、画面に白色を出力するように制御するなど、画面の表示色を制御して、画面の表示を一様に制御することもできる。
【００８８】
よって、例えば、光干渉制御部１２３は、スキャンバー領域２００ｂが黒色状態になるように、スキャンバー領域２００ｂでの表示光の出射量を抑えるか、あるいは、スキャンバー領域２００ｂに黒色を出力するように表示管理部１２４に指示する。また、光干渉制御部１２３は、スキャンバー領域２００ｂが白色状態になるように、スキャンバー領域２００ｂの表示光の出射量を高めるか、あるいは、スキャンバー領域２００ｂに白色を出力するように表示管理部１２４に指示する。
【００８９】
このような制御により、対象物の読み取りの際にスキャン装置２００から出射される照射光と、情報処理装置１００の画面１０１ａから出射される表示光と、の干渉を抑制することができる。よって、対象物がディスプレイ１０１の画面１０１ａ上に配置されていても、スキャン装置２００は対象物を読み取ることが可能となる。
【００９０】
なお、画面１０１ａ全体の表示を通常の表示状態から一様な状態に制御すると、瞬時に画面の状態が変化するため、情報処理装置１００のユーザに強い刺激を与える。このような変化は、例えば、ユーザに大きな驚きを与え、また情報処理装置１００が誤作動したとユーザに誤認させるなどする。スキャンバー領域２００ｂにおいてのみ表示を制御することで、画面１０１ａ全体の表示が制御される場合に比べてユーザに与える刺激を抑制することができる。
【００９１】
なお、光干渉制御部１２３は、スキャン領域２００ｃの位置をスキャン装置検出部１２６から取得し、スキャン領域２００ｃについて表示を制御しても良い。また、光干渉制御部１２３は、スキャン装置２００の位置などに関係なく画面１０１ａ全体について、表示を制御しても良い。
【００９２】
また、光干渉制御部１２３は、画像判定部１３１での判定結果に応じて、スキャンバー領域２００ｂの画面の表示を制御しても良い。例えば、画像判定部１３１がスキャン画像において付箋紙１１２のエッジを検出できなかったと判定した場合には、光干渉制御部１２３は、指示制御部１２２から新たな光干渉制御コマンドを受信する。光干渉制御部１２３は、新たな光干渉制御コマンドに応じて表示管理部１２４を制御し、画面の表示状態を変更する。例えば、黒色状態から白色状態に画面の表示状態を変更する。スキャン装置２００は、指示制御部１２２からの走査指示コマンドに応じて、画面の表示状態が変更された状態で、再び対象物の読み取りを実行する。このように画面１０１ａの表示を様々に調節することで、スキャン装置２００が対象物の画像をより鮮明に取得できるように調節できる。
【００９３】
（４−２−１２）表示管理部
表示管理部１２４は、表示制御部１２４ａ、照明光生成部１２４ｂ及び画像信号生成部１２４ｃを含む。照明光生成部１２４ｂは、画面１０１ａに明度又は輝度を与える照明光を生成する。画像信号生成部１２４ｃは、画面１０１ａに画像などの情報を表示するための画像信号を生成する。画面はＲＧＢなどの色を決定する複数の画素から構成されており、画像信号生成部１２４ｃは、例えば各画素ごとに画像信号を生成している。表示制御部１２４ａは、照明光及び／又は画像信号を用いて画面１０１ａに画像などの情報を表示している。また、表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、照明光及び／又は画像信号を制御し、画面１０１ａのうちスキャンバー領域２００ｂの表示を一様な状態に制御する。
【００９４】
画面の表示は、画面からの表示光の出射量を調節するか、あるいは画面の表示色を制御するなどして制御することができる。
【００９５】
まず、表示光の出射量を調節することで画面の表示を制御する方法としては、例えば次のような方法が挙げられる。表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、スキャンバー領域１００ｂ内において、照明光の遮断量を調節し、最終的に表示光として画面から出射される量を調節する。
【００９６】
例えば、ディスプレイ１０１が液晶表示装置の場合は、表示制御部１２４ａが画像信号を各画素の画素電極に印加すると、液晶は画像信号に応じて傾く。この液晶の傾きの程度によって、照明光の遮断量が制御され、ひいては画面１０１ａから出射する表示光の出射量が制御される。よって、表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、スキャンバー領域１００ｂ内の各画素の画像信号を制御し、スキャンバー領域１００ｂから出射される表示光の出射量を調節する。例えば、照明光の出射量を少なくすることで、画面の表示を一様な黒色状態とすることができる。また、照明光の出射量を多くすることで、画面の表示を一様な白色状態に近くすることができる。
【００９７】
その他、表示光の出射量を制御する方法としては、照明光生成部１２４ｂでの照明光の生成量を調節することなどが挙げられる。この方法は、ディスプレイ１０１がＣＲＴ（Cathode Ray Tube）などの場合に適用可能である。
【００９８】
次に、画面の表示色を調節することで画面の表示を制御する方法としては、例えば次のような方法が挙げられる。ここで、画像信号が各画素に印加されることで、各画素のＲＧＢが決定され、画面の表示色が決定される。よって、表示制御部１２４ａは、光干渉制御部１２３の制御に応じて、スキャンバー領域１００ｂ内の画素に対応する画像信号を制御し、スキャンバー領域１００ｂ内の表示色を制御する。
【００９９】
その他、表示管理部１２４は、マウス１０２の移動に応じてマウスポインタ１１０を画面１０１ａに表示し、マウスポインタ１１０の現在の座標Ｉ（Ｘ１、Ｙ１）をマウスポインタ情報ＤＢ１２５に格納する。また、表示管理部１２４は、入力受付部１２１が受け付けた各種処理の実行に基づいて、合成画像生成部１３３からの合成画像を処理し、前述の図４Ｈに示すような操作日記１１４を作成しても良い。
【０１００】
（４−２−１３）抽出部
抽出部１３２は、指示制御部１２２から抽出コマンドを受信すると次の処理を開始する。
【０１０１】
抽出部１３２は、付箋紙１１２のエッジの判定結果を画像判定部１３１から取得する。また、抽出部１３２は、スキャン画像ＤＢ１３０から対象物を含むスキャン画像を読み出し、エッジに基づいてスキャン画像から付箋紙１１２の画像を抽出するとともに、スキャン画像に対する付箋紙１１２の相対位置を取得する。抽出部１３２は、対象物である付箋紙１１２の画像と、スキャン画像に対する相対位置と、を合成画像生成部１３３に出力する。
【０１０２】
（４−２−１４）合成画像生成部
合成画像生成部１３３は、スキャン装置検出部１２６からスキャン領域２００ｃの位置を取得する。なお、合成画像生成部１３３は、スキャン座標系と画面座標系との前記座標の対応関係をスキャン装置検出部１２６から取得し、これに基づいてスキャン領域２００ｃを把握しても良い。
【０１０３】
また、合成画像生成部１３３は、付箋紙１１２の画像及びスキャン画像に対する相対位置を抽出部１３２から取得し、画面１０１ａに表示されている画面データを画面ＤＢ１３５から取得する。最後に、合成画像生成部１３３は、画面１０１ａ上でのスキャン領域２００ｃと、スキャン画像に対する付箋紙１１２の相対位置と、に基づいて、画面１０１ａの画面データに付箋紙１１２の画像を合成し合成画像を生成する。
【０１０４】
合成画像生成部１３３は、合成画像を表示管理部１２４に出力し、画面１０１ａに合成画像を表示させる。
【０１０５】
（５）処理の流れ
（５−１）全体処理
図８は、第１実施形態例にかかる情報処理装置が実行する全体処理の流れの一例を示すフローチャートである。
【０１０６】
ステップＳ１：指示制御部１２２は、スキャン装置２００から画面読み取りモードを受け付けると、以下の処理を実行する。
【０１０７】
ステップＳ２：指示制御部１２２は、まずスキャン装置２００の検出処理を開始させるため、スキャン装置２００に走査指示コマンド（Ｉ）を出力する。また、指示制御部１２２は、スキャン装置検出部１２６にスキャン装置検出コマンドを出力する。スキャン装置検出部１２６は、スキャン装置２００の検出処理を実行する。
【０１０８】
ステップＳ３：次に、指示制御部１２２は、対象物である付箋紙１１２の画像を取得するため、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａの表示を制御する。なお、光干渉制御部１２３は、画像判定部１３１でのスキャン画像の判定結果に応じて画面１０１ａの表示を制御しても良い。
【０１０９】
このとき、画面取得部１３４は、指示制御部１２２から画面取得コマンドを受信しており、画面１０１ａの画面データを取得し、画面ＤＢ１３５に格納している。
【０１１０】
ステップＳ４：抽出部１３２は、指示制御部１２２から抽出コマンドを受信すると、スキャン装置２００が取得したスキャン画像から、対象物の画像を抽出する。具体的には、抽出部１３２は、対象物のエッジの判定結果を画像判定部１３１から取得し、スキャン画像ＤＢ１３０から対象物を含むスキャン画像を読み出す。次に、抽出部１３２は、エッジに基づいてスキャン画像から対象物の画像を抽出するとともに、スキャン画像に対する対象物画像の相対位置を取得する。抽出部１３２は、対象物の画像と、スキャン画像に対する対象物画像の相対位置と、を合成画像生成部１３３に出力する。
【０１１１】
ステップＳ５：合成画像生成部１３３は、スキャン装置検出部１２６からスキャン装置２００の位置及び傾きΔθを取得する。また、合成画像生成部１３３は、対象物画像と、対象物画像のスキャン画像に対する相対位置と、を抽出部１３２から取得し、画面１０１ａの画面データを画面ＤＢ１３５から取得する。合成画像生成部１３３は、これら取得した情報に基づいて、画面１０１ａの画像に対象物の画像を合成し合成画像を生成する。表示管理部１２４は、画面１０１ａに合成画像を表示する。
【０１１２】
（５−２）スキャン装置の検出処理
図９は、第１実施形態例にかかるスキャン装置の検出処理の流れの一例を示すフローチャートである。以下に、前述の全体処理のうち、スキャン装置の検出処理の流れについて説明する。
【０１１３】
ステップＳ２ａ：指示制御部１２２は、まずスキャン装置２００の検出処理を開始させるため、スキャン装置２００に走査指示コマンド（Ｉ）を出力する。また、指示制御部１２２は、スキャン装置検出部１２６にスキャン装置検出コマンドを出力する。
【０１１４】
ステップＳ２ｂ：スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０を検出すると、ステップＳ２ｃに進む。ここでは、スキャン装置検出部１２６は、マウスポインタ１１０のうちその先端を検出する。一方、スキャン装置検出部１２６は、マウスポインタ１１０を検出しなかった場合、ステップＳ２ｉに進む。
【０１１５】
ステップＳ２ｃ：スキャン装置検出部１２６は、スキャン画像からマウスポインタ１１０の先端を検出すると、そのときのスキャンバー２００ａの座標Ｓ（α１、β０）をスキャン装置情報ＤＢ１２８から取得する。スキャン装置検出部１２６は、この座標Ｓ（α１、β０）に基づいて、マウスポインタ１１０先端のスキャン座標系での座標Ｓ（α１、β１）を取得する。
【０１１６】
ステップＳ２ｄ：スキャン装置検出部１２６は、マウスポインタ１１０の先端について、画面１０１ａ内での画面座標系の座標Ｉ（Ｘ１、Ｙ１）を、マウスポインタ情報ＤＢ１２５から取得する。
【０１１７】
ステップＳ２ｅ：スキャン装置検出部１２６は、座標Ｓ（α１、β１）と、座標Ｉ（Ｘ１、Ｙ１）と、に基づいてスキャン座標系の座標と画面座標系の座標との対応関係を取得する。
【０１１８】
ステップＳ２ｆ：次に、スキャン装置検出部１２６は、前記座標の対応関係を用いて、スキャンバー２００ａの画面１０１ａに対する走査方向αを取得する。
【０１１９】
ステップＳ２ｇ：スキャン装置検出部１２６は、この走査方向αと、画面１０１ａでの水平方向と、のなす角Δθを、スキャン装置２００の画面１０１ａでの傾きΔθとして算出する。
【０１２０】
ステップＳ２ｈ：また、スキャン装置検出部１２６は、スキャン座標系の原点座標Ｓ（α０，β０）を、画面座標系の座標Ｉ（Ｘ０、Ｙ０）に変換する。また、スキャン装置検出部１２６は、座標Ｉ（Ｘ０、Ｙ０）、傾きΔθ、スキャン領域２００ｃの幅Ｗ１及び長さＬ１等に基づいて、画面１０１ａに対するスキャン領域２００ｃの位置を把握する。これにより、スキャン装置２００の画面１０１ａに対する位置が把握できる。
【０１２１】
ステップＳ２ｉ：スキャン装置検出部１２６は、スキャンバー２００ａがスキャン領域２００ｃの終点に到達したかどうかを判断する。スキャンバー２００ａが終点に到達している場合は、ステップＳ２ｊに進む。そうでない場合は、ステップＳ２ｂに戻り、スキャン装置検出部１２６は、スキャンバー２００ａの走査とともにスキャン装置２００から順次的に送信されるスキャン画像からマウスポインタ１１０の検出を行う。
【０１２２】
ステップＳ２ｊ：表示管理部１２４は、ユーザへの警告メッセージを画面１０１ａに表示する。
【０１２３】
（５−３)光干渉制御
以下に、前述の全体処理のうち、光干渉制御の流れについて説明する。以下では、光干渉制御Ａ１及びＡ２についてそれぞれ説明する。
【０１２４】
光干渉制御Ａ１では、画面１０１ａのうちスキャンバー領域２００ｂの表示を黒色状態又は白色状態に制御する。
【０１２５】
光干渉制御Ａ２では、画面１０１ａ全体の表示を黒色状態又は白色状態に制御する。
【０１２６】
（５−３−１)光干渉制御Ａ１
図１０は、第１実施形態例にかかる光干渉制御Ａ１の流れの一例を示すフローチャートである。
【０１２７】
ステップＳ３１ａ：指示制御部１２２は、対象物の画像を取得するため、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａのうちスキャンバー領域２００ｂの表示制御を開始させる。
【０１２８】
ステップＳ３１ｂ：スキャンバー領域検出部１２７は、現在のスキャンバー２００ａの座標Ｓ（α２、β０）などをスキャン装置情報ＤＢ１２８から取得する。
【０１２９】
ステップＳ３１ｃ：スキャンバー領域検出部１２７は、現在のスキャンバー２００ａの座標Ｓ（α２、β０）などに基づいて、スキャン座標系おけるスキャンバー領域２００ｂの四隅の座標を取得する。次に、スキャンバー領域検出部１２７は、前記四隅の座標を画面座標系の座標に変換し、画面１０１ａにおけるスキャンバー領域２００ｂを検出する。
【０１３０】
ステップＳ３１ｄ：光干渉制御部１２３は、スキャンバー領域２００ｂの表示を黒色状態に制御する。
【０１３１】
ステップＳ３１ｅ：スキャン画像受信部１２９は、スキャン装置２００が読み取ったスキャン画像を受信し、スキャン画像ＤＢ１３０に格納する。
【０１３２】
ステップＳ３１ｆ：情報処理装置１００は、スキャン装置２００による読み取りが終了すればステップ３１ｇに進み、終了していなければステップＳ３１ｂに戻る。
【０１３３】
ステップＳ３１ｇ：画像判定部１３１は、スキャン画像において対象物のエッジが検出できるか否かの判定を行う。対象物のエッジが検出できなかった場合はステップ３１ｈに進む。対象物のエッジが検出できた場合は処理を終了する。
【０１３４】
ステップＳ３１ｈ〜３１ｊ：指示制御部１２２は、再び走査指示コマンド（ＩＩ）及び光干渉制御コマンドを出力する（Ｓ３１ｈ）。スキャンバー領域検出部１２７は、ステップＳ３１ｂ及びＳ３１ｃと同様にスキャンバー領域２００ｂを検出する（Ｓ３１ｉ、Ｓ３１ｊ）。
【０１３５】
ステップＳ３１ｋ：光干渉制御部１２３は、前記スキャンバー領域２００ｂの表示を黒色状態から白色状態に変更する。
【０１３６】
ステップＳ３１ｌ：スキャン画像受信部１２９は、スキャン画像を受信しスキャン画像ＤＢ１３０に格納する。
【０１３７】
ステップＳ３１ｍ：情報処理装置１００は、スキャン装置２００による読み取りが終了していなければステップＳ３１ｉに戻る。読み取りが終了していれば処理を終了する。
【０１３８】
（５−３−２)光干渉制御Ａ２
図１１は、第１実施形態例にかかる光干渉制御Ａ２の流れの一例を示すフローチャートである。画面全体が黒色状態又は白色状態に制御される点が、光干渉制御Ａ１と異なる。
【０１３９】
ステップＳ３２ａ：指示制御部１２２は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａ全体の表示制御を開始させる。
【０１４０】
ステップＳ３２ｂ：光干渉制御部１２３は、画面１０１ａ全体の表示を黒色状態に制御する。
【０１４１】
ステップＳ３２ｃ、Ｓ３２ｄ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０１４２】
ステップＳ３２ｅ、３２ｆ：画像判定部１３１がスキャン画像において対象物のエッジを検出できなかった場合は（Ｓ３２ｅ）、指示制御部１２２は、再び走査指示コマンド（ＩＩ）及び光干渉制御コマンドを出力する（Ｓ３１ｆ）。対象物のエッジが検出できた場合は処理を終了する。
【０１４３】
ステップＳ３２ｇ：光干渉制御部１２３は、画面１０１ａ全体の表示を黒色状態から白色状態に変更する。
【０１４４】
ステップＳ３２ｈ、Ｓ３２ｉ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０１４５】
上記光干渉制御Ａ１及びＡ２では、黒色状態から白色状態に表示を変更しているが、白色状態から黒色状態への変更でも良い。さらに、画面１０１ａ上に配置された対象物の対象物画像を取得できれば良く、表示の制御は黒色状態又は白色状態に限定されない。
【０１４６】
（６）作用効果
上述の通り、画面１０１ａの表示を一様に制御することで、画像の取得の際にスキャン装置２００から出射される照射光と、情報処理装置１００の画面１０１ａから出射される表示光と、の干渉を抑制することができる。これにより、対象物がディスプレイ１０１の画面１０１ａ上に配置されていても、スキャン装置２００により対象物を読み取ることが可能となる。
【０１４７】
また、照射光が照射されているスキャンバー領域２００ｂのみ表示を制御することで、画面１０１ａの全体の表示が制御される場合に比べてユーザに与える刺激を抑制することができる。
【０１４８】
（７）変形例
（７−１）変形例１
上記実施形態では、画面１０１ａの表示を制御することで、画面１０１ａからの表示光とスキャン装置２００からの照射光との干渉を抑制している。本変形例では、情報処理装置１００は、画面１０１ａの表示を制御するだけでなく、さらにスキャン装置２００の照射光を制御しても良い。
【０１４９】
図１２は、表示光と照射光との光干渉制御の組み合わせを示す表である。図１２では、画面１０１ａの表示は、画面１０１ａからの表示光の出射量の違いにより複数段階で調節される。さらに、スキャン装置２００からの照射光は出射量の違いにより複数段階で調節される。ここでは、一例として、制御１から制御９の９段階の光干渉制御レベルが用意されている。
【０１５０】
図１３は、変形例１にかかる光干渉制御Ｂの流れの一例を示すフローチャートである。次に、本変形例の光干渉制御Ｂについて説明する。
【０１５１】
ステップＳ３３ａ：指示制御部１２２は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。また、指示制御部１２２は、光干渉制御部１２３に光干渉制御コマンドを出力し、画面１０１ａの表示制御を開始させる。本変形例の場合、指示制御部１２２は、さらにスキャン装置２００に光干渉制御コマンドを出力し、照射光の制御を開始させる。ここで、光制御コマンドには、例えば図１２の制御１から制御９のいずれを実行するかを指示する情報が含まれているものとする。
【０１５２】
ステップＳ３３ｂ、Ｓ３３ｃ：前述の光干渉制御Ａ１のステップＳ３１ｂ、Ｓ３１ｃと同様に、スキャンバー領域検出部１２７は、画面１０１ａにおけるスキャンバー領域２００ｂを検出する。
【０１５３】
ステップＳ３３ｄ：光干渉制御部１２３は、前記スキャンバー領域２００ｂの表示を、光干渉制御コマンドに応じて制御する。一方、スキャン装置２００の照射光制御部２１１は、情報処理装置１００から光干渉制御コマンドを受信すると、光干渉制御コマンドに応じて照射光の出射量を調節する。
【０１５４】
例えば、光干渉制御コマンドにおいて制御６が指定されている場合は、光干渉制御部１２３は、画面１０１ａから出射する表示光の出射量がレベル３となるように制御する。また、スキャン装置２００の照射光制御部２１１は、照明光の出射量がレベル２となるように制御する。
【０１５５】
ステップＳ３３ｅ、Ｓ３３ｆ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０１５６】
ステップＳ３３ｇ：画像判定部１３１は、スキャン画像において対象物のエッジが検出できるか否かの判定を行う。対象物のエッジが検出できなかった場合はステップ３３ｈに進む。対象物のエッジが検出できた場合は処理を終了する。
【０１５７】
ステップＳ３３ｈ：指示制御部１２２は、全ての組み合わせについて光干渉制御が終了しているか否かを判定する。光干渉制御が終了していない場合には、指示制御部１２２は、ステップＳ３３ａに戻る。なお、ステップＳ３３ａでは、指示制御部１２２は、図１２のうち実行されていない制御を指定した光干渉制御コマンドを生成し、各機能部に出力する。
【０１５８】
なお、本変形例では、表示光の出射量を調節することで画面１０１ａの表示を制御しているが、画面１０１ａの表示色を制御することで画面１０１ａの表示を制御しても良い。
【０１５９】
（７−２）変形例２
上記実施形態例の画像判定部１３１は、対象物の画像が明瞭であるかを判断するために、スキャン画像において対象物のエッジを検出できたか否かを判定している。画像判定部１３１は、さらに色味、彩度、色相などに基づいて対象物の画像が明瞭であるかどうかを判定しても良い。
【０１６０】
また、画像判定部１３１が、色味、彩度、色相などに基づいて対象物が明瞭でないと判断した場合は、情報処理装置１００は、上記実施形態例と同様に画面１０１ａの表示状態を変更しても良い。又は、上記変形例１と同様に、情報処理装置１００は、色味、彩度、色相などが最良の状態となるまで、表示光及び照射光を制御しても良い。
【０１６１】
（７−３）変形例３
上記実施形態では、情報処理装置１００は、スキャン画像からマウスポインタ１１０を検出して、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。しかし、本変形例では、画面１０１ａ上にタッチパネル１４０によりスキャン装置２００の位置及び傾きを検出する。
【０１６２】
図１４は、変形例３にかかるタッチパネルを備える情報処理装置とスキャン装置との関係を示す模式図である。情報処理装置１００のディスプレイ１０１は、画面１０１ａ上にタッチパネル１４０を備える。タッチパネル１４０は、例えば各画素に対応して静電容量センサを配置し、押圧による容量変化に基づいて押圧位置を検知する装置である。一方、スキャン装置２００は、背面に突起２２０ａ及び２２０ｂが例えば対角線上に対向する２隅に設けられている。スキャン装置２００がタッチパネル１４０上に配置され、突起２２０ａ及び２２０ｂがタッチパネル１４０を押圧すると、スキャン装置検出部１２６は画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。その検出方法を次に説明する。
【０１６３】
図１５は、タッチパネルを用いてスキャン装置の位置及び傾きを検出する方法を説明する模式図である。
【０１６４】
スキャン装置検出部１２６は、スキャン装置２００の突起２２０ａ及び２２０ｂによるタッチパネル１４０の押圧位置を検出する。例えば、突起２２０ａによる押圧位置がＩ（Ｘ１０、Ｙ１０）であり、突起２２０ｂによる押圧位置がＩ（Ｘ１１、Ｙ１１）であるとする。
【０１６５】
ここで、スキャン装置検出部１２６は、スキャン領域２００ｃの対角線方向の基本ベクトルＶ１を予め保持しているものとする。なお、画面１０１ａの座標軸とスキャン装置２００の座標軸とが概ね一致するように配置されている場合に、図１５中の破線で示されるスキャン領域２００ｃは、基本ベクトルＶ１を有する。基本ベクトルＶ１は、座標Ｉ（Ｘ１０、Ｙ１０）と座標Ｉ（Ｘ１２、Ｙ１２）とにより表される。このとき、スキャンバー２００ａの長さ方向が画面座標系のＹ方向に概ね平行であり、スキャンバー２００ａは画面座標系のＸ方向に向かって走査される。
【０１６６】
次に、スキャン装置検出部１２６は、突起２２０ａ及び２２０ｂによる押圧位置Ｉ（Ｘ１０、Ｙ１０）及びＩ（Ｘ１１、Ｙ１１）に基づいて、傾きのベクトルＶ２を算出する。スキャン装置検出部１２６は、ベクトルの内積に基づいて次式（１）によりスキャン装置２００の傾きΔθを算出する。
【０１６７】
【数１】
【０１６８】
スキャン装置検出部１２６は、座標Ｉ（Ｘ１０、Ｙ１０）、座標Ｉ（Ｘ１１、Ｙ１１）及び傾きΔθに基づいて、残りの２隅の座標を求めることで、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出する。
【０１６９】
その他、スキャン装置２００の背面の４隅に突起２２０を設け、画面１０１ａに対するスキャン装置２００の位置及び傾きを検出しても良い。
【０１７０】
（７−４）変形例４
上記実施形態では、画面１０１ａにおけるスキャン装置２００の位置及び傾きを検出するために、マウスポインタ１１０ではなく、テキスト間の入力位置を示すために用いられるキャレットを用いることもできる。検出方法はマウスポインタと同様である。
【０１７１】
（７−５）変形例５
上記実施形態では、情報処理装置１００は、スキャンバー領域２００ｂの表示を制御するため、表示の制御の前に画面１０１ａに対するスキャン装置２００の位置及び傾きΔθを取得した。しかし、例えば画面１０１ａの全体の表示を制御する場合には、画面１０１ａと対象物画像とを合成するまでに、スキャン装置２００の位置及び傾きΔθを取得すれば良い。
【０１７２】
（７−６）変形例６
上記実施形態では、透過性の低い物理的な対象物として付箋紙を例に挙げたが、対象物としてはその他例えば写真などであっても良い。
【０１７３】
図１６は、対象物が写真である場合の情報処理装置１００による処理の概要を説明する説明図である。対象物が異なるのみで基本的には上記処理と同様であるので簡単に以下に説明する。なお、ユーザは、画面１０１ａに表示された写真Ａと、実際の写真Ｂ及び写真Ｃと、により合成画像を生成しようとしている。
【０１７４】
同図（ａ）に示すように、画面１０１ａにマウスポインタ１１０及びウィンドウ１１１が表示されている。ウィンドウ１１１では、一例として写真の画像Ａが表示されている。
【０１７５】
同図（ｂ）に示すように、ユーザは、ウィンドウ１１１内の写真の画像Ａに対して、対象物である写真Ｂ及び写真Ｃを画面１０１ａ上に配置する。
【０１７６】
同図（ｃ）に示すように、この状態でスキャン装置２００により対象物である写真Ｂ及び写真Ｃを含む画像を読み取る。このとき、情報処理装置１００は、スキャン装置２００が読み取りを行うのに伴い、画面１０１ａの表示を制御する。また、情報処理装置１００は、対象物の読み取りに先だって、対象物の読み取りと同時、あるいは対象物の読み取り後に、スキャン装置２００の画面１０１ａに対する位置及び傾きΔθを取得する。
【０１７７】
同図（ｄ）に示すように、情報処理装置１００は、同図（ｃ）において取得したスキャン画像から、エッジに基づいて写真Ｂ及び写真Ｃの対象物画像を抽出するとともに、スキャン画像に対する対象物画像の位置を取得する。
【０１７８】
同図（ｅ）に示すように、情報処理装置１００は、同図（ａ）の画面１０１ａと、抽出した写真Ｂ及び写真Ｃの対象物画像と、を合成して画面１０１ａに表示する。このとき、情報処理装置１００は、スキャン装置２００の画面１０１ａに対する位置及び傾きと、スキャン画像に対する対象物画像の位置と、に基づいて合成を行う。
【０１７９】
その他、対象物としては例えば葉書などであっても良い。
【０１８０】
（８）利用例
以下に、上記実施形態例及び変形例により形成された合成画像の利用例を説明する。
【０１８１】
図１７〜図１９は、合成画像の利用例を示す画面例である。
【０１８２】
図１７では、前述の図４Ｈで作成された合成画像を、パソコン操作日記として保存している例が示されている。パソコン操作日記とは、例えば、パソコンでの操作を記録として保存するアプリケーションを言うものとする。各日付をクリックすることで、操作日記が図１７のように示される。また、“メールに添付”のボタンをクリックすることで、表示されている操作日記をメールに添付して送信することができる。
【０１８３】
図１８は、パソコン操作日記がメールに添付されて送信された様子を示している。このようにメールに添付してパソコン操作日記を送信することで、送信者はパソコンでの操作内容を相手方に即座かつ的確に伝えることができる。そのため、送信者は、相手方から所望の回答を引き出すことも可能となる。
【０１８４】
図１９は、例えばシニアクラブが運営する掲示板などに、パソコン操作日記を投稿している様子を示している。このように掲示板にパソコン操作日記を投稿することで、第三者にパソコンでの操作内容を即座かつ的確に伝えることができる。また、図１９に示すように、投稿者は、第三者から所望のコメントを受け取ることも可能となる。
【０１８５】
本実施形態により合成画像を生成し、上述のような利用形態を提供することで、情報処理装置１００の利用に不慣れな例えば高齢者などに情報処理装置１００の利用を促進することができる。
【０１８６】
＜第２実施形態例＞
以下の第２実施形態例では、読み取り対象として透過性の高い物理的な対象物を例に挙げて説明する。また、透過性の高い物理的な対象物としてセロハン紙を例に挙げて説明する。セロハン紙とは、例えばセルロースを原材料とする透過性の高い薄膜状のシートを言う。
【０１８７】
外観構成及びハードウェア構成は第１実施形態例と同様であるので説明を省略する。また、機能構成及びその処理は、光干渉制御の方法が異なるのみで、以下の点を除き第１実施形態例と同様であるので簡単に説明する。
【０１８８】
（１）処理の概要
図２０は、対象物がセロハンである場合において、情報処理装置による第２実施形態例に係る処理の概要を説明する説明図である。なお、ユーザは、画面１０１ａに表示された写真Ａと、実際のセロハン紙１１２ｃと、を重畳した合成画像を生成しようとしている。
【０１８９】
同図（ａ）に示すように、画面１０１ａにマウスポインタ１１０及びウィンドウ１１１が表示されている。ウィンドウ１１１では、一例として写真の画像Ａが表示されている。
【０１９０】
同図（ｂ）に示すように、ユーザは、ウィンドウ１１１内の写真の画像Ａ上に、対象物であるセロハン紙１１２ｃを配置する。
【０１９１】
同図（ｃ）に示すように、この状態でスキャン装置２００により対象物であるセロハン紙１１２ｃを含む画像を読み取る。このとき、情報処理装置１００は、スキャン装置２００による読み取りに伴い、画面１０１ａの表示を制御する。スキャン装置２００は、照射光を画面１０１ａ及びセロハン紙１１２ｃに照射して読み取りを行う。また、情報処理装置１００は、対象物の読み取りに先だって、対象物の読み取りと同時、あるいは対象物の読み取り後に、スキャン装置２００の画面１０１ａに対する位置及び傾きΔθを取得する。
【０１９２】
同図（ｄ）に示すように、情報処理装置１００は、同図（ｃ）において取得したスキャン画像から、セロハン紙１１２ｃのエッジを検出するとともに、スキャン画像に対するエッジの相対位置を取得する。
【０１９３】
同図（ｅ）に示すように、情報処理装置１００は、スキャン装置２００において照射光を出射しないように制御する。スキャン装置２００は、画面１０１ａから出射される表示光を用いて、読み取りを行う。このとき、画面１０１ａのセロハン紙１１２ｃが重畳された領域では、画面１０１ａからの表示光がセロハン紙１１２ｃを介して出射される。よって、スキャン装置２００は、セロハン紙１１２ｃが重畳された領域では、セロハン紙１１２ｃを介して出射される光を読み取ることとなる。
【０１９４】
同図（ｆ）に示すように、情報処理装置１００は、スキャン画像から、エッジで特定されるセロハン紙１１２ｃ内の均一色味情報を取得する。ここで、均一色味情報とは、所定の領域内において最も支配的な色を言うものとする。
【０１９５】
同図（ｇ）に示すように、情報処理装置１００は、同図（ａ）の画面１０１ａと、セロハン紙１１２ｃの均一色味情報と、を合成して画面１０１ａに表示する。このとき、情報処理装置１００は、スキャン装置２００の画面１０１ａに対する位置及び傾きと、スキャン画像に対するエッジの位置と、に基づいて合成を行う。
【０１９６】
（２）処理の流れ
以下に、第２実施形態例の特徴である光干渉制御の流れについて説明する。図２１は、第２実施形態例にかかる光干渉制御Ｃの流れの一例を示すフローチャートである。
【０１９７】
セロハン紙１１２ｃは透過性が高いため、情報処理装置１００は、スキャン画像からセロハン紙のエッジを取得するのが困難である。また、情報処理装置１００は、一度の読み取りで取得したスキャン画像から、セロハン紙が有する均一色味情報と、セロハン紙のエッジと、を同時に取得することが困難である。そこで、情報処理装置１００は、まずエッジの検出に焦点を当て、画面１０１ａの表示を制御する。エッジを検出した後、情報処理装置１００は、セロハン紙が有する均一色味情報に焦点を当て、スキャン装置２００から出射される照射光の制御を行う。以下に、光干渉制御Ｃの流れを説明する。
【０１９８】
ステップＳ３４ａ：情報処理装置１００は、上記第１実施形態例の光干渉制御Ａ１、Ａ２及びＢのうちいずれかを実行し、対象物であるセロハン紙１１２ｃの画像を含むスキャン画像を取得する。この処理は、スキャン画像においてセロハン紙１１２ｃのエッジを検出するために行われる。
【０１９９】
ステップＳ３４ｂ：画像判定部１３１は、スキャン画像から対象物であるセロハン紙１１２ｃのエッジを検出する。画像判定部１３１は、スキャン画像におけるエッジの位置を抽出部１３２及び合成画像生成部１３３に出力する。
【０２００】
ステップＳ３４ｃ：指示制御部１２２は、スキャン装置２００に走査指示コマンド（ＩＩ）を出力する。
【０２０１】
ステップＳ３４ｄ：また、指示制御部１２２は、スキャン装置２００に光干渉制御コマンドを出力し、照射光の制御を開始させる。ここで、光制御コマンドには、スキャン装置２００からの照射光の出射を停止させるように指示する情報が含まれているものとする。これにより、スキャン装置２００の照射光制御部２１１は、画像の読み取りにおいて照射光の出射を停止する。なお、セロハン紙１１２ｃ内の均一色味情報を取得出来れば良く、照射光の出射を完全に停止しなくても良い。
【０２０２】
ステップＳ３４ｅ、Ｓ３４ｆ：情報処理装置１００は、スキャン装置２００による読み取りが終了するまでスキャン画像の取得及び格納を継続する。
【０２０３】
ステップＳ３４ｇ：抽出部１３２は、画像判定部１３１が検出したエッジに基づいて、エッジで特定されるセロハン紙１１２ｃ内の均一色味情報を取得する。例えば、抽出部１３２は、エッジ内の画像の各画素の色味を検出し、色味ごとに画素数を算出する。抽出部１３２は、最も多い画素数の色味を均一色味情報として取得する。抽出部１３２は、検出した均一色味情報を合成画像生成部１３３に出力する。
【０２０４】
以上の処理の後、合成画像生成部１３３は、画面１０１ａ上でのスキャン領域２００ｃ、スキャン画像に対するセロハン紙１１２ｃのエッジの位置に基づいて、画面１０１ａの画像にセロハン紙１１２ｃの均一色味情報を合成し合成画像を生成する。
【０２０５】
なお、情報処理装置１００は、ステップＳ３４ｂにおいてエッジを検出できない場合は、上記第１実施形態例の変形例１のように様々な光干渉制御を行っても良い。
【０２０６】
その他、第１実施形態例の各種変形例も第２実施形態例に取り込み可能である。
【０２０７】
＜その他の実施形態例＞
上記実施形態では、ユーザが、スキャン装置２００の操作ボタン２０２のうち、画面読み取りモードの設定ボタンを選択すると、その選択情報が情報処理装置１００に出力される。情報処理装置１００は、画面読み取りモードが選択されたことに基づいて、上記の各種処理を行う。しかし、ユーザが画面読み取りモードを選択しなくても、情報処理装置１００が、最初に取得したスキャン画像に基づいて読み取り対象が画面１０１ａであると判断した場合、上記各種処理を行うようにしても良い。例えば、情報処理装置１００が、スキャン画像が鮮明でないと判断した場合、読み取り対象が画面１０１ａであると判断する。
【０２０８】
上記実施形態では、画像取得装置としてスキャン装置を例に挙げたが、画像取得装置は対象に対して照射光を照射して画像を取得する装置であれば特に限定されず、例えばカメラなどの撮像装置であっても良い。
【０２０９】
また、前述の方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）、ＭＯ（Magneto Optical disk）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ（ＤＶＤ−Random Access Memory）、ＢＤ（Blue-ray Disc）、ＵＳＢメモリ、半導体メモリなどを挙げることができる。前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０２１０】
以上の実施形態及びその他の実施形態に関し、更に以下の付記を開示する。
【０２１１】
＜付記＞
（付記１）
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行う情報処理装置であって、
画面を有するディスプレイと、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部と、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部と、
を含む、情報処理装置。
【０２１２】
物理的な対象物とは、例えば添付可能な付箋紙であり、メモ書きされた付箋紙がディスプレイの画面上の所望の場所に添付されているとする。画像取得装置が画面上の付箋紙の画像を取得する場合、上記情報処理装置は画面の表示を一様な状態に制御する。画面の表示を一様な状態を制御するとは、例えば画面の色相、彩度、明度及び／又は輝度を一様に制御することにより画面を例えば一様に黒色状態又は白色状態などに制御することを言う。また、画面の表示は、例えば画面から出射される表示光の出射量を調節することで制御され得る。例えば、ディスプレイが液晶表示装置の場合には、情報処理装置は、画素電極に印加する画像信号を制御して液晶の傾きを制御し、これにより画面から出射する表示光の出射量を調節する。あるいは、ディスプレイに輝度又は明度を与える照明光、液晶表示装置の場合にはバックライト光を制御して、画面からの表示光の出射量を調節しても良い。また、例えば、ディスプレイがＣＲＴ（Cathode Ray Tube）の場合には、ディスプレイ背面での照明光の出射量を制御することで、画面からの表示光の出射量を調節する。その他、情報処理装置は、画面全体に白色を出力するように制御するなど、画面の表示色を制御して、画面の表示を一様に制御することもできる。
【０２１３】
このように画面の表示を一様に制御することで、画像の取得の際に画像取得装置から出射される照射光と、情報処理装置のディスプレイから出射される表示光と、の干渉を抑制することができる。これにより、対象物がディスプレイの画面上に配置されていても、画像取得装置により対象物を読み取ることが可能となる。
【０２１４】
（付記２）
前記光干渉制御部は、前記画面の表示を黒色状態又は白色状態に制御する、付記１に記載の情報処理装置。
【０２１５】
光干渉制御部は、画像取得装置が対象物の画像を取得する際に画面を例えば一様な黒色状態に制御する。対象物が白色の用紙である場合、対象物の背景色が黒色状態となることで、対象物と画面との差が明確になり、画像取得装置により画面上の対象物を読み取り可能となる。これにより、情報処理装置の画面から出射される表示光と、画像取得装置から出射される照射光と、が干渉し合い、対象物の画像取得を困難にするなどの悪影響を抑制することができる。
【０２１６】
なお、黒色状態には黒色だけでなく、暗い灰色、明るい灰色など黒色に近い色も含まれる。同様に、白色状態には、白色だけでなく、明度又は輝度などが明るい白色に近い、例えば黄色、明るい緑なども含まれる。
【０２１７】
（付記３）
前記画面に明度又は輝度を与える照明光を生成する照明光生成部と、
前記画面に画像を表示するための画像信号を生成する画像信号生成部と、
前記照明光及び前記画像信号に基づいて、前記ディスプレイの画面に画像を表示する表示制御部と、をさらに含み、
前記光干渉制御部は、前記画像信号を制御することにより前記画面の表示を一様な状態に制御する、付記１又は２のいずれかに記載の情報処理装置。
【０２１８】
画面はＲＧＢなどの色を決定する複数の画素から構成されており、画像信号生成部は、例えば各画素ごとに画像信号を生成している。ディスプレイが液晶表示装置の場合は、情報処理装置が画像信号を各画素の画素電極に印加すると、液晶は画像信号に応じて傾く。光干渉制御部は、この画像信号を制御することで液晶の傾きを制御し、照明光を遮断する量を制御し、ひいては画面から出射する表示光の出射量を調節する。
【０２１９】
（付記４）
前記画面に明度又は輝度を与える照明光を生成する照明光生成部と、
前記照明光を用い、前記ディスプレイの画面に画像を表示する表示制御部と、をさらに含み、
前記光干渉制御部は、前記画像の表示に用いる前記照明光の出射量を制御することにより前記画面の表示を一様な状態に制御する、付記１又は２のいずれかに記載の情報処理装置。
【０２２０】
情報処理装置は、ディスプレイが液晶表示装置の場合、照明光であるバックライト光を制御して、画面からの表示光の出射量を調節し画面の表示を一様な状態に制御する。また、例えば、ディスプレイがＣＲＴの場合には、ディスプレイ背面での照明光の出射量を制御することで、画面からの表示光の出射量を調節する。
【０２２１】
情報処理装置は、例えば、照明光の出射量を少なくすることで、画面の表示を一様な黒色状態とすることができる。また、情報処理装置は、照明光の出射量を多くすることで、画面の表示を一様な白色状態に近くすることができる。
【０２２２】
（付記５）
前記画像取得装置からの前記取得画像において、前記対象物と前記対象物以外とのコントラスト比が所定値以上であることに基づいて、前記対象物のエッジを検出する画像判定部をさらに含み、
前記光干渉制御部は、前記画像判定部が前記コントラスト比が前記所定値未満であると判定した場合、前記画面の一様な状態を別の一様な状態に制御する、付記１〜４のいずれかに記載の情報処理装置。
【０２２３】
例えば、情報処理装置は、まず、画面を一様な黒色状態に制御し、画像取得装置から取得画像を受信する。ここで、取得画像には、対象物と、対象物の背景である画面と、が含まれる。この取得画像において、対象物と対象物以外とのコントラスト比が所定値未満である場合、情報処理装置は、画面を一様な黒色状態から一様な白色状態に変更し、画像取得装置に再び画像を取得させる。情報処理装置が画面の表示を様々に調節することで、画像取得装置は対象物の画像をより鮮明に取得することができる。
【０２２４】
（付記６）
前記画像取得装置が前記照射光を走査することにより画像を取得するのに伴って、前記光干渉制御部は、前記画面のうち、前記走査に応じて前記照射光が照射されている照射領域の表示を制御する、付記１〜５のいずれかに記載の情報処理装置。
【０２２５】
例えば、情報処理装置が、全画面の表示を通常状態から一様な状態に制御すると、瞬時に画面の状態が変化するため、情報処理装置のユーザに強い刺激を与える。このような変化は、例えば、ユーザに大きな驚きを与え、また情報処理装置が誤作動したとユーザに誤認させるなどする。照射光が照射されている限定された照射領域のみ表示を制御することで、全画面の表示が制御される場合に比べてユーザに与える刺激を抑制することができる。例えば、画像取得装置が、スキャンバー領域下に対してスキャン光を出射し、スキャンバーを順次的に走査して画像を取得するスキャン装置であるとする。この場合、情報処理装置は、画面のうちスキャンバー領域下でのみ画面の表示を一様な状態に制御する。
【０２２６】
（付記７）
前記取得画像に基づいて、前記画面に対する前記画像取得装置の位置及び傾きを検出する画像取得装置検出部と、
前記画像取得装置における前記照射光の走査位置を前記画像取得装置から取得し、取得した前記照射光の走査位置と、前記画面に対する前記画像取得装置の位置及び傾きと、に基づいて、前記画面に対する前記照射領域を検出する照射領域検出部と、をさらに含み、
前記光干渉制御部は、前記照射領域検出部が検出した前記照射領域の表示を制御する、付記６に記載の情報処理装置。
【０２２７】
画像取得装置が、情報処理装置の画面に対してどの位置にどの傾きで読み取りを行うかによって、画面上における照射光の照射領域も異なる。よって、情報処理装置は、画像取得装置の画面に対する位置及び傾きなどを取得する必要がある。さらに、照射光の走査位置は順次的に移動するため、画像取得装置における照射光の走査位置も取得する必要がある。情報処理装置は、これら取得した情報に基づいて、画面に対して照射光が走査されている照射領域を取得する。
【０２２８】
なお、例えば、情報処理装置は、マウスによる操作位置を示すポインタ、又は、テキスト間の入力位置を示すために用いられるキャレットなどの画像を画像取得装置から取得する。取得画像に例えばポインタが含まれていれば、情報処理装置は、取得画像内におけるポインタの座標と、画面内におけるポインタの座標とに基づいて、画像取得装置が画面内のどの位置にあるのかを把握できる。ただし、情報処理装置は、ポインタの表示を制御しているため、画面内におけるポインタの座標を認識している。また、照射光の走査方向と、画面上の水平方向と、のなす角により画像取得装置が画面に対してどの程度傾いているのかを把握することができる。
【０２２９】
（付記８）
前記光干渉制御部は、前記画像取得装置での前記対象物の画像の取得に伴って、前記画像取得装置が出射する照射光をさらに制御する、付記１〜７のいずれかに記載の情報処理装置。
【０２３０】
画像取得装置による画像の取得時には、画面から出射される表示光と、画像取得装置が出射する照射光と、が干渉し合う。そこで、光干渉制御部は、画面の表示を一様な状態に制御するだけでなく、画像取得装置から出射される照射光をさらに制御する。これにより、表示光と照射光との干渉を抑制し、対象物の画像取得を困難にするなどの悪影響を抑制することができる。
【０２３１】
（付記９）
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置が実行する情報処理方法であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御ステップと、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信ステップと、
を含む、情報処理方法。
【０２３２】
（付記１０）
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置に実行させるための情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部、及び
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部、
として前記情報処理装置を機能させる情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【符号の説明】
【０２３３】
１００：情報処置装置
１０１：ディスプレイ
１０１ａ：画面
１１０：マウスポインタ
１１２ｃ：セロハン紙
１１２ａ、１１２ｂ：付箋紙
１２２：指示制御部
１２３：光干渉制御部
１２４：表示管理部
１２４ａ：表示制御部
１２４ｂ：照明光生成部
１２４ｃ：画像信号生成部
１２５：マウスポインタ情報ＤＢ
１２６：スキャン装置検出部
１２７：スキャンバー領域検出部
１２８：スキャン装置情報ＤＢ
１２９：スキャン画像受信部
１３０：スキャン画像ＤＢ
１３１：画像判定部
１３２：抽出部
１３３：合成画像生成部
１３４：画面取得部
１３５：画面ＤＢ
１４０：タッチパネル
２００：スキャン装置
２００ａ：スキャンバー
２００ｂ：スキャンバー領域
２００ｃ：スキャン領域
２０１：スキャン機構
２０２：操作ボタン
２０３：操作ディスプレイ
２１０：スキャン実行部
２１１：照射光制御部
２１２：入力受付部
２２０ａ、２２０ｂ：突起
【特許請求の範囲】
【請求項１】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行う情報処理装置であって、
画面を有するディスプレイと、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部と、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部と、
を含む、情報処理装置。
【請求項２】
前記光干渉制御部は、前記画面の表示を黒色状態又は白色状態に制御する、請求項１に記載の情報処理装置。
【請求項３】
前記画像取得装置が前記照射光を走査することにより画像を取得するのに伴って、前記光干渉制御部は、前記画面のうち、前記走査に応じて前記照射光が照射されている照射領域の表示を制御する、請求項１〜２のいずれかに記載の情報処理装置。
【請求項４】
前記取得画像に基づいて、前記画面に対する前記画像取得装置の位置及び傾きを検出する画像取得装置検出部と、
前記画像取得装置における前記照射光の走査位置を前記画像取得装置から取得し、取得した前記照射光の走査位置と、前記画面に対する前記画像取得装置の位置及び傾きと、に基づいて、前記画面に対する前記照射領域を検出する照射領域検出部と、をさらに含み、
前記光干渉制御部は、前記照射領域検出部が検出した前記照射領域の表示を制御する、請求項３に記載の情報処理装置。
【請求項５】
前記光干渉制御部は、前記画像取得装置での前記対象物の画像の取得に伴って、前記画像取得装置が出射する照射光をさらに制御する、請求項１〜４のいずれかに記載の情報処理装置。
【請求項６】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置が実行する情報処理方法であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御ステップと、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信ステップと、
を含む、情報処理方法。
【請求項７】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置に実行させるための情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部、及び
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部、
として前記情報処理装置を機能させる情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【請求項１】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行う情報処理装置であって、
画面を有するディスプレイと、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部と、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部と、
を含む、情報処理装置。
【請求項２】
前記光干渉制御部は、前記画面の表示を黒色状態又は白色状態に制御する、請求項１に記載の情報処理装置。
【請求項３】
前記画像取得装置が前記照射光を走査することにより画像を取得するのに伴って、前記光干渉制御部は、前記画面のうち、前記走査に応じて前記照射光が照射されている照射領域の表示を制御する、請求項１〜２のいずれかに記載の情報処理装置。
【請求項４】
前記取得画像に基づいて、前記画面に対する前記画像取得装置の位置及び傾きを検出する画像取得装置検出部と、
前記画像取得装置における前記照射光の走査位置を前記画像取得装置から取得し、取得した前記照射光の走査位置と、前記画面に対する前記画像取得装置の位置及び傾きと、に基づいて、前記画面に対する前記照射領域を検出する照射領域検出部と、をさらに含み、
前記光干渉制御部は、前記照射領域検出部が検出した前記照射領域の表示を制御する、請求項３に記載の情報処理装置。
【請求項５】
前記光干渉制御部は、前記画像取得装置での前記対象物の画像の取得に伴って、前記画像取得装置が出射する照射光をさらに制御する、請求項１〜４のいずれかに記載の情報処理装置。
【請求項６】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置が実行する情報処理方法であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御ステップと、
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信ステップと、
を含む、情報処理方法。
【請求項７】
照射光の出射とともに画像を取得する画像取得装置との間でデータの送受信を行い、画面を有するディスプレイを備える情報処理装置に実行させるための情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記画像取得装置が、前記画面上に配置された物理的な対象物の画像を取得するのに伴って前記画面の表示を一様な状態に制御する光干渉制御部、及び
前記画像取得装置が取得した取得画像を、前記画像取得装置から受信する画像受信部、
として前記情報処理装置を機能させる情報処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図４Ｇ】
【図４Ｈ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図４Ｇ】
【図４Ｈ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−１０８１４４（Ｐ２０１１−１０８１４４Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６４７６５（Ｐ２００９−２６４７６５）
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]