情報表示システム、情報表示方法、及びプログラム
【課題】表示装置の画面上に配置される物体に関する説明情報を物体周辺の適切な位置に表示することができるようにする。
【解決手段】表示装置の画面上に配置される物体に関する説明情報を表示装置に出力する情報処理装置が、物体を識別する物体識別子を取得する物体識別部と、物体が配置される画面上の絶対位置を特定する絶対位置特定部と、物体識別子に対応付けて、説明情報及び、説明情報の画面上における物体に対する相対位置を記憶する説明情報記憶部と、物体識別部により取得された物体識別子に対応する説明情報及び相対位置を説明情報記憶部から読み出す説明情報取得部と、絶対位置及び相対位置に基づいて、説明情報を表示する画面上の絶対位置である説明表示位置を決定する説明表示位置決定部と、説明表示位置に説明情報を出力する説明情報出力部とを備える。
【解決手段】表示装置の画面上に配置される物体に関する説明情報を表示装置に出力する情報処理装置が、物体を識別する物体識別子を取得する物体識別部と、物体が配置される画面上の絶対位置を特定する絶対位置特定部と、物体識別子に対応付けて、説明情報及び、説明情報の画面上における物体に対する相対位置を記憶する説明情報記憶部と、物体識別部により取得された物体識別子に対応する説明情報及び相対位置を説明情報記憶部から読み出す説明情報取得部と、絶対位置及び相対位置に基づいて、説明情報を表示する画面上の絶対位置である説明表示位置を決定する説明表示位置決定部と、説明表示位置に説明情報を出力する説明情報出力部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報表示システム、情報表示方法、及びプログラムに関する。
【背景技術】
【0002】
静的な情報しか提示できない本やカードなどの静的メディアと、アニメーションや動画などの動的な情報を提示するディスプレイ等の動的メディアとを組み合わせて情報提示を行うシステムが提案されている(例えば、特許文献1参照)。
【特許文献1】特開2003−330615号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載のシステムでは、画面上に置かれたシートの種類、位置、傾きなどを判別し、所定表示領域にアニメーションなどの情報を表示するようにしているが、上記の所定表示領域が画面上の予め定められた絶対的な領域であるか、あるいはシートから見た相対的な領域であるかなどの説明はない。また、上記のような所定表示領域をどのように決定するかについての説明もない。したがって、特許文献1からは、画面上のどの位置に動的な情報を表示すればよいのか具体的に決定することができない。
【0004】
本発明は、このような背景を鑑みてなされたものであり、表示装置の画面上に配置される物体に関する説明情報を物体周辺の適切な位置に表示することができる情報処理装置、情報表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するための本発明の主たる発明は、表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力する情報処理装置であって、前記物体を識別する物体識別子を取得する物体識別部と、前記物体が配置される前記画面上の絶対位置を特定する絶対位置特定部と、前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を記憶する説明情報記憶部と、前記物体識別部により取得された前記物体識別子に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出す説明情報取得部と、前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定する説明表示位置決定部と、前記説明表示位置に前記説明情報を出力する説明情報出力部と、を備えることとする。
【発明の効果】
【0006】
本発明によれば、表示装置の画面上に配置される物体に関する説明情報を物体周辺の適切な位置に表示することができる。
【発明を実施するための最良の形態】
【0007】
以下、図面を用いて本発明の一実施形態に係る情報処理装置1を含む情報表示システムについて詳細に説明する。
【0008】
本実施形態の情報表示システムは、金融機関や公共機関などの事務窓口において申請書類を作成する場合に、利用者が表示装置をテーブルとして利用し、表示装置の画面上に書類(物体)を置くと、画面上の書類の周辺位置に各種の書類作成のためのガイダンスを表示するものである。
書類周辺に表示されるガイダンスには、例えば、書類の用途の説明、書類の記入見本例、書類に記入する各項目の説明、申請時に必要となる他の書類など提出物の説明、書類の申請場所に関する説明、申請手順の説明、申請窓口からのお知らせなどがある。以下の説明において、書類の周辺に表示するガイダンスとは、これらの説明やお知らせなど各種の書類に関する情報を意味するものとする。
【0009】
==全体構成==
図1は、本実施形態に係る情報表示システムの全体構成を示す図である。同図に示すように、本実施形態の情報表示システムは、情報処理装置1及び表示装置2を含んで構成されている。
【0010】
情報処理装置1はCPU3やメモリ4、記憶装置5などを有する、例えば、パーソナルコンピュータやワークステーションなどのコンピュータである。記憶装置5はプログラムやデータを記憶する、例えばハードディスクドライブやCD−ROMなどである。CPU3が記憶装置5に記憶されているプログラムをメモリ4に読み出して実行することにより各種の機能を実現する。
【0011】
表示装置2は、情報を出力する、例えばディスプレイなどの出力装置である。表示装置2は、受光した光の強さに応じた信号を出力する光センサ(不図示)が各画素中に埋め込まれたディスプレイパネル21を有している。光センサからの出力は、情報処理装置1に通知される。なお、本実施形態では、ディスプレイパネル21に埋め込まれる光センサは、受光した光の強度が所定の閾値を超えたかどうかを示す2値の情報を出力するものとし、ディスプレイパネル21上の各画素について、物体が置かれている場合は「0」、物体が置かれていない場合は「1」と表すビットマップを出力する。
【0012】
図2は、表示装置2の画面上に配置された書類の位置や形状を検出する処理を説明する図である。また、図3は、表示装置2の画面上に書類100が配置された状態の一例を示す図である。図2に示すように、表示装置2の画面上に書類100が配置されると、表示装置2のディスプレイパネル21に埋め込まれた光センサは、書類100が配置された領域253では光251を受光することができず、逆に書類100が配置されていない領域252では、光251を受光することが可能である。したがって、光センサからの出力信号により、情報処理装置1は、書類が配置された画面上の絶対位置や、書類が配置された画面上の領域を検出することができる。図3の例では、ディスプレイパネル21の画素中に埋め込まれた光センサからは、書類の形状内の領域121の画素について、光を受光できなかったことを示す「0」が出力される。これにより、情報処理装置1は表示装置2の光センサから、図2(b)に示すような領域121を示すセンサ情報を取得することができる。
【0013】
==機能ブロック==
図4は、本実施形態の情報処理装置1の構成を示す図である。同図に示すように、情報処理装置1は、センサ情報取得部11、配置位置特定部12、書類特定部13、ガイダンス情報取得部14、表示位置決定部15、ガイダンス情報出力部16、書類情報データベース6、ガイダンス情報データベース7、配置情報データベース8を備えている。
【0014】
書類情報データベース6は書類のサイズや形状などの特徴を含む情報(以下、書類情報という。)を記憶する。図5に書類情報の構成例を示す。同図に示すように、書類情報は、書類番号61、サイズ62、形状63を含んでいる。
書類番号61は、書類を一意に識別するための番号(本発明の物体識別子に対応する。)である。
サイズ62は書類の縦と横の大きさを示す情報である。書類が矩形以外の形状をしている場合、サイズ62は、書類を内包する四角形(以下、バウンディングボックスという。)の縦と横の大きさを示すものとする。
【0015】
形状63は書類の形状を示す。図6及び図7に書類100の形状例を示す。本実施例では、書類の形状63は、書類左上の座標を起点として時計回りの座標データの集合で表現するものとする。図6の例において、書類100は右上に切り取り111がある形状をしており、この書類100の形状は、「(0,0)−(267,0)−(297,30)−(297,210)−(0,210)」という座標データの集合により表現することができる。同様に図7の例では、書類100は上部に切り抜き112がある四角形の形状をしており、この書類100の形状は「(0,0)−(177,0)−(207,30)−(237,0)−(297,0)−(297,210)−(0,210)」という座標データの集合により表現することができる。なお、書類の形状を表す形状63としては、座標の集合以外にも例えば、ビットマップのデータや、円形の半径、楕円形の2つの半径、矩形の幅と高さなど、図形を表現する各種の形式を採用することができる。
【0016】
ガイダンス情報データベース7は、書類の周辺に表示するガイダンスに関する情報(以下、ガイダンス情報という。)を記憶する。図8にガイダンス情報の構成例を示す。同図に示すように、ガイダンス情報は、書類番号71、ガイダンス番号72、優先度73、データ種類74、サイズ75、表示サイド76、表示順77、及びファイル名78を含んでいる。
【0017】
ガイダンス番号72はガイダンス情報の識別情報である。
ファイル名78は、ガイダンスの内容が記録されているファイルのファイル名であり、データ種類74はファイルの種類を示す情報である。ガイダンスの内容が記録されるファイルには、テキスト情報、画像情報、映像情報などの様々なデータ形式を採用することができる。サイズ75はガイダンスの表示サイズである。本実施形態においてサイズ75は表示した幅と高さで表すものとする。
表示サイド76は、画面上に配置された書類100のどちら側にガイダンスを表示するかを示す情報であり、「上」「下」「左」「右」のいずれかである。表示順77はガイダンスを並べる順番を示す。表示サイド76が「上」又は「下」の場合、ガイダンスは書類の左から右に向かって表示順77の順に表示される。また、表示サイド76「左」又は「右」の場合には、ガイダンスは書類の上から下に向かって表示順77の順に表示される。すなわち、表示サイド76と表示順77とにより、画面上におけるガイダンスの書類に対する相対位置を示している。なお、ガイダンスの表示位置の算出処理の詳細については後述する。
【0018】
配置情報データベース8は画面に表示中のガイダンスの画面上の配置位置を記憶する。図9に配置情報データベース8に登録される配置情報の構成を示す。同図に示すように、配置情報は、書類番号81、配置時刻82、ガイダンス番号83、表示領域84を含んでいる。配置時刻82はガイダンスが表示された時刻である。ガイダンス番号83は、表示されたガイダンスのガイダンス番号である。表示領域84は、ガイダンスが表示された画面上の領域(以下、ガイダンス表示領域という。)である。なお、ガイダンス番号に「−」が設定されている場合は、表示領域84は、書類の配置領域を示すものとする。
【0019】
センサ情報取得部11は、表示装置2が備えるディスプレイパネル21の画素中に埋め込まれた光センサからセンサ情報を取得する。本実施形態においてセンサ情報取得部11は、所定時間毎にセンサ情報を取得するものとする。
配置位置特定部12は、センサ情報に基づいて、画面上に置かれた書類の画面上における絶対位置(以下、配置位置という。)や書類の配置領域を特定する。
書類特定部13は、書類の配置領域の形状に基づいて、画面上に置かれた書類を特定する。なお、書類を特定する処理の詳細については後述する。
ガイダンス情報取得部14は、書類特定部13が特定した書類についてのガイダンス情報をガイダンス情報データベース7から取得する。
ガイダンス表示位置決定部15は、ガイダンス情報に基づいて、ガイダンスを表示する画面上の絶対位置(以下、ガイダンス表示位置という。本発明の説明表示位置に該当する。)を決定する。
ガイダンス情報出力部16は、ガイダンス情報のファイル名78が示すファイルの内容を、表示装置2の画面上のガイダンス表示位置に出力する。
【0020】
==ガイダンス表示処理==
以下、本実施形態の情報処理装置1によるガイダンスの表示処理について説明する。図10は、情報処理装置1がガイダンス情報を表示する処理の流れを示す図である。なお、各ステップの処理の詳細については後述する。
【0021】
情報処理装置1は、画面上に置かれた書類の検出処理を行う(S401)。情報処理装置1は、ガイダンス番号を「−」として、特定した書類の書類番号、算出した配置領域、及び現在時刻を配置情報データベース8に登録する(S402)。また、情報処理装置1は、特定した書類の書類番号に対応するガイダンス情報を読み出して、各ガイダンスのガイダンス表示位置を算出する(S403)。
次に、情報処理装置1は、ガイダンス情報を表示サイド76の「上」「下」「左」「右」のそれぞれに対応する4つのグループに分類し、各グループに属するすべてのガイダンス情報を内包するバウンディングボックス内の領域(以下、グループ領域という。)を算出する(S404)。
情報処理装置1は、上記のグループについてグループ領域が表示装置2の画面の表示可能範囲内に入っているかどうかを判断し(S405)、いずれかのグループ領域が画面の表示範囲からはみ出している場合には(S405:NO)、はみ出しているグループのガイダンス表示位置を再計算(再配置)する(S406)。
情報処理装置1は、ガイダンス情報のファイル名78が示すファイルの内容を、表示装置2の画面上のガイダンス表示位置に出力する(S407)。
【0022】
==書類の検出処理==
図11は、書類の検出処理の流れを示す図である。
情報処理装置1は、表示装置2から出力されるセンサ情報を取得し(S421)、取得したセンサ情報から、光センサが受光できなかった領域を配置領域として検出する(S422)。情報処理装置1は、書類情報データベース6を参照して、サイズ62と配置領域のサイズとが一致し、かつ形状63と配置領域の形状とが一致する書類情報が登録されているかどうかのマッチングを行う(S423)。
【0023】
マッチした書類情報がない場合(S424:NO)、情報処理装置1は、書類情報データベース6に登録されている書類情報のうち、形状63が配置領域の一部の形状と一致しているものを検索する(S425)。ここで、配置領域の一部の形状と一致する形状63が複数ある場合には、例えば、最も一致する部分が大きい形状63を含む書類情報を読み出すようにする。形状の一致は、例えば、情報処理装置がセンサ情報の配置領域から書類情報の形状63を抽出した第1のビットマップを抽出し、形状63の内部を「1」とする矩形の第2のビットマップを生成し、上記2つのビットマップを構成する各値が一致する数により算出することができる。
【0024】
情報処理装置1は、配置領域の一部の形状と一致する形状63を有する書類情報を書類情報データベース6から読み出すことができた場合(S426:YES)、配置領域から書類情報の形状63を抽出した領域を配置領域とする(S427)。これにより、例えば、人間の手や筆記用具など、書類以外のものを表示装置2の光センサが検出した場合であっても、書類の部分のみを配置領域として抽出することができる。図12に、表示装置2の画面上に書類以外のものが配置された状況の一例を示す。図12(a)では、表示装置2の画面上に書類100が配置され、書類の上に人間の手122と筆記用具123とが配置されていることを示している。ここで、表示装置2から出力されるセンサ情報は、図12(b)に示す配置領域124を示すことになる。センサ情報の配置領域から書類情報の形状63を抽出した第1のビットマップは、図12(c)に示すように、人間の手が配置された領域122や筆記用具が配置された領域123が除去された領域125を示すものになる。
一方、上記のような形状63を有する書類情報を取得することができなかった場合(S426:NO)、情報処理装置1は、画面上に書類以外の物を置かないように注意を促すメッセージを表示して(S428)、処理を終了する。
【0025】
情報処理装置1は、上記のように指定検出した配置領域の左上端の座標位置を配置位置として特定する(S429)。
【0026】
==表示位置の算出処理==
図13は、ガイダンス表示位置の算出処理の流れを示す図である。なお、情報処理装置1は、「上」「下」「左」「右」のそれぞれを表示サイドとして以下の処理を行う。また、本実施形態では、複数のガイダンス間や、書類とガイダンスとの間は、所定の距離(以下、オフセットという。)が開くようにするものとする。
【0027】
まず、情報処理装置1は、表示サイドが「上」であった場合(S441:上)、配置位置のX座標をXとし(S442)、配置位置のY座標から、サイズ75の高さと、オフセットとを引いてYとする(S443)。
表示サイドが「下」であった場合には(S441:下)、情報処理装置1は、配置位置のX座標をXとし(S444)、配置位置のY座標に、サイズ75の高さと、オフセットとを足してYとする(S445)。
また、情報処理装置1は、表示サイドが「左」であった場合(S441:左)、配置位置のX座標からサイズ75の幅とオフセットとを引いてXとし(S446)、配置位置のY座標をYとする(S447)。
表示サイドが「右」であった場合(S441:右)、情報処理装置1は、配置位置のX座標にサイズ75の幅とオフセットとを足してXとし(S448)、配置位置のY座標をYとする(S449)。
【0028】
次に情報処理装置1は、書類番号と表示サイドとを含むガイダンス情報をガイダンス情報データベース7から取得し(S450)、取得したガイダンス情報を表示順77の順番にソートする(S451)。
情報処理装置1は、ソートしたガイダンス情報のそれぞれについて、表示位置を(X,Y)として(S452)、表示位置とガイダンス情報のサイズ75とからガイダンス表示領域を算出する(S453)。情報処理装置1は、書類番号とガイダンス情報のガイダンス番号72とに対応付けて、算出したガイダンス表示領域を配置情報データベース8に登録する(S454)。
表示サイドが「上」又は「下」である場合は(S454:YES)、ガイダンス情報のサイズ75の幅及びオフセットをXに加算し(S455)、そうでない場合は(S454:NO)、ガイダンス情報のサイズ75の高さとオフセットとをYに加算する(S456)。
【0029】
上記のようにして、画面上に配置された書類100の左側に表示すべきガイダンス表示位置を設定することができる。例えば、書類番号が「A1001」であり、配置位置が(200,200)であり、オフセットが「10」であった場合、上記図8の例では、ガイダンス番号「#1」のガイダンス情報についてのガイダンス表示位置は、「X=200−100−10」及び「Y=200−100−10」より、(90,90)となる。また、ガイダンス番号「#3」のガイダンス情報についてのガイダンス表示位置は、「Y=Y+100+10」より、(90,200)となる。
【0030】
図14は、上記のようにして算出されたガイダンス表示位置にガイダンスを表示した場合の画面例である。図14の例において、ガイダンス表示領域901a〜905aはそれぞれ、図8における、ガイダンス番号「#1」「#3」「#2」「#4」及び「#5」のガイダンス情報についてのものである。
【0031】
==グループ領域の算出処理==
図15は、グループ領域の算出処理の流れを示す図である。なお、情報処理装置1は、「上」「下」「左」「右」のそれぞれを表示サイドとして以下の処理を行う。
【0032】
情報処理装置1は、ガイダンス情報データベース7から、書類番号と表示サイドとに対応し、表示順77が最小のガイダンス情報を読み出し(S461)、読み出したガイダンス情報について、上記図13に示した処理により算出したガイダンス表示位置のX座標値をグループ領域の左上のX座標値とし(S462)、上記ガイダンス表示位置のY座標値をグループ領域の左上のY座標値とする(S463)。
【0033】
表示サイドが「上」又は「下」である場合(S464:YES)、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の幅の合計値をガイダンス情報データベース7から取得し、取得した合計値にオフセットと上記ガイダンス情報のレコード数とを乗じた値を加算してグループ領域の幅とする(S465)。また、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の高さの最大値をガイダンス情報データベース7から取得し、取得した最大値にオフセットを加算してグループ領域の高さとする(S466)。
【0034】
一方表示サイドが「左」又は「右」である場合(S464:NO)、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の幅の最大値をガイダンス情報データベース7から取得し、取得した最大値にオフセットを加算してグループ領域の幅とする(S467)。また、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の高さの合計値をガイダンス情報データベース7から取得し、取得した合計値に上記ガイダンス情報のレコード数とオフセットとを乗じた値を加算してグループ領域の高さとする(S467)。
【0035】
上記のようにして4つのグループについてのグループ表示領域が算出される。図16は、上記図14に示す画面例におけるグループ領域を説明する図である。図16の例では、書類の左側のガイダンス表示領域901a及び902aは「左」のグループ領域91に属し、ガイダンス表示領域903aは「下」のグループ領域92に属し、ガイダンス表示領域904a及び905aは、「右」のグループ領域93に属している。
【0036】
==グループ領域の再配置処理==
図17及び図18は、グループ領域の再配置処理の流れを示す図である。
情報処理装置1は、ガイダンス情報の表示サイド76が「上」または「下」の場合(S481:YES)、Y座標値を同一のままにしてグループ領域を画面の表示可能範囲内に移動可能かどうかを判断する(S482)、移動可能であれば(S482:YES)、移動距離が最小となる移動方向の移動量を、グループに所属するガイダンスのそれぞれについて、配置情報データベース8に登録されているガイダンス表示位置のX座標値に加算する(S483)。
【0037】
一方、表示サイド76が「左」又は「右」である場合には(S481:NO)、同一のX座標値のままでグループ領域を画面の表示可能範囲内に移動させることが可能かどうかを判断し(S484)、移動可能であれば(S484:YES)、グループに所属するガイダンスのそれぞれについて、移動距離が最小となる移動方向の移動量を、配置情報データベース8に登録されているガイダンス表示位置のY座標値に加算する(S485)。
【0038】
同一のX座標値又はY座標値のままでグループ領域を画面の表示可能範囲内に移動することができない場合(S482:NO)(S484:NO)、情報処理装置1は、表示サイド76が「上」であるときには(S501:上)、移動Xを「0」とし(S502)、配置領域の高さと「下」のグループ領域の高さと所定のオフセットとを加算して移動Yとする(S503)。また表示サイド76が「下」である場合(S501:下)、情報処理装置1は、移動Xを「0」とし(S504)、「0」から配置領域の高さと「下」のグループ領域の高さとオフセットとをそれぞれ引いて移動Yとする(S505)。表示サイド76が「左」である場合には(S501:左)、情報処理装置1は、配置領域の幅に「右」のグループ領域の幅とオフセットを加算して移動Xとし(S506)、移動Yを「0」とする(S507)。表示サイド76が「右」である場合(S501:右)、「0」から配置領域の幅と「左」グループ領域の幅とオフセットとを引いたものを移動Xとし(S508)、移動Yを「0」とする(S509)。上記のようにして、情報処理装置1は、書類の配置位置と逆側になるようにグループ領域の移動ベクトル(移動X,移動Y)を決定する。
【0039】
ここでグループ領域を移動ベクトル(移動X,移動Y)に従って移動した場合に、グループ領域が画面の表示可能範囲内に収まらない場合(S510:NO)、情報処理装置1は、画面の表示可能範囲内で、グループ領域が収まる位置を探し(S511)、その位置とグループ領域の位置との差を移動ベクトル(移動X,移動Y)とする(S512)。なお、ここでは移動ベクトルの距離が最小になるようにする。
【0040】
情報処理装置1は、グループに所属している各ガイダンスについて、ガイダンス表示位置のX座標値に、上記のようにして算出した移動ベクトルの移動Xを加算し(S513)、配置情報データベース8に登録されているガイダンス表示位置のY座標値に移動ベクトルの移動Yを加算する(S514)。
【0041】
上記のようにして、情報処理装置1は、グループ領域が画面の表示可能範囲外になった場合に、表示可能な位置にガイダンス表示領域を移動させることができる。図19は、グループ領域の再配置処理を説明する図である。図19(a)のように、書類100が画面上の右下に配置された場合、同図の例ではグループ領域93が表示装置2の画面の表示可能範囲外にはみだしている。この場合、本実施形態の情報処理装置1は、書類の右側にあるグループ領域93を上下に移動させても表示可能範囲内にならないため、グループ領域が書類の逆側となるようにグループ領域94までガイダンス表示位置を移動させる。
【0042】
上記のようにして、本実施形態の情報処理装置1によれば、表示装置2の画面上に置かれた書類の配置位置に応じて適切な位置にガイダンスを表示することができる。
【0043】
また、グループ領域が表示装置2の画面の表示可能範囲からはみ出してしまう場合は、ガイダンスの表示領域が画面の表示可能範囲内になるように移動させることができる。したがって、情報処理装置1は、各ガイダンスを互いに重なり合わないように表示することができる。よって、書類の配置位置によりガイダンスが表示されなくなってしまうことを防ぐことができる。
【0044】
また、本実施形態の情報処理装置1は、書類の上下左右の各グループにガイダンスをグループ分けし、グループ毎に表示位置の再配置などの処理を行うようにしている。したがって、表示すべきガイダンスが多くなった場合にも、再配置などの処理に係る計算量を抑えて、情報処理装置1の負荷を低減することができる。よって、書類についてのガイダンスを迅速に表示することができる。
【0045】
以上説明したように、本実施形態の情報処理装置1では、画面上に配置された書類100の配置位置を検出し、配置位置に応じてガイダンスを出力することができる。図20は、書類100が画面上に配置された場合のガイダンスの出力例である。表示領域901aには、ガイダンス番号「#1」で示される動画ファイル「A1001guide.wmv」が出力され、表示領域902aには、ガイダンス番号「#3」で示される画像ファイル「A1001map.png」が表示されることになる。
【0046】
==書類の移動に合わせてガイダンスも追随==
次に、画面上に配置された書類が移動された場合について説明する。図21は、書類の移動を検出する処理の流れを示す図である。本実施形態の情報処理装置1は、所定時間毎に表示装置2の光センサからセンサ情報を取得して、図21に示す処理を行う。
【0047】
情報処理装置1は、センサ情報に基づいて上記図11に示す現在配置されている書類の検出処理を行い(S521)、書類の配置位置及び配置領域を検出する。情報処理装置1は、ガイダンス番号に「−」が設定されている表示領域を前配置領域として配置情報データベース8より読み出し(S522)、読み出した前配置領域と、上記検出した配置領域とが一致した場合には(S523:YES)、処理を終了する。
【0048】
前配置領域と配置領域とが一致しない場合(S523:NO)、配置位置から前配置領域の左上の座標値を減算して、書類が移動した移動方向及び移動距離を示す移動ベクトル(移動X,移動Y)を算出する(S524)。情報処理装置1は、配置情報データベース8に登録されている、ガイダンス情報のガイダンス表示位置に移動ベクトル(移動X,移動Y)を加算し(S525)、新たなガイダンス表示位置にガイダンス情報のファイル名78が示すファイルの内容を出力する(S526)。これにより、書類が移動した移動方向及び移動距離に追随してガイダンスも移動させて表示することができる。
【0049】
ここで情報処理装置1は、上記図10のガイダンス表示処理と同様に、グループ領域を算出し(S404)、4つのグループ領域の何れかが画面の表示可能範囲を超えている場合には(S405:NO)、上述の図17及び図18に示すグループ領域の再配置処理を行い(S406)、ガイダンス情報のファイル名78が示すファイルの内容を、表示装置2の画面上のガイダンス表示位置に出力する(S407)。
【0050】
上記のようにして、本実施形態の情報処理装置1は、画面上の書類が別の位置に移動した場合、書類の移動に追随して、書類の配置位置から相対的な位置関係を保った状態で、ガイダンス情報を表示することができる。また、ガイダンス情報に基づくガイダンス表示位置の算出処理を行わずに、書類の移動ベクトルをガイダンス表示位置に加算することで移動先のガイダンス表示位置を求めることができる。したがって、表示位置の決定に係る処理負荷を軽減し、書類が移動した場合に迅速にガイダンス情報も移動先に表示するようにすることができる。
【0051】
図22は、画面上の書類100を移動した場合の画面例を示す図である。同図に示すように、書類100が配置領域100aから配置領域100bに移動した場合、移動ベクトル601の移動方向及び移動距離の分だけ、グループ領域91a、92a、及び93aも、グループ領域91b、92b、93bに移動することになる。
【0052】
上記のように、上記処理により、画面上に置かれた書類の配置位置に応じてガイダンスの表示位置を動的に変更することができる。
【0053】
==複数の書類==
なお、画面上に複数の書類が置かれた場合、情報処理装置1は、ガイダンス表示領域が画面の表示可能領域内にあり、さらに他のガイダンス表示領域と重なっていない場合にガイダンスを表示するようにする。この場合、情報処理装置1は、上記図10に示すガイダンスの表示処理の(S405)において、配置情報データベース8に、グループに含まれていないガイダンス番号であって、グループ領域と重なる領域が登録されているかどうかにより、複数のガイダンスが重なるかどうかを判断する。情報処理装置1は、ガイダンスが重なると判断した場合(S405:NO)、図17及び図18に示すグループ領域の再配置を行う。このとき、情報処理装置1は、(S482)、(S484)、及び(S510)において、グループ領域を移動した領域が画面の表示可能領域内であり、かつ複数のガイダンスが重ならないかどうかを判断するようにする。
【0054】
図23に、複数の書類が同じ画面上に置かれている画面例を示す。図23(a)に示すように、書類A(100)と書類B(101)について、図13に示すガイダンス表示位置の算出処理を行うと、図23(a)に示すように、書類A(100)についてのガイダンス表示領域93と、書類B(101)についてのガイダンス表示領域95とが重なることがある。この場合、上記のようにして他のガイダンス表示領域と重なるかどうかを調べ、重なる場合にはグループ領域の再配置処理を行うことで、グループ領域93を図23(b)に示すようにグループ領域98になるように、各ガイダンスのガイダンス表示位置を変更することができる。したがって、各ガイダンスを他のガイダンスと重なることなく表示することができる。
【0055】
なお、複数のガイダンス表示領域が重なる場合、上記のようにガイダンス表示領域の再配置を行う代わりに、先に表示したガイダンスがある場合には、後のガイダンスを表示しないようにしてもよい。この場合のガイダンス表示処理を図24に示す。同図に示すように、図24に示すガイダンス表示処理は、図10に示したガイダンス表示処理の(S405)及び(S406)においてグループ領域の再配置処理を行う代わりに、情報処理装置1は、配置情報データベース8に、グループに含まれていないガイダンス番号であって、グループ領域と重なる領域が登録されているかどうかにより、複数のグループ領域が重なるかどうかを判断し(S541)、複数のガイダンスが重なる場合(S541:YES)、グループに所属するガイダンスのガイダンス番号に対応する配置情報を配置情報データベース8から削除する(S542)。これにより、後から処理するガイダンスは表示しないようにすることができる。この場合の画面例を図25に示す。図25(a)に示すように、グループ領域93及び95が重なる場合において、グループ領域93に係るガイダンス表示処理が後から行われたときには、グループ領域93に表示すべきガイダンスは表示されないようになる。このようにして、複数のガイダンスが重なり合って表示されないようにすることができる。
【0056】
なお、(S541)において、配置情報の配置時刻を比較して、配置時刻の遅い方又は早い方の配置情報を削除するようにしてもよい。
【0057】
==優先度==
一方、複数のガイダンス表示領域が重なる場合には、ガイダンスの優先順位に応じて表示するガイダンスを決定するようにしてもよい。この場合のガイダンス表示処理を図26に示す。同図に示すように、上記図24に示すガイダンス表示処理の(S542)に代えて、情報処理装置1は、処理対象になっているグループ(以下、処理対象グループという。)と、重なった他のグループ(以下、他グループという。)とのそれぞれについて、グループに所属するガイダンス情報の優先度73の最大値をガイダンス情報データベース7から取得する(S561)。情報処理装置1は、処理対象グループについての優先度が、他グループの優先度以上であった場合(S562:YES)、他グループに属するガイダンスについての配置情報を配置情報データベース8から削除する(S563)。一方、処理対象グループの優先度が他グループの優先度未満であった場合には(S562:NO)、処理対象グループに所属するガイダンスの配置情報を削除するようにする(S564)。以上のようにすることで、情報処理装置1は、優先度が高いガイダンスを優先的に表示することができる。この場合も画面例は図25のようになる。図25(a)に示すようにグループ領域93及び95が重なる場合において、グループ領域93の優先度が低いときには、優先度の低いグループ領域93に表示すべきガイダンスは表示されないようになる。
【0058】
なお、上記の処理では、優先度が低い方のグループについて、表示しないように配置情報を削除するようにしたが、優先度が低い方のグループについて、上述のグループ領域の再配置処理を行うようにしてもよい。この場合の画面例は図23のようになる。図23(a)に示すようにグループ領域93及び95が重なる場合において、グループ領域93の優先度が低いときには、優先度の低いグループ領域93に表示すべきガイダンスのガイダンス表示位置を移動させて、グループ領域98に表示するようにすることができる。
【0059】
また、上記の説明において、グループの優先度はグループに所属するガイダンスの優先度の最大値としたが、これに限らず、優先度の平均値や中央値などを用いるようにしてもよい。
【0060】
上記のようにして、本実施形態の情報処理装置1によれば、画面上に複数の書類が置かれ、各書類の周辺に表示するべきガイダンス重なってしまう場合に、優先度が高い情報を優先的に表示することができる。
【0061】
==バリエーション==
なお、本実施形態では、金融機関や公共機関などの事務窓口において申請書類を作成する場合を想定して説明したが、これに限らず、例えば、交通機関や教育機関、一般企業などにおいて、申請書類、帳簿、事務処理用書類などの各種の書類を作成する場合にも容易に適用することができる。
【0062】
また、本実施形態では、例えば手や筆記用具などの書類以外を検出した場合には、検出した領域から書類の形状を抽出することで、書類以外の配置領域を除外するようにしたが、除外した領域とガイダンス表示領域とが重なるかどうかを判断し、重なる場合にはグループ領域の再配置処理を行うようにしてもよい。この場合、書類以外のものにより隠された場所にガイダンスを表示しないようにすることができるので、利用者の視認性を向上することができる。
【0063】
また、情報処理装置1は、書類の配置領域とガイダンス表示領域との間に、ガイダンス表示領域から配置領域に向けた矢印を出力するようにしてもよい。この場合、書類の記入場所とガイダンス情報の表示位置を関連付けて出力することができるので、利用者に分かりやすい。例えば、図20において、書類100の右側のガイダンス表示領域904bと書類100との間に矢印を出力することにより、書類の写真を貼る位置を明示することができるので、書類周辺に表示されたガイダンスが書類のどの記入項目と関連があるのかを分かりやすく示すことができる。
【0064】
また、情報処理装置1は、書類の向きや傾きを検出するようにしてもよい。この場合、例えば、切れ込みの形状の位置が書類のどちら側にあるかなど、書類情報の形状63に方向を示す情報を付帯させるようにし、形状のマッチングにおいて方向を特定するようにすることができる。また、情報処理装置1は、形状のマッチング処理において、書類情報の形状63を回転させた形状と配置形状とをマッチングさせることにより、書類の傾きを検出するようにすることもできる。この場合、情報処理装置1は、画面の座標系を書類の傾きに合わせて傾けるようにして、書類の傾きに合わせてガイダンスも傾いて表示するようにしてもよい。
【0065】
==複数の画面==
また、本実施形態の情報表示システムでは、簡単のため1台の表示装置2を想定していたが、もちろん複数の表示装置2を含む構成としてもよい。このとき、ガイダンス表示領域が複数の表示装置2の画面にまたがる場合には、どちらかの画面にのみ表示させるように、ガイダンス表示領域を移動させるようにすることもできる。図27に画面をまたがるガイダンス表示領域を移動させる画面例を示す。図27(a)の例では、複数の表示装置2の画面2aおよび画面2bが隣り合って設置され、マルチディスプレイとして利用していることを想定している。図27(a)の例では、書類100の右側のグループ領域93cが、画面2a及び2bにまたがっている。この場合、情報処理装置1は、グループ領域93cが図27(b)に示すグループ領域93dの位置に来るように、ガイダンス表示位置のX座標を増加させるようにする。この場合、情報処理装置1は、「上」のグループ領域についてはY座標を減少させ、「下」のグループ領域についてはY座標を増加させ、「左」のグループ領域についてはX座標を減少させ、「右」のグループ領域についてはX座標を増加させて、グループ領域が画面をまたがなくなるようにする。この際、情報処理装置1は最小の移動距離となるように移動量を決定するようにする。このようにして、1つの画面に同一グループ内のガイダンスがすべて表示されるようになるので、ガイダンスの視認性の低下を軽減することができる。
【0066】
==撮影装置==
また、本実施形態の情報表示システムでは、表示装置2の備えるディスプレイパネル21に埋め込まれた光センサにより書類の配置領域を検出するようにしたが、これに限らず、例えば、撮影装置により書類の画像を撮影し、撮影した書類の画像データを解析して配置領域を検出するようにしてもよい。この場合の情報表示システムの構成例を図28に示す。同図に示すように、情報表示システムが表示装置2の画面上に配置される書類100を撮影可能な撮影装置22を含んで構成されるようにする。
【0067】
また、撮影装置22を用いた場合には、書類のサイズや形状以外にも、書類の色により書類を識別することもできる。この場合の書類情報の構成を図29に示す。同図に示すように、この場合の書類情報は形状63に代えて色64を含んでいる。色64は、図29の例のようにRGB16進数表記で「#FFFFFF」と表記してもよいし、アルファベット表記で「White」と表記するようにしてもよい。情報処理装置1は、上述の図11の(S421)において、センサ情報に代えて、撮影装置22からの画像データを取得し、取得した画像データから書類の色を特定するようにする。情報処理装置1は、(S423)において、特定した色に対応する書類情報を検索する。この場合にも形状によるマッチングと同様に書類を識別することが可能である。
【0068】
また、撮影装置22を用いた場合には、情報処理装置1は、書類の記入状況に応じてガイダンスを表示するようにしてもよい。この場合、書類情報には、未記入の書類を撮影した画像データ(以下、未記入画像データという。)を含むようにし、ガイダンス情報には、ガイダンスに関連する記入欄の書類上の位置を示す情報を含むようにする。情報処理装置1は、撮影装置22から取得した画像データと、未記入画像データとを比較して、変化のあった記入位置を特定し、特定した記入位置に対応するガイダンス情報のみを読み出すようにする。これにより、利用者が記入している項目についてのガイダンスのみを表示することができる。したがって、利用者が見たい情報を選択的に表示することができるので、ガイダンス情報が多い場合にも、情報の視認性を高めることができる。
【0069】
また、逆に未記入の項目についてのガイダンスのみを表示するようにしてもよい。この場合には、上記のようにして特定した記入位置以外の位置に対応するガイダンス情報のみを読み出すようにする。これにより、未記入の項目についてのガイダンスのみを表示することができる。
【0070】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【図面の簡単な説明】
【0071】
【図1】本実施形態に係る情報表示システムの全体構成を示す図である。
【図2】表示装置2の画面上に配置された書類の配置位置や形状を検出する処理を説明する図である。
【図3】表示装置2の画面上に書類100が配置された状態の一例を示す図である。
【図4】本実施形態の情報処理装置1の構成を示す図である。
【図5】書類情報の構成例を示す図である。
【図6】書類100の形状例を示す図である。
【図7】書類100の形状例を示す図である。
【図8】ガイダンス情報の構成例を示す図である。
【図9】配置情報の構成例を示す図である。
【図10】情報処理装置1がガイダンス情報を表示する処理の流れを示す図である。
【図11】書類の検出処理の流れを示す図である。
【図12】表示装置2の画面上に書類以外のものが配置された状況の一例を示す図である。
【図13】ガイダンス表示位置の算出処理の流れを示す図である。
【図14】ガイダンスを表示した場合の画面例を示す図である。
【図15】グループ領域の算出処理の流れを示す図である。
【図16】図14に示す画面例におけるグループ領域を説明する図である。
【図17】グループ領域の再配置処理の流れを示す図である。
【図18】グループ領域の再配置処理の流れを示す図である。
【図19】グループ領域の再配置処理を説明する図である。
【図20】書類100が画面上に配置された場合のガイダンスの出力例を示す図である。
【図21】書類の移動を検出する処理の流れを示す図である。
【図22】画面上の書類100を移動した場合の画面例を示す図である。
【図23】複数の書類が同じ画面上に置かれている画面例を示す図である。
【図24】複数のガイダンス表示領域が重なる場合に、後のガイダンスを表示しないようにしたガイダンス表示処理を示す図である。
【図25】ガイダンスを表示する画面例を示す図である。
【図26】ガイダンスの優先順位に応じて表示するガイダンスを決定する場合のガイダンス表示処理の流れを示す図である。
【図27】画面をまたがるガイダンス表示領域を移動させる画面例を示す図である。
【図28】撮影装置22を含んで構成される情報表示システムの構成例を示す図である。
【図29】書類の色を含む書類情報の構成例を示す図である。
【符号の説明】
【0072】
1 情報処理装置
2 表示装置 21 ディスプレイパネル
3 CPU 4 メモリ
5 記憶装置
6 書類情報データベース 61 書類番号
62 サイズ 63 形状
7 ガイダンス情報データベース
71 書類番号 72 ガイダンス番号
73 優先度 74 データ種類
75 サイズ 76 表示サイド
77 表示順 78 ファイル名
8 配置情報データベース
81 書類番号 82 配置時刻
83 ガイダンス番号 84 表示領域
11 センサ情報取得部 12 配置位置特定部
13 書類特定部 14 ガイダンス情報取得部
15 表示位置決定部 16 ガイダンス情報出力部
【技術分野】
【0001】
本発明は、情報表示システム、情報表示方法、及びプログラムに関する。
【背景技術】
【0002】
静的な情報しか提示できない本やカードなどの静的メディアと、アニメーションや動画などの動的な情報を提示するディスプレイ等の動的メディアとを組み合わせて情報提示を行うシステムが提案されている(例えば、特許文献1参照)。
【特許文献1】特開2003−330615号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に記載のシステムでは、画面上に置かれたシートの種類、位置、傾きなどを判別し、所定表示領域にアニメーションなどの情報を表示するようにしているが、上記の所定表示領域が画面上の予め定められた絶対的な領域であるか、あるいはシートから見た相対的な領域であるかなどの説明はない。また、上記のような所定表示領域をどのように決定するかについての説明もない。したがって、特許文献1からは、画面上のどの位置に動的な情報を表示すればよいのか具体的に決定することができない。
【0004】
本発明は、このような背景を鑑みてなされたものであり、表示装置の画面上に配置される物体に関する説明情報を物体周辺の適切な位置に表示することができる情報処理装置、情報表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するための本発明の主たる発明は、表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力する情報処理装置であって、前記物体を識別する物体識別子を取得する物体識別部と、前記物体が配置される前記画面上の絶対位置を特定する絶対位置特定部と、前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を記憶する説明情報記憶部と、前記物体識別部により取得された前記物体識別子に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出す説明情報取得部と、前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定する説明表示位置決定部と、前記説明表示位置に前記説明情報を出力する説明情報出力部と、を備えることとする。
【発明の効果】
【0006】
本発明によれば、表示装置の画面上に配置される物体に関する説明情報を物体周辺の適切な位置に表示することができる。
【発明を実施するための最良の形態】
【0007】
以下、図面を用いて本発明の一実施形態に係る情報処理装置1を含む情報表示システムについて詳細に説明する。
【0008】
本実施形態の情報表示システムは、金融機関や公共機関などの事務窓口において申請書類を作成する場合に、利用者が表示装置をテーブルとして利用し、表示装置の画面上に書類(物体)を置くと、画面上の書類の周辺位置に各種の書類作成のためのガイダンスを表示するものである。
書類周辺に表示されるガイダンスには、例えば、書類の用途の説明、書類の記入見本例、書類に記入する各項目の説明、申請時に必要となる他の書類など提出物の説明、書類の申請場所に関する説明、申請手順の説明、申請窓口からのお知らせなどがある。以下の説明において、書類の周辺に表示するガイダンスとは、これらの説明やお知らせなど各種の書類に関する情報を意味するものとする。
【0009】
==全体構成==
図1は、本実施形態に係る情報表示システムの全体構成を示す図である。同図に示すように、本実施形態の情報表示システムは、情報処理装置1及び表示装置2を含んで構成されている。
【0010】
情報処理装置1はCPU3やメモリ4、記憶装置5などを有する、例えば、パーソナルコンピュータやワークステーションなどのコンピュータである。記憶装置5はプログラムやデータを記憶する、例えばハードディスクドライブやCD−ROMなどである。CPU3が記憶装置5に記憶されているプログラムをメモリ4に読み出して実行することにより各種の機能を実現する。
【0011】
表示装置2は、情報を出力する、例えばディスプレイなどの出力装置である。表示装置2は、受光した光の強さに応じた信号を出力する光センサ(不図示)が各画素中に埋め込まれたディスプレイパネル21を有している。光センサからの出力は、情報処理装置1に通知される。なお、本実施形態では、ディスプレイパネル21に埋め込まれる光センサは、受光した光の強度が所定の閾値を超えたかどうかを示す2値の情報を出力するものとし、ディスプレイパネル21上の各画素について、物体が置かれている場合は「0」、物体が置かれていない場合は「1」と表すビットマップを出力する。
【0012】
図2は、表示装置2の画面上に配置された書類の位置や形状を検出する処理を説明する図である。また、図3は、表示装置2の画面上に書類100が配置された状態の一例を示す図である。図2に示すように、表示装置2の画面上に書類100が配置されると、表示装置2のディスプレイパネル21に埋め込まれた光センサは、書類100が配置された領域253では光251を受光することができず、逆に書類100が配置されていない領域252では、光251を受光することが可能である。したがって、光センサからの出力信号により、情報処理装置1は、書類が配置された画面上の絶対位置や、書類が配置された画面上の領域を検出することができる。図3の例では、ディスプレイパネル21の画素中に埋め込まれた光センサからは、書類の形状内の領域121の画素について、光を受光できなかったことを示す「0」が出力される。これにより、情報処理装置1は表示装置2の光センサから、図2(b)に示すような領域121を示すセンサ情報を取得することができる。
【0013】
==機能ブロック==
図4は、本実施形態の情報処理装置1の構成を示す図である。同図に示すように、情報処理装置1は、センサ情報取得部11、配置位置特定部12、書類特定部13、ガイダンス情報取得部14、表示位置決定部15、ガイダンス情報出力部16、書類情報データベース6、ガイダンス情報データベース7、配置情報データベース8を備えている。
【0014】
書類情報データベース6は書類のサイズや形状などの特徴を含む情報(以下、書類情報という。)を記憶する。図5に書類情報の構成例を示す。同図に示すように、書類情報は、書類番号61、サイズ62、形状63を含んでいる。
書類番号61は、書類を一意に識別するための番号(本発明の物体識別子に対応する。)である。
サイズ62は書類の縦と横の大きさを示す情報である。書類が矩形以外の形状をしている場合、サイズ62は、書類を内包する四角形(以下、バウンディングボックスという。)の縦と横の大きさを示すものとする。
【0015】
形状63は書類の形状を示す。図6及び図7に書類100の形状例を示す。本実施例では、書類の形状63は、書類左上の座標を起点として時計回りの座標データの集合で表現するものとする。図6の例において、書類100は右上に切り取り111がある形状をしており、この書類100の形状は、「(0,0)−(267,0)−(297,30)−(297,210)−(0,210)」という座標データの集合により表現することができる。同様に図7の例では、書類100は上部に切り抜き112がある四角形の形状をしており、この書類100の形状は「(0,0)−(177,0)−(207,30)−(237,0)−(297,0)−(297,210)−(0,210)」という座標データの集合により表現することができる。なお、書類の形状を表す形状63としては、座標の集合以外にも例えば、ビットマップのデータや、円形の半径、楕円形の2つの半径、矩形の幅と高さなど、図形を表現する各種の形式を採用することができる。
【0016】
ガイダンス情報データベース7は、書類の周辺に表示するガイダンスに関する情報(以下、ガイダンス情報という。)を記憶する。図8にガイダンス情報の構成例を示す。同図に示すように、ガイダンス情報は、書類番号71、ガイダンス番号72、優先度73、データ種類74、サイズ75、表示サイド76、表示順77、及びファイル名78を含んでいる。
【0017】
ガイダンス番号72はガイダンス情報の識別情報である。
ファイル名78は、ガイダンスの内容が記録されているファイルのファイル名であり、データ種類74はファイルの種類を示す情報である。ガイダンスの内容が記録されるファイルには、テキスト情報、画像情報、映像情報などの様々なデータ形式を採用することができる。サイズ75はガイダンスの表示サイズである。本実施形態においてサイズ75は表示した幅と高さで表すものとする。
表示サイド76は、画面上に配置された書類100のどちら側にガイダンスを表示するかを示す情報であり、「上」「下」「左」「右」のいずれかである。表示順77はガイダンスを並べる順番を示す。表示サイド76が「上」又は「下」の場合、ガイダンスは書類の左から右に向かって表示順77の順に表示される。また、表示サイド76「左」又は「右」の場合には、ガイダンスは書類の上から下に向かって表示順77の順に表示される。すなわち、表示サイド76と表示順77とにより、画面上におけるガイダンスの書類に対する相対位置を示している。なお、ガイダンスの表示位置の算出処理の詳細については後述する。
【0018】
配置情報データベース8は画面に表示中のガイダンスの画面上の配置位置を記憶する。図9に配置情報データベース8に登録される配置情報の構成を示す。同図に示すように、配置情報は、書類番号81、配置時刻82、ガイダンス番号83、表示領域84を含んでいる。配置時刻82はガイダンスが表示された時刻である。ガイダンス番号83は、表示されたガイダンスのガイダンス番号である。表示領域84は、ガイダンスが表示された画面上の領域(以下、ガイダンス表示領域という。)である。なお、ガイダンス番号に「−」が設定されている場合は、表示領域84は、書類の配置領域を示すものとする。
【0019】
センサ情報取得部11は、表示装置2が備えるディスプレイパネル21の画素中に埋め込まれた光センサからセンサ情報を取得する。本実施形態においてセンサ情報取得部11は、所定時間毎にセンサ情報を取得するものとする。
配置位置特定部12は、センサ情報に基づいて、画面上に置かれた書類の画面上における絶対位置(以下、配置位置という。)や書類の配置領域を特定する。
書類特定部13は、書類の配置領域の形状に基づいて、画面上に置かれた書類を特定する。なお、書類を特定する処理の詳細については後述する。
ガイダンス情報取得部14は、書類特定部13が特定した書類についてのガイダンス情報をガイダンス情報データベース7から取得する。
ガイダンス表示位置決定部15は、ガイダンス情報に基づいて、ガイダンスを表示する画面上の絶対位置(以下、ガイダンス表示位置という。本発明の説明表示位置に該当する。)を決定する。
ガイダンス情報出力部16は、ガイダンス情報のファイル名78が示すファイルの内容を、表示装置2の画面上のガイダンス表示位置に出力する。
【0020】
==ガイダンス表示処理==
以下、本実施形態の情報処理装置1によるガイダンスの表示処理について説明する。図10は、情報処理装置1がガイダンス情報を表示する処理の流れを示す図である。なお、各ステップの処理の詳細については後述する。
【0021】
情報処理装置1は、画面上に置かれた書類の検出処理を行う(S401)。情報処理装置1は、ガイダンス番号を「−」として、特定した書類の書類番号、算出した配置領域、及び現在時刻を配置情報データベース8に登録する(S402)。また、情報処理装置1は、特定した書類の書類番号に対応するガイダンス情報を読み出して、各ガイダンスのガイダンス表示位置を算出する(S403)。
次に、情報処理装置1は、ガイダンス情報を表示サイド76の「上」「下」「左」「右」のそれぞれに対応する4つのグループに分類し、各グループに属するすべてのガイダンス情報を内包するバウンディングボックス内の領域(以下、グループ領域という。)を算出する(S404)。
情報処理装置1は、上記のグループについてグループ領域が表示装置2の画面の表示可能範囲内に入っているかどうかを判断し(S405)、いずれかのグループ領域が画面の表示範囲からはみ出している場合には(S405:NO)、はみ出しているグループのガイダンス表示位置を再計算(再配置)する(S406)。
情報処理装置1は、ガイダンス情報のファイル名78が示すファイルの内容を、表示装置2の画面上のガイダンス表示位置に出力する(S407)。
【0022】
==書類の検出処理==
図11は、書類の検出処理の流れを示す図である。
情報処理装置1は、表示装置2から出力されるセンサ情報を取得し(S421)、取得したセンサ情報から、光センサが受光できなかった領域を配置領域として検出する(S422)。情報処理装置1は、書類情報データベース6を参照して、サイズ62と配置領域のサイズとが一致し、かつ形状63と配置領域の形状とが一致する書類情報が登録されているかどうかのマッチングを行う(S423)。
【0023】
マッチした書類情報がない場合(S424:NO)、情報処理装置1は、書類情報データベース6に登録されている書類情報のうち、形状63が配置領域の一部の形状と一致しているものを検索する(S425)。ここで、配置領域の一部の形状と一致する形状63が複数ある場合には、例えば、最も一致する部分が大きい形状63を含む書類情報を読み出すようにする。形状の一致は、例えば、情報処理装置がセンサ情報の配置領域から書類情報の形状63を抽出した第1のビットマップを抽出し、形状63の内部を「1」とする矩形の第2のビットマップを生成し、上記2つのビットマップを構成する各値が一致する数により算出することができる。
【0024】
情報処理装置1は、配置領域の一部の形状と一致する形状63を有する書類情報を書類情報データベース6から読み出すことができた場合(S426:YES)、配置領域から書類情報の形状63を抽出した領域を配置領域とする(S427)。これにより、例えば、人間の手や筆記用具など、書類以外のものを表示装置2の光センサが検出した場合であっても、書類の部分のみを配置領域として抽出することができる。図12に、表示装置2の画面上に書類以外のものが配置された状況の一例を示す。図12(a)では、表示装置2の画面上に書類100が配置され、書類の上に人間の手122と筆記用具123とが配置されていることを示している。ここで、表示装置2から出力されるセンサ情報は、図12(b)に示す配置領域124を示すことになる。センサ情報の配置領域から書類情報の形状63を抽出した第1のビットマップは、図12(c)に示すように、人間の手が配置された領域122や筆記用具が配置された領域123が除去された領域125を示すものになる。
一方、上記のような形状63を有する書類情報を取得することができなかった場合(S426:NO)、情報処理装置1は、画面上に書類以外の物を置かないように注意を促すメッセージを表示して(S428)、処理を終了する。
【0025】
情報処理装置1は、上記のように指定検出した配置領域の左上端の座標位置を配置位置として特定する(S429)。
【0026】
==表示位置の算出処理==
図13は、ガイダンス表示位置の算出処理の流れを示す図である。なお、情報処理装置1は、「上」「下」「左」「右」のそれぞれを表示サイドとして以下の処理を行う。また、本実施形態では、複数のガイダンス間や、書類とガイダンスとの間は、所定の距離(以下、オフセットという。)が開くようにするものとする。
【0027】
まず、情報処理装置1は、表示サイドが「上」であった場合(S441:上)、配置位置のX座標をXとし(S442)、配置位置のY座標から、サイズ75の高さと、オフセットとを引いてYとする(S443)。
表示サイドが「下」であった場合には(S441:下)、情報処理装置1は、配置位置のX座標をXとし(S444)、配置位置のY座標に、サイズ75の高さと、オフセットとを足してYとする(S445)。
また、情報処理装置1は、表示サイドが「左」であった場合(S441:左)、配置位置のX座標からサイズ75の幅とオフセットとを引いてXとし(S446)、配置位置のY座標をYとする(S447)。
表示サイドが「右」であった場合(S441:右)、情報処理装置1は、配置位置のX座標にサイズ75の幅とオフセットとを足してXとし(S448)、配置位置のY座標をYとする(S449)。
【0028】
次に情報処理装置1は、書類番号と表示サイドとを含むガイダンス情報をガイダンス情報データベース7から取得し(S450)、取得したガイダンス情報を表示順77の順番にソートする(S451)。
情報処理装置1は、ソートしたガイダンス情報のそれぞれについて、表示位置を(X,Y)として(S452)、表示位置とガイダンス情報のサイズ75とからガイダンス表示領域を算出する(S453)。情報処理装置1は、書類番号とガイダンス情報のガイダンス番号72とに対応付けて、算出したガイダンス表示領域を配置情報データベース8に登録する(S454)。
表示サイドが「上」又は「下」である場合は(S454:YES)、ガイダンス情報のサイズ75の幅及びオフセットをXに加算し(S455)、そうでない場合は(S454:NO)、ガイダンス情報のサイズ75の高さとオフセットとをYに加算する(S456)。
【0029】
上記のようにして、画面上に配置された書類100の左側に表示すべきガイダンス表示位置を設定することができる。例えば、書類番号が「A1001」であり、配置位置が(200,200)であり、オフセットが「10」であった場合、上記図8の例では、ガイダンス番号「#1」のガイダンス情報についてのガイダンス表示位置は、「X=200−100−10」及び「Y=200−100−10」より、(90,90)となる。また、ガイダンス番号「#3」のガイダンス情報についてのガイダンス表示位置は、「Y=Y+100+10」より、(90,200)となる。
【0030】
図14は、上記のようにして算出されたガイダンス表示位置にガイダンスを表示した場合の画面例である。図14の例において、ガイダンス表示領域901a〜905aはそれぞれ、図8における、ガイダンス番号「#1」「#3」「#2」「#4」及び「#5」のガイダンス情報についてのものである。
【0031】
==グループ領域の算出処理==
図15は、グループ領域の算出処理の流れを示す図である。なお、情報処理装置1は、「上」「下」「左」「右」のそれぞれを表示サイドとして以下の処理を行う。
【0032】
情報処理装置1は、ガイダンス情報データベース7から、書類番号と表示サイドとに対応し、表示順77が最小のガイダンス情報を読み出し(S461)、読み出したガイダンス情報について、上記図13に示した処理により算出したガイダンス表示位置のX座標値をグループ領域の左上のX座標値とし(S462)、上記ガイダンス表示位置のY座標値をグループ領域の左上のY座標値とする(S463)。
【0033】
表示サイドが「上」又は「下」である場合(S464:YES)、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の幅の合計値をガイダンス情報データベース7から取得し、取得した合計値にオフセットと上記ガイダンス情報のレコード数とを乗じた値を加算してグループ領域の幅とする(S465)。また、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の高さの最大値をガイダンス情報データベース7から取得し、取得した最大値にオフセットを加算してグループ領域の高さとする(S466)。
【0034】
一方表示サイドが「左」又は「右」である場合(S464:NO)、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の幅の最大値をガイダンス情報データベース7から取得し、取得した最大値にオフセットを加算してグループ領域の幅とする(S467)。また、情報処理装置1は、書類番号と表示サイドとに対応するガイダンス情報のサイズ75の高さの合計値をガイダンス情報データベース7から取得し、取得した合計値に上記ガイダンス情報のレコード数とオフセットとを乗じた値を加算してグループ領域の高さとする(S467)。
【0035】
上記のようにして4つのグループについてのグループ表示領域が算出される。図16は、上記図14に示す画面例におけるグループ領域を説明する図である。図16の例では、書類の左側のガイダンス表示領域901a及び902aは「左」のグループ領域91に属し、ガイダンス表示領域903aは「下」のグループ領域92に属し、ガイダンス表示領域904a及び905aは、「右」のグループ領域93に属している。
【0036】
==グループ領域の再配置処理==
図17及び図18は、グループ領域の再配置処理の流れを示す図である。
情報処理装置1は、ガイダンス情報の表示サイド76が「上」または「下」の場合(S481:YES)、Y座標値を同一のままにしてグループ領域を画面の表示可能範囲内に移動可能かどうかを判断する(S482)、移動可能であれば(S482:YES)、移動距離が最小となる移動方向の移動量を、グループに所属するガイダンスのそれぞれについて、配置情報データベース8に登録されているガイダンス表示位置のX座標値に加算する(S483)。
【0037】
一方、表示サイド76が「左」又は「右」である場合には(S481:NO)、同一のX座標値のままでグループ領域を画面の表示可能範囲内に移動させることが可能かどうかを判断し(S484)、移動可能であれば(S484:YES)、グループに所属するガイダンスのそれぞれについて、移動距離が最小となる移動方向の移動量を、配置情報データベース8に登録されているガイダンス表示位置のY座標値に加算する(S485)。
【0038】
同一のX座標値又はY座標値のままでグループ領域を画面の表示可能範囲内に移動することができない場合(S482:NO)(S484:NO)、情報処理装置1は、表示サイド76が「上」であるときには(S501:上)、移動Xを「0」とし(S502)、配置領域の高さと「下」のグループ領域の高さと所定のオフセットとを加算して移動Yとする(S503)。また表示サイド76が「下」である場合(S501:下)、情報処理装置1は、移動Xを「0」とし(S504)、「0」から配置領域の高さと「下」のグループ領域の高さとオフセットとをそれぞれ引いて移動Yとする(S505)。表示サイド76が「左」である場合には(S501:左)、情報処理装置1は、配置領域の幅に「右」のグループ領域の幅とオフセットを加算して移動Xとし(S506)、移動Yを「0」とする(S507)。表示サイド76が「右」である場合(S501:右)、「0」から配置領域の幅と「左」グループ領域の幅とオフセットとを引いたものを移動Xとし(S508)、移動Yを「0」とする(S509)。上記のようにして、情報処理装置1は、書類の配置位置と逆側になるようにグループ領域の移動ベクトル(移動X,移動Y)を決定する。
【0039】
ここでグループ領域を移動ベクトル(移動X,移動Y)に従って移動した場合に、グループ領域が画面の表示可能範囲内に収まらない場合(S510:NO)、情報処理装置1は、画面の表示可能範囲内で、グループ領域が収まる位置を探し(S511)、その位置とグループ領域の位置との差を移動ベクトル(移動X,移動Y)とする(S512)。なお、ここでは移動ベクトルの距離が最小になるようにする。
【0040】
情報処理装置1は、グループに所属している各ガイダンスについて、ガイダンス表示位置のX座標値に、上記のようにして算出した移動ベクトルの移動Xを加算し(S513)、配置情報データベース8に登録されているガイダンス表示位置のY座標値に移動ベクトルの移動Yを加算する(S514)。
【0041】
上記のようにして、情報処理装置1は、グループ領域が画面の表示可能範囲外になった場合に、表示可能な位置にガイダンス表示領域を移動させることができる。図19は、グループ領域の再配置処理を説明する図である。図19(a)のように、書類100が画面上の右下に配置された場合、同図の例ではグループ領域93が表示装置2の画面の表示可能範囲外にはみだしている。この場合、本実施形態の情報処理装置1は、書類の右側にあるグループ領域93を上下に移動させても表示可能範囲内にならないため、グループ領域が書類の逆側となるようにグループ領域94までガイダンス表示位置を移動させる。
【0042】
上記のようにして、本実施形態の情報処理装置1によれば、表示装置2の画面上に置かれた書類の配置位置に応じて適切な位置にガイダンスを表示することができる。
【0043】
また、グループ領域が表示装置2の画面の表示可能範囲からはみ出してしまう場合は、ガイダンスの表示領域が画面の表示可能範囲内になるように移動させることができる。したがって、情報処理装置1は、各ガイダンスを互いに重なり合わないように表示することができる。よって、書類の配置位置によりガイダンスが表示されなくなってしまうことを防ぐことができる。
【0044】
また、本実施形態の情報処理装置1は、書類の上下左右の各グループにガイダンスをグループ分けし、グループ毎に表示位置の再配置などの処理を行うようにしている。したがって、表示すべきガイダンスが多くなった場合にも、再配置などの処理に係る計算量を抑えて、情報処理装置1の負荷を低減することができる。よって、書類についてのガイダンスを迅速に表示することができる。
【0045】
以上説明したように、本実施形態の情報処理装置1では、画面上に配置された書類100の配置位置を検出し、配置位置に応じてガイダンスを出力することができる。図20は、書類100が画面上に配置された場合のガイダンスの出力例である。表示領域901aには、ガイダンス番号「#1」で示される動画ファイル「A1001guide.wmv」が出力され、表示領域902aには、ガイダンス番号「#3」で示される画像ファイル「A1001map.png」が表示されることになる。
【0046】
==書類の移動に合わせてガイダンスも追随==
次に、画面上に配置された書類が移動された場合について説明する。図21は、書類の移動を検出する処理の流れを示す図である。本実施形態の情報処理装置1は、所定時間毎に表示装置2の光センサからセンサ情報を取得して、図21に示す処理を行う。
【0047】
情報処理装置1は、センサ情報に基づいて上記図11に示す現在配置されている書類の検出処理を行い(S521)、書類の配置位置及び配置領域を検出する。情報処理装置1は、ガイダンス番号に「−」が設定されている表示領域を前配置領域として配置情報データベース8より読み出し(S522)、読み出した前配置領域と、上記検出した配置領域とが一致した場合には(S523:YES)、処理を終了する。
【0048】
前配置領域と配置領域とが一致しない場合(S523:NO)、配置位置から前配置領域の左上の座標値を減算して、書類が移動した移動方向及び移動距離を示す移動ベクトル(移動X,移動Y)を算出する(S524)。情報処理装置1は、配置情報データベース8に登録されている、ガイダンス情報のガイダンス表示位置に移動ベクトル(移動X,移動Y)を加算し(S525)、新たなガイダンス表示位置にガイダンス情報のファイル名78が示すファイルの内容を出力する(S526)。これにより、書類が移動した移動方向及び移動距離に追随してガイダンスも移動させて表示することができる。
【0049】
ここで情報処理装置1は、上記図10のガイダンス表示処理と同様に、グループ領域を算出し(S404)、4つのグループ領域の何れかが画面の表示可能範囲を超えている場合には(S405:NO)、上述の図17及び図18に示すグループ領域の再配置処理を行い(S406)、ガイダンス情報のファイル名78が示すファイルの内容を、表示装置2の画面上のガイダンス表示位置に出力する(S407)。
【0050】
上記のようにして、本実施形態の情報処理装置1は、画面上の書類が別の位置に移動した場合、書類の移動に追随して、書類の配置位置から相対的な位置関係を保った状態で、ガイダンス情報を表示することができる。また、ガイダンス情報に基づくガイダンス表示位置の算出処理を行わずに、書類の移動ベクトルをガイダンス表示位置に加算することで移動先のガイダンス表示位置を求めることができる。したがって、表示位置の決定に係る処理負荷を軽減し、書類が移動した場合に迅速にガイダンス情報も移動先に表示するようにすることができる。
【0051】
図22は、画面上の書類100を移動した場合の画面例を示す図である。同図に示すように、書類100が配置領域100aから配置領域100bに移動した場合、移動ベクトル601の移動方向及び移動距離の分だけ、グループ領域91a、92a、及び93aも、グループ領域91b、92b、93bに移動することになる。
【0052】
上記のように、上記処理により、画面上に置かれた書類の配置位置に応じてガイダンスの表示位置を動的に変更することができる。
【0053】
==複数の書類==
なお、画面上に複数の書類が置かれた場合、情報処理装置1は、ガイダンス表示領域が画面の表示可能領域内にあり、さらに他のガイダンス表示領域と重なっていない場合にガイダンスを表示するようにする。この場合、情報処理装置1は、上記図10に示すガイダンスの表示処理の(S405)において、配置情報データベース8に、グループに含まれていないガイダンス番号であって、グループ領域と重なる領域が登録されているかどうかにより、複数のガイダンスが重なるかどうかを判断する。情報処理装置1は、ガイダンスが重なると判断した場合(S405:NO)、図17及び図18に示すグループ領域の再配置を行う。このとき、情報処理装置1は、(S482)、(S484)、及び(S510)において、グループ領域を移動した領域が画面の表示可能領域内であり、かつ複数のガイダンスが重ならないかどうかを判断するようにする。
【0054】
図23に、複数の書類が同じ画面上に置かれている画面例を示す。図23(a)に示すように、書類A(100)と書類B(101)について、図13に示すガイダンス表示位置の算出処理を行うと、図23(a)に示すように、書類A(100)についてのガイダンス表示領域93と、書類B(101)についてのガイダンス表示領域95とが重なることがある。この場合、上記のようにして他のガイダンス表示領域と重なるかどうかを調べ、重なる場合にはグループ領域の再配置処理を行うことで、グループ領域93を図23(b)に示すようにグループ領域98になるように、各ガイダンスのガイダンス表示位置を変更することができる。したがって、各ガイダンスを他のガイダンスと重なることなく表示することができる。
【0055】
なお、複数のガイダンス表示領域が重なる場合、上記のようにガイダンス表示領域の再配置を行う代わりに、先に表示したガイダンスがある場合には、後のガイダンスを表示しないようにしてもよい。この場合のガイダンス表示処理を図24に示す。同図に示すように、図24に示すガイダンス表示処理は、図10に示したガイダンス表示処理の(S405)及び(S406)においてグループ領域の再配置処理を行う代わりに、情報処理装置1は、配置情報データベース8に、グループに含まれていないガイダンス番号であって、グループ領域と重なる領域が登録されているかどうかにより、複数のグループ領域が重なるかどうかを判断し(S541)、複数のガイダンスが重なる場合(S541:YES)、グループに所属するガイダンスのガイダンス番号に対応する配置情報を配置情報データベース8から削除する(S542)。これにより、後から処理するガイダンスは表示しないようにすることができる。この場合の画面例を図25に示す。図25(a)に示すように、グループ領域93及び95が重なる場合において、グループ領域93に係るガイダンス表示処理が後から行われたときには、グループ領域93に表示すべきガイダンスは表示されないようになる。このようにして、複数のガイダンスが重なり合って表示されないようにすることができる。
【0056】
なお、(S541)において、配置情報の配置時刻を比較して、配置時刻の遅い方又は早い方の配置情報を削除するようにしてもよい。
【0057】
==優先度==
一方、複数のガイダンス表示領域が重なる場合には、ガイダンスの優先順位に応じて表示するガイダンスを決定するようにしてもよい。この場合のガイダンス表示処理を図26に示す。同図に示すように、上記図24に示すガイダンス表示処理の(S542)に代えて、情報処理装置1は、処理対象になっているグループ(以下、処理対象グループという。)と、重なった他のグループ(以下、他グループという。)とのそれぞれについて、グループに所属するガイダンス情報の優先度73の最大値をガイダンス情報データベース7から取得する(S561)。情報処理装置1は、処理対象グループについての優先度が、他グループの優先度以上であった場合(S562:YES)、他グループに属するガイダンスについての配置情報を配置情報データベース8から削除する(S563)。一方、処理対象グループの優先度が他グループの優先度未満であった場合には(S562:NO)、処理対象グループに所属するガイダンスの配置情報を削除するようにする(S564)。以上のようにすることで、情報処理装置1は、優先度が高いガイダンスを優先的に表示することができる。この場合も画面例は図25のようになる。図25(a)に示すようにグループ領域93及び95が重なる場合において、グループ領域93の優先度が低いときには、優先度の低いグループ領域93に表示すべきガイダンスは表示されないようになる。
【0058】
なお、上記の処理では、優先度が低い方のグループについて、表示しないように配置情報を削除するようにしたが、優先度が低い方のグループについて、上述のグループ領域の再配置処理を行うようにしてもよい。この場合の画面例は図23のようになる。図23(a)に示すようにグループ領域93及び95が重なる場合において、グループ領域93の優先度が低いときには、優先度の低いグループ領域93に表示すべきガイダンスのガイダンス表示位置を移動させて、グループ領域98に表示するようにすることができる。
【0059】
また、上記の説明において、グループの優先度はグループに所属するガイダンスの優先度の最大値としたが、これに限らず、優先度の平均値や中央値などを用いるようにしてもよい。
【0060】
上記のようにして、本実施形態の情報処理装置1によれば、画面上に複数の書類が置かれ、各書類の周辺に表示するべきガイダンス重なってしまう場合に、優先度が高い情報を優先的に表示することができる。
【0061】
==バリエーション==
なお、本実施形態では、金融機関や公共機関などの事務窓口において申請書類を作成する場合を想定して説明したが、これに限らず、例えば、交通機関や教育機関、一般企業などにおいて、申請書類、帳簿、事務処理用書類などの各種の書類を作成する場合にも容易に適用することができる。
【0062】
また、本実施形態では、例えば手や筆記用具などの書類以外を検出した場合には、検出した領域から書類の形状を抽出することで、書類以外の配置領域を除外するようにしたが、除外した領域とガイダンス表示領域とが重なるかどうかを判断し、重なる場合にはグループ領域の再配置処理を行うようにしてもよい。この場合、書類以外のものにより隠された場所にガイダンスを表示しないようにすることができるので、利用者の視認性を向上することができる。
【0063】
また、情報処理装置1は、書類の配置領域とガイダンス表示領域との間に、ガイダンス表示領域から配置領域に向けた矢印を出力するようにしてもよい。この場合、書類の記入場所とガイダンス情報の表示位置を関連付けて出力することができるので、利用者に分かりやすい。例えば、図20において、書類100の右側のガイダンス表示領域904bと書類100との間に矢印を出力することにより、書類の写真を貼る位置を明示することができるので、書類周辺に表示されたガイダンスが書類のどの記入項目と関連があるのかを分かりやすく示すことができる。
【0064】
また、情報処理装置1は、書類の向きや傾きを検出するようにしてもよい。この場合、例えば、切れ込みの形状の位置が書類のどちら側にあるかなど、書類情報の形状63に方向を示す情報を付帯させるようにし、形状のマッチングにおいて方向を特定するようにすることができる。また、情報処理装置1は、形状のマッチング処理において、書類情報の形状63を回転させた形状と配置形状とをマッチングさせることにより、書類の傾きを検出するようにすることもできる。この場合、情報処理装置1は、画面の座標系を書類の傾きに合わせて傾けるようにして、書類の傾きに合わせてガイダンスも傾いて表示するようにしてもよい。
【0065】
==複数の画面==
また、本実施形態の情報表示システムでは、簡単のため1台の表示装置2を想定していたが、もちろん複数の表示装置2を含む構成としてもよい。このとき、ガイダンス表示領域が複数の表示装置2の画面にまたがる場合には、どちらかの画面にのみ表示させるように、ガイダンス表示領域を移動させるようにすることもできる。図27に画面をまたがるガイダンス表示領域を移動させる画面例を示す。図27(a)の例では、複数の表示装置2の画面2aおよび画面2bが隣り合って設置され、マルチディスプレイとして利用していることを想定している。図27(a)の例では、書類100の右側のグループ領域93cが、画面2a及び2bにまたがっている。この場合、情報処理装置1は、グループ領域93cが図27(b)に示すグループ領域93dの位置に来るように、ガイダンス表示位置のX座標を増加させるようにする。この場合、情報処理装置1は、「上」のグループ領域についてはY座標を減少させ、「下」のグループ領域についてはY座標を増加させ、「左」のグループ領域についてはX座標を減少させ、「右」のグループ領域についてはX座標を増加させて、グループ領域が画面をまたがなくなるようにする。この際、情報処理装置1は最小の移動距離となるように移動量を決定するようにする。このようにして、1つの画面に同一グループ内のガイダンスがすべて表示されるようになるので、ガイダンスの視認性の低下を軽減することができる。
【0066】
==撮影装置==
また、本実施形態の情報表示システムでは、表示装置2の備えるディスプレイパネル21に埋め込まれた光センサにより書類の配置領域を検出するようにしたが、これに限らず、例えば、撮影装置により書類の画像を撮影し、撮影した書類の画像データを解析して配置領域を検出するようにしてもよい。この場合の情報表示システムの構成例を図28に示す。同図に示すように、情報表示システムが表示装置2の画面上に配置される書類100を撮影可能な撮影装置22を含んで構成されるようにする。
【0067】
また、撮影装置22を用いた場合には、書類のサイズや形状以外にも、書類の色により書類を識別することもできる。この場合の書類情報の構成を図29に示す。同図に示すように、この場合の書類情報は形状63に代えて色64を含んでいる。色64は、図29の例のようにRGB16進数表記で「#FFFFFF」と表記してもよいし、アルファベット表記で「White」と表記するようにしてもよい。情報処理装置1は、上述の図11の(S421)において、センサ情報に代えて、撮影装置22からの画像データを取得し、取得した画像データから書類の色を特定するようにする。情報処理装置1は、(S423)において、特定した色に対応する書類情報を検索する。この場合にも形状によるマッチングと同様に書類を識別することが可能である。
【0068】
また、撮影装置22を用いた場合には、情報処理装置1は、書類の記入状況に応じてガイダンスを表示するようにしてもよい。この場合、書類情報には、未記入の書類を撮影した画像データ(以下、未記入画像データという。)を含むようにし、ガイダンス情報には、ガイダンスに関連する記入欄の書類上の位置を示す情報を含むようにする。情報処理装置1は、撮影装置22から取得した画像データと、未記入画像データとを比較して、変化のあった記入位置を特定し、特定した記入位置に対応するガイダンス情報のみを読み出すようにする。これにより、利用者が記入している項目についてのガイダンスのみを表示することができる。したがって、利用者が見たい情報を選択的に表示することができるので、ガイダンス情報が多い場合にも、情報の視認性を高めることができる。
【0069】
また、逆に未記入の項目についてのガイダンスのみを表示するようにしてもよい。この場合には、上記のようにして特定した記入位置以外の位置に対応するガイダンス情報のみを読み出すようにする。これにより、未記入の項目についてのガイダンスのみを表示することができる。
【0070】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【図面の簡単な説明】
【0071】
【図1】本実施形態に係る情報表示システムの全体構成を示す図である。
【図2】表示装置2の画面上に配置された書類の配置位置や形状を検出する処理を説明する図である。
【図3】表示装置2の画面上に書類100が配置された状態の一例を示す図である。
【図4】本実施形態の情報処理装置1の構成を示す図である。
【図5】書類情報の構成例を示す図である。
【図6】書類100の形状例を示す図である。
【図7】書類100の形状例を示す図である。
【図8】ガイダンス情報の構成例を示す図である。
【図9】配置情報の構成例を示す図である。
【図10】情報処理装置1がガイダンス情報を表示する処理の流れを示す図である。
【図11】書類の検出処理の流れを示す図である。
【図12】表示装置2の画面上に書類以外のものが配置された状況の一例を示す図である。
【図13】ガイダンス表示位置の算出処理の流れを示す図である。
【図14】ガイダンスを表示した場合の画面例を示す図である。
【図15】グループ領域の算出処理の流れを示す図である。
【図16】図14に示す画面例におけるグループ領域を説明する図である。
【図17】グループ領域の再配置処理の流れを示す図である。
【図18】グループ領域の再配置処理の流れを示す図である。
【図19】グループ領域の再配置処理を説明する図である。
【図20】書類100が画面上に配置された場合のガイダンスの出力例を示す図である。
【図21】書類の移動を検出する処理の流れを示す図である。
【図22】画面上の書類100を移動した場合の画面例を示す図である。
【図23】複数の書類が同じ画面上に置かれている画面例を示す図である。
【図24】複数のガイダンス表示領域が重なる場合に、後のガイダンスを表示しないようにしたガイダンス表示処理を示す図である。
【図25】ガイダンスを表示する画面例を示す図である。
【図26】ガイダンスの優先順位に応じて表示するガイダンスを決定する場合のガイダンス表示処理の流れを示す図である。
【図27】画面をまたがるガイダンス表示領域を移動させる画面例を示す図である。
【図28】撮影装置22を含んで構成される情報表示システムの構成例を示す図である。
【図29】書類の色を含む書類情報の構成例を示す図である。
【符号の説明】
【0072】
1 情報処理装置
2 表示装置 21 ディスプレイパネル
3 CPU 4 メモリ
5 記憶装置
6 書類情報データベース 61 書類番号
62 サイズ 63 形状
7 ガイダンス情報データベース
71 書類番号 72 ガイダンス番号
73 優先度 74 データ種類
75 サイズ 76 表示サイド
77 表示順 78 ファイル名
8 配置情報データベース
81 書類番号 82 配置時刻
83 ガイダンス番号 84 表示領域
11 センサ情報取得部 12 配置位置特定部
13 書類特定部 14 ガイダンス情報取得部
15 表示位置決定部 16 ガイダンス情報出力部
【特許請求の範囲】
【請求項1】
表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力する情報処理装置であって、
前記物体を識別する物体識別子を取得する物体識別部と、
前記物体が配置される前記画面上の絶対位置を特定する絶対位置特定部と、
前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を記憶する説明情報記憶部と、
前記物体識別部により取得された前記物体識別子に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出す説明情報取得部と、
前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定する説明表示位置決定部と、
前記説明表示位置に前記説明情報を出力する説明情報出力部と、
を備えることを特徴とする情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記物体識別子に対応付けて、前記物体を前記画面に投影した形状である投影形状の少なくとも一部である部分形状を記憶する形状記憶部と、
前記画面上に配置された前記物体全体の前記投影形状を検出する投影形状検出部と、
を備え、
前記物体識別部は、検出した前記物体全体の前記投影形状の少なくとも一部に一致する前記部分形状に対応する前記物体識別子を前記形状記憶部から取得すること、
を特徴とする情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記物体識別子に対応付けて、前記物体を前記画面に投影した形状である投影形状の幅及び高さの少なくとも何れかを示す情報であるサイズ情報を記憶するサイズ情報記憶部と、
前記画面上に配置された前記物体の前記投影形状を検出する投影形状検出部と、
を備え、
前記物体識別部は、検出した前記投影形状の幅及び高さの少なくとも何れかを示す前記サイズ情報に対応する前記物体識別子を前記サイズ情報記憶部から取得すること、
を特徴とする情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体の色を検出する色検出部と、
前記物体識別子に対応付けて前記物体の色を記憶する色記憶部と、
を備え、
前記物体識別部は、前記色検出部が検出した前記物体の色に対応する前記物体識別子を取得すること、
を特徴とする情報処理装置。
【請求項5】
請求項1に記載の情報処理装置であって、
受光した光の強さに応じた信号を出力する光センサが画素中に埋め込まれたディスプレイパネルを前記画面上に有する前記表示装置から、前記信号を受け付ける信号入力部を備え、
前記絶対位置特定部は、前記信号に基づいて前記絶対位置を特定すること、
を特徴とする情報処理装置。
【請求項6】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体を撮影する撮影装置から前記物体を撮影した画像データである撮影データを取得する撮影データ取得部を備え、
前記絶対位置特定部は、前記撮影データに基づいて前記絶対位置を特定すること、
を特徴とする情報処理装置。
【請求項7】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記説明情報の前記画面上での大きさを示す大きさ情報を前記物体識別子に対応付けて記憶しており、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出する表示領域算出部と、
前記画面上に配置された前記物体の前記画面上への投影領域を検出する投影領域検出部と、
を備え、
前記説明情報表示部は、前記投影領域及び前記説明表示領域が重ならない場合にのみ前記説明情報を表示すること、
を特徴とする情報処理装置。
【請求項8】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記物体識別子に対応付けて、前記説明情報の前記画面上での大きさを示す大きさ情報を記憶しており、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出する説明表示領域算出部と、
前記画面上に配置された前記物体の前記画面上への投影領域を検出する投影領域検出部と、
を備え、
前記説明表示位置決定部は、前記物体の前記絶対位置と前記説明情報の前記物体に対する相対位置とに基づいて前記説明情報の前記説明表示位置を算出し、前記表示領域と前記投影領域とが重なる場合、前記説明情報の前記表示領域が前記投影領域と重ならないように前記説明表示位置を決定すること、
を特徴とする情報処理装置。
【請求項9】
請求項1に記載の情報処理装置であって、
前記物体の移動方向及び移動距離を特定する移動検出部を備え、
前記説明表示位置決定部は、前記説明表示位置から前記移動方向及び前記移動距離だけ移動させた前記画面上の絶対位置である移動先位置を算出し、
前記説明情報出力部は、前記移動先位置に前記説明情報を出力すること、
を特徴とする処理装置。
【請求項10】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記物体識別子に対応付けて、前記説明情報の優先度及び前記説明情報の前記画面上での大きさを示す大きさ情報を記憶しており、
複数の前記物体のそれぞれについて、前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域を算出する表示領域算出部と、
2つの前記説明情報の前記表示領域が重なる場合に、前記説明情報のそれぞれに対応する前記優先度を取得する優先度取得部と、
を備え、
前記説明情報出力部は、前記優先度の高い前記説明情報のみを出力すること、
を特徴とする情報処理装置。
【請求項11】
請求項10に記載の情報処理装置であって、
前記画面上に配置された前記物体の前記画面上への投影領域を検出する投影領域検出部と、
前記優先度の低い前記説明情報について、前記優先度の高い前記説明情報及び前記投影領域のいずれとも重ならないように前記説明表示位置を変更する説明表示位置変更部と、
を備えることを特徴とする情報処理装置。
【請求項12】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記説明情報に対応付けて、前記説明情報の優先度及び前記説明情報の前記画面上での大きさを示す大きさ情報を記憶しており、
複数の前記物体のそれぞれについて、前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明領域を算出する表示領域算出部と、
現在前記画面に表示している前記説明情報の前記画面上の表示領域である表示中領域を記憶する表示中領域記憶部と、
を備え、
前記説明情報出力部は、前記説明領域と重なる前記表示中領域が前記表示中領域記憶部に登録されていない場合にのみ前記説明情報を出力すること、
を特徴とする情報処理装置。
【請求項13】
請求項12に記載の情報処理装置であって、
前記説明情報出力部は、前記表示領域と重なる前記表示中領域が前記表示中領域記憶部に登録されている場合、前記画面上の前記表示中領域をクリアして、前記説明情報を出力すること、
を特徴とする情報処理装置。
【請求項14】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体を前記画面に投影した領域である投影領域を検出する投影領域検出部と、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域を算出する表示領域算出部と、
前記表示領域及び前記投影領域の間に前記表示領域から前記投影領域に向けた矢印を描画する矢印描画部と、
を備えることを特徴とする情報処理装置。
【請求項15】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体を撮影する撮影装置と接続され、
前記物体は書類であり、
前記説明情報記憶部は、前記物体識別子に対応付けて、前記説明情報及び前記相対位置に加えて、前記書類の記入項目と、前記書類上における前記記入項目の記載欄の領域である記載領域とを記憶しており、
前記物体識別子に対応付けて、前記書類の未記入の状態を表す画像データである未記入画像データを記憶する未記入画像記憶部と、
前記物体を撮影した画像データである撮影データを前記撮影装置から取得する撮影データ取得部と、
前記未記入画像データと前記撮影データとを比較して、変化のある前記書類上の位置である記入位置を特定する記入位置特定部と、
を備え、
前記説明情報取得部は、特定した前記記入位置が含まれる前記記載領域を前記説明情報記憶部から検索し、検索した前記記載領域に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出すこと、
を特徴とする情報処理装置。
【請求項16】
請求項15に記載の情報処理装置であって、
前記説明情報取得部は、前記記入位置が含まれない前記記載領域を前記説明情報記憶部から検索し、検索した前記記載領域に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出すこと、
を特徴とする情報処理装置。
【請求項17】
表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力する情報表示方法であって、
前記表示装置と接続され、CPUとメモリとを備えるコンピュータが、
前記物体を識別する物体識別子を取得し、
前記物体が配置される前記画面上の絶対位置を特定し、
前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を前記メモリに記憶し、
取得した前記物体識別子に対応する前記説明情報及び前記相対位置を前記メモリから読み出し、
前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定し、
前記説明表示位置に前記説明情報を出力すること、
を特徴とする情報表示方法。
【請求項18】
請求項17に記載の情報表示方法であって、
前記コンピュータは、前記物体識別子に対応付けて、前記説明情報の前記画面上での大きさを示す大きさ情報を前記メモリに記憶しており、
前記コンピュータが、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出し、
前記画面上に配置された前記物体の前記画面上への投影領域を検出し、
前記物体の前記絶対位置と前記説明情報の前記物体に対する相対位置とに基づいて前記説明情報の前記説明表示位置を算出し、前記表示領域と前記投影領域とが重なる場合、前記説明情報の前記表示領域が前記投影領域と重ならないように前記説明表示位置を決定すること、
を特徴とする情報表示方法。
【請求項19】
表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力するためのプログラムであって、
前記表示装置と接続され、CPUとメモリとを備えるコンピュータに、
前記物体を識別する物体識別子を取得するステップと、
前記物体が配置される前記画面上の絶対位置を特定するステップと、
前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を前記メモリに記憶するステップと、
取得した前記物体識別子に対応する前記説明情報及び前記相対位置を前記メモリから読み出すステップと、
前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定するステップと、
前記説明表示位置に前記説明情報を出力するステップと、
を実行させるためのプログラム。
【請求項20】
請求項19に記載のプログラムであって、
前記コンピュータに、
前記物体識別子に対応付けて、前記説明情報の前記画面上での大きさを示す大きさ情報を前記メモリに記憶するステップと、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出するステップと、
前記画面上に配置された前記物体の前記画面上への投影領域を検出するステップと、
前記物体の前記絶対位置と前記説明情報の前記物体に対する相対位置とに基づいて前記説明情報の前記説明表示位置を算出し、前記表示領域と前記投影領域とが重なる場合、前記説明情報の前記表示領域が前記投影領域と重ならないように前記説明表示位置を決定するステップと、
を実行させるためのプログラム。
【請求項1】
表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力する情報処理装置であって、
前記物体を識別する物体識別子を取得する物体識別部と、
前記物体が配置される前記画面上の絶対位置を特定する絶対位置特定部と、
前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を記憶する説明情報記憶部と、
前記物体識別部により取得された前記物体識別子に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出す説明情報取得部と、
前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定する説明表示位置決定部と、
前記説明表示位置に前記説明情報を出力する説明情報出力部と、
を備えることを特徴とする情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記物体識別子に対応付けて、前記物体を前記画面に投影した形状である投影形状の少なくとも一部である部分形状を記憶する形状記憶部と、
前記画面上に配置された前記物体全体の前記投影形状を検出する投影形状検出部と、
を備え、
前記物体識別部は、検出した前記物体全体の前記投影形状の少なくとも一部に一致する前記部分形状に対応する前記物体識別子を前記形状記憶部から取得すること、
を特徴とする情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記物体識別子に対応付けて、前記物体を前記画面に投影した形状である投影形状の幅及び高さの少なくとも何れかを示す情報であるサイズ情報を記憶するサイズ情報記憶部と、
前記画面上に配置された前記物体の前記投影形状を検出する投影形状検出部と、
を備え、
前記物体識別部は、検出した前記投影形状の幅及び高さの少なくとも何れかを示す前記サイズ情報に対応する前記物体識別子を前記サイズ情報記憶部から取得すること、
を特徴とする情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体の色を検出する色検出部と、
前記物体識別子に対応付けて前記物体の色を記憶する色記憶部と、
を備え、
前記物体識別部は、前記色検出部が検出した前記物体の色に対応する前記物体識別子を取得すること、
を特徴とする情報処理装置。
【請求項5】
請求項1に記載の情報処理装置であって、
受光した光の強さに応じた信号を出力する光センサが画素中に埋め込まれたディスプレイパネルを前記画面上に有する前記表示装置から、前記信号を受け付ける信号入力部を備え、
前記絶対位置特定部は、前記信号に基づいて前記絶対位置を特定すること、
を特徴とする情報処理装置。
【請求項6】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体を撮影する撮影装置から前記物体を撮影した画像データである撮影データを取得する撮影データ取得部を備え、
前記絶対位置特定部は、前記撮影データに基づいて前記絶対位置を特定すること、
を特徴とする情報処理装置。
【請求項7】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記説明情報の前記画面上での大きさを示す大きさ情報を前記物体識別子に対応付けて記憶しており、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出する表示領域算出部と、
前記画面上に配置された前記物体の前記画面上への投影領域を検出する投影領域検出部と、
を備え、
前記説明情報表示部は、前記投影領域及び前記説明表示領域が重ならない場合にのみ前記説明情報を表示すること、
を特徴とする情報処理装置。
【請求項8】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記物体識別子に対応付けて、前記説明情報の前記画面上での大きさを示す大きさ情報を記憶しており、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出する説明表示領域算出部と、
前記画面上に配置された前記物体の前記画面上への投影領域を検出する投影領域検出部と、
を備え、
前記説明表示位置決定部は、前記物体の前記絶対位置と前記説明情報の前記物体に対する相対位置とに基づいて前記説明情報の前記説明表示位置を算出し、前記表示領域と前記投影領域とが重なる場合、前記説明情報の前記表示領域が前記投影領域と重ならないように前記説明表示位置を決定すること、
を特徴とする情報処理装置。
【請求項9】
請求項1に記載の情報処理装置であって、
前記物体の移動方向及び移動距離を特定する移動検出部を備え、
前記説明表示位置決定部は、前記説明表示位置から前記移動方向及び前記移動距離だけ移動させた前記画面上の絶対位置である移動先位置を算出し、
前記説明情報出力部は、前記移動先位置に前記説明情報を出力すること、
を特徴とする処理装置。
【請求項10】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記物体識別子に対応付けて、前記説明情報の優先度及び前記説明情報の前記画面上での大きさを示す大きさ情報を記憶しており、
複数の前記物体のそれぞれについて、前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域を算出する表示領域算出部と、
2つの前記説明情報の前記表示領域が重なる場合に、前記説明情報のそれぞれに対応する前記優先度を取得する優先度取得部と、
を備え、
前記説明情報出力部は、前記優先度の高い前記説明情報のみを出力すること、
を特徴とする情報処理装置。
【請求項11】
請求項10に記載の情報処理装置であって、
前記画面上に配置された前記物体の前記画面上への投影領域を検出する投影領域検出部と、
前記優先度の低い前記説明情報について、前記優先度の高い前記説明情報及び前記投影領域のいずれとも重ならないように前記説明表示位置を変更する説明表示位置変更部と、
を備えることを特徴とする情報処理装置。
【請求項12】
請求項1に記載の情報処理装置であって、
前記説明情報記憶部は、前記説明情報に対応付けて、前記説明情報の優先度及び前記説明情報の前記画面上での大きさを示す大きさ情報を記憶しており、
複数の前記物体のそれぞれについて、前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明領域を算出する表示領域算出部と、
現在前記画面に表示している前記説明情報の前記画面上の表示領域である表示中領域を記憶する表示中領域記憶部と、
を備え、
前記説明情報出力部は、前記説明領域と重なる前記表示中領域が前記表示中領域記憶部に登録されていない場合にのみ前記説明情報を出力すること、
を特徴とする情報処理装置。
【請求項13】
請求項12に記載の情報処理装置であって、
前記説明情報出力部は、前記表示領域と重なる前記表示中領域が前記表示中領域記憶部に登録されている場合、前記画面上の前記表示中領域をクリアして、前記説明情報を出力すること、
を特徴とする情報処理装置。
【請求項14】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体を前記画面に投影した領域である投影領域を検出する投影領域検出部と、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域を算出する表示領域算出部と、
前記表示領域及び前記投影領域の間に前記表示領域から前記投影領域に向けた矢印を描画する矢印描画部と、
を備えることを特徴とする情報処理装置。
【請求項15】
請求項1に記載の情報処理装置であって、
前記画面上に配置された前記物体を撮影する撮影装置と接続され、
前記物体は書類であり、
前記説明情報記憶部は、前記物体識別子に対応付けて、前記説明情報及び前記相対位置に加えて、前記書類の記入項目と、前記書類上における前記記入項目の記載欄の領域である記載領域とを記憶しており、
前記物体識別子に対応付けて、前記書類の未記入の状態を表す画像データである未記入画像データを記憶する未記入画像記憶部と、
前記物体を撮影した画像データである撮影データを前記撮影装置から取得する撮影データ取得部と、
前記未記入画像データと前記撮影データとを比較して、変化のある前記書類上の位置である記入位置を特定する記入位置特定部と、
を備え、
前記説明情報取得部は、特定した前記記入位置が含まれる前記記載領域を前記説明情報記憶部から検索し、検索した前記記載領域に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出すこと、
を特徴とする情報処理装置。
【請求項16】
請求項15に記載の情報処理装置であって、
前記説明情報取得部は、前記記入位置が含まれない前記記載領域を前記説明情報記憶部から検索し、検索した前記記載領域に対応する前記説明情報及び前記相対位置を前記説明情報記憶部から読み出すこと、
を特徴とする情報処理装置。
【請求項17】
表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力する情報表示方法であって、
前記表示装置と接続され、CPUとメモリとを備えるコンピュータが、
前記物体を識別する物体識別子を取得し、
前記物体が配置される前記画面上の絶対位置を特定し、
前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を前記メモリに記憶し、
取得した前記物体識別子に対応する前記説明情報及び前記相対位置を前記メモリから読み出し、
前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定し、
前記説明表示位置に前記説明情報を出力すること、
を特徴とする情報表示方法。
【請求項18】
請求項17に記載の情報表示方法であって、
前記コンピュータは、前記物体識別子に対応付けて、前記説明情報の前記画面上での大きさを示す大きさ情報を前記メモリに記憶しており、
前記コンピュータが、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出し、
前記画面上に配置された前記物体の前記画面上への投影領域を検出し、
前記物体の前記絶対位置と前記説明情報の前記物体に対する相対位置とに基づいて前記説明情報の前記説明表示位置を算出し、前記表示領域と前記投影領域とが重なる場合、前記説明情報の前記表示領域が前記投影領域と重ならないように前記説明表示位置を決定すること、
を特徴とする情報表示方法。
【請求項19】
表示装置の画面上に配置される物体に関する説明情報を前記表示装置に出力するためのプログラムであって、
前記表示装置と接続され、CPUとメモリとを備えるコンピュータに、
前記物体を識別する物体識別子を取得するステップと、
前記物体が配置される前記画面上の絶対位置を特定するステップと、
前記物体識別子に対応付けて、前記説明情報及び、前記説明情報の前記画面上における前記物体に対する相対位置を前記メモリに記憶するステップと、
取得した前記物体識別子に対応する前記説明情報及び前記相対位置を前記メモリから読み出すステップと、
前記絶対位置及び前記相対位置に基づいて、前記説明情報を表示する前記画面上の絶対位置である説明表示位置を決定するステップと、
前記説明表示位置に前記説明情報を出力するステップと、
を実行させるためのプログラム。
【請求項20】
請求項19に記載のプログラムであって、
前記コンピュータに、
前記物体識別子に対応付けて、前記説明情報の前記画面上での大きさを示す大きさ情報を前記メモリに記憶するステップと、
前記説明表示位置及び前記大きさ情報に基づいて、前記説明情報が表示される前記画面上の表示領域である説明表示領域を算出するステップと、
前記画面上に配置された前記物体の前記画面上への投影領域を検出するステップと、
前記物体の前記絶対位置と前記説明情報の前記物体に対する相対位置とに基づいて前記説明情報の前記説明表示位置を算出し、前記表示領域と前記投影領域とが重なる場合、前記説明情報の前記表示領域が前記投影領域と重ならないように前記説明表示位置を決定するステップと、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【公開番号】特開2007−109011(P2007−109011A)
【公開日】平成19年4月26日(2007.4.26)
【国際特許分類】
【出願番号】特願2005−299204(P2005−299204)
【出願日】平成17年10月13日(2005.10.13)
【出願人】(504373093)日立オムロンターミナルソリューションズ株式会社 (1,225)
【Fターム(参考)】
【公開日】平成19年4月26日(2007.4.26)
【国際特許分類】
【出願日】平成17年10月13日(2005.10.13)
【出願人】(504373093)日立オムロンターミナルソリューションズ株式会社 (1,225)
【Fターム(参考)】
[ Back to top ]