情報処理装置、情報処理方法およびプログラム
【課題】 簡単に所望の情報にアクセスすることができ、かつ所望の情報に対応する物体を容易に確認することができる情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】 補助記憶部15に記憶されるデータである電子ファイルがLCD5に表示されているとき、前記データを指定する指定情報が、周辺機器入力部12によって入力されると、前記指定情報が指定する画像を表す電子ファイルに関連付けて補助記憶部15に記憶される形状情報が、CPU10によって取得される。センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報と、CPU10によって取得された形状情報とが一致した場合に、LCD5は、表示画面のうち、センサ6によって検出された物体の位置または近傍領域をフラッシング(明滅)によって表示させるなどして、表示状態を変更するように、CPU10および表示制御部13によって制御される。
【解決手段】 補助記憶部15に記憶されるデータである電子ファイルがLCD5に表示されているとき、前記データを指定する指定情報が、周辺機器入力部12によって入力されると、前記指定情報が指定する画像を表す電子ファイルに関連付けて補助記憶部15に記憶される形状情報が、CPU10によって取得される。センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報と、CPU10によって取得された形状情報とが一致した場合に、LCD5は、表示画面のうち、センサ6によって検出された物体の位置または近傍領域をフラッシング(明滅)によって表示させるなどして、表示状態を変更するように、CPU10および表示制御部13によって制御される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の形状を読取り、読取られた物体の形状に関連付けられた情報を表示させる情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
パーソナルコンピュータなどの情報処理装置の利用者は、記憶部に記憶されている特定のファイルにアクセスするとき、階層構造のフォルダを順次開いて、特定のファイルを検索している。また、特定のファイルを閲覧したり、編集および書き換えをするために、対応するコマンドやアプリケーションを選択したり、予め関連付けたりしている。
【0003】
従来の技術の情報処理装置として、特許文献1の指紋照合装置は、指紋とコマンドを対応づけておき、指紋認証と共にコマンド実行を行うように構成される。また特許文献2の電子ボードは、入力装置(物)とコマンドを対応付けておき、道具(物)の位置、動きを検出して、予め登録されている機能を実行するように構成される。
【0004】
【特許文献1】特開平11−250251号公報
【特許文献2】特開平5−224853号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
前述の特許文献1,2では、操作に慣れていない利用者にとっては、特定のファイルを検索して、そのファイルへアクセスすることが困難であるという問題がある。また特許文献1,2では、利用者が実際に装置を操作してみなければ、いずれの指紋または物体が、いずれのコマンドに対応しているかを確認することができず、指紋または物体とコマンドとの対応関係を容易かつ即座に把握することができないという問題がある。
【0006】
本発明の目的は、簡単に所望の情報にアクセスすることができ、かつ所望の情報に関連付けされた物体を容易に確認することができる情報処理装置、情報処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
本発明は、表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶手段と、
記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示する表示手段とを含む情報処理装置であって、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段とを含むことを特徴とする情報処理装置である。
【0008】
また本発明は、表示画面上に載置される物体を指定する物体指定手段をさらに備え、
前記記憶手段は、複数の物体の形状情報を関連付けて記憶し、
前記取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得し、
前記制御手段は、前記読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、前記位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、表示手段を制御することを特徴とする。
【0009】
また本発明は、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに実行させるための情報処理方法であって、
表示画面上に載置される物体の形状を読取る読取工程と、
読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示工程と、
表示工程で表示されたデータを指定するデータ指定工程と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得工程と、
表示画面上における物体の位置を検出する位置検出工程と、
読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを含むことを特徴とする情報処理方法である。
【0010】
また本発明は、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータを、
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段として機能させることを特徴とするプログラムである。
【発明の効果】
【0011】
本発明によれば、読取手段によって、表示画面上に載置される物体の形状を読取る。読取手段によって読取られた物体の形状を表す形状情報とデータとは、それぞれ関連付けられて記憶手段に記憶される。記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータ、具体的には書類および写真などの電子ファイルは、表示手段によって表示される。
【0012】
表示手段に表示されたデータは、データ指定手段によって指定される。取得手段は、データ指定手段によって指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する。表示画面上における物体の位置は、位置検出手段によって検出される。読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、表示手段は、表示画面のうち、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、制御手段によって制御される。
【0013】
このように、読取手段によって、表示画面上に載置される物体の形状を読取るだけで、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶手段に記憶されるデータを表示手段に表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。
【0014】
また表示手段に表示されるデータの近くに物体があるので、利用者は、物体とデータとを参照し易い。たとえば予め定める情報にアクセスするために用いられ、かつ前記データに関連する形状情報の物体を容易に確認することができる。
【0015】
また表示画面のうち、前記データに関連する物体の位置または近傍領域の表示状態が変更されるので、利用者は、表示画面上に載置される物体のうち、予め定める情報にアクセスするために用いられ、かつ前記データに関連する物体がいずれであるかを忘れてしまったときでも、前記データに関連する形状情報の物体を容易かつ即座に確認することができる。
【0016】
また本発明によれば、表示画面上に載置される物体は、物体指定手段によって指定される。記憶手段には、複数の物体の形状情報が関連付けられて記憶される。取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得する。読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、表示手段は、位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、制御手段によって制御される。
【0017】
このように、関連する複数の物体の位置または近傍領域の表示状態が変更されるので、利用者は、表示画面上に載置される複数の物体それぞれの関連を忘れてしまったときでも、関連する物体を容易かつ即座に確認することができる。
【0018】
また本発明によれば、読取工程では、表示画面上に載置される物体の形状を読取る。表示工程では、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータ、具体的には書類および写真などの電子ファイルが表示される。
【0019】
データ指定工程では、表示工程で表示されたデータを指定する。取得工程では、データ指定工程で指定されたデータに関連付けて記憶部に記憶される形状情報を取得する。位置検出工程では、表示画面上における物体の位置を検出する。制御工程では、読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する。
【0020】
このように、読取工程で、表示画面上に載置される物体の形状を読取るだけで、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。
【0021】
また本発明によれば、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに、表示画面上に載置される物体の形状を読取る読取手段と、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、表示手段に表示されたデータを指定するデータ指定手段と、指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、表示画面上における物体の位置を検出する位置検出手段と、読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段としての機能を実行させることができる。
【0022】
これによって、操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。以下の説明においては、各形態で先行する形態で説明している事項に対応している部分には同一の参照符を付し、重複する説明を略する場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。
【0024】
図1は、本発明の実施の一形態である情報処理装置1の電気的構成を示すブロック図である。情報処理装置1は、入力・表示系2と制御系3とを有する。入力・表示系2は、液晶ディスプレイ(Liquid Crystal Display;略称:LCD)5、センサ6、内蔵カメラ7および光源であるバックライト8を有する。制御系3は、制御手段である中央演算処理装置(Central Processing Unit;略称:CPU)10、センサ入力部11、周辺機器入力部12、表示制御部13、主記憶部14、補助記憶部15、通信部16およびバス17を有する。制御系3のうちCPU10、主記憶部14、補助記憶部15およびバス17は、たとえばマイクロコンピュータによって実現される。
【0025】
LCD5は、その表示部に、電子ファイルなどの情報を画像として表示する。センサ6は、LCD5の表示画面上に載置される物体、文字およびダグの少なくともいずれか一つのパターンを検出する。センサ6は、薄膜トランジスタ(Thin Film Transistor;略称:TFT)アレイを用いたイメージセンサ、赤外線センサ、デジタイザ、タブレットなどによって実現される。センサ6は、低解像度のセンサと高解像度のセンサとを個別に構成してもよいし、一体形で構成してもよい。
【0026】
内蔵カメラ7は、表示画面上に載置される物体、文字およびタグの少なくともいずれか一つのパターンを検出する。内蔵カメラ7は、センサ6と一体形で構成してもよい。バックライト8は、液晶表示を行うための光源となる。光源としては、バックライト8に限らず、LCD5が反射形で構成される場合は、フロントライト方式であってもよい。
【0027】
制御系のうちCPU10は、バス17を介して、センサ入力部11、周辺機器入力部12、表示制御部13、主記憶部14、補助記憶部15および通信部16と電気的に接続されている。CPU10は、その内部に記憶される制御プログラムに基づいて、センサ入力部11、周辺機器入力部12、表示制御部13、主記憶部14、補助記憶部15および通信部16を含むハードウェア資源を統括的に制御する。センサ入力部11には、センサ6および内蔵カメラ7が電気的に接続されている。センサ入力部11は、センサ6および内蔵カメラ7からの出力を電気信号に変換してデータ化する。
【0028】
周辺機器入力部12には、キーボード、ポインティングデバイス、外部カメラ、マイクロフォンなどの周辺機器がそれぞれ電気的に接続可能に構成されている。周辺機器入力部12は、周辺機器からの出力を電気信号に変換してデータ化する。表示制御部13には、LCD5およびバックライト8が電気的に接続されている。表示制御部13は、CPU10からの指令に従って、LCD5およびバックライト8を制御する。
【0029】
主記憶部14には、情報処理装置1における複数の処理動作を実現させるために必要な動作プログラムが記憶されている。補助記憶部15には、補助的に動作に必要な情報、本実施の形態では電子ファイルが記憶されている。通信部16は、外部の機器と通信を行う。
【0030】
本実施の形態において、読取手段は、センサ6および内蔵カメラ7に相当する。記憶手段は、補助記憶部15に相当する。表示手段は、LCD5に相当する。データ指定手段および物体指定手段は、周辺機器入力部12に相当する。取得手段は、CPU10において、補助記憶部15に記憶された形状情報を取得する処理に相当する。位置検出手段は、センサ6に相当する。制御手段は、CPU10および表示制御部13に相当する。
【0031】
図2は、主記憶部14に記憶される動作プログラム20の構成を示す図である。本実施の形態の動作プログラム20は、位置認識処理プログラム21、タグ認識処理プログラム22、形状認識処理プログラム23、情報検索処理プログラム24およびリンク生成処理プログラム25を含む。
【0032】
CPU10が位置認識処理プログラム21を実行することによって、センサ6または内蔵カメラ7によって検出された画像情報の位置を認識する位置認識処理が実現される。CPU10がタグ認識処理プログラム22を実行することによって、センサ6または内蔵カメラ7によって検出されたタグ情報を認識する。CPU10が形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像の形状を認識する。CPU10が情報検索処理プログラム24を実行することによって、主記憶部14、補助記憶部15、または図示外の外部記録装置内の情報を検索する。CPU10がリンク生成処理プログラム25を実行することによって、センサ6または内蔵カメラ7によって検出された画像情報と、内部もしくは外部のファイルデータとを関連付ける。
【0033】
図3は、本発明の第1の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。図4は、第1の実施の形態に係る第1登録処理に関するCPU10の処理手順を示すフローチャートである。図5は、所望の物体を、電子ファイルに関連付ける形態を表すLCD5の平面図である。図3および図4に示す各処理は、CPU10によって実行される。図3および図4に示す各処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の図示外の主電源をオフからオンにする条件、図示外のタイマーによる一定時間間隔、図示外の人感センサなどによる利用者の接近もしくは動きを検知した条件において、図3に示す処理が開始される。
【0034】
ステップa1では、次のステップa2で物体があるか否かを判断すべく、情報処理装置1の表示手段であるLCD5の表示画面上の状態をセンサ6でセンシングして、ステップa2に進む。
【0035】
ステップa2では、前記センシングの結果、LCD5の表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップa3に進み、表示画面上に物体がないと判断されると本処理を終了する。
【0036】
ステップa3では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップa4に進む。ステップa4では、LCD5の表示画面に表示される電子ファイルの位置または近傍領域に、前記物体があるか否かを判断し、物体があると判断されるとステップa5に進み、物体がないと判断されると本処理を終了する。
【0037】
ステップa5では、表示画面上に載置される物体、本実施の形態では鉛筆30、消しゴム31およびはさみ32の近傍に、登録選択メニュー画面35を表示(図5参照)して、ステップa6に進む。ここで、登録選択メニュー画面35は、図5に示すように、LCD5の表示画面上に載置される物体の形状を表す形状情報、および表示画面に表示されるデータである電子ファイルを関連付けて補助記憶部15に記憶させる設定項目「登録」と、前記形状情報と電子ファイルとの関連付けの設定を解除する設定項目「キャンセル」とを有する。以下の説明では、物体の形状を表す形状情報に関連付けて記憶されるデータを、「予め定める情報」という場合がある。
【0038】
登録選択メニュー画面35の設定項目「登録」を選択することによって、前記形状情報と電子ファイルとを関連付けて補助記憶部15に記憶させることができる。登録選択メニュー画面35の設定項目「キャンセル」を選択することによって、前記形状情報と電子ファイルとの関連付けの設定を解除することができる。
【0039】
ステップa6では、登録選択メニュー画面35で「登録」が選択されたか否かを判断し、「登録」が選択された場合はステップa7に進み、選択されなかった場合は本処理を終了する。
【0040】
ステップa7では、後述する第1登録処理のサブルーチンに進み、次にステップa8に進む。ステップa8では、登録をしたい全ての電子ファイルに対して登録作業を終えたか否かを判断し、登録をしたい全ての電子ファイルに対して登録作業を終えた場合は、本処理を終了し、登録を希望するいずれかの電子ファイルの登録作業が終えていない場合は、ステップa5に戻る。
【0041】
前記ステップa7に移行する条件で、図4に示す第1登録処理が開始される。ステップb1では、登録対象の物体を選択して、ステップb2に進む。本実施の形態では、図5に示すように、登録対象の物体として、鉛筆30および消しゴム31が選択されたとき、LCD5の表示画面のうち、表示画面上に載置される鉛筆30および消しゴム31の近傍領域の表示状態を変化させる。たとえば、LCD5の表示画面において、鉛筆30および消しゴム31の近傍領域を枠で囲ったり、表示色を変化させる。当該近傍領域をフラッシング(明滅)表示させるようにしてもよい。
【0042】
したがって利用者は、LCD5の表示画面を見るだけで、利用者自身が選択した登録対象の物体が、情報処理装置1に入力されているか否かを即座に認識することができる。これによって登録対象の物体が誤入力された場合でも、利用者は物体を選択入力する作業を迅速に行うことができる。
【0043】
ステップb2では、LCD5の表示画面に表示される電子ファイルの中から、ステップb1で選択された物体、本実施の形態では鉛筆30および消しゴム31と関連付けする電子ファイル、本実施の形態では「File E」を選択して、ステップb3に進む。
【0044】
ステップb3では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、物体の形状を認識して、ステップb4に進む。ステップb4では、リンク生成処理プログラム25を実行することによって、物体の形状を表す形状情報と予め定める情報である電子ファイルとを関連付けて補助記憶部15に記憶させる。その後、本処理を終了する。このようにして本実施の形態では、鉛筆30および消しゴム31と、電子ファイルである「File E」とが関連付けられて、補助記憶部15に記憶される。図4に示すフローチャートのステップb3は、読取工程に相当する。
【0045】
前述のように本実施の形態では、登録選択メニュー画面35の「登録」を選択することによって、選択された物体と電子ファイルとを関連付けて補助記憶部15に記憶させることができる。さらに本実施の形態では、予め物体と電子ファイルとが関連付けられている状態で、登録選択メニュー画面35の「キャンセル」を選択することによって、物体と電子ファイルとの関連付けを解除し、新たに登録をし直すことが可能となる。
【0046】
図6は、本発明の第2の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。図7は、第2の実施の形態に係る第2登録処理に関するCPU10の処理手順を示すフローチャートである。図8は、所望の物体を予め定める登録領域40に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。図6および図7に示す各処理は、CPU10によって実行される。図6および図7に示す各処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の主電源をオフからオンにする条件で、図6に示す処理が開始される。
【0047】
ステップc1では、周辺機器入力部12を操作することによって、LCD5の表示画面上に、登録選択メニュー画面35を表示して、ステップc2に進む。ステップc2では、登録選択メニュー画面35で「登録」が選択されたか否かを判断し、「登録」が選択された場合はステップc3に進み、選択されなかった場合は本処理を終了する。
【0048】
ステップc3では、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップc4に進む。ステップc4では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップc5に進む。
【0049】
ステップc5では、物体が所定の場所にあるか否かを判断する。本実施の形態では、図8に示すように、物体が予め定める登録領域(以下、単に「登録領域」という)40にあるか否かを判断し、物体が登録領域40にあると判断されるとステップc6に進み、物体が登録領域40にないと判断されると本処理を終了する。
【0050】
ステップc6では、後述する第2登録処理のサブルーチンに進み、次にステップc7に進む。ステップc7では、登録が終了したか否かを判断し、登録が終了したと判断した場合は本処理を終了し、登録が終了していないと判断した場合はステップc1に戻る。
【0051】
前記ステップc6に移行する条件で、図7に示す第2登録処理が開始される。ステップd1では、形状認識処理によって、所定の場所、本実施の形態では予め定める登録領域40に載置される物体の形状を認識して、ステップd2に進む。
【0052】
ステップd2では、表示画面上に載置される物体の位置と、ステップd1で認識した物体の形状とから、物体を認識して、ステップd3に進む。ステップd3では、リンク生成処理プログラム25を実行することによって、物体の形状と電子ファイルとを関連付けて補助記憶部15に記憶させる。その後、本処理を終了する。図7に示すフローチャートのステップd1は、読取工程に相当する。
【0053】
前述のように本実施の形態では、図8に示すように、表示画面上に、電子ファイルである「File E」が表示されているとき、この電子ファイルに関連付けたい所望の物体、たとえば鉛筆30および消しゴム31を予め定める登録領域40に載置し、表示画面上に表示される登録選択メニュー画面35で「登録」を選択することによって、物体である鉛筆30および消しゴム31と、電子ファイルである「File E」とが関連付けられて、補助記憶部15に記憶される。
【0054】
前述のように予め定める登録領域40を設けることによって、一つの電子ファイルに複数の物体を関連付けるとき、LCD5の表示画面上の任意の位置に載置された複数の物体に対して個別に前記関連付けの作業をする必要がある図5に示す形態に比べて、前記関連付けの作業の手間を軽減することができ、前記関連付けの作業に要する時間を短縮することができる。
【0055】
図9は、所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける場合、CPU10は、図6のステップc5の処理以外は、図6および図7と同様の処理手順で動作する。したがって図8に示す形態と処理が異なる部分についてのみ説明し、図8に示す形態と同様の部分の説明は省略する。
【0056】
所望の物体、本実施の形態では鉛筆30および消しゴム31を、電子ファイルである「File E」の表示部分に載置して、前記所望の物体を電子ファイルに関連付ける場合、図6のステップc5では、図9に示すように、物体が電子ファイルの表示部部分にあるか否かを判断し、物体が前記表示部分にあると判断されると、ステップc6に進み、物体が前記表示部分にないと判断されると、本処理を終了する。
【0057】
前述のように本実施の形態では、図9に示すように、電子ファイルである「File
E」の表示部分に、鉛筆30および消しゴム31などの所望の物体を載置し、表示画面上に表示される登録選択メニュー画面35で「登録」を選択することによって、物体である鉛筆30および消しゴム31と、電子ファイル、たとえば「File E」とを関連付けて、補助記憶部15に記憶することができる。
【0058】
前述のように利用者は、LCD5の表示画面に表示される電子ファイルの表示部分に、所望の物体、換言すれば前記電子ファイルに関連付けをしたい物体を載置するだけで、前記電子ファイルに前記物体を比較的容易に関連付けることができる。これによって利用者による電子ファイルと物体との関連付けの作業に対する利便性を、図8に示す形態に比べてさらに向上することができる。
【0059】
図10は、本発明の第3の実施の形態に係り、物体を載置すると、物体に関連付けられた予め定める情報を表示させる処理に関するCPU10の処理手順を示すフローチャートである。本処理は、CPU10によって実行される。本処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の主電源をオフからオンにする条件で、図10に示す処理が開始される。
【0060】
ステップe1では、次のステップで物体があるか否かを判断すべく、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップe2に進む。ステップe2では、前記センシングの結果、表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップe3に進み、表示画面上に物体がないと判断されると本処理を終了する。
【0061】
ステップe3では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップe4に進む。ステップe4では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、物体の形状を認識して、ステップe5に進む。
【0062】
ステップe5では、前述の情報検索処理プログラム24を実行することによって、物体の形状を表す形状情報と関連付けされた電子ファイルを検索して、ステップe6に進む。ステップe6では、前記物体の形状を表す形状情報と関連付けられた電子ファイルがあるか否かを判断し、前記電子ファイルがあると判断されると、ステップe7に進み、前記電子ファイルがないと判断されると、本処理を終了する。
【0063】
ステップe7では、物体の形状を表す形状情報と関連付けられた電子ファイルを、LCD5の表示画面に表示させる。その後本処理を終了する。図10に示すフローチャートのステップe4は、読取工程に相当し、ステップe7は、表示工程に相当する。
【0064】
図11は、本発明の第4の実施の形態に係り、電子ファイルに関連付けられた形状情報が表す物体の近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。図12は、一つの電子ファイルと複数の物体との関係を表すLCD5の平面図である。図13は、LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。図11に示す処理は、CPU10によって実行される。図11に示す処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の図示外の主電源をオフからオンにする条件で、図11に示す処理が開始される。
【0065】
ステップf1では、LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的にはフラッシング(明滅)をするか否かを設定するためのフラッシングメニュー画面50を表示(図12および図13参照)して、ステップf2に進む。ここで、フラッシングメニュー画面50は、図12および図13に示すように、画像をフラッシング(明滅)45によって表示させる設定項目「フラッシング」と、フラッシングの設定を解除する設定項目「キャンセル」とを有する。フラッシングメニュー画面50の設定項目「フラッシング」を選択することによって、画像を明滅によって表示することができる。フラッシングメニュー画面50の設定項目「キャンセル」を選択することによって、フラッシングの設定を解除することができる。
【0066】
ステップf2では、関連する物体を検索したい電子ファイルを選択したか否かを判断し、前記検索したい電子ファイルが選択されると、ステップf3に進み、前記検索したい電子ファイルが選択されないと、本処理を終了する。
【0067】
ステップf3では、次のステップf4で物体があるか否かを判断すべく、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップf4に進む。ステップf4では、前記センシングの結果、表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップf5に進み、表示画面上に物体がないと判断されると本処理を終了する。
【0068】
ステップf5では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップf6に進む。読取工程に相当するステップf6では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、物体の形状を認識して、ステップf7に進む。
【0069】
ステップf7では、前述の情報検索処理プログラム24を実行することによって、電子ファイルと関連付けされた物体を検索して、ステップf8に進む。ステップf8では、電子ファイルと関連付けされた物体があるか否かを判断し、前記関連付けされた物体があると判断されると、ステップf9に進み、前記関連付けされた物体がないと判断されると、本処理を終了する。
【0070】
ステップf9では、選択された電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的には前記部分をフラッシング(明滅)45によって表示させる。その後、本処理を終了する。
【0071】
前述のように本実施の形態では、図12に示すように、LCD5の表示画面に表示される電子ファイルである「File D」を選択し、表示画面上に表示されるフラッシングメニュー画面50で「フラッシング」を選択すると、図13に示すように、表示画面上に載置される物体のうち、電子ファイルである「File D」に関連付けられている物体、本実施の形態では、はさみ32の近傍領域が、フラッシング(明滅)45によって表示される。
【0072】
前述のように、LCD5の表示画面のうち、利用者が選択した電子ファイルに関連付けられている物体の位置または近傍領域をフラッシング(明滅)45によって表示するので、利用者は、LCD5の表示画面上に載置されている物体が複数あり、利用者自身が選択した電子ファイルに関連付けられている物体がいずれであるかを忘れてしまったときでも、利用者は、前記電子ファイルに関連付けられている物体を容易かつ即座に把握することができる。
【0073】
図14は、本発明の第5の実施の形態に係り、特定の物体に関連付けられた他の物体または電子ファイルの近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。図15は、特定の物体が選択された状態を表すLCD5の平面図である。図16は、LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。図17は、LCD5の表示画面上に載置された物体に関連付けられた電子ファイルを表示するLCD5の平面図である。図18は、LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域および電子ファイルの近傍領域における表示状態を変更する形態を表すLCD5の平面図である。
【0074】
図14に示す処理は、CPU10によって実行される。図14に示す処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の図示外の主電源をオフからオンにする条件で、図14に示す処理が開始される。
【0075】
ステップg1では、LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的にはフラッシングをするか否かを設定するためのフラッシングメニュー画面50を表示(図15〜18参照)して、ステップg2に進む。
【0076】
ステップg2では、関連する他の物体を検索したい特定の物体を選択したか否かを判断し、前記検索したい特定の物体が選択されると、ステップg3に進み、前記検索したい特定の物体が選択されないと、本処理を終了する。
【0077】
ステップg3では、次のステップg4で物体があるか否かを判断すべく、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップg4に進む。ステップg4では、前記センシングの結果、表示画面上に他の物体があるか否かを判断し、表示画面上に他の物体があると判断されるとステップg5に進み、表示画面上に他の物体がないと判断されると本処理を終了する。
【0078】
ステップg5では、前述の位置認識処理プログラム21を実行することによって、前記他の物体の位置を認識して、ステップg6に進む。読取工程に相当するステップg6では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、前記他の物体の形状を認識して、ステップg7に進む。ステップg7では、前述の情報検索処理プログラム24を実行することによって、特定の物体と関連付けされた前記他の物体を検索して、ステップg8に進む。
【0079】
ステップg8では、特定の物体と関連付けされた電子ファイルが表示されているか否かを判断し、前記電子ファイルが表示されている場合は、ステップg9に進み、前記電子ファイルが表示されていない場合は、ステップg10に進む。
【0080】
ステップg9では、特定の物体と関連付けされている電子ファイル、本実施の形態では「File E」の近傍領域の表示状態を変更、具体的には前記部分をフラッシング(明滅)45によって表示させて、ステップg10に進む。
【0081】
ステップg10では、電子ファイルEと関連付けされた物体があるか否かを判断し、前記関連付けされた物体があると判断されると、ステップg11に進み、前記関連付けされた物体がないと判断されると、本処理を終了する。
【0082】
ステップg11では、選択された特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更、具体的には前記部分をフラッシング(明滅)45によって表示させる。その後、本処理を終了する。
【0083】
前述のように本実施の形態では、図15に示すように、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体、本実施の形態では鉛筆30を選択し、表示画面上に表示されるフラッシングメニュー画面50で「フラッシング」を選択すると、図16に示すように、表示画面上に載置される特定の物体である鉛筆30とは異なる他の物体のうち、鉛筆30に関連付けられている物体、本実施の形態では、消しゴム31の近傍領域が、フラッシング(明滅)45によって表示される。
【0084】
したがって利用者は、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体に関連付けられている他の物体がいずれであるかを忘れてしまったときでも、表示画面のうち、前記他の物体の近傍領域がフラッシング(明滅)45によって表示されるので、前記他の物体を容易かつ即座に把握することができる。
【0085】
また本実施の形態では、図17に示すように、2つの電子ファイル、具体的には「File D」および「File E」が表示画面上に表示された状態で、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体、本実施の形態では鉛筆30を選択し、表示画面上に表示されるフラッシングメニュー画面50で「フラッシング」を選択すると、図18に示すように、表示画面上に載置される特定の物体である鉛筆30とは異なる他の物体および電子ファイルのうち、鉛筆30に関連付けられている物体、本実施の形態では、消しゴム31の近傍領域と、鉛筆30に関連付けられている電子ファイルである「File E」の近傍領域とが、フラッシング(明滅)45によって表示される。
【0086】
したがって利用者は、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体に関連付けられている他の物体がいずれであるか、および前記特定の物体に関連付けられ、前記表示画面に表示されている電子ファイルがいずれであるかを忘れてしまったときでも、前記表示画面のうち、前記特定の物体に関連付けられている前記他の物体の位置または近傍領域と、前記特定の物体に関連付けられている前記電子ファイルの近傍領域とがフラッシング(明滅)45によって表示されるので、利用者は前記特定の物体に関連付けられている前記他の物体および前記電子ファイルを容易かつ即座に把握することができる。
【0087】
図19は、関連付けテーブルが保持される例を示す図である。鉛筆30には、ファイル「File A」、ファイル「File B」、ファイル「File C」が関連付けられている。はさみ32には、ファイル「File D」が関連付けられている。鉛筆30および消しゴム31には、ファイル「File E」が関連付けられている。鉛筆30、はさみ32および消しゴム31をLCD5の表示画面上に載置したタイミングで、ファイル「File A」、ファイル「File B」、ファイル「File C」、ファイル「File D」およびファイル「File E」を、前記表示画面上に表示してもよい。
【0088】
本発明の情報処理装置1によれば、センサ6および内蔵カメラ7によって、LCD5の表示画面上に載置される物体の形状を読取る。センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報および予め定める情報は、それぞれ関連付けられて補助記憶部15に記憶される。
【0089】
補助記憶部15に記憶される形状情報のうち、センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報に関連付けられて記憶される予め定める情報、具体的には書類および写真などの電子ファイルは、LCD5によって、画像として表示される。
【0090】
このように、センサ6および内蔵カメラ7によって物体の形状を読取るだけで、読取られた物体の形状を表す形状情報に関連付けられて補助記憶部15に記憶される予め定める情報を、画像としてLCD5に表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望する予め定める情報に簡単にアクセスすることができ、予め定める情報の検索時間および労力を前記従来の技術に比べて低減することができる。
【0091】
また本発明の情報処理装置1によれば、センサ6および内蔵カメラ7によって、LCD5の表示画面上に載置される物体の形状が読取られ、補助記憶部15に記憶される形状情報のうち、前記読取られた物体の形状を表す形状情報に関連付けられて記憶される予め定める情報、具体的には書類および写真などの電子ファイルが画像としてLCD5に表示される。
【0092】
したがってLCD5に表示される電子ファイルを表す画像の近くに物体があるので、利用者は、物体と電子ファイルを表す画像とを参照し易い。これによって利用者は、たとえば電子ファイルにアクセスするために用いられ、かつ前記電子ファイルに関連する形状情報の物体を容易に確認することができ、利便性を向上することができる。
【0093】
また本発明の情報処理装置1によれば、補助記憶部15に記憶される予め定める情報、具体的には電子ファイルを、画像としてLCD5に表示しているとき、前記画像を指定する指定情報が、周辺機器入力部12によって入力される。CPU10は、前記指定情報が指定する画像を表す電子ファイルに関連付けて補助記憶部15に記憶される形状情報を取得する。LCD5の表示画面上における物体の位置は、センサ6によって検出される。センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報と、CPU10によって取得された形状情報とが一致したとき、LCD5は、表示画面のうち、センサ6によって検出された物体の位置または近傍領域をフラッシング(明滅)45によって表示させるなどして、表示状態を変更するように、CPU10および表示制御部13によって制御される。
【0094】
このように、LCD5の表示画面のうち、前記予め定める情報である電子ファイルに関連する物体の位置または近傍領域の表示状態が変更されるので、利用者は、LCD5の表示画面上に載置される物体のうち、電子ファイルにアクセスするために用いられ、かつ前記電子ファイルに関連する物体がいずれであるかを忘れてしまったときでも、前記電子ファイルに関連する形状情報の物体を容易かつ即座に確認することができる。
【0095】
また本発明の情報処理装置1によれば、センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報と、CPU10によって取得された形状情報とが一致したとき、LCD5は、センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報に関連付けられて補助記憶部15に記憶され、LCD5の表示画面に表示される前記予め定める情報、具体的には電子ファイルを表す画像の近傍領域をフラッシング(明滅)45によって表示させるなどして、センサ6によって検出された物体の位置または近傍領域の表示状態を変更するように、表示制御部13によって制御される。
【0096】
このように、関連する複数の物体の位置または近傍領域の表示状態が変更されるので、利用者は、LCD5の表示画面上に載置される複数の物体それぞれの関連を忘れてしまったときでも、関連する物体を容易かつ即座に確認することができる。
【0097】
また本発明の情報処理方法によれば、表示画面上に載置される物体の形状を読取る読取工程と、読取工程で読取られた物体の形状を表す形状情報に関連付けられて補助記憶部15に記憶されるデータ、具体的には書類および写真などの電子ファイルを表示する表示工程と、表示工程で表示されたデータを指定するデータ指定工程と、データ指定工程で指定されたデータに関連付けて補助記憶部15に記憶される形状情報を取得する取得工程と、表示画面上における物体の位置を検出する位置検出工程と、読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを有する。
【0098】
このように、読取工程で、LCD5の表示画面上に載置される物体の形状を読取るだけで、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶される電子ファイルを表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望する電子ファイルに簡単にアクセスすることができ、電子ファイルの検索時間および労力を前記従来の技術に比べて低減することができる。
【0099】
また本発明のプログラムによれば、コンピュータに情報処理装置1の機能を実行させることができる。これによって、操作に不慣れな利用者であっても、利用者が所望する予め定める情報に簡単にアクセスすることができ、予め定める情報の検索時間および労力を前記従来の技術に比べて低減することができる。
【0100】
前述の各実施の形態は、本発明の例示に過ぎず、発明の範囲内において構成を変更することができる。前述の各実施の形態では、CPU10が、主記憶部14に記憶されている形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像の形状を認識するように構成されているけれども、複数の物体の形状が全く同一であるときには、これらを識別することができない。したがってこのことを考慮して、複数の物体の形状が全く同一であるときには、物体に、タグ情報、具体的には1次元バーコード、QRコードおよびQRコード以外の2次元バーコードなどを設ければよい。これによって、センサ6または内蔵カメラ7によって検出された前記タグ情報に基づいて、複数の同一形状の物体を識別することができる。
【0101】
また前述の各実施の形態では、選択された電子ファイルに関連付けられた物体の位置または近傍領域の表示状態の変更に際し、フラッシング(明滅)45を行う構成を示したが、必ずしもフラッシング(明滅)45を行う構成に限定されない。たとえば、前記物体の位置または近傍領域における表示色を変化させる構成にしてもよい。このように前記物体の位置または近傍領域における表示色を変化させる構成にした場合でも、前述の各実施の形態と同様の効果を得ることができる。
【図面の簡単な説明】
【0102】
【図1】本発明の実施の一形態である情報処理装置1の電気的構成を示すブロック図である。
【図2】主記憶部14に記憶される動作プログラム20の構成を示す図である。
【図3】本発明の第1の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。
【図4】第1の実施の形態に係る第1登録処理に関するCPU10の処理手順を示すフローチャートである。
【図5】所望の物体を、電子ファイルに関連付ける形態を表すLCD5の平面図である。
【図6】本発明の第2の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。
【図7】第2の実施の形態に係る第2登録処理に関するCPU10の処理手順を示すフローチャートである。
【図8】所望の物体を予め定める登録領域40に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。
【図9】所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。
【図10】本発明の第3の実施の形態に係り、物体を載置すると、物体に関連付けられた予め定める情報を表示させる処理に関するCPU10の処理手順を示すフローチャートである。
【図11】本発明の第4の実施の形態に係り、電子ファイルに関連付けられた形状情報が表す物体の近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。
【図12】一つの電子ファイルと複数の物体との関係を表すLCD5の平面図である。
【図13】LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。
【図14】本発明の第5の実施の形態に係り、特定の物体に関連付けられた他の物体または電子ファイルの近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。
【図15】特定の物体が選択された状態を表すLCD5の平面図である。
【図16】LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。
【図17】LCD5の表示画面上に載置された物体に関連付けられた電子ファイルを表示するLCD5の平面図である。
【図18】LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域および電子ファイルの近傍領域における表示状態を変更する形態を表すLCD5の平面図である。
【図19】関連付けテーブルが保持される例を示す図である。
【符号の説明】
【0103】
1 情報処理装置
2 入力・表示系
3 制御系
5 液晶ディスプレイ(LCD)
6 センサ
7 内蔵カメラ
8 バックライト
10 中央演算処理装置(CPU)
11 センサ入力部
12 周辺機器入力部
13 表示制御部
14 主記憶部
15 補助記憶部
16 通信部
17 バス
【技術分野】
【0001】
本発明は、物体の形状を読取り、読取られた物体の形状に関連付けられた情報を表示させる情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
パーソナルコンピュータなどの情報処理装置の利用者は、記憶部に記憶されている特定のファイルにアクセスするとき、階層構造のフォルダを順次開いて、特定のファイルを検索している。また、特定のファイルを閲覧したり、編集および書き換えをするために、対応するコマンドやアプリケーションを選択したり、予め関連付けたりしている。
【0003】
従来の技術の情報処理装置として、特許文献1の指紋照合装置は、指紋とコマンドを対応づけておき、指紋認証と共にコマンド実行を行うように構成される。また特許文献2の電子ボードは、入力装置(物)とコマンドを対応付けておき、道具(物)の位置、動きを検出して、予め登録されている機能を実行するように構成される。
【0004】
【特許文献1】特開平11−250251号公報
【特許文献2】特開平5−224853号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
前述の特許文献1,2では、操作に慣れていない利用者にとっては、特定のファイルを検索して、そのファイルへアクセスすることが困難であるという問題がある。また特許文献1,2では、利用者が実際に装置を操作してみなければ、いずれの指紋または物体が、いずれのコマンドに対応しているかを確認することができず、指紋または物体とコマンドとの対応関係を容易かつ即座に把握することができないという問題がある。
【0006】
本発明の目的は、簡単に所望の情報にアクセスすることができ、かつ所望の情報に関連付けされた物体を容易に確認することができる情報処理装置、情報処理方法およびプログラムを提供することである。
【課題を解決するための手段】
【0007】
本発明は、表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶手段と、
記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示する表示手段とを含む情報処理装置であって、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段とを含むことを特徴とする情報処理装置である。
【0008】
また本発明は、表示画面上に載置される物体を指定する物体指定手段をさらに備え、
前記記憶手段は、複数の物体の形状情報を関連付けて記憶し、
前記取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得し、
前記制御手段は、前記読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、前記位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、表示手段を制御することを特徴とする。
【0009】
また本発明は、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに実行させるための情報処理方法であって、
表示画面上に載置される物体の形状を読取る読取工程と、
読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示工程と、
表示工程で表示されたデータを指定するデータ指定工程と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得工程と、
表示画面上における物体の位置を検出する位置検出工程と、
読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを含むことを特徴とする情報処理方法である。
【0010】
また本発明は、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータを、
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段として機能させることを特徴とするプログラムである。
【発明の効果】
【0011】
本発明によれば、読取手段によって、表示画面上に載置される物体の形状を読取る。読取手段によって読取られた物体の形状を表す形状情報とデータとは、それぞれ関連付けられて記憶手段に記憶される。記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータ、具体的には書類および写真などの電子ファイルは、表示手段によって表示される。
【0012】
表示手段に表示されたデータは、データ指定手段によって指定される。取得手段は、データ指定手段によって指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する。表示画面上における物体の位置は、位置検出手段によって検出される。読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、表示手段は、表示画面のうち、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、制御手段によって制御される。
【0013】
このように、読取手段によって、表示画面上に載置される物体の形状を読取るだけで、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶手段に記憶されるデータを表示手段に表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。
【0014】
また表示手段に表示されるデータの近くに物体があるので、利用者は、物体とデータとを参照し易い。たとえば予め定める情報にアクセスするために用いられ、かつ前記データに関連する形状情報の物体を容易に確認することができる。
【0015】
また表示画面のうち、前記データに関連する物体の位置または近傍領域の表示状態が変更されるので、利用者は、表示画面上に載置される物体のうち、予め定める情報にアクセスするために用いられ、かつ前記データに関連する物体がいずれであるかを忘れてしまったときでも、前記データに関連する形状情報の物体を容易かつ即座に確認することができる。
【0016】
また本発明によれば、表示画面上に載置される物体は、物体指定手段によって指定される。記憶手段には、複数の物体の形状情報が関連付けられて記憶される。取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得する。読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、表示手段は、位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、制御手段によって制御される。
【0017】
このように、関連する複数の物体の位置または近傍領域の表示状態が変更されるので、利用者は、表示画面上に載置される複数の物体それぞれの関連を忘れてしまったときでも、関連する物体を容易かつ即座に確認することができる。
【0018】
また本発明によれば、読取工程では、表示画面上に載置される物体の形状を読取る。表示工程では、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータ、具体的には書類および写真などの電子ファイルが表示される。
【0019】
データ指定工程では、表示工程で表示されたデータを指定する。取得工程では、データ指定工程で指定されたデータに関連付けて記憶部に記憶される形状情報を取得する。位置検出工程では、表示画面上における物体の位置を検出する。制御工程では、読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する。
【0020】
このように、読取工程で、表示画面上に載置される物体の形状を読取るだけで、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。
【0021】
また本発明によれば、物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに、表示画面上に載置される物体の形状を読取る読取手段と、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、表示手段に表示されたデータを指定するデータ指定手段と、指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、表示画面上における物体の位置を検出する位置検出手段と、読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段としての機能を実行させることができる。
【0022】
これによって、操作に不慣れな利用者であっても、利用者が所望するデータに簡単にアクセスすることができ、データの検索時間および労力を前記従来の技術に比べて低減することができる。
【発明を実施するための最良の形態】
【0023】
以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。以下の説明においては、各形態で先行する形態で説明している事項に対応している部分には同一の参照符を付し、重複する説明を略する場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。
【0024】
図1は、本発明の実施の一形態である情報処理装置1の電気的構成を示すブロック図である。情報処理装置1は、入力・表示系2と制御系3とを有する。入力・表示系2は、液晶ディスプレイ(Liquid Crystal Display;略称:LCD)5、センサ6、内蔵カメラ7および光源であるバックライト8を有する。制御系3は、制御手段である中央演算処理装置(Central Processing Unit;略称:CPU)10、センサ入力部11、周辺機器入力部12、表示制御部13、主記憶部14、補助記憶部15、通信部16およびバス17を有する。制御系3のうちCPU10、主記憶部14、補助記憶部15およびバス17は、たとえばマイクロコンピュータによって実現される。
【0025】
LCD5は、その表示部に、電子ファイルなどの情報を画像として表示する。センサ6は、LCD5の表示画面上に載置される物体、文字およびダグの少なくともいずれか一つのパターンを検出する。センサ6は、薄膜トランジスタ(Thin Film Transistor;略称:TFT)アレイを用いたイメージセンサ、赤外線センサ、デジタイザ、タブレットなどによって実現される。センサ6は、低解像度のセンサと高解像度のセンサとを個別に構成してもよいし、一体形で構成してもよい。
【0026】
内蔵カメラ7は、表示画面上に載置される物体、文字およびタグの少なくともいずれか一つのパターンを検出する。内蔵カメラ7は、センサ6と一体形で構成してもよい。バックライト8は、液晶表示を行うための光源となる。光源としては、バックライト8に限らず、LCD5が反射形で構成される場合は、フロントライト方式であってもよい。
【0027】
制御系のうちCPU10は、バス17を介して、センサ入力部11、周辺機器入力部12、表示制御部13、主記憶部14、補助記憶部15および通信部16と電気的に接続されている。CPU10は、その内部に記憶される制御プログラムに基づいて、センサ入力部11、周辺機器入力部12、表示制御部13、主記憶部14、補助記憶部15および通信部16を含むハードウェア資源を統括的に制御する。センサ入力部11には、センサ6および内蔵カメラ7が電気的に接続されている。センサ入力部11は、センサ6および内蔵カメラ7からの出力を電気信号に変換してデータ化する。
【0028】
周辺機器入力部12には、キーボード、ポインティングデバイス、外部カメラ、マイクロフォンなどの周辺機器がそれぞれ電気的に接続可能に構成されている。周辺機器入力部12は、周辺機器からの出力を電気信号に変換してデータ化する。表示制御部13には、LCD5およびバックライト8が電気的に接続されている。表示制御部13は、CPU10からの指令に従って、LCD5およびバックライト8を制御する。
【0029】
主記憶部14には、情報処理装置1における複数の処理動作を実現させるために必要な動作プログラムが記憶されている。補助記憶部15には、補助的に動作に必要な情報、本実施の形態では電子ファイルが記憶されている。通信部16は、外部の機器と通信を行う。
【0030】
本実施の形態において、読取手段は、センサ6および内蔵カメラ7に相当する。記憶手段は、補助記憶部15に相当する。表示手段は、LCD5に相当する。データ指定手段および物体指定手段は、周辺機器入力部12に相当する。取得手段は、CPU10において、補助記憶部15に記憶された形状情報を取得する処理に相当する。位置検出手段は、センサ6に相当する。制御手段は、CPU10および表示制御部13に相当する。
【0031】
図2は、主記憶部14に記憶される動作プログラム20の構成を示す図である。本実施の形態の動作プログラム20は、位置認識処理プログラム21、タグ認識処理プログラム22、形状認識処理プログラム23、情報検索処理プログラム24およびリンク生成処理プログラム25を含む。
【0032】
CPU10が位置認識処理プログラム21を実行することによって、センサ6または内蔵カメラ7によって検出された画像情報の位置を認識する位置認識処理が実現される。CPU10がタグ認識処理プログラム22を実行することによって、センサ6または内蔵カメラ7によって検出されたタグ情報を認識する。CPU10が形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像の形状を認識する。CPU10が情報検索処理プログラム24を実行することによって、主記憶部14、補助記憶部15、または図示外の外部記録装置内の情報を検索する。CPU10がリンク生成処理プログラム25を実行することによって、センサ6または内蔵カメラ7によって検出された画像情報と、内部もしくは外部のファイルデータとを関連付ける。
【0033】
図3は、本発明の第1の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。図4は、第1の実施の形態に係る第1登録処理に関するCPU10の処理手順を示すフローチャートである。図5は、所望の物体を、電子ファイルに関連付ける形態を表すLCD5の平面図である。図3および図4に示す各処理は、CPU10によって実行される。図3および図4に示す各処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の図示外の主電源をオフからオンにする条件、図示外のタイマーによる一定時間間隔、図示外の人感センサなどによる利用者の接近もしくは動きを検知した条件において、図3に示す処理が開始される。
【0034】
ステップa1では、次のステップa2で物体があるか否かを判断すべく、情報処理装置1の表示手段であるLCD5の表示画面上の状態をセンサ6でセンシングして、ステップa2に進む。
【0035】
ステップa2では、前記センシングの結果、LCD5の表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップa3に進み、表示画面上に物体がないと判断されると本処理を終了する。
【0036】
ステップa3では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップa4に進む。ステップa4では、LCD5の表示画面に表示される電子ファイルの位置または近傍領域に、前記物体があるか否かを判断し、物体があると判断されるとステップa5に進み、物体がないと判断されると本処理を終了する。
【0037】
ステップa5では、表示画面上に載置される物体、本実施の形態では鉛筆30、消しゴム31およびはさみ32の近傍に、登録選択メニュー画面35を表示(図5参照)して、ステップa6に進む。ここで、登録選択メニュー画面35は、図5に示すように、LCD5の表示画面上に載置される物体の形状を表す形状情報、および表示画面に表示されるデータである電子ファイルを関連付けて補助記憶部15に記憶させる設定項目「登録」と、前記形状情報と電子ファイルとの関連付けの設定を解除する設定項目「キャンセル」とを有する。以下の説明では、物体の形状を表す形状情報に関連付けて記憶されるデータを、「予め定める情報」という場合がある。
【0038】
登録選択メニュー画面35の設定項目「登録」を選択することによって、前記形状情報と電子ファイルとを関連付けて補助記憶部15に記憶させることができる。登録選択メニュー画面35の設定項目「キャンセル」を選択することによって、前記形状情報と電子ファイルとの関連付けの設定を解除することができる。
【0039】
ステップa6では、登録選択メニュー画面35で「登録」が選択されたか否かを判断し、「登録」が選択された場合はステップa7に進み、選択されなかった場合は本処理を終了する。
【0040】
ステップa7では、後述する第1登録処理のサブルーチンに進み、次にステップa8に進む。ステップa8では、登録をしたい全ての電子ファイルに対して登録作業を終えたか否かを判断し、登録をしたい全ての電子ファイルに対して登録作業を終えた場合は、本処理を終了し、登録を希望するいずれかの電子ファイルの登録作業が終えていない場合は、ステップa5に戻る。
【0041】
前記ステップa7に移行する条件で、図4に示す第1登録処理が開始される。ステップb1では、登録対象の物体を選択して、ステップb2に進む。本実施の形態では、図5に示すように、登録対象の物体として、鉛筆30および消しゴム31が選択されたとき、LCD5の表示画面のうち、表示画面上に載置される鉛筆30および消しゴム31の近傍領域の表示状態を変化させる。たとえば、LCD5の表示画面において、鉛筆30および消しゴム31の近傍領域を枠で囲ったり、表示色を変化させる。当該近傍領域をフラッシング(明滅)表示させるようにしてもよい。
【0042】
したがって利用者は、LCD5の表示画面を見るだけで、利用者自身が選択した登録対象の物体が、情報処理装置1に入力されているか否かを即座に認識することができる。これによって登録対象の物体が誤入力された場合でも、利用者は物体を選択入力する作業を迅速に行うことができる。
【0043】
ステップb2では、LCD5の表示画面に表示される電子ファイルの中から、ステップb1で選択された物体、本実施の形態では鉛筆30および消しゴム31と関連付けする電子ファイル、本実施の形態では「File E」を選択して、ステップb3に進む。
【0044】
ステップb3では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、物体の形状を認識して、ステップb4に進む。ステップb4では、リンク生成処理プログラム25を実行することによって、物体の形状を表す形状情報と予め定める情報である電子ファイルとを関連付けて補助記憶部15に記憶させる。その後、本処理を終了する。このようにして本実施の形態では、鉛筆30および消しゴム31と、電子ファイルである「File E」とが関連付けられて、補助記憶部15に記憶される。図4に示すフローチャートのステップb3は、読取工程に相当する。
【0045】
前述のように本実施の形態では、登録選択メニュー画面35の「登録」を選択することによって、選択された物体と電子ファイルとを関連付けて補助記憶部15に記憶させることができる。さらに本実施の形態では、予め物体と電子ファイルとが関連付けられている状態で、登録選択メニュー画面35の「キャンセル」を選択することによって、物体と電子ファイルとの関連付けを解除し、新たに登録をし直すことが可能となる。
【0046】
図6は、本発明の第2の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。図7は、第2の実施の形態に係る第2登録処理に関するCPU10の処理手順を示すフローチャートである。図8は、所望の物体を予め定める登録領域40に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。図6および図7に示す各処理は、CPU10によって実行される。図6および図7に示す各処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の主電源をオフからオンにする条件で、図6に示す処理が開始される。
【0047】
ステップc1では、周辺機器入力部12を操作することによって、LCD5の表示画面上に、登録選択メニュー画面35を表示して、ステップc2に進む。ステップc2では、登録選択メニュー画面35で「登録」が選択されたか否かを判断し、「登録」が選択された場合はステップc3に進み、選択されなかった場合は本処理を終了する。
【0048】
ステップc3では、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップc4に進む。ステップc4では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップc5に進む。
【0049】
ステップc5では、物体が所定の場所にあるか否かを判断する。本実施の形態では、図8に示すように、物体が予め定める登録領域(以下、単に「登録領域」という)40にあるか否かを判断し、物体が登録領域40にあると判断されるとステップc6に進み、物体が登録領域40にないと判断されると本処理を終了する。
【0050】
ステップc6では、後述する第2登録処理のサブルーチンに進み、次にステップc7に進む。ステップc7では、登録が終了したか否かを判断し、登録が終了したと判断した場合は本処理を終了し、登録が終了していないと判断した場合はステップc1に戻る。
【0051】
前記ステップc6に移行する条件で、図7に示す第2登録処理が開始される。ステップd1では、形状認識処理によって、所定の場所、本実施の形態では予め定める登録領域40に載置される物体の形状を認識して、ステップd2に進む。
【0052】
ステップd2では、表示画面上に載置される物体の位置と、ステップd1で認識した物体の形状とから、物体を認識して、ステップd3に進む。ステップd3では、リンク生成処理プログラム25を実行することによって、物体の形状と電子ファイルとを関連付けて補助記憶部15に記憶させる。その後、本処理を終了する。図7に示すフローチャートのステップd1は、読取工程に相当する。
【0053】
前述のように本実施の形態では、図8に示すように、表示画面上に、電子ファイルである「File E」が表示されているとき、この電子ファイルに関連付けたい所望の物体、たとえば鉛筆30および消しゴム31を予め定める登録領域40に載置し、表示画面上に表示される登録選択メニュー画面35で「登録」を選択することによって、物体である鉛筆30および消しゴム31と、電子ファイルである「File E」とが関連付けられて、補助記憶部15に記憶される。
【0054】
前述のように予め定める登録領域40を設けることによって、一つの電子ファイルに複数の物体を関連付けるとき、LCD5の表示画面上の任意の位置に載置された複数の物体に対して個別に前記関連付けの作業をする必要がある図5に示す形態に比べて、前記関連付けの作業の手間を軽減することができ、前記関連付けの作業に要する時間を短縮することができる。
【0055】
図9は、所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける場合、CPU10は、図6のステップc5の処理以外は、図6および図7と同様の処理手順で動作する。したがって図8に示す形態と処理が異なる部分についてのみ説明し、図8に示す形態と同様の部分の説明は省略する。
【0056】
所望の物体、本実施の形態では鉛筆30および消しゴム31を、電子ファイルである「File E」の表示部分に載置して、前記所望の物体を電子ファイルに関連付ける場合、図6のステップc5では、図9に示すように、物体が電子ファイルの表示部部分にあるか否かを判断し、物体が前記表示部分にあると判断されると、ステップc6に進み、物体が前記表示部分にないと判断されると、本処理を終了する。
【0057】
前述のように本実施の形態では、図9に示すように、電子ファイルである「File
E」の表示部分に、鉛筆30および消しゴム31などの所望の物体を載置し、表示画面上に表示される登録選択メニュー画面35で「登録」を選択することによって、物体である鉛筆30および消しゴム31と、電子ファイル、たとえば「File E」とを関連付けて、補助記憶部15に記憶することができる。
【0058】
前述のように利用者は、LCD5の表示画面に表示される電子ファイルの表示部分に、所望の物体、換言すれば前記電子ファイルに関連付けをしたい物体を載置するだけで、前記電子ファイルに前記物体を比較的容易に関連付けることができる。これによって利用者による電子ファイルと物体との関連付けの作業に対する利便性を、図8に示す形態に比べてさらに向上することができる。
【0059】
図10は、本発明の第3の実施の形態に係り、物体を載置すると、物体に関連付けられた予め定める情報を表示させる処理に関するCPU10の処理手順を示すフローチャートである。本処理は、CPU10によって実行される。本処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の主電源をオフからオンにする条件で、図10に示す処理が開始される。
【0060】
ステップe1では、次のステップで物体があるか否かを判断すべく、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップe2に進む。ステップe2では、前記センシングの結果、表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップe3に進み、表示画面上に物体がないと判断されると本処理を終了する。
【0061】
ステップe3では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップe4に進む。ステップe4では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、物体の形状を認識して、ステップe5に進む。
【0062】
ステップe5では、前述の情報検索処理プログラム24を実行することによって、物体の形状を表す形状情報と関連付けされた電子ファイルを検索して、ステップe6に進む。ステップe6では、前記物体の形状を表す形状情報と関連付けられた電子ファイルがあるか否かを判断し、前記電子ファイルがあると判断されると、ステップe7に進み、前記電子ファイルがないと判断されると、本処理を終了する。
【0063】
ステップe7では、物体の形状を表す形状情報と関連付けられた電子ファイルを、LCD5の表示画面に表示させる。その後本処理を終了する。図10に示すフローチャートのステップe4は、読取工程に相当し、ステップe7は、表示工程に相当する。
【0064】
図11は、本発明の第4の実施の形態に係り、電子ファイルに関連付けられた形状情報が表す物体の近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。図12は、一つの電子ファイルと複数の物体との関係を表すLCD5の平面図である。図13は、LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。図11に示す処理は、CPU10によって実行される。図11に示す処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の図示外の主電源をオフからオンにする条件で、図11に示す処理が開始される。
【0065】
ステップf1では、LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的にはフラッシング(明滅)をするか否かを設定するためのフラッシングメニュー画面50を表示(図12および図13参照)して、ステップf2に進む。ここで、フラッシングメニュー画面50は、図12および図13に示すように、画像をフラッシング(明滅)45によって表示させる設定項目「フラッシング」と、フラッシングの設定を解除する設定項目「キャンセル」とを有する。フラッシングメニュー画面50の設定項目「フラッシング」を選択することによって、画像を明滅によって表示することができる。フラッシングメニュー画面50の設定項目「キャンセル」を選択することによって、フラッシングの設定を解除することができる。
【0066】
ステップf2では、関連する物体を検索したい電子ファイルを選択したか否かを判断し、前記検索したい電子ファイルが選択されると、ステップf3に進み、前記検索したい電子ファイルが選択されないと、本処理を終了する。
【0067】
ステップf3では、次のステップf4で物体があるか否かを判断すべく、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップf4に進む。ステップf4では、前記センシングの結果、表示画面上に物体があるか否かを判断し、表示画面上に物体があると判断されるとステップf5に進み、表示画面上に物体がないと判断されると本処理を終了する。
【0068】
ステップf5では、前述の位置認識処理プログラム21を実行することによって、物体の位置を認識して、ステップf6に進む。読取工程に相当するステップf6では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、物体の形状を認識して、ステップf7に進む。
【0069】
ステップf7では、前述の情報検索処理プログラム24を実行することによって、電子ファイルと関連付けされた物体を検索して、ステップf8に進む。ステップf8では、電子ファイルと関連付けされた物体があるか否かを判断し、前記関連付けされた物体があると判断されると、ステップf9に進み、前記関連付けされた物体がないと判断されると、本処理を終了する。
【0070】
ステップf9では、選択された電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的には前記部分をフラッシング(明滅)45によって表示させる。その後、本処理を終了する。
【0071】
前述のように本実施の形態では、図12に示すように、LCD5の表示画面に表示される電子ファイルである「File D」を選択し、表示画面上に表示されるフラッシングメニュー画面50で「フラッシング」を選択すると、図13に示すように、表示画面上に載置される物体のうち、電子ファイルである「File D」に関連付けられている物体、本実施の形態では、はさみ32の近傍領域が、フラッシング(明滅)45によって表示される。
【0072】
前述のように、LCD5の表示画面のうち、利用者が選択した電子ファイルに関連付けられている物体の位置または近傍領域をフラッシング(明滅)45によって表示するので、利用者は、LCD5の表示画面上に載置されている物体が複数あり、利用者自身が選択した電子ファイルに関連付けられている物体がいずれであるかを忘れてしまったときでも、利用者は、前記電子ファイルに関連付けられている物体を容易かつ即座に把握することができる。
【0073】
図14は、本発明の第5の実施の形態に係り、特定の物体に関連付けられた他の物体または電子ファイルの近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。図15は、特定の物体が選択された状態を表すLCD5の平面図である。図16は、LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。図17は、LCD5の表示画面上に載置された物体に関連付けられた電子ファイルを表示するLCD5の平面図である。図18は、LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域および電子ファイルの近傍領域における表示状態を変更する形態を表すLCD5の平面図である。
【0074】
図14に示す処理は、CPU10によって実行される。図14に示す処理は、情報処理装置1の動作中に繰返し実行される。たとえば情報処理装置1の図示外の主電源をオフからオンにする条件で、図14に示す処理が開始される。
【0075】
ステップg1では、LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更、具体的にはフラッシングをするか否かを設定するためのフラッシングメニュー画面50を表示(図15〜18参照)して、ステップg2に進む。
【0076】
ステップg2では、関連する他の物体を検索したい特定の物体を選択したか否かを判断し、前記検索したい特定の物体が選択されると、ステップg3に進み、前記検索したい特定の物体が選択されないと、本処理を終了する。
【0077】
ステップg3では、次のステップg4で物体があるか否かを判断すべく、LCD5の表示画面上の状態をセンサ6でセンシングして、ステップg4に進む。ステップg4では、前記センシングの結果、表示画面上に他の物体があるか否かを判断し、表示画面上に他の物体があると判断されるとステップg5に進み、表示画面上に他の物体がないと判断されると本処理を終了する。
【0078】
ステップg5では、前述の位置認識処理プログラム21を実行することによって、前記他の物体の位置を認識して、ステップg6に進む。読取工程に相当するステップg6では、形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像に基づいて、前記他の物体の形状を認識して、ステップg7に進む。ステップg7では、前述の情報検索処理プログラム24を実行することによって、特定の物体と関連付けされた前記他の物体を検索して、ステップg8に進む。
【0079】
ステップg8では、特定の物体と関連付けされた電子ファイルが表示されているか否かを判断し、前記電子ファイルが表示されている場合は、ステップg9に進み、前記電子ファイルが表示されていない場合は、ステップg10に進む。
【0080】
ステップg9では、特定の物体と関連付けされている電子ファイル、本実施の形態では「File E」の近傍領域の表示状態を変更、具体的には前記部分をフラッシング(明滅)45によって表示させて、ステップg10に進む。
【0081】
ステップg10では、電子ファイルEと関連付けされた物体があるか否かを判断し、前記関連付けされた物体があると判断されると、ステップg11に進み、前記関連付けされた物体がないと判断されると、本処理を終了する。
【0082】
ステップg11では、選択された特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更、具体的には前記部分をフラッシング(明滅)45によって表示させる。その後、本処理を終了する。
【0083】
前述のように本実施の形態では、図15に示すように、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体、本実施の形態では鉛筆30を選択し、表示画面上に表示されるフラッシングメニュー画面50で「フラッシング」を選択すると、図16に示すように、表示画面上に載置される特定の物体である鉛筆30とは異なる他の物体のうち、鉛筆30に関連付けられている物体、本実施の形態では、消しゴム31の近傍領域が、フラッシング(明滅)45によって表示される。
【0084】
したがって利用者は、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体に関連付けられている他の物体がいずれであるかを忘れてしまったときでも、表示画面のうち、前記他の物体の近傍領域がフラッシング(明滅)45によって表示されるので、前記他の物体を容易かつ即座に把握することができる。
【0085】
また本実施の形態では、図17に示すように、2つの電子ファイル、具体的には「File D」および「File E」が表示画面上に表示された状態で、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体、本実施の形態では鉛筆30を選択し、表示画面上に表示されるフラッシングメニュー画面50で「フラッシング」を選択すると、図18に示すように、表示画面上に載置される特定の物体である鉛筆30とは異なる他の物体および電子ファイルのうち、鉛筆30に関連付けられている物体、本実施の形態では、消しゴム31の近傍領域と、鉛筆30に関連付けられている電子ファイルである「File E」の近傍領域とが、フラッシング(明滅)45によって表示される。
【0086】
したがって利用者は、LCD5の表示画面上に載置されている複数の物体のうち、特定の物体に関連付けられている他の物体がいずれであるか、および前記特定の物体に関連付けられ、前記表示画面に表示されている電子ファイルがいずれであるかを忘れてしまったときでも、前記表示画面のうち、前記特定の物体に関連付けられている前記他の物体の位置または近傍領域と、前記特定の物体に関連付けられている前記電子ファイルの近傍領域とがフラッシング(明滅)45によって表示されるので、利用者は前記特定の物体に関連付けられている前記他の物体および前記電子ファイルを容易かつ即座に把握することができる。
【0087】
図19は、関連付けテーブルが保持される例を示す図である。鉛筆30には、ファイル「File A」、ファイル「File B」、ファイル「File C」が関連付けられている。はさみ32には、ファイル「File D」が関連付けられている。鉛筆30および消しゴム31には、ファイル「File E」が関連付けられている。鉛筆30、はさみ32および消しゴム31をLCD5の表示画面上に載置したタイミングで、ファイル「File A」、ファイル「File B」、ファイル「File C」、ファイル「File D」およびファイル「File E」を、前記表示画面上に表示してもよい。
【0088】
本発明の情報処理装置1によれば、センサ6および内蔵カメラ7によって、LCD5の表示画面上に載置される物体の形状を読取る。センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報および予め定める情報は、それぞれ関連付けられて補助記憶部15に記憶される。
【0089】
補助記憶部15に記憶される形状情報のうち、センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報に関連付けられて記憶される予め定める情報、具体的には書類および写真などの電子ファイルは、LCD5によって、画像として表示される。
【0090】
このように、センサ6および内蔵カメラ7によって物体の形状を読取るだけで、読取られた物体の形状を表す形状情報に関連付けられて補助記憶部15に記憶される予め定める情報を、画像としてLCD5に表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望する予め定める情報に簡単にアクセスすることができ、予め定める情報の検索時間および労力を前記従来の技術に比べて低減することができる。
【0091】
また本発明の情報処理装置1によれば、センサ6および内蔵カメラ7によって、LCD5の表示画面上に載置される物体の形状が読取られ、補助記憶部15に記憶される形状情報のうち、前記読取られた物体の形状を表す形状情報に関連付けられて記憶される予め定める情報、具体的には書類および写真などの電子ファイルが画像としてLCD5に表示される。
【0092】
したがってLCD5に表示される電子ファイルを表す画像の近くに物体があるので、利用者は、物体と電子ファイルを表す画像とを参照し易い。これによって利用者は、たとえば電子ファイルにアクセスするために用いられ、かつ前記電子ファイルに関連する形状情報の物体を容易に確認することができ、利便性を向上することができる。
【0093】
また本発明の情報処理装置1によれば、補助記憶部15に記憶される予め定める情報、具体的には電子ファイルを、画像としてLCD5に表示しているとき、前記画像を指定する指定情報が、周辺機器入力部12によって入力される。CPU10は、前記指定情報が指定する画像を表す電子ファイルに関連付けて補助記憶部15に記憶される形状情報を取得する。LCD5の表示画面上における物体の位置は、センサ6によって検出される。センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報と、CPU10によって取得された形状情報とが一致したとき、LCD5は、表示画面のうち、センサ6によって検出された物体の位置または近傍領域をフラッシング(明滅)45によって表示させるなどして、表示状態を変更するように、CPU10および表示制御部13によって制御される。
【0094】
このように、LCD5の表示画面のうち、前記予め定める情報である電子ファイルに関連する物体の位置または近傍領域の表示状態が変更されるので、利用者は、LCD5の表示画面上に載置される物体のうち、電子ファイルにアクセスするために用いられ、かつ前記電子ファイルに関連する物体がいずれであるかを忘れてしまったときでも、前記電子ファイルに関連する形状情報の物体を容易かつ即座に確認することができる。
【0095】
また本発明の情報処理装置1によれば、センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報と、CPU10によって取得された形状情報とが一致したとき、LCD5は、センサ6および内蔵カメラ7によって読取られた物体の形状を表す形状情報に関連付けられて補助記憶部15に記憶され、LCD5の表示画面に表示される前記予め定める情報、具体的には電子ファイルを表す画像の近傍領域をフラッシング(明滅)45によって表示させるなどして、センサ6によって検出された物体の位置または近傍領域の表示状態を変更するように、表示制御部13によって制御される。
【0096】
このように、関連する複数の物体の位置または近傍領域の表示状態が変更されるので、利用者は、LCD5の表示画面上に載置される複数の物体それぞれの関連を忘れてしまったときでも、関連する物体を容易かつ即座に確認することができる。
【0097】
また本発明の情報処理方法によれば、表示画面上に載置される物体の形状を読取る読取工程と、読取工程で読取られた物体の形状を表す形状情報に関連付けられて補助記憶部15に記憶されるデータ、具体的には書類および写真などの電子ファイルを表示する表示工程と、表示工程で表示されたデータを指定するデータ指定工程と、データ指定工程で指定されたデータに関連付けて補助記憶部15に記憶される形状情報を取得する取得工程と、表示画面上における物体の位置を検出する位置検出工程と、読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを有する。
【0098】
このように、読取工程で、LCD5の表示画面上に載置される物体の形状を読取るだけで、読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶される電子ファイルを表示させることができる。したがって操作に不慣れな利用者であっても、利用者が所望する電子ファイルに簡単にアクセスすることができ、電子ファイルの検索時間および労力を前記従来の技術に比べて低減することができる。
【0099】
また本発明のプログラムによれば、コンピュータに情報処理装置1の機能を実行させることができる。これによって、操作に不慣れな利用者であっても、利用者が所望する予め定める情報に簡単にアクセスすることができ、予め定める情報の検索時間および労力を前記従来の技術に比べて低減することができる。
【0100】
前述の各実施の形態は、本発明の例示に過ぎず、発明の範囲内において構成を変更することができる。前述の各実施の形態では、CPU10が、主記憶部14に記憶されている形状認識処理プログラム23を実行することによって、センサ6または内蔵カメラ7で読取られた画像の形状を認識するように構成されているけれども、複数の物体の形状が全く同一であるときには、これらを識別することができない。したがってこのことを考慮して、複数の物体の形状が全く同一であるときには、物体に、タグ情報、具体的には1次元バーコード、QRコードおよびQRコード以外の2次元バーコードなどを設ければよい。これによって、センサ6または内蔵カメラ7によって検出された前記タグ情報に基づいて、複数の同一形状の物体を識別することができる。
【0101】
また前述の各実施の形態では、選択された電子ファイルに関連付けられた物体の位置または近傍領域の表示状態の変更に際し、フラッシング(明滅)45を行う構成を示したが、必ずしもフラッシング(明滅)45を行う構成に限定されない。たとえば、前記物体の位置または近傍領域における表示色を変化させる構成にしてもよい。このように前記物体の位置または近傍領域における表示色を変化させる構成にした場合でも、前述の各実施の形態と同様の効果を得ることができる。
【図面の簡単な説明】
【0102】
【図1】本発明の実施の一形態である情報処理装置1の電気的構成を示すブロック図である。
【図2】主記憶部14に記憶される動作プログラム20の構成を示す図である。
【図3】本発明の第1の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。
【図4】第1の実施の形態に係る第1登録処理に関するCPU10の処理手順を示すフローチャートである。
【図5】所望の物体を、電子ファイルに関連付ける形態を表すLCD5の平面図である。
【図6】本発明の第2の実施の形態に係る関連付け処理に関するCPU10の処理手順を示すフローチャートである。
【図7】第2の実施の形態に係る第2登録処理に関するCPU10の処理手順を示すフローチャートである。
【図8】所望の物体を予め定める登録領域40に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。
【図9】所望の物体を電子ファイルの表示領域に載置して、所望の物体を電子ファイルに関連付ける形態を表すLCD5の平面図である。
【図10】本発明の第3の実施の形態に係り、物体を載置すると、物体に関連付けられた予め定める情報を表示させる処理に関するCPU10の処理手順を示すフローチャートである。
【図11】本発明の第4の実施の形態に係り、電子ファイルに関連付けられた形状情報が表す物体の近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。
【図12】一つの電子ファイルと複数の物体との関係を表すLCD5の平面図である。
【図13】LCD5の表示画面のうち、予め定める電子ファイルに関連付けられた物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。
【図14】本発明の第5の実施の形態に係り、特定の物体に関連付けられた他の物体または電子ファイルの近傍の表示状態を変更する処理に関するCPU10の処理手順を示すフローチャートである。
【図15】特定の物体が選択された状態を表すLCD5の平面図である。
【図16】LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域の表示状態を変更する形態を表すLCD5の平面図である。
【図17】LCD5の表示画面上に載置された物体に関連付けられた電子ファイルを表示するLCD5の平面図である。
【図18】LCD5の表示画面のうち、特定の物体に関連付けられた他の物体の近傍領域および電子ファイルの近傍領域における表示状態を変更する形態を表すLCD5の平面図である。
【図19】関連付けテーブルが保持される例を示す図である。
【符号の説明】
【0103】
1 情報処理装置
2 入力・表示系
3 制御系
5 液晶ディスプレイ(LCD)
6 センサ
7 内蔵カメラ
8 バックライト
10 中央演算処理装置(CPU)
11 センサ入力部
12 周辺機器入力部
13 表示制御部
14 主記憶部
15 補助記憶部
16 通信部
17 バス
【特許請求の範囲】
【請求項1】
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶手段と、
記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示する表示手段とを含む情報処理装置であって、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段とを含むことを特徴とする情報処理装置。
【請求項2】
表示画面上に載置される物体を指定する物体指定手段をさらに備え、
前記記憶手段は、複数の物体の形状情報を関連付けて記憶し、
前記取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得し、
前記制御手段は、前記読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、前記位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、表示手段を制御することを特徴とする請求項1記載の情報処理装置。
【請求項3】
物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに実行させるための情報処理方法であって、
表示画面上に載置される物体の形状を読取る読取工程と、
読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示工程と、
表示工程で表示されたデータを指定するデータ指定工程と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得工程と、
表示画面上における物体の位置を検出する位置検出工程と、
読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを含むことを特徴とする情報処理方法。
【請求項4】
物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータを、
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段として機能させることを特徴とするプログラム。
【請求項1】
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶手段と、
記憶手段に記憶される形状情報のうち、読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶されるデータを表示する表示手段とを含む情報処理装置であって、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶手段に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段とを含むことを特徴とする情報処理装置。
【請求項2】
表示画面上に載置される物体を指定する物体指定手段をさらに備え、
前記記憶手段は、複数の物体の形状情報を関連付けて記憶し、
前記取得手段は、物体指定手段によって指定された物体の形状情報に関連付けて記憶手段に記憶される他の形状情報を取得し、
前記制御手段は、前記読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された他の形状情報とが一致した場合に、前記位置検出手段によって検出された他の物体の位置または近傍領域の表示状態を変更するように、表示手段を制御することを特徴とする請求項1記載の情報処理装置。
【請求項3】
物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータに実行させるための情報処理方法であって、
表示画面上に載置される物体の形状を読取る読取工程と、
読取工程で読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示工程と、
表示工程で表示されたデータを指定するデータ指定工程と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得工程と、
表示画面上における物体の位置を検出する位置検出工程と、
読取工程で読取られた物体の形状を表す形状情報と取得工程で取得された形状情報とが一致した場合に、位置検出工程で検出された物体の位置または近傍領域の表示状態を変更する制御工程とを含むことを特徴とする情報処理方法。
【請求項4】
物体の形状を表す形状情報とデータとをそれぞれ関連付けて記憶する記憶部を備えたコンピュータを、
表示画面上に載置される物体の形状を読取る読取手段と、
読取手段によって読取られた物体の形状を表す形状情報に関連付けられて記憶部に記憶されるデータを表示する表示手段と、
表示手段に表示されたデータを指定するデータ指定手段と、
指定されたデータに関連付けて記憶部に記憶される形状情報を取得する取得手段と、
表示画面上における物体の位置を検出する位置検出手段と、
読取手段によって読取られた物体の形状を表す形状情報と取得手段によって取得された形状情報とが一致した場合に、位置検出手段によって検出された物体の位置または近傍領域の表示状態を変更するように、表示手段を制御する制御手段として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2008−71301(P2008−71301A)
【公開日】平成20年3月27日(2008.3.27)
【国際特許分類】
【出願番号】特願2006−251753(P2006−251753)
【出願日】平成18年9月15日(2006.9.15)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成20年3月27日(2008.3.27)
【国際特許分類】
【出願日】平成18年9月15日(2006.9.15)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]