連携システム、携帯情報装置、連携方法および連携プログラム
【課題】 データ中の処理対象部分を特定する操作を容易にすること。
【解決手段】 画像形成装置と、携帯情報装置とを含む連携システムは、画像形成装置は、元データを記憶する記憶手段と、記憶された元データの画像を用紙に形成する画像形成手段と、を備え、携帯情報装置は、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段（Ｓ０２）と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段（Ｓ０４）と、撮像画像に基づいて、取得された元データ中で処理対象となる処理対象部分を決定する処理対象決定手段（Ｓ０９）と、元データのうち決定された処理対象部分を処理する処理実行手段（Ｓ１０）と、を備える。
【解決手段】 画像形成装置と、携帯情報装置とを含む連携システムは、画像形成装置は、元データを記憶する記憶手段と、記憶された元データの画像を用紙に形成する画像形成手段と、を備え、携帯情報装置は、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段（Ｓ０２）と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段（Ｓ０４）と、撮像画像に基づいて、取得された元データ中で処理対象となる処理対象部分を決定する処理対象決定手段（Ｓ０９）と、元データのうち決定された処理対象部分を処理する処理実行手段（Ｓ１０）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、連携システム、携帯情報装置、連携方法および連携プログラムに関し、特に、画像形成装置と、その画像形成装置と通信可能な携帯情報装置とを含む連携システム、その連携システムに含まれる形態情報装置、その携帯情報装置により実行される連携方法および連携プログラムに関する。
【背景技術】
【０００２】
特開２００８−０７７６５５号公報（特許文献１）には、機器本体の所定の位置に表示部を有する携帯型の電子機器であって、前記表示部の表示画面に表示する情報を記憶する記憶手段と、前記機器本体を持って前記表示部をその表示画面に対して垂直方向へ移動させたときの移動量を検出する移動量検出手段と、前記記憶手段に記憶された情報を前記表示部の表示画面に表示すると共に、前記移動量検出手段によって検出された前記表示部の垂直方向への移動量に応じて当該情報の表示サイズを動的に変更する表示制御手段と、を具備したことを特徴とする電子機器が記載されている。この電子機器によれば、「虫めがね」を動かしているような自然な感覚で、表示画面に表示された情報の表示サイズを変更することができる。例えば、従来の電子機器で、複合機で代表される画像形成装置によって画像が形成された用紙を撮像すれば、用紙に形成された画像を拡大して表示することができる。
【０００３】
しかしながら、画像形成装置によって用紙に形成される画像は、画像形成装置によって縮小処理が実行された画像の場合がある。この場合、用紙に形成された画像を電子機器で撮影し、撮影して得られる画像を拡大したとしても、画像形成装置によって実行される縮小処理により元データの画像から削除された部分を表示することはできないといった問題があった。
【特許文献１】特開２００８−０７７６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、データ中の処理対象部分を特定する操作を容易にした連携システムを提供することである。
【０００５】
この発明の他の目的は、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯情報装置を提供することである。
【０００６】
この発明のさらに他の目的は、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理方法を提供することである。
【０００７】
この発明のさらに他の目的は、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理プログラムを提供することである。
【課題を解決するための手段】
【０００８】
上述した目的を達成するためにこの発明のある局面によれば、連携システムは、画像形成装置と、画像形成装置と通信可能な携帯情報装置とを含む連携システムであって、画像形成装置は、元データを記憶する記憶手段と、記憶された元データの画像を用紙に形成する画像形成手段と、を備え、携帯情報装置は、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段と、撮像画像に基づいて、取得された元データ中で処理対象となる処理対象部分を決定する処理対象決定手段と、元データのうち決定された処理対象部分を処理する処理実行手段と、を備える。
【０００９】
この局面に従えば、画像形成装置によって用紙に形成された画像が撮像され、取得される撮像画像に対応する元データが画像形成装置から取得される。そして、撮像画像に基づいて、元データ中で処理対象となる処理対象部分が決定され、元データのうち処理対象部分が処理される。このため、ユーザーは、用紙に形成された画像を見ながら元データの処理対象部分を特定することができる。また、用紙に形成された元データの画像が元データよりも情報量が少ない場合、元データの処理対象部分が処理されるので、撮像画像よりも多くの情報を処理することができる。その結果、データ中の処理対象部分を特定する操作を容易にした連携システムを提供することができる。
【００１０】
好ましくは、処理対象決定手段は、撮像制御手段により取得された撮像画像と元データの画像とを比較する比較手段と、元データの画像中で比較手段により撮像画像と同一または類似すると判断された領域に対応する、元データ中の部分を処理対象部分として抽出する比較抽出手段と、を含む。
【００１１】
この局面に従えば、撮像画像と元データの画像とが比較され、元データの画像中で撮像画像と同一または類似すると判断された領域に対応する、元データ中の部分が処理対象部分として抽出される。このため、画像を比較することにより元データ中の処理対象部分が決定されるので、処理対象部分を正確に特定することができる。
【００１２】
好ましくは、携帯情報装置は、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、元データ取得手段は、記憶手段に記憶されたデータのうちから元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、処理対象決定手段は、撮像手段の第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において、用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、加速度検出手段が第１基準時刻以降に出力する３方向各々の加速度に基づいて、基準時刻以降の参照時刻における位置を、第１基準位置に相対する参照位置として検出する参照位置検出手段と、第１基準時刻以降であって、撮像手段の第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置を第２基準位置に設定する第２基準設定手段と、第１の撮影範囲および第２の撮影範囲それぞれの撮像手段の全撮像範囲中における相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、参照位置検出手段により参照位置が検出されることに応じて、検出された参照位置を決定された変換規則にしたがって変換した元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む。
【００１３】
この局面に従えば、互いに交わる３方向の加速度が検出され、第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において第１基準位置が設定され、第１基準時刻以降に検出される３方向各々の加速度に基づいて参照位置が検出され、第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置が第２基準位置に設定され、第１の撮影範囲および第２の撮影範囲それぞれの相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則が決定され、参照位置を変換規則にしたがって変換することによって、処理対象部分が抽出される。このため、３方向の加速度を検出することによって元データ中の処理対象部分を決定することができ、処理対象部分を正確に特定することができる。
【００１４】
好ましくは、参照位置検出手段は、撮像手段が備えるレンズの光軸と平行でレンズが向く方向を正とする第１の方向の第１の距離、第１の方向と垂直に交わる第２の方向の第２の距離、および第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、変換規則決定手段は、変換後の範囲のサイズを、第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む。
【００１５】
この局面に従えば、携帯情報装置を用紙に近づけたり遠ざけたりする操作で、処理対象部分のサイズを変更することができる。
【００１６】
好ましくは、携帯情報装置は、画像を表示する表示手段を、さらに備え、処理実行手段は、元データのうち決定された処理対象部分の画像を表示手段に表示する表示制御手段を含む。
【００１７】
この局面に従えば、処理対象部分の画像が表示されるので、処理対象部分を画像で確認することができる。また、撮像画像よりも元データの情報量が多い場合には、撮像画像よりも多くの情報を表示することができる。
【００１８】
好ましくは、表示手段は、撮像手段が配置される面とは反対側の面に設けられ、撮像手段が備えるレンズの光軸を法線とする表示面を有する。
【００１９】
この局面に従えば、用紙に形成された画像と、表示面とが同じ方向を向くので、用紙に形成された画像と、処理対象部分の画像とを同時に見ながら処理対象部分を特定することができる。
【００２０】
好ましくは、記憶手段は、元データと関連する関連データをさらに記憶しており、携帯情報装置は、元データに関連する関連データを取得する関連データ取得手段を、さらに備え、処理実行手段は、取得された関連データのうちから、元データのうち決定された処理対象部分に関連する部分に対応する関連部分を抽出する関連部分抽出手段と、を含み、表示制御手段は、元データのうち決定された処理対象部分の画像に重畳して、抽出された関連部分の画像を表示する。
【００２１】
この局面に従えば、元データに関連する関連データが表示されるので、用紙に形成された画像に関連する情報を表示することができる。
【００２２】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分から文字情報を抽出する文字情報抽出手段と、抽出された文字情報に基づいてデータベースを検索する検索手段と、を備え、表示制御手段は、データベースを検索した検索結果を表示手段に表示する。
【００２３】
この局面に従えば、元データの処理対象部分に含まれる文字情報をキーワードにしてデータベースを検索し、検索結果を表示するので、用紙に形成された画像に関連する情報をデータベースから抽出することができる。
【００２４】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分を送信する送信制御手段を含む。
【００２５】
この局面に従えば、元データの処理対象部分が送信されるので、送信するデータを特定する操作を容易にすることができる。
【００２６】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分を所定の記憶先に記憶する記憶制御手段を含む。
【００２７】
この局面に従えば、元データの処理対象部分が記憶されるので、記憶するデータを特定する操作を容易にすることができる。
【００２８】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分を画像形成装置に送信し、処理対象部分の画像を形成させるプリント制御手段を含む。
【００２９】
この局面に従えば、元データの処理対象部分の画像が用紙に形成されるので、画像を形成する部分を特定する操作を容易にすることができる。
【００３０】
この発明のさらに他の局面によれば、携帯情報装置は、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置であって、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段と、撮像画像に基づいて、取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定手段と、元データのうち決定された処理対象部分を処理する処理実行手段と、を備える。
【００３１】
この局面に従えば、ユーザーは、画像形成装置によって用紙に形成された画像を見ながら画像形成装置に記憶された元データの処理対象部分を特定することができる。また、用紙に形成された元データの画像が元データよりも情報量が少ない場合、元データの処理対象部分が処理されるので、撮像画像よりも多くの情報を処理することができる。その結果、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯情報装置を提供することができる。
【００３２】
好ましくは、処理対象決定手段は、撮像制御手段により取得された撮像画像と元データの画像とを比較する比較手段と、元データの画像中で比較手段により撮像画像に類似すると判断された領域に対応する、元データ中の部分を処理対象部分として抽出する比較抽出手段と、を含む。
【００３３】
好ましくは、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、元データ取得手段は、記憶手段に記憶されたデータのうちから元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、処理対象決定手段は、第１基準時刻において撮像手段が用紙に形成された画像を第１の撮影範囲に納めて撮像し、用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、加速度検出手段が基準時刻以降に出力する３方向各々の加速度に基づいて、基準時刻以降の参照時刻における位置を、第１基準位置に相対する参照位置として検出する参照位置検出手段と、第１基準時刻以降の第２基準時刻において撮像手段が用紙に形成された画像を第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に納めて撮像し、第２基準時刻における参照位置を第２基準位置に設定する第２基準設定手段と、第１の撮影範囲および第２の撮影範囲それぞれの撮像手段の全撮像範囲中における相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、参照位置検出手段により参照位置が検出されることに応じて、検出された参照位置を決定された変換規則にしたがって変換した元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む。
【００３４】
好ましくは、参照位置検出手段は、撮像手段が備えるレンズの光軸と平行でレンズが向く方向を正とする第１の方向の第１の距離、第１の方向と垂直に交わる第２の方向の第２の距離、および第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、変換規則決定手段は、変換後の範囲のサイズを、第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む。
【００３５】
この発明のさらに他の局面によれば、連携処理方法は、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置で実行される連携処理方法あって、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、画像形成装置から撮像画像に対応する元データを取得する元データ取得ステップと、撮像画像に基づいて、取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、元データのうち決定された処理対象部分を処理する処理実行ステップと、を含む。
【００３６】
この局面に従えば、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理方法を提供することができる。
【００３７】
この発明のさらに他の局面によれば、連携処理プログラムは、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置を制御するコンピューターで実行される連携処理プログラムあって、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、画像形成装置から撮像画像に対応する元データを取得する元データ取得ステップと、撮像画像に基づいて、取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、元データのうち決定された処理対象部分を処理する処理実行ステップと、をコンピューターに実行させる。
【００３８】
この局面に従えば、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理プログラムを提供することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態における画像処理システムの全体概要を示す図である。
【図２】ＭＦＰの外観を示す斜視図である。
【図３】ＭＦＰのハードウエア構成の概要を示すブロック図である。
【図４】携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。
【図５】ＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図６】携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図７】ＭＦＰにより画像が形成された用紙の一例を示す図である。
【図８】携帯情報装置に表示される画面の一例を示す図である。
【図９】メニュー画面の一例を示す図である。
【図１０】関連データが表示された状態の画面の一例を示す図である。
【図１１】印刷設定画面の一例を示す図である。
【図１２】送信設定画面の一例を示す図である。
【図１３】記憶設定画面の一例を示す図である。
【図１４】検索設定画面の一例を示す図である。
【図１５】ＭＦＰ側連携処理の流れの一例を示すフローチャートである。
【図１６】撮像連携処理の流れの一例を示すフローチャートである。
【図１７】処理実行処理の流れの一例を示す第１のフローチャートである。
【図１８】処理実行処理の流れの一例を示す第２のフローチャートである。
【図１９】第２の実施の形態における携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。
【図２０】第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図２１】第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図２２】一覧画面の一例を示す図である。
【図２３】第１アシスト画面の一例を示す図である。
【図２４】第２アシスト画面の一例を示す図である。
【図２５】第２の実施の形態におけるＭＦＰ側連携処理の流れの一例を示すフローチャートである。
【図２６】第２の実施の形態における撮像連携処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００４０】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００４１】
＜第１の実施の形態＞
図１は、本発明の実施の形態における画像処理システムの全体概要を示す図である。図１を参照して、画像処理システム１は、それぞれがネットワーク３に接続された画像形成装置としての複合機（以下、「ＭＦＰ」という）１００，１０１，１０２と、パーソナルコンピューター（以下、「ＰＣ」という）１０５と、携帯情報装置２００と、無線局１１を含む。
【００４２】
なお、図ではネットワーク３に３台のＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００，１０１，１０２が接続される例を示しているが、ＭＦＰの数はこれに限定されるものではなく、１台以上であればよい。また、ＭＦＰ１００，１０１，１０２に代えて、画像を形成する機能を備えた装置であれば、例えば、ファクシミリ、プリンタ等であってもよい。
【００４３】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク３は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク３は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。このため、ＭＦＰ１００，１０１，１０２各々は、ネットワーク３を介して互いに通信可能である。
【００４４】
携帯情報装置２００は、スマートホン等の一般的なＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）である。携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。また、携帯情報装置２００は、無線ＬＡＮ機能を備えている。
【００４５】
ネットワーク３には無線局１１がさらに接続される。無線局１１は、ネットワーク３の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００と通信して、携帯情報装置２００をネットワーク３に接続する。このため、携帯情報装置２００は、ネットワーク３に接続された、ＭＦＰ１００，１０１，１０２，ＰＣ１０５とデータの送受信が可能である。
【００４６】
ＰＣ１０５は、一般的なコンピューターである。ＰＣ１０５は、ユーザーにより使用され、アプリケーションプログラムを実行することにより、種々の処理を実行する。種々の処理は、データをＭＦＰ１００，１０１，１０２のいずれかに記憶する処理、ＭＦＰ１００，１０１，１０２にデータの画像をプリントさせるプリント処理を含む。データは、インターネットに接続されたサーバーからダウンロードしたＷｅｂページ、地図などのデータ、アプリケーションプログラムを実行して生成したデータ等を含む。
【００４７】
ＭＦＰ１００，１０１，１０２は、ハードウエア構成は同じであってもよく異なっていてもよいが、少なくともデータに基づいて、データの画像を紙などの用紙に形成する画像形成機能を備えている。ＭＦＰ１００，１０１，１０２各々が有するハードウエア構成は同じではない場合があるが、ここではＭＦＰ１００が、他のＭＦＰ１０１，１０２の少なくとも１つが有する構成を有している場合を例に説明する。
【００４８】
図２は、ＭＦＰの外観を示す斜視図である。図３は、ＭＦＰのハードウエア構成の概要を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００４９】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１５と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１６と、ファクシミリ部１１７と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１８Ａが装着される外部記憶装置１１８と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００５０】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００５１】
操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６０Ａと操作部１６０Ｂとを含む。表示部１６０Ａは、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６０Ｂは、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６０Ｂは、表示部１６０Ａ上に設けられたタッチパネルをさらに含む。
【００５２】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介してＭＦＰ１０１，１０２、ＰＣ１０５または携帯情報装置２００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００５３】
ファクシミリ部１１７は、公衆交換電話網（ＰＳＴＮ）に接続され、ファクシミリデータを送受信する。ファクシミリ部１１７は、原稿読取部１３０により読み取られた画像データまたはＨＤＤ１１６に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。また、ファクシミリ部１１７は、受信されたファクシミリデータをＨＤＤ１１６に記憶するか、画像形成部１４０にファクシミリデータの画像を用紙に形成させる。
【００５４】
外部記憶装置１１８は、プログラムを記憶したＣＤ−ＲＯＭ１１８Ａが装着される。ＣＰＵ１１１は、外部記憶装置１１８を介してＣＤ−ＲＯＭ１１８Ａに記憶されたプログラムをＲＡＭ１１４にロードし、実行する。なお、プログラムを記憶する記録媒体としては、ＣＤ−ＲＯＭ１１８Ａに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの半導体メモリ等でもよい。また、ＨＤＤ１１６に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ＭＦＰ１００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１６に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００５５】
図４は、携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、ＣＰＵ２０１の作業領域として用いられるＲＡＭ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、カメラ２０４と、通話部２０６と接続された無線通信部２０５と、情報を表示する表示部２０７と、ユーザーの操作の入力を受け付ける操作部２０８と、無線ＬＡＮインターフェース（Ｉ／Ｆ）２０９と、カードＩ／Ｆ２１０と、を含む。
【００５６】
無線通信部２０５は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０５は、携帯情報装置２００を電話通信網に接続し、通話部２０６を用いた通話を可能とする。無線通信部２０５は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０６に出力する。また、無線通信部２０５は、通話部２０６から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０６は、マイクおよびスピーカを備え、無線通信部２０５から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０５に出力する。さらに、無線通信部２０５は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。
【００５７】
カメラ２０４は、レンズおよびＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサに結像し、ＣＭＯＳセンサは受光した光を光電変換して画像データをＣＰＵ２０１に出力する。
【００５８】
表示部２０７は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０８は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００５９】
表示部２０７は、カメラ２０４が配置される面とは反対側の面に設けられ、カメラ２０４が備えるレンズの光軸を法線とする表示面を有する。このため、カメラ２０４の被写体と、表示面とがユーザーの方向を向くので、ユーザーは、被写体となる用紙に形成された画像と、表示面に表示された画像とを見ることができる。例えば、カメラ２０４で撮像して得られる撮像画像を、そのまま表示部２０７に表示する場合には、携帯情報装置２００を、虫眼鏡のように使用することができる。
【００６０】
無線ＬＡＮＩ／Ｆ２０９は、無線局１１と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００に予めＭＦＰ１００，１０１，１０２それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＭＦＰ１００，１０１，１０２と通信することができ、データの送受信が可能となる。
【００６１】
カードＩ／Ｆ２１０は、フラッシュメモリ２１０Ａが装着される。ＣＰＵ２０１は、カードＩ／Ｆ２１０を介してフラッシュメモリ２１０Ａにアクセス可能である。ＣＰＵ２０１は、カードＩ／Ｆ２１０に装着されたフラッシュメモリ２１０Ａに記録されたプログラムをＲＡＭ２０２にロードして実行する。なお、ＣＰＵ２０１が実行するプログラムは、フラッシュメモリ２１０Ａに記録されたプログラムに限られず、フラッシュメモリ２０３に記憶されたプログラムをＲＡＭ２０２にロードして実行するようにしてもよい。
【００６２】
この場合、携帯情報装置２００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをフラッシュメモリ２０３に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６３】
本実施の形態における画像処理システム１において、ＭＦＰ１００，１０１，１０２および携帯情報装置２００間で、データが送受信される。データを送受信するプロトコルは、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）等が用いられる。また、携帯情報装置２００は、ＭＦＰ１００，１０１，１０２のいずれとデータの送受信をしてもよいが、ここでは、説明のために、ＭＦＰ１００とデータの送受信をする場合を例に説明する。
【００６４】
図５は、ＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図５に示すＭＦＰ１００が備えるＣＰＵ１１１の機能は、ＣＰＵ１１１がＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。ＭＦＰ側連携プログラムは、連携処理プログラムの一部である。
【００６５】
図５を参照して、ＭＦＰ１００が備えるＣＰＵ１１１は、データを取得するデータ取得部５１と、データの画像を形成する画像形成制御部５３と、検索依頼受信部５５と、元データ抽出部５７と、元データ送信部６１と、関連データ送信部６３と、関連データ抽出部６５と、を含む。
【００６６】
データ取得部５１は、通信Ｉ／Ｆ１１２を制御し、外部からデータを受信する。データ取得部５１は、データを受信すると、受信されたデータをＨＤＤ１１６に記憶する。これによりＨＤＤ１１６に、データ９１が記憶される。また、データ取得部５１は、原稿読取部１３０が原稿を読み取って出力する画像データを取得し、取得された画像データを、ＨＤＤ１１６に記憶する。
【００６７】
データ取得部５１が外部から受信するデータは、ＰＣ１０５から送信されるデータを含み、ＰＣから送信されるデータは、アプリケーションデータおよびプリントデータを含む。アプリケーションデータは、ＰＣ１０５がアプリケーションプログラムを実行することにより生成されるデータであり、例えば、文書編集プログラムを実行する場合に生成される文書データ、表計算プログラムを実行する場合に生成される表計算データ、画像編集プログラムを実効することにより生成される画像データ等を含む。また、データ取得部５１が外部から受信するデータは、インターネットに接続されたサーバーからダウンロードされるマークアップ言語で記述されたＷｅｂページを含む。
【００６８】
データ取得部５１は、データとともに、そのデータに関連する関連データを受信する場合、受信された関連データを、データと関連付けてＨＤＤ１１６に記憶する。これにより、関連データ９３がＨＤＤ１１６に記憶される。関連データは、データ９１に関連する情報、またはデータ９１を補足する情報を含む。データ９１に関連する情報の一例としては、データ９１が商品を説明する資料の場合に、その商品と類似する商品を説明する資料である。また、データ９１を補足する情報の一例としては、データ９１が地図を示す画像データの場合に、当該地図中の店舗に関する情報である。また、データ９１が会議資料の場合に、会議資料を説明するための資料である。関連データは、データのフォーマットは特定されず、テキストであってもよいし、画像であってもよい。
【００６９】
画像形成制御部５３は、画像形成部１４０を制御して、ＨＤＤ１１６に記憶されたデータの画像を用紙に形成する。画像形成制御部５３は、データ取得部５１が、ＰＣ１０５からプリントデータを受信する場合、受信されたプリントデータの画像を画像形成部１４０に形成させる。また、ユーザーが操作部１６０Ｂを操作して、ＨＤＤ１１６に記憶されたデータ９１のうちから１以上を指定すると、指定されたデータ９１の画像を画像形成部１４０に形成させる。換言すれば、画像形成制御部５３は、ＰＣ１０５のユーザー、またはＭＦＰ１００のユーザーにより指定されたデータの画像を画像形成部１４０に形成させる。
【００７０】
検索依頼受信部５５は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００が送信する検索依頼を受信する。検索依頼は、携帯情報装置２００により撮像して得られる撮像画像を含む。検索依頼受信部５５は、受信された検索依頼に含まれる撮像画像を、元データ抽出部５７に出力するとともに、検索依頼を送信してきた装置、ここでは携帯情報装置２００の装置識別情報を元データ送信部６１に出力する。
【００７１】
元データ抽出部５７は、類似画像抽出部５９を含む。類似画像抽出部５９は、検索依頼受信部５５から入力される撮像画像を、ＨＤＤ１１６に記憶されているデータ９１の画像と比較し、データ９１のうちから、それの画像が撮像画像と同一または類似する領域を含むデータ９１を抽出する。２つの画像が類似しているか否かを判定する処理は、周知の画像認識処理技術を用いることができる。例えば、画像を微分した微分画像中のエッジの形状が同一または相似するか否かにより類比を判断することができる。類似画像抽出部５９は、撮像画像と同一または類似する領域を含む画像のデータ９１を抽出すると、抽出されたデータ９１を、元データ送信部６１に出力する。
【００７２】
元データ送信部６１は、元データ抽出部５７から入力されるデータ９１を、検索依頼受信部５５から入力される装置識別情報で特定される携帯情報装置２００に、通信Ｉ／Ｆ部１１２を介して送信する。
【００７３】
関連データ送信部６３は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００が送信する関連データ送信依頼を受信する。関連データ送信依頼は、ＨＤＤ１１６に記憶されているデータ９１のうちから１つを識別するためのデータ識別情報を含む。関連データ送信部６３は、関連データ送信依頼を受信すると、受信された関連データ送信依頼に含まれるデータ識別情報を、関連データ抽出部６５に出力する。
【００７４】
関連データ抽出部６５は、関連データ送信部６３からデータ識別情報が入力されると、ＨＤＤ１１６に記憶された関連データ９３のうちから、関連データ送信部６３から入力されたデータ識別情報で特定されるデータ９１に関連付けられた関連データ９３を抽出する。そして、関連データ抽出部６５は、抽出された関連データ９３を、関連データ送信部６３に出力する。関連データ送信部６３は、関連データ抽出部６５から入力される関連データ９３を、関連データ送信依頼を送信してきた携帯情報装置２００に、通信Ｉ／Ｆ部１１２を介して送信する。
【００７５】
図６は、携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図６に示す携帯情報装置２００が備えるＣＰＵ２０１の機能は、ＣＰＵ２０１がフラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。撮像連携プログラムは、連携処理プログラムの一部である。
【００７６】
図６を参照して、携帯情報装置２００が備えるＣＰＵ２０１は、カメラ２０４を制御する撮像制御部２４１と、元データを取得する元データ取得部２４３と、元データ中の処理対象範囲を決定する処理対象部分決定部２４５と、処理対象範囲で特定される元データ中の処理対象部分を処理する処理実行部２４７と、を含む。
【００７７】
撮像制御部２４１は、カメラ２０４を制御し、ユーザーによる撮像指示が操作部２０８に入力されることに応じて、カメラ２０４に被写体を撮像させる。撮像制御部２４１は、カメラ２０４が被写体を撮像し、出力する撮像画像を取得する。撮像制御部２４１は、カメラ２０４が出力する撮像画像を元データ取得部２４３および処理対象部分決定部２４５に出力する。ここでは、カメラ２０４が撮像対象とする被写体は、ＭＦＰ１００により画像が形成された用紙である。
【００７８】
元データ取得部２４３は、撮像制御部２４１から入力される撮像画像を含む検索依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、検索依頼を受信すると、撮像画像と少なくとも一部が同一または類似する元データを返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データ９１を受信すると、受信された元データ９１を取得する。元データ取得部２４３は、取得された元データ９１を処理対象部分決定部２４５に出力するとともに、元データ９１のデータ識別情報を処理実行部２４７に出力する。
【００７９】
処理対象部分決定部２４５は、比較部２５１と、比較抽出部２５３と、を含む。比較部２５１は、撮像制御部２４１から撮像画像が入力され、元データ取得部２４３から元データが入力される。比較部２５１は、撮像画像を元データの画像と比較する。撮像画像と、元データの画像の少なくとも一部の領域とを比較し、元データの画像中から撮像画像と同一または類似する領域を抽出する。元データの画像中から撮像画像と同一または類似する領域を抽出する処理は、周知の画像認識処理技術を用いることができる。比較部２５１は、元データの画像から抽出された領域の元データの画像中の位置を示す位置情報を比較抽出部２５３に出力する。
【００８０】
比較抽出部２５３は、元データ取得部２４３から元データが入力され、比較部２５１から位置情報が入力される、比較抽出部２５３は、元データ中で位置情報で示される位置に相当する部分を、処理対象部分として元データから抽出し、抽出された処理対象部分を処理実行部２４７に出力する。
【００８１】
処理実行部２４７は、処理対象部分決定部２４５から入力される処理対象部分を処理対象として、予め定められた処理を実行する。処理実行部２４７は、関連データ取得部２６１と、関連部分抽出部２６３と、表示制御部２６５と、データベース検索部２６７と、文字情報抽出部２６９と、プリント制御部２７１と、記憶制御部２７３と、送信制御部２７５と、を含む。
【００８２】
表示制御部２６５は、処理対象部分決定部２４５から処理対象部分が入力されることに応じて、処理対象部分の画像を表示部２０７に表示する。処理対象部分は、データ９１の少なくとも一部であって、その画像中で、カメラ２０４により撮影されて出力される撮像画像と同一または類似すると判定された領域に対応する部分である。このため、撮像画像とは別のオリジナルのデータ９１の画像が表示されるので、撮像画像より情報量の多い画像を表示することができる。例えば、撮像画像は、ＭＦＰ１００によりデータ９１の画像を用紙に形成した画像を撮像した画像なので、ＭＦＰ１００により用紙に形成される際に、縮小処理が実行されるなどして削除された部分が存在する場合がある。一方、撮像画像に対応するデータ９１の処理対象部分は、ＭＦＰ１００により削除された部分を含むので、撮像画像よりも情報量の多お画像、例えば解像度の高い画像を表示することができる。特に、カメラ２０４によって、用紙に形成された画像の一部を撮像する場合には、用紙に形成された画像を拡大して表示することになるが、ＭＦＰ１００により削除された部分を拡大して表示しても削除された部分を再現することはできない。例えば、ＭＦＰ１００により文字が削除された場合には、撮像画像に文字は含まれないので、削除された文字を表示することはできない。一方、データ９１の処理対象部分には、文字が含まれるので、文字を表示することができる。
【００８３】
関連データ取得部２６１は、元データ取得部２４３から元データ９１のデータ識別情報が入力され、ユーザーによる関連データ取得指示が操作部２０８に入力されることに応じて、元データ９１のデータ識別情報を含む関連データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、関連データ送信依頼を受信すると、関連データ９３を返信するので、関連データ取得部２６１は、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から関連データ９３を受信すると、受信された関連データ９３を取得する。関連データ取得部２６１は、取得された関連データを、関連部分抽出部２６３に出力する。
【００８４】
関連部分抽出部２６３は、関連データ取得部２６１から入力される関連データのうちから、比較抽出部２５３から入力される処理対象部分に対応する部分を関連部分として抽出する。関連部分抽出部２６３は、抽出された関連部分を表示制御部２６５に出力する。表示制御部２６５は、関連部分抽出部２６３から関連部分が入力される場合、表示部２０７に表示している処理対象部分に重畳して関連部分を表示する。関連データは、データ９１に関連する情報、またはデータ９１を補足する情報を含む。関連部分抽出部２６３は、関連データ９３のうちから、データ９１の処理対象部分に関連する情報を含む部分、または、処理対象部分を補足する情報を含む部分を関連部分として抽出する。データ９１の複数の部分と、関連データ９３の複数の部分とを、予め関連付ける場合には、関連データ９３の複数の部分のうちから処理対象部分に関連付けられた部分を関連部分として抽出する。また、関連データ９３のうち、処理対象部分に含まれる文字と同一の文字を含む部分、およびその文字から所定の範囲内に配置される部分を、関連部分として抽出してもよい。
【００８５】
文字情報抽出部２６９は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる検索指示が操作部２０８に入力されることに応じて、処理対象部分から文字情報を抽出し、抽出された文字情報をデータベース検索部２６７に出力する。好ましくは、文字情報抽出部２６９は、処理対象部分が複数の文字情報を含む場合には、処理対象部分の最も中央よりに配置された文字情報を抽出する。文字情報は、例えば、文字列である。文字情報抽出部２６９は、データ９１が画像の場合には、文字認識処理を実行し、文字情報を抽出する。また、後述するデータベース検索部２６７が画像をキーにした検索を実行可能な場合には、文字情報は画像であってもよい。
【００８６】
データベース検索部２６７は、文字情報抽出部２６９から文字情報が入力されることに応じて、データベース検索設定画面を、表示部２０７に表示する。ユーザーによるデータベース検索指示を受け付けると、無線ＬＡＮＩ／Ｆ２０９を介して、文字情報を検索キーに含むデータベース検索要求を、予め定められた検索エンジンに送信する。検索エンジンは、例えば、インターネットに接続された検索サイトである。データベース検索部２６７は、無線ＬＡＮＩ／Ｆ２０９が検索エンジンから返信される検索結果を受信すると、受信された検索結果を表示制御部２６５に出力する。
【００８７】
表示制御部２６５は、データベース検索部２６７から検索結果が入力されると、検索結果を表示部２０７に表示する。表示制御部２６５は、表示部２０７に表示されているデータ９１の処理対象部分の画像に代えて、検索結果を表示してもよいし、処理対象部分の画像に重畳して検索結果を表示してもよい。
【００８８】
プリント制御部２７１は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる印刷指示が操作部２０８に入力されることに応じて、処理対象部分と印刷依頼を無線ＬＡＮＩ／Ｆ２０９を介して、ＭＦＰ１００に送信し、ＭＦＰに処理対象部分の画像を用紙に形成させる。ＭＦＰ１００は、携帯情報装置２００から処理対象部分と印刷依頼を受信すると、処理対象部分の画像を用紙に形成する。プリント制御部２７１は、印刷設定画面を表示部２０７に表示し、ユーザーが操作部２０８に入力する印刷設定を受け付け、印刷設定を含む印刷依頼を、ＭＦＰ１００に送信する。印刷設定は、ＭＦＰ１００が画像を形成するための条件を定める情報であり、例えば、画像形成枚数、用紙のサイズ等を含む。
【００８９】
記憶制御部２７３は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる記憶指示が操作部２０８に入力されることに応じて、処理対象部分と記憶依頼を無線ＬＡＮＩ／Ｆ２０９を介して、ＭＦＰ１００に送信し、ＭＦＰに処理対象部分をＨＤＤ１１６に記憶させる。ＭＦＰ１００は、携帯情報装置２００から処理対象部分と記憶依頼を受信すると、処理対象部分を記憶依頼で特定されるＨＤＤ１１６の領域に記憶する。記憶制御部２７３は、記憶設定画面を表示部２０７に表示し、ユーザーが操作部２０８に入力する記憶設定を受け付け、記憶設定を含む記憶依頼を、ＭＦＰ１００に送信する。記憶設定は、ＭＦＰ１００が処理対象部分を記憶するための条件を定める情報であり、例えば、ＨＤＤ１１６が有する記憶領域であるフォルダを識別する情報、データフォーマット等を含む。
【００９０】
送信制御部２７５は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる送信指示が操作部２０８に入力されることに応じて、処理対象部分を無線ＬＡＮＩ／Ｆ２０９を介して送信する。送信制御部２７５は、送信設定画面を表示部２０７に表示し、ユーザーが操作部２０８に入力する送信設定を受け付け、受け付けられた送信設定にしたがって、処理対象部分を送信する。送信設定は、処理対象部分を送信する条件を定める情報であり、例えば、送信先の電子メールアドレス、電子メールアドレスに記載されるコメントを等を含む。
【００９１】
図７は、ＭＦＰにより画像が形成された用紙の一例を示す図である。図７を参照して、用紙３００には、道路地図の画像３０１が形成されている。領域３０３は、携帯情報装置２００が備えるカメラ２０４の撮影範囲を示している。
【００９２】
図８は、携帯情報装置に表示される画面の一例を示す図である。図８を参照して、画面３０５は、図７に示した画像３０１中の領域３０３に対応するデータ９１の処理対象部分の画像を含む。画面３０５は、図７に示した領域３０３よりも詳細な情報を含む。
【００９３】
図９は、メニュー画面の一例を示す図である。図９を参照して、図８に示した画面に、メニュー画面３１０が重畳して表示される。メニュー画面３１０は、関連データ取得指示が割り当てられたボタン３１１と、印刷指示が割り当てられたボタン３１２と、記憶指示が割り当てられたボタン３１３と、送信指示が割り当てられたボタン３１４と、データベース検索指示が割り当てられたボタン３１５と、を含む。
【００９４】
図１０は、関連データが表示された状態の画面の一例を示す図である。図１０を参照して、図９に示した画面３０５に、メニュー画面３１０と、関連データ３２１，３２２と、が重畳して表示される。メニュー画面３１０の関連データ取得指示が割り当てられたボタン３１１が反転表示されており、ユーザーによりボタン３１１が指示されたことが示される。図では、ボタン３１１にハッチングを付すことにより反転表示されていることを示している。関連データ３２１は、画面３０５中の特定の店の位置に配置され、「バーゲン」の文字を含み、特定の店でバーゲンが開催されていることを示す情報を含む。関連データ３２２は、画面３０５中の別の特定の店の位置に配置され、「フランス料理」の文字を含み、その店でフランス料理が提供されることを示す情報を含む。
【００９５】
図１１は、印刷設定画面の一例を示す図である。図１１を参照して、図９に示した画面３０５に、メニュー画面３１０と、印刷設定画面３３１と、が重畳して表示される。メニュー画面３１０の印刷指示が割り当てられたボタン３１２が反転表示されており、ユーザーによりボタン３１２が指示されたことが示される。図では、ボタン３１２にハッチングを付すことにより反転表示されていることを示している。印刷設定画面３３１は、プリンタを指定する領域と、印刷範囲を指定する領域と、「ＯＫ」の文字が表されたボタンと、「キャンセル」の文字が表されたボタンと、を含む。「ＯＫ」の文字が表されたボタンが指示されると、プリンタを指定する領域および印刷範囲を指定する領域それぞれに設定された印刷設定に基づいて、処理対象部分と印刷設定とが送信される。
【００９６】
図１２は、送信設定画面の一例を示す図である。図１２を参照して、図９に示した画面３０５に、メニュー画面３１０と、送信設定画面３４１と、が重畳して表示される。メニュー画面３１０の送信指示が割り当てられたボタン３１３が反転表示されており、ユーザーによりボタン３１３が指示されたことが示される。図では、ボタン３１３にハッチングを付すことにより反転表示されていることを示している。送信設定画面３４１は、送信先となる宛先の電子メールアドレスを指定する領域と、差出人としてユーザーの電子メールアドレスを指定する領域と、件名を入力する領域と、メッセージを入力する領域と、「送信」の文字が表されたボタンと、「キャンセル」の文字が表されたボタンと、処理対象部分の画像を電子メールに添付するか否かを設定するラジオボタンと、を含む。「送信」の文字が表されたボタンが指示されると、電子メールが生成されて、電子メールサーバーに送信される。
【００９７】
図１３は、記憶設定画面の一例を示す図である。図１３を参照して、図９に示した画面３０５に、メニュー画面３１０と、記憶設定画面３５１と、が重畳して表示される。メニュー画面３１０の記憶指示が割り当てられたボタン３１４が反転表示されており、ユーザーによりボタン３１４が指示されたことが示される。図では、ボタン３１４にハッチングを付すことにより反転表示されていることを示している。記憶設定画面３５１は、ＭＦＰ１００のＨＤＤ１１６が有する複数の記憶領域を選択可能に表示する領域３５３と、選択された記憶領域に記憶されているデータのファイル名を表示する領域３５５と、ファイル名を指定する領域３５７と、ファイルのフォーマットを指定する領域３５８と、「ＯＫ」の文字が表されたボタンと、「キャンセル」の文字が表されたボタンと、を含む。領域３５３には、ＨＤＤ１１６が有する複数の記憶領域それぞれに付されたフォルダ名「ＡＢＣＤ」、「ＨＩＪＫ」、「ＰＵＢＬＣ」、「ＵＳ」が選択可能に表示される。ここでは、フォルダ名「ＨＩＪＫ」が選択され、反転表示されている。図では反転表示を、ハッチングで示している。また、領域３５５は、領域３５３において選択されたフォルダに記憶されているデータのデータ識別情報の一覧と、「開く」の文字が表されたボタンと、「保存」の文字が表されたボタンと、「削除」の文字が表されたボタンと、を含む。データ識別情報を選択し、「開く」の文字が表されたボタン、「削除」の文字が表されたボタンのいずれかを指示すれば、選択されたデータ識別情報のデータに対して、データを表示する処理およびデータを削除する処理のうち指示されたボタンに対応する処理が実行される。
【００９８】
領域３５７は、処理対象部分のデータのデータ識別情報が入力される。ここではデータ識別情報を「伊丹駅」としている。領域３５８は、処理対象部分のデータのフォーマットが入力される。ここでは、データのフォーマットが「ｐｄｆ」に設定されている例を示している。「ＯＫ」の文字が表されたボタンが指示されると、元データ９１の処理対象部分と記憶指示とがＭＦＰ１００に送信され、ＭＦＰ１００において、元データ９１の処理対象部分がフォーマット「ｐｄｆ」に変換され、ファイル名「伊丹駅」として、ＨＤＤ１１６のフォルダ名「ＨＩＪＫ」に記憶される。
【００９９】
図１４は、データベース検索設定画面の一例を示す図である。図１４を参照して、図９に示した画面３０５に、メニュー画面３１０と、データベース検索設定画面３６１と、が重畳して表示される。メニュー画面３１０のデータベース検索指示が割り当てられたボタン３１５が反転表示されており、ユーザーによりボタン３１５が指示されたことが示される。図では、ボタン３１５にハッチングを付すことにより反転表示されていることを示している。データベース検索設定画面３６１は、検索エンジンから受信された画面であり、検索キーを入力する領域に、画面３０５の中央付近に配置された「伊丹駅」の文字が設定される。「ＯＫ」の文字が表されたボタンが指示されると、「伊丹駅」を検索キーにしたデータベース検索依頼が、検索エンジンに送信される。
【０１００】
図１５は、ＭＦＰ側連携処理の流れの一例を示すフローチャートである。ＭＦＰ側連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１５を参照して、ＣＰＵ１１１は、原稿読取指示を受け付けたか否かを判断する（ステップＳ１０１）。ユーザーが、操作部１６０Ｂに、原稿読み取りモードに設定する操作を入力し、スタートキーを押下すれば、原稿読取指示を受け付ける。原稿読取指示を受け付けたならば処理をステップＳ１０２に進めるが、そうでなければステップＳ１０２をスキップして処理をステップＳ１０３に進める。ステップＳ１０２においては、原稿読取部１３０を制御し、原稿読取部１３０に原稿を読み取らせ、原稿読取部１３０が出力する画像データを取得する。そして、取得された画像データを、ＨＤＤ１１６にデータ９１として記憶し、処理をステップＳ１０３に進める。ステップＳ１０３においては、通信Ｉ／Ｆ部１１２がデータを受信したか否かを判断する。データを受信したならば処理をステップＳ１０４に進めるが、そうでなければステップＳ１０４をスキップして処理をステップＳ１０５に進める。ステップＳ１０４においては、受信された受信データを、ＨＤＤ１１６にデータ９１として記憶し、処理をステップＳ１０５に進める。通信Ｉ／Ｆ部１１２が受信するデータは、ＰＣ１０５から受信されるアプリケーションデータ、プリントデータを含み、さらに、インターネットに接続されたサーバーからダウンロードされるＷｅｂページを含む。
【０１０１】
ステップＳ１０５においては、データの指定を受け付けたか否かを判断する。ユーザーが操作部１６０Ｂを操作して、ＨＤＤ１１６に記憶されたデータ９１のうちから処理対象を指定する操作を入力すると、データの指定を受け付ける。データの指定を受け付けたならば処理をステップＳ１０６に進めるが、そうでなければ処理をステップＳ１０８に進める。ステップＳ１０６においては、画像形成指示を受け付けるまで待機状態となる。ユーザーが操作部１６０Ｂに、画像形成能動に設定する操作を入力し、スタートキーを押下すれば、画像形成指示を受け付ける。画像形成指示は、画像形成する条件、例えば倍率、用紙サイズなどを含む。画像形成指示を受け付けるまで待機状態となり、画像形成指示を受け付けたならば処理をステップＳ１０７に進める。ステップＳ１０７においては、画像形成部１４０を制御し、ステップＳ１０５において指定されたデータの画像を、画像形成部１４０に形成させ、処理をステップＳ１０８に進める。
【０１０２】
なお、原稿読取指示と画像形成指示とを組み合わせたコピー指示が受け付けられる場合がある。この場合には、ステップＳ１０２と、ステップＳ１０７の処理とが実行される。換言すれば、原稿読取部１３０が原稿を読み取って出力する画像データが、ＨＤＤ１１５にデータ９１として記憶されるとともに、原稿読取部１３０が出力する画像データの画像が画像形成部１４０によって形成される。
【０１０３】
ステップＳ１０８においては、検索依頼を受信したか否かを判断する。通信Ｉ／Ｆ部１１２は、携帯情報装置２００から検索依頼を受信したか否かを判断する。検索依頼を受信したならば、処理をステップＳ１０９に進めるが、そうでなければ処理をステップＳ１０１に戻す。ステップＳ１０９においては、ＨＤＤ１１６に記憶されたデータ９１のうちから１つを処理対象に選択し、選択されたデータ９１の画像と検索依頼に含まれる撮像画像とを比較する。撮像画像の全体と、データ９１の画像の少なくとも一部とを比較する。
【０１０４】
そして、比較の結果により処理を分岐させる（ステップＳ１１０）。データ９１の画像中に、撮像画像と同一または類似する部分が存在するか否かを判断する。データ９１の画像中に、撮像画像と同一または類似する部分が存在するならば処理をステップＳ１１２に進めるが、そうでなければ処理をステップＳ１１１に進める。ステップＳ１１１においては、ＨＤＤ１１６に記憶されたデータ９１のうちから別の１つを処理対象に選択し、処理をステップＳ１０９に戻す。なお、ＨＤＤ１１６に記憶されているすべてのデータ９１を処理対象に選択した場合には、元データが存在しないことを示す信号を、検索依頼を送信してきた携帯情報装置に通信Ｉ／Ｆ部１１２を介して送信し、処理をステップＳ１０１に戻すようにすればよい。
【０１０５】
ステップＳ１１２においては、ステップＳ１１０において処理対象に選択されたデータを元データに決定し、処理をステップＳ１１３に進める。ステップＳ１１３においては、元データを、検索依頼を送信してきた携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信し、処理をステップＳ１０１に戻す。
【０１０６】
図１６は、撮像連携処理の流れの一例を示すフローチャートである。撮像連携処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。
【０１０７】
図１６を参照して、ＣＰＵ２０１は、撮像指示を受け付けたか否かを判断する（ステップＳ０１）。ユーザーが、操作部２０８に撮像を指示するために予め設けられたシャッターボタンを押下する操作を検出したならば、撮像指示を受け付ける。撮像指示を受け付けるまで待機状態となり、撮像指示を受け付けたならば処理をステップＳ０２に進める。ステップＳ０２においては、カメラ２０４を制御し、カメラ２０４が被写体を撮像し、出力する撮像画像を取得する。ここで、携帯情報装置２００のユーザーは、ＭＦＰ１００により画像が形成された用紙を被写体としてシャッターボタンを押下すれば、用紙に形成された画像を撮像した撮像画像を取得することになる。
【０１０８】
ステップＳ０３においては、検索依頼を送信する。具体的には、ステップＳ０２において取得された撮像画像を含む検索依頼を、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。検索依頼を受信するＭＦＰ１００は、撮像画像と少なくとも一部が同一または類似する元データを返信するので、次のステップＳ０４においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データ９１を受信するまで待機状態となる。元データを受信したならば（ステップＳ０４でＹＥＳ）、処理をステップＳ０５に進める。ステップＳ０５においては、受信された元データをフラッシュメモリ２０３に記憶し、処理をステップＳ０６に進める。
【０１０９】
ステップＳ０６においては、撮像画像を取得する。カメラ２０４は、ステップＳ０１において撮像指示が受け付けられてから被写体を撮像した動画像を出力する。動画像は、所定の時間間隔で静止画像を配列した画像である。ここでは、動画像のうちから１つの静止画像を撮像画像として取得する。次のステップＳ０７においては、ステップＳ０４においてＭＦＰ１００から受信された元データの画像と撮像画像とを比較する。撮像画像の全体と、元データの画像の少なくとも一部とを比較する。
【０１１０】
そして、比較の結果により処理を分岐させる（ステップＳ０８）。元データの画像中に、撮像画像と同一または類似する領域が存在するか否かを判断する。元データの画像中に、撮像画像と同一または類似する領域が存在するならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ０６に戻す。
【０１１１】
ステップＳ０８においては、元データ中の処理対象部分を決定する。ステップＳ０８において元データの画像中から抽出された、撮像画像と同一または類似する領域に対応する元データの部分を、処理対象部分に決定する。
【０１１２】
次のステップＳ１０においては、処理実行処理を実行する。処理実行処理の詳細は後述するが、ステップＳ０９において決定された元データの処理対象部分を処理対象として所定の処理を実行する処理である。次のステップＳ１１においては、終了指示を受け付けたか否かを判断する。操作部２０８に撮像連携処理の終了を指示するために予め設けられた停止ボタンを押下する操作を検出したならば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ０６に戻す。ステップＳ０６においては、ステップＳ０６が実行される時点でカメラ２０４が出力する静止画像を撮像画像として取得し、ステップＳ０７以降の処理を繰り返す。
【０１１３】
図１７および図１８は、処理実行処理の流れの一例を示すフローチャートである。処理実行処理は、図１６のステップＳ１０において実行される処理である。図１６のステップＳ１０が実行される前のステップＳ０９において、元データの処理対象部分が決定されており、処理実行処理は、処理対象部分を処理対象とする。
【０１１４】
図１７および図１８を参照して、ＣＰＵ２０１は、処理対象部分を表示部２０７に表示する（ステップＳ２１）。処理対象部分は、データ９１の少なくとも一部であって、データ９１の画像のうちカメラ２０４から出力される撮像画像と同一または類似すると判定された領域に対応する部分である。このため、撮像画像とは別の元データの画像が表示されるので、撮像画像より情報量の多い詳細な画像を表示することができる。
【０１１５】
次のステップＳ２２においては、メニュー表示指示を受信したか否かを判断する。操作部２０８にメニュー表示を指示するために予め設けられたメニュー表示指示ボタンを押下する操作を検出したならば、メニュー表示指示を受け付ける。メニュー表示指示を受け付けたならば処理をステップＳ２３に進めるが、そうでなければ処理を撮像連携処理に戻す。
【０１１６】
ステップＳ２３においては、表示部２０７に表示されている処理対象部分の画像に重畳してメニュー画面を表示部２０７に表示する。メニュー画面は、複数の処理のいずれかを選択するための複数のボタンを含む。ここでは、メニュー画面に含まれる複数のボタンは、関連情報表示処理を選択するためのボタンと、印刷処理を選択するためのボタンと、保存処理を選択するためのボタンと、送信処理を選択するためのボタンと、データベース検索処理を選択するためのボタンとを含む。
【０１１７】
次のステップＳ２４においては、複数の処理のいずれかを選択する指示を受け付けたか否かを判断する。メニュー画面に含まれる複数のボタンのいずれかを押下する操作を検出したならば、選択指示を受け付ける。選択指示を受け付ける場合、複数のボタンのいずれが押下されたかによって処理を分岐させる。関連情報表示処理を選択するためのボタンが押下される場合には処理をステップＳ２５に進め、印刷処理を選択するためのボタンが押下される場合には処理をステップＳ３０に進め、保存処理を選択するためのボタンが押下される場合には処理をステップＳ３４に進め、送信処理を選択するためのボタンが押下される場合には処理をステップＳ３８に進め、データベース検索処理を選択するためのボタンが押下される場合には処理をステップＳ４２に進める。
【０１１８】
ステップＳ２５においては、関連データ送信依頼を送信する。具体的には、元データ９１のデータ識別情報を含む関連データ送信依頼を、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。関連データ送信依頼を受信するＭＦＰ１００は、関連データ送信依頼に含まれるデータ識別情報で特定されるデータ９１に関連する関連データ９３を返信するので、次のステップＳ２６においては、ＭＦＰ１００が送信する関連データを受信するまで待機状態となる。無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から関連データ９３を受信すると、処理をステップＳ２７に進める。
【０１１９】
ステップＳ２７においては、受信された関連データのうちから、処理対象部分に対応する部分を関連部分として抽出する。関連データは、元データに関連する情報、または元データを補足する情報を含む。関連データのうちから、処理対象部分に関連する情報を含む部分、または、処理対象部分を補足する情報を含む部分を関連部分として抽出する。元データの複数の部分と、関連データの複数の部分とを、予め関連付ける場合には、関連データの複数の部分のうちから処理対象部分に関連付けられた部分を関連部分として抽出する。また、関連データのうち、処理対象部分に含まれる文字と同一の文字を含む部分、およびその文字から所定の範囲内に配置される部分を、関連部分として抽出してもよい。
【０１２０】
次のステップＳ２８においては、ステップＳ２７において抽出された関連部分を表示部２０７に表示する。ここでは、表示部２０７に表示されている処理対象部分の画像に重畳して関連部分の画像を表示する。
【０１２１】
次のステップＳ２９においては、表示終了指示を受け付けたか否かを判断する。操作部２０８に関連部分の表示の終了を指示するために予め設けられた表示終了指示ボタンを押下する操作を検出したならば、表示終了指示を受け付ける。表示終了指示を受け付けるまで待機状態となり（ステップＳ２９でＮＯ）、表示終了指示を受け付けたならば（ステップＳ２９でＹＥＳ）、処理を撮像連携処理に戻す。
【０１２２】
ステップＳ３０においては、印刷設定画面を表示部２０７に表示する。印刷設定画面は、ＭＦＰ１００が画像を形成するための条件を受け付けるための画面である。次のステップＳ３１においては、印刷設定を受け付ける。ユーザーが印刷設定画面にしたがって、ＭＦＰ１００が画像を形成するための条件を定める情報を、操作部２０８に入力すると、操作部２０８に入力された情報を印刷設定として受け付ける。次のステップＳ３２においては、印刷指示を受け付けたか否かを判断する。操作部２０８に印刷を指示するために予め設けられた印刷了指示ボタンを押下する操作を検出したならば、印刷指示を受け付ける。印刷指示を受け付けたならば処理をステップＳ３３に進めるが、そうでなければ処理をステップＳ３１に戻す。
【０１２３】
ステップＳ３３においては、処理対象部分と印刷依頼とを送信し、処理を撮像連携処理に戻す。具体的には、処理対象部分と印刷依頼とを、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。印刷依頼は、ステップＳ３１において受け付けられた印刷設定を含む。処理対象部分と印刷依頼を受信するＭＦＰ１００は、印刷依頼に含まれる印刷設定にしたがって、処理対象部分の画像を用紙に形成する。
【０１２４】
ステップＳ３４においては、記憶設定画面を表示部２０７に表示する。記憶設定画面は、ＭＦＰ１００がデータを記憶するめの条件である記憶設定を受け付けるための画面である。記憶設定は、ＭＦＰ１００がデータを記憶するための条件を定める情報であり、例えば、ＨＤＤ１１６のフォルダの情報、データフォーマット等を含む。
【０１２５】
次のステップＳ３５においては、記憶設定を受け付ける。ユーザーが記憶設定画面にしたがって、ＭＦＰ１００がデータを記憶するための条件を定める情報を、操作部２０８に入力すると、操作部２０８に入力された情報を記憶設定として受け付ける。次のステップＳ３６においては、記憶指示を受け付けたか否かを判断する。操作部２０８に記憶を指示するために予め設けられた記憶指示ボタンを押下する操作を検出したならば、記憶指示を受け付ける。記憶指示を受け付けたならば処理をステップＳ３７に進めるが、そうでなければ処理をステップＳ３５に戻す。
【０１２６】
ステップＳ３７においては、処理対象部分と記憶依頼とを送信し、処理を撮像連携処理に戻す。具体的には、処理対象部分と記憶依頼とを、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。記憶依頼は、ステップＳ３５において受け付けられた記憶設定を含む。処理対象部分と記憶依頼を受信するＭＦＰ１００は、記憶依頼に含まれる記憶設定にしたがって、処理対象部分をＨＤＤ１１６に記憶する。
【０１２７】
ステップＳ３８においては、送信設定画面を表示部２０７に表示する。送信設定画面は、データを送信するめの条件である送信設定を受け付けるための画面である。送信設定は、データ送信する条件を定める情報であり、例えば、送信先の電子メールアドレス、電子メールアドレスに記載されるコメントを等を含む。
【０１２８】
次のステップＳ３９においては、送信設定を受け付ける。ユーザーが送信設定画面にしたがって、データを送信するための条件を定める情報を、操作部２０８に入力すると、操作部２０８に入力された情報を送信設定として受け付ける。次のステップＳ４０においては、送信指示を受け付けたか否かを判断する。操作部２０８に送信を指示するために予め設けられた送信指示ボタンを押下する操作を検出したならば、送信指示を受け付ける。送信指示を受け付けたならば処理をステップＳ４１に進めるが、そうでなければ処理をステップＳ３９に戻す。
【０１２９】
ステップＳ４１においては、処理対象部分を送信し、処理を撮像連携処理に戻す。具体的には、送信設定に含まれる電子メールアドレスを宛先に設定し、処理対象部分を添付した電子メールを生成し、生成した電子メールを電子メールサーバーに無線ＬＡＮＩ／Ｆ２０９を介して送信する。
【０１３０】
ステップＳ４２においては、処理対象部分の中央部分の文字を抽出する。元データが画像の場合には、処理対象部分を文字認識することにより文字を抽出する。次のステップＳ４３においては、検索エンジンにデータベース検索要求を送信する。データベース検索要求は、ステップＳ４２において抽出された文字を検索キーとして含む。具体的には、無線ＬＡＮＩ／Ｆ２０９を介して、ステップＳ４２において抽出された文字を検索キーに含むデータベース検索要求を、予め定められた検索エンジンに送信する。検索エンジンは、例えば、インターネットに接続された検索サイトである。
【０１３１】
次のステップＳ４４においては、検索エンジンから返信される検索結果を受信する。そして、無線ＬＡＮＩ／Ｆ２０９により検索エンジンから受信された検索結果を表示部２０７に表示する（ステップＳ４５）。表示部２０７に表示されている処理対象部分の画像に代えて、検索結果を表示してもよいし、処理対象部分の画像に重畳して検索結果を表示してもよい。
【０１３２】
次のステップＳ４６においては、表示終了指示を受け付けたか否かを判断する。操作部２０８に検索結果の表示の終了を指示するために予め設けられた表示終了指示ボタンを押下する操作を検出したならば、表示終了指示を受け付ける。表示終了指示を受け付けるまで待機状態となり（ステップＳ４６でＮＯ）、表示終了指示を受け付けたならば（ステップＳ４６でＹＥＳ）、処理を撮像連携処理に戻す。
【０１３３】
＜第２の実施の形態＞
第１の実施の形態においては、ＭＦＰ１００において撮像画像とデータの画像とを画像認識処理を用いて比較することによって、撮像画像に対応するデータを特定し、携帯情報装置２００において撮像画像と元データの画像とを画像認識処理を用いて比較することによって元データ中の処理対象部分を決定するようにした。第２の実施の形態における画像処理システムにおいては、画像認識処理を用いない点で第１の実施の形態における画像処理システムと異なる。
【０１３４】
第２の実施の形態における画像処理システム１Ａにおいては、ＭＦＰ１００により画像が形成された用紙を、携帯情報装置２００のカメラ２０４で撮影する点は、第１の実施の形態におけるが画像処理システムと同じである。第２の実施の形態における画像処理システムにおいては、ＭＦＰ１００により画像が形成された用紙を携帯情報装置２００で撮像中に、用紙が３次元空間中で固定されることが条件となる点で、第１の実施の形態における画像処理システムと異なる。以下、第２の実施の形態における画像処理システム１Ａについて、第１の実施の形態における画像処理システム１と異なる点を主に説明する。
【０１３５】
第２の実施の形態における画像処理システム１Ａの全体概要は、図１に示した全体概要と同じである。第２の実施の形態にＭＦＰ１００〜１０２それぞれの外観およびハードウエア構成は、図２および図３にそれぞれ示したのと同じである。したがって、ここでは説明を繰り返さない。
【０１３６】
図１９は、第２の実施の形態における携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。図１９を参照して、第２の実施の形態における携帯情報装置２００Ａは、図４に示したハードウエア構成と異なる点は、３軸加速度センサ２１１が追加された点である。
【０１３７】
３軸加速度センサ２１１は、携帯情報装置２００Ａの本体に固定され、３方向の加速度を検出し、検出された３方向の加速度をＣＰＵ２０１に出力する。３方向は、カメラ２０４が有するレンズの光軸方向と平行なＺ軸方向と、Ｚ軸方向と交わるＸ軸方向と、Ｚ軸およびＸ軸と交わるＹ方向である。ここでは、Ｘ軸、Ｙ軸およびＺ軸は、互いに直角に交わるようにしている。
【０１３８】
図２０は、第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図２０を参照して、第２の実施の形態におけるＭＦＰ１００Ａが備えるＣＰＵ１１１Ａの機能は、図５に示した機能と異なる点は、検索依頼受信部５５、元データ抽出部５７が削除され、指定受付部７１が追加された点である。その他の機能は同じなので、ここでは説明を繰り返さない。
【０１３９】
指定受付部７１は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００Ａが送信する一覧画面送信依頼を受信する。一覧画面送信依頼は、ＨＤＤ１１６に記憶されたデータ９１を識別するためのデータ識別情報を列挙した一覧画面の送信を要求する信号である。指定受付部７１は、一覧画面送信依頼を受信すると、ＨＤＤ１１６を検索することによって一覧画面を生成し、生成した一覧画面を携帯情報装置２００Ａに通信Ｉ／Ｆ部１１２を介して送信する。
【０１４０】
指定受付部７１は、一覧画面を送信した後に、携帯情報装置２００Ａから元データ送信依頼が受信されると、受信された元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を、ＨＤＤ１１６から読出し、読み出されたデータ９１と携帯情報装置２００のＡ装置識別情報とを、元データ送信部６１に出力する。
【０１４１】
元データ送信部６１は、指定受付部７１から入力されるデータ９１を、指定受付部７１から入力される装置識別情報で特定される携帯情報装置２００Ａに、通信Ｉ／Ｆ部１１２を介して送信する。
【０１４２】
図２１は、第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図２１を参照して、図２１に示す第２の実施の形態における携帯情報装置２００Ａが備えるＣＰＵ２０１Ａの機能は、ＣＰＵ２０１Ａがフラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１Ａに形成される機能である。撮像連携プログラムは、連携処理プログラムの一部である。
【０１４３】
図２１を参照して、第２の実施の形態における携帯情報装置２００Ａが備えるＣＰＵ２０１Ａが有する機能は、図６に示した機能と異なる点は、元データ取得部２４３および処理対象部分決定部２４５が、元データ取得部２４３Ａおよび処理対象部分決定部２４５Ａにそれぞれ変更された点、および加速度検出部２８１が追加された点である。その他の機能は、図６に示した機能と同じなので、ここでは説明を繰り返さない。
【０１４４】
元データ取得部２４３Ａは、一覧画面送信依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、一覧画面送信依頼を受信すると、ＨＤＤ１１６に記憶されたデータ９１を識別するためのデータ識別情報を列挙した一覧画面を返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から一覧画面を受信すると、受信された一覧画面を、表示部２０７に表示する。元データ取得部２４３Ａは、表示部２０７に一覧画面を表示した後、ユーザーが操作部２０８に一覧画面に含まれるデータ識別情報を選択する操作を入力すると、選択されたデータ識別情報を含む元データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、元データ送信依頼を受信すると、ＨＤＤ１１６に記憶されたデータ９１のうちから元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００からデータ９１を受信すると、受信されたデータ９１を元データとして取得する。元データ取得部２４３は、取得された元データを処理対象部分決定部２４５Ａに出力するとともに、元データのデータ識別情報を処理実行部２４７に出力する。
【０１４５】
図２２は、一覧画面の一例を示す図である。図２２を参照して、一覧画面４０１は、データ識別情報「大阪市」、「伊丹駅周辺」を選択可能に表示する。図では、データ識別情報「伊丹駅周辺」が、ユーザーにより選択され、反転表示されている。図では、反転表示をハッチングで示している。
【０１４６】
図２１に戻って、加速度検出部２８１は、３軸加速度センサ２１１から３方向の加速度が入力される。加速度検出部２８１は、３方向の加速度を、処理対象部分決定部２４５Ａに出力する。
【０１４７】
処理対象部分決定部２４５Ａは、第１基準設定部２９１と、参照位置検出部２９３と、第２基準設定部２９５と、変換規則決定部２９７と、変換抽出部２９９と、を含む。
【０１４８】
第１基準設定部２９１は、撮像制御部２４１から撮像画像が入力される。第１基準設定部２９１は、表示部２０７に第１アシスト画面を表示する。第１アシスト画面は、ＭＦＰ１００Ａにより画像が形成された用紙を、カメラ２０４の被写体とする場合に、用紙に形成された画像が納まる第１の撮影範囲を明示する画面であり、撮像画像に重畳して表示される。第１基準設定部２９１は、撮像画像を第１アシスト画面に重ねて表示する。これにより、ユーザーは、第１アシスト画面を見ながら撮像範囲を定めることができる。具体的には、ユーザーは、第１アシスト画面によって明示された第１の撮影範囲内に、用紙に形成された画像が納まるように携帯情報装置を３次元空間内で移動させる操作が容易となる。第１アシスト画面によって明示された第１の撮影範囲内に、用紙に形成された画像が納まるときの携帯情報装置２００Ａの３次元空間における位置が、第１基準位置である。第１基準設定部２９５は、操作部２０８が備えるシャッターボタンを押下するユーザーによる操作を検出すると、第１基準設定信号を、参照位置検出部２９３に出力する。
【０１４９】
参照位置検出部２９３は、第１基準設定部２９１から第１基準設定信号が入力され、加速度検出部２８１から３方向の加速度が入力される。参照位置検出部２９３は、第１基準設定部２９１から第１基準設定信号が入力された時点の携帯情報装置２００の３次元空間中の位置を、第１基準位置（原点）に設定する。参照位置検出部２９３は、第１基準設定部２９１から第１基準設定信号が入力された後に、加速度検出部２８１から入力される３方向の加速度を３方向ごとに積分し、携帯情報装置２００の第１基準位置からの相対位置を算出し、算出した位置を参照位置として第２基準設定部２９５および変換抽出部２９９に出力する。
【０１５０】
第２基準設定部２９５は、参照位置検出部２９３から参照位置が入力され、撮像制御部２４１から撮像画像が入力される。第２基準設定部２９５は、表示部２０７に第２アシスト画面を表示する。第２アシスト画面は、ＭＦＰ１００Ａにより画像が形成された用紙を、カメラ２０４の被写体とする場合に、用紙に形成された画像が納まる第２の撮影範囲を明示する画面であり、撮像画像に重畳して表示される。第１の撮影範囲と、第２の撮影範囲とは、カメラ２０４の撮影範囲全体における位置と、サイズとが異なる。第２基準設定部２９５は、撮像画像を第２アシスト画面に重ねて表示する。これにより、ユーザーは、第２アシスト画面を見ながら撮像範囲を定めることができる。具体的には、ユーザーは、第２アシスト画面によって明示された第２の撮影範囲内に、用紙に形成された画像が納まるように携帯情報装置を３次元空間内で移動させる操作が容易となる。第２アシスト画面によって明示された第２の撮影範囲内に、用紙に形成された画像が納まるときの携帯情報装置２００Ａの３次元空間における位置が、第２基準位置である。ここでは、第２基準位置は、第１基準位置に対する相対位置である参照位置で表される。第２基準設定部２９５は、操作部２０８が備えるシャッターボタンを押下するユーザーによる操作を検出すると、その時点で参照位置検出部２９３から入力される参照位置を第２基準位置に設定する。第２基準設定部２９５は、第２基準位置を変換規則決定部２９７に出力する。
【０１５１】
図２３は、第１アシスト画面の一例を示す図である。図２３を参照して、第１アシスト画面４１１は、第１の撮影範囲を示す枠４１３を含む。第１アシスト画面４１１の全体がカメラ２０４の撮影範囲の全体と一致する。また、第１アシスト画面４１１において、カメラ２０４の光軸４１１Ａと、第１の撮像範囲の中心４１３Ａと、を示す。
【０１５２】
図２４は、第２アシスト画面の一例を示す図である。図２４を参照して、第２アシスト画面４２１は、第２の撮影範囲を示す枠４２３を示す。第２アシスト画面４２１の全体がカメラ２０４の撮影範囲の全体と一致する。また、第１アシスト画面４１１において、カメラ２０４の光軸４２１Ａと、第２の撮像範囲の中心４２３Ａと、を示す。
【０１５３】
図２３および図２４を参照して、第１アシスト画面４１１および第２アシスト画面４２１は、サイズは同じであり、ともに表示部２０７の表示面全体と同じサイズである。第１アシスト画面４１１および第２アシスト画面４２１が、カメラ２０４の撮像範囲に一致するとすれば、第１の撮影範囲を示す枠４１３と、第２の撮影範囲を示す枠４２３とは、カメラ２０４の撮像範囲内の位置が異なる。具体的には、第１の撮影範囲を示す枠４１３の中心４１３Ａと、第２の撮影範囲を示す枠４２３の中心４２３Ａは、カメラ２０４の撮像範囲内で位置が異なる。また、第１の撮影範囲を示す枠４１３の第１アシスト画面４１１に対するサイズの比率は、第２の撮影範囲を示す枠４２３と第２アシスト画面４２１に対するサイズの比率と異なり、第１の撮像範囲を示す枠４１３は、第２の撮影範囲を示す枠４２３よりも大きい。
【０１５４】
図２１に戻って、変換規則決定部２９７は、第２基準設定部２９５から入力される第２基準位置、第１の撮影範囲および第２の撮影範囲に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定し、決定した変換規則を変換抽出部２９９に出力する。例えば、変換規則は、第１の撮影範囲と第２の撮影範囲との相対的な位置関係と、第２基準位置のＸ軸方向の値およびＹ軸方向の値と対応付けることにより決定されるＸ軸方向の係数およびＹ軸方向の係数と、第１の撮影範囲のサイズと第２の撮影範囲のサイズと差を、第２基準位置のＺ軸方向の値と対応付けることにより決定されるＺ軸方向の係数と、を含む。
【０１５５】
より具体的には、第１の撮影範囲４１３の中心４１３Ａの位置と第２の撮影範囲４２３の中心４２３Ａの位置との間の距離であって、カメラ２０４の撮影範囲全体における横方向の成分を第２基準位置のＸ軸方向の値で除算した値をＸ軸方向の係数とし、第１の撮影範囲４１３の中心４１３Ａの位置と第２の撮影範囲４２３の中心４２３Ａの位置と間の距離であって、カメラ２０４の撮影範囲全体における縦方向の成分を第２基準位置のＹ軸方向の値で除算した値をＹ軸方向の係数とする。これにより、参照位置のＸ軸方向の値をＸ軸方向の係数と乗算した値と、参照位置のＹ軸方向の値にＹ軸方向の係数と乗算した値とで、携帯情報装置２００と用紙との相対位置が参照位置の場合における、カメラ２０４の撮影範囲中における用紙の中心の位置を定めることができる。
【０１５６】
また、第１の撮影範囲の縦または横方向の長さと第２の撮影範囲の縦または横方向の長さを第２基準位置のＺ軸方向の値で除算した値をＺ軸方向の係数とする。これにより、参照位置のＺ軸方向の値をＺ軸方向の係数と乗算した値で、携帯情報装置２００と用紙との相対位置が参照位置の場合における、カメラ２０４の撮影範囲中における用紙のサイズを定めることができる。
【０１５７】
カメラ２０４の撮影範囲中における用紙に形成された画像の中心の位置と、カメラ２０４の撮影範囲中における画像のサイズとから、用紙に形成された画像（元データの画像）全体のうちでカメラ２０４の撮影範囲に含まれる範囲が定まる。
【０１５８】
変換抽出部２９９は、元データ取得部２４３Ａから元データが入力され、参照位置検出部２９３から参照位置が入力され、変換規則決定部２９７から変換規則が入力される。変換抽出部２９９は、参照位置を変換規則にしたがって変換することにより、元データの画像中でカメラ２０４の撮影範囲に含まれる範囲を決定する。そして、決定された範囲に対応する元データの部分を、処理対象部分に決定する。変換抽出部２９９は、元データの処理対象部分を、元データから抽出し、抽出された処理対象部分を処理実行部２４７に出力する。
【０１５９】
図２５は、第２の実施の形態におけるＭＦＰ側連携処理の流れの一例を示すフローチャートである。ＭＦＰ側連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１Ａが、ＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１Ａにより実行される処理である。図２５を参照して、図１５に示したＭＦＰ側連携処理と異なる点は、ステップＳ１０８〜ステップＳ１１３に代えて、ステップＳ１２１〜ステップＳ１２４が実行される点である。その他の処理は、図１５に示した処理と同じなので、ここでは説明を繰り返さない。
【０１６０】
ＣＰＵ１１１Ａは、ステップＳ１２１において、通信Ｉ／Ｆ部１１２が携帯情報装置２００から一覧画面送信依頼を受信したか否かを判断する、一覧画面送信依頼を受信したならば処理をステップＳ１２２に進めるが、そうでなければ処理をステップＳ１０１に戻す。ステップＳ１２２においては、ＨＤＤ１１６を検索することによって一覧画面を生成し、生成した一覧画面を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。
【０１６１】
次のステップＳ１２３においては、通信Ｉ／Ｆ部１１２が携帯情報装置２００から元データ送信依頼を受信したか否かを判断する、一覧画面送信依頼を受信するまで待機状態となり（ステップＳ１２３でＮＯ）、一覧画面送信依頼を受信したならば処理をステップＳ１２４に進める。ステップＳ１２４においては、受信された元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を、ＨＤＤ１１６から読出し、読み出されたデータ９１を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。そして、処理をステップＳ１０１に戻す。
【０１６２】
図２６は、第２の実施の形態における撮像連携処理の流れの一例を示すフローチャートである。第２の実施の形態における撮像連携処理は、携帯情報装置２００Ａが備えるＣＰＵ２０１Ａが、フラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１Ａにより実行される処理である。
【０１６３】
図２６を参照して、ＣＰＵ２０１は、一覧画面送信依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する（ステップＳ５１）。一覧画面送信依頼を受信するＭＦＰ１００は、ＨＤＤ１１６に記憶されたデータ９１のデータ識別情報を列挙した一覧画面を返信するので、ステップＳ５２においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から一覧画面を受信したか否かを判断する。一覧画面を受信したならば処理をステップＳ５３に進めるが、そうでなければ処理をステップＳ５１に戻す。
【０１６４】
ステップＳ５３においては、ステップＳ５２において受信された一覧画面を、表示部２０７に表示する。そして、選択指示を受け付けたか否かを判断する。ユーザーが操作部２０８に一覧画面に含まれるデータ識別情報を選択する操作を入力すると、選択指示を受け付ける。選択指示を受け付けたならば処理をステップＳ５５に進めるが、そうでなければ処理をステップＳ５３に戻す。
【０１６５】
ステップＳ５５においては、ステップＳ５４において選択されたデータ識別情報を含む元データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。次のステップＳ５６においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データを受信したか否かを判断する。元データを受信したならば処理をステップＳ５７に進めるが、そうでなければ処理をステップＳ５５に戻す。ステップＳ５７においては、受信された元データをフラッシュメモリ２０３に記憶し、処理をステップＳ５８に進める。
【０１６６】
ステップＳ５８においては、第１アシスト画面を表示部２０７に表示し、処理をステップＳ５９に進める。ステップＳ５９においては、撮像指示を受け付けたか否かを判断する。ユーザーが、操作部２０８に設けられたシャッターボタンを押下する操作を検出したならば、撮像指示を受け付ける。撮像指示を受け付けると処理をステップＳ６０に進めるが、そうでなければ処理をステップＳ５８に戻す。ユーザーが、第１アシスト画面に明示される第１の撮影範囲に、被写体となる画像が納まるように、携帯情報装置２００の位置を定める操作をするための時間を確保するためである。ステップＳ６０においては、第１基準位置を設定する。具体的には、携帯情報装置２００の３次元空間中の位置を、第１基準位置（原点）に設定する。
【０１６７】
次のステップＳ６１においては、第２アシスト画面を表示部２０７に表示し、処理をステップＳ６２に進める。ステップＳ６２においては、撮像指示を受け付けたか否かを判断する。撮像指示を受け付けると処理をステップＳ６３に進めるが、そうでなければ処理をステップＳ６１に戻す。ユーザーが、第２アシスト画面に明示される第２の撮影範囲に、被写体となる画像が納まるように、携帯情報装置２００の位置を定める操作をするための時間を確保するためである。ステップＳ６３においては、参照位置を算出する。ステップＳ５９において撮像指示が受け付けられた後に、３軸加速度センサ２１１が出力する３方向の加速度を積分することによって、参照位置を算出する。次のステップＳ６４においては、算出された参照位置を第２基準位置に設定する。
【０１６８】
次のステップＳ６５においては、変換規則を決定する。ステップＳ６４において設定された第２基準位置、第１アシスト画面に含まれる第１の撮影範囲および第２アシスト画面に含まれる第２の撮影範囲に基づいて、参照位置を元データ中の範囲に変換するための変換規則を決定する。
【０１６９】
次のステップＳ６６においては、参照位置を算出する。ステップＳ５９において撮像指示が受け付けられた後に、３軸加速度センサ２１１が出力する３方向の加速度を積分することによって、参照位置を算出する。そして、ステップＳ６６において算出された参照位置とステップＳ６５において決定された変換規則とから元データの画像中の処理対象範囲を決定する。次のステップＳ６８においては、ステップＳ５７において記憶された元データ中で、ステップＳ６７において決定された処理対象範囲に対応する部分を、処理対象部分に決定する。次のステップＳ６９においては、処理実行処理を実行し、処理をステップＳ７０に進める。処理実行処理は、図１７および図１８に示した処理である。次のステップＳ７０においては、終了指示を受け付けたか否かを判断する。操作部２０８に撮像連携処理の終了を指示するために予め設けられた停止ボタンを押下する操作を検出したならば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ６６に戻す。ステップＳ６６においては、ステップＳ６６が実行される時点の参照位置が算出され、ステップＳ６７以降の処理を繰り返す。
【０１７０】
以上説明したように、第１の実施の形態における連携システム１は、ＭＦＰ１００，１０１，１０２それぞれが、ＨＤＤ１１６に元データを記憶しており、元データの画像を用紙に形成し、携帯情報装置２００は、カメラ２０４で用紙に形成された画像を撮像し、出力する撮像画像を取得し、撮像画像に対応する元データをＭＦＰ１００，１０１，１０２のいずれかから取得する。そして、撮像画像に基づいて、元データ中で処理対象となる処理対象部分を決定し、元データのうち処理対象部分を処理する。このため、ユーザーは、ＭＦＰ１００，１０１，１０２のいずれかにより用紙に形成された画像を見ながら元データの処理対象部分を特定することができる。また、例えば、ＭＦＰ１００において元データの画像を縮小して画像形成した場合等は、用紙に形成された元データの画像が元データよりも情報量が少なくなるので、元データの処理対象部分が処理することにより、撮像画像よりも多くの情報を処理することができる。
【０１７１】
また、携帯情報装置２００は、撮像画像と元データの画像とを比較し、元データの画像中で撮像画像と同一または類似すると判断された領域に対応する、元データ中の部分を処理対象部分として抽出する。このため、画像を比較することにより元データ中の処理対象部分を決定されるので、処理対象部分を正確に特定することができる。
【０１７２】
また、カメラ２０４が備えるレンズの光軸と平行でレンズが向く方向を正とするＺ軸方向（第１の方向）の第１の距離、Ｚ軸と垂直に交わるＸ軸方向（第２の方向）の第２の距離、およびＺ軸およびＸ軸と垂直に交わるＹ軸方向（第３の方向）の第３の距離を、含む参照位置を検出し、変換後の範囲のサイズを、Ｚ軸方向（第１の方向）の第１の距離に反比例するサイズに決定する変換規則を、を生成する。このため、携帯情報装置２００を用紙に近づけたり遠ざけたりする操作で、処理対象部分のサイズを変更することができる。
【０１７３】
また、携帯情報装置２００は、元データの処理対象部分の画像を表示部２０７に表示するので、ユーザーは、処理対象部分を画像で確認することができる。また、撮像画像よりも元データの情報量が多い場合には、撮像画像よりも多くの情報を表示することができる。
【０１７４】
さらに、表示部２０７は、カメラ２０４が配置される面とは反対側の面に設けられ、カメラ２０４が備えるレンズの光軸を法線とする表示面を有するので、用紙に形成された画像と、表示面とが同じ方向を向く。このため、ユーザーは、用紙に形成された画像と、処理対象部分の画像とを同時に見ながら処理対象部分を特定することができる。
【０１７５】
さらに、表示部２０７に、元データに関連する関連データを表示するので、用紙に形成された画像に関連する情報を表示することができる。
【０１７６】
また、元データの処理対象部分に含まれる文字情報をキーワードにしてデータベースを検索し、結果検索を表示するので、用紙に形成された画像に関連する情報をデータベースから抽出することができる。
【０１７７】
さらに、元データの処理対象部分を電子メールで送信するので、送信するデータを特定する操作を容易にすることができる。
【０１７８】
さらに、元データの処理対象部分をＭＦＰ１００，１０１，１０２いずれかのＨＤＤ１１６に記憶するので、記憶するデータを特定する操作を容易にすることができる。
【０１７９】
さらに、元データの処理対象部分の画像を、ＭＦＰ１００，１０１，１０２のいずれかに用紙に形成させるので、画像を形成する部分を特定する操作を容易にすることができる。
【０１８０】
さらに、第２の実施の形態における連携システム１Ａにおいては、携帯情報装置２００Ａは、３軸加速度センサー２１２を備え、互いに交わる３方向の加速度を検出し、第１アシスト画面を表示部２０７に表示して、第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において第１基準位置を設定し、第１基準時刻以降に検出される３方向各々の加速度に基づいて参照位置を検出し、第２アシスト画面を表示部２０７に表示して、第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置が第２基準位置に設定し、第１の撮影範囲および第２の撮影範囲それぞれの相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定し、参照位置を変換規則にしたがって変換することによって、処理対象部分を抽出する。このため、３方向の加速度を検出することによって元データ中の処理対象部分を決定するので、処理対象部分を正確に特定することができる。また、２つの画像を比較する必要がないので、ＣＰＵ２０１の負荷を低減することができる。
【０１８１】
なお、上述した実施の形態においては、画像処理システム１，１Ａについて説明したが、図１５〜図１８、図２５および図２６に示した処理をＭＦＰ１００、１００Ａおよび携帯情報装置２００，２００Ａに実行させる連携処理方法、およびその連携処理方法をＭＦＰ１００，１００Ａおよび形態情報装置２００，２００Ａをそれぞれ制御するコンピューターに実行させるための連携処理プログラムとして発明を捉えることができるのは言うまでもない。
【０１８２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１８３】
１ 画像処理システム、３ ネットワーク、１１ 無線局、５１ データ取得部、５３ 画像形成制御部、５５ 検索依頼受信部、５７ 元データ抽出部、５９ 類似画像抽出部、６１ 元データ送信部、６３ 関連データ送信部、６５ 関連データ抽出部、７１ 指定受付部、９１ データ、９３ 関連データ、１００〜１０２ ＭＦＰ、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＥＥＰＲＯＭ、１１６ ＨＤＤ、１１７ ファクシミリ部、１１８ 外部記憶装置、１１８Ａ ＣＤ−ＲＯＭ、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１６０ 操作パネル、１６０Ａ 表示部、１６０Ｂ 操作部、２００ 携帯情報装置、２０１ ＣＰＵ、２０２ ＲＡＭ、２０３，２１０Ａ フラッシュメモリ、２０４ カメラ、２０５ 無線通信部、２０６ 通話部、２０７ 表示部、２０８ 操作部、２０９ 無線ＬＡＮＩ／Ｆ、２１０ カードＩ／Ｆ、２１１ ３軸加速度センサ、２４１ 撮像制御部、２４３，２４３Ａ 元データ取得部、２４５，２４５Ａ 処理対象部分決定部、２４７ 処理実行部、２５１ 比較部、２５３ 比較抽出部、２６１ 関連データ取得部、２６３ 関連部分抽出部、２６５ 表示制御部、２６７ 検索部、２６９ 文字情報抽出部、２７１ プリント制御部、２７３ 記憶制御部、２７５ 送信制御部、２８１ 加速度検出部、２９１ 第１基準設定部、２９３ 参照位置検出部、２９５ 第２基準設定部、２９７ 変換規則決定部、２９９ 変換抽出部、３１０ メニュー画面、３２１，３２２ 関連データ、３３１ 印刷設定画面、３４１ 送信設定画面、３５１ 記憶設定画面、３６１ 検索設定画面、４０１ 一覧画面、４１１ 第１アシスト画面、４１３ 第１の撮像範囲、４２１ 第２アシスト画面、４２３ 第２の撮像範囲。
【技術分野】
【０００１】
この発明は、連携システム、携帯情報装置、連携方法および連携プログラムに関し、特に、画像形成装置と、その画像形成装置と通信可能な携帯情報装置とを含む連携システム、その連携システムに含まれる形態情報装置、その携帯情報装置により実行される連携方法および連携プログラムに関する。
【背景技術】
【０００２】
特開２００８−０７７６５５号公報（特許文献１）には、機器本体の所定の位置に表示部を有する携帯型の電子機器であって、前記表示部の表示画面に表示する情報を記憶する記憶手段と、前記機器本体を持って前記表示部をその表示画面に対して垂直方向へ移動させたときの移動量を検出する移動量検出手段と、前記記憶手段に記憶された情報を前記表示部の表示画面に表示すると共に、前記移動量検出手段によって検出された前記表示部の垂直方向への移動量に応じて当該情報の表示サイズを動的に変更する表示制御手段と、を具備したことを特徴とする電子機器が記載されている。この電子機器によれば、「虫めがね」を動かしているような自然な感覚で、表示画面に表示された情報の表示サイズを変更することができる。例えば、従来の電子機器で、複合機で代表される画像形成装置によって画像が形成された用紙を撮像すれば、用紙に形成された画像を拡大して表示することができる。
【０００３】
しかしながら、画像形成装置によって用紙に形成される画像は、画像形成装置によって縮小処理が実行された画像の場合がある。この場合、用紙に形成された画像を電子機器で撮影し、撮影して得られる画像を拡大したとしても、画像形成装置によって実行される縮小処理により元データの画像から削除された部分を表示することはできないといった問題があった。
【特許文献１】特開２００８−０７７６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、データ中の処理対象部分を特定する操作を容易にした連携システムを提供することである。
【０００５】
この発明の他の目的は、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯情報装置を提供することである。
【０００６】
この発明のさらに他の目的は、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理方法を提供することである。
【０００７】
この発明のさらに他の目的は、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理プログラムを提供することである。
【課題を解決するための手段】
【０００８】
上述した目的を達成するためにこの発明のある局面によれば、連携システムは、画像形成装置と、画像形成装置と通信可能な携帯情報装置とを含む連携システムであって、画像形成装置は、元データを記憶する記憶手段と、記憶された元データの画像を用紙に形成する画像形成手段と、を備え、携帯情報装置は、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段と、撮像画像に基づいて、取得された元データ中で処理対象となる処理対象部分を決定する処理対象決定手段と、元データのうち決定された処理対象部分を処理する処理実行手段と、を備える。
【０００９】
この局面に従えば、画像形成装置によって用紙に形成された画像が撮像され、取得される撮像画像に対応する元データが画像形成装置から取得される。そして、撮像画像に基づいて、元データ中で処理対象となる処理対象部分が決定され、元データのうち処理対象部分が処理される。このため、ユーザーは、用紙に形成された画像を見ながら元データの処理対象部分を特定することができる。また、用紙に形成された元データの画像が元データよりも情報量が少ない場合、元データの処理対象部分が処理されるので、撮像画像よりも多くの情報を処理することができる。その結果、データ中の処理対象部分を特定する操作を容易にした連携システムを提供することができる。
【００１０】
好ましくは、処理対象決定手段は、撮像制御手段により取得された撮像画像と元データの画像とを比較する比較手段と、元データの画像中で比較手段により撮像画像と同一または類似すると判断された領域に対応する、元データ中の部分を処理対象部分として抽出する比較抽出手段と、を含む。
【００１１】
この局面に従えば、撮像画像と元データの画像とが比較され、元データの画像中で撮像画像と同一または類似すると判断された領域に対応する、元データ中の部分が処理対象部分として抽出される。このため、画像を比較することにより元データ中の処理対象部分が決定されるので、処理対象部分を正確に特定することができる。
【００１２】
好ましくは、携帯情報装置は、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、元データ取得手段は、記憶手段に記憶されたデータのうちから元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、処理対象決定手段は、撮像手段の第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において、用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、加速度検出手段が第１基準時刻以降に出力する３方向各々の加速度に基づいて、基準時刻以降の参照時刻における位置を、第１基準位置に相対する参照位置として検出する参照位置検出手段と、第１基準時刻以降であって、撮像手段の第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置を第２基準位置に設定する第２基準設定手段と、第１の撮影範囲および第２の撮影範囲それぞれの撮像手段の全撮像範囲中における相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、参照位置検出手段により参照位置が検出されることに応じて、検出された参照位置を決定された変換規則にしたがって変換した元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む。
【００１３】
この局面に従えば、互いに交わる３方向の加速度が検出され、第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において第１基準位置が設定され、第１基準時刻以降に検出される３方向各々の加速度に基づいて参照位置が検出され、第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置が第２基準位置に設定され、第１の撮影範囲および第２の撮影範囲それぞれの相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則が決定され、参照位置を変換規則にしたがって変換することによって、処理対象部分が抽出される。このため、３方向の加速度を検出することによって元データ中の処理対象部分を決定することができ、処理対象部分を正確に特定することができる。
【００１４】
好ましくは、参照位置検出手段は、撮像手段が備えるレンズの光軸と平行でレンズが向く方向を正とする第１の方向の第１の距離、第１の方向と垂直に交わる第２の方向の第２の距離、および第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、変換規則決定手段は、変換後の範囲のサイズを、第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む。
【００１５】
この局面に従えば、携帯情報装置を用紙に近づけたり遠ざけたりする操作で、処理対象部分のサイズを変更することができる。
【００１６】
好ましくは、携帯情報装置は、画像を表示する表示手段を、さらに備え、処理実行手段は、元データのうち決定された処理対象部分の画像を表示手段に表示する表示制御手段を含む。
【００１７】
この局面に従えば、処理対象部分の画像が表示されるので、処理対象部分を画像で確認することができる。また、撮像画像よりも元データの情報量が多い場合には、撮像画像よりも多くの情報を表示することができる。
【００１８】
好ましくは、表示手段は、撮像手段が配置される面とは反対側の面に設けられ、撮像手段が備えるレンズの光軸を法線とする表示面を有する。
【００１９】
この局面に従えば、用紙に形成された画像と、表示面とが同じ方向を向くので、用紙に形成された画像と、処理対象部分の画像とを同時に見ながら処理対象部分を特定することができる。
【００２０】
好ましくは、記憶手段は、元データと関連する関連データをさらに記憶しており、携帯情報装置は、元データに関連する関連データを取得する関連データ取得手段を、さらに備え、処理実行手段は、取得された関連データのうちから、元データのうち決定された処理対象部分に関連する部分に対応する関連部分を抽出する関連部分抽出手段と、を含み、表示制御手段は、元データのうち決定された処理対象部分の画像に重畳して、抽出された関連部分の画像を表示する。
【００２１】
この局面に従えば、元データに関連する関連データが表示されるので、用紙に形成された画像に関連する情報を表示することができる。
【００２２】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分から文字情報を抽出する文字情報抽出手段と、抽出された文字情報に基づいてデータベースを検索する検索手段と、を備え、表示制御手段は、データベースを検索した検索結果を表示手段に表示する。
【００２３】
この局面に従えば、元データの処理対象部分に含まれる文字情報をキーワードにしてデータベースを検索し、検索結果を表示するので、用紙に形成された画像に関連する情報をデータベースから抽出することができる。
【００２４】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分を送信する送信制御手段を含む。
【００２５】
この局面に従えば、元データの処理対象部分が送信されるので、送信するデータを特定する操作を容易にすることができる。
【００２６】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分を所定の記憶先に記憶する記憶制御手段を含む。
【００２７】
この局面に従えば、元データの処理対象部分が記憶されるので、記憶するデータを特定する操作を容易にすることができる。
【００２８】
好ましくは、処理実行手段は、元データのうち決定された処理対象部分を画像形成装置に送信し、処理対象部分の画像を形成させるプリント制御手段を含む。
【００２９】
この局面に従えば、元データの処理対象部分の画像が用紙に形成されるので、画像を形成する部分を特定する操作を容易にすることができる。
【００３０】
この発明のさらに他の局面によれば、携帯情報装置は、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置であって、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段と、撮像画像に基づいて、取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定手段と、元データのうち決定された処理対象部分を処理する処理実行手段と、を備える。
【００３１】
この局面に従えば、ユーザーは、画像形成装置によって用紙に形成された画像を見ながら画像形成装置に記憶された元データの処理対象部分を特定することができる。また、用紙に形成された元データの画像が元データよりも情報量が少ない場合、元データの処理対象部分が処理されるので、撮像画像よりも多くの情報を処理することができる。その結果、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯情報装置を提供することができる。
【００３２】
好ましくは、処理対象決定手段は、撮像制御手段により取得された撮像画像と元データの画像とを比較する比較手段と、元データの画像中で比較手段により撮像画像に類似すると判断された領域に対応する、元データ中の部分を処理対象部分として抽出する比較抽出手段と、を含む。
【００３３】
好ましくは、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、元データ取得手段は、記憶手段に記憶されたデータのうちから元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、処理対象決定手段は、第１基準時刻において撮像手段が用紙に形成された画像を第１の撮影範囲に納めて撮像し、用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、加速度検出手段が基準時刻以降に出力する３方向各々の加速度に基づいて、基準時刻以降の参照時刻における位置を、第１基準位置に相対する参照位置として検出する参照位置検出手段と、第１基準時刻以降の第２基準時刻において撮像手段が用紙に形成された画像を第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に納めて撮像し、第２基準時刻における参照位置を第２基準位置に設定する第２基準設定手段と、第１の撮影範囲および第２の撮影範囲それぞれの撮像手段の全撮像範囲中における相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、参照位置検出手段により参照位置が検出されることに応じて、検出された参照位置を決定された変換規則にしたがって変換した元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む。
【００３４】
好ましくは、参照位置検出手段は、撮像手段が備えるレンズの光軸と平行でレンズが向く方向を正とする第１の方向の第１の距離、第１の方向と垂直に交わる第２の方向の第２の距離、および第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、変換規則決定手段は、変換後の範囲のサイズを、第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む。
【００３５】
この発明のさらに他の局面によれば、連携処理方法は、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置で実行される連携処理方法あって、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、画像形成装置から撮像画像に対応する元データを取得する元データ取得ステップと、撮像画像に基づいて、取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、元データのうち決定された処理対象部分を処理する処理実行ステップと、を含む。
【００３６】
この局面に従えば、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理方法を提供することができる。
【００３７】
この発明のさらに他の局面によれば、連携処理プログラムは、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置を制御するコンピューターで実行される連携処理プログラムあって、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、画像形成装置から撮像画像に対応する元データを取得する元データ取得ステップと、撮像画像に基づいて、取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、元データのうち決定された処理対象部分を処理する処理実行ステップと、をコンピューターに実行させる。
【００３８】
この局面に従えば、画像形成装置に記憶されたデータ中の処理対象部分を特定する操作を容易にした携帯処理プログラムを提供することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態における画像処理システムの全体概要を示す図である。
【図２】ＭＦＰの外観を示す斜視図である。
【図３】ＭＦＰのハードウエア構成の概要を示すブロック図である。
【図４】携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。
【図５】ＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図６】携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図７】ＭＦＰにより画像が形成された用紙の一例を示す図である。
【図８】携帯情報装置に表示される画面の一例を示す図である。
【図９】メニュー画面の一例を示す図である。
【図１０】関連データが表示された状態の画面の一例を示す図である。
【図１１】印刷設定画面の一例を示す図である。
【図１２】送信設定画面の一例を示す図である。
【図１３】記憶設定画面の一例を示す図である。
【図１４】検索設定画面の一例を示す図である。
【図１５】ＭＦＰ側連携処理の流れの一例を示すフローチャートである。
【図１６】撮像連携処理の流れの一例を示すフローチャートである。
【図１７】処理実行処理の流れの一例を示す第１のフローチャートである。
【図１８】処理実行処理の流れの一例を示す第２のフローチャートである。
【図１９】第２の実施の形態における携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。
【図２０】第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図２１】第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図２２】一覧画面の一例を示す図である。
【図２３】第１アシスト画面の一例を示す図である。
【図２４】第２アシスト画面の一例を示す図である。
【図２５】第２の実施の形態におけるＭＦＰ側連携処理の流れの一例を示すフローチャートである。
【図２６】第２の実施の形態における撮像連携処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００４０】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００４１】
＜第１の実施の形態＞
図１は、本発明の実施の形態における画像処理システムの全体概要を示す図である。図１を参照して、画像処理システム１は、それぞれがネットワーク３に接続された画像形成装置としての複合機（以下、「ＭＦＰ」という）１００，１０１，１０２と、パーソナルコンピューター（以下、「ＰＣ」という）１０５と、携帯情報装置２００と、無線局１１を含む。
【００４２】
なお、図ではネットワーク３に３台のＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００，１０１，１０２が接続される例を示しているが、ＭＦＰの数はこれに限定されるものではなく、１台以上であればよい。また、ＭＦＰ１００，１０１，１０２に代えて、画像を形成する機能を備えた装置であれば、例えば、ファクシミリ、プリンタ等であってもよい。
【００４３】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク３は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク３は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。このため、ＭＦＰ１００，１０１，１０２各々は、ネットワーク３を介して互いに通信可能である。
【００４４】
携帯情報装置２００は、スマートホン等の一般的なＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）である。携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。また、携帯情報装置２００は、無線ＬＡＮ機能を備えている。
【００４５】
ネットワーク３には無線局１１がさらに接続される。無線局１１は、ネットワーク３の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００と通信して、携帯情報装置２００をネットワーク３に接続する。このため、携帯情報装置２００は、ネットワーク３に接続された、ＭＦＰ１００，１０１，１０２，ＰＣ１０５とデータの送受信が可能である。
【００４６】
ＰＣ１０５は、一般的なコンピューターである。ＰＣ１０５は、ユーザーにより使用され、アプリケーションプログラムを実行することにより、種々の処理を実行する。種々の処理は、データをＭＦＰ１００，１０１，１０２のいずれかに記憶する処理、ＭＦＰ１００，１０１，１０２にデータの画像をプリントさせるプリント処理を含む。データは、インターネットに接続されたサーバーからダウンロードしたＷｅｂページ、地図などのデータ、アプリケーションプログラムを実行して生成したデータ等を含む。
【００４７】
ＭＦＰ１００，１０１，１０２は、ハードウエア構成は同じであってもよく異なっていてもよいが、少なくともデータに基づいて、データの画像を紙などの用紙に形成する画像形成機能を備えている。ＭＦＰ１００，１０１，１０２各々が有するハードウエア構成は同じではない場合があるが、ここではＭＦＰ１００が、他のＭＦＰ１０１，１０２の少なくとも１つが有する構成を有している場合を例に説明する。
【００４８】
図２は、ＭＦＰの外観を示す斜視図である。図３は、ＭＦＰのハードウエア構成の概要を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００４９】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１５と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１６と、ファクシミリ部１１７と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１８Ａが装着される外部記憶装置１１８と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００５０】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００５１】
操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６０Ａと操作部１６０Ｂとを含む。表示部１６０Ａは、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６０Ｂは、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６０Ｂは、表示部１６０Ａ上に設けられたタッチパネルをさらに含む。
【００５２】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介してＭＦＰ１０１，１０２、ＰＣ１０５または携帯情報装置２００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００５３】
ファクシミリ部１１７は、公衆交換電話網（ＰＳＴＮ）に接続され、ファクシミリデータを送受信する。ファクシミリ部１１７は、原稿読取部１３０により読み取られた画像データまたはＨＤＤ１１６に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。また、ファクシミリ部１１７は、受信されたファクシミリデータをＨＤＤ１１６に記憶するか、画像形成部１４０にファクシミリデータの画像を用紙に形成させる。
【００５４】
外部記憶装置１１８は、プログラムを記憶したＣＤ−ＲＯＭ１１８Ａが装着される。ＣＰＵ１１１は、外部記憶装置１１８を介してＣＤ−ＲＯＭ１１８Ａに記憶されたプログラムをＲＡＭ１１４にロードし、実行する。なお、プログラムを記憶する記録媒体としては、ＣＤ−ＲＯＭ１１８Ａに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などの半導体メモリ等でもよい。また、ＨＤＤ１１６に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ＭＦＰ１００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１６に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００５５】
図４は、携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、ＣＰＵ２０１の作業領域として用いられるＲＡＭ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、カメラ２０４と、通話部２０６と接続された無線通信部２０５と、情報を表示する表示部２０７と、ユーザーの操作の入力を受け付ける操作部２０８と、無線ＬＡＮインターフェース（Ｉ／Ｆ）２０９と、カードＩ／Ｆ２１０と、を含む。
【００５６】
無線通信部２０５は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０５は、携帯情報装置２００を電話通信網に接続し、通話部２０６を用いた通話を可能とする。無線通信部２０５は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０６に出力する。また、無線通信部２０５は、通話部２０６から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０６は、マイクおよびスピーカを備え、無線通信部２０５から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０５に出力する。さらに、無線通信部２０５は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。
【００５７】
カメラ２０４は、レンズおよびＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサに結像し、ＣＭＯＳセンサは受光した光を光電変換して画像データをＣＰＵ２０１に出力する。
【００５８】
表示部２０７は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０８は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００５９】
表示部２０７は、カメラ２０４が配置される面とは反対側の面に設けられ、カメラ２０４が備えるレンズの光軸を法線とする表示面を有する。このため、カメラ２０４の被写体と、表示面とがユーザーの方向を向くので、ユーザーは、被写体となる用紙に形成された画像と、表示面に表示された画像とを見ることができる。例えば、カメラ２０４で撮像して得られる撮像画像を、そのまま表示部２０７に表示する場合には、携帯情報装置２００を、虫眼鏡のように使用することができる。
【００６０】
無線ＬＡＮＩ／Ｆ２０９は、無線局１１と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００に予めＭＦＰ１００，１０１，１０２それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＭＦＰ１００，１０１，１０２と通信することができ、データの送受信が可能となる。
【００６１】
カードＩ／Ｆ２１０は、フラッシュメモリ２１０Ａが装着される。ＣＰＵ２０１は、カードＩ／Ｆ２１０を介してフラッシュメモリ２１０Ａにアクセス可能である。ＣＰＵ２０１は、カードＩ／Ｆ２１０に装着されたフラッシュメモリ２１０Ａに記録されたプログラムをＲＡＭ２０２にロードして実行する。なお、ＣＰＵ２０１が実行するプログラムは、フラッシュメモリ２１０Ａに記録されたプログラムに限られず、フラッシュメモリ２０３に記憶されたプログラムをＲＡＭ２０２にロードして実行するようにしてもよい。
【００６２】
この場合、携帯情報装置２００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをフラッシュメモリ２０３に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６３】
本実施の形態における画像処理システム１において、ＭＦＰ１００，１０１，１０２および携帯情報装置２００間で、データが送受信される。データを送受信するプロトコルは、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ Ｏｆｆｉｃｅ Ｐｒｏｔｏｃｏｌ）等が用いられる。また、携帯情報装置２００は、ＭＦＰ１００，１０１，１０２のいずれとデータの送受信をしてもよいが、ここでは、説明のために、ＭＦＰ１００とデータの送受信をする場合を例に説明する。
【００６４】
図５は、ＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図５に示すＭＦＰ１００が備えるＣＰＵ１１１の機能は、ＣＰＵ１１１がＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。ＭＦＰ側連携プログラムは、連携処理プログラムの一部である。
【００６５】
図５を参照して、ＭＦＰ１００が備えるＣＰＵ１１１は、データを取得するデータ取得部５１と、データの画像を形成する画像形成制御部５３と、検索依頼受信部５５と、元データ抽出部５７と、元データ送信部６１と、関連データ送信部６３と、関連データ抽出部６５と、を含む。
【００６６】
データ取得部５１は、通信Ｉ／Ｆ１１２を制御し、外部からデータを受信する。データ取得部５１は、データを受信すると、受信されたデータをＨＤＤ１１６に記憶する。これによりＨＤＤ１１６に、データ９１が記憶される。また、データ取得部５１は、原稿読取部１３０が原稿を読み取って出力する画像データを取得し、取得された画像データを、ＨＤＤ１１６に記憶する。
【００６７】
データ取得部５１が外部から受信するデータは、ＰＣ１０５から送信されるデータを含み、ＰＣから送信されるデータは、アプリケーションデータおよびプリントデータを含む。アプリケーションデータは、ＰＣ１０５がアプリケーションプログラムを実行することにより生成されるデータであり、例えば、文書編集プログラムを実行する場合に生成される文書データ、表計算プログラムを実行する場合に生成される表計算データ、画像編集プログラムを実効することにより生成される画像データ等を含む。また、データ取得部５１が外部から受信するデータは、インターネットに接続されたサーバーからダウンロードされるマークアップ言語で記述されたＷｅｂページを含む。
【００６８】
データ取得部５１は、データとともに、そのデータに関連する関連データを受信する場合、受信された関連データを、データと関連付けてＨＤＤ１１６に記憶する。これにより、関連データ９３がＨＤＤ１１６に記憶される。関連データは、データ９１に関連する情報、またはデータ９１を補足する情報を含む。データ９１に関連する情報の一例としては、データ９１が商品を説明する資料の場合に、その商品と類似する商品を説明する資料である。また、データ９１を補足する情報の一例としては、データ９１が地図を示す画像データの場合に、当該地図中の店舗に関する情報である。また、データ９１が会議資料の場合に、会議資料を説明するための資料である。関連データは、データのフォーマットは特定されず、テキストであってもよいし、画像であってもよい。
【００６９】
画像形成制御部５３は、画像形成部１４０を制御して、ＨＤＤ１１６に記憶されたデータの画像を用紙に形成する。画像形成制御部５３は、データ取得部５１が、ＰＣ１０５からプリントデータを受信する場合、受信されたプリントデータの画像を画像形成部１４０に形成させる。また、ユーザーが操作部１６０Ｂを操作して、ＨＤＤ１１６に記憶されたデータ９１のうちから１以上を指定すると、指定されたデータ９１の画像を画像形成部１４０に形成させる。換言すれば、画像形成制御部５３は、ＰＣ１０５のユーザー、またはＭＦＰ１００のユーザーにより指定されたデータの画像を画像形成部１４０に形成させる。
【００７０】
検索依頼受信部５５は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００が送信する検索依頼を受信する。検索依頼は、携帯情報装置２００により撮像して得られる撮像画像を含む。検索依頼受信部５５は、受信された検索依頼に含まれる撮像画像を、元データ抽出部５７に出力するとともに、検索依頼を送信してきた装置、ここでは携帯情報装置２００の装置識別情報を元データ送信部６１に出力する。
【００７１】
元データ抽出部５７は、類似画像抽出部５９を含む。類似画像抽出部５９は、検索依頼受信部５５から入力される撮像画像を、ＨＤＤ１１６に記憶されているデータ９１の画像と比較し、データ９１のうちから、それの画像が撮像画像と同一または類似する領域を含むデータ９１を抽出する。２つの画像が類似しているか否かを判定する処理は、周知の画像認識処理技術を用いることができる。例えば、画像を微分した微分画像中のエッジの形状が同一または相似するか否かにより類比を判断することができる。類似画像抽出部５９は、撮像画像と同一または類似する領域を含む画像のデータ９１を抽出すると、抽出されたデータ９１を、元データ送信部６１に出力する。
【００７２】
元データ送信部６１は、元データ抽出部５７から入力されるデータ９１を、検索依頼受信部５５から入力される装置識別情報で特定される携帯情報装置２００に、通信Ｉ／Ｆ部１１２を介して送信する。
【００７３】
関連データ送信部６３は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００が送信する関連データ送信依頼を受信する。関連データ送信依頼は、ＨＤＤ１１６に記憶されているデータ９１のうちから１つを識別するためのデータ識別情報を含む。関連データ送信部６３は、関連データ送信依頼を受信すると、受信された関連データ送信依頼に含まれるデータ識別情報を、関連データ抽出部６５に出力する。
【００７４】
関連データ抽出部６５は、関連データ送信部６３からデータ識別情報が入力されると、ＨＤＤ１１６に記憶された関連データ９３のうちから、関連データ送信部６３から入力されたデータ識別情報で特定されるデータ９１に関連付けられた関連データ９３を抽出する。そして、関連データ抽出部６５は、抽出された関連データ９３を、関連データ送信部６３に出力する。関連データ送信部６３は、関連データ抽出部６５から入力される関連データ９３を、関連データ送信依頼を送信してきた携帯情報装置２００に、通信Ｉ／Ｆ部１１２を介して送信する。
【００７５】
図６は、携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図６に示す携帯情報装置２００が備えるＣＰＵ２０１の機能は、ＣＰＵ２０１がフラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。撮像連携プログラムは、連携処理プログラムの一部である。
【００７６】
図６を参照して、携帯情報装置２００が備えるＣＰＵ２０１は、カメラ２０４を制御する撮像制御部２４１と、元データを取得する元データ取得部２４３と、元データ中の処理対象範囲を決定する処理対象部分決定部２４５と、処理対象範囲で特定される元データ中の処理対象部分を処理する処理実行部２４７と、を含む。
【００７７】
撮像制御部２４１は、カメラ２０４を制御し、ユーザーによる撮像指示が操作部２０８に入力されることに応じて、カメラ２０４に被写体を撮像させる。撮像制御部２４１は、カメラ２０４が被写体を撮像し、出力する撮像画像を取得する。撮像制御部２４１は、カメラ２０４が出力する撮像画像を元データ取得部２４３および処理対象部分決定部２４５に出力する。ここでは、カメラ２０４が撮像対象とする被写体は、ＭＦＰ１００により画像が形成された用紙である。
【００７８】
元データ取得部２４３は、撮像制御部２４１から入力される撮像画像を含む検索依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、検索依頼を受信すると、撮像画像と少なくとも一部が同一または類似する元データを返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データ９１を受信すると、受信された元データ９１を取得する。元データ取得部２４３は、取得された元データ９１を処理対象部分決定部２４５に出力するとともに、元データ９１のデータ識別情報を処理実行部２４７に出力する。
【００７９】
処理対象部分決定部２４５は、比較部２５１と、比較抽出部２５３と、を含む。比較部２５１は、撮像制御部２４１から撮像画像が入力され、元データ取得部２４３から元データが入力される。比較部２５１は、撮像画像を元データの画像と比較する。撮像画像と、元データの画像の少なくとも一部の領域とを比較し、元データの画像中から撮像画像と同一または類似する領域を抽出する。元データの画像中から撮像画像と同一または類似する領域を抽出する処理は、周知の画像認識処理技術を用いることができる。比較部２５１は、元データの画像から抽出された領域の元データの画像中の位置を示す位置情報を比較抽出部２５３に出力する。
【００８０】
比較抽出部２５３は、元データ取得部２４３から元データが入力され、比較部２５１から位置情報が入力される、比較抽出部２５３は、元データ中で位置情報で示される位置に相当する部分を、処理対象部分として元データから抽出し、抽出された処理対象部分を処理実行部２４７に出力する。
【００８１】
処理実行部２４７は、処理対象部分決定部２４５から入力される処理対象部分を処理対象として、予め定められた処理を実行する。処理実行部２４７は、関連データ取得部２６１と、関連部分抽出部２６３と、表示制御部２６５と、データベース検索部２６７と、文字情報抽出部２６９と、プリント制御部２７１と、記憶制御部２７３と、送信制御部２７５と、を含む。
【００８２】
表示制御部２６５は、処理対象部分決定部２４５から処理対象部分が入力されることに応じて、処理対象部分の画像を表示部２０７に表示する。処理対象部分は、データ９１の少なくとも一部であって、その画像中で、カメラ２０４により撮影されて出力される撮像画像と同一または類似すると判定された領域に対応する部分である。このため、撮像画像とは別のオリジナルのデータ９１の画像が表示されるので、撮像画像より情報量の多い画像を表示することができる。例えば、撮像画像は、ＭＦＰ１００によりデータ９１の画像を用紙に形成した画像を撮像した画像なので、ＭＦＰ１００により用紙に形成される際に、縮小処理が実行されるなどして削除された部分が存在する場合がある。一方、撮像画像に対応するデータ９１の処理対象部分は、ＭＦＰ１００により削除された部分を含むので、撮像画像よりも情報量の多お画像、例えば解像度の高い画像を表示することができる。特に、カメラ２０４によって、用紙に形成された画像の一部を撮像する場合には、用紙に形成された画像を拡大して表示することになるが、ＭＦＰ１００により削除された部分を拡大して表示しても削除された部分を再現することはできない。例えば、ＭＦＰ１００により文字が削除された場合には、撮像画像に文字は含まれないので、削除された文字を表示することはできない。一方、データ９１の処理対象部分には、文字が含まれるので、文字を表示することができる。
【００８３】
関連データ取得部２６１は、元データ取得部２４３から元データ９１のデータ識別情報が入力され、ユーザーによる関連データ取得指示が操作部２０８に入力されることに応じて、元データ９１のデータ識別情報を含む関連データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、関連データ送信依頼を受信すると、関連データ９３を返信するので、関連データ取得部２６１は、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から関連データ９３を受信すると、受信された関連データ９３を取得する。関連データ取得部２６１は、取得された関連データを、関連部分抽出部２６３に出力する。
【００８４】
関連部分抽出部２６３は、関連データ取得部２６１から入力される関連データのうちから、比較抽出部２５３から入力される処理対象部分に対応する部分を関連部分として抽出する。関連部分抽出部２６３は、抽出された関連部分を表示制御部２６５に出力する。表示制御部２６５は、関連部分抽出部２６３から関連部分が入力される場合、表示部２０７に表示している処理対象部分に重畳して関連部分を表示する。関連データは、データ９１に関連する情報、またはデータ９１を補足する情報を含む。関連部分抽出部２６３は、関連データ９３のうちから、データ９１の処理対象部分に関連する情報を含む部分、または、処理対象部分を補足する情報を含む部分を関連部分として抽出する。データ９１の複数の部分と、関連データ９３の複数の部分とを、予め関連付ける場合には、関連データ９３の複数の部分のうちから処理対象部分に関連付けられた部分を関連部分として抽出する。また、関連データ９３のうち、処理対象部分に含まれる文字と同一の文字を含む部分、およびその文字から所定の範囲内に配置される部分を、関連部分として抽出してもよい。
【００８５】
文字情報抽出部２６９は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる検索指示が操作部２０８に入力されることに応じて、処理対象部分から文字情報を抽出し、抽出された文字情報をデータベース検索部２６７に出力する。好ましくは、文字情報抽出部２６９は、処理対象部分が複数の文字情報を含む場合には、処理対象部分の最も中央よりに配置された文字情報を抽出する。文字情報は、例えば、文字列である。文字情報抽出部２６９は、データ９１が画像の場合には、文字認識処理を実行し、文字情報を抽出する。また、後述するデータベース検索部２６７が画像をキーにした検索を実行可能な場合には、文字情報は画像であってもよい。
【００８６】
データベース検索部２６７は、文字情報抽出部２６９から文字情報が入力されることに応じて、データベース検索設定画面を、表示部２０７に表示する。ユーザーによるデータベース検索指示を受け付けると、無線ＬＡＮＩ／Ｆ２０９を介して、文字情報を検索キーに含むデータベース検索要求を、予め定められた検索エンジンに送信する。検索エンジンは、例えば、インターネットに接続された検索サイトである。データベース検索部２６７は、無線ＬＡＮＩ／Ｆ２０９が検索エンジンから返信される検索結果を受信すると、受信された検索結果を表示制御部２６５に出力する。
【００８７】
表示制御部２６５は、データベース検索部２６７から検索結果が入力されると、検索結果を表示部２０７に表示する。表示制御部２６５は、表示部２０７に表示されているデータ９１の処理対象部分の画像に代えて、検索結果を表示してもよいし、処理対象部分の画像に重畳して検索結果を表示してもよい。
【００８８】
プリント制御部２７１は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる印刷指示が操作部２０８に入力されることに応じて、処理対象部分と印刷依頼を無線ＬＡＮＩ／Ｆ２０９を介して、ＭＦＰ１００に送信し、ＭＦＰに処理対象部分の画像を用紙に形成させる。ＭＦＰ１００は、携帯情報装置２００から処理対象部分と印刷依頼を受信すると、処理対象部分の画像を用紙に形成する。プリント制御部２７１は、印刷設定画面を表示部２０７に表示し、ユーザーが操作部２０８に入力する印刷設定を受け付け、印刷設定を含む印刷依頼を、ＭＦＰ１００に送信する。印刷設定は、ＭＦＰ１００が画像を形成するための条件を定める情報であり、例えば、画像形成枚数、用紙のサイズ等を含む。
【００８９】
記憶制御部２７３は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる記憶指示が操作部２０８に入力されることに応じて、処理対象部分と記憶依頼を無線ＬＡＮＩ／Ｆ２０９を介して、ＭＦＰ１００に送信し、ＭＦＰに処理対象部分をＨＤＤ１１６に記憶させる。ＭＦＰ１００は、携帯情報装置２００から処理対象部分と記憶依頼を受信すると、処理対象部分を記憶依頼で特定されるＨＤＤ１１６の領域に記憶する。記憶制御部２７３は、記憶設定画面を表示部２０７に表示し、ユーザーが操作部２０８に入力する記憶設定を受け付け、記憶設定を含む記憶依頼を、ＭＦＰ１００に送信する。記憶設定は、ＭＦＰ１００が処理対象部分を記憶するための条件を定める情報であり、例えば、ＨＤＤ１１６が有する記憶領域であるフォルダを識別する情報、データフォーマット等を含む。
【００９０】
送信制御部２７５は、比較抽出部２５３から処理対象部分が入力され、ユーザーによる送信指示が操作部２０８に入力されることに応じて、処理対象部分を無線ＬＡＮＩ／Ｆ２０９を介して送信する。送信制御部２７５は、送信設定画面を表示部２０７に表示し、ユーザーが操作部２０８に入力する送信設定を受け付け、受け付けられた送信設定にしたがって、処理対象部分を送信する。送信設定は、処理対象部分を送信する条件を定める情報であり、例えば、送信先の電子メールアドレス、電子メールアドレスに記載されるコメントを等を含む。
【００９１】
図７は、ＭＦＰにより画像が形成された用紙の一例を示す図である。図７を参照して、用紙３００には、道路地図の画像３０１が形成されている。領域３０３は、携帯情報装置２００が備えるカメラ２０４の撮影範囲を示している。
【００９２】
図８は、携帯情報装置に表示される画面の一例を示す図である。図８を参照して、画面３０５は、図７に示した画像３０１中の領域３０３に対応するデータ９１の処理対象部分の画像を含む。画面３０５は、図７に示した領域３０３よりも詳細な情報を含む。
【００９３】
図９は、メニュー画面の一例を示す図である。図９を参照して、図８に示した画面に、メニュー画面３１０が重畳して表示される。メニュー画面３１０は、関連データ取得指示が割り当てられたボタン３１１と、印刷指示が割り当てられたボタン３１２と、記憶指示が割り当てられたボタン３１３と、送信指示が割り当てられたボタン３１４と、データベース検索指示が割り当てられたボタン３１５と、を含む。
【００９４】
図１０は、関連データが表示された状態の画面の一例を示す図である。図１０を参照して、図９に示した画面３０５に、メニュー画面３１０と、関連データ３２１，３２２と、が重畳して表示される。メニュー画面３１０の関連データ取得指示が割り当てられたボタン３１１が反転表示されており、ユーザーによりボタン３１１が指示されたことが示される。図では、ボタン３１１にハッチングを付すことにより反転表示されていることを示している。関連データ３２１は、画面３０５中の特定の店の位置に配置され、「バーゲン」の文字を含み、特定の店でバーゲンが開催されていることを示す情報を含む。関連データ３２２は、画面３０５中の別の特定の店の位置に配置され、「フランス料理」の文字を含み、その店でフランス料理が提供されることを示す情報を含む。
【００９５】
図１１は、印刷設定画面の一例を示す図である。図１１を参照して、図９に示した画面３０５に、メニュー画面３１０と、印刷設定画面３３１と、が重畳して表示される。メニュー画面３１０の印刷指示が割り当てられたボタン３１２が反転表示されており、ユーザーによりボタン３１２が指示されたことが示される。図では、ボタン３１２にハッチングを付すことにより反転表示されていることを示している。印刷設定画面３３１は、プリンタを指定する領域と、印刷範囲を指定する領域と、「ＯＫ」の文字が表されたボタンと、「キャンセル」の文字が表されたボタンと、を含む。「ＯＫ」の文字が表されたボタンが指示されると、プリンタを指定する領域および印刷範囲を指定する領域それぞれに設定された印刷設定に基づいて、処理対象部分と印刷設定とが送信される。
【００９６】
図１２は、送信設定画面の一例を示す図である。図１２を参照して、図９に示した画面３０５に、メニュー画面３１０と、送信設定画面３４１と、が重畳して表示される。メニュー画面３１０の送信指示が割り当てられたボタン３１３が反転表示されており、ユーザーによりボタン３１３が指示されたことが示される。図では、ボタン３１３にハッチングを付すことにより反転表示されていることを示している。送信設定画面３４１は、送信先となる宛先の電子メールアドレスを指定する領域と、差出人としてユーザーの電子メールアドレスを指定する領域と、件名を入力する領域と、メッセージを入力する領域と、「送信」の文字が表されたボタンと、「キャンセル」の文字が表されたボタンと、処理対象部分の画像を電子メールに添付するか否かを設定するラジオボタンと、を含む。「送信」の文字が表されたボタンが指示されると、電子メールが生成されて、電子メールサーバーに送信される。
【００９７】
図１３は、記憶設定画面の一例を示す図である。図１３を参照して、図９に示した画面３０５に、メニュー画面３１０と、記憶設定画面３５１と、が重畳して表示される。メニュー画面３１０の記憶指示が割り当てられたボタン３１４が反転表示されており、ユーザーによりボタン３１４が指示されたことが示される。図では、ボタン３１４にハッチングを付すことにより反転表示されていることを示している。記憶設定画面３５１は、ＭＦＰ１００のＨＤＤ１１６が有する複数の記憶領域を選択可能に表示する領域３５３と、選択された記憶領域に記憶されているデータのファイル名を表示する領域３５５と、ファイル名を指定する領域３５７と、ファイルのフォーマットを指定する領域３５８と、「ＯＫ」の文字が表されたボタンと、「キャンセル」の文字が表されたボタンと、を含む。領域３５３には、ＨＤＤ１１６が有する複数の記憶領域それぞれに付されたフォルダ名「ＡＢＣＤ」、「ＨＩＪＫ」、「ＰＵＢＬＣ」、「ＵＳ」が選択可能に表示される。ここでは、フォルダ名「ＨＩＪＫ」が選択され、反転表示されている。図では反転表示を、ハッチングで示している。また、領域３５５は、領域３５３において選択されたフォルダに記憶されているデータのデータ識別情報の一覧と、「開く」の文字が表されたボタンと、「保存」の文字が表されたボタンと、「削除」の文字が表されたボタンと、を含む。データ識別情報を選択し、「開く」の文字が表されたボタン、「削除」の文字が表されたボタンのいずれかを指示すれば、選択されたデータ識別情報のデータに対して、データを表示する処理およびデータを削除する処理のうち指示されたボタンに対応する処理が実行される。
【００９８】
領域３５７は、処理対象部分のデータのデータ識別情報が入力される。ここではデータ識別情報を「伊丹駅」としている。領域３５８は、処理対象部分のデータのフォーマットが入力される。ここでは、データのフォーマットが「ｐｄｆ」に設定されている例を示している。「ＯＫ」の文字が表されたボタンが指示されると、元データ９１の処理対象部分と記憶指示とがＭＦＰ１００に送信され、ＭＦＰ１００において、元データ９１の処理対象部分がフォーマット「ｐｄｆ」に変換され、ファイル名「伊丹駅」として、ＨＤＤ１１６のフォルダ名「ＨＩＪＫ」に記憶される。
【００９９】
図１４は、データベース検索設定画面の一例を示す図である。図１４を参照して、図９に示した画面３０５に、メニュー画面３１０と、データベース検索設定画面３６１と、が重畳して表示される。メニュー画面３１０のデータベース検索指示が割り当てられたボタン３１５が反転表示されており、ユーザーによりボタン３１５が指示されたことが示される。図では、ボタン３１５にハッチングを付すことにより反転表示されていることを示している。データベース検索設定画面３６１は、検索エンジンから受信された画面であり、検索キーを入力する領域に、画面３０５の中央付近に配置された「伊丹駅」の文字が設定される。「ＯＫ」の文字が表されたボタンが指示されると、「伊丹駅」を検索キーにしたデータベース検索依頼が、検索エンジンに送信される。
【０１００】
図１５は、ＭＦＰ側連携処理の流れの一例を示すフローチャートである。ＭＦＰ側連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１５を参照して、ＣＰＵ１１１は、原稿読取指示を受け付けたか否かを判断する（ステップＳ１０１）。ユーザーが、操作部１６０Ｂに、原稿読み取りモードに設定する操作を入力し、スタートキーを押下すれば、原稿読取指示を受け付ける。原稿読取指示を受け付けたならば処理をステップＳ１０２に進めるが、そうでなければステップＳ１０２をスキップして処理をステップＳ１０３に進める。ステップＳ１０２においては、原稿読取部１３０を制御し、原稿読取部１３０に原稿を読み取らせ、原稿読取部１３０が出力する画像データを取得する。そして、取得された画像データを、ＨＤＤ１１６にデータ９１として記憶し、処理をステップＳ１０３に進める。ステップＳ１０３においては、通信Ｉ／Ｆ部１１２がデータを受信したか否かを判断する。データを受信したならば処理をステップＳ１０４に進めるが、そうでなければステップＳ１０４をスキップして処理をステップＳ１０５に進める。ステップＳ１０４においては、受信された受信データを、ＨＤＤ１１６にデータ９１として記憶し、処理をステップＳ１０５に進める。通信Ｉ／Ｆ部１１２が受信するデータは、ＰＣ１０５から受信されるアプリケーションデータ、プリントデータを含み、さらに、インターネットに接続されたサーバーからダウンロードされるＷｅｂページを含む。
【０１０１】
ステップＳ１０５においては、データの指定を受け付けたか否かを判断する。ユーザーが操作部１６０Ｂを操作して、ＨＤＤ１１６に記憶されたデータ９１のうちから処理対象を指定する操作を入力すると、データの指定を受け付ける。データの指定を受け付けたならば処理をステップＳ１０６に進めるが、そうでなければ処理をステップＳ１０８に進める。ステップＳ１０６においては、画像形成指示を受け付けるまで待機状態となる。ユーザーが操作部１６０Ｂに、画像形成能動に設定する操作を入力し、スタートキーを押下すれば、画像形成指示を受け付ける。画像形成指示は、画像形成する条件、例えば倍率、用紙サイズなどを含む。画像形成指示を受け付けるまで待機状態となり、画像形成指示を受け付けたならば処理をステップＳ１０７に進める。ステップＳ１０７においては、画像形成部１４０を制御し、ステップＳ１０５において指定されたデータの画像を、画像形成部１４０に形成させ、処理をステップＳ１０８に進める。
【０１０２】
なお、原稿読取指示と画像形成指示とを組み合わせたコピー指示が受け付けられる場合がある。この場合には、ステップＳ１０２と、ステップＳ１０７の処理とが実行される。換言すれば、原稿読取部１３０が原稿を読み取って出力する画像データが、ＨＤＤ１１５にデータ９１として記憶されるとともに、原稿読取部１３０が出力する画像データの画像が画像形成部１４０によって形成される。
【０１０３】
ステップＳ１０８においては、検索依頼を受信したか否かを判断する。通信Ｉ／Ｆ部１１２は、携帯情報装置２００から検索依頼を受信したか否かを判断する。検索依頼を受信したならば、処理をステップＳ１０９に進めるが、そうでなければ処理をステップＳ１０１に戻す。ステップＳ１０９においては、ＨＤＤ１１６に記憶されたデータ９１のうちから１つを処理対象に選択し、選択されたデータ９１の画像と検索依頼に含まれる撮像画像とを比較する。撮像画像の全体と、データ９１の画像の少なくとも一部とを比較する。
【０１０４】
そして、比較の結果により処理を分岐させる（ステップＳ１１０）。データ９１の画像中に、撮像画像と同一または類似する部分が存在するか否かを判断する。データ９１の画像中に、撮像画像と同一または類似する部分が存在するならば処理をステップＳ１１２に進めるが、そうでなければ処理をステップＳ１１１に進める。ステップＳ１１１においては、ＨＤＤ１１６に記憶されたデータ９１のうちから別の１つを処理対象に選択し、処理をステップＳ１０９に戻す。なお、ＨＤＤ１１６に記憶されているすべてのデータ９１を処理対象に選択した場合には、元データが存在しないことを示す信号を、検索依頼を送信してきた携帯情報装置に通信Ｉ／Ｆ部１１２を介して送信し、処理をステップＳ１０１に戻すようにすればよい。
【０１０５】
ステップＳ１１２においては、ステップＳ１１０において処理対象に選択されたデータを元データに決定し、処理をステップＳ１１３に進める。ステップＳ１１３においては、元データを、検索依頼を送信してきた携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信し、処理をステップＳ１０１に戻す。
【０１０６】
図１６は、撮像連携処理の流れの一例を示すフローチャートである。撮像連携処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。
【０１０７】
図１６を参照して、ＣＰＵ２０１は、撮像指示を受け付けたか否かを判断する（ステップＳ０１）。ユーザーが、操作部２０８に撮像を指示するために予め設けられたシャッターボタンを押下する操作を検出したならば、撮像指示を受け付ける。撮像指示を受け付けるまで待機状態となり、撮像指示を受け付けたならば処理をステップＳ０２に進める。ステップＳ０２においては、カメラ２０４を制御し、カメラ２０４が被写体を撮像し、出力する撮像画像を取得する。ここで、携帯情報装置２００のユーザーは、ＭＦＰ１００により画像が形成された用紙を被写体としてシャッターボタンを押下すれば、用紙に形成された画像を撮像した撮像画像を取得することになる。
【０１０８】
ステップＳ０３においては、検索依頼を送信する。具体的には、ステップＳ０２において取得された撮像画像を含む検索依頼を、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。検索依頼を受信するＭＦＰ１００は、撮像画像と少なくとも一部が同一または類似する元データを返信するので、次のステップＳ０４においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データ９１を受信するまで待機状態となる。元データを受信したならば（ステップＳ０４でＹＥＳ）、処理をステップＳ０５に進める。ステップＳ０５においては、受信された元データをフラッシュメモリ２０３に記憶し、処理をステップＳ０６に進める。
【０１０９】
ステップＳ０６においては、撮像画像を取得する。カメラ２０４は、ステップＳ０１において撮像指示が受け付けられてから被写体を撮像した動画像を出力する。動画像は、所定の時間間隔で静止画像を配列した画像である。ここでは、動画像のうちから１つの静止画像を撮像画像として取得する。次のステップＳ０７においては、ステップＳ０４においてＭＦＰ１００から受信された元データの画像と撮像画像とを比較する。撮像画像の全体と、元データの画像の少なくとも一部とを比較する。
【０１１０】
そして、比較の結果により処理を分岐させる（ステップＳ０８）。元データの画像中に、撮像画像と同一または類似する領域が存在するか否かを判断する。元データの画像中に、撮像画像と同一または類似する領域が存在するならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ０６に戻す。
【０１１１】
ステップＳ０８においては、元データ中の処理対象部分を決定する。ステップＳ０８において元データの画像中から抽出された、撮像画像と同一または類似する領域に対応する元データの部分を、処理対象部分に決定する。
【０１１２】
次のステップＳ１０においては、処理実行処理を実行する。処理実行処理の詳細は後述するが、ステップＳ０９において決定された元データの処理対象部分を処理対象として所定の処理を実行する処理である。次のステップＳ１１においては、終了指示を受け付けたか否かを判断する。操作部２０８に撮像連携処理の終了を指示するために予め設けられた停止ボタンを押下する操作を検出したならば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ０６に戻す。ステップＳ０６においては、ステップＳ０６が実行される時点でカメラ２０４が出力する静止画像を撮像画像として取得し、ステップＳ０７以降の処理を繰り返す。
【０１１３】
図１７および図１８は、処理実行処理の流れの一例を示すフローチャートである。処理実行処理は、図１６のステップＳ１０において実行される処理である。図１６のステップＳ１０が実行される前のステップＳ０９において、元データの処理対象部分が決定されており、処理実行処理は、処理対象部分を処理対象とする。
【０１１４】
図１７および図１８を参照して、ＣＰＵ２０１は、処理対象部分を表示部２０７に表示する（ステップＳ２１）。処理対象部分は、データ９１の少なくとも一部であって、データ９１の画像のうちカメラ２０４から出力される撮像画像と同一または類似すると判定された領域に対応する部分である。このため、撮像画像とは別の元データの画像が表示されるので、撮像画像より情報量の多い詳細な画像を表示することができる。
【０１１５】
次のステップＳ２２においては、メニュー表示指示を受信したか否かを判断する。操作部２０８にメニュー表示を指示するために予め設けられたメニュー表示指示ボタンを押下する操作を検出したならば、メニュー表示指示を受け付ける。メニュー表示指示を受け付けたならば処理をステップＳ２３に進めるが、そうでなければ処理を撮像連携処理に戻す。
【０１１６】
ステップＳ２３においては、表示部２０７に表示されている処理対象部分の画像に重畳してメニュー画面を表示部２０７に表示する。メニュー画面は、複数の処理のいずれかを選択するための複数のボタンを含む。ここでは、メニュー画面に含まれる複数のボタンは、関連情報表示処理を選択するためのボタンと、印刷処理を選択するためのボタンと、保存処理を選択するためのボタンと、送信処理を選択するためのボタンと、データベース検索処理を選択するためのボタンとを含む。
【０１１７】
次のステップＳ２４においては、複数の処理のいずれかを選択する指示を受け付けたか否かを判断する。メニュー画面に含まれる複数のボタンのいずれかを押下する操作を検出したならば、選択指示を受け付ける。選択指示を受け付ける場合、複数のボタンのいずれが押下されたかによって処理を分岐させる。関連情報表示処理を選択するためのボタンが押下される場合には処理をステップＳ２５に進め、印刷処理を選択するためのボタンが押下される場合には処理をステップＳ３０に進め、保存処理を選択するためのボタンが押下される場合には処理をステップＳ３４に進め、送信処理を選択するためのボタンが押下される場合には処理をステップＳ３８に進め、データベース検索処理を選択するためのボタンが押下される場合には処理をステップＳ４２に進める。
【０１１８】
ステップＳ２５においては、関連データ送信依頼を送信する。具体的には、元データ９１のデータ識別情報を含む関連データ送信依頼を、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。関連データ送信依頼を受信するＭＦＰ１００は、関連データ送信依頼に含まれるデータ識別情報で特定されるデータ９１に関連する関連データ９３を返信するので、次のステップＳ２６においては、ＭＦＰ１００が送信する関連データを受信するまで待機状態となる。無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から関連データ９３を受信すると、処理をステップＳ２７に進める。
【０１１９】
ステップＳ２７においては、受信された関連データのうちから、処理対象部分に対応する部分を関連部分として抽出する。関連データは、元データに関連する情報、または元データを補足する情報を含む。関連データのうちから、処理対象部分に関連する情報を含む部分、または、処理対象部分を補足する情報を含む部分を関連部分として抽出する。元データの複数の部分と、関連データの複数の部分とを、予め関連付ける場合には、関連データの複数の部分のうちから処理対象部分に関連付けられた部分を関連部分として抽出する。また、関連データのうち、処理対象部分に含まれる文字と同一の文字を含む部分、およびその文字から所定の範囲内に配置される部分を、関連部分として抽出してもよい。
【０１２０】
次のステップＳ２８においては、ステップＳ２７において抽出された関連部分を表示部２０７に表示する。ここでは、表示部２０７に表示されている処理対象部分の画像に重畳して関連部分の画像を表示する。
【０１２１】
次のステップＳ２９においては、表示終了指示を受け付けたか否かを判断する。操作部２０８に関連部分の表示の終了を指示するために予め設けられた表示終了指示ボタンを押下する操作を検出したならば、表示終了指示を受け付ける。表示終了指示を受け付けるまで待機状態となり（ステップＳ２９でＮＯ）、表示終了指示を受け付けたならば（ステップＳ２９でＹＥＳ）、処理を撮像連携処理に戻す。
【０１２２】
ステップＳ３０においては、印刷設定画面を表示部２０７に表示する。印刷設定画面は、ＭＦＰ１００が画像を形成するための条件を受け付けるための画面である。次のステップＳ３１においては、印刷設定を受け付ける。ユーザーが印刷設定画面にしたがって、ＭＦＰ１００が画像を形成するための条件を定める情報を、操作部２０８に入力すると、操作部２０８に入力された情報を印刷設定として受け付ける。次のステップＳ３２においては、印刷指示を受け付けたか否かを判断する。操作部２０８に印刷を指示するために予め設けられた印刷了指示ボタンを押下する操作を検出したならば、印刷指示を受け付ける。印刷指示を受け付けたならば処理をステップＳ３３に進めるが、そうでなければ処理をステップＳ３１に戻す。
【０１２３】
ステップＳ３３においては、処理対象部分と印刷依頼とを送信し、処理を撮像連携処理に戻す。具体的には、処理対象部分と印刷依頼とを、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。印刷依頼は、ステップＳ３１において受け付けられた印刷設定を含む。処理対象部分と印刷依頼を受信するＭＦＰ１００は、印刷依頼に含まれる印刷設定にしたがって、処理対象部分の画像を用紙に形成する。
【０１２４】
ステップＳ３４においては、記憶設定画面を表示部２０７に表示する。記憶設定画面は、ＭＦＰ１００がデータを記憶するめの条件である記憶設定を受け付けるための画面である。記憶設定は、ＭＦＰ１００がデータを記憶するための条件を定める情報であり、例えば、ＨＤＤ１１６のフォルダの情報、データフォーマット等を含む。
【０１２５】
次のステップＳ３５においては、記憶設定を受け付ける。ユーザーが記憶設定画面にしたがって、ＭＦＰ１００がデータを記憶するための条件を定める情報を、操作部２０８に入力すると、操作部２０８に入力された情報を記憶設定として受け付ける。次のステップＳ３６においては、記憶指示を受け付けたか否かを判断する。操作部２０８に記憶を指示するために予め設けられた記憶指示ボタンを押下する操作を検出したならば、記憶指示を受け付ける。記憶指示を受け付けたならば処理をステップＳ３７に進めるが、そうでなければ処理をステップＳ３５に戻す。
【０１２６】
ステップＳ３７においては、処理対象部分と記憶依頼とを送信し、処理を撮像連携処理に戻す。具体的には、処理対象部分と記憶依頼とを、ＭＦＰ１００に無線ＬＡＮＩ／Ｆ２０９を介して送信する。記憶依頼は、ステップＳ３５において受け付けられた記憶設定を含む。処理対象部分と記憶依頼を受信するＭＦＰ１００は、記憶依頼に含まれる記憶設定にしたがって、処理対象部分をＨＤＤ１１６に記憶する。
【０１２７】
ステップＳ３８においては、送信設定画面を表示部２０７に表示する。送信設定画面は、データを送信するめの条件である送信設定を受け付けるための画面である。送信設定は、データ送信する条件を定める情報であり、例えば、送信先の電子メールアドレス、電子メールアドレスに記載されるコメントを等を含む。
【０１２８】
次のステップＳ３９においては、送信設定を受け付ける。ユーザーが送信設定画面にしたがって、データを送信するための条件を定める情報を、操作部２０８に入力すると、操作部２０８に入力された情報を送信設定として受け付ける。次のステップＳ４０においては、送信指示を受け付けたか否かを判断する。操作部２０８に送信を指示するために予め設けられた送信指示ボタンを押下する操作を検出したならば、送信指示を受け付ける。送信指示を受け付けたならば処理をステップＳ４１に進めるが、そうでなければ処理をステップＳ３９に戻す。
【０１２９】
ステップＳ４１においては、処理対象部分を送信し、処理を撮像連携処理に戻す。具体的には、送信設定に含まれる電子メールアドレスを宛先に設定し、処理対象部分を添付した電子メールを生成し、生成した電子メールを電子メールサーバーに無線ＬＡＮＩ／Ｆ２０９を介して送信する。
【０１３０】
ステップＳ４２においては、処理対象部分の中央部分の文字を抽出する。元データが画像の場合には、処理対象部分を文字認識することにより文字を抽出する。次のステップＳ４３においては、検索エンジンにデータベース検索要求を送信する。データベース検索要求は、ステップＳ４２において抽出された文字を検索キーとして含む。具体的には、無線ＬＡＮＩ／Ｆ２０９を介して、ステップＳ４２において抽出された文字を検索キーに含むデータベース検索要求を、予め定められた検索エンジンに送信する。検索エンジンは、例えば、インターネットに接続された検索サイトである。
【０１３１】
次のステップＳ４４においては、検索エンジンから返信される検索結果を受信する。そして、無線ＬＡＮＩ／Ｆ２０９により検索エンジンから受信された検索結果を表示部２０７に表示する（ステップＳ４５）。表示部２０７に表示されている処理対象部分の画像に代えて、検索結果を表示してもよいし、処理対象部分の画像に重畳して検索結果を表示してもよい。
【０１３２】
次のステップＳ４６においては、表示終了指示を受け付けたか否かを判断する。操作部２０８に検索結果の表示の終了を指示するために予め設けられた表示終了指示ボタンを押下する操作を検出したならば、表示終了指示を受け付ける。表示終了指示を受け付けるまで待機状態となり（ステップＳ４６でＮＯ）、表示終了指示を受け付けたならば（ステップＳ４６でＹＥＳ）、処理を撮像連携処理に戻す。
【０１３３】
＜第２の実施の形態＞
第１の実施の形態においては、ＭＦＰ１００において撮像画像とデータの画像とを画像認識処理を用いて比較することによって、撮像画像に対応するデータを特定し、携帯情報装置２００において撮像画像と元データの画像とを画像認識処理を用いて比較することによって元データ中の処理対象部分を決定するようにした。第２の実施の形態における画像処理システムにおいては、画像認識処理を用いない点で第１の実施の形態における画像処理システムと異なる。
【０１３４】
第２の実施の形態における画像処理システム１Ａにおいては、ＭＦＰ１００により画像が形成された用紙を、携帯情報装置２００のカメラ２０４で撮影する点は、第１の実施の形態におけるが画像処理システムと同じである。第２の実施の形態における画像処理システムにおいては、ＭＦＰ１００により画像が形成された用紙を携帯情報装置２００で撮像中に、用紙が３次元空間中で固定されることが条件となる点で、第１の実施の形態における画像処理システムと異なる。以下、第２の実施の形態における画像処理システム１Ａについて、第１の実施の形態における画像処理システム１と異なる点を主に説明する。
【０１３５】
第２の実施の形態における画像処理システム１Ａの全体概要は、図１に示した全体概要と同じである。第２の実施の形態にＭＦＰ１００〜１０２それぞれの外観およびハードウエア構成は、図２および図３にそれぞれ示したのと同じである。したがって、ここでは説明を繰り返さない。
【０１３６】
図１９は、第２の実施の形態における携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。図１９を参照して、第２の実施の形態における携帯情報装置２００Ａは、図４に示したハードウエア構成と異なる点は、３軸加速度センサ２１１が追加された点である。
【０１３７】
３軸加速度センサ２１１は、携帯情報装置２００Ａの本体に固定され、３方向の加速度を検出し、検出された３方向の加速度をＣＰＵ２０１に出力する。３方向は、カメラ２０４が有するレンズの光軸方向と平行なＺ軸方向と、Ｚ軸方向と交わるＸ軸方向と、Ｚ軸およびＸ軸と交わるＹ方向である。ここでは、Ｘ軸、Ｙ軸およびＺ軸は、互いに直角に交わるようにしている。
【０１３８】
図２０は、第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図２０を参照して、第２の実施の形態におけるＭＦＰ１００Ａが備えるＣＰＵ１１１Ａの機能は、図５に示した機能と異なる点は、検索依頼受信部５５、元データ抽出部５７が削除され、指定受付部７１が追加された点である。その他の機能は同じなので、ここでは説明を繰り返さない。
【０１３９】
指定受付部７１は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００Ａが送信する一覧画面送信依頼を受信する。一覧画面送信依頼は、ＨＤＤ１１６に記憶されたデータ９１を識別するためのデータ識別情報を列挙した一覧画面の送信を要求する信号である。指定受付部７１は、一覧画面送信依頼を受信すると、ＨＤＤ１１６を検索することによって一覧画面を生成し、生成した一覧画面を携帯情報装置２００Ａに通信Ｉ／Ｆ部１１２を介して送信する。
【０１４０】
指定受付部７１は、一覧画面を送信した後に、携帯情報装置２００Ａから元データ送信依頼が受信されると、受信された元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を、ＨＤＤ１１６から読出し、読み出されたデータ９１と携帯情報装置２００のＡ装置識別情報とを、元データ送信部６１に出力する。
【０１４１】
元データ送信部６１は、指定受付部７１から入力されるデータ９１を、指定受付部７１から入力される装置識別情報で特定される携帯情報装置２００Ａに、通信Ｉ／Ｆ部１１２を介して送信する。
【０１４２】
図２１は、第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図２１を参照して、図２１に示す第２の実施の形態における携帯情報装置２００Ａが備えるＣＰＵ２０１Ａの機能は、ＣＰＵ２０１Ａがフラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１Ａに形成される機能である。撮像連携プログラムは、連携処理プログラムの一部である。
【０１４３】
図２１を参照して、第２の実施の形態における携帯情報装置２００Ａが備えるＣＰＵ２０１Ａが有する機能は、図６に示した機能と異なる点は、元データ取得部２４３および処理対象部分決定部２４５が、元データ取得部２４３Ａおよび処理対象部分決定部２４５Ａにそれぞれ変更された点、および加速度検出部２８１が追加された点である。その他の機能は、図６に示した機能と同じなので、ここでは説明を繰り返さない。
【０１４４】
元データ取得部２４３Ａは、一覧画面送信依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、一覧画面送信依頼を受信すると、ＨＤＤ１１６に記憶されたデータ９１を識別するためのデータ識別情報を列挙した一覧画面を返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から一覧画面を受信すると、受信された一覧画面を、表示部２０７に表示する。元データ取得部２４３Ａは、表示部２０７に一覧画面を表示した後、ユーザーが操作部２０８に一覧画面に含まれるデータ識別情報を選択する操作を入力すると、選択されたデータ識別情報を含む元データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、元データ送信依頼を受信すると、ＨＤＤ１１６に記憶されたデータ９１のうちから元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００からデータ９１を受信すると、受信されたデータ９１を元データとして取得する。元データ取得部２４３は、取得された元データを処理対象部分決定部２４５Ａに出力するとともに、元データのデータ識別情報を処理実行部２４７に出力する。
【０１４５】
図２２は、一覧画面の一例を示す図である。図２２を参照して、一覧画面４０１は、データ識別情報「大阪市」、「伊丹駅周辺」を選択可能に表示する。図では、データ識別情報「伊丹駅周辺」が、ユーザーにより選択され、反転表示されている。図では、反転表示をハッチングで示している。
【０１４６】
図２１に戻って、加速度検出部２８１は、３軸加速度センサ２１１から３方向の加速度が入力される。加速度検出部２８１は、３方向の加速度を、処理対象部分決定部２４５Ａに出力する。
【０１４７】
処理対象部分決定部２４５Ａは、第１基準設定部２９１と、参照位置検出部２９３と、第２基準設定部２９５と、変換規則決定部２９７と、変換抽出部２９９と、を含む。
【０１４８】
第１基準設定部２９１は、撮像制御部２４１から撮像画像が入力される。第１基準設定部２９１は、表示部２０７に第１アシスト画面を表示する。第１アシスト画面は、ＭＦＰ１００Ａにより画像が形成された用紙を、カメラ２０４の被写体とする場合に、用紙に形成された画像が納まる第１の撮影範囲を明示する画面であり、撮像画像に重畳して表示される。第１基準設定部２９１は、撮像画像を第１アシスト画面に重ねて表示する。これにより、ユーザーは、第１アシスト画面を見ながら撮像範囲を定めることができる。具体的には、ユーザーは、第１アシスト画面によって明示された第１の撮影範囲内に、用紙に形成された画像が納まるように携帯情報装置を３次元空間内で移動させる操作が容易となる。第１アシスト画面によって明示された第１の撮影範囲内に、用紙に形成された画像が納まるときの携帯情報装置２００Ａの３次元空間における位置が、第１基準位置である。第１基準設定部２９５は、操作部２０８が備えるシャッターボタンを押下するユーザーによる操作を検出すると、第１基準設定信号を、参照位置検出部２９３に出力する。
【０１４９】
参照位置検出部２９３は、第１基準設定部２９１から第１基準設定信号が入力され、加速度検出部２８１から３方向の加速度が入力される。参照位置検出部２９３は、第１基準設定部２９１から第１基準設定信号が入力された時点の携帯情報装置２００の３次元空間中の位置を、第１基準位置（原点）に設定する。参照位置検出部２９３は、第１基準設定部２９１から第１基準設定信号が入力された後に、加速度検出部２８１から入力される３方向の加速度を３方向ごとに積分し、携帯情報装置２００の第１基準位置からの相対位置を算出し、算出した位置を参照位置として第２基準設定部２９５および変換抽出部２９９に出力する。
【０１５０】
第２基準設定部２９５は、参照位置検出部２９３から参照位置が入力され、撮像制御部２４１から撮像画像が入力される。第２基準設定部２９５は、表示部２０７に第２アシスト画面を表示する。第２アシスト画面は、ＭＦＰ１００Ａにより画像が形成された用紙を、カメラ２０４の被写体とする場合に、用紙に形成された画像が納まる第２の撮影範囲を明示する画面であり、撮像画像に重畳して表示される。第１の撮影範囲と、第２の撮影範囲とは、カメラ２０４の撮影範囲全体における位置と、サイズとが異なる。第２基準設定部２９５は、撮像画像を第２アシスト画面に重ねて表示する。これにより、ユーザーは、第２アシスト画面を見ながら撮像範囲を定めることができる。具体的には、ユーザーは、第２アシスト画面によって明示された第２の撮影範囲内に、用紙に形成された画像が納まるように携帯情報装置を３次元空間内で移動させる操作が容易となる。第２アシスト画面によって明示された第２の撮影範囲内に、用紙に形成された画像が納まるときの携帯情報装置２００Ａの３次元空間における位置が、第２基準位置である。ここでは、第２基準位置は、第１基準位置に対する相対位置である参照位置で表される。第２基準設定部２９５は、操作部２０８が備えるシャッターボタンを押下するユーザーによる操作を検出すると、その時点で参照位置検出部２９３から入力される参照位置を第２基準位置に設定する。第２基準設定部２９５は、第２基準位置を変換規則決定部２９７に出力する。
【０１５１】
図２３は、第１アシスト画面の一例を示す図である。図２３を参照して、第１アシスト画面４１１は、第１の撮影範囲を示す枠４１３を含む。第１アシスト画面４１１の全体がカメラ２０４の撮影範囲の全体と一致する。また、第１アシスト画面４１１において、カメラ２０４の光軸４１１Ａと、第１の撮像範囲の中心４１３Ａと、を示す。
【０１５２】
図２４は、第２アシスト画面の一例を示す図である。図２４を参照して、第２アシスト画面４２１は、第２の撮影範囲を示す枠４２３を示す。第２アシスト画面４２１の全体がカメラ２０４の撮影範囲の全体と一致する。また、第１アシスト画面４１１において、カメラ２０４の光軸４２１Ａと、第２の撮像範囲の中心４２３Ａと、を示す。
【０１５３】
図２３および図２４を参照して、第１アシスト画面４１１および第２アシスト画面４２１は、サイズは同じであり、ともに表示部２０７の表示面全体と同じサイズである。第１アシスト画面４１１および第２アシスト画面４２１が、カメラ２０４の撮像範囲に一致するとすれば、第１の撮影範囲を示す枠４１３と、第２の撮影範囲を示す枠４２３とは、カメラ２０４の撮像範囲内の位置が異なる。具体的には、第１の撮影範囲を示す枠４１３の中心４１３Ａと、第２の撮影範囲を示す枠４２３の中心４２３Ａは、カメラ２０４の撮像範囲内で位置が異なる。また、第１の撮影範囲を示す枠４１３の第１アシスト画面４１１に対するサイズの比率は、第２の撮影範囲を示す枠４２３と第２アシスト画面４２１に対するサイズの比率と異なり、第１の撮像範囲を示す枠４１３は、第２の撮影範囲を示す枠４２３よりも大きい。
【０１５４】
図２１に戻って、変換規則決定部２９７は、第２基準設定部２９５から入力される第２基準位置、第１の撮影範囲および第２の撮影範囲に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定し、決定した変換規則を変換抽出部２９９に出力する。例えば、変換規則は、第１の撮影範囲と第２の撮影範囲との相対的な位置関係と、第２基準位置のＸ軸方向の値およびＹ軸方向の値と対応付けることにより決定されるＸ軸方向の係数およびＹ軸方向の係数と、第１の撮影範囲のサイズと第２の撮影範囲のサイズと差を、第２基準位置のＺ軸方向の値と対応付けることにより決定されるＺ軸方向の係数と、を含む。
【０１５５】
より具体的には、第１の撮影範囲４１３の中心４１３Ａの位置と第２の撮影範囲４２３の中心４２３Ａの位置との間の距離であって、カメラ２０４の撮影範囲全体における横方向の成分を第２基準位置のＸ軸方向の値で除算した値をＸ軸方向の係数とし、第１の撮影範囲４１３の中心４１３Ａの位置と第２の撮影範囲４２３の中心４２３Ａの位置と間の距離であって、カメラ２０４の撮影範囲全体における縦方向の成分を第２基準位置のＹ軸方向の値で除算した値をＹ軸方向の係数とする。これにより、参照位置のＸ軸方向の値をＸ軸方向の係数と乗算した値と、参照位置のＹ軸方向の値にＹ軸方向の係数と乗算した値とで、携帯情報装置２００と用紙との相対位置が参照位置の場合における、カメラ２０４の撮影範囲中における用紙の中心の位置を定めることができる。
【０１５６】
また、第１の撮影範囲の縦または横方向の長さと第２の撮影範囲の縦または横方向の長さを第２基準位置のＺ軸方向の値で除算した値をＺ軸方向の係数とする。これにより、参照位置のＺ軸方向の値をＺ軸方向の係数と乗算した値で、携帯情報装置２００と用紙との相対位置が参照位置の場合における、カメラ２０４の撮影範囲中における用紙のサイズを定めることができる。
【０１５７】
カメラ２０４の撮影範囲中における用紙に形成された画像の中心の位置と、カメラ２０４の撮影範囲中における画像のサイズとから、用紙に形成された画像（元データの画像）全体のうちでカメラ２０４の撮影範囲に含まれる範囲が定まる。
【０１５８】
変換抽出部２９９は、元データ取得部２４３Ａから元データが入力され、参照位置検出部２９３から参照位置が入力され、変換規則決定部２９７から変換規則が入力される。変換抽出部２９９は、参照位置を変換規則にしたがって変換することにより、元データの画像中でカメラ２０４の撮影範囲に含まれる範囲を決定する。そして、決定された範囲に対応する元データの部分を、処理対象部分に決定する。変換抽出部２９９は、元データの処理対象部分を、元データから抽出し、抽出された処理対象部分を処理実行部２４７に出力する。
【０１５９】
図２５は、第２の実施の形態におけるＭＦＰ側連携処理の流れの一例を示すフローチャートである。ＭＦＰ側連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１Ａが、ＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１Ａにより実行される処理である。図２５を参照して、図１５に示したＭＦＰ側連携処理と異なる点は、ステップＳ１０８〜ステップＳ１１３に代えて、ステップＳ１２１〜ステップＳ１２４が実行される点である。その他の処理は、図１５に示した処理と同じなので、ここでは説明を繰り返さない。
【０１６０】
ＣＰＵ１１１Ａは、ステップＳ１２１において、通信Ｉ／Ｆ部１１２が携帯情報装置２００から一覧画面送信依頼を受信したか否かを判断する、一覧画面送信依頼を受信したならば処理をステップＳ１２２に進めるが、そうでなければ処理をステップＳ１０１に戻す。ステップＳ１２２においては、ＨＤＤ１１６を検索することによって一覧画面を生成し、生成した一覧画面を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。
【０１６１】
次のステップＳ１２３においては、通信Ｉ／Ｆ部１１２が携帯情報装置２００から元データ送信依頼を受信したか否かを判断する、一覧画面送信依頼を受信するまで待機状態となり（ステップＳ１２３でＮＯ）、一覧画面送信依頼を受信したならば処理をステップＳ１２４に進める。ステップＳ１２４においては、受信された元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を、ＨＤＤ１１６から読出し、読み出されたデータ９１を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。そして、処理をステップＳ１０１に戻す。
【０１６２】
図２６は、第２の実施の形態における撮像連携処理の流れの一例を示すフローチャートである。第２の実施の形態における撮像連携処理は、携帯情報装置２００Ａが備えるＣＰＵ２０１Ａが、フラッシュメモリ２０３，２１０Ａに記憶された撮像連携プログラムを実行することにより、ＣＰＵ１１１Ａにより実行される処理である。
【０１６３】
図２６を参照して、ＣＰＵ２０１は、一覧画面送信依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する（ステップＳ５１）。一覧画面送信依頼を受信するＭＦＰ１００は、ＨＤＤ１１６に記憶されたデータ９１のデータ識別情報を列挙した一覧画面を返信するので、ステップＳ５２においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から一覧画面を受信したか否かを判断する。一覧画面を受信したならば処理をステップＳ５３に進めるが、そうでなければ処理をステップＳ５１に戻す。
【０１６４】
ステップＳ５３においては、ステップＳ５２において受信された一覧画面を、表示部２０７に表示する。そして、選択指示を受け付けたか否かを判断する。ユーザーが操作部２０８に一覧画面に含まれるデータ識別情報を選択する操作を入力すると、選択指示を受け付ける。選択指示を受け付けたならば処理をステップＳ５５に進めるが、そうでなければ処理をステップＳ５３に戻す。
【０１６５】
ステップＳ５５においては、ステップＳ５４において選択されたデータ識別情報を含む元データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。次のステップＳ５６においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データを受信したか否かを判断する。元データを受信したならば処理をステップＳ５７に進めるが、そうでなければ処理をステップＳ５５に戻す。ステップＳ５７においては、受信された元データをフラッシュメモリ２０３に記憶し、処理をステップＳ５８に進める。
【０１６６】
ステップＳ５８においては、第１アシスト画面を表示部２０７に表示し、処理をステップＳ５９に進める。ステップＳ５９においては、撮像指示を受け付けたか否かを判断する。ユーザーが、操作部２０８に設けられたシャッターボタンを押下する操作を検出したならば、撮像指示を受け付ける。撮像指示を受け付けると処理をステップＳ６０に進めるが、そうでなければ処理をステップＳ５８に戻す。ユーザーが、第１アシスト画面に明示される第１の撮影範囲に、被写体となる画像が納まるように、携帯情報装置２００の位置を定める操作をするための時間を確保するためである。ステップＳ６０においては、第１基準位置を設定する。具体的には、携帯情報装置２００の３次元空間中の位置を、第１基準位置（原点）に設定する。
【０１６７】
次のステップＳ６１においては、第２アシスト画面を表示部２０７に表示し、処理をステップＳ６２に進める。ステップＳ６２においては、撮像指示を受け付けたか否かを判断する。撮像指示を受け付けると処理をステップＳ６３に進めるが、そうでなければ処理をステップＳ６１に戻す。ユーザーが、第２アシスト画面に明示される第２の撮影範囲に、被写体となる画像が納まるように、携帯情報装置２００の位置を定める操作をするための時間を確保するためである。ステップＳ６３においては、参照位置を算出する。ステップＳ５９において撮像指示が受け付けられた後に、３軸加速度センサ２１１が出力する３方向の加速度を積分することによって、参照位置を算出する。次のステップＳ６４においては、算出された参照位置を第２基準位置に設定する。
【０１６８】
次のステップＳ６５においては、変換規則を決定する。ステップＳ６４において設定された第２基準位置、第１アシスト画面に含まれる第１の撮影範囲および第２アシスト画面に含まれる第２の撮影範囲に基づいて、参照位置を元データ中の範囲に変換するための変換規則を決定する。
【０１６９】
次のステップＳ６６においては、参照位置を算出する。ステップＳ５９において撮像指示が受け付けられた後に、３軸加速度センサ２１１が出力する３方向の加速度を積分することによって、参照位置を算出する。そして、ステップＳ６６において算出された参照位置とステップＳ６５において決定された変換規則とから元データの画像中の処理対象範囲を決定する。次のステップＳ６８においては、ステップＳ５７において記憶された元データ中で、ステップＳ６７において決定された処理対象範囲に対応する部分を、処理対象部分に決定する。次のステップＳ６９においては、処理実行処理を実行し、処理をステップＳ７０に進める。処理実行処理は、図１７および図１８に示した処理である。次のステップＳ７０においては、終了指示を受け付けたか否かを判断する。操作部２０８に撮像連携処理の終了を指示するために予め設けられた停止ボタンを押下する操作を検出したならば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ６６に戻す。ステップＳ６６においては、ステップＳ６６が実行される時点の参照位置が算出され、ステップＳ６７以降の処理を繰り返す。
【０１７０】
以上説明したように、第１の実施の形態における連携システム１は、ＭＦＰ１００，１０１，１０２それぞれが、ＨＤＤ１１６に元データを記憶しており、元データの画像を用紙に形成し、携帯情報装置２００は、カメラ２０４で用紙に形成された画像を撮像し、出力する撮像画像を取得し、撮像画像に対応する元データをＭＦＰ１００，１０１，１０２のいずれかから取得する。そして、撮像画像に基づいて、元データ中で処理対象となる処理対象部分を決定し、元データのうち処理対象部分を処理する。このため、ユーザーは、ＭＦＰ１００，１０１，１０２のいずれかにより用紙に形成された画像を見ながら元データの処理対象部分を特定することができる。また、例えば、ＭＦＰ１００において元データの画像を縮小して画像形成した場合等は、用紙に形成された元データの画像が元データよりも情報量が少なくなるので、元データの処理対象部分が処理することにより、撮像画像よりも多くの情報を処理することができる。
【０１７１】
また、携帯情報装置２００は、撮像画像と元データの画像とを比較し、元データの画像中で撮像画像と同一または類似すると判断された領域に対応する、元データ中の部分を処理対象部分として抽出する。このため、画像を比較することにより元データ中の処理対象部分を決定されるので、処理対象部分を正確に特定することができる。
【０１７２】
また、カメラ２０４が備えるレンズの光軸と平行でレンズが向く方向を正とするＺ軸方向（第１の方向）の第１の距離、Ｚ軸と垂直に交わるＸ軸方向（第２の方向）の第２の距離、およびＺ軸およびＸ軸と垂直に交わるＹ軸方向（第３の方向）の第３の距離を、含む参照位置を検出し、変換後の範囲のサイズを、Ｚ軸方向（第１の方向）の第１の距離に反比例するサイズに決定する変換規則を、を生成する。このため、携帯情報装置２００を用紙に近づけたり遠ざけたりする操作で、処理対象部分のサイズを変更することができる。
【０１７３】
また、携帯情報装置２００は、元データの処理対象部分の画像を表示部２０７に表示するので、ユーザーは、処理対象部分を画像で確認することができる。また、撮像画像よりも元データの情報量が多い場合には、撮像画像よりも多くの情報を表示することができる。
【０１７４】
さらに、表示部２０７は、カメラ２０４が配置される面とは反対側の面に設けられ、カメラ２０４が備えるレンズの光軸を法線とする表示面を有するので、用紙に形成された画像と、表示面とが同じ方向を向く。このため、ユーザーは、用紙に形成された画像と、処理対象部分の画像とを同時に見ながら処理対象部分を特定することができる。
【０１７５】
さらに、表示部２０７に、元データに関連する関連データを表示するので、用紙に形成された画像に関連する情報を表示することができる。
【０１７６】
また、元データの処理対象部分に含まれる文字情報をキーワードにしてデータベースを検索し、結果検索を表示するので、用紙に形成された画像に関連する情報をデータベースから抽出することができる。
【０１７７】
さらに、元データの処理対象部分を電子メールで送信するので、送信するデータを特定する操作を容易にすることができる。
【０１７８】
さらに、元データの処理対象部分をＭＦＰ１００，１０１，１０２いずれかのＨＤＤ１１６に記憶するので、記憶するデータを特定する操作を容易にすることができる。
【０１７９】
さらに、元データの処理対象部分の画像を、ＭＦＰ１００，１０１，１０２のいずれかに用紙に形成させるので、画像を形成する部分を特定する操作を容易にすることができる。
【０１８０】
さらに、第２の実施の形態における連携システム１Ａにおいては、携帯情報装置２００Ａは、３軸加速度センサー２１２を備え、互いに交わる３方向の加速度を検出し、第１アシスト画面を表示部２０７に表示して、第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において第１基準位置を設定し、第１基準時刻以降に検出される３方向各々の加速度に基づいて参照位置を検出し、第２アシスト画面を表示部２０７に表示して、第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置が第２基準位置に設定し、第１の撮影範囲および第２の撮影範囲それぞれの相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定し、参照位置を変換規則にしたがって変換することによって、処理対象部分を抽出する。このため、３方向の加速度を検出することによって元データ中の処理対象部分を決定するので、処理対象部分を正確に特定することができる。また、２つの画像を比較する必要がないので、ＣＰＵ２０１の負荷を低減することができる。
【０１８１】
なお、上述した実施の形態においては、画像処理システム１，１Ａについて説明したが、図１５〜図１８、図２５および図２６に示した処理をＭＦＰ１００、１００Ａおよび携帯情報装置２００，２００Ａに実行させる連携処理方法、およびその連携処理方法をＭＦＰ１００，１００Ａおよび形態情報装置２００，２００Ａをそれぞれ制御するコンピューターに実行させるための連携処理プログラムとして発明を捉えることができるのは言うまでもない。
【０１８２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１８３】
１ 画像処理システム、３ ネットワーク、１１ 無線局、５１ データ取得部、５３ 画像形成制御部、５５ 検索依頼受信部、５７ 元データ抽出部、５９ 類似画像抽出部、６１ 元データ送信部、６３ 関連データ送信部、６５ 関連データ抽出部、７１ 指定受付部、９１ データ、９３ 関連データ、１００〜１０２ ＭＦＰ、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＥＥＰＲＯＭ、１１６ ＨＤＤ、１１７ ファクシミリ部、１１８ 外部記憶装置、１１８Ａ ＣＤ−ＲＯＭ、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１６０ 操作パネル、１６０Ａ 表示部、１６０Ｂ 操作部、２００ 携帯情報装置、２０１ ＣＰＵ、２０２ ＲＡＭ、２０３，２１０Ａ フラッシュメモリ、２０４ カメラ、２０５ 無線通信部、２０６ 通話部、２０７ 表示部、２０８ 操作部、２０９ 無線ＬＡＮＩ／Ｆ、２１０ カードＩ／Ｆ、２１１ ３軸加速度センサ、２４１ 撮像制御部、２４３，２４３Ａ 元データ取得部、２４５，２４５Ａ 処理対象部分決定部、２４７ 処理実行部、２５１ 比較部、２５３ 比較抽出部、２６１ 関連データ取得部、２６３ 関連部分抽出部、２６５ 表示制御部、２６７ 検索部、２６９ 文字情報抽出部、２７１ プリント制御部、２７３ 記憶制御部、２７５ 送信制御部、２８１ 加速度検出部、２９１ 第１基準設定部、２９３ 参照位置検出部、２９５ 第２基準設定部、２９７ 変換規則決定部、２９９ 変換抽出部、３１０ メニュー画面、３２１，３２２ 関連データ、３３１ 印刷設定画面、３４１ 送信設定画面、３５１ 記憶設定画面、３６１ 検索設定画面、４０１ 一覧画面、４１１ 第１アシスト画面、４１３ 第１の撮像範囲、４２１ 第２アシスト画面、４２３ 第２の撮像範囲。
【特許請求の範囲】
【請求項１】
画像形成装置と、前記画像形成装置と通信可能な携帯情報装置とを含む連携システムであって、
前記画像形成装置は、元データを記憶する記憶手段と、
前記記憶された元データの画像を用紙に形成する画像形成手段と、を備え、
前記携帯情報装置は、
撮像手段と、
前記撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得手段と、
前記撮像画像に基づいて、前記取得された元データ中で処理対象となる処理対象部分を決定する処理対象決定手段と、
前記元データのうち前記決定された処理対象部分を処理する処理実行手段と、を備えた連携システム。
【請求項２】
前記処理対象決定手段は、前記撮像制御手段により取得された撮像画像と前記元データの画像とを比較する比較手段と、
前記元データの画像中で前記比較手段により前記撮像画像と同一または類似すると判断された領域に対応する、前記元データ中の部分を前記処理対象部分として抽出する比較抽出手段と、を含む請求項１に記載の連携システム。
【請求項３】
前記携帯情報装置は、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、
前記元データ取得手段は、前記記憶手段に記憶されたデータのうちから前記元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、
前記処理対象決定手段は、
前記撮像手段の第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において、前記用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、
前記加速度検出手段が前記第１基準時刻以降に出力する３方向各々の加速度に基づいて、前記第１基準時刻以降の参照時刻における位置を、前記第１基準位置に相対する参照位置として検出する参照位置検出手段と、
前記第１基準時刻以降であって、前記撮像手段の前記第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における前記参照位置を第２基準位置に設定する第２基準設定手段と、
前記第１の撮影範囲および第２の撮影範囲それぞれの前記撮像手段の全撮像範囲中における相対的位置関係と、前記第１基準位置と前記第２基準位置との３次元空間における相対的位置関係と、に基づいて、前記参照位置を前記元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、
前記参照位置検出手段により前記参照位置が検出されることに応じて、前記検出された参照位置を前記決定された変換規則にしたがって変換した前記元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む請求項１に記載の連携システム。
【請求項４】
前記参照位置検出手段は、前記撮像手段が備えるレンズの光軸と平行で前記レンズが向く方向を正とする第１の方向の第１の距離、前記第１の方向と垂直に交わる第２の方向の第２の距離、および前記第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、
前記変換規則決定手段は、前記変換後の範囲のサイズを、前記第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む、請求項３に記載の連携システム。
【請求項５】
前記携帯情報装置は、画像を表示する表示手段を、さらに備え、
前記処理実行手段は、前記元データのうち前記決定された処理対象部分の画像を前記表示手段に表示する表示制御手段を含む、請求項１〜４のいずれかに記載の連携システム。
【請求項６】
、
前記表示手段は、前記撮像手段が配置される面とは反対側の面に設けられ、前記撮像手段が備えるレンズの光軸を法線とする表示面を有する、請求項５に記載の連携システム。
【請求項７】
前記記憶手段は、前記元データと関連する関連データをさらに記憶しており、
前記携帯情報装置は、前記元データに関連する関連データを取得する関連データ取得手段を、さらに備え、
前記処理実行手段は、前記取得された関連データのうちから、前記元データのうち前記決定された処理対象部分に関連する部分に対応する関連部分を抽出する関連部分抽出手段と、を含み、
前記表示制御手段は、前記元データのうち前記決定された処理対象部分の画像に重畳して、前記抽出された関連部分の画像を表示する、請求項５または６に記載の連携システム。
【請求項８】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分から文字情報を抽出する文字情報抽出手段と、
前記抽出された文字情報に基づいてデータベースを検索する検索手段と、を備え、
前記表示制御手段は、前記データベースを検索した検索結果を前記表示手段に表示する、請求項５〜７のいずれかに記載の連携システム。
【請求項９】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分を送信する送信制御手段を含む、請求項１〜８のいずれかに記載の連携システム。
【請求項１０】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分を所定の記憶先に記憶する記憶制御手段を含む、請求項１〜９のいずれかに記載の連携システム。
【請求項１１】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分を前記画像形成装置に送信し、前記処理対象部分の画像を形成させるプリント制御手段を含む、請求項１〜９のいずれかに記載の連携システム。
【請求項１２】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置であって、
撮像手段と、
前記撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得手段と、
前記撮像画像に基づいて、前記取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定手段と、
前記元データのうち前記決定された処理対象部分を処理する処理実行手段と、を備えた携帯情報装置。
【請求項１３】
前記処理対象決定手段は、前記撮像制御手段により取得された撮像画像と前記元データの画像とを比較する比較手段と、
前記元データの画像中で前記比較手段により前記撮像画像に類似すると判断された領域に対応する、前記元データ中の部分を前記処理対象部分として抽出する比較抽出手段と、を含む請求項１２に記載の携帯情報装置。
【請求項１４】
互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、
前記元データ取得手段は、前記記憶手段に記憶されたデータのうちから前記元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、
前記処理対象決定手段は、
第１基準時刻において前記撮像手段が用紙に形成された画像を第１の撮影範囲に納めて撮像し、前記用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、
前記加速度検出手段が前記基準時刻以降に出力する３方向各々の加速度に基づいて、前記基準時刻以降の参照時刻における位置を、前記第１基準位置に相対する参照位置として検出する参照位置検出手段と、
前記第１基準時刻以降の第２基準時刻において前記撮像手段が用紙に形成された画像を前記第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に納めて撮像し、前記第２基準時刻における前記参照位置を第２基準位置に設定する第２基準設定手段と、
前記第１の撮影範囲および第２の撮影範囲それぞれの前記撮像手段の全撮像範囲中における相対的位置関係と、前記第１基準位置と前記第２基準位置との３次元空間における相対的位置関係と、に基づいて、前記参照位置を前記元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、
前記参照位置検出手段により前記参照位置が検出されることに応じて、前記検出された参照位置を前記決定された変換規則にしたがって変換した前記元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む請求項１２に記載の携帯情報装置。
【請求項１５】
前記参照位置検出手段は、前記撮像手段が備えるレンズの光軸と平行で前記レンズが向く方向を正とする第１の方向の第１の距離、前記第１の方向と垂直に交わる第２の方向の第２の距離、および前記第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、
前記変換規則決定手段は、前記変換後の範囲のサイズを、前記第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む、請求項１４に記載の携帯情報装置。
【請求項１６】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置で実行される連携処理方法あって、
撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、
前記画像形成装置から前記撮像画像に対応する元データを取得する元データ取得ステップと、
前記撮像画像に基づいて、前記取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、
前記元データのうち前記決定された処理対象部分を処理する処理実行ステップと、を含む連携処理方法。
【請求項１７】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置を制御するコンピューターで実行される連携処理プログラムあって、
撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、
前記画像形成装置から前記撮像画像に対応する元データを取得する元データ取得ステップと、
前記撮像画像に基づいて、前記取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、
前記元データのうち前記決定された処理対象部分を処理する処理実行ステップと、を前記コンピューターに実行させる連携処理プログラム。
【請求項１】
画像形成装置と、前記画像形成装置と通信可能な携帯情報装置とを含む連携システムであって、
前記画像形成装置は、元データを記憶する記憶手段と、
前記記憶された元データの画像を用紙に形成する画像形成手段と、を備え、
前記携帯情報装置は、
撮像手段と、
前記撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得手段と、
前記撮像画像に基づいて、前記取得された元データ中で処理対象となる処理対象部分を決定する処理対象決定手段と、
前記元データのうち前記決定された処理対象部分を処理する処理実行手段と、を備えた連携システム。
【請求項２】
前記処理対象決定手段は、前記撮像制御手段により取得された撮像画像と前記元データの画像とを比較する比較手段と、
前記元データの画像中で前記比較手段により前記撮像画像と同一または類似すると判断された領域に対応する、前記元データ中の部分を前記処理対象部分として抽出する比較抽出手段と、を含む請求項１に記載の連携システム。
【請求項３】
前記携帯情報装置は、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、
前記元データ取得手段は、前記記憶手段に記憶されたデータのうちから前記元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、
前記処理対象決定手段は、
前記撮像手段の第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において、前記用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、
前記加速度検出手段が前記第１基準時刻以降に出力する３方向各々の加速度に基づいて、前記第１基準時刻以降の参照時刻における位置を、前記第１基準位置に相対する参照位置として検出する参照位置検出手段と、
前記第１基準時刻以降であって、前記撮像手段の前記第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における前記参照位置を第２基準位置に設定する第２基準設定手段と、
前記第１の撮影範囲および第２の撮影範囲それぞれの前記撮像手段の全撮像範囲中における相対的位置関係と、前記第１基準位置と前記第２基準位置との３次元空間における相対的位置関係と、に基づいて、前記参照位置を前記元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、
前記参照位置検出手段により前記参照位置が検出されることに応じて、前記検出された参照位置を前記決定された変換規則にしたがって変換した前記元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む請求項１に記載の連携システム。
【請求項４】
前記参照位置検出手段は、前記撮像手段が備えるレンズの光軸と平行で前記レンズが向く方向を正とする第１の方向の第１の距離、前記第１の方向と垂直に交わる第２の方向の第２の距離、および前記第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、
前記変換規則決定手段は、前記変換後の範囲のサイズを、前記第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む、請求項３に記載の連携システム。
【請求項５】
前記携帯情報装置は、画像を表示する表示手段を、さらに備え、
前記処理実行手段は、前記元データのうち前記決定された処理対象部分の画像を前記表示手段に表示する表示制御手段を含む、請求項１〜４のいずれかに記載の連携システム。
【請求項６】
、
前記表示手段は、前記撮像手段が配置される面とは反対側の面に設けられ、前記撮像手段が備えるレンズの光軸を法線とする表示面を有する、請求項５に記載の連携システム。
【請求項７】
前記記憶手段は、前記元データと関連する関連データをさらに記憶しており、
前記携帯情報装置は、前記元データに関連する関連データを取得する関連データ取得手段を、さらに備え、
前記処理実行手段は、前記取得された関連データのうちから、前記元データのうち前記決定された処理対象部分に関連する部分に対応する関連部分を抽出する関連部分抽出手段と、を含み、
前記表示制御手段は、前記元データのうち前記決定された処理対象部分の画像に重畳して、前記抽出された関連部分の画像を表示する、請求項５または６に記載の連携システム。
【請求項８】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分から文字情報を抽出する文字情報抽出手段と、
前記抽出された文字情報に基づいてデータベースを検索する検索手段と、を備え、
前記表示制御手段は、前記データベースを検索した検索結果を前記表示手段に表示する、請求項５〜７のいずれかに記載の連携システム。
【請求項９】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分を送信する送信制御手段を含む、請求項１〜８のいずれかに記載の連携システム。
【請求項１０】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分を所定の記憶先に記憶する記憶制御手段を含む、請求項１〜９のいずれかに記載の連携システム。
【請求項１１】
前記処理実行手段は、前記元データのうち前記決定された処理対象部分を前記画像形成装置に送信し、前記処理対象部分の画像を形成させるプリント制御手段を含む、請求項１〜９のいずれかに記載の連携システム。
【請求項１２】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置であって、
撮像手段と、
前記撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得手段と、
前記撮像画像に基づいて、前記取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定手段と、
前記元データのうち前記決定された処理対象部分を処理する処理実行手段と、を備えた携帯情報装置。
【請求項１３】
前記処理対象決定手段は、前記撮像制御手段により取得された撮像画像と前記元データの画像とを比較する比較手段と、
前記元データの画像中で前記比較手段により前記撮像画像に類似すると判断された領域に対応する、前記元データ中の部分を前記処理対象部分として抽出する比較抽出手段と、を含む請求項１２に記載の携帯情報装置。
【請求項１４】
互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、
前記元データ取得手段は、前記記憶手段に記憶されたデータのうちから前記元データを選択するユーザによる指示を受け付ける選択指示受付手段を含み、
前記処理対象決定手段は、
第１基準時刻において前記撮像手段が用紙に形成された画像を第１の撮影範囲に納めて撮像し、前記用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、
前記加速度検出手段が前記基準時刻以降に出力する３方向各々の加速度に基づいて、前記基準時刻以降の参照時刻における位置を、前記第１基準位置に相対する参照位置として検出する参照位置検出手段と、
前記第１基準時刻以降の第２基準時刻において前記撮像手段が用紙に形成された画像を前記第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に納めて撮像し、前記第２基準時刻における前記参照位置を第２基準位置に設定する第２基準設定手段と、
前記第１の撮影範囲および第２の撮影範囲それぞれの前記撮像手段の全撮像範囲中における相対的位置関係と、前記第１基準位置と前記第２基準位置との３次元空間における相対的位置関係と、に基づいて、前記参照位置を前記元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、
前記参照位置検出手段により前記参照位置が検出されることに応じて、前記検出された参照位置を前記決定された変換規則にしたがって変換した前記元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む請求項１２に記載の携帯情報装置。
【請求項１５】
前記参照位置検出手段は、前記撮像手段が備えるレンズの光軸と平行で前記レンズが向く方向を正とする第１の方向の第１の距離、前記第１の方向と垂直に交わる第２の方向の第２の距離、および前記第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、
前記変換規則決定手段は、前記変換後の範囲のサイズを、前記第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む、請求項１４に記載の携帯情報装置。
【請求項１６】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置で実行される連携処理方法あって、
撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、
前記画像形成装置から前記撮像画像に対応する元データを取得する元データ取得ステップと、
前記撮像画像に基づいて、前記取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、
前記元データのうち前記決定された処理対象部分を処理する処理実行ステップと、を含む連携処理方法。
【請求項１７】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置を制御するコンピューターで実行される連携処理プログラムあって、
撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御ステップと、
前記画像形成装置から前記撮像画像に対応する元データを取得する元データ取得ステップと、
前記撮像画像に基づいて、前記取得された元データ中で、処理対象とする処理対象部分を決定する処理対象決定ステップと、
前記元データのうち前記決定された処理対象部分を処理する処理実行ステップと、を前記コンピューターに実行させる連携処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−７７２１３（Ｐ２０１３−７７２１３Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７４１６（Ｐ２０１１−２１７４１６）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]