画像処理装置、画像処理方法、および、画像処理プログラム
【課題】各種の機器の運用イメージを容易に認識することができる画像が表示できる画像表示装置、画像表示方法および画像表示プログラムを提供する。
【解決手段】実施形態によれば、画像処理装置は、取得部と、マーク検出部と、機器画像作成部と、算出部と、コスト画像作成部と、画像合成部とを有する。取得部は、現実の空間を撮影した実画像を取得する。マーク検出部は、取得部により取得した実画像からマークを検出する。機器画像作成部は、マーク検出部により検出したマークに対応する機種の機器画像を作成する。算出部は、マーク検出部により検出したマークに対応する機種のコストを算出する。コスト画像作成部は、算出部により算出したコストを示すコスト画像を作成する。画像合成部は、実画像にマークに対応する機器画像とコスト画像とを合成する。
【解決手段】実施形態によれば、画像処理装置は、取得部と、マーク検出部と、機器画像作成部と、算出部と、コスト画像作成部と、画像合成部とを有する。取得部は、現実の空間を撮影した実画像を取得する。マーク検出部は、取得部により取得した実画像からマークを検出する。機器画像作成部は、マーク検出部により検出したマークに対応する機種の機器画像を作成する。算出部は、マーク検出部により検出したマークに対応する機種のコストを算出する。コスト画像作成部は、算出部により算出したコストを示すコスト画像を作成する。画像合成部は、実画像にマークに対応する機器画像とコスト画像とを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、および、画像処理プログラムに関する。
【背景技術】
【０００２】
従来、機器などを空間に配置する場合、カタログなどの資料を参照しつつ、機器のレイアウトをイメージしたり、配置した機器による運用上のコストなどを検討したりしている。実際の機器が容易に搬送できるものであれば、仮に実機を設置したり、仮に設置した実機でデモンストレーションを実施したりすることも可能である。しかしながら、実機の搬送が容易でない場合、設置を検討するために、様々な機種を実際に配置してみることは現実的ではなく、仮に実機を実際に配置した場合であっても運用上のコストを利用者に直感的に実感させることは容易でない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０９２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明に係る実施形態では、各種の機器の運用イメージを容易に認識することができる画像が表示できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態によれば、画像処理装置は、取得部と、マーク検出部と、機器画像作成部と、算出部と、コスト画像作成部と、画像合成部とを有する。取得部は、現実の空間を撮影した実画像を取得する。マーク検出部は、取得部により取得した実画像からマークを検出する。機器画像作成部は、マーク検出部により検出したマークに対応する機種の機器画像を作成する。算出部は、マーク検出部により検出したマークに対応する機種のコストを算出する。コスト画像作成部は、算出部により算出したコストを示すコスト画像を作成する。画像合成部は、実画像にマークに対応する機器画像とコスト画像とを合成する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係る画像表示装置としての画像表示システムの構成例を示す図である。
【図２】図２は、画像表示システムにおける各種の機能を含む構成例を示すブロック図である。
【図３】図３は、カメラが撮影した実画像の例を模式的に示す図である。
【図４】図４は、表示装置が表示する合成画像の例を模式的に示す図である。
【図５】図５は、利用情報データベースの構成例を示す図である。
【図６】図６は、コスト情報データベースの構成例を示す図である。
【図７】図７は、表示装置が表示する合成画像の第１の例を示す図である。
【図８】図８は、表示装置が表示する合成画像の第２の例を示す図である。
【図９】図９は、表示装置が表示する合成画像の第３の例を示す図である。
【図１０】図１０は、表示装置が表示する合成画像の第４の例を示す図である。
【図１１】図１１は、表示装置が表示する合成画像の第５の例を示す図である。
【図１２】図１２は、情報処理装置における画像表示処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【０００７】
以下、実施の形態について、図面を参照して説明する。
本実施形態に係る画像表示装置としての画像表示システムの構成について説明する。
図１は、画像表示装置としての画像表示システム１の構成例を示す図である。
図１に示す構成例では、画像表示システム１は、カメラ１１、情報処理装置（画像処理装置）１２、表示装置１３、および、操作装置１４などにより構成する。これらの構成は、一部又は全部が１つの装置において一体的に構成されたものであって良い。たとえば、画像表示装置としての画像表示システムは、カメラを接続したコンピュータ（ＰＣ）により構成しても良いし、カメラを具備したタブレット端末あるいは携帯端末などにより構成しても良い。
【０００８】
本実施形態に係る画像表示システム１は、カメラ１１が撮影した実画像に、拡張画像としての仮想的に配置した機器の画像および仮想的に配置した機器のコスト情報を示す画像を、合成した合成画像を表示装置１３に表示する。仮想的に配置する機器は、実際の空間に配置されたマークＭ（図３参照）などにより決定される。利用者あるいはサービスマンは、実空間において機器を配置したい位置に、当該機器に対応づけた情報を付与したマークを配置する。カメラ１１は、機器に対応する情報が付与されたマークが配置された実空間の画像を撮影する。
【０００９】
情報処理装置１２は、画像処理装置として機能し、カメラ１１が撮影した実画像からマークを検出し、検出したマークに付与されたマーク情報に対応する機種の機器画像をカメラ１１が撮影した実画像におけるマークの位置に合成する。さらに、情報処理装置１２は、検出したマークに付与された情報に対応する機器に関するコストを示すコスト画像もカメラ１１が撮影した実画像における所定の領域に合成する。これにより、情報処理装置１２は、カメラ１１が実空間を撮影した実画像に、実空間に配置されたマークに対応する機器の画像（機器画像）とコスト情報を示すコスト画像とを合成した合成画像を表示装置１３に表示させる。
【００１０】
表示装置１３は、情報処理装置１２が生成した合成画像を表示する。カメラ１１が撮影した実画像に、機器画像とコスト画像とを合成した画像は、表示装置１３により表示される。表示装置１３は、液晶表示装置などにより構成され、インターフェースなどを介して情報処理装置１２に接続される。また、操作装置１４は、操作指示などを入力するものであり、情報処理装置１２に接続される。表示装置１３及び操作装置１４は、たとえば、タッチパネルを有する液晶表示装置により構成しても良い。
【００１１】
なお、図１に示す画像表示システムは、カメラとタッチパネル内蔵の表示装置を有するタブレット端末などの携帯端末によって実現することが可能である。たとえば、カメラとタッチパネル内蔵の表示装置を有する携帯端末であれば、後述するような合成画像を表示する画像表示処理を行うためのソフトウエアをインストールすることにより、当該画像表示システムを実現できる。携帯端末で画像表示システムを実現すれば、後述するような実画像に機器画像とコスト画像とを合成した合成画像は、あらゆる場所で簡単に利用者（顧客）に提供することができる。
【００１２】
カメラ１１は、機器を設置したい空間の画像を撮影する。たとえば、カメラ１１は、デジタル複合機（ＭＦＰ：Multi Functional Peripheral）などの各種の機器の新規設置、機種の交換、あるいは、レイアウト変更などを検討している空間を撮影する。カメラ１１は、撮影した画像を画像処理が可能な画像（映像）データとして出力する。ここで、カメラ１１は、撮影した空間の映像をデジタル処理が可能なデジタル画像データとして情報処理装置１２へ出力するものとする。
【００１３】
情報処理装置１２は、カメラ１１から出力される画像データを入力し、入力した画像データに対して画像処理を施して表示用のデータを作成し、作成した表示用のデータを表示装置１３へ出力する。図１に示す構成例では、情報処理装置１２は、制御部２１、画像メモリ２２、画像処理部２３、および、記憶部２４などを有する。また、情報処理装置１２は、カメラ１１、表示装置１３、および、操作装置１４などをそれぞれ接続するための各種のインターフェースを有する。
【００１４】
制御部２１は、プロセッサ３１、ＲＡＭ３２およびＲＯＭ３３などを有する。プロセッサ３１は、たとえば、ＣＰＵである。ＲＡＭ３２は、作業用のデータを一時的に記憶する揮発性のメモリである。ＲＯＭ３３は、プログラムあるいは制御データなどを記憶する不揮発性のメモリである。プロセッサ３１は、ＲＯＭ３３あるいは記憶部２４に記憶されたプログラムを実行することにより、種々のデータ処理を実現する。制御部２１は、プロセッサ３１がプログラムを実行することにより後述する各種の処理機能を有する。
【００１５】
画像メモリ２２は、カメラ１１から取得した画像データを記憶する。つまり、画像メモリ２２は、カメラ１１が実際に撮影した実空間の画像（実画像）を記憶する。画像処理部２３は、画像メモリ２２に記憶した画像データに対して画像処理を施す。画像処理部２３は、画像処理した画像データを表示装置１３へ出力する。画像処理部２３は、制御部２１からの制御指示に従って画像処理を実行する。画像処理部２３は、制御部２１のプロセッサ３１がＲＯＭ３３或いは記憶部２４に記憶したプログラムを実行することにより実現する機能として実現しても良い。画像処理部２３は、たとえば、画像メモリ２２に記憶した画像データに対して、別の画像を合成する画像合成機能を有する。画像処理部２３の画像合成機能は、たとえば、実空間の映像（画像）に、仮想的に配置した機器の画像を合成する技術（たとえば、ＡＲ（拡張現実）技術）が適用される。
【００１６】
記憶部２４は、様々なデータを記憶するデータメモリである。記憶部２４は、ハードディスクドライブ（ＨＤＤ）あるいは光ディスクなどの不揮発性の記憶媒体により構成する。また、記憶部２４は、制御部２１で実行されるプログラムなどを記憶しても良い。記憶部２４は、機器情報データベース２４ａ、コスト情報データベース２４ｂ、及び、利用情報データベース２４ｃを有する。
【００１７】
機器情報データベース２４ａは、カメラ１１が撮影した画像に合成する各種の機器（機種）ごとの画像データを記憶する。機器情報データベース２４ａは、機種の識別情報（ＩＤ）に対応する各機種の表示用の画像データを記憶する。たとえば、機器情報データベース２４ａは、ＩＤ情報で特定される各機種の３次元の形状データ、および、表面の色情報などをモデリングした表示用の画像データを記憶する。機器情報データベース２４ａに記憶する各機種の表示用の画像データは、後述するマークＭ（例えば、図３参照）から検出するＩＤ情報、位置及び姿勢（向き）などに応じて変形できるように、回転、拡大、縮小などの画像処理が可能なデータ形式となっている。
【００１８】
コスト情報データベース２４ｂは、各機種の運用上のコストに関わる情報を記憶する。コスト情報データベース２４ｂは、機種ごとにランニングコスト（経費）に関する情報および環境負荷（ＣＯ２排出量）に関する情報などを記憶する。たとえば、コスト情報データベース２４ｂは、ウォームアップ電力、待機電力、１回の処理（１枚の用紙に対する処理）に必要な電力や経費などを含む情報をコスト情報として機種ごとに記憶する。コスト情報データベース２４ｂに記憶する機種ごとのコスト情報は、予め機器ごとの仕様で特定される情報であっても良いし、システムの管理者あるいはサービスマンが入力するようにしても良い。
【００１９】
利用情報データベース２４ｃは、各機種の利用状況に関わる情報を記憶する。たとえば、利用情報データベース２４ｃは、当該利用者における類似の機種に対する過去の使用実績、あるいは、今後の使用見込みなどの使用頻度を示す情報を機種ごとに記憶する。また、利用情報データベース２４ｃは、平均的なユーザによる機種ごとの使用頻度を示す情報を記憶しても良い。利用情報データベース２４ｃに記憶する機種ごとの使用頻度を示す情報は、利用者が入力するようにしても良いし、システムの管理者、サービスマンあるいはコーディネータが入力するようにしても良い。
【００２０】
次に、画像表示システムにおいて画像を表示するための機能について説明する。
図２は、画像表示システムにおける各種の機能を含む構成例を示すブロック図である。
情報処理装置１２の制御部２１は、プロセッサ３１がＲＯＭ３３あるいは記憶部２４に記憶したプログラムを実行することにより実現される種々の処理機能を有する。図２に示す構成例では、情報処理装置１２の制御部２１は、処理機能として、マーク検出部４１、マーク情報抽出部４２、機器表示用画像作成部４３、コスト換算部４４、および、コスト表示用画像作成部４５を有する。
【００２１】
マーク検出部４１は、カメラ１１が撮影した画像からマークＭ（後出する図３参照）を検出する。マーク検出部４１は、画像メモリ２２に記憶したカメラ１１が撮影した実画像の中から予め定められたマークを検出する。マーク検出部４１は、パターン認識技術によりマークを検出する。たとえば、マーク検出部４１は、マークらしい注目領域を抽出し、抽出された注目領域から所定の情報が検出されたか否かにより当該注目領域がマークか否かを判定する。
【００２２】
マーク情報抽出部４２は、マーク検出部４１が検出したマークに付与されている情報（マーク情報）を抽出する。マークに付与されるマーク情報には、各機種に対応づけたＩＤ情報が含まれる。また、マーク情報には、向きを示す情報も含まれる。マーク情報抽出部４２は、マークから抽出したマーク情報により当該マークに対応する機種を特定する。すなわち、マーク情報抽出部４２は、実空間（実画像）におけるマークの配置位置、マークに付与される各機種に対応づけたＩＤ情報、および、マークが示す当該機種の姿勢（設置向き）などの情報をマークから抽出する。
【００２３】
機器表示用画像作成部４３は、マーク情報抽出部４２がマークから抽出した情報に基づいて当該マークに対応する機種を特定し、特定した機種の表示用画像を作成する。機器表示用画像作成部４３は、マークから抽出したＩＤ情報により対象となる機種を特定し、特定した機種のモデルデータを機器情報データベース２４ａから取得する。機器情報データベース２４ａから取得した当該機種のモデルデータを、マークの位置および姿勢に応じて回転、変倍（縮小或いは拡大）することにより当該機器の表示用画像データを作成する。
【００２４】
なお、検出したマークに対応する機種は、操作装置１４により選択するようにしても良い。この場合、マークには、複数の機種を対応づけておいて操作装置１４で選択させるようにいても良いし、特定の機種を対応づけずに操作装置１４で選択させるようにしても良い。また、マークに対応して抽出された機種は操作装置１４の操作により変更できるようにしても良い。操作装置１４により機種が選択された場合、機器表示用画像作成部４３は、選択された機種のモデルデータを機器情報データベース２４ａし、機器情報データベース２４ａから取得した当該機種のモデルデータをマークの位置および姿勢に応じて回転、変倍（縮小或いは拡大）することにより当該機器の表示用画像データを作成する。
【００２５】
コスト換算部４４は、マークに対応する機種に関する運用上のコストを算出する。たとえば、コスト換算部４４は、マークに対応する機種ごとに、所定期間（例えば、月間、週間）における、経費、ＣＯ２消費量などのコストを算出する。コスト換算部４４は、特定された機種のコストに関する情報をコスト情報データベース２４ｂから取得し、使用頻度を含む利用情報を利用情報データベース２４ｃから取得する。コスト換算部４４は、特定された機種のコストに関する情報と利用情報とに基づいて、当該機種を運用した場合のコスト（経費或いはＯＣ２消費量など）を算出する。
【００２６】
また、コスト換算部４４は、カメラ１１が撮影した画像から検出された全てのマークに対応する各機器に対するコストを合算する。すなわち、画像内の全機器のコストを合算することにより、コスト換算部４４は、カメラ１１が撮影した画像内にマークとして配置された全機器によるコスト（画像内の総コスト）を算出する。また、コスト換算部４４は、算出したコストに対して比較対象とするコスト情報が存在する場合、算出したコストと比較対象とのコストの差分値を算出する。比較対象とするコスト情報は、例えば、制御部２１内のＲＡＭ３２などに保持される。
【００２７】
コスト表示用画像作成部４５は、コスト換算部４４が算出したコストを示す表示用画像を作成する。たとえば、コスト表示用画像作成部４５は、コスト換算部４４が算出した画像内の総コスト（所定期間における経費或いはＣＯ２消費量など）を示す画像としてコスト画像（総コスト画像）を作成する。また、コスト換算部４４が画像内の総コストと比較対象とするコストとの差分値を算出した場合、コスト表示用画像作成部４５は、当該差分値を示す画像として差分コスト画像も作成する。なお、コスト表示用画像作成部４５は、合成画像において機器ごとのコストを各機器の表示画像に対応づけて表示する場合、機器ごとのコストを示すコスト画像をそれぞれ作成すれば良い。
【００２８】
画像処理部２３は、画像合成部として機能する。画像処理部２３は、カメラ１１が撮影した実画像に、拡張画像としての機器表示用画像作成部４３が作成した機種の表示用画像とコスト表示用画像作成部４５が作成したコストの表示用画像とを合成する。画像処理部２３は、画像メモリ２２に記憶するカメラ１１が撮影した実画像における各マークの領域に、機器表示用画像作成部４３が作成した各マークが対応する機種の表示用画像を合成（マークの画像を機種の表示用画像に置換）する。画像処理部２３は、画像メモリ２２が記憶するカメラ１１が撮影した実画像における所定の領域に、コスト表示用画像作成部４５が作成したコストを示す表示用画像を合成する。画像処理部２３は、生成した合成画像を表示装置１３に表示させる。
【００２９】
次に、カメラ１１が撮影する画像と表示装置１３が表示する画像とについて説明する。
図３は、カメラ１１が撮影した画像の例を模式的に示す図である。図４は、表示装置１３が表示する画像の例を模式的に示す図である。
図３は、機器に対応づけたマーク情報が付与されたマークＭ（Ｍ１、Ｍ２）を配置した空間をカメラ１１が撮影した実画像の例である。図３は、カメラ１１からの出力映像（すなわち、カメラが撮影する現実の空間映像）の１コマを切り出した画像の例である。図３に示す画像例において、空間（例えば、機器を配置したい室内空間）には、既存の物品Ｆ１、Ｆ２と２つのマークＭ１、Ｍ２とが置かれている。図３に示す画像例において、既存の物品Ｆ１、Ｆ２は、抽象化して円柱で示している。また、図３に示す画像例においては、複数のマークＭ１、Ｍ２が床の複数個所に配置されている。各マークＭ１、Ｍ２は、たとえば、対応する機種を示すＩＤ情報および向きを示す情報などを含むマーク情報が印刷された紙である。
【００３０】
図３に示すような画像がカメラ１１により撮影された場合、情報処理装置１２は、図１４に示すような合成画像を表示装置１３に表示させる。すなわち、図４は、図３に示す実画像におけるマークＭ１、Ｍ２の位置に対応する機種の機器画像が合成され、かつ、画像内の全機器によるコストを示すコスト画像が合成された合成画像の例を示す図である。図４は、図３に示すようなカメラ１１からの出力映像に対応した表示装置１３の表示映像の１コマを切り出した画像の例である。図４に示す画像例では、既存の物品Ｆ１、Ｆ２と現実には存在しない機器Ａ１、Ａ２とが配置された空間画像とともに、コストを示すコスト画像Ｃが表示されている。
【００３１】
図４に示す画像例において、現実には存在しない機器Ａ１、Ａ２は、実画像におけるマークＭ１、Ｍ２の位置に、抽象化した四角柱の画像として表示されている。現実には存在しない機器Ａ１、Ａ２は、実画像におけるマークＭ１、Ｍ２に付与されたマーク情報で特定される機種であり、マークＭ１、Ｍ２で示された向きで表示される。つまり、図４に示す画像例は、図３に示す実画像における各マークＭ１、Ｍ２の位置に、各マークに対応する機種の機器画像Ａ１、Ａ２をマークで示された向きで合成した画像である。情報処理装置１２においては、実画像におけるマーク及びマーク情報は、マーク検出部４１及びマーク情報抽出部４２により抽出され、マークＭ１、Ｍ２に対応する機器画像Ａ１、Ａ２は、機器表示用画像作成部４３により作成される。
【００３２】
また、図４に示す画像例においては、当該画像内における全機器によるコストを示すコスト画像Ｃが当該画像の左上に表示される。図４に示す画像例では、コスト画像Ｃにおいて、所定期間（例えば月間）のＣＯ２消費量の予想値が表示されている。また、コスト画像Ｃで表示するコスト情報は、所定期間（例えば、月間）の経費の予想値などであっても良い。また、コスト情報の画像Ｃは、表示位置が画像の左上に限定されるものではなく、表示装置１３が表示する画像の任意の領域に合成して良い。たとえば、コスト情報の画像Ｃは、機器画像Ａ１、Ａ２と重ならない領域に合成するようにしても良い。情報処理装置１２においては、実画像におけるマーク及びマーク情報は、マーク検出部４１及びマーク情報抽出部４２により抽出され、画像内の各マークに対応する機器のコスト情報は、コスト換算部４４により算出され、コスト情報の表示画像は、コスト表示用画像作成部４５により作成される。
【００３３】
図４に示すような表示画像によれば、仮想的に配置した機器レイアウトおよび運用イメージを表示画像により視認でき、かつ、画像中の機器によるコスト情報を把握できる。例えば、顧客のオフィス内などの機器を配置したい空間において、マークの配置或いは種類を変えたり、カメラの撮影範囲を変えたりすることにより、機器のレイアウト変更および配置した機器によるコスト効果などを報知することができる。この結果として、たとえば、機器の販売及び案内を行う人物は、顧客に対して、実際の設置空間（例えばオフィス）における機器のレイアウトイメージ、および、コスト関連情報を視覚的に判り易く提案することができ、商品としての各機器に関する実際の運用イメージの理解を促すことができる。
【００３４】
また、機種に対応づけたマーク情報を付与したマークは、実際に物理的に配置したりマーク情報を変更したりすることにより、実空間において実体験として機器の配置変更などを実感することが可能である。ただし、マークに対応して表示する機器画像は、操作装置１４により選択或いは変更できるようにしても良い。すなわち、表示装置１３に表示された合成画像を見ながら、操作装置１４により表示された機器を他の機種に変更したり、機器の位置或いは向きを操作装置１４での操作によって変更したりできるようにしても良い。このような処理は、機器表示用画像作成部４３が操作装置１４に入力された情報に基づいて機器の表示用画像を変更することにより実現できる。
【００３５】
次に、利用情報データベース２４ｃの構成について説明する。
図５は、利用情報データベース２４ｃの構成例を示す図である。
利用情報データベース２４ｃは、各機種の使用頻度に関わる情報を記憶するものである。利用情報データベース２４ｃは、類似の機器の使用実績、あるいは、今後の使用見込みなどから設定される各機器の使用頻度に関わる情報を予め記憶する。利用情報データベース２４ｃに記憶する情報は、設置する機器の運用者が設定する情報であっても良いし、既存の機器を保守しているサービスマンが設定する情報であっても良いし、一般的な統計データであっても良い。
【００３６】
図５に示す例では、利用情報データベース２４ｃには、４つの機種（機種Ａ、機種Ｂ、機種Ｃ、及び、機種Ｄ）について、稼働日数（月間の平均稼働日数）、稼働時間（１日における平均稼働時間）、利用頻度（月間の利用頻度）、消耗品効率（例えば、１枚の用紙１枚に印刷頁数）、消耗品再利用率（１枚の用紙の再利用回数）などの値を記憶する。図５に示す各情報は、たとえば、利用者（顧客）から得られる情報である。
【００３７】
図５に示す例において、機種Ａ及び機種Ｂは、たとえば、それぞれ異なる仕様のＭＦＰを想定している。たとえば、機種Ａは、用紙の再利用ができない従来型の機器（従来機）であり、機種Ｂは、用紙の再利用が可能なＭＦＰ（ＥＣＯ−ＭＦＰ）であることを想定するものとする。機種Ａ及び機種Ｂに対する利用頻度は、各機種における月間の印刷頁数を示し、機種Ａ及び機種Ｂに対する消耗品効率は、各機種において１枚の用紙に印刷する頁数（平均頁数）を示す。
【００３８】
たとえば、１枚の用紙に１頁の印刷を行う場合、消耗品効率は「１」になり、１枚の用紙に２頁分の画像を印刷する場合（例えば、２イン１印刷、あるいは、両面印刷等）、消耗品効率は「２」となる。図５に示す例において、機種Ａでは、月間の印刷頁数が３０００であり、消耗品効率が１であるため、月間に３０００枚の用紙に対して印刷を行う事を示している。また、機種Ｂでは、月間の印刷頁数が３０００であり、消耗品効率が２であるため、月間に３０００／２＝１５００枚の用紙に対して印刷を行う事を示している。
【００３９】
また、消耗品再利用率は、１枚の用紙を何回再利用するかを示す値である。たとえば、用紙の再利用ができない場合、消耗品再利用率は「１」となり、用紙を５回再利用できる場合、消耗品再利用率は「５」となる。図５に示す例において、機種Ａでは、月間の印刷頁数が３０００、消耗品効率が１、消耗品再利用率が１であるため、月間に３０００枚の用紙を印刷処理により消費することを示している。また、機種Ｂでは、月間の印刷頁数が３０００、消耗品効率が２、消耗品再利用率が５であるため、月間に３０００／（２×５）＝３００枚の用紙を印刷処理により消費することを示している。
【００４０】
また、図５に示す例において、機種Ｃは、印刷処理された用紙を再利用するための画像の消去装置であることを想定している。機種Ｃは、画像の消去装置であるため、印刷処理済みの用紙から印刷画像を消去して再利用できる用紙を生成する。このため、機種Ｃに対する利用頻度は、マイナスの値（消費としてはプラスの値）とする。図５に示す例では、機種Ｃの利用頻度は、月間の印刷枚数のうち再利用できない分の枚数を差し引いた枚数（再生枚数）をマイナス値で設定している。
【００４１】
また、図５に示す例において、機種Ｄは、外光及び室内光などの光を電力に変換することにより発電するソーラーパネルを想定している。機種Ｄは、電力を生成する装置（発電機）であるため、利用頻度、消耗品効率、消耗品再利用率などは０となっており、稼働日数と稼働時間とが設定されている。
【００４２】
次に、コスト情報データベース２４ｂの構成について説明する。
図６は、コスト情報データベース２４ｂの構成例を示す図である。
コスト情報データベース２４ｂは、各機種のコストに関わる情報を記憶するものである。コスト情報データベース２４ｂは、コスト情報として経費および環境負荷に関する情報などを機種ごとに記憶する。コスト情報データベース２４ｂに記憶する機種ごとのコスト情報は、予め各機種の仕様として規定されている情報であっても良いし、システムの管理者あるいはサービスマンが入力する情報であっても良い。
【００４３】
図６に示す例では、コスト情報データベース２４ｂには、４つの機種（機種Ａ、機種Ｂ、機種Ｃ、及び、機種Ｄ）について、ウォームアップ電力消費（ウォームアップ１回の消費電力量）、待機電力（単位時間当たりの消費電力量）、使用電力（１回の処理で消費する電力量）、発電量（単位時間当たりの発電量）、イニシャル費用、ランニング費用、および、消耗品費用などの値を記憶する。
【００４４】
ウォームアップ電力消費は、機器を１回ウォームアップするために必要な電力量（電力消費量）を示す値である。待機電力は、待機状態で１時間に消費する電力量（１時間当たりの電力消費量）を示す値である。使用電力は、１回の処理を実行するごとに消費する電力量を示す値である。たとえば、機種Ａ及び機種Ｂに対する使用電力は、機種Ａ及び機種ＢがＭＦＰであるため、１枚の用紙に対する印刷処理に要する電力量として良い。また、機種Ｃに対する使用電力は、機種Ｃが画像の消去装置であるため、１枚の用紙に対する画像消去処理に要する電力量として良い。
【００４５】
発電量は、１時間当たりの平均発電量を示す値である。機種Ａ，Ｂ，Ｃは発電機能を有していないため、機種Ａ，Ｂ，Ｃに対する発電量は０となる。機種Ｄはソーラーパネルであるため、機種Ｄに対する発電量は、機種Ｄによる１時間当たりの平均発電量を記憶する。イニシャル費用は、各機種を導入するために必要となる初期費用である。ランニング費用は、使用頻度に応じて生じる費用を示すものである。消耗品費用は、各機種に適用する消耗品ごとの費用を示すものである。消耗品費用は、各機種に１つに限らず消耗品ごとに設定するようにしても良い。なお、電力および消耗品をＣＯ２消費量に換算するための情報は、記憶部２４に記憶されるものとする。
【００４６】
次に、表示装置１３が表示する合成画像について説明する。
図７乃至図１１は、表示装置１３が表示する合成画像の例を示す図である。
図７に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、オプション機器付き従来機（ＭＦＰ）の機器画像Ａ３が表示されている。図７に示す機器画像Ａ３は、従来機としてのＭＦＰにオプション装置として大容量給紙装置およびフィニッシャ装置などが装着されている様子を表示している。
【００４７】
また、図７に示す表示例では、カメラ１１が撮影する実画像に合成される拡張画像として、当該画像内に機器画像が表示された機器のコスト情報を示すコスト画像Ｃ３が表示されている。図７に示すコスト画像Ｃ３は、当該画像内の全機器による総コストを示す総コスト画像である。図７に示すコスト画像Ｃ３では、機器画像Ａ３として表示したオプション付き従来機に対するコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００４８】
また、図８は、図７に示す合成画像を表示した後に表示される合成画像であるものを想定する。図８に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、オプションなしの従来機（ＭＦＰ）の機器画像Ａ４が表示されている。図８に示す機器画像Ａ４は、従来機としてのＭＦＰにオプション装置が装着されていない様子を表示している。つまり、図８は、図７に示す合成画像におけるオプション付き従来機の機器画像Ａ３が、オプション無し従来機の機器画像Ａ４に置き換わった合成画像となっている。
【００４９】
また、図８に示す表示例では、カメラ１１が撮影する実画像に合成されるコスト画像Ｃ４（Ｃ４ａ、Ｃ４ｂ）として、当該画像内に表示された機器のコスト情報と図７に示すコストとの差分値とが表示されている。図８に示すコスト画像Ｃ４ａは、画像内の全機器による総コストを示す総コスト画像である。図８に示すコスト画像Ｃ４ａでは、機器画像Ａ４として表示したオプションなし従来機に対するコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５０】
また、図８に示すコスト画像Ｃ４ｂは、当該画像内の総コストと比較対象となるコスト情報（図７に示すコスト）との差分コストを示す差分コスト画像である。図８に示すコスト画像Ｃ４ｂは、図７に機器画像Ａ３として表示したオプション付き従来機によるコストと機器画像Ａ４として表示したオプションなし従来機によるコストとの差分値として、月間の平均節約費用と月間の平均ＣＯ２削減量とを示している。
【００５１】
また、図９は、図７に示す合成画像を表示した後に表示される合成画像であるものを想定する。図９に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、用紙の再利用が可能なＥＣＯ−ＭＦＰの機器画像Ａ６が表示されている。図９に示す機器画像Ａ６は、図７に示すような従来機とは外観が異なるＭＦＰを示している。つまり、図９は、図７に示す合成画像におけるオプション付き従来機の機器画像Ａ３が、ＥＣＯ−ＭＦＰの機器画像Ａ６に置き換わった合成画像となっている。
【００５２】
また、図９に示す表示例では、カメラ１１が撮影する実画像に合成されるコスト画像Ｃ６（Ｃ６ａ、Ｃ６ｂ）として、当該画像内に表示された機器のコスト情報と図７に示すコストとの差分値とが表示されている。図９に示すコスト画像Ｃ６ａは、画像内の全機器による総コストを示す総コスト画像である。図９に示すコスト画像Ｃ６ａでは、機器画像Ａ６として表示したＥＣＯ−ＭＦＰによるコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５３】
また、図９に示すコスト画像Ｃ６ｂは、当該画像内の総コストと比較対象となるコスト情報（図７に示すコスト）との差分コストを示す差分コスト画像である。図９に示すコスト画像Ｃ６ｂでは、図７に機器画像Ａ３として表示したオプション付き従来機によるコストと機器画像Ａ６として表示したＥＣＯ−ＭＦＰによるコストとの差分値として、月間の平均節約費用と月間の平均ＣＯ２削減量とを示している。
【００５４】
図１０に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、オプション機器付き従来機（ＭＦＰ）の機器画像Ａ７ａとオプションなしの従来機の機器画像Ａ７ｂとが表示されている。図１０に示す機器画像Ａ７ａは、従来機にオプション装置として大容量給紙装置およびフィニッシャ装置などが装着した様子を示し、図１０に示す機器画像Ａ７ｂは、従来機にオプションを装着していない様子を示している。
【００５５】
また、図１０に示す表示例では、カメラ１１が撮影する実画像に合成される拡張画像として、当該画像内に機器画像が表示された機器のコスト情報を示すコスト画像Ｃ７が表示されている。図１０に示すコスト画像Ｃ７は、当該画像内の全機器による総コストを示す総コスト画像である。図１０に示すコスト画像Ｃ７では、機器画像Ａ７ａとして表示したオプション付き従来機によるコストと機器画像Ａ７ｂとして表示したオプションなしの従来機によるコストとを合算した画像内の全機器によるコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５６】
また、図１１は、図１０に示す合成画像を表示した後に表示される合成画像であるものを想定する。図１１に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、２台のＥＣＯ−ＭＦＰの機器画像Ａ８ａ、Ａ８ｂが表示されている。つまり、図１１は、図１０に示す合成画像におけるオプション付き従来機の機器画像Ａ７ａとオプション無し従来機の機器画像Ａ７ｂとが、２台のＥＣＯ−ＭＦＰの機器画像Ａ８ａ、Ａ８ｂに置き換わった合成画像となっている。
【００５７】
また、図１１に示す表示例では、カメラ１１が撮影する実画像に合成されるコスト画像Ｃ８（Ｃ８ａ、Ｃ８ｂ）として、当該画像内に表示された機器のコスト情報と図１０に示すコストとの差分値とが表示されている。図１１に示すコスト画像Ｃ８ａは、当該画像内の全機器による総コストを示す総コスト画像である。図１１に示すコスト画像Ｃ８ａでは、機器画像Ａ８ａおよびＡ８ｂとして２台のＥＣＯ−ＭＦＰによるコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５８】
また、図１１に示すコスト画像Ｃ８ｂは、当該画像内の総コストと比較対象となるコスト情報（図１０に示すコスト）との差分コストを示す差分コスト画像である。図１１に示すコスト画像Ｃ８ｂでは、図１０に機器画像Ａ７ａおよびＡ７ｂとして表示したオプション付き従来機とオプション無し従来機によるコストと、機器画像Ａ８ａおよびＡ８ｂとして表示した２台のＥＣＯ−ＭＦＰによるコストとの差分値として、月間の平均節約費用と月間の平均ＣＯ２削減量とを示している。
【００５９】
上記のように、図８、図９及び図１１などに示す表示例によれば、拡張画像として合成（表示）する機器に関するコスト情報だけでなく、先に表示した機器のコストとの差分値を、コスト画像としてカメラ１１が撮影した実画像に合成することができる。これにより、利用者は、仮想的に配置した機器のコストだけでなく、別の配置例によるコストとの差分値をカメラ１１が撮影した実画像において視認することができる。
【００６０】
なお、表示した機器のコストとの差分値を計算するための比較対象とするコスト情報は、制御部２１内のＲＡＭ３２などに保持しておけば良い。また、比較対象とするコスト情報は、直前に表示した機器のコストに限定されるものではない。たとえば、既存の機器構成によるコストを比較対象のコスト情報として保持しておいても良いし、別の合成画像で表示したコスト情報を操作装置１４による指示に応じて比較対応とするコスト情報として記憶するようにしても良い。
【００６１】
次に、情報処理装置１２における画像表示処理の流れについて説明する。
図１２は、情報処理装置１２における画像表示処理の流れを説明するためのフローチャートである。
まず、利用者は、配置したい機種に対応するＩＤ情報を含むマーク情報を付与したマークを実空間に配置し、マークを配置した実空間の画像をカメラ１１により撮影する。カメラ１１は、マークが配置された空間の画像を撮影し、撮影した画像データを情報処理装置１２へ出力する。情報処理装置１２は、カメラ１１から実画像を図示しないインターフェースを介して取得し（ＡＣＴ１１）、取得した実画像を画像メモリ２２に記憶する（ＡＣＴ１２）。
【００６２】
カメラ１１が実画像を取得すると、制御部２１のプロセッサ３１は、マーク検出機能（マーク検出部４１）によりカメラ１１が撮影した実画像からマークを検出する（ＡＣＴ１３）。マーク検出部４１によりマークを検出すると、プロセッサ３１は、マーク情報抽出機能（マーク情報抽出部４２）により検出したマークに付与されているマーク情報を抽出する（ＡＣＴ１４）。プロセッサ３１は、検出したマークの位置を決定するとともに、抽出したマーク情報から機器の向きを決定する（ＡＣＴ１５）。さらに、プロセッサ３１は、マークから抽出したマーク情報に含まれるＩＤ情報などによりマークに対応する機種を特定する（ＡＣＴ１６）。
【００６３】
マークに対応する機種が複数ある場合、プロセッサ３１は、操作装置１４による機種の選択に応じて機種を特定する。なお、マークに対応する機種が複数ある場合であっても、デフォルトの機種を設定しておけば、プロセッサ３１は、操作装置１４による機種の選択がなければデフォルトの機種を特定するようにしても良い。また、マークに対応する機種が１つである場合であっても、プロセッサ３１は、操作装置１４の操作により選択された機種への変更を受け付けるようにしても良い。
【００６４】
すなわち、操作装置１４による機種の選択入力があれば（ＡＣＴ１７、ＹＥＳ）、プロセッサ３１は、マークに対応する機器として選択された機種を設定する（ＡＣＴ１８）。また、操作装置１４による機種の選択入力が無ければ（ＡＣＴ１７、ＮＯ）、プロセッサ３１は、マークに付与されたマーク情報に基づいて特定する機器をマークに対応する機種として設定する。
【００６５】
各マークに対応する機種を特定すると、プロセッサ３１は、機器画像作成機能（機器表示用画像作成部４３）により、各マークに対応する各機器の表示用画像を作成する（ＡＣＴ１９）。プロセッサ３１は、各マークに対応する機種のモデルデータを機器情報データベース２４ａから取得し、機器情報データベース２４ａから取得した各機種のモデルデータを、各マークの位置および姿勢に応じて回転、変倍（縮小或いは拡大）することにより各マークに対応する機器画像を作成する。
【００６６】
また、各マークに対応する機種を特定した場合、プロセッサ３１は、コスト換算機能（コスト換算部４４）により各マークに対応する機種による運用上のコストを算出する（ＡＣＴ２０）。各マークに対応する各機種のコストを算出すると、プロセッサ３１は、各マークに対応する各機器のコストを合算することにより画像内の全機器による総コストを算出する（ＡＣＴ２１）。総コストを算出すると、プロセッサ３１は、画像内の全機器によるコストを示す総コスト画像を作成する（ＡＣＴ２２）。
【００６７】
また、総コストを算出する場合、プロセッサ３１は、比較対象とするコスト情報が存在するか否かを判断する（ＡＣＴ２３）。比較対象のコスト情報が存在する場合（ＡＣＴ２３、ＹＥＳ）、プロセッサ３１は、算出した当該画像内の総コストと比較対象とするコストとの差分を算出する（ＡＣＴ２４）。比較対象のコストに対する差分を算出すると、プロセッサ３１は、画像内の全機器によるコストと比較対象のコストとの差分を示す差分コスト画像を作成する（ＡＣＴ２５）。
【００６８】
制御部２１のプロセッサ３１は、上記の処理により作成した、各マークに対応する機器画像と総コスト画像と差分コスト画像とを拡張画像として、画像合成部として機能する画像処理部２３へ供給する。画像処理部２３は、画像メモリ２２に記憶した実画像に対して、各マークの位置に各マークに対応する機器画像を合成し、さらに、実画像の所定領域に総コスト画像と差分コスト画像とを合成した合成画像を生成する（ＡＣＴ２６）。画像処理部２３は、生成した合成画像を表示用の画像データとして表示装置１３へ供給することにより、表示装置１３に合成画像を表示させる。
【００６９】
情報処理装置１２は、画像表示処理の終了が指示されるまで、上述したＡＣＴ１１〜２６の処理を繰り返し実行する。これにより、情報処理装置１２は、継続的に、カメラ１１が撮影する実画像に、マークに対応する機器の機器画像とコスト画像とを合成した合成画像を表示装置１３に表示することができる。
【００７０】
上記のように、本実施形態に係る画像表示システムにおいて、カメラは、各種の機種に対応づけたマーク情報を付与したマークを配置した空間の画像を撮影する。情報処理装置は、カメラにより撮影された実画像からマークを検出し、検出したマークに対応する機種の機器画像と前記検出したマークに対応する機種のコストを示すコスト画像とを作成し、前記実画像に対して、マークの位置に機器画像を合成するとともにコスト画像を合成する。表示装置は、情報処理装置により実画像に機器画像とコスト画像とを合成した合成画像を表示する。
【００７１】
このような画像表示システムによれば、配置したい機種に対応するマークを実空間の配置位置に実際に設置した状態でカメラが当該空間の画像を撮影することより、仮想的に配置された機器画像と画像内の各機器によるコストとを合成した合成画像を表示できる。この結果として、利用者は、様々な機器のレイアウトを容易に確認でき、かつ、コスト効果も視覚的に容易に確認することができる。すなわち、本実施形態によれば、様々な機種の配置を試行配置しながら、しかも各種の機器の組合せによる運用上のコストを容易に比較及び確認することが可能な画像表示システムを提供できる。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７３】
１…画像表示システム、Ｍ（Ｍ１、Ｍ２）…マーク、Ａ（Ａ１．Ａ２、Ａ３、Ａ４、Ａ６、Ａ７ａ、Ａ７ｂ、Ａ８ａ、Ａ８ｂ）…機器画像、Ｃ（Ｃ３、Ｃ４、Ｃ６ａ、Ｃ６ｂ、Ｃ７ａ、Ｃ７ｂ、Ｃ８ａ、Ｃ８ｂ）…コスト画像、Ｃ６ａ、Ｃ７ａ、Ｃ８ａ…総コスト画像、Ｃ６ｂ、Ｃ７ｂ、Ｃ８ｂ…差分コスト画像、１１…カメラ、１２…情報処理装置（画像処理装置）、１３…表示装置、１４…操作装置、２１…制御部、２２…画像メモリ、２３…画像処理部、２４…記憶部、２４ａ…機器情報データベース、２４ｂ…コスト情報データベース、２４ｃ…利用情報データベース、３１…プロセッサ、３２…ＲＡＭ、３３…ＲＯＭ、４１…マーク検出部、４２…マーク情報抽出部、４３…機器表示用画像作成部、４４…コスト換算部、４５…コスト表示用画像作成部。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法、および、画像処理プログラムに関する。
【背景技術】
【０００２】
従来、機器などを空間に配置する場合、カタログなどの資料を参照しつつ、機器のレイアウトをイメージしたり、配置した機器による運用上のコストなどを検討したりしている。実際の機器が容易に搬送できるものであれば、仮に実機を設置したり、仮に設置した実機でデモンストレーションを実施したりすることも可能である。しかしながら、実機の搬送が容易でない場合、設置を検討するために、様々な機種を実際に配置してみることは現実的ではなく、仮に実機を実際に配置した場合であっても運用上のコストを利用者に直感的に実感させることは容易でない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０９２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明に係る実施形態では、各種の機器の運用イメージを容易に認識することができる画像が表示できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態によれば、画像処理装置は、取得部と、マーク検出部と、機器画像作成部と、算出部と、コスト画像作成部と、画像合成部とを有する。取得部は、現実の空間を撮影した実画像を取得する。マーク検出部は、取得部により取得した実画像からマークを検出する。機器画像作成部は、マーク検出部により検出したマークに対応する機種の機器画像を作成する。算出部は、マーク検出部により検出したマークに対応する機種のコストを算出する。コスト画像作成部は、算出部により算出したコストを示すコスト画像を作成する。画像合成部は、実画像にマークに対応する機器画像とコスト画像とを合成する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態に係る画像表示装置としての画像表示システムの構成例を示す図である。
【図２】図２は、画像表示システムにおける各種の機能を含む構成例を示すブロック図である。
【図３】図３は、カメラが撮影した実画像の例を模式的に示す図である。
【図４】図４は、表示装置が表示する合成画像の例を模式的に示す図である。
【図５】図５は、利用情報データベースの構成例を示す図である。
【図６】図６は、コスト情報データベースの構成例を示す図である。
【図７】図７は、表示装置が表示する合成画像の第１の例を示す図である。
【図８】図８は、表示装置が表示する合成画像の第２の例を示す図である。
【図９】図９は、表示装置が表示する合成画像の第３の例を示す図である。
【図１０】図１０は、表示装置が表示する合成画像の第４の例を示す図である。
【図１１】図１１は、表示装置が表示する合成画像の第５の例を示す図である。
【図１２】図１２は、情報処理装置における画像表示処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【０００７】
以下、実施の形態について、図面を参照して説明する。
本実施形態に係る画像表示装置としての画像表示システムの構成について説明する。
図１は、画像表示装置としての画像表示システム１の構成例を示す図である。
図１に示す構成例では、画像表示システム１は、カメラ１１、情報処理装置（画像処理装置）１２、表示装置１３、および、操作装置１４などにより構成する。これらの構成は、一部又は全部が１つの装置において一体的に構成されたものであって良い。たとえば、画像表示装置としての画像表示システムは、カメラを接続したコンピュータ（ＰＣ）により構成しても良いし、カメラを具備したタブレット端末あるいは携帯端末などにより構成しても良い。
【０００８】
本実施形態に係る画像表示システム１は、カメラ１１が撮影した実画像に、拡張画像としての仮想的に配置した機器の画像および仮想的に配置した機器のコスト情報を示す画像を、合成した合成画像を表示装置１３に表示する。仮想的に配置する機器は、実際の空間に配置されたマークＭ（図３参照）などにより決定される。利用者あるいはサービスマンは、実空間において機器を配置したい位置に、当該機器に対応づけた情報を付与したマークを配置する。カメラ１１は、機器に対応する情報が付与されたマークが配置された実空間の画像を撮影する。
【０００９】
情報処理装置１２は、画像処理装置として機能し、カメラ１１が撮影した実画像からマークを検出し、検出したマークに付与されたマーク情報に対応する機種の機器画像をカメラ１１が撮影した実画像におけるマークの位置に合成する。さらに、情報処理装置１２は、検出したマークに付与された情報に対応する機器に関するコストを示すコスト画像もカメラ１１が撮影した実画像における所定の領域に合成する。これにより、情報処理装置１２は、カメラ１１が実空間を撮影した実画像に、実空間に配置されたマークに対応する機器の画像（機器画像）とコスト情報を示すコスト画像とを合成した合成画像を表示装置１３に表示させる。
【００１０】
表示装置１３は、情報処理装置１２が生成した合成画像を表示する。カメラ１１が撮影した実画像に、機器画像とコスト画像とを合成した画像は、表示装置１３により表示される。表示装置１３は、液晶表示装置などにより構成され、インターフェースなどを介して情報処理装置１２に接続される。また、操作装置１４は、操作指示などを入力するものであり、情報処理装置１２に接続される。表示装置１３及び操作装置１４は、たとえば、タッチパネルを有する液晶表示装置により構成しても良い。
【００１１】
なお、図１に示す画像表示システムは、カメラとタッチパネル内蔵の表示装置を有するタブレット端末などの携帯端末によって実現することが可能である。たとえば、カメラとタッチパネル内蔵の表示装置を有する携帯端末であれば、後述するような合成画像を表示する画像表示処理を行うためのソフトウエアをインストールすることにより、当該画像表示システムを実現できる。携帯端末で画像表示システムを実現すれば、後述するような実画像に機器画像とコスト画像とを合成した合成画像は、あらゆる場所で簡単に利用者（顧客）に提供することができる。
【００１２】
カメラ１１は、機器を設置したい空間の画像を撮影する。たとえば、カメラ１１は、デジタル複合機（ＭＦＰ：Multi Functional Peripheral）などの各種の機器の新規設置、機種の交換、あるいは、レイアウト変更などを検討している空間を撮影する。カメラ１１は、撮影した画像を画像処理が可能な画像（映像）データとして出力する。ここで、カメラ１１は、撮影した空間の映像をデジタル処理が可能なデジタル画像データとして情報処理装置１２へ出力するものとする。
【００１３】
情報処理装置１２は、カメラ１１から出力される画像データを入力し、入力した画像データに対して画像処理を施して表示用のデータを作成し、作成した表示用のデータを表示装置１３へ出力する。図１に示す構成例では、情報処理装置１２は、制御部２１、画像メモリ２２、画像処理部２３、および、記憶部２４などを有する。また、情報処理装置１２は、カメラ１１、表示装置１３、および、操作装置１４などをそれぞれ接続するための各種のインターフェースを有する。
【００１４】
制御部２１は、プロセッサ３１、ＲＡＭ３２およびＲＯＭ３３などを有する。プロセッサ３１は、たとえば、ＣＰＵである。ＲＡＭ３２は、作業用のデータを一時的に記憶する揮発性のメモリである。ＲＯＭ３３は、プログラムあるいは制御データなどを記憶する不揮発性のメモリである。プロセッサ３１は、ＲＯＭ３３あるいは記憶部２４に記憶されたプログラムを実行することにより、種々のデータ処理を実現する。制御部２１は、プロセッサ３１がプログラムを実行することにより後述する各種の処理機能を有する。
【００１５】
画像メモリ２２は、カメラ１１から取得した画像データを記憶する。つまり、画像メモリ２２は、カメラ１１が実際に撮影した実空間の画像（実画像）を記憶する。画像処理部２３は、画像メモリ２２に記憶した画像データに対して画像処理を施す。画像処理部２３は、画像処理した画像データを表示装置１３へ出力する。画像処理部２３は、制御部２１からの制御指示に従って画像処理を実行する。画像処理部２３は、制御部２１のプロセッサ３１がＲＯＭ３３或いは記憶部２４に記憶したプログラムを実行することにより実現する機能として実現しても良い。画像処理部２３は、たとえば、画像メモリ２２に記憶した画像データに対して、別の画像を合成する画像合成機能を有する。画像処理部２３の画像合成機能は、たとえば、実空間の映像（画像）に、仮想的に配置した機器の画像を合成する技術（たとえば、ＡＲ（拡張現実）技術）が適用される。
【００１６】
記憶部２４は、様々なデータを記憶するデータメモリである。記憶部２４は、ハードディスクドライブ（ＨＤＤ）あるいは光ディスクなどの不揮発性の記憶媒体により構成する。また、記憶部２４は、制御部２１で実行されるプログラムなどを記憶しても良い。記憶部２４は、機器情報データベース２４ａ、コスト情報データベース２４ｂ、及び、利用情報データベース２４ｃを有する。
【００１７】
機器情報データベース２４ａは、カメラ１１が撮影した画像に合成する各種の機器（機種）ごとの画像データを記憶する。機器情報データベース２４ａは、機種の識別情報（ＩＤ）に対応する各機種の表示用の画像データを記憶する。たとえば、機器情報データベース２４ａは、ＩＤ情報で特定される各機種の３次元の形状データ、および、表面の色情報などをモデリングした表示用の画像データを記憶する。機器情報データベース２４ａに記憶する各機種の表示用の画像データは、後述するマークＭ（例えば、図３参照）から検出するＩＤ情報、位置及び姿勢（向き）などに応じて変形できるように、回転、拡大、縮小などの画像処理が可能なデータ形式となっている。
【００１８】
コスト情報データベース２４ｂは、各機種の運用上のコストに関わる情報を記憶する。コスト情報データベース２４ｂは、機種ごとにランニングコスト（経費）に関する情報および環境負荷（ＣＯ２排出量）に関する情報などを記憶する。たとえば、コスト情報データベース２４ｂは、ウォームアップ電力、待機電力、１回の処理（１枚の用紙に対する処理）に必要な電力や経費などを含む情報をコスト情報として機種ごとに記憶する。コスト情報データベース２４ｂに記憶する機種ごとのコスト情報は、予め機器ごとの仕様で特定される情報であっても良いし、システムの管理者あるいはサービスマンが入力するようにしても良い。
【００１９】
利用情報データベース２４ｃは、各機種の利用状況に関わる情報を記憶する。たとえば、利用情報データベース２４ｃは、当該利用者における類似の機種に対する過去の使用実績、あるいは、今後の使用見込みなどの使用頻度を示す情報を機種ごとに記憶する。また、利用情報データベース２４ｃは、平均的なユーザによる機種ごとの使用頻度を示す情報を記憶しても良い。利用情報データベース２４ｃに記憶する機種ごとの使用頻度を示す情報は、利用者が入力するようにしても良いし、システムの管理者、サービスマンあるいはコーディネータが入力するようにしても良い。
【００２０】
次に、画像表示システムにおいて画像を表示するための機能について説明する。
図２は、画像表示システムにおける各種の機能を含む構成例を示すブロック図である。
情報処理装置１２の制御部２１は、プロセッサ３１がＲＯＭ３３あるいは記憶部２４に記憶したプログラムを実行することにより実現される種々の処理機能を有する。図２に示す構成例では、情報処理装置１２の制御部２１は、処理機能として、マーク検出部４１、マーク情報抽出部４２、機器表示用画像作成部４３、コスト換算部４４、および、コスト表示用画像作成部４５を有する。
【００２１】
マーク検出部４１は、カメラ１１が撮影した画像からマークＭ（後出する図３参照）を検出する。マーク検出部４１は、画像メモリ２２に記憶したカメラ１１が撮影した実画像の中から予め定められたマークを検出する。マーク検出部４１は、パターン認識技術によりマークを検出する。たとえば、マーク検出部４１は、マークらしい注目領域を抽出し、抽出された注目領域から所定の情報が検出されたか否かにより当該注目領域がマークか否かを判定する。
【００２２】
マーク情報抽出部４２は、マーク検出部４１が検出したマークに付与されている情報（マーク情報）を抽出する。マークに付与されるマーク情報には、各機種に対応づけたＩＤ情報が含まれる。また、マーク情報には、向きを示す情報も含まれる。マーク情報抽出部４２は、マークから抽出したマーク情報により当該マークに対応する機種を特定する。すなわち、マーク情報抽出部４２は、実空間（実画像）におけるマークの配置位置、マークに付与される各機種に対応づけたＩＤ情報、および、マークが示す当該機種の姿勢（設置向き）などの情報をマークから抽出する。
【００２３】
機器表示用画像作成部４３は、マーク情報抽出部４２がマークから抽出した情報に基づいて当該マークに対応する機種を特定し、特定した機種の表示用画像を作成する。機器表示用画像作成部４３は、マークから抽出したＩＤ情報により対象となる機種を特定し、特定した機種のモデルデータを機器情報データベース２４ａから取得する。機器情報データベース２４ａから取得した当該機種のモデルデータを、マークの位置および姿勢に応じて回転、変倍（縮小或いは拡大）することにより当該機器の表示用画像データを作成する。
【００２４】
なお、検出したマークに対応する機種は、操作装置１４により選択するようにしても良い。この場合、マークには、複数の機種を対応づけておいて操作装置１４で選択させるようにいても良いし、特定の機種を対応づけずに操作装置１４で選択させるようにしても良い。また、マークに対応して抽出された機種は操作装置１４の操作により変更できるようにしても良い。操作装置１４により機種が選択された場合、機器表示用画像作成部４３は、選択された機種のモデルデータを機器情報データベース２４ａし、機器情報データベース２４ａから取得した当該機種のモデルデータをマークの位置および姿勢に応じて回転、変倍（縮小或いは拡大）することにより当該機器の表示用画像データを作成する。
【００２５】
コスト換算部４４は、マークに対応する機種に関する運用上のコストを算出する。たとえば、コスト換算部４４は、マークに対応する機種ごとに、所定期間（例えば、月間、週間）における、経費、ＣＯ２消費量などのコストを算出する。コスト換算部４４は、特定された機種のコストに関する情報をコスト情報データベース２４ｂから取得し、使用頻度を含む利用情報を利用情報データベース２４ｃから取得する。コスト換算部４４は、特定された機種のコストに関する情報と利用情報とに基づいて、当該機種を運用した場合のコスト（経費或いはＯＣ２消費量など）を算出する。
【００２６】
また、コスト換算部４４は、カメラ１１が撮影した画像から検出された全てのマークに対応する各機器に対するコストを合算する。すなわち、画像内の全機器のコストを合算することにより、コスト換算部４４は、カメラ１１が撮影した画像内にマークとして配置された全機器によるコスト（画像内の総コスト）を算出する。また、コスト換算部４４は、算出したコストに対して比較対象とするコスト情報が存在する場合、算出したコストと比較対象とのコストの差分値を算出する。比較対象とするコスト情報は、例えば、制御部２１内のＲＡＭ３２などに保持される。
【００２７】
コスト表示用画像作成部４５は、コスト換算部４４が算出したコストを示す表示用画像を作成する。たとえば、コスト表示用画像作成部４５は、コスト換算部４４が算出した画像内の総コスト（所定期間における経費或いはＣＯ２消費量など）を示す画像としてコスト画像（総コスト画像）を作成する。また、コスト換算部４４が画像内の総コストと比較対象とするコストとの差分値を算出した場合、コスト表示用画像作成部４５は、当該差分値を示す画像として差分コスト画像も作成する。なお、コスト表示用画像作成部４５は、合成画像において機器ごとのコストを各機器の表示画像に対応づけて表示する場合、機器ごとのコストを示すコスト画像をそれぞれ作成すれば良い。
【００２８】
画像処理部２３は、画像合成部として機能する。画像処理部２３は、カメラ１１が撮影した実画像に、拡張画像としての機器表示用画像作成部４３が作成した機種の表示用画像とコスト表示用画像作成部４５が作成したコストの表示用画像とを合成する。画像処理部２３は、画像メモリ２２に記憶するカメラ１１が撮影した実画像における各マークの領域に、機器表示用画像作成部４３が作成した各マークが対応する機種の表示用画像を合成（マークの画像を機種の表示用画像に置換）する。画像処理部２３は、画像メモリ２２が記憶するカメラ１１が撮影した実画像における所定の領域に、コスト表示用画像作成部４５が作成したコストを示す表示用画像を合成する。画像処理部２３は、生成した合成画像を表示装置１３に表示させる。
【００２９】
次に、カメラ１１が撮影する画像と表示装置１３が表示する画像とについて説明する。
図３は、カメラ１１が撮影した画像の例を模式的に示す図である。図４は、表示装置１３が表示する画像の例を模式的に示す図である。
図３は、機器に対応づけたマーク情報が付与されたマークＭ（Ｍ１、Ｍ２）を配置した空間をカメラ１１が撮影した実画像の例である。図３は、カメラ１１からの出力映像（すなわち、カメラが撮影する現実の空間映像）の１コマを切り出した画像の例である。図３に示す画像例において、空間（例えば、機器を配置したい室内空間）には、既存の物品Ｆ１、Ｆ２と２つのマークＭ１、Ｍ２とが置かれている。図３に示す画像例において、既存の物品Ｆ１、Ｆ２は、抽象化して円柱で示している。また、図３に示す画像例においては、複数のマークＭ１、Ｍ２が床の複数個所に配置されている。各マークＭ１、Ｍ２は、たとえば、対応する機種を示すＩＤ情報および向きを示す情報などを含むマーク情報が印刷された紙である。
【００３０】
図３に示すような画像がカメラ１１により撮影された場合、情報処理装置１２は、図１４に示すような合成画像を表示装置１３に表示させる。すなわち、図４は、図３に示す実画像におけるマークＭ１、Ｍ２の位置に対応する機種の機器画像が合成され、かつ、画像内の全機器によるコストを示すコスト画像が合成された合成画像の例を示す図である。図４は、図３に示すようなカメラ１１からの出力映像に対応した表示装置１３の表示映像の１コマを切り出した画像の例である。図４に示す画像例では、既存の物品Ｆ１、Ｆ２と現実には存在しない機器Ａ１、Ａ２とが配置された空間画像とともに、コストを示すコスト画像Ｃが表示されている。
【００３１】
図４に示す画像例において、現実には存在しない機器Ａ１、Ａ２は、実画像におけるマークＭ１、Ｍ２の位置に、抽象化した四角柱の画像として表示されている。現実には存在しない機器Ａ１、Ａ２は、実画像におけるマークＭ１、Ｍ２に付与されたマーク情報で特定される機種であり、マークＭ１、Ｍ２で示された向きで表示される。つまり、図４に示す画像例は、図３に示す実画像における各マークＭ１、Ｍ２の位置に、各マークに対応する機種の機器画像Ａ１、Ａ２をマークで示された向きで合成した画像である。情報処理装置１２においては、実画像におけるマーク及びマーク情報は、マーク検出部４１及びマーク情報抽出部４２により抽出され、マークＭ１、Ｍ２に対応する機器画像Ａ１、Ａ２は、機器表示用画像作成部４３により作成される。
【００３２】
また、図４に示す画像例においては、当該画像内における全機器によるコストを示すコスト画像Ｃが当該画像の左上に表示される。図４に示す画像例では、コスト画像Ｃにおいて、所定期間（例えば月間）のＣＯ２消費量の予想値が表示されている。また、コスト画像Ｃで表示するコスト情報は、所定期間（例えば、月間）の経費の予想値などであっても良い。また、コスト情報の画像Ｃは、表示位置が画像の左上に限定されるものではなく、表示装置１３が表示する画像の任意の領域に合成して良い。たとえば、コスト情報の画像Ｃは、機器画像Ａ１、Ａ２と重ならない領域に合成するようにしても良い。情報処理装置１２においては、実画像におけるマーク及びマーク情報は、マーク検出部４１及びマーク情報抽出部４２により抽出され、画像内の各マークに対応する機器のコスト情報は、コスト換算部４４により算出され、コスト情報の表示画像は、コスト表示用画像作成部４５により作成される。
【００３３】
図４に示すような表示画像によれば、仮想的に配置した機器レイアウトおよび運用イメージを表示画像により視認でき、かつ、画像中の機器によるコスト情報を把握できる。例えば、顧客のオフィス内などの機器を配置したい空間において、マークの配置或いは種類を変えたり、カメラの撮影範囲を変えたりすることにより、機器のレイアウト変更および配置した機器によるコスト効果などを報知することができる。この結果として、たとえば、機器の販売及び案内を行う人物は、顧客に対して、実際の設置空間（例えばオフィス）における機器のレイアウトイメージ、および、コスト関連情報を視覚的に判り易く提案することができ、商品としての各機器に関する実際の運用イメージの理解を促すことができる。
【００３４】
また、機種に対応づけたマーク情報を付与したマークは、実際に物理的に配置したりマーク情報を変更したりすることにより、実空間において実体験として機器の配置変更などを実感することが可能である。ただし、マークに対応して表示する機器画像は、操作装置１４により選択或いは変更できるようにしても良い。すなわち、表示装置１３に表示された合成画像を見ながら、操作装置１４により表示された機器を他の機種に変更したり、機器の位置或いは向きを操作装置１４での操作によって変更したりできるようにしても良い。このような処理は、機器表示用画像作成部４３が操作装置１４に入力された情報に基づいて機器の表示用画像を変更することにより実現できる。
【００３５】
次に、利用情報データベース２４ｃの構成について説明する。
図５は、利用情報データベース２４ｃの構成例を示す図である。
利用情報データベース２４ｃは、各機種の使用頻度に関わる情報を記憶するものである。利用情報データベース２４ｃは、類似の機器の使用実績、あるいは、今後の使用見込みなどから設定される各機器の使用頻度に関わる情報を予め記憶する。利用情報データベース２４ｃに記憶する情報は、設置する機器の運用者が設定する情報であっても良いし、既存の機器を保守しているサービスマンが設定する情報であっても良いし、一般的な統計データであっても良い。
【００３６】
図５に示す例では、利用情報データベース２４ｃには、４つの機種（機種Ａ、機種Ｂ、機種Ｃ、及び、機種Ｄ）について、稼働日数（月間の平均稼働日数）、稼働時間（１日における平均稼働時間）、利用頻度（月間の利用頻度）、消耗品効率（例えば、１枚の用紙１枚に印刷頁数）、消耗品再利用率（１枚の用紙の再利用回数）などの値を記憶する。図５に示す各情報は、たとえば、利用者（顧客）から得られる情報である。
【００３７】
図５に示す例において、機種Ａ及び機種Ｂは、たとえば、それぞれ異なる仕様のＭＦＰを想定している。たとえば、機種Ａは、用紙の再利用ができない従来型の機器（従来機）であり、機種Ｂは、用紙の再利用が可能なＭＦＰ（ＥＣＯ−ＭＦＰ）であることを想定するものとする。機種Ａ及び機種Ｂに対する利用頻度は、各機種における月間の印刷頁数を示し、機種Ａ及び機種Ｂに対する消耗品効率は、各機種において１枚の用紙に印刷する頁数（平均頁数）を示す。
【００３８】
たとえば、１枚の用紙に１頁の印刷を行う場合、消耗品効率は「１」になり、１枚の用紙に２頁分の画像を印刷する場合（例えば、２イン１印刷、あるいは、両面印刷等）、消耗品効率は「２」となる。図５に示す例において、機種Ａでは、月間の印刷頁数が３０００であり、消耗品効率が１であるため、月間に３０００枚の用紙に対して印刷を行う事を示している。また、機種Ｂでは、月間の印刷頁数が３０００であり、消耗品効率が２であるため、月間に３０００／２＝１５００枚の用紙に対して印刷を行う事を示している。
【００３９】
また、消耗品再利用率は、１枚の用紙を何回再利用するかを示す値である。たとえば、用紙の再利用ができない場合、消耗品再利用率は「１」となり、用紙を５回再利用できる場合、消耗品再利用率は「５」となる。図５に示す例において、機種Ａでは、月間の印刷頁数が３０００、消耗品効率が１、消耗品再利用率が１であるため、月間に３０００枚の用紙を印刷処理により消費することを示している。また、機種Ｂでは、月間の印刷頁数が３０００、消耗品効率が２、消耗品再利用率が５であるため、月間に３０００／（２×５）＝３００枚の用紙を印刷処理により消費することを示している。
【００４０】
また、図５に示す例において、機種Ｃは、印刷処理された用紙を再利用するための画像の消去装置であることを想定している。機種Ｃは、画像の消去装置であるため、印刷処理済みの用紙から印刷画像を消去して再利用できる用紙を生成する。このため、機種Ｃに対する利用頻度は、マイナスの値（消費としてはプラスの値）とする。図５に示す例では、機種Ｃの利用頻度は、月間の印刷枚数のうち再利用できない分の枚数を差し引いた枚数（再生枚数）をマイナス値で設定している。
【００４１】
また、図５に示す例において、機種Ｄは、外光及び室内光などの光を電力に変換することにより発電するソーラーパネルを想定している。機種Ｄは、電力を生成する装置（発電機）であるため、利用頻度、消耗品効率、消耗品再利用率などは０となっており、稼働日数と稼働時間とが設定されている。
【００４２】
次に、コスト情報データベース２４ｂの構成について説明する。
図６は、コスト情報データベース２４ｂの構成例を示す図である。
コスト情報データベース２４ｂは、各機種のコストに関わる情報を記憶するものである。コスト情報データベース２４ｂは、コスト情報として経費および環境負荷に関する情報などを機種ごとに記憶する。コスト情報データベース２４ｂに記憶する機種ごとのコスト情報は、予め各機種の仕様として規定されている情報であっても良いし、システムの管理者あるいはサービスマンが入力する情報であっても良い。
【００４３】
図６に示す例では、コスト情報データベース２４ｂには、４つの機種（機種Ａ、機種Ｂ、機種Ｃ、及び、機種Ｄ）について、ウォームアップ電力消費（ウォームアップ１回の消費電力量）、待機電力（単位時間当たりの消費電力量）、使用電力（１回の処理で消費する電力量）、発電量（単位時間当たりの発電量）、イニシャル費用、ランニング費用、および、消耗品費用などの値を記憶する。
【００４４】
ウォームアップ電力消費は、機器を１回ウォームアップするために必要な電力量（電力消費量）を示す値である。待機電力は、待機状態で１時間に消費する電力量（１時間当たりの電力消費量）を示す値である。使用電力は、１回の処理を実行するごとに消費する電力量を示す値である。たとえば、機種Ａ及び機種Ｂに対する使用電力は、機種Ａ及び機種ＢがＭＦＰであるため、１枚の用紙に対する印刷処理に要する電力量として良い。また、機種Ｃに対する使用電力は、機種Ｃが画像の消去装置であるため、１枚の用紙に対する画像消去処理に要する電力量として良い。
【００４５】
発電量は、１時間当たりの平均発電量を示す値である。機種Ａ，Ｂ，Ｃは発電機能を有していないため、機種Ａ，Ｂ，Ｃに対する発電量は０となる。機種Ｄはソーラーパネルであるため、機種Ｄに対する発電量は、機種Ｄによる１時間当たりの平均発電量を記憶する。イニシャル費用は、各機種を導入するために必要となる初期費用である。ランニング費用は、使用頻度に応じて生じる費用を示すものである。消耗品費用は、各機種に適用する消耗品ごとの費用を示すものである。消耗品費用は、各機種に１つに限らず消耗品ごとに設定するようにしても良い。なお、電力および消耗品をＣＯ２消費量に換算するための情報は、記憶部２４に記憶されるものとする。
【００４６】
次に、表示装置１３が表示する合成画像について説明する。
図７乃至図１１は、表示装置１３が表示する合成画像の例を示す図である。
図７に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、オプション機器付き従来機（ＭＦＰ）の機器画像Ａ３が表示されている。図７に示す機器画像Ａ３は、従来機としてのＭＦＰにオプション装置として大容量給紙装置およびフィニッシャ装置などが装着されている様子を表示している。
【００４７】
また、図７に示す表示例では、カメラ１１が撮影する実画像に合成される拡張画像として、当該画像内に機器画像が表示された機器のコスト情報を示すコスト画像Ｃ３が表示されている。図７に示すコスト画像Ｃ３は、当該画像内の全機器による総コストを示す総コスト画像である。図７に示すコスト画像Ｃ３では、機器画像Ａ３として表示したオプション付き従来機に対するコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００４８】
また、図８は、図７に示す合成画像を表示した後に表示される合成画像であるものを想定する。図８に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、オプションなしの従来機（ＭＦＰ）の機器画像Ａ４が表示されている。図８に示す機器画像Ａ４は、従来機としてのＭＦＰにオプション装置が装着されていない様子を表示している。つまり、図８は、図７に示す合成画像におけるオプション付き従来機の機器画像Ａ３が、オプション無し従来機の機器画像Ａ４に置き換わった合成画像となっている。
【００４９】
また、図８に示す表示例では、カメラ１１が撮影する実画像に合成されるコスト画像Ｃ４（Ｃ４ａ、Ｃ４ｂ）として、当該画像内に表示された機器のコスト情報と図７に示すコストとの差分値とが表示されている。図８に示すコスト画像Ｃ４ａは、画像内の全機器による総コストを示す総コスト画像である。図８に示すコスト画像Ｃ４ａでは、機器画像Ａ４として表示したオプションなし従来機に対するコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５０】
また、図８に示すコスト画像Ｃ４ｂは、当該画像内の総コストと比較対象となるコスト情報（図７に示すコスト）との差分コストを示す差分コスト画像である。図８に示すコスト画像Ｃ４ｂは、図７に機器画像Ａ３として表示したオプション付き従来機によるコストと機器画像Ａ４として表示したオプションなし従来機によるコストとの差分値として、月間の平均節約費用と月間の平均ＣＯ２削減量とを示している。
【００５１】
また、図９は、図７に示す合成画像を表示した後に表示される合成画像であるものを想定する。図９に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、用紙の再利用が可能なＥＣＯ−ＭＦＰの機器画像Ａ６が表示されている。図９に示す機器画像Ａ６は、図７に示すような従来機とは外観が異なるＭＦＰを示している。つまり、図９は、図７に示す合成画像におけるオプション付き従来機の機器画像Ａ３が、ＥＣＯ−ＭＦＰの機器画像Ａ６に置き換わった合成画像となっている。
【００５２】
また、図９に示す表示例では、カメラ１１が撮影する実画像に合成されるコスト画像Ｃ６（Ｃ６ａ、Ｃ６ｂ）として、当該画像内に表示された機器のコスト情報と図７に示すコストとの差分値とが表示されている。図９に示すコスト画像Ｃ６ａは、画像内の全機器による総コストを示す総コスト画像である。図９に示すコスト画像Ｃ６ａでは、機器画像Ａ６として表示したＥＣＯ−ＭＦＰによるコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５３】
また、図９に示すコスト画像Ｃ６ｂは、当該画像内の総コストと比較対象となるコスト情報（図７に示すコスト）との差分コストを示す差分コスト画像である。図９に示すコスト画像Ｃ６ｂでは、図７に機器画像Ａ３として表示したオプション付き従来機によるコストと機器画像Ａ６として表示したＥＣＯ−ＭＦＰによるコストとの差分値として、月間の平均節約費用と月間の平均ＣＯ２削減量とを示している。
【００５４】
図１０に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、オプション機器付き従来機（ＭＦＰ）の機器画像Ａ７ａとオプションなしの従来機の機器画像Ａ７ｂとが表示されている。図１０に示す機器画像Ａ７ａは、従来機にオプション装置として大容量給紙装置およびフィニッシャ装置などが装着した様子を示し、図１０に示す機器画像Ａ７ｂは、従来機にオプションを装着していない様子を示している。
【００５５】
また、図１０に示す表示例では、カメラ１１が撮影する実画像に合成される拡張画像として、当該画像内に機器画像が表示された機器のコスト情報を示すコスト画像Ｃ７が表示されている。図１０に示すコスト画像Ｃ７は、当該画像内の全機器による総コストを示す総コスト画像である。図１０に示すコスト画像Ｃ７では、機器画像Ａ７ａとして表示したオプション付き従来機によるコストと機器画像Ａ７ｂとして表示したオプションなしの従来機によるコストとを合算した画像内の全機器によるコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５６】
また、図１１は、図１０に示す合成画像を表示した後に表示される合成画像であるものを想定する。図１１に示す表示例では、カメラ１１が撮影する実画像に合成された拡張画像として、２台のＥＣＯ−ＭＦＰの機器画像Ａ８ａ、Ａ８ｂが表示されている。つまり、図１１は、図１０に示す合成画像におけるオプション付き従来機の機器画像Ａ７ａとオプション無し従来機の機器画像Ａ７ｂとが、２台のＥＣＯ−ＭＦＰの機器画像Ａ８ａ、Ａ８ｂに置き換わった合成画像となっている。
【００５７】
また、図１１に示す表示例では、カメラ１１が撮影する実画像に合成されるコスト画像Ｃ８（Ｃ８ａ、Ｃ８ｂ）として、当該画像内に表示された機器のコスト情報と図１０に示すコストとの差分値とが表示されている。図１１に示すコスト画像Ｃ８ａは、当該画像内の全機器による総コストを示す総コスト画像である。図１１に示すコスト画像Ｃ８ａでは、機器画像Ａ８ａおよびＡ８ｂとして２台のＥＣＯ−ＭＦＰによるコスト情報として、月間の平均費用と月間の平均ＣＯ２排出量とを示している。
【００５８】
また、図１１に示すコスト画像Ｃ８ｂは、当該画像内の総コストと比較対象となるコスト情報（図１０に示すコスト）との差分コストを示す差分コスト画像である。図１１に示すコスト画像Ｃ８ｂでは、図１０に機器画像Ａ７ａおよびＡ７ｂとして表示したオプション付き従来機とオプション無し従来機によるコストと、機器画像Ａ８ａおよびＡ８ｂとして表示した２台のＥＣＯ−ＭＦＰによるコストとの差分値として、月間の平均節約費用と月間の平均ＣＯ２削減量とを示している。
【００５９】
上記のように、図８、図９及び図１１などに示す表示例によれば、拡張画像として合成（表示）する機器に関するコスト情報だけでなく、先に表示した機器のコストとの差分値を、コスト画像としてカメラ１１が撮影した実画像に合成することができる。これにより、利用者は、仮想的に配置した機器のコストだけでなく、別の配置例によるコストとの差分値をカメラ１１が撮影した実画像において視認することができる。
【００６０】
なお、表示した機器のコストとの差分値を計算するための比較対象とするコスト情報は、制御部２１内のＲＡＭ３２などに保持しておけば良い。また、比較対象とするコスト情報は、直前に表示した機器のコストに限定されるものではない。たとえば、既存の機器構成によるコストを比較対象のコスト情報として保持しておいても良いし、別の合成画像で表示したコスト情報を操作装置１４による指示に応じて比較対応とするコスト情報として記憶するようにしても良い。
【００６１】
次に、情報処理装置１２における画像表示処理の流れについて説明する。
図１２は、情報処理装置１２における画像表示処理の流れを説明するためのフローチャートである。
まず、利用者は、配置したい機種に対応するＩＤ情報を含むマーク情報を付与したマークを実空間に配置し、マークを配置した実空間の画像をカメラ１１により撮影する。カメラ１１は、マークが配置された空間の画像を撮影し、撮影した画像データを情報処理装置１２へ出力する。情報処理装置１２は、カメラ１１から実画像を図示しないインターフェースを介して取得し（ＡＣＴ１１）、取得した実画像を画像メモリ２２に記憶する（ＡＣＴ１２）。
【００６２】
カメラ１１が実画像を取得すると、制御部２１のプロセッサ３１は、マーク検出機能（マーク検出部４１）によりカメラ１１が撮影した実画像からマークを検出する（ＡＣＴ１３）。マーク検出部４１によりマークを検出すると、プロセッサ３１は、マーク情報抽出機能（マーク情報抽出部４２）により検出したマークに付与されているマーク情報を抽出する（ＡＣＴ１４）。プロセッサ３１は、検出したマークの位置を決定するとともに、抽出したマーク情報から機器の向きを決定する（ＡＣＴ１５）。さらに、プロセッサ３１は、マークから抽出したマーク情報に含まれるＩＤ情報などによりマークに対応する機種を特定する（ＡＣＴ１６）。
【００６３】
マークに対応する機種が複数ある場合、プロセッサ３１は、操作装置１４による機種の選択に応じて機種を特定する。なお、マークに対応する機種が複数ある場合であっても、デフォルトの機種を設定しておけば、プロセッサ３１は、操作装置１４による機種の選択がなければデフォルトの機種を特定するようにしても良い。また、マークに対応する機種が１つである場合であっても、プロセッサ３１は、操作装置１４の操作により選択された機種への変更を受け付けるようにしても良い。
【００６４】
すなわち、操作装置１４による機種の選択入力があれば（ＡＣＴ１７、ＹＥＳ）、プロセッサ３１は、マークに対応する機器として選択された機種を設定する（ＡＣＴ１８）。また、操作装置１４による機種の選択入力が無ければ（ＡＣＴ１７、ＮＯ）、プロセッサ３１は、マークに付与されたマーク情報に基づいて特定する機器をマークに対応する機種として設定する。
【００６５】
各マークに対応する機種を特定すると、プロセッサ３１は、機器画像作成機能（機器表示用画像作成部４３）により、各マークに対応する各機器の表示用画像を作成する（ＡＣＴ１９）。プロセッサ３１は、各マークに対応する機種のモデルデータを機器情報データベース２４ａから取得し、機器情報データベース２４ａから取得した各機種のモデルデータを、各マークの位置および姿勢に応じて回転、変倍（縮小或いは拡大）することにより各マークに対応する機器画像を作成する。
【００６６】
また、各マークに対応する機種を特定した場合、プロセッサ３１は、コスト換算機能（コスト換算部４４）により各マークに対応する機種による運用上のコストを算出する（ＡＣＴ２０）。各マークに対応する各機種のコストを算出すると、プロセッサ３１は、各マークに対応する各機器のコストを合算することにより画像内の全機器による総コストを算出する（ＡＣＴ２１）。総コストを算出すると、プロセッサ３１は、画像内の全機器によるコストを示す総コスト画像を作成する（ＡＣＴ２２）。
【００６７】
また、総コストを算出する場合、プロセッサ３１は、比較対象とするコスト情報が存在するか否かを判断する（ＡＣＴ２３）。比較対象のコスト情報が存在する場合（ＡＣＴ２３、ＹＥＳ）、プロセッサ３１は、算出した当該画像内の総コストと比較対象とするコストとの差分を算出する（ＡＣＴ２４）。比較対象のコストに対する差分を算出すると、プロセッサ３１は、画像内の全機器によるコストと比較対象のコストとの差分を示す差分コスト画像を作成する（ＡＣＴ２５）。
【００６８】
制御部２１のプロセッサ３１は、上記の処理により作成した、各マークに対応する機器画像と総コスト画像と差分コスト画像とを拡張画像として、画像合成部として機能する画像処理部２３へ供給する。画像処理部２３は、画像メモリ２２に記憶した実画像に対して、各マークの位置に各マークに対応する機器画像を合成し、さらに、実画像の所定領域に総コスト画像と差分コスト画像とを合成した合成画像を生成する（ＡＣＴ２６）。画像処理部２３は、生成した合成画像を表示用の画像データとして表示装置１３へ供給することにより、表示装置１３に合成画像を表示させる。
【００６９】
情報処理装置１２は、画像表示処理の終了が指示されるまで、上述したＡＣＴ１１〜２６の処理を繰り返し実行する。これにより、情報処理装置１２は、継続的に、カメラ１１が撮影する実画像に、マークに対応する機器の機器画像とコスト画像とを合成した合成画像を表示装置１３に表示することができる。
【００７０】
上記のように、本実施形態に係る画像表示システムにおいて、カメラは、各種の機種に対応づけたマーク情報を付与したマークを配置した空間の画像を撮影する。情報処理装置は、カメラにより撮影された実画像からマークを検出し、検出したマークに対応する機種の機器画像と前記検出したマークに対応する機種のコストを示すコスト画像とを作成し、前記実画像に対して、マークの位置に機器画像を合成するとともにコスト画像を合成する。表示装置は、情報処理装置により実画像に機器画像とコスト画像とを合成した合成画像を表示する。
【００７１】
このような画像表示システムによれば、配置したい機種に対応するマークを実空間の配置位置に実際に設置した状態でカメラが当該空間の画像を撮影することより、仮想的に配置された機器画像と画像内の各機器によるコストとを合成した合成画像を表示できる。この結果として、利用者は、様々な機器のレイアウトを容易に確認でき、かつ、コスト効果も視覚的に容易に確認することができる。すなわち、本実施形態によれば、様々な機種の配置を試行配置しながら、しかも各種の機器の組合せによる運用上のコストを容易に比較及び確認することが可能な画像表示システムを提供できる。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７３】
１…画像表示システム、Ｍ（Ｍ１、Ｍ２）…マーク、Ａ（Ａ１．Ａ２、Ａ３、Ａ４、Ａ６、Ａ７ａ、Ａ７ｂ、Ａ８ａ、Ａ８ｂ）…機器画像、Ｃ（Ｃ３、Ｃ４、Ｃ６ａ、Ｃ６ｂ、Ｃ７ａ、Ｃ７ｂ、Ｃ８ａ、Ｃ８ｂ）…コスト画像、Ｃ６ａ、Ｃ７ａ、Ｃ８ａ…総コスト画像、Ｃ６ｂ、Ｃ７ｂ、Ｃ８ｂ…差分コスト画像、１１…カメラ、１２…情報処理装置（画像処理装置）、１３…表示装置、１４…操作装置、２１…制御部、２２…画像メモリ、２３…画像処理部、２４…記憶部、２４ａ…機器情報データベース、２４ｂ…コスト情報データベース、２４ｃ…利用情報データベース、３１…プロセッサ、３２…ＲＡＭ、３３…ＲＯＭ、４１…マーク検出部、４２…マーク情報抽出部、４３…機器表示用画像作成部、４４…コスト換算部、４５…コスト表示用画像作成部。
【特許請求の範囲】
【請求項１】
現実の空間を撮影した実画像を取得する取得部と、
前記取得部により取得した実画像からマークを検出するマーク検出部と、
前記マーク検出部により検出したマークに対応する機種の機器画像を作成する機器画像作成部と、
前記マーク検出部により検出したマークに対応する機種のコストを算出する算出部と、
前記算出部により算出したコストを示すコスト画像を作成するコスト画像作成部と、
前記実画像にマークに対応する前記機器画像と前記コスト画像とを合成する画像合成部と、
を有する画像処理装置。
【請求項２】
前記算出部は、前記マーク検出部により前記実画像から検出した全てのマークに対応する機種のコストを算出し、各マークに対応する各機器のコストを合算した総コストを算出し、
前記コスト画像作成部は、前記算出部により算出した総コストを示す総コスト画像を作成し
前記画像合成部は、前記コスト画像として総コスト画像を前記実画像に合成する、
を有する前記請求項１に記載の画像処理装置。
【請求項３】
さらに、比較対象とするコスト情報を記憶する記憶部を有し、
前記算出部は、前記マーク検出部により検出したマークに対応する機種のコストと、前記記憶部に記憶した比較対象とするコスト情報との差分を算出し、
前記コスト画像作成部は、前記算出部により算出した差分を示す差分コスト画像を作成し、
前記画像合成部は、前記コスト画像として差分コスト画像を前記実画像に合成する、
を有する前記請求項１又は２の何れか１項に記載の画像処理装置。
【請求項４】
現実の空間を撮影した実画像を取得し、
前記取得した実画像からマークを検出し、
前記検出したマークに対応する機種の機器画像を作成し、
前記検出したマークに対応する機種のコストを算出し、
前記算出したコストを示すコスト画像を作成し、
前記実画像にマークに対応する前記機器画像と前記コスト画像とを合成する、
ことを特徴とする画像処理方法。
【請求項５】
コンピュータに、
現実の空間を撮影した実画像を取得する取得機能と、
前記取得機能により取得した実画像からマークを検出するマーク検出機能と、
前記マーク検出機能により検出したマークに対応する機種の機器画像を作成する機器画像作成機能と、
前記マーク検出機能により検出したマークに対応する機種のコストを算出する算出機能と、
前記算出機能により算出したコストを示すコスト画像を作成するコスト画像作成機能と、
前記実画像にマークに対応する前記機器画像と前記コスト画像とを合成する画像合成機能と、
を実現させるための画像処理プログラム。
【請求項１】
現実の空間を撮影した実画像を取得する取得部と、
前記取得部により取得した実画像からマークを検出するマーク検出部と、
前記マーク検出部により検出したマークに対応する機種の機器画像を作成する機器画像作成部と、
前記マーク検出部により検出したマークに対応する機種のコストを算出する算出部と、
前記算出部により算出したコストを示すコスト画像を作成するコスト画像作成部と、
前記実画像にマークに対応する前記機器画像と前記コスト画像とを合成する画像合成部と、
を有する画像処理装置。
【請求項２】
前記算出部は、前記マーク検出部により前記実画像から検出した全てのマークに対応する機種のコストを算出し、各マークに対応する各機器のコストを合算した総コストを算出し、
前記コスト画像作成部は、前記算出部により算出した総コストを示す総コスト画像を作成し
前記画像合成部は、前記コスト画像として総コスト画像を前記実画像に合成する、
を有する前記請求項１に記載の画像処理装置。
【請求項３】
さらに、比較対象とするコスト情報を記憶する記憶部を有し、
前記算出部は、前記マーク検出部により検出したマークに対応する機種のコストと、前記記憶部に記憶した比較対象とするコスト情報との差分を算出し、
前記コスト画像作成部は、前記算出部により算出した差分を示す差分コスト画像を作成し、
前記画像合成部は、前記コスト画像として差分コスト画像を前記実画像に合成する、
を有する前記請求項１又は２の何れか１項に記載の画像処理装置。
【請求項４】
現実の空間を撮影した実画像を取得し、
前記取得した実画像からマークを検出し、
前記検出したマークに対応する機種の機器画像を作成し、
前記検出したマークに対応する機種のコストを算出し、
前記算出したコストを示すコスト画像を作成し、
前記実画像にマークに対応する前記機器画像と前記コスト画像とを合成する、
ことを特徴とする画像処理方法。
【請求項５】
コンピュータに、
現実の空間を撮影した実画像を取得する取得機能と、
前記取得機能により取得した実画像からマークを検出するマーク検出機能と、
前記マーク検出機能により検出したマークに対応する機種の機器画像を作成する機器画像作成機能と、
前記マーク検出機能により検出したマークに対応する機種のコストを算出する算出機能と、
前記算出機能により算出したコストを示すコスト画像を作成するコスト画像作成機能と、
前記実画像にマークに対応する前記機器画像と前記コスト画像とを合成する画像合成機能と、
を実現させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−８４１５５（Ｐ２０１２−８４１５５Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−２２５２０７（Ｐ２０１１−２２５２０７）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]