画像処理装置、画像表示システム、および画像処理方法
【課題】被検出物を高精度に検出することができ、被検出物に合致した情報を自動的に出力可能な画像処理装置を提供する。
【解決手段】本発明の画像処理装置30は、画像データに基づいて表示画面Sに表示される表示画像を、被検出物200により遮られた状態でカメラ20により撮影した撮影画像に基づいて、表示画像内で被検出物200により遮られた被検出物領域を検出する被検出物検出部と、撮影画像から被検出物領域に含まれる被検出物撮影画像を抽出し、被検出物200の画像を示す形状データと形状データに対応する被検出物200の情報を示す情報データとが関連付けられて格納されているデータベースから形状データを取得して被検出物撮影画像と照合するとともに、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得して出力するアプリケーション処理部と、を含む。
【解決手段】本発明の画像処理装置30は、画像データに基づいて表示画面Sに表示される表示画像を、被検出物200により遮られた状態でカメラ20により撮影した撮影画像に基づいて、表示画像内で被検出物200により遮られた被検出物領域を検出する被検出物検出部と、撮影画像から被検出物領域に含まれる被検出物撮影画像を抽出し、被検出物200の画像を示す形状データと形状データに対応する被検出物200の情報を示す情報データとが関連付けられて格納されているデータベースから形状データを取得して被検出物撮影画像と照合するとともに、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得して出力するアプリケーション処理部と、を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像表示システム、および画像処理方法に関する。
【背景技術】
【0002】
従来から、画像表示装置の1つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、プロジェクターの用途が多様化しており、プロジェクターは、多様な画像表示システムに組み込まれて使用されている。
【0003】
例えば、特許文献1には、局所ユーザーが観察可能なターゲットに対して、注釈等を示す画像をプロジェクターにより投影する技術が提案されている。特許文献1では、ターゲットが配置される局所位置にターゲットを撮影するビデオカメラが設けられており、遠隔位置に居る遠隔ユーザーが、ビデオカメラによる撮影画像に基づいて、プロジェクターに注釈を表示させる旨の指令を与えるようになっている。
【0004】
特許文献1の技術によれば、ターゲットの注釈を示すことができ、局所ユーザーがターゲットに関する情報を得ることが可能になる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−033756号公報
【特許文献2】特許3834766号明細書
【特許文献3】米国特許出願公報第2009/0115721号明細書
【特許文献4】特開2008−152622号公報
【特許文献5】特開2009−64110号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1では、ターゲットに対して注釈を投影するか否かの判断や注釈の内容についての判断が遠隔ユーザーに委ねられているので、局所ユーザーが欲しい情報を得られないおそれや、遠隔ユーザーが多大な手間を要してしまうおそれがある。
【0007】
本発明は、前記事情に鑑み成されたものであって、ターゲット等の被検出物を高精度に検出することができ、被検出物に合致した情報を自動的に出力可能な画像処理装置および画像処理方法を提供することを目的の1つとする。また、被検出物に合致した画像を自動的に表示することが可能な画像表示システムを提供することを目的の1つとする。
【課題を解決するための手段】
【0008】
本発明では、前記目的を達成するために以下の手段を採用している。
本発明の画像処理装置は、表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理装置であって、前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理部と、を含むことを特徴とする。
【0009】
このようにすれば、アプリケーション処理部が、被検出物の画像を示す形状データを取得して被検出物撮影画像と照合するので、形状データが示す画像と被検出物撮影画像とが合致しているか否かを判定することができる。判定に基づいて、アプリケーション処理部が、被検出物撮影画像と合致する形状データに関連付けられた情報データを取得して出力するので、被検出物と合致する情報が自動的に出力される。
【0010】
本発明の画像処理装置は、代表的な態様として以下のような態様をとりえる。
【0011】
前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部を含み、前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出するとよい。
【0012】
このようにすれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画像を生成し、この推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮影画像との差分により、被検出物により遮られた被検出物領域を検出するようにしたので、専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出でき、被検出物の形状を正確に求めることが可能になる。
【0013】
前記モデル画像は、複数種類のグレイ画像を含み、前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成するとよい。
【0014】
このようにすれば、モデル画像として複数のグレイ画像を採用し、これらのグレイ画を撮影した撮影グレイ画像を用いて推定撮影画像を生成するようにしたので、上記の効果に加えて、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減できるようになる。
【0015】
前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、前記被検出物検出部が、前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出するとよい。
【0016】
このようにすれば、撮影画像内の表示画像を抽出し、表示画像の形状を推定撮影画像の形状に揃えてから被検出物領域を検出するようにしたので、上記の効果に加えて、簡素な画素間の比較処理で被検出物領域の検出が可能となる。
【0017】
前記推定撮影画像生成部が、前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、前記被検出物検出部が、前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出するとよい。
【0018】
このようにすれば、推定撮影画像の形状を撮影画像内の表示画像の形状に揃えてから、被検出物領域を検出するようにしたので、推定撮影画像の形状を補正する際のノイズによる誤差をなくし、より一層高精度の被検出物領域を検出できるようになる。
【0019】
前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えるとよい。
【0020】
このようにすれば、撮影画像内の初期化用画像の四隅の位置を基準に、推定撮影画像又は表示画像の形状を揃えるようにしたので、上記の効果に加えて、より一層被検出物領域の検出処理を簡素化できるようになる。
【0021】
前記画像表示装置は、画像投影装置であり、前記表示画像は、前記画像データに基づいて前記画像投影装置により投影された投影画像であるとよい。
【0022】
このようにすれば、被検出物が配置される領域、例えば机上等を表示画面にすることができ、画像表示システムの設置が容易になる。また、被検出物の表面に被検出物の情報を示す画像の一部または全部を投影することが可能になり、被検出物の部位と表示される情報とを対応させることが容易になる。
【0023】
前記アプリケーション処理部は、前記被検出物領域のサイズと前記形状データが示す前記被検出物のサイズとを揃えた状態で、前記被検出物撮影画像又は前記形状データが示す画像を所定の回転角だけ回転させて前記被検出物撮影画像と前記形状データが示す画像との相関関係を示す照合値を求める処理を前記所定の回転角を異ならせて複数回数行うとともに、複数回数の前記処理で最も高い相関関係を示す照合値と所定の閾値と比較して、前記被検出物撮影画像と前記形状データが示す画像との合致を判定するとよい。
【0024】
このようにすれば、被検出物領域のサイズと形状データが示す被検出物のサイズとを揃えて照合するので、サイズの違いによる誤判定をなくすことができる。また、被検出物撮影画像又は形状データが示す画像を所定の回転角だけ回転させて被検出物撮影画像と形状データが示す画像との相関関係を示す照合値を求め、最も高い相関関係を示す照合値と所定の閾値と比較して判定するので、表示画面に対する被検出物の姿勢の違いによる誤判定をなくすことができる。また、被検出物の表示画面に対する姿勢が検出されるので、情報に対応する被検出物の部位に応じた位置に、情報を示す画像を表示することも可能になる。
【0025】
本発明の表示ステムは上記の本発明に係る画像処理装置と、前記表示画面に表示された画像を撮影する前記カメラと、前記モデル画像又は前記表示画像の画像データに基づいて画像を表示し、前記画像処理装置から出力された前記情報データを示す画像を表示する画像表示装置と、を含むことを特徴とする。
このようにすれば、被検出物の情報を示す情報データが画像処理装置から自動的に出力され、画像表示装置が情報データを示す画像を表示するので、被検出物に合致した情報が自動的に表示される。
【0026】
本発明の画像処理方法は、表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理方法であって、前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、前記表示画像撮影ステップにおいて撮影された撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理ステップと、を含むことを特徴とする。
【0027】
このようにすれば、被検出物の画像を示す形状データを取得して被検出物撮影画像と照合するとともに、被検出物撮影画像と合致する形状データに関連付けられた情報データを取得して出力するので、被検出物と合致する情報が自動的に出力される。
【図面の簡単な説明】
【0028】
【図1】第1実施形態の画像表示システムの構成例を示す模式図である。
【図2】画像処理装置の構成例を示すブロック図である。
【図3】画像処理部の構成例を示すブロック図である。
【図4】画像処理装置の動作例を示すフロー図である。
【図5】ステップS10のキャリブレーション処理を示すフロー図である。
【図6】ステップS10のキャリブレーション処理の説明図である。
【図7】ステップS20の画像領域抽出初期化処理を示すフロー図である。
【図8】ステップS20の画像領域抽出初期化処理の説明図である。
【図9】ステップS28の画像領域抽出処理を示すフロー図である。
【図10】ステップS28の画像領域抽出処理の説明図である。
【図11】ステップS12の被検出物抽出処理を示すフロー図である。
【図12】ステップS60の推定撮影画像生成処理のフロー図である。
【図13】ステップS60の推定撮影画像生成処理の説明図である。
【図14】第1実施形態における画像処理部の動作説明図である。
【図15】ステップS14のアプリケーション処理を示すフロー図である。
【図16】データベースのデータ構造を示す概念図である。
【図17】第2実施形態における画像処理部の構成例を示すブロック図である。
【図18】第2実施形態におけるキャリブレーション処理を示すフロー図である。
【図19】第2実施形態における被検出物抽出処理を示すフロー図である。
【図20】被検出物抽出処理における推定撮影画像生成処理の動作説明図である。
【図21】第2実施形態における画像処理部の動作説明図である。
【図22】第3実施形態の画像表示システムの構成例を示す模式図である。
【発明を実施するための形態】
【0029】
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。
【0030】
[第1実施形態]
図1は、第1実施形態における画像表示システム10の構成例を示す模式図である。
画像表示システム10は、カメラ20、画像処理装置30、画像表示装置としてのプロジェクター(画像投影装置)100を備えている。画像処理装置30は、画像データを生成する機能を具備し、生成した画像データをプロジェクター100に供給する。プロジェクター100は、光源を有し、光源からの光を画像データに基づいて変調した光を投影面Sに投影する。投影された光により画像が表示される。プロジェクター100は、例えば光変調素子として透過型の液晶パネルを用いたライトバルブを備え、色成分毎に画像データに基づいて光源からの光をライトバルブにより変調し、変調後の光を合成して投影光学系等により投影面Sに投影するものである。カメラ20は、プロジェクター100の近傍に配置されている。カメラ20は、プロジェクター100による投影画像が投影面S上で占める領域を含む範囲を撮影可能に設定されている。
【0031】
画像表示システム10は、例えば以下のようにして使用される。画像表示システム10は、例えば被検出物200を載置可能な机等の上面を投影面Sとしている。被検出物200は、例えばプリンターやプロジェクター、AED(自動体外式除細動器)等の可搬物であり、ここでは説明の便宜上、プリンターであるとする。ユーザーが、プロジェクター100により画像を投影可能な範囲内の投影面Sに被検出物200を載置すると、画像表示システム10は、被検出物200を検出して、被検出物200に合致する情報を表示するようになっている。
【0032】
例えば、机の上面に被検出物200としてプリンターを載置すると、プリンターの機種や状態に応じた情報が表示される。配置されたプリンターが、例えば、トレイ状の紙供給口が展開された状態であると、紙供給口の説明などが、紙供給口に対応した位置に表示される。
【0033】
説明を示す画像は、説明対象と関連付けられた位置に、プロジェクター100により投影される。説明は、一部又は全部を説明対象と重ねて表示してもよいし、説明対象から離れた位置に説明対象との対応関係を示す矢印等の記号とともに表示してもよい。説明を示す画像は、静止画であってもよいし動画であってもよい。例えば、インクカートリッジが収容されている部分の説明を表示した後に、インクカートリッジを交換する様子を動画にて表示し、インクカートリッジの交換方法を示すようにしてもよい。
【0034】
また、持ち運び可能な画像表示システムを構成することにより、任意の位置に配置されている被検出物(例えば、持ち運びが困難な物)に対して画像表示システムを使用することもできる。例えば、画像処理装置30をプログラム等により実現し、ノートパソコン等の持ち運び可能な情報端末に実装しておく。また、携帯性を有するプロジェクターおよびカメラを画像処理装置30と有線又は無線で通信可能にしておく。ユーザーが、自動車等の被検出物にプロジェクターおよびカメラを向けると、自動車の説明が表示されるといった使用方法も可能である。例えば、カメラおよびプロジェクターが搭載された携帯電話等に画像処理装置として機能するプログラムを組み込み、画像表示システムを構成することも可能である。このようにすれば、携帯電話の通信機能を利用して、外部のデータベースと被検出物のデータをやりとりすることができる。
【0035】
次に、画像表示システム10により被検出物200の情報が自動的に表示される仕組みについて説明する。
プロジェクター100と投影面Sとの間に被検出物200が存在すると、プロジェクター100によりに表示された表示画像の一部が遮られる。被検出物200は、投影面Sとカメラ20との間に存在しており、投影面S上に投影された投影画像はカメラ20に対して遮られる。このように被検出物200によって投影画像が遮られると、画像処理装置30は、カメラ20で投影画像を撮影した撮影情報を用いて、表示画像内で被検出物200により遮られた被検出物領域を検出する処理を行う。
【0036】
具体的には、画像処理装置30は、投影面Sに投影される画像に対応した画像データから、カメラ20で撮影した状態を推定した推定撮影画像を生成する。画像処理装置30は、被検出物200により遮られた状態の投影画像をカメラ20で撮影した撮影画像と、推定撮影画像との差分に基づいて、被検出物領域を検出する。また、画像処理装置30は、画像処理装置30は、被検出物200により遮られた状態の投影画像をカメラ20で撮影した撮影画像から被検出物領域に含まれる被検出物200の撮影画像(被検出物撮影画像)を抽出する。
【0037】
画像処理装置30は、被検出物200の画像を示す形状データを取得して被検出物撮影画像と照合する。画像処理装置30は、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得する。情報データは、画像データとしてプロジェクター100に供給され、この画像データに基づいてプロジェクター100が説明等を示す画像を表示する。
【0038】
このような画像処理装置30の機能は、パーソナルコンピューターや専用のハードウェアにより実現される。カメラ20の機能は、可視光カメラで実現される。これにより、専用のカメラを設ける必要がなくなり、低コストで被検出物200により遮られた被検出物領域を検出できるようになる。また、推定撮影画像と撮影画像との差分により被検出物領域を検出するようにしたので、プロジェクター100によって投影面Sに投影される画像が、外光や投影面Sの状態等に起因したノイズによって色が一様でなくなる場合であっても、ノイズの影響を受けることなく被検出物領域を高精度に検出できるようになる。したがって、被検出物撮影画像を高精度に抽出することが可能になり、被検出物撮影画像と形状データとを高精度に照合することができる。よって、被検出物に合致した情報データを取得することができ、被検出物に合致した情報を自動的に表示することが可能になる。
【0039】
次に、画像処理装置30について詳しく説明する。図2は、画像処理装置30の構成例を示すブロック図である。画像処理装置30は、画像データ生成部40、画像処理部50、アプリケーション処理部90を有している。画像データ生成部40は、プロジェクター100により投影される画像に対応した画像データを生成する。画像処理部50は、画像データ生成部40によって生成された画像データを用いて、被検出物領域を検出する。画像処理部50には、カメラ20が投影面Sの投影画像を撮影した撮影情報が入力される。画像処理部50は、予めカメラ20からの撮影情報に基づき画像データから推定撮影画像を生成しており、被検出物200によって遮られた投影面Sへの投影画像を撮影した撮影画像を推定撮影画像と比較することで、被検出物領域を検出する。
【0040】
アプリケーション処理部90は、被検出物200によって遮られた投影面Sへの投影画像を撮影した撮影画像から被検出物領域の画像を抽出し、被検出物200が撮像された画像である被検出物撮影画像とする。アプリケーション処理部90は、被検出物200の画像を示す形状データをデータベースから取得して被検出物撮影画像と照合する。アプリケーション処理部90は、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得する。アプリケーション処理部90は、情報データを画像処理部50に出力する。画像処理部50は、アプリケーション処理部90から出力された情報データに基づいて画像データを生成し、この画像データをプロジェクター100に出力する。
【0041】
図3は、画像処理部50の構成例を示すブロック図である。画像処理部50は、撮影情報取得部52、画像領域抽出部54、キャリブレーション処理部56、撮影グレイ画像保存部58、被検出物領域抽出部(被検出物検出部)60、推定撮影画像保存部62、および画像データ出力部64を含んでいる。本実施形態の被検出物領域抽出部60は、推定撮影画像生成部70を含んでいる。
【0042】
撮影情報取得部52は、カメラ20により撮影された撮影画像に対応した撮影情報を取得する制御を行う。撮影情報取得部52は、カメラ20を直接制御してカメラ20に撮影させてもよいし、ユーザーにカメラ20による撮影を促す表示を行うようにしてもよい。
画像領域抽出部54は、撮影情報取得部52によって取得された撮影情報に対応した撮影画像内の投影画像を抽出する処理を行う。
【0043】
キャリブレーション処理部56は、推定撮影画像の生成に先立ち、キャリブレーション処理を行う。キャリブレーション処理では、プロジェクター100が投影面Sにモデル画像を表示させ、カメラ20は、被検出物200が配置されていない状態の投影面Sに表示されたモデル画像を撮影する。撮影画像に占めるモデル画像の色や位置を参照して、カメラ20で投影画像を撮影した画像を推定した推定撮影画像が生成される。
【0044】
第1実施形態では、モデル画像として複数種類のグレイ画像を採用している。複数種類のグレイ画像で画素値が互いに異なっており、グレイ画像ごとに画素値が略同一になっている。複数種類のグレイ画像を表示させて、キャリブレーション処理部56は、複数種類の撮影グレイ画像を取得する。
撮影グレイ画像保存部58は、キャリブレーション処理部56によって得られた撮影グレイ画像を保存する。推定撮影画像は、撮影グレイ画像の画素値を参照して生成される。
【0045】
被検出物領域抽出部60は、プロジェクター100の投影画像を被検出物200により遮られた状態でカメラ20により撮影された撮影画像と、撮影グレイ画像保存部58に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で被検出物200によって遮られた被検出物領域を抽出する。この撮影画像は、推定撮影画像を生成する際に参照した画像データに基づいてプロジェクター100により投影面Sに投影した画像を撮影して得られた画像である。このため、推定撮影画像生成部70は、プロジェクター100により投影面Sに投影される画像の画像データから、撮影グレイ画像保存部58に保存された撮影グレイ画像を参照して推定撮影画像を生成することで、カメラ20による撮影画像の各画素の色等を推定する。推定撮影画像生成部70によって生成された推定撮影画像は、推定撮影画像保存部62に保存される。
【0046】
画像データ出力部64は、画像データ生成部40からの画像データを、画像処理部50又はアプリケーション処理部90からの指示によりプロジェクター100に出力する制御を行う。
【0047】
このように、画像処理部50は、プロジェクター100に投影される画像の画像データから、カメラ20で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、被検出物領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ20を用いて得られた撮影画像との差分は、外光のムラ、投影面Sの「なみ」、「すじ」、汚れ等の状態、プロジェクター100の位置やズーム状態、カメラ20の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出できるようになる。以下、画像処理装置30の動作例について説明する。
【0048】
図4は、画像処理装置30の動作例を示すフロー図である。まず、ステップS10で、画像処理部50がキャリブレーション処理を行う。キャリブレーション処理では、上記の撮影グレイ画像を生成する際の初期化処理を行った後に、複数種類の撮影グレイ画像を生成する処理を行い、推定撮影画像を生成するための準備を行う。
【0049】
次のステップS12で、画像処理部50が、被検出物200に遮られた投影画像の撮影画像に含まれる被検出物領域の抽出処理を行う。この抽出処理では、ステップS10で生成された複数種類の撮影グレイ画像を用いて推定撮影画像が生成される。そして、プロジェクター100の投影画像を、被検出物200により遮られた状態でカメラ20により撮影した撮影画像と、撮影グレイ画像保存部58に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で被検出物200により遮られた領域が抽出される。
【0050】
次のステップS14で、アプリケーション処理部90は、ステップS12で抽出された被検出物領域に基づいてアプリケーション処理を行う。このアプリケーション処理では、ステップS12において抽出された被検出物200の領域に基づいて、画像データ生成部40により生成される画像データを変更させることにより投影画像を変化させる等の被検出物領域の検出結果に対応した処理が行われる。
【0051】
次のステップS16で、アプリケーション処理部90は、例えば処理を終了するか否かの入力をユーザーから受け付けて、処理の終了を判定する。処理を終了するとき(ステップS16:Y)には、一連の処理を終了する。処理を終了しないとき(ステップS16:N)には、ステップS12に戻り、ステップS12〜16の処理を繰り返し行う。
【0052】
[キャリブレーション処理の例]
図5は、ステップS10のキャリブレーション処理の一例を示すフロー図、図6は、ステップS10のキャリブレーション処理の動作説明図である。
【0053】
キャリブレーション処理が開始されると、ステップS20で画像処理装置30は、キャリブレーション処理部56において画像領域抽出初期化処理を行う。画像領域抽出初期化処理では、カメラ20による撮影画像に含まれるプロジェクター100による投影画像を抽出するのに先立ち、撮影画像にて投影画像が占める領域を特定するための処理を行う。具体的には、画像領域抽出初期化処理では、撮影画像における四角形状の投影画像の四隅の位置を抽出する。
【0054】
次のステップS22で、キャリブレーション処理部56は、グレイ画像の画素値に対応した変数iを例えば0にすることにより、変数iを初期化する。
次のステップS24で、キャリブレーション処理部56は、画素値g[i]のグレイ画像を投影面Sに投影させる。例えば、キャリブレーション処理部56は、画素値がg[i]のグレイ画像の画像データを画像データ生成部40に生成させる。画像データ出力部64は、画像データをプロジェクター100に出力し、プロジェクター100は、画素値g[i]のグレイ画像を投影面Sに投影する。
【0055】
次のステップS26で、キャリブレーション処理部56は、ステップS24で投影された画素値g[i]のグレイ画像をカメラ20に撮影させ、撮影画像の撮影情報を撮影情報取得部52から取得する。
次のステップS28で、画像領域抽出部54は、ステップS26で取得された撮影画像に占めるグレイ画像の領域を抽出する処理を行う。このステップS28では、ステップS20で得られた四隅の位置に基づいてグレイ画像の領域が抽出される。
【0056】
次のステップS30で、ステップS28で抽出されたグレイ画像の領域は、g[i]と関連付けられて、撮影グレイ画像として撮影グレイ画像保存部58に保存される。
次のステップS32で、キャリブレーション処理部56は、変数iに整数dを加算して変数iを更新する。
次のステップS34で、ステップS32で更新された変数iと、所与の最大値Nとが比較され、処理の繰り返し又は終了が決定される。更新後の変数iが最大値N以上のとき(ステップS34:N)には、一連の処理を終了する(エンド)。また、更新後の変数iが最大値Nより小さいとき(ステップS34:Y)には、ステップS24に戻り、ステップS24〜S32の処理が繰り返される。
【0057】
図6に示すように、キャリブレーション処理によって、複数種類の撮影グレイ画像PGP0〜PGP4が得られる。ここで、1画素がR成分、G成分およびB成分により構成され、各色成分の画素値が8ビットの画像データで表されるものとする。グレイ画像GP0は、例えば全画素の各色成分の画素値が0であり、以下同様に、グレイ画像GP1は画素値が64、グレイ画像GP4は画素値が255である。グレイ画像GP0に対して、撮影グレイ画像PGP0が撮影され、以下同様にグレイ画像GP1〜GP4に対して、撮影グレイ画像PGP1〜PGP4が撮影される。撮影グレイ画像は、推定撮影画像を生成する際に参照され、実際にプロジェクター100に投影される画像の画像データに対して、プロジェクター100の使用環境や投影面Sの状態を反映させた推定撮影画像が生成される。グレイ画像を用いているので、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に減らすことができる。
【0058】
[画像領域抽出初期化処理の例]
図7は、ステップS20の画像領域抽出初期化処理の一例を示すフロー図、図8はステップS20の画像領域抽出初期化処理の説明図である。図8には、投影面Sにおけるカメラ20の撮影範囲に対応する投影面IG1と、投影面IG1における投影画像IG2の領域の一例を模式的に図示している。
【0059】
キャリブレーション処理部56は、例えば画像データ生成部40により全画素が白色である白画像の画像データを生成させる。そして、ステップS40で画像データ出力部64は、白画像の画像データをプロジェクター100に出力して、プロジェクター100によって白画像を投影面Sに投影させる。
【0060】
次のステップS42で、キャリブレーション処理部56は、ステップS40で投影された白画像をカメラ20に撮影させる。撮影された白画像の撮影情報は、撮影情報取得部52により取得される。
【0061】
次のステップS44で、画像領域抽出部54は、撮影画像内の白画像の四隅の座標P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)を抽出する処理を行う。この処理では、例えば、投影画像IG2の外周を検出しつつ周方向D1を検出し、閾値以上の角度がある点を隅の座標として抽出する。
【0062】
次のステップS46で、画像領域抽出部54は、ステップS44で抽出された四隅の座標P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)を、撮影画像に占める投影画像の領域を特定するための情報として保存した後に、一連の処理を終了する(エンド)。
【0063】
なお、図7では白画像を投影させる例を説明したが、本発明はこれに限定されるものではない。カメラ20により投影画像を撮影したときに、撮影画像に占める投影画像の領域とそれ以外の領域との階調差が大きくなるように、投影する画像を設定すれば、撮影画像に占める投影画像の領域を精度良く抽出できる。
【0064】
[撮影画像抽出処理の例]
図9は、ステップS28の画像領域抽出処理の一例を示すフロー図、図10は、ステップS28の画像領域抽出処理の説明図である。図10には、投影面Sにおけるカメラ20の撮影範囲に対応する投影面IG1に投影された投影画像IG2の領域を抽出する方法を模式的に図示している。
【0065】
ステップS50で画像領域抽出部54は、ステップS44で抽出された投影画像の四隅の座標に基づいて、ステップS26で撮影された撮影画像に対して、撮影画像に占める撮影グレイ画像の領域を抽出する。例えば図10に示すように、画像領域抽出部54は、投影画像の四隅の座標P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)を用いて、撮影グレイ画像GY1を抽出する。
【0066】
次のステップS52で、画像領域抽出部54は、ステップS50で抽出された撮影グレイ画像GY1の形状を矩形に形状補正し、一連の処理を終了する(エンド)。これにより、例えば撮影グレイ画像GY1から、長方形状の撮影グレイ画像GY2が生成されると共に、撮影グレイ画像GY2の形状を推定撮影画像の形状に揃えることができる。
【0067】
[被検出物領域抽出処理の例]
図11は、ステップS12の被検出物抽出処理の一例を示すフロー図である。
被検出物抽出処理が開始されると、ステップS60で被検出物領域抽出部60は、推定撮影画像生成部70にて推定撮影画像生成処理を行う。推定撮影画像生成処理では、推定撮影画像生成部70が、ステップS30で保存された撮影グレイ画像の各画素値を参照して、オリジナルの画像データを変換することにより、推定撮影画像の画像データを生成する。被検出物領域抽出部60は、ステップS60において生成された推定撮影画像の画像データを、推定撮影画像保存部62に保存する
【0068】
次のステップS62で画像データ出力部64は、被検出物領域抽出部60からの指示により、推定撮影画像の画像データの生成に用いた前記オリジナルの画像データをプロジェクター100に出力する。プロジェクター100は、オリジナルの画像データに基づいて、投影面Sに画像を投影する。
【0069】
次のステップS64で被検出物領域抽出部60は、被検出物200が投影面Sに配置されている状態で、ステップS62で投影された画像をカメラ20に撮影させる。そして、被検出物領域抽出部60は、撮影情報取得部52を介して、この撮影画像の撮影情報を取得する。プロジェクター100による投影画像の一部は被検出物200により遮られており、ステップS64で取得された撮影画像は、投影画像において被検出物により遮られている領域である被検出物領域を含んでいる。
【0070】
次のステップS66で被検出物領域抽出部60は、ステップS64で得られた撮影画像において、ステップS64で投影された画像が占める領域を抽出する。ステップS66の処理では、上述の画像領域抽出処理と同様にして、ステップS44で抽出された四隅の座標位置に基づいて、ステップS64で撮影された撮影画像に占める投影画像の領域を抽出する。
【0071】
次のステップS68で被検出物領域抽出部60は、推定撮影画像保存部62に保存された推定撮影画像と、ステップS66で抽出された撮影画像内の投影画像とを比較して、画素ごとに、対応する画素値の差分値を計算し、差分画像を生成する。
【0072】
次のステップS70〜S74で被検出物領域抽出部60は、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき(ステップS70:Y)に、被検出物領域抽出部60は一連の処理を終了する(エンド)。画素の差分値の解析が終了していないとき(ステップS70:N)に、ステップS72で被検出物領域抽出部60は、差分値が閾値を超えているか否かを判別する。
【0073】
ステップS72において差分値が閾値を超えていると判定されたとき(ステップS72:Y)に、ステップS74で被検出物領域抽出部60は、判定対象の画素を被検出物200によって遮られた被検出物領域の画素として登録し、ステップS70に戻る。ステップS72において、差分値が閾値を超えていないと判別されたとき(ステップS72:N)、被検出物領域抽出部60は、ステップS70に戻って判定対象の画素を変更して処理を継続する。
【0074】
[推定撮影画像生成処理の例]
図12は、ステップS60の推定撮影画像生成処理の一例を示すフロー図、図13は、ステップS60の推定撮影画像生成処理の動作説明図である。図13には、1画素を構成する複数の色成分のうち1つの色成分について、推定撮影画像の生成処理を模式的に図示している。
【0075】
推定撮影画像生成部70は、プロジェクター100に出力される画像データに対応した画像の全画素について、色成分毎に撮影グレイ画像を参照することで推定撮影画像を生成する。まず、推定撮影画像生成部70は、全画素について終了していないとき(ステップS80:N)、R成分の全画素について処理が終了したか否かを判別する(ステップS82)。
【0076】
ステップS82において、R成分の全画素について処理が終了していないとき(ステップS82:N)、推定撮影画像生成部70は、g[k](kは整数)がR値(R成分の画素値)以下となる最大のkを探索する(ステップS84)。ステップS82において、R成分の全画素について処理が終了しているとき(ステップS82:Y)、ステップS88に進み、次の色成分であるG成分について推定撮影画像の生成処理を行う。
【0077】
ステップS84に続いて、推定撮影画像生成部70は、ステップS84で探索されたkに対応した撮影グレイ画像PGPkにおける当該画素位置のR成分の画素値と、撮影グレイ画像PGP(k+1)における当該画素位置のR成分の画素値とを用いた補間処理により、R値を求める(ステップS86)。なお、撮影グレイ画像保存部58に撮影グレイ画像PGP(k+1)が保存されていないときは、求めるR値としてkを採用することができる。
【0078】
次に、推定撮影画像生成部70は、G成分の全画素について処理が終了したか否かを判別する(ステップS88)。ステップS88において、G成分の全画素について処理が終了していないとき(ステップS88:N)、推定撮影画像生成部70は、g[k](kは整数)がG値(G成分の画素値)以下となる最大のkを探索する(ステップS90)。ステップS88において、G成分の全画素について処理が終了しているとき(ステップS88:Y)、ステップS94に進み、次の色成分であるB成分について推定撮影画像の生成処理を行う。
【0079】
ステップS90に続いて、推定撮影画像生成部70は、ステップS90で探索されたkに対応した撮影グレイ画像PGPkにおける当該画素位置のG成分の画素値と、撮影グレイ画像PGP(k+1)における当該画素位置のG成分の画素値とを用いた補間処理により、G値を求める(ステップS92)。なお、撮影グレイ画像保存部58に撮影グレイ画像PGP(k+1)が保存されていないときは、求めるG値としてkを採用することができる。
【0080】
推定撮影画像生成部70は、B成分の全画素について処理が終了したか否かを判別する(ステップS94)。ステップS94において、B成分の全画素について処理が終了していないとき(ステップS94:N)、推定撮影画像生成部70は、g[k](kは整数)がB値(B成分の画素値)以下となる最大のkを探索する(ステップS96)。ステップS94において、B成分の全画素について処理が終了しているとき(ステップS94:Y)、ステップS80に戻る。
【0081】
ステップS96に続いて、推定撮影画像生成部70は、ステップS96で探索されたkに対応した撮影グレイ画像PGPkにおける当該画素位置のB成分の画素値と、撮影グレイ画像PGP(k+1)における当該画素位置のB成分の画素値とを用いた補間処理により、B値を求める(ステップS98)。なお、撮影グレイ画像保存部58に撮影グレイ画像PGP(k+1)が保存されていないときは、求めるB値としてkを採用することができる。その後、推定撮影画像生成部70は、ステップS80に戻り、処理を継続する。
【0082】
以上の処理により推定撮影画像生成部70は、図13に示すように、画像データにより表される画像IMG0のとき、画素ごとに、画素位置Q1の画素値(R値、G値又はB値)に近い撮影グレイ画像PGPkを求める。そして、推定撮影画像生成部70は、画素位置Q1に対応する撮影グレイ画像の画素位置Q0における画素値を用いて、画素位置Q1に対応する推定撮影画像IMG1の画素位置Q2における画素値を求める。ここで、推定撮影画像生成部70は、撮影グレイ画像PGPkにおける画素位置Q0の画素値、又は撮影グレイ画像PGPk、PGP(k+1)における画素位置Q0の画素値を用いて、推定撮影画像IMG1の画素位置Q2における画素値を求める。推定撮影画像生成部70は、上記の処理を、全画素について色成分毎に繰り返すことで、推定撮影画像IMG1を生成する。画像処理部50において、図5〜図13を参照しつつ説明した処理を行うことで、次のように被検出物200により遮られた被検出物領域を抽出することができる。
【0083】
図14は、画像処理部50の動作説明図である。画像処理部50は、プロジェクター100により投影される画像IMG0に元になる画像データを用いて、推定撮影画像IMG1を生成する。また、画像処理部50は、投影面Sにおける投影領域AR(投影面IG1)に、画像データに基づいてプロジェクター100により画像(表示画像)IMG2を投影させる。画像処理部50は、投影領域AR内の画像IMG2を、投影面Sに被検出物200が配置されている状態で、カメラ20に撮影させ、その撮影情報を取得する。撮影された画像には、被検出物200が撮影された撮影画像MTが含まれている。
【0084】
画像処理部50は、取得した撮影情報に基づいて、撮影画像内の投影画像IMG3を抽出する。画像処理部50は、撮影画像内の投影画像IMG3と、推定撮影画像IMG1との差分を画素ごとに求め、その差分値に基づいて、投影画像IMG3で被検出物200に遮られている領域である被検出物領域MTRを抽出する。抽出された被検出物領域に基づいて、アプリケーション処理部90は、例えば次のようなアプリケーション処理を行う。
【0085】
[アプリケーション処理の例]
図15は、ステップS14のアプリケーション処理の一例を示すフロー図、図16はデータベースDBのデータ構造を示す概念図である。
アプリケーション処理部90は、ステップS12の被検出物領域抽出処理において抽出された被検出物領域に基づいてアプリケーション処理を行う。図15に示すように、アプリケーション処理部90は、被検出物200に遮られた状態で投影面Sに投影された画像をカメラ20により撮影した撮影画像から、ステップS74で登録された被検出物領域の画素と対応する画素を抽出し、抽出された画素の集合を被検出物撮影画像とする(ステップS100)。
【0086】
アプリケーション処理部90は、データベースDBに登録されている形状データを取得する(ステップS102)。データベースDBは、画像処理装置30又は画像表示システム10の一部として設けられていてもよいし、画像処理装置30あるいは画像表示システム10の外部に設けられていてもよい。
【0087】
図16に示すように、データベースDBには、被検出物の画像を示す形状データが、被検出物に関する情報を示す情報データと関連付けられて格納されている。例えば、被検出物がプリンターである場合に、プリンターを上面から見た画像を示す形状データが、プリンターの上面である旨の情報を示す情報データと関連づけられて格納されている。また、トレイ状の紙供給口が展開されている状態のプリンターを上面から見た画像を示すデータが、紙給紙口やインクカートリッジの位置情報を示す情報データと関連付けられて格納されている。
【0088】
アプリケーション処理部90は、データベースDBから取得した形状データが示す画像と、ステップS100で抽出された被検出物撮影画像と照合し、形状データが示す画像と被検出物撮影画像とが合致するか否かを判定する(ステップS104)。ここでは、被検出物撮影画像と形状データが示す画像との相関関係を示す照合値を算出し、照合値と所定の閾値とを比較して被検出物撮影画像と形状データが示す画像との合致を判定する。合致の判定には各種の判定手法を適宜選択して用いることができる。
【0089】
例えば、第1の判定方法では、画像間で互いに対応する画素位置での、画素の画素値の差分(絶対値)を画素ごとに求め、画像全体での差分の合計を照合値とし、照合値が所定の閾値以下であれば双方が合致していると判定する。
例えば、第2の判定方法では、画像間で画像相関法等により、複数の画素でパターンの照合を行うとともに、照合に用いる相関係数を照合値とし、相関係数が所定の閾値以上である場合に双方が合致していると判定してもよい。
第1の判定方法は、判定に要する計算負荷を減らす観点では、第2の判定方法よりも優れている。第2の判定方法は、画像間で互いに対応する画素位置がずれている場合でも精度よく合致を判定可能である点で、第1の判定方法よりも優れている。
【0090】
本実施形態では、合致の判定に先立ち、形状データが示す画像における被検出物のサイズと、被検出物撮影画像における被検出物のサイズとが揃うように、形状データが示す画像と被検出物撮影画像の少なくとも一方を拡大または縮小する。このようにすれば、形状データが示す画像と被検出物撮影画像とで被検出物のサイズが異なる場合に、実際の被検出物上の各点の画像上での位置が画像間でずれることによる誤判定を減らすことができる。形状データが示す画像と被検出物撮影画像とで被検出物のサイズを揃えるには、例えば、形状データが示す画像と被検出物撮影画像で、被検出物の輪郭をなす画素数、あるいは画像に含まれる画素数が揃うように、形状データが示す画像または被検出物撮影画像を変換する。形状データが示す画像については、輪郭をなす画素数や画像に含まれる画素数が予め分かっているので、輪郭をなす画素数や画像に含まれる画素数を形状データに関連付けてデータベースに格納しておくとよい。
【0091】
次に、サイズが揃えられた形状データが示す画像または被検出物撮影画像に対して、一方の画像を所定の回転角だけ回転させ、回転させた画像と他方の画像とで例えば上記の第1の方法により照合値を求める。そして、回転角を変更して照合値を求める処理を複数回数繰り返して複数の照合値を求める。そして、複数の照合値で最も相関関係が高い照合値(ここでは最小の照合値)が、所定の閾値以下である場合に状データが示す画像と被検出物撮影画像とが合致していると判定する。このようにすれば、投影面Sに配置されたときの被検出物200の姿勢の違いによる誤判定を減らすことができる。また、被検出物撮影画像をいずれの角度で回転させると形状データが示す画像と合致するか分かり、被検出物200に対して所望の位置に情報を示す画像を投影することができる。
【0092】
なお、形状データに基づいて、例えば上記の推定撮影画像生成処理と同様の処理により、投影面Sに被検出物を配置したときの撮影画像を推定した推定撮影画像を生成し、この推定撮影画像と被検出物撮影画像とを照合するようにしてもよい。このようにすれば、被検出物200に外光が入射することやカメラ20の使用状況等に起因する誤判定を減らすことができる。
【0093】
アプリケーション処理部90は、形状データが示す画像と被検出物撮影画像とが合致していると判定したとき(ステップS104:Y)に、この形状データと関連付けられている情報データをデータベースDBから取得する(ステップS106)。そして、アプリケーション処理部90は、取得した情報データを画像処理部50の画像データ出力部64に出力し(ステップS108)、一連の処理を終了する(エンド)。画像データ出力部64は、情報データに含まれる情報を示す画像の画像データを生成し、この画像データをプロジェクター100に出力する。
【0094】
アプリケーション処理部90は、形状データが示す画像と被検出物撮影画像とが合致しないと判定したとき(ステップS104:N)に一連の処理を終了する(エンド)。
以上のような処理を行うことにより、被検出物200に合致する情報データが画像処理装置30から自動的に出力される。
【0095】
なお、画像処理装置30は、中央演算処理装置(以下、CPUという)、読み出し専用メモリー(以下、ROMという)およびランダムアクセスメモリー(以下、RAMという)を有し、ROM又はRAMに記憶されたプログラムを読み込んだCPUが、このプログラムに対応した処理を実行することで、上記の第1実施形態における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ROM又はRAMに、上記の処理を行うプログラムが格納される。
【0096】
[第2実施形態]
第1実施形態では、カメラ20で投影面Sに投影された画像を撮影した撮影画像から投影画像を抽出していたが、これに限定されるものではく、撮影画像内の投影画像を抽出することなく、被検出物200の領域を抽出するようにしてもよい。第2実施形態における画像処理装置は、画像処理部の構成及び動作が第1実施形態実施における画像処理装置30と異なっている。
【0097】
図17は、第2実施形態における画像処理部の構成例を示すブロック図である。第2実施形態における画像処理部50aは、撮影情報取得部52、キャリブレーション処理部56a、撮影グレイ画像保存部58、被検出物領域抽出部(被検出物検出部)60a、推定撮影画像保存部62、画像データ出力部64を含む。被検出物領域抽出部60aは、推定撮影画像生成部70aを含む。画像処理部50aが画像処理部50と異なる点は、画像処理部50aが画像処理部50において画像領域抽出部54が省略された構成を有している点と、被検出物領域抽出部60a(推定撮影画像生成部70a)が、カメラ20による撮影した画像の形状の推定撮影画像を生成する点である。そのため、撮影情報取得部52が取得した撮影情報は、キャリブレーション処理部56a及び被検出物領域抽出部60aに供給される。
【0098】
キャリブレーション処理部56aは、第1実施形態と同様にキャリブレーション処理を行うが、キャリブレーション処理における推定撮影画像を生成する際に、被検出物200に遮られることなくカメラ20で撮影された撮影情報を撮影情報取得部52から取得する。すなわち、複数種類のグレイ画像を表示させて、キャリブレーション処理部56aは、撮影情報取得部52から複数種類の撮影グレイ画像の撮影情報を取得する。撮影グレイ画像保存部58は、キャリブレーション処理部56aによって得られた撮影グレイ画像を保存する。これらの撮影グレイ画像のいずれかの画素の画素値を参照して、カメラ20で撮影する表示画像を推定した推定撮影画像が生成されることになる。
【0099】
被検出物領域抽出部60aにおいても、プロジェクター100の投影画像を被検出物200により遮られた状態でカメラ20により撮影された撮影画像と、撮影グレイ画像保存部58に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内の被検出物200の領域を抽出する。この撮影画像は、撮影情報取得部52によって取得された撮影情報に対応した画像である。推定撮影画像生成部70aは、プロジェクター100により投影面Sに投影される画像の画像データから、撮影グレイ画像保存部58に保存された撮影グレイ画像を参照して推定撮影画像を生成する。推定撮影画像生成部70aによって生成された推定撮影画像は、推定撮影画像保存部62に保存される。
【0100】
画像処理部50aは、プロジェクター100に投影される画像の画像データから、実際にカメラ20で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、被検出物200の領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ20を用いて得られた撮影画像との差分は、外光のムラ、投影面Sの「なみ」、「すじ」、汚れ等の状態、プロジェクター100の位置やズーム状態、カメラ20の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物200の領域を高精度に検出できるようになる。この際、形状を補正することなく、差分画像に基づいて被検出物200の領域を抽出するため、形状補正の際のノイズによる誤差をなくし、第1実施形態より高精度に被検出物200の領域を検出できるようになる。
【0101】
このような画像処理部50aを有する第2実施形態における画像処理装置は、図1に示した画像表示システム10に適用することができる。この第2実施形態における画像処理装置の動作は、第1実施形態と同様であるが、ステップS10のキャリブレーション処理とステップS12の被検出物領域抽出処理の処理が異なる。
【0102】
[キャリブレーション処理の例]
図18は、第2実施形態におけるキャリブレーション処理の一例を示すフロー図である。キャリブレーション処理が開始されると、キャリブレーション処理部56aは、第1実施形態と同様の画像領域抽出初期化処理を行う(ステップS130)。具体的には、画像領域抽出初期化処理では、撮影画像内の四角形状の投影画像の四隅の座標位置を抽出する処理を行う。
【0103】
次に、キャリブレーション処理部56aは、グレイ画像の画素値に対応した変数iを「0」に設定して変数iを初期化する(ステップS132)。続いて、キャリブレーション処理部56aでは、例えば画像データ生成部40により各色成分の画素値がg[i]のグレイ画像の画像データを生成させ、画像データ出力部64が該画像データをプロジェクター100に出力して、画素値g[i]のグレイ画像を投影面Sに投影させる(ステップS134)。そして、キャリブレーション処理部56aは、ステップS134で投影面Sに投影された画像をカメラ20で撮影し、撮影情報取得部52においてカメラ20の撮影画像の撮影情報を取得する(ステップS136)。
【0104】
次に、キャリブレーション処理部56aは、ステップS136で取得された撮影グレイ画像を、該撮影グレイ画像に対応したg[i]と関連付けて撮影グレイ画像保存部58に保存する(ステップS138)。
【0105】
キャリブレーション処理部56aは、変数iに整数dを加算して変数iを更新し(ステップS140)、次のグレイ画像の撮影に備える。なお、ステップS140で更新された変数iが所与の最大値N以上のとき(ステップS142:N)、一連の処理を終了し(エンド)、更新後の変数iが最大値Nより小さいとき(ステップS142:Y)、ステップS134に戻る。
【0106】
[被検出物領域抽出処理の例]
図19は、第2実施形態における遮蔽物抽出処理の一例を示すフロー図、図20は遮蔽物抽出処理における推定撮影画像生成処理の動作説明図である。図20には、1画素を構成する複数の色成分のうち1つの色成分について、推定撮影画像の生成処理を模式的に図示している。
【0107】
第1実施形態と同様に遮蔽物抽出処理が開始されると、被検出物領域抽出部60aは、推定撮影画像生成部70aにおいて推定撮影画像生成処理を行う(ステップS150)。この推定撮影画像生成処理では、ステップS138において保存された撮影グレイ画像の各画素値を参照して、実際にプロジェクター100により投影させる画像データを変換して、推定掃影画像の画像データが生成される。被検出物領域抽出部60aは、ステップS150において生成された推定撮影画像を、推定撮影画像保存部62に保存する。
【0108】
ステップS150において、推定撮影画像生成部70aは、第1実施形態と同様に推定撮影画像を生成する。すなわち、推定撮影画像生成部70aは、まずステップS130で取得された撮影画像内の四隅の位置を用いて、オリジナルの画像データにより表される画像に対して公知の形状補正を行う。そして、この形状補正後の画像に対して、第1実施形態と同様にして推定撮影画像を生成する。より具体的には、図20に示すように、オリジナルの画像データにより表される画像が画像IMG0のとき、画素毎に、当該画素位置の画素値(R値、G値又はB値)に近い撮影グレイ画像を求める。そして、推定撮影画像生成部70aは、当該画素位置に対応する撮影グレイ画像の画素位置における画素値を用いて、当該画素位置に対応する推定撮影画像IMG1の画素位置における画素値を求める。ここで、推定撮影画像生成部70aは、撮影グレイ画像PGPkにおける画素位置の画素値、又は撮影グレイ画像PGPk、PGP(k+1)における画素位置の画素値を用いて、推定撮影画像IMG1の画素位置における画素値を求める。推定撮影画像生成部70aは、上記の処理を、全画素について、色成分毎に繰り返すことで、推定撮影画像IMG1を生成する。これにより、推定撮影画像生成部70aは、推定撮影画像の形状を撮影画像内の投影画像の形状に揃えることができる。
【0109】
次に、被検出物領域抽出部60aからの指示により、画像データ出力部64は、実際にプロジェクター100により投影させるオリジナルの画像データをプロジェクター100に出力し、該画像データに基づく画像をプロジェクター100により投影面Sに投影させる(ステップS152)。このオリジナルの画像データは、ステップS150の推定撮影画像生成処理において、推定撮影画像の生成元の画像データである。
【0110】
続いて、被検出物領域抽出部60aは、ステップS152において投影された画像をカメラ20で撮影させる制御を行い、撮影情報取得部52を介して、この撮影画像の撮影情報を取得する(ステップS154)。このとき取得された撮影画像は、プロジェクター100による投影画像が被検出物200によって遮られ、撮影画像内に被検出物領域が存在する。
【0111】
そして、被検出物領域抽出部60aは、推定撮影画像保存部62に保存された推定撮影画像と、ステップS154で取得された撮影画像とを参照して、画素毎に、対応する画素値の差分値を計算し、差分画像を生成する(ステップS156)。
【0112】
そして、被検出物領域抽出部60aは、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき(ステップS158:Y)、被検出物領域抽出部60aは、一連の処理を終了する(エンド)が、全画素の差分値の解析が終了していないとき(ステップS158:N)、被検出物領域抽出部60aは、差分値が閾値を超えているか否かを判別する(ステップS160)。
【0113】
ステップS160において、差分値が閾値を超えていると判別されたとき(ステップS160:Y)、被検出物領域抽出部60aは、当該画素を被検出物200によって遮られた被検出物領域の画素として登録し(ステップS162)、ステップS158に戻る。このステップS162では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素を所定の色に変換して可視化してもよい。一方、ステップS160において、差分値が閾値を超えていないと判別されたとき(ステップS160:N)、被検出物領域抽出部60aは、ステップS158に戻って処理を継続する。
【0114】
画像処理部50aにおいて、上記説明した処理を行うことで、第1実施形態と同様に被検出物200の領域を抽出することができる。なお、第2実施形態においても、画像処理装置は、CPU、ROM及びRAMを有し、ROM又はRAMに記憶されたプログラムを読み込んだCPUが該プログラムに対応した処理を実行することで、上記の第2実施形態における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ROM又はRAMに、上記の処理のフロー図に対応したプログラムが格納される。
【0115】
図21は、画像処理部50aの動作説明図である。画像処理部50aは、プロジェクター100により投影される画像IMG0の画像データを用いて、上記のように推定撮影画像IMG1を生成する。このとき、予め抽出された投影領域AR(投影面IG1)内の画像の四隅の位置を用いて形状補正後の推定撮影画像IMG1を生成する。
【0116】
その一方、画像処理部50は、プロジェクター100に、画像IMG0の画像データに基づいて投影面Sの投影領域AR(投影面IG1)に画像(表示画像)IMG2を投影させる。画像処理部50は、投影領域AR内の画像IMG2を、投影面Sに被検出物200が配置されている状態で、カメラ20に撮影させ、その撮影情報を取得する。撮影された画像には、被検出物200が撮影された撮影画像MTが含まれている。
【0117】
画像処理部50aは、撮影画像内の画像IMG2と推定撮影画像IMG1と一の差分を画素毎にとり、その差分値に基づいて、画像IMG2内の被検出物200の被検出物領域MTRを抽出する。
【0118】
[第3実施形態]
第1実施形態又は第2実施形態では、画像表示装置として画像投影装置であるプロジェクター100を採用し、プロジェクター100からの投影画像が被検出物200で遮られたときの投影画像内における被検出物200の領域を抽出する例について説明したが、本発明はこれに限定されるものではない。
【0119】
図22は、第3実施形態における画像表示システムの構成例を示す模式図である。第3実施形態における画像表示システム10aは、撮影装置としてのカメラ20と、画像処理装置30と、画面GMを有する画像表示装置300とを含む。画像表示装置300は、画像処理装置30からの画像データに基づいて画面GM(広義には表示画面)に画像を表示する。このような画像表示装置としては、液晶表示装置、有機EL表示装置やCRT等の表示装置を採用できる。また、画像処理装置30として、第1実施形態又は第2実施形態における画像処理装置を提供することができる。
【0120】
このとき、カメラ20と画面GMとの間に存在する被検出物200により表示画像が遮られると、画像処理装置30は、カメラ20で投影画像を撮影した撮影情報を用いて、表示画像内の被検出物200の領域を検出する処理を行う。より具体的には、画像処理装置30は、画面GMに表示される画像に対応した画像データから、カメラ20で撮影した状態を推定した推定撮影画像を生成し、該推定撮影画像と被検出物200により遮られた投影画像をカメラ20で撮影した撮影画像との差分に基づいて、被検出物200の領域を検出する。
【0121】
これにより、専用のカメラを設ける必要がなくなり、低コストで被検出物200の領域を検出できるようになる。また、画像表示装置300の画面GMに表示される画像が、外光や画面GMの状態等に起因したノイズによって色が一様でなくなる場合であっても、推定撮影画像を用いて撮影画像との差分により被検出物200の領域を検出するようにしたので、ノイズの影響を受けることなく被検出物200の領域を高精度の検出できるようになる。
【0122】
以上、本発明に係る画像処理装置、画像表示システム、及び画像処理方法等を上記のいずれかの実施形態形に基づいて説明したが、本発明は上記のいずれかの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0123】
(1)上記のいずれかの実施形態では、画像投影装置や画像表示装置を例に説明したが、本発明はこれに限定されるものではない。画像データに基づいて画像を表示する装置全般に本発明適用することができることは言うまでもない。
【0124】
(2)上記の第1実施形態又は第2実施形態では、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばデジタルミラーデバイス(DMD)、LCOS(Liqquid Crystal On Silicon)等を採用してもよい。また、上記の第1実施形態又は第2実施形態において、光変調素子として、いわゆる3板式の透過型の液晶パネルを用いたライトバルブ、単板式の液晶パネルや2板又は4板式以上の透過型の液晶パネルを用いたライトバルブを採用することができる。
【符号の説明】
【0125】
10、10a・・・画像表示システム、20・・・カメラ、30・・・画像処理装置、40・・・画像データ生成部、50、50a・・・画像処理部、52・・・撮影情報取得部、54・・・画像領域抽出部、56、56a・・・キャリブレーション処理部、58・・・撮影グレイ画像保存部、60、60a・・・被検出物領域抽出部(被検出体検出部)、62・・・推定撮影画像保存部、64・・・画像データ出力部、70、70a・・・推定撮影画像生成部、90・・・アプリケーション処理部、100・・・プロジェクター(画像表示装置、画像投影装置)、200・・・被検出物、300・・・画像表示装置、AR・・・投影領域、DB・・・データベース、GM・・・画面(表示画面)、GP0、GP1、GP4・・・グレイ画像、GY1、GY2・・・撮影グレイ画像、IG1・・・投影面、IG2・・・投影画像、IMG0・・・画像、IMG1・・・推定撮影画像、IMG2・・・表示画像、IMG3・・・投影画像、MT・・・撮影画像、MTR・・・被検出物領域、PGP・・・撮影グレイ画像、PGP0、PGP1、PGPk・・・撮影グレイ画像、Q0〜Q2・・・画素位置、S・・・投影面(表示画面)
【技術分野】
【0001】
本発明は、画像処理装置、画像表示システム、および画像処理方法に関する。
【背景技術】
【0002】
従来から、画像表示装置の1つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、プロジェクターの用途が多様化しており、プロジェクターは、多様な画像表示システムに組み込まれて使用されている。
【0003】
例えば、特許文献1には、局所ユーザーが観察可能なターゲットに対して、注釈等を示す画像をプロジェクターにより投影する技術が提案されている。特許文献1では、ターゲットが配置される局所位置にターゲットを撮影するビデオカメラが設けられており、遠隔位置に居る遠隔ユーザーが、ビデオカメラによる撮影画像に基づいて、プロジェクターに注釈を表示させる旨の指令を与えるようになっている。
【0004】
特許文献1の技術によれば、ターゲットの注釈を示すことができ、局所ユーザーがターゲットに関する情報を得ることが可能になる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−033756号公報
【特許文献2】特許3834766号明細書
【特許文献3】米国特許出願公報第2009/0115721号明細書
【特許文献4】特開2008−152622号公報
【特許文献5】特開2009−64110号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1では、ターゲットに対して注釈を投影するか否かの判断や注釈の内容についての判断が遠隔ユーザーに委ねられているので、局所ユーザーが欲しい情報を得られないおそれや、遠隔ユーザーが多大な手間を要してしまうおそれがある。
【0007】
本発明は、前記事情に鑑み成されたものであって、ターゲット等の被検出物を高精度に検出することができ、被検出物に合致した情報を自動的に出力可能な画像処理装置および画像処理方法を提供することを目的の1つとする。また、被検出物に合致した画像を自動的に表示することが可能な画像表示システムを提供することを目的の1つとする。
【課題を解決するための手段】
【0008】
本発明では、前記目的を達成するために以下の手段を採用している。
本発明の画像処理装置は、表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理装置であって、前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理部と、を含むことを特徴とする。
【0009】
このようにすれば、アプリケーション処理部が、被検出物の画像を示す形状データを取得して被検出物撮影画像と照合するので、形状データが示す画像と被検出物撮影画像とが合致しているか否かを判定することができる。判定に基づいて、アプリケーション処理部が、被検出物撮影画像と合致する形状データに関連付けられた情報データを取得して出力するので、被検出物と合致する情報が自動的に出力される。
【0010】
本発明の画像処理装置は、代表的な態様として以下のような態様をとりえる。
【0011】
前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部を含み、前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出するとよい。
【0012】
このようにすれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画像を生成し、この推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮影画像との差分により、被検出物により遮られた被検出物領域を検出するようにしたので、専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出でき、被検出物の形状を正確に求めることが可能になる。
【0013】
前記モデル画像は、複数種類のグレイ画像を含み、前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成するとよい。
【0014】
このようにすれば、モデル画像として複数のグレイ画像を採用し、これらのグレイ画を撮影した撮影グレイ画像を用いて推定撮影画像を生成するようにしたので、上記の効果に加えて、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減できるようになる。
【0015】
前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、前記被検出物検出部が、前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出するとよい。
【0016】
このようにすれば、撮影画像内の表示画像を抽出し、表示画像の形状を推定撮影画像の形状に揃えてから被検出物領域を検出するようにしたので、上記の効果に加えて、簡素な画素間の比較処理で被検出物領域の検出が可能となる。
【0017】
前記推定撮影画像生成部が、前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、前記被検出物検出部が、前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出するとよい。
【0018】
このようにすれば、推定撮影画像の形状を撮影画像内の表示画像の形状に揃えてから、被検出物領域を検出するようにしたので、推定撮影画像の形状を補正する際のノイズによる誤差をなくし、より一層高精度の被検出物領域を検出できるようになる。
【0019】
前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えるとよい。
【0020】
このようにすれば、撮影画像内の初期化用画像の四隅の位置を基準に、推定撮影画像又は表示画像の形状を揃えるようにしたので、上記の効果に加えて、より一層被検出物領域の検出処理を簡素化できるようになる。
【0021】
前記画像表示装置は、画像投影装置であり、前記表示画像は、前記画像データに基づいて前記画像投影装置により投影された投影画像であるとよい。
【0022】
このようにすれば、被検出物が配置される領域、例えば机上等を表示画面にすることができ、画像表示システムの設置が容易になる。また、被検出物の表面に被検出物の情報を示す画像の一部または全部を投影することが可能になり、被検出物の部位と表示される情報とを対応させることが容易になる。
【0023】
前記アプリケーション処理部は、前記被検出物領域のサイズと前記形状データが示す前記被検出物のサイズとを揃えた状態で、前記被検出物撮影画像又は前記形状データが示す画像を所定の回転角だけ回転させて前記被検出物撮影画像と前記形状データが示す画像との相関関係を示す照合値を求める処理を前記所定の回転角を異ならせて複数回数行うとともに、複数回数の前記処理で最も高い相関関係を示す照合値と所定の閾値と比較して、前記被検出物撮影画像と前記形状データが示す画像との合致を判定するとよい。
【0024】
このようにすれば、被検出物領域のサイズと形状データが示す被検出物のサイズとを揃えて照合するので、サイズの違いによる誤判定をなくすことができる。また、被検出物撮影画像又は形状データが示す画像を所定の回転角だけ回転させて被検出物撮影画像と形状データが示す画像との相関関係を示す照合値を求め、最も高い相関関係を示す照合値と所定の閾値と比較して判定するので、表示画面に対する被検出物の姿勢の違いによる誤判定をなくすことができる。また、被検出物の表示画面に対する姿勢が検出されるので、情報に対応する被検出物の部位に応じた位置に、情報を示す画像を表示することも可能になる。
【0025】
本発明の表示ステムは上記の本発明に係る画像処理装置と、前記表示画面に表示された画像を撮影する前記カメラと、前記モデル画像又は前記表示画像の画像データに基づいて画像を表示し、前記画像処理装置から出力された前記情報データを示す画像を表示する画像表示装置と、を含むことを特徴とする。
このようにすれば、被検出物の情報を示す情報データが画像処理装置から自動的に出力され、画像表示装置が情報データを示す画像を表示するので、被検出物に合致した情報が自動的に表示される。
【0026】
本発明の画像処理方法は、表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理方法であって、前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、前記表示画像撮影ステップにおいて撮影された撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理ステップと、を含むことを特徴とする。
【0027】
このようにすれば、被検出物の画像を示す形状データを取得して被検出物撮影画像と照合するとともに、被検出物撮影画像と合致する形状データに関連付けられた情報データを取得して出力するので、被検出物と合致する情報が自動的に出力される。
【図面の簡単な説明】
【0028】
【図1】第1実施形態の画像表示システムの構成例を示す模式図である。
【図2】画像処理装置の構成例を示すブロック図である。
【図3】画像処理部の構成例を示すブロック図である。
【図4】画像処理装置の動作例を示すフロー図である。
【図5】ステップS10のキャリブレーション処理を示すフロー図である。
【図6】ステップS10のキャリブレーション処理の説明図である。
【図7】ステップS20の画像領域抽出初期化処理を示すフロー図である。
【図8】ステップS20の画像領域抽出初期化処理の説明図である。
【図9】ステップS28の画像領域抽出処理を示すフロー図である。
【図10】ステップS28の画像領域抽出処理の説明図である。
【図11】ステップS12の被検出物抽出処理を示すフロー図である。
【図12】ステップS60の推定撮影画像生成処理のフロー図である。
【図13】ステップS60の推定撮影画像生成処理の説明図である。
【図14】第1実施形態における画像処理部の動作説明図である。
【図15】ステップS14のアプリケーション処理を示すフロー図である。
【図16】データベースのデータ構造を示す概念図である。
【図17】第2実施形態における画像処理部の構成例を示すブロック図である。
【図18】第2実施形態におけるキャリブレーション処理を示すフロー図である。
【図19】第2実施形態における被検出物抽出処理を示すフロー図である。
【図20】被検出物抽出処理における推定撮影画像生成処理の動作説明図である。
【図21】第2実施形態における画像処理部の動作説明図である。
【図22】第3実施形態の画像表示システムの構成例を示す模式図である。
【発明を実施するための形態】
【0029】
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。
【0030】
[第1実施形態]
図1は、第1実施形態における画像表示システム10の構成例を示す模式図である。
画像表示システム10は、カメラ20、画像処理装置30、画像表示装置としてのプロジェクター(画像投影装置)100を備えている。画像処理装置30は、画像データを生成する機能を具備し、生成した画像データをプロジェクター100に供給する。プロジェクター100は、光源を有し、光源からの光を画像データに基づいて変調した光を投影面Sに投影する。投影された光により画像が表示される。プロジェクター100は、例えば光変調素子として透過型の液晶パネルを用いたライトバルブを備え、色成分毎に画像データに基づいて光源からの光をライトバルブにより変調し、変調後の光を合成して投影光学系等により投影面Sに投影するものである。カメラ20は、プロジェクター100の近傍に配置されている。カメラ20は、プロジェクター100による投影画像が投影面S上で占める領域を含む範囲を撮影可能に設定されている。
【0031】
画像表示システム10は、例えば以下のようにして使用される。画像表示システム10は、例えば被検出物200を載置可能な机等の上面を投影面Sとしている。被検出物200は、例えばプリンターやプロジェクター、AED(自動体外式除細動器)等の可搬物であり、ここでは説明の便宜上、プリンターであるとする。ユーザーが、プロジェクター100により画像を投影可能な範囲内の投影面Sに被検出物200を載置すると、画像表示システム10は、被検出物200を検出して、被検出物200に合致する情報を表示するようになっている。
【0032】
例えば、机の上面に被検出物200としてプリンターを載置すると、プリンターの機種や状態に応じた情報が表示される。配置されたプリンターが、例えば、トレイ状の紙供給口が展開された状態であると、紙供給口の説明などが、紙供給口に対応した位置に表示される。
【0033】
説明を示す画像は、説明対象と関連付けられた位置に、プロジェクター100により投影される。説明は、一部又は全部を説明対象と重ねて表示してもよいし、説明対象から離れた位置に説明対象との対応関係を示す矢印等の記号とともに表示してもよい。説明を示す画像は、静止画であってもよいし動画であってもよい。例えば、インクカートリッジが収容されている部分の説明を表示した後に、インクカートリッジを交換する様子を動画にて表示し、インクカートリッジの交換方法を示すようにしてもよい。
【0034】
また、持ち運び可能な画像表示システムを構成することにより、任意の位置に配置されている被検出物(例えば、持ち運びが困難な物)に対して画像表示システムを使用することもできる。例えば、画像処理装置30をプログラム等により実現し、ノートパソコン等の持ち運び可能な情報端末に実装しておく。また、携帯性を有するプロジェクターおよびカメラを画像処理装置30と有線又は無線で通信可能にしておく。ユーザーが、自動車等の被検出物にプロジェクターおよびカメラを向けると、自動車の説明が表示されるといった使用方法も可能である。例えば、カメラおよびプロジェクターが搭載された携帯電話等に画像処理装置として機能するプログラムを組み込み、画像表示システムを構成することも可能である。このようにすれば、携帯電話の通信機能を利用して、外部のデータベースと被検出物のデータをやりとりすることができる。
【0035】
次に、画像表示システム10により被検出物200の情報が自動的に表示される仕組みについて説明する。
プロジェクター100と投影面Sとの間に被検出物200が存在すると、プロジェクター100によりに表示された表示画像の一部が遮られる。被検出物200は、投影面Sとカメラ20との間に存在しており、投影面S上に投影された投影画像はカメラ20に対して遮られる。このように被検出物200によって投影画像が遮られると、画像処理装置30は、カメラ20で投影画像を撮影した撮影情報を用いて、表示画像内で被検出物200により遮られた被検出物領域を検出する処理を行う。
【0036】
具体的には、画像処理装置30は、投影面Sに投影される画像に対応した画像データから、カメラ20で撮影した状態を推定した推定撮影画像を生成する。画像処理装置30は、被検出物200により遮られた状態の投影画像をカメラ20で撮影した撮影画像と、推定撮影画像との差分に基づいて、被検出物領域を検出する。また、画像処理装置30は、画像処理装置30は、被検出物200により遮られた状態の投影画像をカメラ20で撮影した撮影画像から被検出物領域に含まれる被検出物200の撮影画像(被検出物撮影画像)を抽出する。
【0037】
画像処理装置30は、被検出物200の画像を示す形状データを取得して被検出物撮影画像と照合する。画像処理装置30は、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得する。情報データは、画像データとしてプロジェクター100に供給され、この画像データに基づいてプロジェクター100が説明等を示す画像を表示する。
【0038】
このような画像処理装置30の機能は、パーソナルコンピューターや専用のハードウェアにより実現される。カメラ20の機能は、可視光カメラで実現される。これにより、専用のカメラを設ける必要がなくなり、低コストで被検出物200により遮られた被検出物領域を検出できるようになる。また、推定撮影画像と撮影画像との差分により被検出物領域を検出するようにしたので、プロジェクター100によって投影面Sに投影される画像が、外光や投影面Sの状態等に起因したノイズによって色が一様でなくなる場合であっても、ノイズの影響を受けることなく被検出物領域を高精度に検出できるようになる。したがって、被検出物撮影画像を高精度に抽出することが可能になり、被検出物撮影画像と形状データとを高精度に照合することができる。よって、被検出物に合致した情報データを取得することができ、被検出物に合致した情報を自動的に表示することが可能になる。
【0039】
次に、画像処理装置30について詳しく説明する。図2は、画像処理装置30の構成例を示すブロック図である。画像処理装置30は、画像データ生成部40、画像処理部50、アプリケーション処理部90を有している。画像データ生成部40は、プロジェクター100により投影される画像に対応した画像データを生成する。画像処理部50は、画像データ生成部40によって生成された画像データを用いて、被検出物領域を検出する。画像処理部50には、カメラ20が投影面Sの投影画像を撮影した撮影情報が入力される。画像処理部50は、予めカメラ20からの撮影情報に基づき画像データから推定撮影画像を生成しており、被検出物200によって遮られた投影面Sへの投影画像を撮影した撮影画像を推定撮影画像と比較することで、被検出物領域を検出する。
【0040】
アプリケーション処理部90は、被検出物200によって遮られた投影面Sへの投影画像を撮影した撮影画像から被検出物領域の画像を抽出し、被検出物200が撮像された画像である被検出物撮影画像とする。アプリケーション処理部90は、被検出物200の画像を示す形状データをデータベースから取得して被検出物撮影画像と照合する。アプリケーション処理部90は、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得する。アプリケーション処理部90は、情報データを画像処理部50に出力する。画像処理部50は、アプリケーション処理部90から出力された情報データに基づいて画像データを生成し、この画像データをプロジェクター100に出力する。
【0041】
図3は、画像処理部50の構成例を示すブロック図である。画像処理部50は、撮影情報取得部52、画像領域抽出部54、キャリブレーション処理部56、撮影グレイ画像保存部58、被検出物領域抽出部(被検出物検出部)60、推定撮影画像保存部62、および画像データ出力部64を含んでいる。本実施形態の被検出物領域抽出部60は、推定撮影画像生成部70を含んでいる。
【0042】
撮影情報取得部52は、カメラ20により撮影された撮影画像に対応した撮影情報を取得する制御を行う。撮影情報取得部52は、カメラ20を直接制御してカメラ20に撮影させてもよいし、ユーザーにカメラ20による撮影を促す表示を行うようにしてもよい。
画像領域抽出部54は、撮影情報取得部52によって取得された撮影情報に対応した撮影画像内の投影画像を抽出する処理を行う。
【0043】
キャリブレーション処理部56は、推定撮影画像の生成に先立ち、キャリブレーション処理を行う。キャリブレーション処理では、プロジェクター100が投影面Sにモデル画像を表示させ、カメラ20は、被検出物200が配置されていない状態の投影面Sに表示されたモデル画像を撮影する。撮影画像に占めるモデル画像の色や位置を参照して、カメラ20で投影画像を撮影した画像を推定した推定撮影画像が生成される。
【0044】
第1実施形態では、モデル画像として複数種類のグレイ画像を採用している。複数種類のグレイ画像で画素値が互いに異なっており、グレイ画像ごとに画素値が略同一になっている。複数種類のグレイ画像を表示させて、キャリブレーション処理部56は、複数種類の撮影グレイ画像を取得する。
撮影グレイ画像保存部58は、キャリブレーション処理部56によって得られた撮影グレイ画像を保存する。推定撮影画像は、撮影グレイ画像の画素値を参照して生成される。
【0045】
被検出物領域抽出部60は、プロジェクター100の投影画像を被検出物200により遮られた状態でカメラ20により撮影された撮影画像と、撮影グレイ画像保存部58に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で被検出物200によって遮られた被検出物領域を抽出する。この撮影画像は、推定撮影画像を生成する際に参照した画像データに基づいてプロジェクター100により投影面Sに投影した画像を撮影して得られた画像である。このため、推定撮影画像生成部70は、プロジェクター100により投影面Sに投影される画像の画像データから、撮影グレイ画像保存部58に保存された撮影グレイ画像を参照して推定撮影画像を生成することで、カメラ20による撮影画像の各画素の色等を推定する。推定撮影画像生成部70によって生成された推定撮影画像は、推定撮影画像保存部62に保存される。
【0046】
画像データ出力部64は、画像データ生成部40からの画像データを、画像処理部50又はアプリケーション処理部90からの指示によりプロジェクター100に出力する制御を行う。
【0047】
このように、画像処理部50は、プロジェクター100に投影される画像の画像データから、カメラ20で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、被検出物領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ20を用いて得られた撮影画像との差分は、外光のムラ、投影面Sの「なみ」、「すじ」、汚れ等の状態、プロジェクター100の位置やズーム状態、カメラ20の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出できるようになる。以下、画像処理装置30の動作例について説明する。
【0048】
図4は、画像処理装置30の動作例を示すフロー図である。まず、ステップS10で、画像処理部50がキャリブレーション処理を行う。キャリブレーション処理では、上記の撮影グレイ画像を生成する際の初期化処理を行った後に、複数種類の撮影グレイ画像を生成する処理を行い、推定撮影画像を生成するための準備を行う。
【0049】
次のステップS12で、画像処理部50が、被検出物200に遮られた投影画像の撮影画像に含まれる被検出物領域の抽出処理を行う。この抽出処理では、ステップS10で生成された複数種類の撮影グレイ画像を用いて推定撮影画像が生成される。そして、プロジェクター100の投影画像を、被検出物200により遮られた状態でカメラ20により撮影した撮影画像と、撮影グレイ画像保存部58に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で被検出物200により遮られた領域が抽出される。
【0050】
次のステップS14で、アプリケーション処理部90は、ステップS12で抽出された被検出物領域に基づいてアプリケーション処理を行う。このアプリケーション処理では、ステップS12において抽出された被検出物200の領域に基づいて、画像データ生成部40により生成される画像データを変更させることにより投影画像を変化させる等の被検出物領域の検出結果に対応した処理が行われる。
【0051】
次のステップS16で、アプリケーション処理部90は、例えば処理を終了するか否かの入力をユーザーから受け付けて、処理の終了を判定する。処理を終了するとき(ステップS16:Y)には、一連の処理を終了する。処理を終了しないとき(ステップS16:N)には、ステップS12に戻り、ステップS12〜16の処理を繰り返し行う。
【0052】
[キャリブレーション処理の例]
図5は、ステップS10のキャリブレーション処理の一例を示すフロー図、図6は、ステップS10のキャリブレーション処理の動作説明図である。
【0053】
キャリブレーション処理が開始されると、ステップS20で画像処理装置30は、キャリブレーション処理部56において画像領域抽出初期化処理を行う。画像領域抽出初期化処理では、カメラ20による撮影画像に含まれるプロジェクター100による投影画像を抽出するのに先立ち、撮影画像にて投影画像が占める領域を特定するための処理を行う。具体的には、画像領域抽出初期化処理では、撮影画像における四角形状の投影画像の四隅の位置を抽出する。
【0054】
次のステップS22で、キャリブレーション処理部56は、グレイ画像の画素値に対応した変数iを例えば0にすることにより、変数iを初期化する。
次のステップS24で、キャリブレーション処理部56は、画素値g[i]のグレイ画像を投影面Sに投影させる。例えば、キャリブレーション処理部56は、画素値がg[i]のグレイ画像の画像データを画像データ生成部40に生成させる。画像データ出力部64は、画像データをプロジェクター100に出力し、プロジェクター100は、画素値g[i]のグレイ画像を投影面Sに投影する。
【0055】
次のステップS26で、キャリブレーション処理部56は、ステップS24で投影された画素値g[i]のグレイ画像をカメラ20に撮影させ、撮影画像の撮影情報を撮影情報取得部52から取得する。
次のステップS28で、画像領域抽出部54は、ステップS26で取得された撮影画像に占めるグレイ画像の領域を抽出する処理を行う。このステップS28では、ステップS20で得られた四隅の位置に基づいてグレイ画像の領域が抽出される。
【0056】
次のステップS30で、ステップS28で抽出されたグレイ画像の領域は、g[i]と関連付けられて、撮影グレイ画像として撮影グレイ画像保存部58に保存される。
次のステップS32で、キャリブレーション処理部56は、変数iに整数dを加算して変数iを更新する。
次のステップS34で、ステップS32で更新された変数iと、所与の最大値Nとが比較され、処理の繰り返し又は終了が決定される。更新後の変数iが最大値N以上のとき(ステップS34:N)には、一連の処理を終了する(エンド)。また、更新後の変数iが最大値Nより小さいとき(ステップS34:Y)には、ステップS24に戻り、ステップS24〜S32の処理が繰り返される。
【0057】
図6に示すように、キャリブレーション処理によって、複数種類の撮影グレイ画像PGP0〜PGP4が得られる。ここで、1画素がR成分、G成分およびB成分により構成され、各色成分の画素値が8ビットの画像データで表されるものとする。グレイ画像GP0は、例えば全画素の各色成分の画素値が0であり、以下同様に、グレイ画像GP1は画素値が64、グレイ画像GP4は画素値が255である。グレイ画像GP0に対して、撮影グレイ画像PGP0が撮影され、以下同様にグレイ画像GP1〜GP4に対して、撮影グレイ画像PGP1〜PGP4が撮影される。撮影グレイ画像は、推定撮影画像を生成する際に参照され、実際にプロジェクター100に投影される画像の画像データに対して、プロジェクター100の使用環境や投影面Sの状態を反映させた推定撮影画像が生成される。グレイ画像を用いているので、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に減らすことができる。
【0058】
[画像領域抽出初期化処理の例]
図7は、ステップS20の画像領域抽出初期化処理の一例を示すフロー図、図8はステップS20の画像領域抽出初期化処理の説明図である。図8には、投影面Sにおけるカメラ20の撮影範囲に対応する投影面IG1と、投影面IG1における投影画像IG2の領域の一例を模式的に図示している。
【0059】
キャリブレーション処理部56は、例えば画像データ生成部40により全画素が白色である白画像の画像データを生成させる。そして、ステップS40で画像データ出力部64は、白画像の画像データをプロジェクター100に出力して、プロジェクター100によって白画像を投影面Sに投影させる。
【0060】
次のステップS42で、キャリブレーション処理部56は、ステップS40で投影された白画像をカメラ20に撮影させる。撮影された白画像の撮影情報は、撮影情報取得部52により取得される。
【0061】
次のステップS44で、画像領域抽出部54は、撮影画像内の白画像の四隅の座標P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)を抽出する処理を行う。この処理では、例えば、投影画像IG2の外周を検出しつつ周方向D1を検出し、閾値以上の角度がある点を隅の座標として抽出する。
【0062】
次のステップS46で、画像領域抽出部54は、ステップS44で抽出された四隅の座標P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)を、撮影画像に占める投影画像の領域を特定するための情報として保存した後に、一連の処理を終了する(エンド)。
【0063】
なお、図7では白画像を投影させる例を説明したが、本発明はこれに限定されるものではない。カメラ20により投影画像を撮影したときに、撮影画像に占める投影画像の領域とそれ以外の領域との階調差が大きくなるように、投影する画像を設定すれば、撮影画像に占める投影画像の領域を精度良く抽出できる。
【0064】
[撮影画像抽出処理の例]
図9は、ステップS28の画像領域抽出処理の一例を示すフロー図、図10は、ステップS28の画像領域抽出処理の説明図である。図10には、投影面Sにおけるカメラ20の撮影範囲に対応する投影面IG1に投影された投影画像IG2の領域を抽出する方法を模式的に図示している。
【0065】
ステップS50で画像領域抽出部54は、ステップS44で抽出された投影画像の四隅の座標に基づいて、ステップS26で撮影された撮影画像に対して、撮影画像に占める撮影グレイ画像の領域を抽出する。例えば図10に示すように、画像領域抽出部54は、投影画像の四隅の座標P1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)を用いて、撮影グレイ画像GY1を抽出する。
【0066】
次のステップS52で、画像領域抽出部54は、ステップS50で抽出された撮影グレイ画像GY1の形状を矩形に形状補正し、一連の処理を終了する(エンド)。これにより、例えば撮影グレイ画像GY1から、長方形状の撮影グレイ画像GY2が生成されると共に、撮影グレイ画像GY2の形状を推定撮影画像の形状に揃えることができる。
【0067】
[被検出物領域抽出処理の例]
図11は、ステップS12の被検出物抽出処理の一例を示すフロー図である。
被検出物抽出処理が開始されると、ステップS60で被検出物領域抽出部60は、推定撮影画像生成部70にて推定撮影画像生成処理を行う。推定撮影画像生成処理では、推定撮影画像生成部70が、ステップS30で保存された撮影グレイ画像の各画素値を参照して、オリジナルの画像データを変換することにより、推定撮影画像の画像データを生成する。被検出物領域抽出部60は、ステップS60において生成された推定撮影画像の画像データを、推定撮影画像保存部62に保存する
【0068】
次のステップS62で画像データ出力部64は、被検出物領域抽出部60からの指示により、推定撮影画像の画像データの生成に用いた前記オリジナルの画像データをプロジェクター100に出力する。プロジェクター100は、オリジナルの画像データに基づいて、投影面Sに画像を投影する。
【0069】
次のステップS64で被検出物領域抽出部60は、被検出物200が投影面Sに配置されている状態で、ステップS62で投影された画像をカメラ20に撮影させる。そして、被検出物領域抽出部60は、撮影情報取得部52を介して、この撮影画像の撮影情報を取得する。プロジェクター100による投影画像の一部は被検出物200により遮られており、ステップS64で取得された撮影画像は、投影画像において被検出物により遮られている領域である被検出物領域を含んでいる。
【0070】
次のステップS66で被検出物領域抽出部60は、ステップS64で得られた撮影画像において、ステップS64で投影された画像が占める領域を抽出する。ステップS66の処理では、上述の画像領域抽出処理と同様にして、ステップS44で抽出された四隅の座標位置に基づいて、ステップS64で撮影された撮影画像に占める投影画像の領域を抽出する。
【0071】
次のステップS68で被検出物領域抽出部60は、推定撮影画像保存部62に保存された推定撮影画像と、ステップS66で抽出された撮影画像内の投影画像とを比較して、画素ごとに、対応する画素値の差分値を計算し、差分画像を生成する。
【0072】
次のステップS70〜S74で被検出物領域抽出部60は、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき(ステップS70:Y)に、被検出物領域抽出部60は一連の処理を終了する(エンド)。画素の差分値の解析が終了していないとき(ステップS70:N)に、ステップS72で被検出物領域抽出部60は、差分値が閾値を超えているか否かを判別する。
【0073】
ステップS72において差分値が閾値を超えていると判定されたとき(ステップS72:Y)に、ステップS74で被検出物領域抽出部60は、判定対象の画素を被検出物200によって遮られた被検出物領域の画素として登録し、ステップS70に戻る。ステップS72において、差分値が閾値を超えていないと判別されたとき(ステップS72:N)、被検出物領域抽出部60は、ステップS70に戻って判定対象の画素を変更して処理を継続する。
【0074】
[推定撮影画像生成処理の例]
図12は、ステップS60の推定撮影画像生成処理の一例を示すフロー図、図13は、ステップS60の推定撮影画像生成処理の動作説明図である。図13には、1画素を構成する複数の色成分のうち1つの色成分について、推定撮影画像の生成処理を模式的に図示している。
【0075】
推定撮影画像生成部70は、プロジェクター100に出力される画像データに対応した画像の全画素について、色成分毎に撮影グレイ画像を参照することで推定撮影画像を生成する。まず、推定撮影画像生成部70は、全画素について終了していないとき(ステップS80:N)、R成分の全画素について処理が終了したか否かを判別する(ステップS82)。
【0076】
ステップS82において、R成分の全画素について処理が終了していないとき(ステップS82:N)、推定撮影画像生成部70は、g[k](kは整数)がR値(R成分の画素値)以下となる最大のkを探索する(ステップS84)。ステップS82において、R成分の全画素について処理が終了しているとき(ステップS82:Y)、ステップS88に進み、次の色成分であるG成分について推定撮影画像の生成処理を行う。
【0077】
ステップS84に続いて、推定撮影画像生成部70は、ステップS84で探索されたkに対応した撮影グレイ画像PGPkにおける当該画素位置のR成分の画素値と、撮影グレイ画像PGP(k+1)における当該画素位置のR成分の画素値とを用いた補間処理により、R値を求める(ステップS86)。なお、撮影グレイ画像保存部58に撮影グレイ画像PGP(k+1)が保存されていないときは、求めるR値としてkを採用することができる。
【0078】
次に、推定撮影画像生成部70は、G成分の全画素について処理が終了したか否かを判別する(ステップS88)。ステップS88において、G成分の全画素について処理が終了していないとき(ステップS88:N)、推定撮影画像生成部70は、g[k](kは整数)がG値(G成分の画素値)以下となる最大のkを探索する(ステップS90)。ステップS88において、G成分の全画素について処理が終了しているとき(ステップS88:Y)、ステップS94に進み、次の色成分であるB成分について推定撮影画像の生成処理を行う。
【0079】
ステップS90に続いて、推定撮影画像生成部70は、ステップS90で探索されたkに対応した撮影グレイ画像PGPkにおける当該画素位置のG成分の画素値と、撮影グレイ画像PGP(k+1)における当該画素位置のG成分の画素値とを用いた補間処理により、G値を求める(ステップS92)。なお、撮影グレイ画像保存部58に撮影グレイ画像PGP(k+1)が保存されていないときは、求めるG値としてkを採用することができる。
【0080】
推定撮影画像生成部70は、B成分の全画素について処理が終了したか否かを判別する(ステップS94)。ステップS94において、B成分の全画素について処理が終了していないとき(ステップS94:N)、推定撮影画像生成部70は、g[k](kは整数)がB値(B成分の画素値)以下となる最大のkを探索する(ステップS96)。ステップS94において、B成分の全画素について処理が終了しているとき(ステップS94:Y)、ステップS80に戻る。
【0081】
ステップS96に続いて、推定撮影画像生成部70は、ステップS96で探索されたkに対応した撮影グレイ画像PGPkにおける当該画素位置のB成分の画素値と、撮影グレイ画像PGP(k+1)における当該画素位置のB成分の画素値とを用いた補間処理により、B値を求める(ステップS98)。なお、撮影グレイ画像保存部58に撮影グレイ画像PGP(k+1)が保存されていないときは、求めるB値としてkを採用することができる。その後、推定撮影画像生成部70は、ステップS80に戻り、処理を継続する。
【0082】
以上の処理により推定撮影画像生成部70は、図13に示すように、画像データにより表される画像IMG0のとき、画素ごとに、画素位置Q1の画素値(R値、G値又はB値)に近い撮影グレイ画像PGPkを求める。そして、推定撮影画像生成部70は、画素位置Q1に対応する撮影グレイ画像の画素位置Q0における画素値を用いて、画素位置Q1に対応する推定撮影画像IMG1の画素位置Q2における画素値を求める。ここで、推定撮影画像生成部70は、撮影グレイ画像PGPkにおける画素位置Q0の画素値、又は撮影グレイ画像PGPk、PGP(k+1)における画素位置Q0の画素値を用いて、推定撮影画像IMG1の画素位置Q2における画素値を求める。推定撮影画像生成部70は、上記の処理を、全画素について色成分毎に繰り返すことで、推定撮影画像IMG1を生成する。画像処理部50において、図5〜図13を参照しつつ説明した処理を行うことで、次のように被検出物200により遮られた被検出物領域を抽出することができる。
【0083】
図14は、画像処理部50の動作説明図である。画像処理部50は、プロジェクター100により投影される画像IMG0に元になる画像データを用いて、推定撮影画像IMG1を生成する。また、画像処理部50は、投影面Sにおける投影領域AR(投影面IG1)に、画像データに基づいてプロジェクター100により画像(表示画像)IMG2を投影させる。画像処理部50は、投影領域AR内の画像IMG2を、投影面Sに被検出物200が配置されている状態で、カメラ20に撮影させ、その撮影情報を取得する。撮影された画像には、被検出物200が撮影された撮影画像MTが含まれている。
【0084】
画像処理部50は、取得した撮影情報に基づいて、撮影画像内の投影画像IMG3を抽出する。画像処理部50は、撮影画像内の投影画像IMG3と、推定撮影画像IMG1との差分を画素ごとに求め、その差分値に基づいて、投影画像IMG3で被検出物200に遮られている領域である被検出物領域MTRを抽出する。抽出された被検出物領域に基づいて、アプリケーション処理部90は、例えば次のようなアプリケーション処理を行う。
【0085】
[アプリケーション処理の例]
図15は、ステップS14のアプリケーション処理の一例を示すフロー図、図16はデータベースDBのデータ構造を示す概念図である。
アプリケーション処理部90は、ステップS12の被検出物領域抽出処理において抽出された被検出物領域に基づいてアプリケーション処理を行う。図15に示すように、アプリケーション処理部90は、被検出物200に遮られた状態で投影面Sに投影された画像をカメラ20により撮影した撮影画像から、ステップS74で登録された被検出物領域の画素と対応する画素を抽出し、抽出された画素の集合を被検出物撮影画像とする(ステップS100)。
【0086】
アプリケーション処理部90は、データベースDBに登録されている形状データを取得する(ステップS102)。データベースDBは、画像処理装置30又は画像表示システム10の一部として設けられていてもよいし、画像処理装置30あるいは画像表示システム10の外部に設けられていてもよい。
【0087】
図16に示すように、データベースDBには、被検出物の画像を示す形状データが、被検出物に関する情報を示す情報データと関連付けられて格納されている。例えば、被検出物がプリンターである場合に、プリンターを上面から見た画像を示す形状データが、プリンターの上面である旨の情報を示す情報データと関連づけられて格納されている。また、トレイ状の紙供給口が展開されている状態のプリンターを上面から見た画像を示すデータが、紙給紙口やインクカートリッジの位置情報を示す情報データと関連付けられて格納されている。
【0088】
アプリケーション処理部90は、データベースDBから取得した形状データが示す画像と、ステップS100で抽出された被検出物撮影画像と照合し、形状データが示す画像と被検出物撮影画像とが合致するか否かを判定する(ステップS104)。ここでは、被検出物撮影画像と形状データが示す画像との相関関係を示す照合値を算出し、照合値と所定の閾値とを比較して被検出物撮影画像と形状データが示す画像との合致を判定する。合致の判定には各種の判定手法を適宜選択して用いることができる。
【0089】
例えば、第1の判定方法では、画像間で互いに対応する画素位置での、画素の画素値の差分(絶対値)を画素ごとに求め、画像全体での差分の合計を照合値とし、照合値が所定の閾値以下であれば双方が合致していると判定する。
例えば、第2の判定方法では、画像間で画像相関法等により、複数の画素でパターンの照合を行うとともに、照合に用いる相関係数を照合値とし、相関係数が所定の閾値以上である場合に双方が合致していると判定してもよい。
第1の判定方法は、判定に要する計算負荷を減らす観点では、第2の判定方法よりも優れている。第2の判定方法は、画像間で互いに対応する画素位置がずれている場合でも精度よく合致を判定可能である点で、第1の判定方法よりも優れている。
【0090】
本実施形態では、合致の判定に先立ち、形状データが示す画像における被検出物のサイズと、被検出物撮影画像における被検出物のサイズとが揃うように、形状データが示す画像と被検出物撮影画像の少なくとも一方を拡大または縮小する。このようにすれば、形状データが示す画像と被検出物撮影画像とで被検出物のサイズが異なる場合に、実際の被検出物上の各点の画像上での位置が画像間でずれることによる誤判定を減らすことができる。形状データが示す画像と被検出物撮影画像とで被検出物のサイズを揃えるには、例えば、形状データが示す画像と被検出物撮影画像で、被検出物の輪郭をなす画素数、あるいは画像に含まれる画素数が揃うように、形状データが示す画像または被検出物撮影画像を変換する。形状データが示す画像については、輪郭をなす画素数や画像に含まれる画素数が予め分かっているので、輪郭をなす画素数や画像に含まれる画素数を形状データに関連付けてデータベースに格納しておくとよい。
【0091】
次に、サイズが揃えられた形状データが示す画像または被検出物撮影画像に対して、一方の画像を所定の回転角だけ回転させ、回転させた画像と他方の画像とで例えば上記の第1の方法により照合値を求める。そして、回転角を変更して照合値を求める処理を複数回数繰り返して複数の照合値を求める。そして、複数の照合値で最も相関関係が高い照合値(ここでは最小の照合値)が、所定の閾値以下である場合に状データが示す画像と被検出物撮影画像とが合致していると判定する。このようにすれば、投影面Sに配置されたときの被検出物200の姿勢の違いによる誤判定を減らすことができる。また、被検出物撮影画像をいずれの角度で回転させると形状データが示す画像と合致するか分かり、被検出物200に対して所望の位置に情報を示す画像を投影することができる。
【0092】
なお、形状データに基づいて、例えば上記の推定撮影画像生成処理と同様の処理により、投影面Sに被検出物を配置したときの撮影画像を推定した推定撮影画像を生成し、この推定撮影画像と被検出物撮影画像とを照合するようにしてもよい。このようにすれば、被検出物200に外光が入射することやカメラ20の使用状況等に起因する誤判定を減らすことができる。
【0093】
アプリケーション処理部90は、形状データが示す画像と被検出物撮影画像とが合致していると判定したとき(ステップS104:Y)に、この形状データと関連付けられている情報データをデータベースDBから取得する(ステップS106)。そして、アプリケーション処理部90は、取得した情報データを画像処理部50の画像データ出力部64に出力し(ステップS108)、一連の処理を終了する(エンド)。画像データ出力部64は、情報データに含まれる情報を示す画像の画像データを生成し、この画像データをプロジェクター100に出力する。
【0094】
アプリケーション処理部90は、形状データが示す画像と被検出物撮影画像とが合致しないと判定したとき(ステップS104:N)に一連の処理を終了する(エンド)。
以上のような処理を行うことにより、被検出物200に合致する情報データが画像処理装置30から自動的に出力される。
【0095】
なお、画像処理装置30は、中央演算処理装置(以下、CPUという)、読み出し専用メモリー(以下、ROMという)およびランダムアクセスメモリー(以下、RAMという)を有し、ROM又はRAMに記憶されたプログラムを読み込んだCPUが、このプログラムに対応した処理を実行することで、上記の第1実施形態における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ROM又はRAMに、上記の処理を行うプログラムが格納される。
【0096】
[第2実施形態]
第1実施形態では、カメラ20で投影面Sに投影された画像を撮影した撮影画像から投影画像を抽出していたが、これに限定されるものではく、撮影画像内の投影画像を抽出することなく、被検出物200の領域を抽出するようにしてもよい。第2実施形態における画像処理装置は、画像処理部の構成及び動作が第1実施形態実施における画像処理装置30と異なっている。
【0097】
図17は、第2実施形態における画像処理部の構成例を示すブロック図である。第2実施形態における画像処理部50aは、撮影情報取得部52、キャリブレーション処理部56a、撮影グレイ画像保存部58、被検出物領域抽出部(被検出物検出部)60a、推定撮影画像保存部62、画像データ出力部64を含む。被検出物領域抽出部60aは、推定撮影画像生成部70aを含む。画像処理部50aが画像処理部50と異なる点は、画像処理部50aが画像処理部50において画像領域抽出部54が省略された構成を有している点と、被検出物領域抽出部60a(推定撮影画像生成部70a)が、カメラ20による撮影した画像の形状の推定撮影画像を生成する点である。そのため、撮影情報取得部52が取得した撮影情報は、キャリブレーション処理部56a及び被検出物領域抽出部60aに供給される。
【0098】
キャリブレーション処理部56aは、第1実施形態と同様にキャリブレーション処理を行うが、キャリブレーション処理における推定撮影画像を生成する際に、被検出物200に遮られることなくカメラ20で撮影された撮影情報を撮影情報取得部52から取得する。すなわち、複数種類のグレイ画像を表示させて、キャリブレーション処理部56aは、撮影情報取得部52から複数種類の撮影グレイ画像の撮影情報を取得する。撮影グレイ画像保存部58は、キャリブレーション処理部56aによって得られた撮影グレイ画像を保存する。これらの撮影グレイ画像のいずれかの画素の画素値を参照して、カメラ20で撮影する表示画像を推定した推定撮影画像が生成されることになる。
【0099】
被検出物領域抽出部60aにおいても、プロジェクター100の投影画像を被検出物200により遮られた状態でカメラ20により撮影された撮影画像と、撮影グレイ画像保存部58に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内の被検出物200の領域を抽出する。この撮影画像は、撮影情報取得部52によって取得された撮影情報に対応した画像である。推定撮影画像生成部70aは、プロジェクター100により投影面Sに投影される画像の画像データから、撮影グレイ画像保存部58に保存された撮影グレイ画像を参照して推定撮影画像を生成する。推定撮影画像生成部70aによって生成された推定撮影画像は、推定撮影画像保存部62に保存される。
【0100】
画像処理部50aは、プロジェクター100に投影される画像の画像データから、実際にカメラ20で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、被検出物200の領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ20を用いて得られた撮影画像との差分は、外光のムラ、投影面Sの「なみ」、「すじ」、汚れ等の状態、プロジェクター100の位置やズーム状態、カメラ20の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物200の領域を高精度に検出できるようになる。この際、形状を補正することなく、差分画像に基づいて被検出物200の領域を抽出するため、形状補正の際のノイズによる誤差をなくし、第1実施形態より高精度に被検出物200の領域を検出できるようになる。
【0101】
このような画像処理部50aを有する第2実施形態における画像処理装置は、図1に示した画像表示システム10に適用することができる。この第2実施形態における画像処理装置の動作は、第1実施形態と同様であるが、ステップS10のキャリブレーション処理とステップS12の被検出物領域抽出処理の処理が異なる。
【0102】
[キャリブレーション処理の例]
図18は、第2実施形態におけるキャリブレーション処理の一例を示すフロー図である。キャリブレーション処理が開始されると、キャリブレーション処理部56aは、第1実施形態と同様の画像領域抽出初期化処理を行う(ステップS130)。具体的には、画像領域抽出初期化処理では、撮影画像内の四角形状の投影画像の四隅の座標位置を抽出する処理を行う。
【0103】
次に、キャリブレーション処理部56aは、グレイ画像の画素値に対応した変数iを「0」に設定して変数iを初期化する(ステップS132)。続いて、キャリブレーション処理部56aでは、例えば画像データ生成部40により各色成分の画素値がg[i]のグレイ画像の画像データを生成させ、画像データ出力部64が該画像データをプロジェクター100に出力して、画素値g[i]のグレイ画像を投影面Sに投影させる(ステップS134)。そして、キャリブレーション処理部56aは、ステップS134で投影面Sに投影された画像をカメラ20で撮影し、撮影情報取得部52においてカメラ20の撮影画像の撮影情報を取得する(ステップS136)。
【0104】
次に、キャリブレーション処理部56aは、ステップS136で取得された撮影グレイ画像を、該撮影グレイ画像に対応したg[i]と関連付けて撮影グレイ画像保存部58に保存する(ステップS138)。
【0105】
キャリブレーション処理部56aは、変数iに整数dを加算して変数iを更新し(ステップS140)、次のグレイ画像の撮影に備える。なお、ステップS140で更新された変数iが所与の最大値N以上のとき(ステップS142:N)、一連の処理を終了し(エンド)、更新後の変数iが最大値Nより小さいとき(ステップS142:Y)、ステップS134に戻る。
【0106】
[被検出物領域抽出処理の例]
図19は、第2実施形態における遮蔽物抽出処理の一例を示すフロー図、図20は遮蔽物抽出処理における推定撮影画像生成処理の動作説明図である。図20には、1画素を構成する複数の色成分のうち1つの色成分について、推定撮影画像の生成処理を模式的に図示している。
【0107】
第1実施形態と同様に遮蔽物抽出処理が開始されると、被検出物領域抽出部60aは、推定撮影画像生成部70aにおいて推定撮影画像生成処理を行う(ステップS150)。この推定撮影画像生成処理では、ステップS138において保存された撮影グレイ画像の各画素値を参照して、実際にプロジェクター100により投影させる画像データを変換して、推定掃影画像の画像データが生成される。被検出物領域抽出部60aは、ステップS150において生成された推定撮影画像を、推定撮影画像保存部62に保存する。
【0108】
ステップS150において、推定撮影画像生成部70aは、第1実施形態と同様に推定撮影画像を生成する。すなわち、推定撮影画像生成部70aは、まずステップS130で取得された撮影画像内の四隅の位置を用いて、オリジナルの画像データにより表される画像に対して公知の形状補正を行う。そして、この形状補正後の画像に対して、第1実施形態と同様にして推定撮影画像を生成する。より具体的には、図20に示すように、オリジナルの画像データにより表される画像が画像IMG0のとき、画素毎に、当該画素位置の画素値(R値、G値又はB値)に近い撮影グレイ画像を求める。そして、推定撮影画像生成部70aは、当該画素位置に対応する撮影グレイ画像の画素位置における画素値を用いて、当該画素位置に対応する推定撮影画像IMG1の画素位置における画素値を求める。ここで、推定撮影画像生成部70aは、撮影グレイ画像PGPkにおける画素位置の画素値、又は撮影グレイ画像PGPk、PGP(k+1)における画素位置の画素値を用いて、推定撮影画像IMG1の画素位置における画素値を求める。推定撮影画像生成部70aは、上記の処理を、全画素について、色成分毎に繰り返すことで、推定撮影画像IMG1を生成する。これにより、推定撮影画像生成部70aは、推定撮影画像の形状を撮影画像内の投影画像の形状に揃えることができる。
【0109】
次に、被検出物領域抽出部60aからの指示により、画像データ出力部64は、実際にプロジェクター100により投影させるオリジナルの画像データをプロジェクター100に出力し、該画像データに基づく画像をプロジェクター100により投影面Sに投影させる(ステップS152)。このオリジナルの画像データは、ステップS150の推定撮影画像生成処理において、推定撮影画像の生成元の画像データである。
【0110】
続いて、被検出物領域抽出部60aは、ステップS152において投影された画像をカメラ20で撮影させる制御を行い、撮影情報取得部52を介して、この撮影画像の撮影情報を取得する(ステップS154)。このとき取得された撮影画像は、プロジェクター100による投影画像が被検出物200によって遮られ、撮影画像内に被検出物領域が存在する。
【0111】
そして、被検出物領域抽出部60aは、推定撮影画像保存部62に保存された推定撮影画像と、ステップS154で取得された撮影画像とを参照して、画素毎に、対応する画素値の差分値を計算し、差分画像を生成する(ステップS156)。
【0112】
そして、被検出物領域抽出部60aは、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき(ステップS158:Y)、被検出物領域抽出部60aは、一連の処理を終了する(エンド)が、全画素の差分値の解析が終了していないとき(ステップS158:N)、被検出物領域抽出部60aは、差分値が閾値を超えているか否かを判別する(ステップS160)。
【0113】
ステップS160において、差分値が閾値を超えていると判別されたとき(ステップS160:Y)、被検出物領域抽出部60aは、当該画素を被検出物200によって遮られた被検出物領域の画素として登録し(ステップS162)、ステップS158に戻る。このステップS162では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素を所定の色に変換して可視化してもよい。一方、ステップS160において、差分値が閾値を超えていないと判別されたとき(ステップS160:N)、被検出物領域抽出部60aは、ステップS158に戻って処理を継続する。
【0114】
画像処理部50aにおいて、上記説明した処理を行うことで、第1実施形態と同様に被検出物200の領域を抽出することができる。なお、第2実施形態においても、画像処理装置は、CPU、ROM及びRAMを有し、ROM又はRAMに記憶されたプログラムを読み込んだCPUが該プログラムに対応した処理を実行することで、上記の第2実施形態における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ROM又はRAMに、上記の処理のフロー図に対応したプログラムが格納される。
【0115】
図21は、画像処理部50aの動作説明図である。画像処理部50aは、プロジェクター100により投影される画像IMG0の画像データを用いて、上記のように推定撮影画像IMG1を生成する。このとき、予め抽出された投影領域AR(投影面IG1)内の画像の四隅の位置を用いて形状補正後の推定撮影画像IMG1を生成する。
【0116】
その一方、画像処理部50は、プロジェクター100に、画像IMG0の画像データに基づいて投影面Sの投影領域AR(投影面IG1)に画像(表示画像)IMG2を投影させる。画像処理部50は、投影領域AR内の画像IMG2を、投影面Sに被検出物200が配置されている状態で、カメラ20に撮影させ、その撮影情報を取得する。撮影された画像には、被検出物200が撮影された撮影画像MTが含まれている。
【0117】
画像処理部50aは、撮影画像内の画像IMG2と推定撮影画像IMG1と一の差分を画素毎にとり、その差分値に基づいて、画像IMG2内の被検出物200の被検出物領域MTRを抽出する。
【0118】
[第3実施形態]
第1実施形態又は第2実施形態では、画像表示装置として画像投影装置であるプロジェクター100を採用し、プロジェクター100からの投影画像が被検出物200で遮られたときの投影画像内における被検出物200の領域を抽出する例について説明したが、本発明はこれに限定されるものではない。
【0119】
図22は、第3実施形態における画像表示システムの構成例を示す模式図である。第3実施形態における画像表示システム10aは、撮影装置としてのカメラ20と、画像処理装置30と、画面GMを有する画像表示装置300とを含む。画像表示装置300は、画像処理装置30からの画像データに基づいて画面GM(広義には表示画面)に画像を表示する。このような画像表示装置としては、液晶表示装置、有機EL表示装置やCRT等の表示装置を採用できる。また、画像処理装置30として、第1実施形態又は第2実施形態における画像処理装置を提供することができる。
【0120】
このとき、カメラ20と画面GMとの間に存在する被検出物200により表示画像が遮られると、画像処理装置30は、カメラ20で投影画像を撮影した撮影情報を用いて、表示画像内の被検出物200の領域を検出する処理を行う。より具体的には、画像処理装置30は、画面GMに表示される画像に対応した画像データから、カメラ20で撮影した状態を推定した推定撮影画像を生成し、該推定撮影画像と被検出物200により遮られた投影画像をカメラ20で撮影した撮影画像との差分に基づいて、被検出物200の領域を検出する。
【0121】
これにより、専用のカメラを設ける必要がなくなり、低コストで被検出物200の領域を検出できるようになる。また、画像表示装置300の画面GMに表示される画像が、外光や画面GMの状態等に起因したノイズによって色が一様でなくなる場合であっても、推定撮影画像を用いて撮影画像との差分により被検出物200の領域を検出するようにしたので、ノイズの影響を受けることなく被検出物200の領域を高精度の検出できるようになる。
【0122】
以上、本発明に係る画像処理装置、画像表示システム、及び画像処理方法等を上記のいずれかの実施形態形に基づいて説明したが、本発明は上記のいずれかの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0123】
(1)上記のいずれかの実施形態では、画像投影装置や画像表示装置を例に説明したが、本発明はこれに限定されるものではない。画像データに基づいて画像を表示する装置全般に本発明適用することができることは言うまでもない。
【0124】
(2)上記の第1実施形態又は第2実施形態では、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばデジタルミラーデバイス(DMD)、LCOS(Liqquid Crystal On Silicon)等を採用してもよい。また、上記の第1実施形態又は第2実施形態において、光変調素子として、いわゆる3板式の透過型の液晶パネルを用いたライトバルブ、単板式の液晶パネルや2板又は4板式以上の透過型の液晶パネルを用いたライトバルブを採用することができる。
【符号の説明】
【0125】
10、10a・・・画像表示システム、20・・・カメラ、30・・・画像処理装置、40・・・画像データ生成部、50、50a・・・画像処理部、52・・・撮影情報取得部、54・・・画像領域抽出部、56、56a・・・キャリブレーション処理部、58・・・撮影グレイ画像保存部、60、60a・・・被検出物領域抽出部(被検出体検出部)、62・・・推定撮影画像保存部、64・・・画像データ出力部、70、70a・・・推定撮影画像生成部、90・・・アプリケーション処理部、100・・・プロジェクター(画像表示装置、画像投影装置)、200・・・被検出物、300・・・画像表示装置、AR・・・投影領域、DB・・・データベース、GM・・・画面(表示画面)、GP0、GP1、GP4・・・グレイ画像、GY1、GY2・・・撮影グレイ画像、IG1・・・投影面、IG2・・・投影画像、IMG0・・・画像、IMG1・・・推定撮影画像、IMG2・・・表示画像、IMG3・・・投影画像、MT・・・撮影画像、MTR・・・被検出物領域、PGP・・・撮影グレイ画像、PGP0、PGP1、PGPk・・・撮影グレイ画像、Q0〜Q2・・・画素位置、S・・・投影面(表示画面)
【特許請求の範囲】
【請求項1】
表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理装置であって、
前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、
前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理部と、
を含むことを特徴とする画像処理装置。
【請求項2】
前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部を含み、
前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記モデル画像は、複数種類のグレイ画像を含み、
前記推定撮影画像生成部は、
前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、
前記被検出物検出部が、
前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記推定撮影画像生成部が、
前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、
前記被検出物検出部が、
前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする請求項2又は3に記載の画像処理装置。
【請求項6】
前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えることを特徴とする請求項4又は5に記載の画像処理装置。
【請求項7】
前記画像表示装置は、画像投影装置であり、前記表示画像は、前記画像データに基づいて前記画像投影装置により投影された投影画像であることを特徴とする請求項1乃至6のいずれかに一項に記載の画像表示システム。
【請求項8】
前記アプリケーション処理部は、
前記被検出物領域のサイズと前記形状データが示す前記被検出物のサイズとを揃えた状態で、前記被検出物撮影画像又は前記形状データが示す画像を所定の回転角だけ回転させて前記被検出物撮影画像と前記形状データが示す画像との相関関係を示す照合値を求める処理を前記所定の回転角を異ならせて複数回数行うとともに、複数回数の前記処理で最も高い相関関係を示す照合値と所定の閾値と比較して、前記被検出物撮影画像と前記形状データが示す画像との合致を判定することを特徴とする請求項1乃至7のいずれか一項に記載の画像処理装置。
【請求項9】
請求項1乃至8のいずれか一項に記載の画像処理装置と、
前記表示画面に表示された画像を撮影する前記カメラと、
前記モデル画像又は前記表示画像の画像データに基づいて画像を表示し、前記画像処理装置から出力された前記情報データを示す画像を表示する画像表示装置と、
を含むことを特徴とする画像表示システム。
【請求項10】
表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理方法であって、
前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、
前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、
前記表示画像撮影ステップにおいて撮影された撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、
前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項1】
表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理装置であって、
前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、
前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理部と、
を含むことを特徴とする画像処理装置。
【請求項2】
前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部を含み、
前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記モデル画像は、複数種類のグレイ画像を含み、
前記推定撮影画像生成部は、
前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、
前記被検出物検出部が、
前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記推定撮影画像生成部が、
前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、
前記被検出物検出部が、
前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする請求項2又は3に記載の画像処理装置。
【請求項6】
前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えることを特徴とする請求項4又は5に記載の画像処理装置。
【請求項7】
前記画像表示装置は、画像投影装置であり、前記表示画像は、前記画像データに基づいて前記画像投影装置により投影された投影画像であることを特徴とする請求項1乃至6のいずれかに一項に記載の画像表示システム。
【請求項8】
前記アプリケーション処理部は、
前記被検出物領域のサイズと前記形状データが示す前記被検出物のサイズとを揃えた状態で、前記被検出物撮影画像又は前記形状データが示す画像を所定の回転角だけ回転させて前記被検出物撮影画像と前記形状データが示す画像との相関関係を示す照合値を求める処理を前記所定の回転角を異ならせて複数回数行うとともに、複数回数の前記処理で最も高い相関関係を示す照合値と所定の閾値と比較して、前記被検出物撮影画像と前記形状データが示す画像との合致を判定することを特徴とする請求項1乃至7のいずれか一項に記載の画像処理装置。
【請求項9】
請求項1乃至8のいずれか一項に記載の画像処理装置と、
前記表示画面に表示された画像を撮影する前記カメラと、
前記モデル画像又は前記表示画像の画像データに基づいて画像を表示し、前記画像処理装置から出力された前記情報データを示す画像を表示する画像表示装置と、
を含むことを特徴とする画像表示システム。
【請求項10】
表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理方法であって、
前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、
前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、
前記表示画像撮影ステップにおいて撮影された撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、
前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理ステップと、
を含むことを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2011−145766(P2011−145766A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−4172(P2010−4172)
【出願日】平成22年1月12日(2010.1.12)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願日】平成22年1月12日(2010.1.12)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]