情報処理装置、情報処理方法、プログラムおよび記録媒体
【課題】ディスプレイなどの表示部に表示された画像と、カメラなどの撮影部により撮影された画像内において表示部に表示された画像との間の対応を、正確に取ることができる。
【解決手段】画像格納部１０には複数のパターン画像が格納される。表示部１１は複数のパターン画像を切り替えて表示する。撮影部１２は表示部１１が表示しているパターン画像を含む画像を撮影する。目印画像検出部１４は撮影部１２が撮影した画像である撮影画像内において目印画像を検出する。対応情報取得部１６は目印画像検出部１４が検出した各目印画像を用いて各目印画像の出現パターンを取得し、各撮影画像内において検出された目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有するパターン画像における目印画像の配置されている位置との対応を示す対応情報を取得する。出力部１７は対応情報を出力する。
【解決手段】画像格納部１０には複数のパターン画像が格納される。表示部１１は複数のパターン画像を切り替えて表示する。撮影部１２は表示部１１が表示しているパターン画像を含む画像を撮影する。目印画像検出部１４は撮影部１２が撮影した画像である撮影画像内において目印画像を検出する。対応情報取得部１６は目印画像検出部１４が検出した各目印画像を用いて各目印画像の出現パターンを取得し、各撮影画像内において検出された目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有するパターン画像における目印画像の配置されている位置との対応を示す対応情報を取得する。出力部１７は対応情報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ等に表示した画像と、当該ディスプレイに表示された画像を撮影して得られた画像との対応を取るための情報処理装置等に関するものである。
【背景技術】
【０００２】
従来、テレビ会議システムが開発されており、そのテレビ会議システムを用いることにより、遠隔の２以上の会議室の間で映像・音声の送受信を行うことができ、その２以上の会議室にいる人たちで会議を行うことができていた。一方、従来の画像処理の技術として、背景画像の用意されていない動画像において、動領域の切れ目のない閉輪郭を生成し、この閉輪郭を用いて動領域と背景領域とを分離する技術が開発されている（例えば、特許文献１参照）。
【０００３】
上記のようなテレビ会議システム等においては、第一の会議室における会議の様子を撮影するカメラの設置場所や向き等によっては、カメラが、第一の会議室内の参加者等だけでなく、撮影領域内に配置されたディスプレイ等に表示されている資料の画像や、第二の会議室の状態を撮影した画像等を撮影することが考えられる。このような一旦ディスプレイ等に表示された画像を再度撮影して得られた画像は、通常、画質が悪く、内容が把握しにくい。
【０００４】
このような場合に、撮影された画像内のディスプレイに表示されている画像を、ディスプレイ等に実際に表示された画像を用いて色補正して見やすくしたり、特許文献１の差分画像を得る技術を利用して、画像間の差分を求めて削除したりすることが考えられる。このように、ディスプレイ等に実際に表示された画像を用いて、撮影された画像内のディスプレイに表示されている画像を、色補正したり、削除したりする場合、ディスプレイ等に実際に表示された画像と、撮影された画像内のディスプレイに表示されている画像との対応を取る必要がある。
【特許文献１】特開平１１−３５３４８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、撮影された画像内のディスプレイに表示されている画像は、撮影する向きや、レンズによるゆがみの発生等により、形状や大きさや色が，ディスプレイに実際に表示された画像等とは異なる場合が多い。このため、ディスプレイに実際に表示された画像と、カメラ等により撮影された画像内において、ディスプレイに表示された画像との間の対応等を正確に取ることが困難であるという課題があった。この結果、ディスプレイに実際に表示された画像と、撮影された画像内のディスプレイに実際に表示された画像とが同じ色になるように補正するための情報や、これらの画像同士を比較して差分を求められるようにするために、一方の画像を他方の画像とほぼ同じ形状となるように補正するための情報を、適切に構成することができなかった。
【０００６】
本発明は、上記の課題を達成するためになされたものであり、ディスプレイなどの表示部に表示された画像と、カメラなどの撮影部により撮影された画像内において表示部に表示された画像との間の対応を、正確に取ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、前記対応情報取得部が取得した前記対応情報を出力する出力部と、を具備することを特徴とする情報処理装置である。
かかる構成により、表示部に表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の、位置の対応を正確に取ることができる。特に、目印画像の出現パターンによって、撮影画像内から目印画像を識別して検出するようにしているため、撮影部の撮影状況によって、表示部の一部しか撮影できず、表示部の表示領域内のどの部分を撮影したか分からない場合や、表示部の撮影された向き等が判別できない場合においても、撮影画像内から、正確に、目印画像が配置されている位置を識別することができる。
【０００８】
また、本発明の情報処理装置の前記画像格納部には、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、前記対応情報取得部は、前記目印画像検出部が検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の前記目印画像の配置されている位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得することを特徴とする。
かかる構成により、表示部に表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の、位置の対応を正確に取ることができる。特に、目印画像の色の出現パターンによって、撮影画像内から目印画像を識別して検出するようにしているため、撮影部の撮影状況によって、表示部の一部しか撮影できず、表示部の表示領域内のどの部分を撮影したか分からない場合や、表示部の撮影された向き等が判別できない場合においても、撮影画像内から、正確に、目印画像が配置されている位置を識別することができる。
【０００９】
また、本発明の情報処理装置は、複数の前記パターン画像における複数の前記目印画像の配置された位置と、当該配置された位置における色の出現パターンとの対応を示す情報である対応管理情報が格納される対応管理情報格納部を更に具備し、前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記対応管理情報を用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得することを特徴とする情報処理装置である。
かかる構成により、表示部に表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の、位置の対応を正確に取ることができる。
【００１０】
また、本発明の情報処理装置の前記目印画像は、それぞれ、２色の色のうちいずれか一方の色を有し、前記画像格納部には、各前記パターン画像内の前記目印画像数をＡ（Ａは２以上の整数）、前記パターン画像数をＢ（Ｂは２以上の整数）とした場合に、２Ｂ≧Ａの関係を満たすような複数の前記パターン画像が格納されることを特徴とする。
かかる構成により、目印画像数を最適化できる。
【００１１】
また、本発明の情報処理装置の前記目印画像の前記２色の組み合わせは、前記パターン画像ごとに互いに異なっており、前記目印画像検出部は、前記撮影画像内の目印画像に用いられている前記２色の組み合わせを取得し、前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記２色の組み合わせを用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得することを特徴とする。
かかる構成により、この撮影画像が複数のパターン画像を撮影する際等に、複数のパターン画像を識別できるようにする必要がなく、パターン画像を撮影する順番等を考慮する必要がなくなり、処理を簡略化できる。
【００１２】
また、本発明の情報処理装置は、前記撮影部が撮影した前記撮影画像内の前記目印画像の色に関する情報である第１の色情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の色に関する情報である第２の色情報とを取得する色情報取得部と、前記色情報取得部が取得した前記第１の色情報と前記第２の色情報とを用いて、前記撮影部が撮影した画像の色の補正に用いられる情報である色補正情報を取得する色補正情報取得部と、前記色補正情報取得部が取得した前記色補正情報を出力する色補正情報出力部と、を更に具備することを特徴とする情報処理装置である。
かかる構成により、画像間の対応する位置の色を用いて色補正情報を取得することができるため、この色補正情報を用いて色補正を行うことで、正確に色の補正を行うことができる。
【００１３】
また、本発明の情報処理装置は、前記撮影部が撮影した前記撮影画像内の前記目印画像の位置に関する情報である第１の位置情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の位置に関する情報である第２の位置情報とを取得する位置情報取得部と、前記位置情報取得部が取得した前記第１の位置情報と前記第２の位置情報とを用いて、前記撮影部が撮影した画像の位置の補正に用いられる位置補正情報を取得する位置補正情報取得部と、前記位置補正情報取得部が取得した前記位置補正情報を出力する位置補正情報出力部と、を更に具備することを特徴とする情報処理装置である。
かかる構成により、この補正情報を用いて位置の補正を行うことで、正確に位置の補正を行うことができる。
【００１４】
また、本発明は、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、表示部と、撮影部と、目印画像検出部と、対応情報取得部と、出力部とを具備した情報処理装置の情報処理方法であって、前記表示部が、画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示ステップと、前記撮影部が、前記表示ステップで表示している前記パターン画像を含む画像を撮影する撮影ステップと、前記目印画像検出部が、前記撮影ステップで前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出ステップと、前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得ステップと、前記出力部が、前記対応情報取得ステップで取得した前記対応情報を出力する出力ステップと、を具備することを特徴とする情報処理方法である。
【００１５】
また、本発明の情報処理方法の前記画像格納部は、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、前記対応情報取得ステップは、前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得することを特徴とする。
【００１６】
また、本発明は、コンピュータを、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、前記対応情報取得部が取得した前記対応情報を出力する出力部と、して機能させるためのプログラムである。
【００１７】
また、本発明は、コンピュータを、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、前記対応情報取得部が取得した前記対応情報を出力する出力部と、して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明による情報処理装置等によれば、表示部により表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の対応を、正確に取ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２０】
（実施の形態）
本実施の形態における情報処理装置は、表示部に表示された複数の目印画像を有する複数のパターン画像を、撮影部により撮影し、この撮影した撮影画像内における目印画像が配置されている位置における目印画像の色の出現パターンを取得することで、撮影画像内の目印画像が表示されている位置と、パターン画像内の目印画像の位置との対応を求めるものである。
【００２１】
図１は、本実施の形態における情報処理装置のブロック図である。情報処理装置１は、画像格納部１０、表示部１１、撮影部１２、撮影画像格納部１３、目印画像検出部１４、対応管理情報格納部１５、対応情報取得部１６、出力部１７、色情報取得部１８、色補正情報取得部１９、色補正情報出力部２０、位置補正情報取得部２１、位置補正情報出力部２２を具備する。
【００２２】
画像格納部１０には、一以上、好ましくは複数の目印画像が異なる位置に配置された画像であるパターン画像を示す情報である画像情報が、複数格納されている。なお、本実施の形態においては、画像情報も、説明の便宜上、適宜、画像と称す。また、複数のパターン画像間においては、複数の目印画像の配置されている位置が同じとなっている。さらに、複数のパターン画像においては、異なる位置に配置された目印画像の色の出現パターンが互いに異なるものとしている。
【００２３】
目印画像とは、目印となる画像である。ここで述べる目印とは、画像内の位置を識別するための目印である。目印画像は後述するパターン画像の一部を構成する画像である。目印画像は、具体的には、後述する表示部１１が表示する画像内の位置と、撮影部１２が撮影した画像内において表示部１１が表示している画像内の位置との対応を求める際に用いられる画像のことである。目印画像は、背景等から分離して検出可能な、色や形状を有する画像である。目印画像の形状は、目印画像が表示される位置を、目印画像の中心の位置とする場合、目印画像が変形しても、その中心位置が変わりにくいことから、円形が好ましい。ただし、多角形等の他の形状でも良い。目印画像の大きさは問わない。
【００２４】
各目印画像は、複数の色のうちのいずれか一つの色を有する。目印画像の色は、撮影部１２が撮影した画像内において、目印画像の背景となる画像である背景画像に対して、識別可能な色とする。各目印画像は、均一な色であることが好ましいが、識別が可能な範囲であれば、多少のばらつきを有していても良い。目印画像およびパターン画像は、ベクトル画像でも、ラスタ画像であっても良い。パターン画像の目印画像が配置されていない領域は、通常、背景画像となっている。パターン画像は、例えば、表示部１１が通常表示する画像の画素数に相当する画素数を有する背景画像の所定の位置に、複数の目印画像を配置して構成した画像である。パターン画像における目印画像間の配置間隔や位置関係等は問わない。各パターン画像において、各目印画像の配置される位置は、通常、予め指定されている。目印画像の配置されている位置は、表示部１１が通常表示する画像内の位置を示す情報、例えば座標等で指定される。目印画像の配置されている位置は、表示部１１の表示領域内の位置を示す情報、例えば座標等で指定されてもよい。目印画像は、表示される位置、あるいは配置される位置を指定する情報と対応付けられて、画像格納部１０内に格納されていても良い。
【００２５】
なお、パターン画像は、表示部１１により表示される画像における、表示位置を示す情報等と対応付けられた複数の目印画像と考えても良い。この場合、表示部１１が表示を行う際に、これらの複数の目印画像を、それぞれの表示位置に配置した表示用のパターン画像を構成して、パターン画像を表示するようにしても良い。なお、ここでは、上述したように、各パターン画像間においては、複数の目印画像が配置される位置が一致しているとともに、同じ位置に表示される目印画像の色が出現するパターン、すなわち、出現パターンが、位置毎に全て異なるように、各パターン画像内に目印画像を配置している。色の出現パターンとは、言い換えれば目印画像の色の変化のパターンである。具体的には、出現パターンは、複数のパターン画像の、各目印画像が配置される位置における複数の目印画像の色の順列または組み合わせである。例えば、出現パターンは、複数のパターン画像を予め設定されている所定の順番で並べた場合における、各目印画像の配置位置における目印画像の色の出現する順列である。また、例えば、出現パターンは、パターン画像の各目印画像の配置されている位置において、複数のパターン画像から複数の目印画像を取り出した場合における、取り出された目印画像の色の組み合わせであってもよい。例えば、本実施の形態においては、複数のパターン画像を、予め設定された順番に表示させる場合に、異なる位置に表示される目印画像の色の出現パターンが互いに異なるような複数の目印画像を、各パターン画像が有しているようにする。このようにすることにより、詳細については後述するが、撮影部１２が撮影した画像内における目印画像が配置されている位置毎の目印画像の色の出現パターンを用いて、目印画像が配置されている位置を識別することができる。
【００２６】
なお、色の情報を数値で置き換えるようにし、その数値の出現パターンを取得することも、ここでは、色の出現パターンを取得することと考える。また、ここでは例として、各パターン画像における各目印画像の色は、それぞれ２色のうちのいずれか一方であるとする。また、各パターン画像間における各目印画像の２色の組み合わせは、全て同じとしても良いが、異なるようにしてもよい。特に、全て異なるようにすることで、その色の組み合わせを判断することにより、どのパターン画像であるか、もしくはどのパターン画像を撮影した画像であるかを判断することができる。なお、後述するが、各パターン画像内の目印画像が、２色の色のうちのいずれか一方の色を有する場合において、各目印画像が配置された位置を識別できるようにするためには、各パターン画像内に配置される目印画像数をＡ（Ａは２以上の整数）、パターン画像数をＢ（Ｂは２以上の整数）とした場合に、２Ｂ≧Ａの関係を満たすような複数のパターン画像が、画像格納部１０に格納されているようにする。画像格納部１０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２７】
表示部１１は、画像格納部１０に格納されている複数のパターン画像を、切り替えて表示する。複数のパターン画像は、予め定められた順番で表示することが好ましいが、表示部１１に表示したパターン画像、もしくは撮影部１２が撮影した画像から、各パターン画像を識別可能な場合には、表示部１１が、各パターン画像を表示する順番は問わない。表示部１１は、表示デバイスを含むと考えても、含まないと考えても良い。表示部１１は、表示デバイスのドライバーソフト、または表示デバイスのドライバーソフトと表示デバイス等で構成される。表示デバイスは、例えば、液晶や、ＣＲＴ等のディスプレイで実現され得る。
【００２８】
撮影部１２は、表示部１１がディスプレイ等に表示しているパターン画像を含む画像を撮影する。撮影部１２は、表示部１１が画像を表示する領域とともに、それ以外の領域を含む領域の画像を撮影しても良い。また、表示部１１が、複数のパターン画像を切り替えて表示する場合、切り替えて表示部１１に表示される複数のパターン画像を含む各画像を、それぞれ撮影する。また、撮影部１２は、表示部１１が表示しているパターン画像のうちの、複数の目印画像を含む一部の領域のみを撮影しても良い。撮影部１２は、複数のフレーム画像を備えた動画像を撮影してもよいし、静止画像を撮影しても良い。上述したように複数のパターン画像が切り替えられて表示される場合、撮影部１２は、パターン画像が切り替える毎に静止画像を撮影しても良いし、切り替えられた全てのパターン画像を含む動画像を撮影しても良い。例えば、撮影部１２は、表示部１１から、表示しているパターン画像を切り替えを行うことを示す情報を受け付けるようにし、切り替えを行う情報を受け付けた場合に、静止画像を撮影しても良い。また、撮影部１２は、切り替えが行われたことを示す情報を、撮影している動画像のフレームやヘッダ等に付与しても良い。この情報を参照することで、パターン画像の切り替えが行われたタイミングを判断することができる。撮影部１２が撮影した画像は、撮影画像格納部１３に蓄積される。撮影部１２は、撮影したパターン画像の表示順番を示す情報を構成して、撮影した画像である撮影画像に対応付けて、撮影画像格納部１３等に蓄積しても良い。撮影部１２は、例えばＣＣＤやＣＭＯＳ等を備えたカメラやイメージセンサ等により構成される。通常、撮影部１２は、撮影時には固定して利用される。撮影画像格納部１３には、撮影部１２が撮影した画像が格納され得る。撮影画像格納部１３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２９】
目印画像検出部１４は、撮影部１２が撮影した画像内における目印画像を検出する。撮影部１２が、表示部１１に切り替えて表示されたパターン画像を撮影した場合、目印画像検出部１４は、撮影部１２が撮影した、表示部１１が表示した各パターン画像を含む静止画像毎に、画像内における各目印画像を検出する。あるいは、目印画像検出部１４は、表示部１１が表示した各パターン画像を撮影部１２が撮影した動画像のうちの、各パターン画像が撮影されている部分から、それぞれ１フレームを取り出して、それぞれ、画像内における各目印画像を検出する。１フレームを取り出す代わりに複数フレームを取り出して、複数フレームを平均した１フレーム分の合成画像を予め構成しても良い。
【００３０】
なお、目印画像検出部１４は、結果的に、全てのパターン画像から目印画像を検出できれば良く、例えば、全てのパターン画像について目印画像を検出する代わりに、一つのパターン画像について目印画像を検出し、他のパターン画像については、その検出した位置と同じ位置に、目印画像が検出されたものとしてもよく、このような場合においても、各パターン画像について目印画像を検出したことと考える。目印画像検出部１４は、例えば、予めメモリ等に蓄積しておいた目印画像に用いられる複数の色の情報を読み出し、各パターン画像を含む静止画像、もしくは１フレームの画像内において、画素毎に、目印画像に用いられているいずれかの色と同じか、もしくは目印画像の色に近いか否かを判断し、目印画像の色と同じ画素、もしくは近い画素が連続して隣接している領域が検出された場合に、この領域内の画像を、撮影部１２が撮影した画像内における目印画像として検出する。
【００３１】
目印画像検出部１４は、検出した目印画像を指定する情報を、例えば、図示しないメモリ等の記憶媒体等に蓄積する。検出した目印画像を指定する情報は、目印画像が指定できる情報であれば良く、例えば、目印画像を構成する各画素の座標情報、目印画像を代表する画素、例えば中心の画素等の座標情報や、目印画像の輪郭を指定する座標情報等である。目印画像検出部１４は、各目印画像に対して、管理のための識別情報等を対応付けてメモリ等に蓄積しても良い。なお、複数のパターン画像の目印画像として利用される２色の組み合わせが、前記パターン画像毎に互いに異なっている場合、目印画像検出部１４は、各パターン画像から検出した目印画像に用いられている色の組み合わせを取得し、当該色の組み合わせを用いて撮影画像内のパターン画像を識別したり、撮影画像内のパターン画像が配列される順番を取得するようにしても良い。例えば、予め各パターン画像と、各パターン画像に用いられる２色の色の組み合わせを示す情報とを対応付けた判断用の情報を用意しておき、この情報の色の組み合わせの中から、撮影画像内の目印画像に用いられている色の組み合わせと一致する色の組み合わせを検索し、一致する組み合わせに対応づけられたパターン画像が、撮影画像内のパターン画像であると判断する、または識別するようにすればよい。目印画像検出部１４は、通常、ＭＰＵやメモリ等から実現され得る。目印画像検出部１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３２】
対応管理情報格納部１５は、画像格納部１０に格納されている複数のパターン画像における複数の目印画像の配置されている位置と、当該配置されている位置における色の出現パターンとの対応を示す情報である対応管理情報が格納され得る。目印画像の配置された位置は、例えば、各パターン画像内における目印画像が配置されている位置の座標で表すようにしても良い。また、表示部１１の表示領域内における、目印画像が表示される座標で表すようにしてもよい。目印画像の配置された位置を示す情報は、目印画像の位置を特定できる情報であればよく、例えば、目印画像の中心の座標情報等である。また、目印画像の輪郭等を指定する情報等であっても良い。目印画像の配置されている位置における色の出現パターンとは、目印画像の色の出現するパターン、言い換えれば変化のパターンである。例えば、出現パターンは、各目印画像が配置されている位置における色の順列または組み合わせである。例えば、出現パターンは、複数のパターン画像を予め設定されている所定の順番で並べた場合における、各目印画像の表示位置において表示される目印画像の色の出現する順列である。また、例えば、出現パターンは、複数のパターン画像の、各目印画像の配置されている位置から、目印画像を取得した場合の、当該取得した目印画像の色の組み合わせであってもよい。なお、色の出現パターンは、色の値や名称等の変化する順番や組み合わせを並べて表した情報であっても良い。例えば、出現パターンは、赤、黄、緑、赤、青等で表される。また、色の情報等を数値に置き換えたりした値の変化する順番を表した情報であっても良いし、１つのパターン内において目印画像として利用される２色の色を、２値の値で表した場合の２値の出現するパターンであっても良い。例えば、第一のパターン画像においては、赤色の目印情報を「０」、青色の目印情報を「１」とし、第二のパターン画像においては、緑色の目印情報を「０」、青色の目印情報を「１」とし、第三のパターン画像においては、黄色の目印情報を「０」、青色の目印情報を「１」とした場合においては、出現パターンは、「０１１」、「１０１」や、「０」が３つと「１」が５つの組み合わせ、等で表される。対応する表示位置と出現パターンとは、例えばデータベースの一つのレコードの、二つの属性値として管理される。対応管理情報格納部１５は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００３３】
対応情報取得部１６は、撮影部１２が撮影した画像内における目印画像の位置と、目印画像の予め指定されている表示位置との対応を示す情報である対応情報を取得する。例えば、対応情報取得部１６は、目印画像検出部１４が検出した各目印画像から、同じ位置において検出された目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、撮影部１２が撮影した画像内の位置と、当該色の出現パターンと一致する色の出現パターンを有する複数のパターン画像における目印画像の表示位置との対応を示す対応情報を取得する。ここでの一致は、完全一致であっても部分一致であっても良い。
【００３４】
対応情報取得部１６は、例えば、目印画像検出部１４が各パターン画像について撮影した画像において検出した各目印画像の色情報を取得する。そして、表示部１１に表示された各パターン画像を撮影した画像を、予め指定された所定の順番に並べた場合における、目印画像検出部１４が検出した目印画像のうちの、ほぼ同じ位置に検出された目印画像についての色の出現パターンを取得する。色の出現パターンは、上述したように、色の出現パターンは、色の値や名称等の変化する順番を並べて表した情報であっても良いし、色の情報等を数値に置き換えたりした値の変化する順番を表した情報であっても良いし、１つの画像において目印画像として利用される２色の色を、２値の値で表した場合の２値の出現するパターンであっても良い。そして、対応情報取得部１６は、この色の出現パターンと一致する色の出現パターンを有する一以上のパターン画像における目印画像が表示される位置の情報を取得する。具体的には、対応管理情報格納部１５に格納されている対応管理情報から、対応情報取得部１６が取得した撮影部１２が撮影した画像における目印画像の色の出現パターンと一致する、パターン画像内の目印画像の色の出現パターンに対応付けられた目印画像の位置情報を取得する。そしてこの取得した目印画像が表示される位置情報と、色の出現パターンが同じである目印画像検出部１４が検出した目印画像の位置情報との対応を示す対応情報を取得する。対応情報は、具体的には、対応する目印画像が表示される位置情報と、目印画像検出部１４が検出した撮影された画像における目印画像の位置情報とを対に持つ情報である。ここでの位置情報は、例えば座標情報である。なお、必ずしも、目印画像検出部１４が検出した全ての目印画像の位置について、対応情報を取得する必要はない。また、対応情報取得部１６は、通常、ＭＰＵやメモリ等から実現され得る。対応情報取得部１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
出力部１７は、対応情報取得部１６が取得した対応情報を出力する。ここで述べる出力とは、メモリやハードディスク等の記憶媒体への蓄積や、外部の装置への送信等を含む概念である。出力部１７は、通信インターフェース等の出力デバイスを含むと考えても含まないと考えても良い。出力部１７は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３６】
色情報取得部１８は、撮影部１２が撮影した画像内の複数の目印画像の色に関する情報である色情報と、出力部１７により出力された対応情報が示す撮影部１２が撮影した画像内の複数の目印画像に対応したパターン画像内の目印画像の色情報とを取得する。色情報取得部１８は一つの目印画像が表示される位置についての色情報を取得しても良いし、複数の目印画像が表示される位置についての色情報を取得しても良い。ただし、色情報取得部１８は、一のパターン画像と、当該パターン画像を表示部１１が表示したものを撮影部１２が撮影した画像とから、それぞれ色情報を取得する。また、色情報は、各目印画像内の一部、例えば一画素等の色情報であっても良いし、目印画像内の画素全体の色情報から最小二乗法等を用いて算出した色情報であっても良い。色情報取得部１８は、通常、ＭＰＵやメモリ等から実現され得る。色情報取得部１８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
色補正情報取得部１９は、色情報取得部１８が取得した色情報を用いて、撮影部１２が撮影した画像の色の補正に用いられる色補正情報を取得する。色補正情報とは、具体的には、色の補正に用いられる関数の係数等の値である。例えば、色情報取得部１８が取得した色情報の値を、色を変換する関数に代入することで、色補正情報を算出することができる。これらの関数は問わない。関数の具体例については後述する。通常、ここで述べる色の補正とは、撮影部１２が撮影した画像の色を、撮影部１２が撮影したパターン画像のオリジナルに対して色をあわせるための補正である。ただし、この場合の色の補正は、撮影画像とオリジナルのパターン画像との相対的な色の補正であればよく、撮影画像を、オリジナルのパターン画像に色あわせする補正であっても、オリジナルのパターン画像を、撮影画像に色あわせする補正であっても良い。色補正情報取得部１９は、通常、ＭＰＵやメモリ等から実現され得る。色補正情報取得部１９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア （専用回路）で実現しても良い。
【００３８】
色補正情報出力部２０は、色補正情報取得部１９が取得した色補正情報を出力する。ここで述べる出力とは、メモリやハードディスク等の記憶媒体への蓄積や、外部の装置への送信等を含む概念である。色補正情報出力部２０は、通信インターフェース等の出力デバイスを含むと考えても含まないと考えても良い。色補正情報出力部２０は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３９】
位置補正情報取得部２１は、対応情報取得部１６が取得した位置情報を用いて、撮影部１２が撮影した画像の位置の補正に用いられる位置補正情報を取得する。ここで述べる位置の補正とは、撮影部１２が撮影した画像を、撮影部１２が撮影したパターン画像のオリジナルにあわせるための補正である。ただし、この場合の補正は、撮影画像とオリジナルのパターン画像との相対的な補正であればよく、撮影画像を、オリジナルのパターン画像にあわせる補正であっても、オリジナルのパターン画像を、撮影画像にあわせる補正であっても良い。この位置の補正は、通常は、撮影画像の座標と、オリジナルのパターン画像の座標との間の座標変換である。位置補正情報とは、具体的には、表示部１１が表示する画像を構成する各画素を、撮影部１２が撮影した画像内の、表示部１１が表示している画像内の位置に座標変換するための関数の係数等の値である。例えば、対応情報が示すパターン画像内の目印画像の位置の座標情報と、対応する撮影された画像内の目印画像の位置の座標情報とを、画像を座標変換する関数に代入することで、位置補正情報を算出することができる。座標変換する関数としては、例えば、アフィン変換の関数等がある。この場合、位置補正情報は、アフィン係数である。なお関数は問わない。また、このような座標変換等を行う関数は、いわゆるモーフィング等の技術として公知である。位置補正情報取得部２１は、通常、ＭＰＵやメモリ等から実現され得る。位置補正情報取得部２１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４０】
位置補正情報出力部２２は、位置補正情報取得部２１が取得した位置補正情報を出力する。ここで述べる出力とは、メモリやハードディスク等の記憶媒体への蓄積や、外部の装置への送信等を含む概念である。位置補正情報出力部２２は、通信インターフェース等の出力デバイスを含むと考えても含まないと考えても良い。位置補正情報出力部２２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４１】
次に、情報処理装置の動作について図２のフローチャートを用いて説明する。なお、ここでは、２色のいずれかの色を有する目印画像を異なる位置に複数有するパターン画像を、ｐ（ｐ≧２、ｐは整数）枚用意しており、各パターン画像間においては、各目印画像は同じ位置に表示されるとともに、各パターン画像を予め指定された順番で切り替えて配列、あるいは表示した場合に、同じ表示位置に表示される各目印画像の色の出現パターンは、位置毎に互いに異なるよう設定されているものとする。また、各パターン画像において、目印画像が表示される位置、および、目印画像として利用される色、および背景の色は予め指定されているものとする。背景の色としては通常は黒等が用いられる。
【００４２】
（ステップＳ２０１）表示部１１は、カウンターｍに１を代入する。
（ステップＳ２０２）表示部１１は、ｍ番目のパターン画像を画像格納部１０から読み出し、ディスプレイ等に表示する。
（ステップＳ２０３）撮影部１２は、表示部１１が表示するｍ番目のパターン画像を撮影する。撮影部１２は、パターン画像を静止画として撮影しても動画として撮影しても良い。撮影部１２が撮影した画像は、撮影画像格納部１３に格納される。なお、撮影部１２は、撮影した順番を示す情報、あるいは撮影したパターン画像を識別する情報を、撮影した画像に対応付けて、蓄積しても良い。
（ステップＳ２０４）表示部１１は、カウンターｍを１インクリメントする。
（ステップＳ２０５）表示部１１は、ｍがｐより大きいか否かを判断する。ｍがｐより大きい場合、ステップＳ２０６に進み、大きくない場合、ステップＳ２０２に戻る。
（ステップＳ２０６）情報処理装置１は、撮影部１２が撮影した画像から、目印画像を検出する。なお、目印画像を検出する処理の詳細については後述する。
（ステップＳ２０７）情報処理装置１は、対応情報、色補正情報、および位置補正情報を取得する。なお、対応情報、色補正情報、および位置補正情報を取得する処理については後述する。そして、処理を終了する。
【００４３】
なお、図２のフローチャートにおいて、情報処理装置１が、上記の処理を開始するトリガーやタイミング等は問わない。例えば、撮影部１２により、所望の撮影が行われる直前や、表示部１１のディスプレイ等や、撮影部１２等が設置された時点で行われるようにしてもよい。なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００４４】
次に、図３のフローチャートを用いて、ステップＳ２０６に示した目印画像を検出する処理の詳細について説明する。
（ステップＳ３０１）目印画像検出部１４は、カウンターｎに１を代入する。
（ステップＳ３０２）目印画像検出部１４は、ｎ番目の撮影画像を、撮影画像格納部１３から読み出して取得する。
【００４５】
（ステップＳ３０３）目印画像検出部１４は、ｎ番目の撮影画像から複数の目印画像の位置の検出処理を行う。例えば、目印画像の各画素の色を、順次、予め目印画像として指定されている複数の色と比較していき、比較の結果、目印画像のいずれかの色である、と判断された場合、その画素、およびその画素と同様の色と判断される色が隣接している画素の領域を、一つの目印画像の領域であると判断する。隣接していない領域は、異なる目印画像の領域であると判断する。目印画像を検出するための、画素の色の判断等は、例えば、ＲＧＢ値等の色の成分の情報等に閾値を設けて、画素の色成分がこれらの閾値を超えるか否か等で判断することが好ましい。パターン画像を、ディスプレイ等に表示したものを撮影した撮影画像内の目印画像を構成する画素の色と、オリジナルのパターン画像内の目印画像を構成する画素の色とは、色成分自体が欠落したり、反転したりしてしまうことがないまでも、色成分の値が、大きく変化することが考えられるため、このように閾値等を用いて色の範囲を設定することで、撮影画像内の画素が、目印画像のオリジナルの色と同じ色とみなすか否かを判断することが好適である。また、このような処理において、閾値により、画素の色成分を「０」、「１」等に２値化して、２値化した情報から、目印画像内の画素であるか否かを判断しても良い。なお、目印画像を検出する処理は、上記のような処理に限るものではない。例えば、特定の色域や類似する形状等を有する画像を検出するための、パターンマッチング等の技術を利用して、上記のような目印画像と同じであると考えられる位置を検出するようにしても良い。なお、このような技術は公知技術であるので、説明は省略する。
【００４６】
（ステップＳ３０４）目印画像検出部１４は、ステップＳ３０３で検出した各目印画像の位置の情報と、当該目印画像の色の情報とを取得し、これらを対応付けて出力、例えば、図示しないメモリ等の記憶媒体に蓄積する。また、このとき、各目印画像を識別する識別情報を対応付けて出力することが好ましい。目印画像の位置の情報は、撮影画像内における、目印画像の領域内の中心座標等が用いられる。ただし目印画像の位置の情報は、目印画像の位置を指定可能な情報であれば、目印画像の輪郭を定義する情報や、目印画像の全てや一部の画素の座標等であっても良い。また、目印画像の色の情報は、目印画像内の特定の画素、例えば、目印画像の領域内の中心の画素の色の情報であっても良いし、目印画像内の全てや一部の画素の色の代表値、例えば平均値や中央値等の情報であっても良い。ここでの色の情報は、色のＲＧＢ成分の値等である。
【００４７】
（ステップＳ３０５）目印画像検出部１４は、ステップＳ３０４において出力したｎ番目の撮影画像内の目印画像の色の組み合わせを示す情報、すなわち目印画像として用いられている２つの色の情報を取得する。ここで述べる色の情報は、ＲＧＢ値等の色の成分の値であっても良いし、上述した２値化した色の成分で表された情報であっても良い。なお、目印画像の色が一つだけであった場合、この色の組み合わせの情報は、ある一つの色のみで、他の色がない、ということを示す情報であっても良い。
【００４８】
（ステップＳ３０６）目印画像検出部１４は、ステップＳ３０５で取得した色の組み合わせを示す情報と、予め用意された、画像格納部１０に格納されているパターン画像の配列順番と当該パターン画像内の目印画像に用いられる２つの色との組み合わせを示す情報とを比較して、撮影画像内のパターン画像の配列される順番を示す情報を取得する。なお、目印画像の色が一色のみしかない組み合わせについても、予め配列される順番を設定しておくようにして、目印画像が一色の場合でも配列される順番を示す情報を取得できるようにしても良い。
【００４９】
（ステップＳ３０７）目印画像検出部１４は、ｎ番目の撮影画像内の各目印画像の色情報を、２値化する。目印画像検出部１４は、例えば、予め用意された、目印画像の２つの色の組み合わせと、これらの色を２値化する際にいずれの値を、「１」、「０」等に変換するかを指定する情報とを用いて、各目印画像の色の情報を、「１」、「０」の２値のいずれかに変換する。また、撮影画像内のパターン画像の配列される順番を示す情報と、この配列される順番が示すパターン画像に含まれる２つの色を、それぞれ「１」、「０」等に変換するかを指定する情報とを用いて、各目印画像の色の情報を、「１」、「０」の２値のいずれかに変換してもよい。目印画像検出部１４は、２値化した色の情報を、目印画像の位置情報と対応付けてメモリ等の記憶媒体に蓄積する。
【００５０】
（ステップＳ３０８）目印画像検出部１４は、カウンターｎがｐ以上であるか否かを判断する。ｐ以上であれば、上位関数にリターンする。また、ｐ以上でなければ、ステップＳ３０９に進む。
（ステップＳ３０９）目印画像検出部１４は、カウンターｎを１インクリメントする。
（ステップＳ３１０）目印画像検出部１４は、ｎ番目の撮影画像を、撮影画像格納部１３から読み出して取得する。
（ステップＳ３１１）目印画像検出部１４は、ステップＳ３０３においてｎ＝１番目の撮影画像から検出した複数の目印画像の位置を示す情報を、ｎ番目の撮影画像内の複数の目印画像の位置を示す情報として用いて、ステップＳ３０４と同様に、ｎ番目の撮影画像内の各目印画像の色の情報を取得して、目印画像の位置の情報と対応付けて、出力、例えば、図示しないメモリ等の記憶媒体に蓄積する。そして、ステップＳ３０５に戻る。
【００５１】
なお、図３のフローチャートにおいては、ｎ＝１の撮影画像から取得した目印画像の位置の情報を、ｎ＝１以外の撮影画像の目印画像の位置の情報として利用しているが、これは、撮影部１２と表示部１１のディスプレイの位置等が固定されている場合に、限られる。なお、このようにｎ＝１の撮影画像から取得した目印画像の位置の情報を、ｎ＝１以外の撮影画像の目印画像の位置の情報として利用する代わりに、各撮影画像毎に、ステップＳ３０３と同様の目印画像の検出処理を行うようにし、最終的に、各撮影画像の一致する目印画像同士をパターンマッチング等の技術を用いて検出して、対応付けるようにしても良い。
【００５２】
なお、目印画像を検出しやすくするために、予め他のパターン画像と目印画像の位置が同じであると共に、検出しやすい色の目印画像を有する位置検出用のパターン画像を用意し、この位置検出用のパターン画像を撮影した撮影画像をｎ＝１番目の撮影画像として用いて、目印画像の位置検出だけを、最初に検出するようにしても良い。検出しやすい色の目印画像を有する位置検出用のパターン画像とは、目印画像の位置を検出するためのみに用いられる画像であり、例えば、黒の背景に白色の目印画像を有する画像のように、背景とのコントラストが強い画像等である。なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５３】
次に、図４のフローチャートを用いて、ステップＳ２０７に示した目印画像を検出する処理の詳細について説明する。
（ステップＳ４０１）対応情報取得部１６は、カウンターｉに１を代入する。
（ステップＳ４０２）対応情報取得部１６は、撮影画像内のｉ番目の目印画像が表示された位置について、目印画像の色の出現パターンを取得する。具体的には、図３のステップＳ３０６において取得した撮影画像内のパターン画像の配列される順番を示す情報にそって、複数の撮影画像を配列した場合における、撮影画像内のｉ番目の目印画像が表示された位置について、目印画像の色の出現パターン、ここでは例として、各目印画像の色を２値化した値の現れる順列を取得する。例えば、仮に、１番目のパターン画像を撮影した撮影画像内の、ｉ番目の目印画像が表示された位置の色が「０」、２番目のパターン画像を撮影した撮影画像内の、ｉ番目の目印画像が表示された位置の色が「１」、３番目のパターン画像を撮影した撮影画像内の、ｉ番目の目印画像が表示された位置の色が「０」であったとすると、１番目から３番目までのパターン画像を撮影した撮影画像について、対応情報取得部１６が取得するｉ番目の目印画像が表示された位置における色の出現パターンは、「０１０」となる。
【００５４】
（ステップＳ４０３）対応情報取得部１６は、対応管理情報格納部１５に格納されているオリジナルの複数のパターン画像における目印画像の位置と、目印画像の色の出現パターンとの対応関係を示す対応管理情報を用いて、撮影画像内のｉ番目の目印画像が表示された位置における目印画像の色の出現パターンに対応するパターン画像内の目印画像の位置を取得する。具体的には、対応情報取得部１６は、撮影画像内のｉ番目の目印画像が表示された位置における目印画像の色の出現パターンと一致する出現パターンを、対応管理情報内で検索し、この一致する出現パターンに対応するパターン画像における目印画像の位置の情報を、取得する。
【００５５】
（ステップＳ４０４）対応情報取得部１６は、撮影画像内のｉ番目の目印画像が表示された位置、具体的には座標情報等の位置の情報と、ステップＳ４０３において取得した、画像格納部１０内に格納されているパターン画像内の目印画像が表示される位置、具体的には座標情報等の位置の情報とを、対応付けた対応情報を取得する。
（ステップＳ４０５）出力部１７は、対応情報取得部１６がステップＳ４０４において取得した対応情報を出力、例えば、メモリ等の記憶媒体に蓄積、する。
（ステップＳ４０６）対応情報取得部１６は、カウンターｉを１インクリメントする。
（ステップＳ４０７）対応情報取得部１６は、撮影画像に対してｉ番目の位置情報があるか否かを判断する。ある場合、ステップＳ４０２に戻り、ない場合、ステップＳ４０８に戻る。
【００５６】
（ステップＳ４０８）色情報取得部１８は、画像格納部１０に格納されているパターン情報の目印情報の色の情報と、当該パターン情報を撮影した撮影情報内の、パターン情報の目印情報に対して対応情報で対応付けられた目印情報の色の情報とをそれぞれ取得する。すなわち配列順番が同じパターン画像と撮影画像から、それぞれ対応する目印画像の色の情報を取得する。ここで取得する色の情報は例えば色の成分の値である。ここでは、一対の目印情報の色の情報のみを取得しても良いし、パターン画像内の複数の目印情報の色の情報と、この複数の目印情報に対応する撮影情報内の複数の目印情報の色の情報とを、それぞれ取得しても良い。
【００５７】
（ステップＳ４０９）色補正情報取得部１９は、ステップＳ４０８において取得した色情報を用いて、撮影画像内のパターン画像の色の情報を、パターン画像のオリジナルの色の情報に補正するための関数である色補正関数の係数等の情報である色補正情報を算出する。なお、ステップＳ４０８において、複数の位置の色の情報を取得した場合、最小二乗法等を用いて色補正情報を算出しても良い。
（ステップＳ４１０）色補正情報出力部２０は、ステップＳ４０９において算出した色補正情報を出力、例えばメモリ等の記憶媒体等に蓄積、する。
（ステップＳ４１１）位置補正情報取得部２１は、ステップＳ４０４において取得された対応情報を用いて、撮影画像内のパターン画像の位置の情報と、パターン画像のオリジナルの位置の情報との関係を示す関数である位置補正関数の係数等の情報である位置補正情報を算出する。なお、位置補正関数およびその係数等を算出する方法については、公知であるのでここでは説明を省略する。
（ステップＳ４１２）位置補正情報出力部２２は、ステップＳ４１１において算出した位置補正情報を出力、例えばメモリ等の記憶媒体等に蓄積、する。そして、処理を終了する。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５８】
以下、本実施の形態における情報処理装置の具体的な動作について説明する。情報処理装置の概念図は図５である。ここでは、例として、情報処理装置１の表示部１１と撮影部１２以外は、コンピュータ１ａにより実現されている場合について説明する。ただし、表示部１１と撮影部１２以外の構成が、ハードウェア等で実現されていても良い。ここでは、表示部１１はディスプレイ１１ａを備えているものとする。
【００５９】
ここでは、各パターン画像内の目印画像が、それぞれ２色のいずれか一方の色を有するものとする。目印画像の形状は円形であるとする。また、ここでは例として、パターン画像のサイズは、表示部１１に通常表示される他の画像のサイズ、例えばテレビ会議等の画像のサイズと同じサイズであるとする。図６は、パターン画像別の目印画像の色の組み合わせを管理するパターン画像色管理表である。パターン画像色管理表は、「パターンＩＤ」、「０：カラー」、「１：カラー」という属性を有している。「パターンＩＤ」は、対応するパターン画像の識別情報である。このパターンＩＤはパターン画像の配列順も示しているものとする。「０：カラー」は、２値化の際に「０」と判断される色を示す。「１：カラー」は２値化の際に「１」と判断される色を示す。「０：カラー」、「１：カラー」がパターン画像の目印画像の２つの色を示す。具体的には、ここでは、例として、目印画像の色はＲＧＢ成分の組み合わせにより表されているとともに、ＲＧＢ成分をそれぞれ２値化した値「０」、または「１」で示している。例えば、目印画像のＲ，Ｇ，Ｂの色成分が、それぞれ実際には８ビットで表されていたとすると、Ｒ，Ｇ，Ｂの色成分の値が２５６である場合に、それぞれの成分を「１」で表し、２５６未満である場合、それぞれの成分を「０」で表している。すなわち、「０：カラー」および「１：カラー」は、それぞれ、Ｒ成分とＧ成分とＢ成分と２値の値の配列で表される。例えば、赤色は、（１００）、青色は、（０１０）、緑色は、（００１）で表される。なお、ここでは、各色成分を、「２５６」を閾値として２値化したが、閾値は、「２５６」でなくても良い。
【００６０】
図６においては、例えば、「パターンＩＤ」が「１」であるパターン画像には、（００１）と（０１０）の２つの色が目印画像として用いられていることを示している。なお、ここでは、パターン画像の目印画像以外の領域、すなわち背景画像の色は、黒色、（０００）であるとする。
【００６１】
また、各パターン画像内においては、Ａ（Ａは２以上の整数）個の目印画像が互いに重ならないように配置されており、各パターン画像間においては、Ａ個の目印画像が同じ位置に配置されているものとする。また、パターン画像を予め設定された順番に配列した場合に、パターン画像内の目印画像が配置されている各位置に出現する目印画像の色の出現パターンは、位置毎に互いに異なるものであるとする。
すなわち、このような条件を満たすためには、パターン画像数をＢ（Ｂは２以上の整数）とした場合、２Ｂ≧Ａの関係を満たしているようにする。
【００６２】
この具体例においては、Ａ＝６４個の目印画像が配置されたパターン画像がＢ＝６枚用意されている場合について説明する。また、ここでは、各目印画像が例えば１００ピクセル間隔で配置されているものとする。また、各目印画像の直径は例えば１０ピクセルであるとする。
【００６３】
ここで利用される６枚のパターン画像を、図７に複式的に示す。ここでは、各パターン画像の目印画像の色をそれぞれ、図６に示したパターン画像色管理表を用いて２値化した色で表している。すなわち、例えば、図７においては、「パターンＩＤ」が「２」のパターン画像については、（００１）の色を「０」、（０１０）の色を「１」に置き換えて示している。図７に示したパターン画像においては、パターン画像を「パターンＩＤ」の値の昇順に配列した場合、例えば、右上隅の目印画像の配置された位置における色の出現パターンは、「０００１１１」となる。
【００６４】
各パターン画像の各目印画像が配置される位置は、パターン画像内の座標情報で表される。ここで、図７に示したようパターン画像を、「パターンＩＤ」の値の昇順に配列した場合における、目印画像の配置される位置の情報と、目印画像の色の出現パターンとの関係を示す情報である対応管理情報を、図８に示す。対応管理情報は、「座標」と「出現パターン」という属性を有している。「座標」は、各パターン画像内の目印画像の表示される位置であり、ここでは、目印画像の中心の座標情報を示す。また、「出現パターン」は、パターン画像毎に２値化した色の出現パターンを示す。
【００６５】
まず、情報処理装置１に電源を投入すると、表示部１１は、パターン画像のうちの１番目に表示するパターン画像を、画像格納部１０から読み出し、ディスプレイ１１ａに表示する。
【００６６】
図９は、ディスプレイ１１ａに表示した１番目のパターン画像の表示例を示す図である。ここでは、１番目のパターン画像として、「パターンＩＤ」が「３」であるパターン画像を表示しているものとする。目印画像９１は、色が、「０：カラー」属性に相当する色（００１）である目印画像とし、目印画像９２は、色が、「１：カラー」属性に相当する色（１００）である目印画像であるとする。
【００６７】
撮影部１２は、表示部１１がディスプレイ１１ａに表示したパターン画像を撮影し、撮影した画像を、撮影画像格納部１３に蓄積する。ここでは撮影し、蓄積した画像は、動画像の１フレームであるとする。各パターン画像の表示時間は、撮影部１２が撮影を完了できる時間であれば、問わない。
【００６８】
図１０は、撮影部１２が撮影した、図９に示すようにディスプレイ１１ａに表示されたパターン画像を撮影した撮影画像を示す図である。
【００６９】
１番目のパターン画像の表示、および撮影が終了すると、さらに、残りのパターン画像も順次表示、および撮影が行われる。なお、ここで、表示部１１が表示するパターン画像の表示順番と、上述した「パターンＩＤ」の順番とは一致している必要はない。また、ここでは、電源の投入をトリガーとして、パターン画像の表示を開始したが、表示開始のトリガー等は問わない。
【００７０】
次に、目印画像検出部１４は、図１０に示すような撮影画像の一つ、ここでは、一番目に表示されたパターン画像を撮影した撮影画像、を読み出し、目印画像を検出する処理を行う。ここでは、目印画像に使用される色が、（００１）、（０１１）、（１００）、（１１０）、（１０１）、（１１１）のいずれかであることが分かっているため、撮影画像の各画素について、上記のいずれかの色に相当するか否かを順次判断して、上記のいずれか一つの色に相当する色を有する画素が隣接する領域を検出する。なお、ディスプレイ１１ａの表示領域以外の部分の色に起因する目印画像の誤検出を防ぐためには、予めディスプレイの１１ａの表示領域を、ディスプレイの枠や背景等を検出することで検出したり、表示領域についての指定を入力デバイス等を介して受け付けることにより、この表示領域内のみについて、目印画像の検出を行うようにしても良い。
【００７１】
ただし、撮影画像は、パターン画像を一旦ディスプレイ１１ａに表示した画像を撮影部１２で撮影したものであるため、撮影画像内のパターン画像の目印画像の色は、オリジナルのパターン画像の色とは、色成分の値が異なっていることが考えられる。このため、ここでは、例として、このような色の変化を考慮した色成分毎の閾値を指定して、この閾値により、撮影画像内の画素の色成分を２値化して、上記の目印画像の色であるか否かを判断するようにする。ここでは、例えば、Ｒ，Ｇ，Ｂ成分のそれぞれの閾値を「１８０」に設定して、各画素のそれぞれの色成分について、「１８０」以上のものを「１」、「１８０」未満のものを「０」に変換し、画素が、上記のいずれかの色と一致するか否かを判断する。例えば、Ｒ，Ｇ，Ｂ成分がそれぞれ１３、４０、１５０であった場合、その画素の色は（０００）に変換され、上記のいずれの色にも一致しないため、目印画像を構成する画素でないと判断される。また、例えば、Ｒ，Ｇ，Ｂ成分がそれぞれ２３０、８０、１９２であった場合、その画素の色は（１０１）に変換され、上記の色の一つに一致するため、目印画像を構成する画素であると判断される。そして、同じ色に判断される画素が隣接する領域を、それぞれ、目印画像の領域と判断して、その領域の中心の画素の座標と、目印画像の色の値とを、図示しないメモリ等の記憶媒体に蓄積する。なお、目印画像の中心の画素の座標は、ここでは、目印画像のｘ軸方向の長さが最も長い径と、ｙ軸方向の長さが最も長い径との交わる位置の画素の座標に設定される。
【００７２】
さらに、一の撮影画像について目印画像を検出している際に、目印画像が取り得る２つの色が検出された場合、この２つの色を、図６に示したパターン画像色管理表の管理している色の組み合わせ、すなわち「０：カラー」と「１：カラー」との組み合わせと比較して、一致するレコードの「パターンＩＤ」の属性値を取得する。すなわち、撮影画像は、取得された「パターンＩＤ」の属性値に対応付けられたパターン画像を、撮影した画像であると判断されることとなる。例えば、二つの目印画像の色が、（００１）と（１００）であった場合、図６のパターン画像色管理表から、「パターンＩＤ」の値として「３」が取得される。そして、この取得した「パターンＩＤ」の属性値を、同じ撮影画像から検出した全ての目印画像の位置等を示す情報に対応付けて蓄積する。さらに、目印画像検出部１４は、図６のパターン画像色管理表を用いて、目印画像の二つの色を、二値化する。具体的には、ここでは、二つの目印画像の色が（００１）と（１００）であり、この二つの色の組み合わせを含むレコード、すなわち「パターンＩＤ」の属性値が「３」であるレコードでは、（００１）は「０：カラー」属性であり、（１００）は「１：カラー」属性であることから、（００１）は、「０」に変換され、（１００）は「１」に変換される。そして、この二値化した色の値も、同じ撮影画像から検出した全ての目印画像の位置等を示す情報に対応付けて蓄積する。
【００７３】
次に、他の５つの撮影画像、ここでは、「パターンＩＤ」が「３」を除くパターン画像を撮影した撮影画像についても、それぞれ上記と同様の処理を繰り返す。ただし、ここでは、パターン画像の撮影の際において、撮影部１２等の撮影方向や撮影領域等が固定されているため、目印画像を検出する処理は省略し、一番目の撮影画像について検出した目印画像の領域を示す情報を、そのまま、他の撮影画像の目印画像の領域を示す情報として利用する。従って、異なる撮影画像の、同じ位置の目印画像の位置を示す座標は、同じ値となる。
【００７４】
図１１は、撮影画像から検出された目印画像の位置や色等を管理する目印画像管理表である。目印画像管理表においては、「パターンＩＤ」、「座標」、「色」、「二値化色」である。「パターンＩＤ」は、一の撮影画像において検出された目印画像に使用されている２つの色の組み合わせを用いて得られた「パターンＩＤ」である。「座標」は、目印画像の位置を、目印画像の中心座標で示した値である。ここでは、座標を、画像の左上隅を（０，０）として、ピクセル単位のｘｙ座標値で表している。「色」は、目印画像の色を二値化した色成分で表した値である。「二値化色」は、目印画像の色を図６に示したパターン画像色管理表に基づいて、撮影したパターン画像に応じて二値化した値である。なお、「座標」の値は説明のための値であり、実際の値等とは異なるものとする。
【００７５】
次に、対応情報取得部１６は、目印画像検出部１４が検出した目印画像が配置されている位置毎に、目印画像の色を二値化した値、すなわち図１１の「二値化色」の属性値を、対応する「パターンＩＤ」属性の昇順に並べた配列パターンを取得する。この配列パターンが、撮影画像内における各目印画像の配置される位置における色の出現パターンである。対応情報取得部１６は取得した出現パターンを、目印画像の位置、ここでは座標、と対応付けてメモリ等に一時記憶する。例えば、座標（１２０，１４０）の位置において得られる出現パターンは、「０１００１０」となる。
【００７６】
図１２は、メモリ等に一時記憶された撮影画像における目印画像の位置と色の出現パターンとを管理する出現パターン管理表である。出現パターン管理表は、「目印位置ＩＤ」、「座標」、「撮影出現パターン」という属性を有している。「目印位置ＩＤ」は各目印画像の配置される位置を管理するための識別情報、「座標」は、目印画像の配置される位置の座標、ここでは、目印画像の中心の画素の座標、「撮影出現パターン」は、二値化した色の値を「パターンＩＤ」属性の昇順に並べたパターンである。
【００７７】
ここで、対応管理情報格納部１５には、図８に示したような対応管理情報が、予め格納されているものとする。この対応管理情報は、ユーザにより設定されたものであっても良いし、パターン画像から、上記のような目印画像１４および対応情報取得部１６等を用いて、上記と同様の処理により取得した情報であっても良い。
【００７８】
対応情報取得部１６は、図１２に示したような出現パターン管理表の各レコードについて、「撮影出現パターン」の属性値と、一致する「出現パターン」属性値を有するレコードを、図８に示した対応管理情報において検索する。そして、一致するレコードの「座標」属性値と、出現パターン管理表の「座標」属性値とを対応付けていく。そして、対応付けて得られた対応情報を、出力部１７が図示しないメモリ等の記憶媒体に蓄積する。なお、出力部１７は、外部の装置に対応情報を送信してもよい。
【００７９】
図１３は、出力部１７が出力する対応情報を示す図である。対応情報は、「オリジナル座標」と「撮影画像内座標」という属性を有している。「オリジナル座標」は、オリジナル、すなわち画像格納部１０に格納されているパターン画像内における目印画像が配置される座標である。「撮影画像内座標」は、撮影画像内において、「オリジナル座標」に配置された目印画像が配置されている位置を示す座標である。同じレコードの「オリジナル座標」と「撮影画像内座標」とが互いに対応している座標である。すなわち、撮影画像の、パターン画像が表示されている部分は、「オリジナル座標」の示す座標を、「撮影画像内座標」が示す座標に、座標変換して得られる画像であると考えることができる。
【００８０】
次に、色情報取得部１８は、パターン画像の一つと、当該パターン画像を撮影した撮影画像とから、それぞれ、対応情報が示している対応している目印画像の座標の色情報を取得する。具体的には、パターン画像からは、対応情報の各レコードの「オリジナル座標」が示す座標の画素の色情報を取得し、撮影画像からは、「オリジナル座標」と同一のレコードの「撮影画像内座標」が示す座標の画素の色情報をそれぞれ取得する。ここで取得する色情報は、色の補正のために用いられる情報であるため、Ｒ，Ｇ，Ｂ成分のそれぞれの成分値、色が２４ビットカラーで表される場合、例えば８ビットの値、である必要がある。
【００８１】
そして、色情報取得部１８がパターン画像と撮影画像とからそれぞれ取得した、対応する座標の色を用いて、色補正情報取得部１９が、撮影画像の色をオリジナルのパターン画像の色に補正するための、色を補正する関数である色補正関数のパラメータである色補正情報を算出する。
【００８２】
例えば、このような色補正関数は、撮影画像の画素値を（ｒ，ｇ，ｂ）、オリジナルのパターン画像の対応する画素値を（Ｒ，Ｇ，Ｂ）とすると、
Ｒ＝ａ１ｒ＋ａ２ｇ＋ａ３ｂ
Ｇ＝ｂ１ｒ＋ｂ２ｇ＋ｂ３ｂ
Ｂ＝ｃ１ｒ＋ｃ２ｇ＋ｃ３ｂ
で表される。なお、ａ１〜ａ３、ｂ１〜ｂ３、ｃ１〜ｃ３は、色補正関数の係数、すなわち色補正情報である。
【００８３】
この色補正関数に対して、色情報取得部１８が取得した、パターン画像と撮影画像の、対応している画素の色情報を代入して係数の値を求めることで、撮影画像の色をオリジナルのパターン画像の色に補正するための色補正関数を得ることができる。色補正情報取得部１９が取得した色補正関数の係数を、色補正情報として、色補正情報出力部２０がメモリ等に蓄積する。なお、ここでは、４箇所以上の対応する画素の色情報を、色情報取得部１８が取得するための、上記の係数を算出する際に、最小二乗法等を用いることが好適である。ただし、ここで示した色補正関数を得るためには、通常は色の異なる３箇所の対応する画素の色情報が必要となる。この色補正関数を用いることで、撮影画像全体の色を、オリジナルのパターン画像と同様の色に補正可能となる。すなわち、表示部１１により表示される画像と、撮影部１２が撮影した画像内において表示部に表示された画像との色をあわせることが可能となる。
【００８４】
なお、ここでは色補正関数として、撮影画像の色をパターン画像の色に補正する関数を用いた場合について説明したが、用途によっては、パターン画像の色を撮影画像の色に補正する関数を用いるようにしてもよい。
【００８５】
次に、位置補正情報取得部２１は、対応情報を用いて、位置を補正する関数である位置補正関数のパラメータである位置補正情報を取得する。
例えば、撮影画像内の画素の位置を（ｘ，ｙ）、オリジナルのパターン画像内の画素の位置を（Ｘ，Ｙ）とすると、位置補正関数は、
Ｘ＝ａｘ＋ｂｙ
Ｙ＝ｃｘ＋ｄｙ
で表される。なお、ａ、ｂ、ｃ、ｄは、それぞれ位置補正関数の係数、すなわち位置補正情報である。
【００８６】
この位置補正関数に対して、対応情報の示す、パターン画像の座標と、これに対応する撮影画像内の座標の値を代入して係数の値を求めることで、撮影画像を構成する画素の位置を、パターン画像内の画素の位置に座標変換する位置補正関数を得ることができる。位置補正情報取得部２１が取得した位置補正関数の係数を、位置補正情報として、位置補正情報出力部２２がメモリ等に蓄積する。
【００８７】
なお、ここでは、３箇所以上の対応する画素の座標の情報を、対応情報が有しているため、上記の係数を算出する際に、最小二乗法等を用いることが好適である。ただし、ここで示した位置補正関数を得るためには、通常は異なる２箇所の対応する画素の位置の情報が必要となる。この位置補正関数を用いることで、撮影画像の画素の位置や画像の形状等を、オリジナルのパターン画像と同様の位置や形状等に補正可能となる。
【００８８】
なお、ここでは位置補正関数として、撮影画像の画素の位置をパターン画像内の位置に補正する関数を用いた場合について説明したが、用途によっては、パターン画像の画素の位置を撮影画像内の位置に補正する関数を用いるようにしてもよい。
【００８９】
なお、この具体例において述べた色補正関数や位置補正関数はあくまでも一例であり、他の色補正関数や位置補正関数等を用いるようにし、対応情報等を用いて、これらのパラメータを算出するようにしても良い。
【００９０】
なお、上記具体例においては、目印画像の検出の処理において、目印画像の色と各画素の色とを比較するようにしたが、目印画像は他の方法により検出しても良い。例えば、目印画像の形状が大きく変わらないことが前提となっている場合等には、目印画像とほぼ同じ形状の領域を、一般的なパターンマッチング技術等により検出することで、目印画像を、検出しても良い。また、上記具体例の情報処理装置１が、対応情報の出力を最終的に行い、上記のような色補正関数のパラメータや位置補正関数のパラメータ等を算出する処理は、他の装置で行うようにしても良い。
【００９１】
なお、上記具体例においては、各パターン画像の複数の目印画像が、それぞれ２色の色のうちのいずれか１色を有している場合について説明したが、本実施の形態においては、複数の目印画像は、撮影画像においても識別可能な２以上の色のうちのいずれか一色を有しているようにすればよい。この場合、各パターン画像内の目印画像の色数をＣ（Ｃは２以上の整数）、目印画像数Ａを、パターン画像数をＢ（Ｂは正の整数）とした場合、ＣＢ≧Ａの関係を満たしているようにすればよい。
【００９２】
以上、本実施の形態によれば、表示部１１に表示された画像と、撮影部１２により撮影された画像内において表示部１１に表示された画像との間の、位置の対応を正確に取ることができる。
【００９３】
また、本実施の形態においては、目印画像の色の出現パターンによって、撮影画像内から目印画像を識別して検出するようにしているため、撮影部１２の撮影状況によって、表示部１１の一部しか撮影できず、表示部１１の表示領域内のどの部分を撮影したか分からない場合や、表示部１１の撮影された向き等が判別できない場合においても、撮影画像内から、正確に、目印画像の配置されている位置を識別することができる。
【００９４】
また、本実施の形態においては、撮影画像内における目印画像の色の出現パターンにより、目印画像を識別するため、目印画像の色が多少、表示や撮影等の処理により変色していても、撮影画像内から、正確に、目印画像を識別することができる。
【００９５】
また、目印画像の形から目印画像を識別する場合とは異なり、色の出現パターンにより目印画像を識別するため、撮影画像にゆがみ等が生じたり、撮影位置によって、大きなパース等が入って撮影画像がゆがんで、目印画像が変形してしまっても、撮影画像内から、正確に、目印画像を識別することができる。
【００９６】
また、本実施の形態においては、実際に撮影に利用する撮影部１２により、予め用意されたパターン画像を撮影するだけで、簡単に位置や色の補正のための情報を得ることができ、補正のための専用のデバイス等を設置する必要がなく、コストの上昇を抑えることができる。また、補正のための特別な操作を最小限にできるため、操作性が向上する。
【００９７】
なお、上記実施の形態において、目印画像の色の出現パターンにより、目印画像が検出された位置を識別するようにしたが、複数のパターン画像の、少なくとも一つのパターン画像において目印画像が配置された位置における、目印画像の有無のパターンである出現パターンにより、目印画像が配置された位置を識別するようにしても良い。例えば、第一のパターン画像のある座標（ｘ１、ｙ１）において、目印画像が出現し、その同じ座標において、異なる第二、第三のパターンにおいては、目印画像が出現せず、背景画像のみが出現した場合、目印画像を「１」、背景画像を「０」に置き換えて、座標（ｘ１、ｙ１）における目印画像の出現パターンを、「０１１」と考えても良い。ただし、この場合、複数の撮影画像内に目印画像が検出されるまでは、目印画像の位置が検出できないため、一旦、目印画像の位置を、検出後、他の撮影画像の同じ位置において、背景画像を検出する必要があり、処理に後戻りが発生する可能性がある。
【００９８】
なお、上記実施の形態において、互いに異なる、予め設定された所定の位置に、一つの目印画像がそれぞれ配置された複数のパターン画像を表示するようにし、複数の撮影画像内のパターン画像毎に、これらの目印画像の位置をそれぞれ検出することで、撮影したパターン画像と、撮影画像内の目印画像の検出された位置との組み合わせを用いて、撮影された目印画像の検出された位置を識別するようにしてもよい。すなわちここでは、パターン画像毎に、目印画像の位置が特定されることとなる。このため、各目印画像が、どのパターン画像を撮影した撮影画像から検出されたか判断することで、撮影画像の目印画像が検出された位置を識別することができる。言い換えれば、ここでは、各目印画像が検出されたパターン画像を識別する情報を、各目印画像についての出現パターンと考えて、各撮影画像から検出された各目印画像についての出現パターンを取得し、この出現パターンを用いて、各撮影画像内において検出された目印画像の位置と、当該目印画像の出現パターンと一致する出現パターンを有する、オリジナルの複数のパターン画像における目印画像の配置されている位置と、の対応を示す対応情報を取得するようにする。例えば、第一のパターン画像においては、座標（ｘ２、ｙ２）に一つの目印画像のみが配置されている場合、第一のパターン画像を撮影した撮影画像内で目印画像を検出した位置は、この第一のパターン画像の座標（ｘ２、ｙ２）に対応した位置であると判断することができる。ただし、このような場合、例えば、撮影画像が撮影したパターン画像が、どのパターン画像であるかを、撮影したパターン画像を識別する情報を撮影情報に対応付けたり、パターン画像の表示順番と撮影順番とを対応付けておくこと等により、識別できるようにする必要がある。また、このような場合においては、各パターン画像には、一つの目印画像しか配置することができないため、撮影画像内の複数の位置を識別するためには、パターン画像を、識別したい位置の数と同数だけ用意する必要があるとともに、これらのパターン画像を全て表示して撮影する必要がある。このため、上述したような目印画像の色の出現パターンにより、目印画像が配置されている複数の位置を識別する場合と比べて、処理時間が長くなってしまう。
【００９９】
なお、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１００】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【０１０１】
なお、上記各プログラムにおいて、表示ステップや撮影ステップや出力ステップなどでは、ハードウェアによって行われる処理、例えば、表示ステップにおける表示デバイス等で行われる処理（ハードウェアでしか行われない処理）は含まれない。また、これらのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、これらのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１０２】
また、上記実施の形態において、一の装置に存在する２以上の出力手段（出力部、色補正情報出力部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１０３】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。また、上記実施の形態では、情報処理装置がスタンドアロンである場合について説明したが、情報処理装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【産業上の利用可能性】
【０１０４】
以上のように、本発明にかかる情報処理装置等は、ディスプレイ等に表示した画像等を撮影して処理する情報処理装置等として適しており、特に、テレビ会議システムを構成する情報処理装置等として有用である。
【図面の簡単な説明】
【０１０５】
【図１】本発明の一実施形態における情報処理装置のブロック図である。
【図２】本発明の一実施形態における情報処理装置の動作について示したフローチャートである。
【図３】本発明の一実施形態における情報処理装置の動作について示したフローチャートである。
【図４】本発明の一実施形態における情報処理装置の動作について示したフローチャートである。
【図５】本発明の一実施形態における情報処理装置の概念図である。
【図６】本発明の一実施形態におけるパターン画像色管理表を示した図である。
【図７】本発明の一実施形態におけるパターン画像の例を示した図である。
【図８】本発明の一実施形態における対応管理情報を示した図である。
【図９】本発明の一実施形態における情報処理装置の表示例を示した図である。
【図１０】本発明の一実施形態における情報処理装置の撮影画像の例を示した図である。
【図１１】本発明の一実施形態における目印画像管理表を示した図である。
【図１２】本発明の一実施形態における出現パターン管理表を示した図である。
【図１３】本発明の一実施形態における対応情報を示した図である。
【符号の説明】
【０１０６】
１ 情報処理装置
１０ 画像格納部
１１ 表示部
１２ 撮影部
１３ 撮影画像格納部
１４ 目印画像検出部
１５ 対応管理情報格納部
１６ 対応情報取得部
１７ 出力部
１８ 色情報取得部
１９ 位置補正情報取得部
２０ 色補正情報出力部
２１ 位置補正情報取得部
２２ 位置補正情報出力部
【技術分野】
【０００１】
本発明は、ディスプレイ等に表示した画像と、当該ディスプレイに表示された画像を撮影して得られた画像との対応を取るための情報処理装置等に関するものである。
【背景技術】
【０００２】
従来、テレビ会議システムが開発されており、そのテレビ会議システムを用いることにより、遠隔の２以上の会議室の間で映像・音声の送受信を行うことができ、その２以上の会議室にいる人たちで会議を行うことができていた。一方、従来の画像処理の技術として、背景画像の用意されていない動画像において、動領域の切れ目のない閉輪郭を生成し、この閉輪郭を用いて動領域と背景領域とを分離する技術が開発されている（例えば、特許文献１参照）。
【０００３】
上記のようなテレビ会議システム等においては、第一の会議室における会議の様子を撮影するカメラの設置場所や向き等によっては、カメラが、第一の会議室内の参加者等だけでなく、撮影領域内に配置されたディスプレイ等に表示されている資料の画像や、第二の会議室の状態を撮影した画像等を撮影することが考えられる。このような一旦ディスプレイ等に表示された画像を再度撮影して得られた画像は、通常、画質が悪く、内容が把握しにくい。
【０００４】
このような場合に、撮影された画像内のディスプレイに表示されている画像を、ディスプレイ等に実際に表示された画像を用いて色補正して見やすくしたり、特許文献１の差分画像を得る技術を利用して、画像間の差分を求めて削除したりすることが考えられる。このように、ディスプレイ等に実際に表示された画像を用いて、撮影された画像内のディスプレイに表示されている画像を、色補正したり、削除したりする場合、ディスプレイ等に実際に表示された画像と、撮影された画像内のディスプレイに表示されている画像との対応を取る必要がある。
【特許文献１】特開平１１−３５３４８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、撮影された画像内のディスプレイに表示されている画像は、撮影する向きや、レンズによるゆがみの発生等により、形状や大きさや色が，ディスプレイに実際に表示された画像等とは異なる場合が多い。このため、ディスプレイに実際に表示された画像と、カメラ等により撮影された画像内において、ディスプレイに表示された画像との間の対応等を正確に取ることが困難であるという課題があった。この結果、ディスプレイに実際に表示された画像と、撮影された画像内のディスプレイに実際に表示された画像とが同じ色になるように補正するための情報や、これらの画像同士を比較して差分を求められるようにするために、一方の画像を他方の画像とほぼ同じ形状となるように補正するための情報を、適切に構成することができなかった。
【０００６】
本発明は、上記の課題を達成するためになされたものであり、ディスプレイなどの表示部に表示された画像と、カメラなどの撮影部により撮影された画像内において表示部に表示された画像との間の対応を、正確に取ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、前記対応情報取得部が取得した前記対応情報を出力する出力部と、を具備することを特徴とする情報処理装置である。
かかる構成により、表示部に表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の、位置の対応を正確に取ることができる。特に、目印画像の出現パターンによって、撮影画像内から目印画像を識別して検出するようにしているため、撮影部の撮影状況によって、表示部の一部しか撮影できず、表示部の表示領域内のどの部分を撮影したか分からない場合や、表示部の撮影された向き等が判別できない場合においても、撮影画像内から、正確に、目印画像が配置されている位置を識別することができる。
【０００８】
また、本発明の情報処理装置の前記画像格納部には、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、前記対応情報取得部は、前記目印画像検出部が検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の前記目印画像の配置されている位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得することを特徴とする。
かかる構成により、表示部に表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の、位置の対応を正確に取ることができる。特に、目印画像の色の出現パターンによって、撮影画像内から目印画像を識別して検出するようにしているため、撮影部の撮影状況によって、表示部の一部しか撮影できず、表示部の表示領域内のどの部分を撮影したか分からない場合や、表示部の撮影された向き等が判別できない場合においても、撮影画像内から、正確に、目印画像が配置されている位置を識別することができる。
【０００９】
また、本発明の情報処理装置は、複数の前記パターン画像における複数の前記目印画像の配置された位置と、当該配置された位置における色の出現パターンとの対応を示す情報である対応管理情報が格納される対応管理情報格納部を更に具備し、前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記対応管理情報を用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得することを特徴とする情報処理装置である。
かかる構成により、表示部に表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の、位置の対応を正確に取ることができる。
【００１０】
また、本発明の情報処理装置の前記目印画像は、それぞれ、２色の色のうちいずれか一方の色を有し、前記画像格納部には、各前記パターン画像内の前記目印画像数をＡ（Ａは２以上の整数）、前記パターン画像数をＢ（Ｂは２以上の整数）とした場合に、２Ｂ≧Ａの関係を満たすような複数の前記パターン画像が格納されることを特徴とする。
かかる構成により、目印画像数を最適化できる。
【００１１】
また、本発明の情報処理装置の前記目印画像の前記２色の組み合わせは、前記パターン画像ごとに互いに異なっており、前記目印画像検出部は、前記撮影画像内の目印画像に用いられている前記２色の組み合わせを取得し、前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記２色の組み合わせを用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得することを特徴とする。
かかる構成により、この撮影画像が複数のパターン画像を撮影する際等に、複数のパターン画像を識別できるようにする必要がなく、パターン画像を撮影する順番等を考慮する必要がなくなり、処理を簡略化できる。
【００１２】
また、本発明の情報処理装置は、前記撮影部が撮影した前記撮影画像内の前記目印画像の色に関する情報である第１の色情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の色に関する情報である第２の色情報とを取得する色情報取得部と、前記色情報取得部が取得した前記第１の色情報と前記第２の色情報とを用いて、前記撮影部が撮影した画像の色の補正に用いられる情報である色補正情報を取得する色補正情報取得部と、前記色補正情報取得部が取得した前記色補正情報を出力する色補正情報出力部と、を更に具備することを特徴とする情報処理装置である。
かかる構成により、画像間の対応する位置の色を用いて色補正情報を取得することができるため、この色補正情報を用いて色補正を行うことで、正確に色の補正を行うことができる。
【００１３】
また、本発明の情報処理装置は、前記撮影部が撮影した前記撮影画像内の前記目印画像の位置に関する情報である第１の位置情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の位置に関する情報である第２の位置情報とを取得する位置情報取得部と、前記位置情報取得部が取得した前記第１の位置情報と前記第２の位置情報とを用いて、前記撮影部が撮影した画像の位置の補正に用いられる位置補正情報を取得する位置補正情報取得部と、前記位置補正情報取得部が取得した前記位置補正情報を出力する位置補正情報出力部と、を更に具備することを特徴とする情報処理装置である。
かかる構成により、この補正情報を用いて位置の補正を行うことで、正確に位置の補正を行うことができる。
【００１４】
また、本発明は、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、表示部と、撮影部と、目印画像検出部と、対応情報取得部と、出力部とを具備した情報処理装置の情報処理方法であって、前記表示部が、画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示ステップと、前記撮影部が、前記表示ステップで表示している前記パターン画像を含む画像を撮影する撮影ステップと、前記目印画像検出部が、前記撮影ステップで前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出ステップと、前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得ステップと、前記出力部が、前記対応情報取得ステップで取得した前記対応情報を出力する出力ステップと、を具備することを特徴とする情報処理方法である。
【００１５】
また、本発明の情報処理方法の前記画像格納部は、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、前記対応情報取得ステップは、前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得することを特徴とする。
【００１６】
また、本発明は、コンピュータを、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、前記対応情報取得部が取得した前記対応情報を出力する出力部と、して機能させるためのプログラムである。
【００１７】
また、本発明は、コンピュータを、目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、前記対応情報取得部が取得した前記対応情報を出力する出力部と、して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１８】
本発明による情報処理装置等によれば、表示部により表示された画像と、撮影部により撮影された画像内において表示部に表示された画像との間の対応を、正確に取ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２０】
（実施の形態）
本実施の形態における情報処理装置は、表示部に表示された複数の目印画像を有する複数のパターン画像を、撮影部により撮影し、この撮影した撮影画像内における目印画像が配置されている位置における目印画像の色の出現パターンを取得することで、撮影画像内の目印画像が表示されている位置と、パターン画像内の目印画像の位置との対応を求めるものである。
【００２１】
図１は、本実施の形態における情報処理装置のブロック図である。情報処理装置１は、画像格納部１０、表示部１１、撮影部１２、撮影画像格納部１３、目印画像検出部１４、対応管理情報格納部１５、対応情報取得部１６、出力部１７、色情報取得部１８、色補正情報取得部１９、色補正情報出力部２０、位置補正情報取得部２１、位置補正情報出力部２２を具備する。
【００２２】
画像格納部１０には、一以上、好ましくは複数の目印画像が異なる位置に配置された画像であるパターン画像を示す情報である画像情報が、複数格納されている。なお、本実施の形態においては、画像情報も、説明の便宜上、適宜、画像と称す。また、複数のパターン画像間においては、複数の目印画像の配置されている位置が同じとなっている。さらに、複数のパターン画像においては、異なる位置に配置された目印画像の色の出現パターンが互いに異なるものとしている。
【００２３】
目印画像とは、目印となる画像である。ここで述べる目印とは、画像内の位置を識別するための目印である。目印画像は後述するパターン画像の一部を構成する画像である。目印画像は、具体的には、後述する表示部１１が表示する画像内の位置と、撮影部１２が撮影した画像内において表示部１１が表示している画像内の位置との対応を求める際に用いられる画像のことである。目印画像は、背景等から分離して検出可能な、色や形状を有する画像である。目印画像の形状は、目印画像が表示される位置を、目印画像の中心の位置とする場合、目印画像が変形しても、その中心位置が変わりにくいことから、円形が好ましい。ただし、多角形等の他の形状でも良い。目印画像の大きさは問わない。
【００２４】
各目印画像は、複数の色のうちのいずれか一つの色を有する。目印画像の色は、撮影部１２が撮影した画像内において、目印画像の背景となる画像である背景画像に対して、識別可能な色とする。各目印画像は、均一な色であることが好ましいが、識別が可能な範囲であれば、多少のばらつきを有していても良い。目印画像およびパターン画像は、ベクトル画像でも、ラスタ画像であっても良い。パターン画像の目印画像が配置されていない領域は、通常、背景画像となっている。パターン画像は、例えば、表示部１１が通常表示する画像の画素数に相当する画素数を有する背景画像の所定の位置に、複数の目印画像を配置して構成した画像である。パターン画像における目印画像間の配置間隔や位置関係等は問わない。各パターン画像において、各目印画像の配置される位置は、通常、予め指定されている。目印画像の配置されている位置は、表示部１１が通常表示する画像内の位置を示す情報、例えば座標等で指定される。目印画像の配置されている位置は、表示部１１の表示領域内の位置を示す情報、例えば座標等で指定されてもよい。目印画像は、表示される位置、あるいは配置される位置を指定する情報と対応付けられて、画像格納部１０内に格納されていても良い。
【００２５】
なお、パターン画像は、表示部１１により表示される画像における、表示位置を示す情報等と対応付けられた複数の目印画像と考えても良い。この場合、表示部１１が表示を行う際に、これらの複数の目印画像を、それぞれの表示位置に配置した表示用のパターン画像を構成して、パターン画像を表示するようにしても良い。なお、ここでは、上述したように、各パターン画像間においては、複数の目印画像が配置される位置が一致しているとともに、同じ位置に表示される目印画像の色が出現するパターン、すなわち、出現パターンが、位置毎に全て異なるように、各パターン画像内に目印画像を配置している。色の出現パターンとは、言い換えれば目印画像の色の変化のパターンである。具体的には、出現パターンは、複数のパターン画像の、各目印画像が配置される位置における複数の目印画像の色の順列または組み合わせである。例えば、出現パターンは、複数のパターン画像を予め設定されている所定の順番で並べた場合における、各目印画像の配置位置における目印画像の色の出現する順列である。また、例えば、出現パターンは、パターン画像の各目印画像の配置されている位置において、複数のパターン画像から複数の目印画像を取り出した場合における、取り出された目印画像の色の組み合わせであってもよい。例えば、本実施の形態においては、複数のパターン画像を、予め設定された順番に表示させる場合に、異なる位置に表示される目印画像の色の出現パターンが互いに異なるような複数の目印画像を、各パターン画像が有しているようにする。このようにすることにより、詳細については後述するが、撮影部１２が撮影した画像内における目印画像が配置されている位置毎の目印画像の色の出現パターンを用いて、目印画像が配置されている位置を識別することができる。
【００２６】
なお、色の情報を数値で置き換えるようにし、その数値の出現パターンを取得することも、ここでは、色の出現パターンを取得することと考える。また、ここでは例として、各パターン画像における各目印画像の色は、それぞれ２色のうちのいずれか一方であるとする。また、各パターン画像間における各目印画像の２色の組み合わせは、全て同じとしても良いが、異なるようにしてもよい。特に、全て異なるようにすることで、その色の組み合わせを判断することにより、どのパターン画像であるか、もしくはどのパターン画像を撮影した画像であるかを判断することができる。なお、後述するが、各パターン画像内の目印画像が、２色の色のうちのいずれか一方の色を有する場合において、各目印画像が配置された位置を識別できるようにするためには、各パターン画像内に配置される目印画像数をＡ（Ａは２以上の整数）、パターン画像数をＢ（Ｂは２以上の整数）とした場合に、２Ｂ≧Ａの関係を満たすような複数のパターン画像が、画像格納部１０に格納されているようにする。画像格納部１０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２７】
表示部１１は、画像格納部１０に格納されている複数のパターン画像を、切り替えて表示する。複数のパターン画像は、予め定められた順番で表示することが好ましいが、表示部１１に表示したパターン画像、もしくは撮影部１２が撮影した画像から、各パターン画像を識別可能な場合には、表示部１１が、各パターン画像を表示する順番は問わない。表示部１１は、表示デバイスを含むと考えても、含まないと考えても良い。表示部１１は、表示デバイスのドライバーソフト、または表示デバイスのドライバーソフトと表示デバイス等で構成される。表示デバイスは、例えば、液晶や、ＣＲＴ等のディスプレイで実現され得る。
【００２８】
撮影部１２は、表示部１１がディスプレイ等に表示しているパターン画像を含む画像を撮影する。撮影部１２は、表示部１１が画像を表示する領域とともに、それ以外の領域を含む領域の画像を撮影しても良い。また、表示部１１が、複数のパターン画像を切り替えて表示する場合、切り替えて表示部１１に表示される複数のパターン画像を含む各画像を、それぞれ撮影する。また、撮影部１２は、表示部１１が表示しているパターン画像のうちの、複数の目印画像を含む一部の領域のみを撮影しても良い。撮影部１２は、複数のフレーム画像を備えた動画像を撮影してもよいし、静止画像を撮影しても良い。上述したように複数のパターン画像が切り替えられて表示される場合、撮影部１２は、パターン画像が切り替える毎に静止画像を撮影しても良いし、切り替えられた全てのパターン画像を含む動画像を撮影しても良い。例えば、撮影部１２は、表示部１１から、表示しているパターン画像を切り替えを行うことを示す情報を受け付けるようにし、切り替えを行う情報を受け付けた場合に、静止画像を撮影しても良い。また、撮影部１２は、切り替えが行われたことを示す情報を、撮影している動画像のフレームやヘッダ等に付与しても良い。この情報を参照することで、パターン画像の切り替えが行われたタイミングを判断することができる。撮影部１２が撮影した画像は、撮影画像格納部１３に蓄積される。撮影部１２は、撮影したパターン画像の表示順番を示す情報を構成して、撮影した画像である撮影画像に対応付けて、撮影画像格納部１３等に蓄積しても良い。撮影部１２は、例えばＣＣＤやＣＭＯＳ等を備えたカメラやイメージセンサ等により構成される。通常、撮影部１２は、撮影時には固定して利用される。撮影画像格納部１３には、撮影部１２が撮影した画像が格納され得る。撮影画像格納部１３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２９】
目印画像検出部１４は、撮影部１２が撮影した画像内における目印画像を検出する。撮影部１２が、表示部１１に切り替えて表示されたパターン画像を撮影した場合、目印画像検出部１４は、撮影部１２が撮影した、表示部１１が表示した各パターン画像を含む静止画像毎に、画像内における各目印画像を検出する。あるいは、目印画像検出部１４は、表示部１１が表示した各パターン画像を撮影部１２が撮影した動画像のうちの、各パターン画像が撮影されている部分から、それぞれ１フレームを取り出して、それぞれ、画像内における各目印画像を検出する。１フレームを取り出す代わりに複数フレームを取り出して、複数フレームを平均した１フレーム分の合成画像を予め構成しても良い。
【００３０】
なお、目印画像検出部１４は、結果的に、全てのパターン画像から目印画像を検出できれば良く、例えば、全てのパターン画像について目印画像を検出する代わりに、一つのパターン画像について目印画像を検出し、他のパターン画像については、その検出した位置と同じ位置に、目印画像が検出されたものとしてもよく、このような場合においても、各パターン画像について目印画像を検出したことと考える。目印画像検出部１４は、例えば、予めメモリ等に蓄積しておいた目印画像に用いられる複数の色の情報を読み出し、各パターン画像を含む静止画像、もしくは１フレームの画像内において、画素毎に、目印画像に用いられているいずれかの色と同じか、もしくは目印画像の色に近いか否かを判断し、目印画像の色と同じ画素、もしくは近い画素が連続して隣接している領域が検出された場合に、この領域内の画像を、撮影部１２が撮影した画像内における目印画像として検出する。
【００３１】
目印画像検出部１４は、検出した目印画像を指定する情報を、例えば、図示しないメモリ等の記憶媒体等に蓄積する。検出した目印画像を指定する情報は、目印画像が指定できる情報であれば良く、例えば、目印画像を構成する各画素の座標情報、目印画像を代表する画素、例えば中心の画素等の座標情報や、目印画像の輪郭を指定する座標情報等である。目印画像検出部１４は、各目印画像に対して、管理のための識別情報等を対応付けてメモリ等に蓄積しても良い。なお、複数のパターン画像の目印画像として利用される２色の組み合わせが、前記パターン画像毎に互いに異なっている場合、目印画像検出部１４は、各パターン画像から検出した目印画像に用いられている色の組み合わせを取得し、当該色の組み合わせを用いて撮影画像内のパターン画像を識別したり、撮影画像内のパターン画像が配列される順番を取得するようにしても良い。例えば、予め各パターン画像と、各パターン画像に用いられる２色の色の組み合わせを示す情報とを対応付けた判断用の情報を用意しておき、この情報の色の組み合わせの中から、撮影画像内の目印画像に用いられている色の組み合わせと一致する色の組み合わせを検索し、一致する組み合わせに対応づけられたパターン画像が、撮影画像内のパターン画像であると判断する、または識別するようにすればよい。目印画像検出部１４は、通常、ＭＰＵやメモリ等から実現され得る。目印画像検出部１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３２】
対応管理情報格納部１５は、画像格納部１０に格納されている複数のパターン画像における複数の目印画像の配置されている位置と、当該配置されている位置における色の出現パターンとの対応を示す情報である対応管理情報が格納され得る。目印画像の配置された位置は、例えば、各パターン画像内における目印画像が配置されている位置の座標で表すようにしても良い。また、表示部１１の表示領域内における、目印画像が表示される座標で表すようにしてもよい。目印画像の配置された位置を示す情報は、目印画像の位置を特定できる情報であればよく、例えば、目印画像の中心の座標情報等である。また、目印画像の輪郭等を指定する情報等であっても良い。目印画像の配置されている位置における色の出現パターンとは、目印画像の色の出現するパターン、言い換えれば変化のパターンである。例えば、出現パターンは、各目印画像が配置されている位置における色の順列または組み合わせである。例えば、出現パターンは、複数のパターン画像を予め設定されている所定の順番で並べた場合における、各目印画像の表示位置において表示される目印画像の色の出現する順列である。また、例えば、出現パターンは、複数のパターン画像の、各目印画像の配置されている位置から、目印画像を取得した場合の、当該取得した目印画像の色の組み合わせであってもよい。なお、色の出現パターンは、色の値や名称等の変化する順番や組み合わせを並べて表した情報であっても良い。例えば、出現パターンは、赤、黄、緑、赤、青等で表される。また、色の情報等を数値に置き換えたりした値の変化する順番を表した情報であっても良いし、１つのパターン内において目印画像として利用される２色の色を、２値の値で表した場合の２値の出現するパターンであっても良い。例えば、第一のパターン画像においては、赤色の目印情報を「０」、青色の目印情報を「１」とし、第二のパターン画像においては、緑色の目印情報を「０」、青色の目印情報を「１」とし、第三のパターン画像においては、黄色の目印情報を「０」、青色の目印情報を「１」とした場合においては、出現パターンは、「０１１」、「１０１」や、「０」が３つと「１」が５つの組み合わせ、等で表される。対応する表示位置と出現パターンとは、例えばデータベースの一つのレコードの、二つの属性値として管理される。対応管理情報格納部１５は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００３３】
対応情報取得部１６は、撮影部１２が撮影した画像内における目印画像の位置と、目印画像の予め指定されている表示位置との対応を示す情報である対応情報を取得する。例えば、対応情報取得部１６は、目印画像検出部１４が検出した各目印画像から、同じ位置において検出された目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、撮影部１２が撮影した画像内の位置と、当該色の出現パターンと一致する色の出現パターンを有する複数のパターン画像における目印画像の表示位置との対応を示す対応情報を取得する。ここでの一致は、完全一致であっても部分一致であっても良い。
【００３４】
対応情報取得部１６は、例えば、目印画像検出部１４が各パターン画像について撮影した画像において検出した各目印画像の色情報を取得する。そして、表示部１１に表示された各パターン画像を撮影した画像を、予め指定された所定の順番に並べた場合における、目印画像検出部１４が検出した目印画像のうちの、ほぼ同じ位置に検出された目印画像についての色の出現パターンを取得する。色の出現パターンは、上述したように、色の出現パターンは、色の値や名称等の変化する順番を並べて表した情報であっても良いし、色の情報等を数値に置き換えたりした値の変化する順番を表した情報であっても良いし、１つの画像において目印画像として利用される２色の色を、２値の値で表した場合の２値の出現するパターンであっても良い。そして、対応情報取得部１６は、この色の出現パターンと一致する色の出現パターンを有する一以上のパターン画像における目印画像が表示される位置の情報を取得する。具体的には、対応管理情報格納部１５に格納されている対応管理情報から、対応情報取得部１６が取得した撮影部１２が撮影した画像における目印画像の色の出現パターンと一致する、パターン画像内の目印画像の色の出現パターンに対応付けられた目印画像の位置情報を取得する。そしてこの取得した目印画像が表示される位置情報と、色の出現パターンが同じである目印画像検出部１４が検出した目印画像の位置情報との対応を示す対応情報を取得する。対応情報は、具体的には、対応する目印画像が表示される位置情報と、目印画像検出部１４が検出した撮影された画像における目印画像の位置情報とを対に持つ情報である。ここでの位置情報は、例えば座標情報である。なお、必ずしも、目印画像検出部１４が検出した全ての目印画像の位置について、対応情報を取得する必要はない。また、対応情報取得部１６は、通常、ＭＰＵやメモリ等から実現され得る。対応情報取得部１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
出力部１７は、対応情報取得部１６が取得した対応情報を出力する。ここで述べる出力とは、メモリやハードディスク等の記憶媒体への蓄積や、外部の装置への送信等を含む概念である。出力部１７は、通信インターフェース等の出力デバイスを含むと考えても含まないと考えても良い。出力部１７は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３６】
色情報取得部１８は、撮影部１２が撮影した画像内の複数の目印画像の色に関する情報である色情報と、出力部１７により出力された対応情報が示す撮影部１２が撮影した画像内の複数の目印画像に対応したパターン画像内の目印画像の色情報とを取得する。色情報取得部１８は一つの目印画像が表示される位置についての色情報を取得しても良いし、複数の目印画像が表示される位置についての色情報を取得しても良い。ただし、色情報取得部１８は、一のパターン画像と、当該パターン画像を表示部１１が表示したものを撮影部１２が撮影した画像とから、それぞれ色情報を取得する。また、色情報は、各目印画像内の一部、例えば一画素等の色情報であっても良いし、目印画像内の画素全体の色情報から最小二乗法等を用いて算出した色情報であっても良い。色情報取得部１８は、通常、ＭＰＵやメモリ等から実現され得る。色情報取得部１８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
色補正情報取得部１９は、色情報取得部１８が取得した色情報を用いて、撮影部１２が撮影した画像の色の補正に用いられる色補正情報を取得する。色補正情報とは、具体的には、色の補正に用いられる関数の係数等の値である。例えば、色情報取得部１８が取得した色情報の値を、色を変換する関数に代入することで、色補正情報を算出することができる。これらの関数は問わない。関数の具体例については後述する。通常、ここで述べる色の補正とは、撮影部１２が撮影した画像の色を、撮影部１２が撮影したパターン画像のオリジナルに対して色をあわせるための補正である。ただし、この場合の色の補正は、撮影画像とオリジナルのパターン画像との相対的な色の補正であればよく、撮影画像を、オリジナルのパターン画像に色あわせする補正であっても、オリジナルのパターン画像を、撮影画像に色あわせする補正であっても良い。色補正情報取得部１９は、通常、ＭＰＵやメモリ等から実現され得る。色補正情報取得部１９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア （専用回路）で実現しても良い。
【００３８】
色補正情報出力部２０は、色補正情報取得部１９が取得した色補正情報を出力する。ここで述べる出力とは、メモリやハードディスク等の記憶媒体への蓄積や、外部の装置への送信等を含む概念である。色補正情報出力部２０は、通信インターフェース等の出力デバイスを含むと考えても含まないと考えても良い。色補正情報出力部２０は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３９】
位置補正情報取得部２１は、対応情報取得部１６が取得した位置情報を用いて、撮影部１２が撮影した画像の位置の補正に用いられる位置補正情報を取得する。ここで述べる位置の補正とは、撮影部１２が撮影した画像を、撮影部１２が撮影したパターン画像のオリジナルにあわせるための補正である。ただし、この場合の補正は、撮影画像とオリジナルのパターン画像との相対的な補正であればよく、撮影画像を、オリジナルのパターン画像にあわせる補正であっても、オリジナルのパターン画像を、撮影画像にあわせる補正であっても良い。この位置の補正は、通常は、撮影画像の座標と、オリジナルのパターン画像の座標との間の座標変換である。位置補正情報とは、具体的には、表示部１１が表示する画像を構成する各画素を、撮影部１２が撮影した画像内の、表示部１１が表示している画像内の位置に座標変換するための関数の係数等の値である。例えば、対応情報が示すパターン画像内の目印画像の位置の座標情報と、対応する撮影された画像内の目印画像の位置の座標情報とを、画像を座標変換する関数に代入することで、位置補正情報を算出することができる。座標変換する関数としては、例えば、アフィン変換の関数等がある。この場合、位置補正情報は、アフィン係数である。なお関数は問わない。また、このような座標変換等を行う関数は、いわゆるモーフィング等の技術として公知である。位置補正情報取得部２１は、通常、ＭＰＵやメモリ等から実現され得る。位置補正情報取得部２１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４０】
位置補正情報出力部２２は、位置補正情報取得部２１が取得した位置補正情報を出力する。ここで述べる出力とは、メモリやハードディスク等の記憶媒体への蓄積や、外部の装置への送信等を含む概念である。位置補正情報出力部２２は、通信インターフェース等の出力デバイスを含むと考えても含まないと考えても良い。位置補正情報出力部２２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００４１】
次に、情報処理装置の動作について図２のフローチャートを用いて説明する。なお、ここでは、２色のいずれかの色を有する目印画像を異なる位置に複数有するパターン画像を、ｐ（ｐ≧２、ｐは整数）枚用意しており、各パターン画像間においては、各目印画像は同じ位置に表示されるとともに、各パターン画像を予め指定された順番で切り替えて配列、あるいは表示した場合に、同じ表示位置に表示される各目印画像の色の出現パターンは、位置毎に互いに異なるよう設定されているものとする。また、各パターン画像において、目印画像が表示される位置、および、目印画像として利用される色、および背景の色は予め指定されているものとする。背景の色としては通常は黒等が用いられる。
【００４２】
（ステップＳ２０１）表示部１１は、カウンターｍに１を代入する。
（ステップＳ２０２）表示部１１は、ｍ番目のパターン画像を画像格納部１０から読み出し、ディスプレイ等に表示する。
（ステップＳ２０３）撮影部１２は、表示部１１が表示するｍ番目のパターン画像を撮影する。撮影部１２は、パターン画像を静止画として撮影しても動画として撮影しても良い。撮影部１２が撮影した画像は、撮影画像格納部１３に格納される。なお、撮影部１２は、撮影した順番を示す情報、あるいは撮影したパターン画像を識別する情報を、撮影した画像に対応付けて、蓄積しても良い。
（ステップＳ２０４）表示部１１は、カウンターｍを１インクリメントする。
（ステップＳ２０５）表示部１１は、ｍがｐより大きいか否かを判断する。ｍがｐより大きい場合、ステップＳ２０６に進み、大きくない場合、ステップＳ２０２に戻る。
（ステップＳ２０６）情報処理装置１は、撮影部１２が撮影した画像から、目印画像を検出する。なお、目印画像を検出する処理の詳細については後述する。
（ステップＳ２０７）情報処理装置１は、対応情報、色補正情報、および位置補正情報を取得する。なお、対応情報、色補正情報、および位置補正情報を取得する処理については後述する。そして、処理を終了する。
【００４３】
なお、図２のフローチャートにおいて、情報処理装置１が、上記の処理を開始するトリガーやタイミング等は問わない。例えば、撮影部１２により、所望の撮影が行われる直前や、表示部１１のディスプレイ等や、撮影部１２等が設置された時点で行われるようにしてもよい。なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００４４】
次に、図３のフローチャートを用いて、ステップＳ２０６に示した目印画像を検出する処理の詳細について説明する。
（ステップＳ３０１）目印画像検出部１４は、カウンターｎに１を代入する。
（ステップＳ３０２）目印画像検出部１４は、ｎ番目の撮影画像を、撮影画像格納部１３から読み出して取得する。
【００４５】
（ステップＳ３０３）目印画像検出部１４は、ｎ番目の撮影画像から複数の目印画像の位置の検出処理を行う。例えば、目印画像の各画素の色を、順次、予め目印画像として指定されている複数の色と比較していき、比較の結果、目印画像のいずれかの色である、と判断された場合、その画素、およびその画素と同様の色と判断される色が隣接している画素の領域を、一つの目印画像の領域であると判断する。隣接していない領域は、異なる目印画像の領域であると判断する。目印画像を検出するための、画素の色の判断等は、例えば、ＲＧＢ値等の色の成分の情報等に閾値を設けて、画素の色成分がこれらの閾値を超えるか否か等で判断することが好ましい。パターン画像を、ディスプレイ等に表示したものを撮影した撮影画像内の目印画像を構成する画素の色と、オリジナルのパターン画像内の目印画像を構成する画素の色とは、色成分自体が欠落したり、反転したりしてしまうことがないまでも、色成分の値が、大きく変化することが考えられるため、このように閾値等を用いて色の範囲を設定することで、撮影画像内の画素が、目印画像のオリジナルの色と同じ色とみなすか否かを判断することが好適である。また、このような処理において、閾値により、画素の色成分を「０」、「１」等に２値化して、２値化した情報から、目印画像内の画素であるか否かを判断しても良い。なお、目印画像を検出する処理は、上記のような処理に限るものではない。例えば、特定の色域や類似する形状等を有する画像を検出するための、パターンマッチング等の技術を利用して、上記のような目印画像と同じであると考えられる位置を検出するようにしても良い。なお、このような技術は公知技術であるので、説明は省略する。
【００４６】
（ステップＳ３０４）目印画像検出部１４は、ステップＳ３０３で検出した各目印画像の位置の情報と、当該目印画像の色の情報とを取得し、これらを対応付けて出力、例えば、図示しないメモリ等の記憶媒体に蓄積する。また、このとき、各目印画像を識別する識別情報を対応付けて出力することが好ましい。目印画像の位置の情報は、撮影画像内における、目印画像の領域内の中心座標等が用いられる。ただし目印画像の位置の情報は、目印画像の位置を指定可能な情報であれば、目印画像の輪郭を定義する情報や、目印画像の全てや一部の画素の座標等であっても良い。また、目印画像の色の情報は、目印画像内の特定の画素、例えば、目印画像の領域内の中心の画素の色の情報であっても良いし、目印画像内の全てや一部の画素の色の代表値、例えば平均値や中央値等の情報であっても良い。ここでの色の情報は、色のＲＧＢ成分の値等である。
【００４７】
（ステップＳ３０５）目印画像検出部１４は、ステップＳ３０４において出力したｎ番目の撮影画像内の目印画像の色の組み合わせを示す情報、すなわち目印画像として用いられている２つの色の情報を取得する。ここで述べる色の情報は、ＲＧＢ値等の色の成分の値であっても良いし、上述した２値化した色の成分で表された情報であっても良い。なお、目印画像の色が一つだけであった場合、この色の組み合わせの情報は、ある一つの色のみで、他の色がない、ということを示す情報であっても良い。
【００４８】
（ステップＳ３０６）目印画像検出部１４は、ステップＳ３０５で取得した色の組み合わせを示す情報と、予め用意された、画像格納部１０に格納されているパターン画像の配列順番と当該パターン画像内の目印画像に用いられる２つの色との組み合わせを示す情報とを比較して、撮影画像内のパターン画像の配列される順番を示す情報を取得する。なお、目印画像の色が一色のみしかない組み合わせについても、予め配列される順番を設定しておくようにして、目印画像が一色の場合でも配列される順番を示す情報を取得できるようにしても良い。
【００４９】
（ステップＳ３０７）目印画像検出部１４は、ｎ番目の撮影画像内の各目印画像の色情報を、２値化する。目印画像検出部１４は、例えば、予め用意された、目印画像の２つの色の組み合わせと、これらの色を２値化する際にいずれの値を、「１」、「０」等に変換するかを指定する情報とを用いて、各目印画像の色の情報を、「１」、「０」の２値のいずれかに変換する。また、撮影画像内のパターン画像の配列される順番を示す情報と、この配列される順番が示すパターン画像に含まれる２つの色を、それぞれ「１」、「０」等に変換するかを指定する情報とを用いて、各目印画像の色の情報を、「１」、「０」の２値のいずれかに変換してもよい。目印画像検出部１４は、２値化した色の情報を、目印画像の位置情報と対応付けてメモリ等の記憶媒体に蓄積する。
【００５０】
（ステップＳ３０８）目印画像検出部１４は、カウンターｎがｐ以上であるか否かを判断する。ｐ以上であれば、上位関数にリターンする。また、ｐ以上でなければ、ステップＳ３０９に進む。
（ステップＳ３０９）目印画像検出部１４は、カウンターｎを１インクリメントする。
（ステップＳ３１０）目印画像検出部１４は、ｎ番目の撮影画像を、撮影画像格納部１３から読み出して取得する。
（ステップＳ３１１）目印画像検出部１４は、ステップＳ３０３においてｎ＝１番目の撮影画像から検出した複数の目印画像の位置を示す情報を、ｎ番目の撮影画像内の複数の目印画像の位置を示す情報として用いて、ステップＳ３０４と同様に、ｎ番目の撮影画像内の各目印画像の色の情報を取得して、目印画像の位置の情報と対応付けて、出力、例えば、図示しないメモリ等の記憶媒体に蓄積する。そして、ステップＳ３０５に戻る。
【００５１】
なお、図３のフローチャートにおいては、ｎ＝１の撮影画像から取得した目印画像の位置の情報を、ｎ＝１以外の撮影画像の目印画像の位置の情報として利用しているが、これは、撮影部１２と表示部１１のディスプレイの位置等が固定されている場合に、限られる。なお、このようにｎ＝１の撮影画像から取得した目印画像の位置の情報を、ｎ＝１以外の撮影画像の目印画像の位置の情報として利用する代わりに、各撮影画像毎に、ステップＳ３０３と同様の目印画像の検出処理を行うようにし、最終的に、各撮影画像の一致する目印画像同士をパターンマッチング等の技術を用いて検出して、対応付けるようにしても良い。
【００５２】
なお、目印画像を検出しやすくするために、予め他のパターン画像と目印画像の位置が同じであると共に、検出しやすい色の目印画像を有する位置検出用のパターン画像を用意し、この位置検出用のパターン画像を撮影した撮影画像をｎ＝１番目の撮影画像として用いて、目印画像の位置検出だけを、最初に検出するようにしても良い。検出しやすい色の目印画像を有する位置検出用のパターン画像とは、目印画像の位置を検出するためのみに用いられる画像であり、例えば、黒の背景に白色の目印画像を有する画像のように、背景とのコントラストが強い画像等である。なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５３】
次に、図４のフローチャートを用いて、ステップＳ２０７に示した目印画像を検出する処理の詳細について説明する。
（ステップＳ４０１）対応情報取得部１６は、カウンターｉに１を代入する。
（ステップＳ４０２）対応情報取得部１６は、撮影画像内のｉ番目の目印画像が表示された位置について、目印画像の色の出現パターンを取得する。具体的には、図３のステップＳ３０６において取得した撮影画像内のパターン画像の配列される順番を示す情報にそって、複数の撮影画像を配列した場合における、撮影画像内のｉ番目の目印画像が表示された位置について、目印画像の色の出現パターン、ここでは例として、各目印画像の色を２値化した値の現れる順列を取得する。例えば、仮に、１番目のパターン画像を撮影した撮影画像内の、ｉ番目の目印画像が表示された位置の色が「０」、２番目のパターン画像を撮影した撮影画像内の、ｉ番目の目印画像が表示された位置の色が「１」、３番目のパターン画像を撮影した撮影画像内の、ｉ番目の目印画像が表示された位置の色が「０」であったとすると、１番目から３番目までのパターン画像を撮影した撮影画像について、対応情報取得部１６が取得するｉ番目の目印画像が表示された位置における色の出現パターンは、「０１０」となる。
【００５４】
（ステップＳ４０３）対応情報取得部１６は、対応管理情報格納部１５に格納されているオリジナルの複数のパターン画像における目印画像の位置と、目印画像の色の出現パターンとの対応関係を示す対応管理情報を用いて、撮影画像内のｉ番目の目印画像が表示された位置における目印画像の色の出現パターンに対応するパターン画像内の目印画像の位置を取得する。具体的には、対応情報取得部１６は、撮影画像内のｉ番目の目印画像が表示された位置における目印画像の色の出現パターンと一致する出現パターンを、対応管理情報内で検索し、この一致する出現パターンに対応するパターン画像における目印画像の位置の情報を、取得する。
【００５５】
（ステップＳ４０４）対応情報取得部１６は、撮影画像内のｉ番目の目印画像が表示された位置、具体的には座標情報等の位置の情報と、ステップＳ４０３において取得した、画像格納部１０内に格納されているパターン画像内の目印画像が表示される位置、具体的には座標情報等の位置の情報とを、対応付けた対応情報を取得する。
（ステップＳ４０５）出力部１７は、対応情報取得部１６がステップＳ４０４において取得した対応情報を出力、例えば、メモリ等の記憶媒体に蓄積、する。
（ステップＳ４０６）対応情報取得部１６は、カウンターｉを１インクリメントする。
（ステップＳ４０７）対応情報取得部１６は、撮影画像に対してｉ番目の位置情報があるか否かを判断する。ある場合、ステップＳ４０２に戻り、ない場合、ステップＳ４０８に戻る。
【００５６】
（ステップＳ４０８）色情報取得部１８は、画像格納部１０に格納されているパターン情報の目印情報の色の情報と、当該パターン情報を撮影した撮影情報内の、パターン情報の目印情報に対して対応情報で対応付けられた目印情報の色の情報とをそれぞれ取得する。すなわち配列順番が同じパターン画像と撮影画像から、それぞれ対応する目印画像の色の情報を取得する。ここで取得する色の情報は例えば色の成分の値である。ここでは、一対の目印情報の色の情報のみを取得しても良いし、パターン画像内の複数の目印情報の色の情報と、この複数の目印情報に対応する撮影情報内の複数の目印情報の色の情報とを、それぞれ取得しても良い。
【００５７】
（ステップＳ４０９）色補正情報取得部１９は、ステップＳ４０８において取得した色情報を用いて、撮影画像内のパターン画像の色の情報を、パターン画像のオリジナルの色の情報に補正するための関数である色補正関数の係数等の情報である色補正情報を算出する。なお、ステップＳ４０８において、複数の位置の色の情報を取得した場合、最小二乗法等を用いて色補正情報を算出しても良い。
（ステップＳ４１０）色補正情報出力部２０は、ステップＳ４０９において算出した色補正情報を出力、例えばメモリ等の記憶媒体等に蓄積、する。
（ステップＳ４１１）位置補正情報取得部２１は、ステップＳ４０４において取得された対応情報を用いて、撮影画像内のパターン画像の位置の情報と、パターン画像のオリジナルの位置の情報との関係を示す関数である位置補正関数の係数等の情報である位置補正情報を算出する。なお、位置補正関数およびその係数等を算出する方法については、公知であるのでここでは説明を省略する。
（ステップＳ４１２）位置補正情報出力部２２は、ステップＳ４１１において算出した位置補正情報を出力、例えばメモリ等の記憶媒体等に蓄積、する。そして、処理を終了する。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００５８】
以下、本実施の形態における情報処理装置の具体的な動作について説明する。情報処理装置の概念図は図５である。ここでは、例として、情報処理装置１の表示部１１と撮影部１２以外は、コンピュータ１ａにより実現されている場合について説明する。ただし、表示部１１と撮影部１２以外の構成が、ハードウェア等で実現されていても良い。ここでは、表示部１１はディスプレイ１１ａを備えているものとする。
【００５９】
ここでは、各パターン画像内の目印画像が、それぞれ２色のいずれか一方の色を有するものとする。目印画像の形状は円形であるとする。また、ここでは例として、パターン画像のサイズは、表示部１１に通常表示される他の画像のサイズ、例えばテレビ会議等の画像のサイズと同じサイズであるとする。図６は、パターン画像別の目印画像の色の組み合わせを管理するパターン画像色管理表である。パターン画像色管理表は、「パターンＩＤ」、「０：カラー」、「１：カラー」という属性を有している。「パターンＩＤ」は、対応するパターン画像の識別情報である。このパターンＩＤはパターン画像の配列順も示しているものとする。「０：カラー」は、２値化の際に「０」と判断される色を示す。「１：カラー」は２値化の際に「１」と判断される色を示す。「０：カラー」、「１：カラー」がパターン画像の目印画像の２つの色を示す。具体的には、ここでは、例として、目印画像の色はＲＧＢ成分の組み合わせにより表されているとともに、ＲＧＢ成分をそれぞれ２値化した値「０」、または「１」で示している。例えば、目印画像のＲ，Ｇ，Ｂの色成分が、それぞれ実際には８ビットで表されていたとすると、Ｒ，Ｇ，Ｂの色成分の値が２５６である場合に、それぞれの成分を「１」で表し、２５６未満である場合、それぞれの成分を「０」で表している。すなわち、「０：カラー」および「１：カラー」は、それぞれ、Ｒ成分とＧ成分とＢ成分と２値の値の配列で表される。例えば、赤色は、（１００）、青色は、（０１０）、緑色は、（００１）で表される。なお、ここでは、各色成分を、「２５６」を閾値として２値化したが、閾値は、「２５６」でなくても良い。
【００６０】
図６においては、例えば、「パターンＩＤ」が「１」であるパターン画像には、（００１）と（０１０）の２つの色が目印画像として用いられていることを示している。なお、ここでは、パターン画像の目印画像以外の領域、すなわち背景画像の色は、黒色、（０００）であるとする。
【００６１】
また、各パターン画像内においては、Ａ（Ａは２以上の整数）個の目印画像が互いに重ならないように配置されており、各パターン画像間においては、Ａ個の目印画像が同じ位置に配置されているものとする。また、パターン画像を予め設定された順番に配列した場合に、パターン画像内の目印画像が配置されている各位置に出現する目印画像の色の出現パターンは、位置毎に互いに異なるものであるとする。
すなわち、このような条件を満たすためには、パターン画像数をＢ（Ｂは２以上の整数）とした場合、２Ｂ≧Ａの関係を満たしているようにする。
【００６２】
この具体例においては、Ａ＝６４個の目印画像が配置されたパターン画像がＢ＝６枚用意されている場合について説明する。また、ここでは、各目印画像が例えば１００ピクセル間隔で配置されているものとする。また、各目印画像の直径は例えば１０ピクセルであるとする。
【００６３】
ここで利用される６枚のパターン画像を、図７に複式的に示す。ここでは、各パターン画像の目印画像の色をそれぞれ、図６に示したパターン画像色管理表を用いて２値化した色で表している。すなわち、例えば、図７においては、「パターンＩＤ」が「２」のパターン画像については、（００１）の色を「０」、（０１０）の色を「１」に置き換えて示している。図７に示したパターン画像においては、パターン画像を「パターンＩＤ」の値の昇順に配列した場合、例えば、右上隅の目印画像の配置された位置における色の出現パターンは、「０００１１１」となる。
【００６４】
各パターン画像の各目印画像が配置される位置は、パターン画像内の座標情報で表される。ここで、図７に示したようパターン画像を、「パターンＩＤ」の値の昇順に配列した場合における、目印画像の配置される位置の情報と、目印画像の色の出現パターンとの関係を示す情報である対応管理情報を、図８に示す。対応管理情報は、「座標」と「出現パターン」という属性を有している。「座標」は、各パターン画像内の目印画像の表示される位置であり、ここでは、目印画像の中心の座標情報を示す。また、「出現パターン」は、パターン画像毎に２値化した色の出現パターンを示す。
【００６５】
まず、情報処理装置１に電源を投入すると、表示部１１は、パターン画像のうちの１番目に表示するパターン画像を、画像格納部１０から読み出し、ディスプレイ１１ａに表示する。
【００６６】
図９は、ディスプレイ１１ａに表示した１番目のパターン画像の表示例を示す図である。ここでは、１番目のパターン画像として、「パターンＩＤ」が「３」であるパターン画像を表示しているものとする。目印画像９１は、色が、「０：カラー」属性に相当する色（００１）である目印画像とし、目印画像９２は、色が、「１：カラー」属性に相当する色（１００）である目印画像であるとする。
【００６７】
撮影部１２は、表示部１１がディスプレイ１１ａに表示したパターン画像を撮影し、撮影した画像を、撮影画像格納部１３に蓄積する。ここでは撮影し、蓄積した画像は、動画像の１フレームであるとする。各パターン画像の表示時間は、撮影部１２が撮影を完了できる時間であれば、問わない。
【００６８】
図１０は、撮影部１２が撮影した、図９に示すようにディスプレイ１１ａに表示されたパターン画像を撮影した撮影画像を示す図である。
【００６９】
１番目のパターン画像の表示、および撮影が終了すると、さらに、残りのパターン画像も順次表示、および撮影が行われる。なお、ここで、表示部１１が表示するパターン画像の表示順番と、上述した「パターンＩＤ」の順番とは一致している必要はない。また、ここでは、電源の投入をトリガーとして、パターン画像の表示を開始したが、表示開始のトリガー等は問わない。
【００７０】
次に、目印画像検出部１４は、図１０に示すような撮影画像の一つ、ここでは、一番目に表示されたパターン画像を撮影した撮影画像、を読み出し、目印画像を検出する処理を行う。ここでは、目印画像に使用される色が、（００１）、（０１１）、（１００）、（１１０）、（１０１）、（１１１）のいずれかであることが分かっているため、撮影画像の各画素について、上記のいずれかの色に相当するか否かを順次判断して、上記のいずれか一つの色に相当する色を有する画素が隣接する領域を検出する。なお、ディスプレイ１１ａの表示領域以外の部分の色に起因する目印画像の誤検出を防ぐためには、予めディスプレイの１１ａの表示領域を、ディスプレイの枠や背景等を検出することで検出したり、表示領域についての指定を入力デバイス等を介して受け付けることにより、この表示領域内のみについて、目印画像の検出を行うようにしても良い。
【００７１】
ただし、撮影画像は、パターン画像を一旦ディスプレイ１１ａに表示した画像を撮影部１２で撮影したものであるため、撮影画像内のパターン画像の目印画像の色は、オリジナルのパターン画像の色とは、色成分の値が異なっていることが考えられる。このため、ここでは、例として、このような色の変化を考慮した色成分毎の閾値を指定して、この閾値により、撮影画像内の画素の色成分を２値化して、上記の目印画像の色であるか否かを判断するようにする。ここでは、例えば、Ｒ，Ｇ，Ｂ成分のそれぞれの閾値を「１８０」に設定して、各画素のそれぞれの色成分について、「１８０」以上のものを「１」、「１８０」未満のものを「０」に変換し、画素が、上記のいずれかの色と一致するか否かを判断する。例えば、Ｒ，Ｇ，Ｂ成分がそれぞれ１３、４０、１５０であった場合、その画素の色は（０００）に変換され、上記のいずれの色にも一致しないため、目印画像を構成する画素でないと判断される。また、例えば、Ｒ，Ｇ，Ｂ成分がそれぞれ２３０、８０、１９２であった場合、その画素の色は（１０１）に変換され、上記の色の一つに一致するため、目印画像を構成する画素であると判断される。そして、同じ色に判断される画素が隣接する領域を、それぞれ、目印画像の領域と判断して、その領域の中心の画素の座標と、目印画像の色の値とを、図示しないメモリ等の記憶媒体に蓄積する。なお、目印画像の中心の画素の座標は、ここでは、目印画像のｘ軸方向の長さが最も長い径と、ｙ軸方向の長さが最も長い径との交わる位置の画素の座標に設定される。
【００７２】
さらに、一の撮影画像について目印画像を検出している際に、目印画像が取り得る２つの色が検出された場合、この２つの色を、図６に示したパターン画像色管理表の管理している色の組み合わせ、すなわち「０：カラー」と「１：カラー」との組み合わせと比較して、一致するレコードの「パターンＩＤ」の属性値を取得する。すなわち、撮影画像は、取得された「パターンＩＤ」の属性値に対応付けられたパターン画像を、撮影した画像であると判断されることとなる。例えば、二つの目印画像の色が、（００１）と（１００）であった場合、図６のパターン画像色管理表から、「パターンＩＤ」の値として「３」が取得される。そして、この取得した「パターンＩＤ」の属性値を、同じ撮影画像から検出した全ての目印画像の位置等を示す情報に対応付けて蓄積する。さらに、目印画像検出部１４は、図６のパターン画像色管理表を用いて、目印画像の二つの色を、二値化する。具体的には、ここでは、二つの目印画像の色が（００１）と（１００）であり、この二つの色の組み合わせを含むレコード、すなわち「パターンＩＤ」の属性値が「３」であるレコードでは、（００１）は「０：カラー」属性であり、（１００）は「１：カラー」属性であることから、（００１）は、「０」に変換され、（１００）は「１」に変換される。そして、この二値化した色の値も、同じ撮影画像から検出した全ての目印画像の位置等を示す情報に対応付けて蓄積する。
【００７３】
次に、他の５つの撮影画像、ここでは、「パターンＩＤ」が「３」を除くパターン画像を撮影した撮影画像についても、それぞれ上記と同様の処理を繰り返す。ただし、ここでは、パターン画像の撮影の際において、撮影部１２等の撮影方向や撮影領域等が固定されているため、目印画像を検出する処理は省略し、一番目の撮影画像について検出した目印画像の領域を示す情報を、そのまま、他の撮影画像の目印画像の領域を示す情報として利用する。従って、異なる撮影画像の、同じ位置の目印画像の位置を示す座標は、同じ値となる。
【００７４】
図１１は、撮影画像から検出された目印画像の位置や色等を管理する目印画像管理表である。目印画像管理表においては、「パターンＩＤ」、「座標」、「色」、「二値化色」である。「パターンＩＤ」は、一の撮影画像において検出された目印画像に使用されている２つの色の組み合わせを用いて得られた「パターンＩＤ」である。「座標」は、目印画像の位置を、目印画像の中心座標で示した値である。ここでは、座標を、画像の左上隅を（０，０）として、ピクセル単位のｘｙ座標値で表している。「色」は、目印画像の色を二値化した色成分で表した値である。「二値化色」は、目印画像の色を図６に示したパターン画像色管理表に基づいて、撮影したパターン画像に応じて二値化した値である。なお、「座標」の値は説明のための値であり、実際の値等とは異なるものとする。
【００７５】
次に、対応情報取得部１６は、目印画像検出部１４が検出した目印画像が配置されている位置毎に、目印画像の色を二値化した値、すなわち図１１の「二値化色」の属性値を、対応する「パターンＩＤ」属性の昇順に並べた配列パターンを取得する。この配列パターンが、撮影画像内における各目印画像の配置される位置における色の出現パターンである。対応情報取得部１６は取得した出現パターンを、目印画像の位置、ここでは座標、と対応付けてメモリ等に一時記憶する。例えば、座標（１２０，１４０）の位置において得られる出現パターンは、「０１００１０」となる。
【００７６】
図１２は、メモリ等に一時記憶された撮影画像における目印画像の位置と色の出現パターンとを管理する出現パターン管理表である。出現パターン管理表は、「目印位置ＩＤ」、「座標」、「撮影出現パターン」という属性を有している。「目印位置ＩＤ」は各目印画像の配置される位置を管理するための識別情報、「座標」は、目印画像の配置される位置の座標、ここでは、目印画像の中心の画素の座標、「撮影出現パターン」は、二値化した色の値を「パターンＩＤ」属性の昇順に並べたパターンである。
【００７７】
ここで、対応管理情報格納部１５には、図８に示したような対応管理情報が、予め格納されているものとする。この対応管理情報は、ユーザにより設定されたものであっても良いし、パターン画像から、上記のような目印画像１４および対応情報取得部１６等を用いて、上記と同様の処理により取得した情報であっても良い。
【００７８】
対応情報取得部１６は、図１２に示したような出現パターン管理表の各レコードについて、「撮影出現パターン」の属性値と、一致する「出現パターン」属性値を有するレコードを、図８に示した対応管理情報において検索する。そして、一致するレコードの「座標」属性値と、出現パターン管理表の「座標」属性値とを対応付けていく。そして、対応付けて得られた対応情報を、出力部１７が図示しないメモリ等の記憶媒体に蓄積する。なお、出力部１７は、外部の装置に対応情報を送信してもよい。
【００７９】
図１３は、出力部１７が出力する対応情報を示す図である。対応情報は、「オリジナル座標」と「撮影画像内座標」という属性を有している。「オリジナル座標」は、オリジナル、すなわち画像格納部１０に格納されているパターン画像内における目印画像が配置される座標である。「撮影画像内座標」は、撮影画像内において、「オリジナル座標」に配置された目印画像が配置されている位置を示す座標である。同じレコードの「オリジナル座標」と「撮影画像内座標」とが互いに対応している座標である。すなわち、撮影画像の、パターン画像が表示されている部分は、「オリジナル座標」の示す座標を、「撮影画像内座標」が示す座標に、座標変換して得られる画像であると考えることができる。
【００８０】
次に、色情報取得部１８は、パターン画像の一つと、当該パターン画像を撮影した撮影画像とから、それぞれ、対応情報が示している対応している目印画像の座標の色情報を取得する。具体的には、パターン画像からは、対応情報の各レコードの「オリジナル座標」が示す座標の画素の色情報を取得し、撮影画像からは、「オリジナル座標」と同一のレコードの「撮影画像内座標」が示す座標の画素の色情報をそれぞれ取得する。ここで取得する色情報は、色の補正のために用いられる情報であるため、Ｒ，Ｇ，Ｂ成分のそれぞれの成分値、色が２４ビットカラーで表される場合、例えば８ビットの値、である必要がある。
【００８１】
そして、色情報取得部１８がパターン画像と撮影画像とからそれぞれ取得した、対応する座標の色を用いて、色補正情報取得部１９が、撮影画像の色をオリジナルのパターン画像の色に補正するための、色を補正する関数である色補正関数のパラメータである色補正情報を算出する。
【００８２】
例えば、このような色補正関数は、撮影画像の画素値を（ｒ，ｇ，ｂ）、オリジナルのパターン画像の対応する画素値を（Ｒ，Ｇ，Ｂ）とすると、
Ｒ＝ａ１ｒ＋ａ２ｇ＋ａ３ｂ
Ｇ＝ｂ１ｒ＋ｂ２ｇ＋ｂ３ｂ
Ｂ＝ｃ１ｒ＋ｃ２ｇ＋ｃ３ｂ
で表される。なお、ａ１〜ａ３、ｂ１〜ｂ３、ｃ１〜ｃ３は、色補正関数の係数、すなわち色補正情報である。
【００８３】
この色補正関数に対して、色情報取得部１８が取得した、パターン画像と撮影画像の、対応している画素の色情報を代入して係数の値を求めることで、撮影画像の色をオリジナルのパターン画像の色に補正するための色補正関数を得ることができる。色補正情報取得部１９が取得した色補正関数の係数を、色補正情報として、色補正情報出力部２０がメモリ等に蓄積する。なお、ここでは、４箇所以上の対応する画素の色情報を、色情報取得部１８が取得するための、上記の係数を算出する際に、最小二乗法等を用いることが好適である。ただし、ここで示した色補正関数を得るためには、通常は色の異なる３箇所の対応する画素の色情報が必要となる。この色補正関数を用いることで、撮影画像全体の色を、オリジナルのパターン画像と同様の色に補正可能となる。すなわち、表示部１１により表示される画像と、撮影部１２が撮影した画像内において表示部に表示された画像との色をあわせることが可能となる。
【００８４】
なお、ここでは色補正関数として、撮影画像の色をパターン画像の色に補正する関数を用いた場合について説明したが、用途によっては、パターン画像の色を撮影画像の色に補正する関数を用いるようにしてもよい。
【００８５】
次に、位置補正情報取得部２１は、対応情報を用いて、位置を補正する関数である位置補正関数のパラメータである位置補正情報を取得する。
例えば、撮影画像内の画素の位置を（ｘ，ｙ）、オリジナルのパターン画像内の画素の位置を（Ｘ，Ｙ）とすると、位置補正関数は、
Ｘ＝ａｘ＋ｂｙ
Ｙ＝ｃｘ＋ｄｙ
で表される。なお、ａ、ｂ、ｃ、ｄは、それぞれ位置補正関数の係数、すなわち位置補正情報である。
【００８６】
この位置補正関数に対して、対応情報の示す、パターン画像の座標と、これに対応する撮影画像内の座標の値を代入して係数の値を求めることで、撮影画像を構成する画素の位置を、パターン画像内の画素の位置に座標変換する位置補正関数を得ることができる。位置補正情報取得部２１が取得した位置補正関数の係数を、位置補正情報として、位置補正情報出力部２２がメモリ等に蓄積する。
【００８７】
なお、ここでは、３箇所以上の対応する画素の座標の情報を、対応情報が有しているため、上記の係数を算出する際に、最小二乗法等を用いることが好適である。ただし、ここで示した位置補正関数を得るためには、通常は異なる２箇所の対応する画素の位置の情報が必要となる。この位置補正関数を用いることで、撮影画像の画素の位置や画像の形状等を、オリジナルのパターン画像と同様の位置や形状等に補正可能となる。
【００８８】
なお、ここでは位置補正関数として、撮影画像の画素の位置をパターン画像内の位置に補正する関数を用いた場合について説明したが、用途によっては、パターン画像の画素の位置を撮影画像内の位置に補正する関数を用いるようにしてもよい。
【００８９】
なお、この具体例において述べた色補正関数や位置補正関数はあくまでも一例であり、他の色補正関数や位置補正関数等を用いるようにし、対応情報等を用いて、これらのパラメータを算出するようにしても良い。
【００９０】
なお、上記具体例においては、目印画像の検出の処理において、目印画像の色と各画素の色とを比較するようにしたが、目印画像は他の方法により検出しても良い。例えば、目印画像の形状が大きく変わらないことが前提となっている場合等には、目印画像とほぼ同じ形状の領域を、一般的なパターンマッチング技術等により検出することで、目印画像を、検出しても良い。また、上記具体例の情報処理装置１が、対応情報の出力を最終的に行い、上記のような色補正関数のパラメータや位置補正関数のパラメータ等を算出する処理は、他の装置で行うようにしても良い。
【００９１】
なお、上記具体例においては、各パターン画像の複数の目印画像が、それぞれ２色の色のうちのいずれか１色を有している場合について説明したが、本実施の形態においては、複数の目印画像は、撮影画像においても識別可能な２以上の色のうちのいずれか一色を有しているようにすればよい。この場合、各パターン画像内の目印画像の色数をＣ（Ｃは２以上の整数）、目印画像数Ａを、パターン画像数をＢ（Ｂは正の整数）とした場合、ＣＢ≧Ａの関係を満たしているようにすればよい。
【００９２】
以上、本実施の形態によれば、表示部１１に表示された画像と、撮影部１２により撮影された画像内において表示部１１に表示された画像との間の、位置の対応を正確に取ることができる。
【００９３】
また、本実施の形態においては、目印画像の色の出現パターンによって、撮影画像内から目印画像を識別して検出するようにしているため、撮影部１２の撮影状況によって、表示部１１の一部しか撮影できず、表示部１１の表示領域内のどの部分を撮影したか分からない場合や、表示部１１の撮影された向き等が判別できない場合においても、撮影画像内から、正確に、目印画像の配置されている位置を識別することができる。
【００９４】
また、本実施の形態においては、撮影画像内における目印画像の色の出現パターンにより、目印画像を識別するため、目印画像の色が多少、表示や撮影等の処理により変色していても、撮影画像内から、正確に、目印画像を識別することができる。
【００９５】
また、目印画像の形から目印画像を識別する場合とは異なり、色の出現パターンにより目印画像を識別するため、撮影画像にゆがみ等が生じたり、撮影位置によって、大きなパース等が入って撮影画像がゆがんで、目印画像が変形してしまっても、撮影画像内から、正確に、目印画像を識別することができる。
【００９６】
また、本実施の形態においては、実際に撮影に利用する撮影部１２により、予め用意されたパターン画像を撮影するだけで、簡単に位置や色の補正のための情報を得ることができ、補正のための専用のデバイス等を設置する必要がなく、コストの上昇を抑えることができる。また、補正のための特別な操作を最小限にできるため、操作性が向上する。
【００９７】
なお、上記実施の形態において、目印画像の色の出現パターンにより、目印画像が検出された位置を識別するようにしたが、複数のパターン画像の、少なくとも一つのパターン画像において目印画像が配置された位置における、目印画像の有無のパターンである出現パターンにより、目印画像が配置された位置を識別するようにしても良い。例えば、第一のパターン画像のある座標（ｘ１、ｙ１）において、目印画像が出現し、その同じ座標において、異なる第二、第三のパターンにおいては、目印画像が出現せず、背景画像のみが出現した場合、目印画像を「１」、背景画像を「０」に置き換えて、座標（ｘ１、ｙ１）における目印画像の出現パターンを、「０１１」と考えても良い。ただし、この場合、複数の撮影画像内に目印画像が検出されるまでは、目印画像の位置が検出できないため、一旦、目印画像の位置を、検出後、他の撮影画像の同じ位置において、背景画像を検出する必要があり、処理に後戻りが発生する可能性がある。
【００９８】
なお、上記実施の形態において、互いに異なる、予め設定された所定の位置に、一つの目印画像がそれぞれ配置された複数のパターン画像を表示するようにし、複数の撮影画像内のパターン画像毎に、これらの目印画像の位置をそれぞれ検出することで、撮影したパターン画像と、撮影画像内の目印画像の検出された位置との組み合わせを用いて、撮影された目印画像の検出された位置を識別するようにしてもよい。すなわちここでは、パターン画像毎に、目印画像の位置が特定されることとなる。このため、各目印画像が、どのパターン画像を撮影した撮影画像から検出されたか判断することで、撮影画像の目印画像が検出された位置を識別することができる。言い換えれば、ここでは、各目印画像が検出されたパターン画像を識別する情報を、各目印画像についての出現パターンと考えて、各撮影画像から検出された各目印画像についての出現パターンを取得し、この出現パターンを用いて、各撮影画像内において検出された目印画像の位置と、当該目印画像の出現パターンと一致する出現パターンを有する、オリジナルの複数のパターン画像における目印画像の配置されている位置と、の対応を示す対応情報を取得するようにする。例えば、第一のパターン画像においては、座標（ｘ２、ｙ２）に一つの目印画像のみが配置されている場合、第一のパターン画像を撮影した撮影画像内で目印画像を検出した位置は、この第一のパターン画像の座標（ｘ２、ｙ２）に対応した位置であると判断することができる。ただし、このような場合、例えば、撮影画像が撮影したパターン画像が、どのパターン画像であるかを、撮影したパターン画像を識別する情報を撮影情報に対応付けたり、パターン画像の表示順番と撮影順番とを対応付けておくこと等により、識別できるようにする必要がある。また、このような場合においては、各パターン画像には、一つの目印画像しか配置することができないため、撮影画像内の複数の位置を識別するためには、パターン画像を、識別したい位置の数と同数だけ用意する必要があるとともに、これらのパターン画像を全て表示して撮影する必要がある。このため、上述したような目印画像の色の出現パターンにより、目印画像が配置されている複数の位置を識別する場合と比べて、処理時間が長くなってしまう。
【００９９】
なお、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１００】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【０１０１】
なお、上記各プログラムにおいて、表示ステップや撮影ステップや出力ステップなどでは、ハードウェアによって行われる処理、例えば、表示ステップにおける表示デバイス等で行われる処理（ハードウェアでしか行われない処理）は含まれない。また、これらのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、これらのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１０２】
また、上記実施の形態において、一の装置に存在する２以上の出力手段（出力部、色補正情報出力部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１０３】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。また、上記実施の形態では、情報処理装置がスタンドアロンである場合について説明したが、情報処理装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
【産業上の利用可能性】
【０１０４】
以上のように、本発明にかかる情報処理装置等は、ディスプレイ等に表示した画像等を撮影して処理する情報処理装置等として適しており、特に、テレビ会議システムを構成する情報処理装置等として有用である。
【図面の簡単な説明】
【０１０５】
【図１】本発明の一実施形態における情報処理装置のブロック図である。
【図２】本発明の一実施形態における情報処理装置の動作について示したフローチャートである。
【図３】本発明の一実施形態における情報処理装置の動作について示したフローチャートである。
【図４】本発明の一実施形態における情報処理装置の動作について示したフローチャートである。
【図５】本発明の一実施形態における情報処理装置の概念図である。
【図６】本発明の一実施形態におけるパターン画像色管理表を示した図である。
【図７】本発明の一実施形態におけるパターン画像の例を示した図である。
【図８】本発明の一実施形態における対応管理情報を示した図である。
【図９】本発明の一実施形態における情報処理装置の表示例を示した図である。
【図１０】本発明の一実施形態における情報処理装置の撮影画像の例を示した図である。
【図１１】本発明の一実施形態における目印画像管理表を示した図である。
【図１２】本発明の一実施形態における出現パターン管理表を示した図である。
【図１３】本発明の一実施形態における対応情報を示した図である。
【符号の説明】
【０１０６】
１ 情報処理装置
１０ 画像格納部
１１ 表示部
１２ 撮影部
１３ 撮影画像格納部
１４ 目印画像検出部
１５ 対応管理情報格納部
１６ 対応情報取得部
１７ 出力部
１８ 色情報取得部
１９ 位置補正情報取得部
２０ 色補正情報出力部
２１ 位置補正情報取得部
２２ 位置補正情報出力部
【特許請求の範囲】
【請求項１】
目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、
前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、
前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、
前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、
前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、
前記対応情報取得部が取得した前記対応情報を出力する出力部と、
を具備することを特徴とする情報処理装置。
【請求項２】
前記画像格納部には、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、
前記対応情報取得部は、前記目印画像検出部が検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の前記目印画像の配置されている位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
複数の前記パターン画像における複数の前記目印画像の配置された位置と、当該配置された位置における色の出現パターンとの対応を示す情報である対応管理情報が格納される対応管理情報格納部を更に具備し、
前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記対応管理情報を用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記目印画像は、それぞれ、２色の色のうちいずれか一方の色を有し、
前記画像格納部には、各前記パターン画像内の前記目印画像数をＡ（Ａは２以上の整数）、前記パターン画像数をＢ（Ｂは２以上の整数）とした場合に、
２Ｂ≧Ａ
の関係を満たすような複数の前記パターン画像が格納される
ことを特徴とする請求項２または請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記目印画像の前記２色の組み合わせは、前記パターン画像ごとに互いに異なっており、
前記目印画像検出部は、前記撮影画像内の目印画像に用いられている前記２色の組み合わせを取得し、
前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記２色の組み合わせを用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記撮影部が撮影した前記撮影画像内の前記目印画像の色に関する情報である第１の色情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の色に関する情報である第２の色情報とを取得する色情報取得部と、
前記色情報取得部が取得した前記第１の色情報と前記第２の色情報とを用いて、前記撮影部が撮影した画像の色の補正に用いられる情報である色補正情報を取得する色補正情報取得部と、
前記色補正情報取得部が取得した前記色補正情報を出力する色補正情報出力部と、
を更に具備することを特徴とする請求項２から請求項５のいずれか一項に記載の情報処理装置。
【請求項７】
前記撮影部が撮影した前記撮影画像内の前記目印画像の位置に関する情報である第１の位置情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の位置に関する情報である第２の位置情報とを取得する位置情報取得部と、
前記位置情報取得部が取得した前記第１の位置情報と前記第２の位置情報とを用いて、前記撮影部が撮影した画像の位置の補正に用いられる位置補正情報を取得する位置補正情報取得部と、
前記位置補正情報取得部が取得した前記位置補正情報を出力する位置補正情報出力部と、
を更に具備することを特徴とする請求項２から請求項６のいずれか一項に記載の情報処理装置。
【請求項８】
目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、表示部と、撮影部と、目印画像検出部と、対応情報取得部と、出力部とを具備した情報処理装置の情報処理方法であって、
前記表示部が、画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示ステップと、
前記撮影部が、前記表示ステップで表示している前記パターン画像を含む画像を撮影する撮影ステップと、
前記目印画像検出部が、前記撮影ステップで前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出ステップと、
前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得ステップと、
前記出力部が、前記対応情報取得ステップで取得した前記対応情報を出力する出力ステップと、
を具備することを特徴とする情報処理方法。
【請求項９】
前記画像格納部は、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、
前記対応情報取得ステップは、前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得する
ことを特徴とする請求項８に記載の情報処理方法。
【請求項１０】
コンピュータを、
目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、
前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、
前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、
前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、
前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、
前記対応情報取得部が取得した前記対応情報を出力する出力部と、
して機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、
前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、
前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、
前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、
前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、
前記対応情報取得部が取得した前記対応情報を出力する出力部と、
を具備することを特徴とする情報処理装置。
【請求項２】
前記画像格納部には、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、
前記対応情報取得部は、前記目印画像検出部が検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の前記目印画像の配置されている位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
複数の前記パターン画像における複数の前記目印画像の配置された位置と、当該配置された位置における色の出現パターンとの対応を示す情報である対応管理情報が格納される対応管理情報格納部を更に具備し、
前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記対応管理情報を用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記目印画像は、それぞれ、２色の色のうちいずれか一方の色を有し、
前記画像格納部には、各前記パターン画像内の前記目印画像数をＡ（Ａは２以上の整数）、前記パターン画像数をＢ（Ｂは２以上の整数）とした場合に、
２Ｂ≧Ａ
の関係を満たすような複数の前記パターン画像が格納される
ことを特徴とする請求項２または請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記目印画像の前記２色の組み合わせは、前記パターン画像ごとに互いに異なっており、
前記目印画像検出部は、前記撮影画像内の目印画像に用いられている前記２色の組み合わせを取得し、
前記対応情報取得部は、前記撮影画像内の前記目印画像の配置されている位置と、前記２色の組み合わせを用いて決定した前記パターン画像における前記目印画像の配置されている位置との対応を示す前記対応情報を取得する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記撮影部が撮影した前記撮影画像内の前記目印画像の色に関する情報である第１の色情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の色に関する情報である第２の色情報とを取得する色情報取得部と、
前記色情報取得部が取得した前記第１の色情報と前記第２の色情報とを用いて、前記撮影部が撮影した画像の色の補正に用いられる情報である色補正情報を取得する色補正情報取得部と、
前記色補正情報取得部が取得した前記色補正情報を出力する色補正情報出力部と、
を更に具備することを特徴とする請求項２から請求項５のいずれか一項に記載の情報処理装置。
【請求項７】
前記撮影部が撮影した前記撮影画像内の前記目印画像の位置に関する情報である第１の位置情報と、前記出力部により出力された前記対応情報が示す前記目印画像に対応した前記パターン画像内の前記目印画像の位置に関する情報である第２の位置情報とを取得する位置情報取得部と、
前記位置情報取得部が取得した前記第１の位置情報と前記第２の位置情報とを用いて、前記撮影部が撮影した画像の位置の補正に用いられる位置補正情報を取得する位置補正情報取得部と、
前記位置補正情報取得部が取得した前記位置補正情報を出力する位置補正情報出力部と、
を更に具備することを特徴とする請求項２から請求項６のいずれか一項に記載の情報処理装置。
【請求項８】
目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、表示部と、撮影部と、目印画像検出部と、対応情報取得部と、出力部とを具備した情報処理装置の情報処理方法であって、
前記表示部が、画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示ステップと、
前記撮影部が、前記表示ステップで表示している前記パターン画像を含む画像を撮影する撮影ステップと、
前記目印画像検出部が、前記撮影ステップで前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出ステップと、
前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得ステップと、
前記出力部が、前記対応情報取得ステップで取得した前記対応情報を出力する出力ステップと、
を具備することを特徴とする情報処理方法。
【請求項９】
前記画像格納部は、複数の色のうちのいずれか一つの色を有する前記目印画像が、異なる位置に複数配置された複数の前記パターン画像であって、当該複数のパターン画像間においては、複数の前記目印画像の配置されている位置が同じであり、異なる位置に配置された前記目印画像の色の出現パターンが互いに異なる複数の前記パターン画像が格納され、
前記対応情報取得ステップは、前記対応情報取得部が、前記目印画像検出ステップで検出した各前記目印画像を用いて、前記撮影画像内の同じ位置において検出された前記目印画像についての色の出現パターンを取得し、当該色の出現パターンが取得された、前記撮影画像内の位置と、当該色の出現パターンと一致する色の出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す前記対応情報を取得する
ことを特徴とする請求項８に記載の情報処理方法。
【請求項１０】
コンピュータを、
目印となる画像である目印画像が、異なる位置に配置された複数のパターン画像であって、複数の前記パターン画像間においては、前記目印画像の出現パターンが互いに異なる複数のパターン画像が格納される画像格納部と、
前記画像格納部に格納されている複数の前記パターン画像を、切り替えて表示する表示部と、
前記表示部が表示している前記パターン画像を含む画像を撮影する撮影部と、
前記撮影部が前記パターン画像をそれぞれ撮影した画像である撮影画像内において、前記目印画像を検出する目印画像検出部と、
前記目印画像検出部が検出した各前記目印画像を用いて、各前記目印画像についての出現パターンを取得し、各前記撮影画像内において検出された前記目印画像の配置されている位置と、当該目印画像の出現パターンと一致する出現パターンを有する前記パターン画像における前記目印画像の配置されている位置と、の対応を示す対応情報を取得する対応情報取得部と、
前記対応情報取得部が取得した前記対応情報を出力する出力部と、
して機能させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−３０６２６６（Ｐ２００８−３０６２６６Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１４９１２９（Ｐ２００７−１４９１２９）
【出願日】平成１９年６月５日（２００７．６．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月５日（２００７．６．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]