３次元物体認識方法および３次元画像処理装置
【課題】画像処理による物体認識の高速化および認識率の向上を実現する。
【解決手段】カメラの傾き情報１００ａをコンピュータ１０２に取り込み、コンピュータ１０２に予め記憶されている辞書データ１０６の中から、辞書データ検索エンジン１０３によってカメラの傾き情報１００ａに対応する辞書データを検索する。一方、カメラ１０１から送られる画像データ１００ｂをコンピュータ１０２に取り込み、固有空間表現処理ソフトウェア１０４によって、固有ベクトルとして圧縮する。固有空間表現された画像データ１００ｄは、カメラの傾き情報１００ｃに対応する辞書データと照合され、対象物かどうかの判別を行う。
【解決手段】カメラの傾き情報１００ａをコンピュータ１０２に取り込み、コンピュータ１０２に予め記憶されている辞書データ１０６の中から、辞書データ検索エンジン１０３によってカメラの傾き情報１００ａに対応する辞書データを検索する。一方、カメラ１０１から送られる画像データ１００ｂをコンピュータ１０２に取り込み、固有空間表現処理ソフトウェア１０４によって、固有ベクトルとして圧縮する。固有空間表現された画像データ１００ｄは、カメラの傾き情報１００ｃに対応する辞書データと照合され、対象物かどうかの判別を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元物体認識方法およびその装置に関するもので、特に１台のカメラから取得する画像データを固有空間表現して、固有空間表現されたテンプレートと比較し対象物を認識する３次元物体認識方法およびその装置に関する。
【背景技術】
【０００２】
従来、対象物の３次元物体認識を行うための主な画像処理手法として、カメラを用いたパターンマッチング手法がある。
パターンマッチング手法には、学習段階として、対象物を異なる複数の視点からカメラで撮影して、大量のテンプレート画像を用意し、コンピュータに記憶させておき、認識段階では、カメラ画像と前記テンプレート画像とを比較して物体認識を行う手法がある。また、計算コストの削減と、複雑な背景や環境光の変化に対するある程度頑健な認識を行うためのパターンマッチング手法として、固有空間法がある。すなわち、カメラにより得られる画像データとテンプレート画像に対してＫ-Ｌ展開を施し、画像ベクトルの識別に最適な固有空間上で類似度計算を正規化相関によって行い、お互いを比較することで対象物の認識を行う手法であり、画像データを固有ベクトルとして圧縮するため、コンピュータが記憶しておくべき情報量を削減できるという特徴がある。
【０００３】
また、固有空間法を用いた物体認識手法の認識率の向上及び、計算コストの削減などを改善するための考案は多くの文献に記載され、例えば、対象物の全体画像と特徴的な局所画像とにより対象物を認識する方法が開示されている（例えば特許文献１参照）。
本従来技術に記載の画像認識システムは、対象物の全体的画像及び局所画像を解析する全体画像処理手段及び局所画像処理手段を備え、全体画像処理手段による認識対象の全体画像の解析処理と局所画像処理手段による全体画像の特徴的な局所の画像を解析処理とにより画像認識を行うことにより、複数の狭い画素領域である局所毎の画像情報の解析処理を並行して且つ順次探索的に行うことができ、全体画像と特徴的な局所画像とにより対象の認識を行う。複雑な形状の認識対象であっても従来の如く困難な演算を伴う確立的評価を必要とせず仮説推論が可能なシステムとなり、画像の解析処理に要するコンピュータ等の負荷が軽減でき、対象画像の認識に至る時間が短縮可能となる。
【特許文献１】特開平１０−２３２９３８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
固有空間法による物体認識は、対象物を様々な方向から撮影したテンプレートを事前に用意する必要がある。実際の対象物の画像が事前に用意したパターンと異なる見え方で得られた場合には認識率が著しく低下する。また、この現象を避けるために、膨大な量のテンプレートを用意したとしても、計算量の爆発的増加や、テンプレートの増加に伴う部分空間の拡散により、認識率の低下を招く。
【０００５】
また、特許文献１に記載の物体認識手法は、対象物の局所画像から抽出された特徴と認識画像との整合性を評価する複数の局所モジュールを備え、整合性の評価を順次探索的に行う手法であり、相応のアルゴリズムを必要とする。また、テンプレートデータそのものを減らすものではなく、計算量、認識率の面においても大幅な改善効果は見込めない。
【０００６】
本発明はこのような問題点に鑑みてなされたものであり、テンプレートを削減できると共に、高速かつ、高い認識率で物体認識を行うことができる３次元物体認識方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するため、請求項１に記載の発明は、水平面との距離が固定された１台のカメラと、前記カメラからの画像データを動画像処理するコンピュータで構成されたシステムにより、前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理することを特徴としている。
また、請求項２に記載の発明は、前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴としている。
また、請求項３に記載の発明は、前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴としている。
また、請求項４に記載の発明は、水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、前記カメラからの画像データを動画像処理すると共に前記カメラを操作するソフトウェアを備えたコンピュータで構成されたシステムにより、前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理し、前記画像処理の結果を受けて前記カメラを対象物に追従させることを特徴としている。
また、請求項５に記載の発明は、前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴としている。
また、請求項６に記載の発明は、前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴としている。
また、請求項７に記載の発明は、前記対象物の移動または前記カメラの移動に対して、前記カメラのパン角およびチルト角を制御し、前記カメラを対象物に追従させることを特徴としている。
また、請求項８に記載の発明は、水平面との距離が固定された１台のカメラと、前記カメラからの画像データを動画像処理するコンピュータとを備え、前記コンピュータは、水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、前記辞書データ部は、カメラの傾き情報に対応する辞書データで構成された前記部分的な固有空間で構成されていることを特徴としている。
また、請求項９に記載の発明は、水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、前記カメラからの画像データを動画像処理すると共に前記カメラを操作するカメラ制御ソフトウェアを有するコンピュータとを備え、前記コンピュータは、水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、前記辞書データ部は、カメラの傾き情報と垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間で構成されていることを特徴としている。
【発明の効果】
【０００８】
請求項１に記載の発明によると、限定された方向に対する固有空間に切り替えて対象物との照合を行っているため、物体を認識する段階において、辞書データとの照合にかかる計算量を削減することができる。また、余分なテンプレートを排除することになるため、認識率を向上させることができる。
【０００９】
請求項２に記載の発明によると、対象物を特定の方向からカメラで撮影し、物体認識を行う場合において、対象物の中心を垂直方向のカメラ画角の中心に設定し、カメラの傾き情報から、その傾き方向に対応する固有空間のみを用いて画像処理すれば、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１０】
請求項３に記載の発明によると、対象物を特定の方向からカメラで撮影し、物体認識を行う場合において、カメラの傾き情報から、その傾き方向に対応するカメラの画角の範囲のデータを含んだ固有空間を用いて画像処理すれば、カメラ画角の範囲内にある対象物に対して、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１１】
また、請求項４記載の発明によると、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間を生成しておき、カメラの傾き情報に対応する前記部分的な固有空間を用いて画像処理し、この画像処理の結果を受けてカメラを対象物に追従させいるので、垂直方向のカメラ画角範囲にある対象物の認識に対して、辞書データとの照合にかかる計算量を削減することができると共に、余分なテンプレートを排除することになるため、認識率が向上する。
【００１２】
また、請求項５に記載の発明によると、対象物がカメラ画角の中心になったときの、カメラの傾き情報を検出し、この傾き方向に対応する固有空間のみを用いて画像処理を行えば、対象物またはカメラが移動する場合でも、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１３】
また、請求項６に記載の発明によると、対象物がカメラ画角の範囲になったときの、カメラの傾き情報を検出し、その傾き方向に対応するカメラの画角の範囲のデータを含んだ固有空間を用いて画像処理を行えば、対象物またはカメラが移動する場合でも、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１４】
また、請求項７に記載の発明によると、対象物の移動またはカメラの移動に対して、カメラのパン角およびチルト角を制御し、カメラを対象物に追従させれば、自律動作型ロボットシステムに搭載し、対象物に対するロボット動作を行うことができる。
【００１５】
また、請求項８に記載の発明によると、辞書データがカメラの傾き情報に対応する部分的な固有空間で構成されているので、テンプレートを削減できると共に、高速かつ、高い認識率で物体認識を行うことができる。
【００１６】
また、請求項９に記載の発明によると、辞書データが垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間で構成されているので、垂直方向のカメラ画角範囲にある対象物の認識に対して、辞書データとの照合にかかる計算量を削減することができると共に、余分なテンプレートを排除することになるため、認識率が向上する。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図を参照して説明する。
【実施例１】
【００１８】
図１は本発明の第１の実施形態である３次元物体認識方法の構成を示すブロック図である。
図において、１０１はカメラ、１０２はカメラ１０１から送られる画像データ１００ｂをリアルタイムで取得するコンピュータである。例えば680×480ピクセルの画像データを30f/s の速度で取得する。コンピュータ内部は、辞書データ検索エンジン１０３、固有空間表現処理ソフトウェア１０４、パターンマッチング処理ソフトウェア１０５、辞書データ１０６で構成される。
【００１９】
次に、動作について説明する。
先ず、コンピュータ１０２は、カメラの傾き（θpi）情報１００ａを取得する。ただし、カメラの傾き（θpi）は、水平面を基準としたカメラの垂直方向の傾きを示すパラメータである。
次に、辞書データ検索エンジン１０３は、コンピュータ１０２に予め記憶されている辞書データ１０６の中から、カメラの傾き（θpi）情報１００ａに対応する辞書データを検索し、カメラの傾き情報に対応する辞書データ１００ｃをパターンマッチング処理ソフトウェア１０５へ送る。
一方、固有空間表現処理ソフトウェア１０４は、カメラ１０１から取り込まれる画像データ１００ｂを固有空間表現し、固有空間表現された画像データ１００ｄをパターンマッチング処理ソフトウェア１０５へ送る。パターンマッチング処理ソフトウェア１０５は、カメラの傾き（θpi）情報に対応する辞書データ１００ｃと、固有空間表現された画像データ１００ｄを比較し、対象物かどうかの判別を行う。
【００２０】
図２は、対象物とカメラの位置関係を示す図である。
図において、座標系（ｘ、ｙ、ｚ）は、ｘ−ｙ平面が水平面と平行であるような座標系である。図中のｈは水平面とカメラとの距離を示す。
【００２１】
θは対象物を中心とした角度を示し、添え字“ｒ”は、対象物を中心にしたｚ軸回りの角度で、角度θｒは、カメラからｘ−ｙ平面上に垂直に降ろした射影点と対象物の中心点とを結ぶ直線と、ｘ軸とがなす角度であり、範囲は（０≦θr≦２π）である。また、添え字“ｐ”は、ｘ−ｙ平面に対する角度を示し、角度θpは、カメラの中心点と対象物を結ぶ直線のｘ−ｙ平面に対する角度であり、ｘ−ｙ平面上の物体を対象にする場合、範囲は（０≦θp≦π）である。なお、以降では、角度θpをカメラの傾き角度と言うことにする。
【００２２】
辞書データ１０６の作成において、テンプレート画像は、θr及び、θpに対して、一定の間隔ごとに撮影するものとし、θrに対してＭ通り（θr＝θr0、θr1、・・・、θrM-1）、θpに対してＮ通り（θp＝θp0、θp1、・・・、θpN-1）のテンプレートを用意するとすれば、テンプレート数はＭ×Ｎ個となる。
【００２３】
このとき、従来の固有空間法では、Ｍ×Ｎ個のテンプレートから、１つの固有空間を生成するが、本発明では、θpに対して別々の固有空間を生成する。すなわち、θp＝θp0、θp1、・・・、θpN-1のそれぞれに対して、θrに対するＭ個のテンプレート集合を考え、Ｎ個の固有空間を生成する。
【００２４】
そのようにして作成した辞書データ１０６を用意しておき、物体認識の段階では、カメラの傾き（θpi）情報１００ａを取得し、傾きθpiに近いデータをＮ個の辞書データから抽出し、画像処理を行う。
【００２５】
図３は本実施例における物体認識処理の流れを示すフローチャートである。
図において、処理３０１は、カメラの傾き（θpi）情報１００ａをコンピュータ１０２に取り込む手続きであり、カメラの傾きθpiは、防犯カメラなど、カメラの姿勢が固定である用途の場合は、傾きを実測することによって予めコンピュータに記憶させておく。また、カメラがパン、チルト機能を備えており、カメラとコンピュータ間で通信が可能な場合は、カメラから傾き情報を取得する。
【００２６】
処理３０２は、カメラ１０１からの画像データ１００ｂをコンピュータ１０２に取り込む手続きであり、取り込み装置（カメラの規格によるが、キャプチャボード、ＵＳＢ端子、ＦＩＲＥＷＩＲＥ等）を介して取り込むことが可能である。
【００２７】
処理３０３は、取り込まれた画像データ１００ｂの固有空間表現処理を実行するステップで、取り込まれた画像データ１００ｂは固有空間表現処理ソフトウェア１０４によって、固有ベクトルとして圧縮される。
【００２８】
処理３０４は、カメラの傾きに対応する辞書データ郡の検索を行うステップで、コンピュータ１０２に予め記憶されている辞書データ１０６の中から、カメラの傾き（θpi）情報１００ａに対応する辞書データが検索される。
【００２９】
処理３０５はパターンマッチング処理を実行するステップで、処理３０３で得られた固有空間表現された画像データ１００ｄは、処理３０４で得られたカメラの傾き情報に対応する辞書データ１００ｃと照合され、対象物かどうかが判別される。
【００３０】
このように本実施例では、角度θp方向の制約条件を設けることによって、対象物の見え方を限定し、その傾き方向に対応する固有空間のみを用いて画像処理しているので、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００３１】
実際に、この制約条件を満たす用途は数多く存在し、例えば、防犯カメラで人物を特定するような場合、固定のカメラで撮影する人物の見え方は大きく制限される。また、カメラを搭載した自律移動型ロボットにおける物体認識においても、ロボットは地面上を走行し、地面上に存在する物体を認識して、その物体に対して特定の動作（物体への接近、障害物回避など）を行う場合も前記制約条件は満たされることになる。
【００３２】
すなわち、対象物の見え方が、地面から垂直な方向に対して限定されるため、テンプレートとして必要なデータは、角度θp方向の画像集合のみであり、その固有空間は、全方位のテンプレートを用いた固有空間に比べてはるかに小さくなり、物体認識段階における、照合時間を削減することができる。また、余分なテンプレートを排除することになるため、認識率を上げることができる。
【実施例２】
【００３３】
図４は本発明の第２の実施形態である３次元物体認識方法の構成を示すブロック図である。
本実施例は、パン、チルト機能を備えた１台のカメラと画像処理用コンピュータを用いて対象物の自動探索及び、画像処理による物体認識、さらに、動いている対象物の場合、物体認識の結果を受けて、対象物のカメラ追従を行うものである。
【００３４】
図４において、４０６は辞書データで、第１実施例ではカメラの傾き角度θpに対する辞書データ１０６を用いたが、本実施例ではカメラの傾きと画角とによって作成される辞書データ４０６を用いる。また、４０７はカメラを制御するためのカメラ制御ソフトウェアである。カメラの画角は、使用するカメラによって固有の値をもつものであり、前記画角はその垂直方向の画角とし、以下パラメータθvで表す。
【００３５】
本実施例の構成が第１実施例と異なる点は、辞書データ４０６がカメラの傾きと画角とによって作成されている点と、コンピュータ１０２がカメラ制御ソフトウェア４０７を備えている点である。なお、カメラ１０１はパン、チルト機能を備え、コンピュータ１０２の指令信号によって、カメラ１０１を動作させることができるものとする。
【００３６】
図５は、対象物とカメラ及び、カメラの画角の関係を示した図である。
実施例１では、対象物はカメラ画角の中心にあるとしたが、カメラが対象物を自動的に探索するような場合、探索段階において、対象物は画角の中心にはなく、カメラが縦、横方向に動作することによって画角内に入る。したがって、実施例１のように特定のθpの角度に対する固有空間を用いた場合、対象物の認識率は低くなる。
【００３７】
そこで、画角θvを考慮した、より広範囲なテンプレート集合を用いて、固有空間を生成する。用意するテンプレートは実施例１と同様とし、θrに対してＭ通り（θr＝θr0、θr1、・・・、θrM-1）、θpに対してＮ通り（θp＝θp0、θp1、・・・、θpN-1）のＭ×Ｎ個のテンプレートを考える。各θpの値に対して、図５に示すような画角の範囲（θp−θv/２〜θp＋θv/２）を考え、その範囲に含まれる全θpの集合に対する固有空間を生成する。例えば、各θpの角度が等間隔のとき、前記範囲の中にＬ通りのθpの値が含まれる場合、１つの固有空間を生成するためにはＬ×Ｍ個のテンプレートが必要であり、それぞれのθpに対して生成するため、Ｎ個の固有空間を生成することになる。
【００３８】
図６は本実施例における物体認識処理の流れを示すフローチャートである。
図において、処理６０１は対象物探索動作指令をカメラへ送信するステップで、先ず、対象物を探索するために、カメラ制御ソフトウェア４０７から、パン、チルト制御信号４００ｆをカメラ１０１に送る。本ステップにおいてカメラ動作中は、カメラ１０１の傾き情報と、画像データはリアルタイムにコンピュータ１０２へ送られているものとする。
【００３９】
次に、コンピュータ１０２は、カメラの傾き情報１００ａと、画像データ１００ｂを取り込み（処理３０１、処理３０２）、画像データ１００ｂは、固有空間表現処理ソフトウェア１０４で固有空間表現処理され固有ベクトルに圧縮される（処理３０３）。
【００４０】
ここで、辞書データに関しては、辞書データ検索エンジン１０３によって、カメラの傾き情報１００ａを基に、カメラ画角範囲（θp−θv/２〜θp＋θv/２）に対応するデータを、辞書データ４０６の中から抽出する（処理３０４）。
【００４１】
以上により得られた固有空間表現された画像データ１００ｄは、パターンマッチング処理ソフトウェア１０５によって、カメラ画角範囲に対応する辞書データ４００ｅと照合され（処理３０５）、もし対象物が存在しないと判断された場合（判断６０２、ＮＯの場合）、処理６０１に戻り、カメラ１０１は、探索動作を行う。
【００４２】
一方、処理６０２で、対象物が存在すると判断された場合（判断６０２、ＹＥＳの場合）は、対象物が画角の中心となるようにカメラ１０１を動作させる。すなわち、対象物が画角の中心にあるかどうかを判断し（判断６０３）、もし、中心にない場合（判断６０３、ＮＯの場合）は、カメラ制御ソフトウェア４０７によって、対象物が画角の中心にくるようにカメラを動作させ（処理６０４）、処理３０１以降の動作を行う。また、カメラ１０１の動作によって、対象物が画角の中心となった場合（判断６０３、ＹＥＳの場合）、実施例１で記載した物体認識手法を適用することができる（処理３００）。
【００４３】
このように、本実施例では、カメラの傾き情報と、垂直方向のカメラ画角情報を用いて、画角の範囲に対応する固有空間から対象物の自動探索し、動画像処理の結果を受けて、カメラを対象物に追従させているので、対象物またはカメラが移動する場合でも、限定された方向に対する固有空間を用いて画像処理を行うことができ、高速かつ、高い認識率で物体認識を行うことができる。
【産業上の利用可能性】
【００４４】
本発明は、対象物に対するロボット動作を行う自律動作型ロボットシステムに適用できる。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１の実施形態である３次元物体認識方法の構成を示すブロック図
【図２】本発明の第１実施例における対象物とカメラの位置関係を示す図
【図３】本発明の第１実施例における物体認識処理の流れを示すフローチャート
【図４】本発明の第２の実施形態である３次元物体認識方法の構成を示すブロック図
【図５】本発明の第２実施例における対象物とカメラ及び、カメラの画角の関係を示す説明図
【図６】本発明の第２実施例における物体認識処理の流れを示すフローチャート
【符号の説明】
【００４６】
１０１ カメラ
１０２ コンピュータ
１０３ 辞書データ検索エンジン
１０４ 固有空間表現処理ソフトウェア
１０５ パターンマッチング処理ソフトウェア
１０６ 辞書データ
１００ａ カメラの傾き情報
１００ｂ 画像データ
１００ｃ カメラの傾きに対応する辞書データ
１００ｄ 固有空間表現された画像データ
２０１ 対象物
４０６ 辞書データ
４０７ カメラ制御ソフトウェア
４００ｅ カメラの傾きと画角の範囲に対応する辞書データ
４００ｆ パン、チルト制御信号
【技術分野】
【０００１】
本発明は、３次元物体認識方法およびその装置に関するもので、特に１台のカメラから取得する画像データを固有空間表現して、固有空間表現されたテンプレートと比較し対象物を認識する３次元物体認識方法およびその装置に関する。
【背景技術】
【０００２】
従来、対象物の３次元物体認識を行うための主な画像処理手法として、カメラを用いたパターンマッチング手法がある。
パターンマッチング手法には、学習段階として、対象物を異なる複数の視点からカメラで撮影して、大量のテンプレート画像を用意し、コンピュータに記憶させておき、認識段階では、カメラ画像と前記テンプレート画像とを比較して物体認識を行う手法がある。また、計算コストの削減と、複雑な背景や環境光の変化に対するある程度頑健な認識を行うためのパターンマッチング手法として、固有空間法がある。すなわち、カメラにより得られる画像データとテンプレート画像に対してＫ-Ｌ展開を施し、画像ベクトルの識別に最適な固有空間上で類似度計算を正規化相関によって行い、お互いを比較することで対象物の認識を行う手法であり、画像データを固有ベクトルとして圧縮するため、コンピュータが記憶しておくべき情報量を削減できるという特徴がある。
【０００３】
また、固有空間法を用いた物体認識手法の認識率の向上及び、計算コストの削減などを改善するための考案は多くの文献に記載され、例えば、対象物の全体画像と特徴的な局所画像とにより対象物を認識する方法が開示されている（例えば特許文献１参照）。
本従来技術に記載の画像認識システムは、対象物の全体的画像及び局所画像を解析する全体画像処理手段及び局所画像処理手段を備え、全体画像処理手段による認識対象の全体画像の解析処理と局所画像処理手段による全体画像の特徴的な局所の画像を解析処理とにより画像認識を行うことにより、複数の狭い画素領域である局所毎の画像情報の解析処理を並行して且つ順次探索的に行うことができ、全体画像と特徴的な局所画像とにより対象の認識を行う。複雑な形状の認識対象であっても従来の如く困難な演算を伴う確立的評価を必要とせず仮説推論が可能なシステムとなり、画像の解析処理に要するコンピュータ等の負荷が軽減でき、対象画像の認識に至る時間が短縮可能となる。
【特許文献１】特開平１０−２３２９３８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
固有空間法による物体認識は、対象物を様々な方向から撮影したテンプレートを事前に用意する必要がある。実際の対象物の画像が事前に用意したパターンと異なる見え方で得られた場合には認識率が著しく低下する。また、この現象を避けるために、膨大な量のテンプレートを用意したとしても、計算量の爆発的増加や、テンプレートの増加に伴う部分空間の拡散により、認識率の低下を招く。
【０００５】
また、特許文献１に記載の物体認識手法は、対象物の局所画像から抽出された特徴と認識画像との整合性を評価する複数の局所モジュールを備え、整合性の評価を順次探索的に行う手法であり、相応のアルゴリズムを必要とする。また、テンプレートデータそのものを減らすものではなく、計算量、認識率の面においても大幅な改善効果は見込めない。
【０００６】
本発明はこのような問題点に鑑みてなされたものであり、テンプレートを削減できると共に、高速かつ、高い認識率で物体認識を行うことができる３次元物体認識方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するため、請求項１に記載の発明は、水平面との距離が固定された１台のカメラと、前記カメラからの画像データを動画像処理するコンピュータで構成されたシステムにより、前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理することを特徴としている。
また、請求項２に記載の発明は、前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴としている。
また、請求項３に記載の発明は、前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴としている。
また、請求項４に記載の発明は、水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、前記カメラからの画像データを動画像処理すると共に前記カメラを操作するソフトウェアを備えたコンピュータで構成されたシステムにより、前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理し、前記画像処理の結果を受けて前記カメラを対象物に追従させることを特徴としている。
また、請求項５に記載の発明は、前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴としている。
また、請求項６に記載の発明は、前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴としている。
また、請求項７に記載の発明は、前記対象物の移動または前記カメラの移動に対して、前記カメラのパン角およびチルト角を制御し、前記カメラを対象物に追従させることを特徴としている。
また、請求項８に記載の発明は、水平面との距離が固定された１台のカメラと、前記カメラからの画像データを動画像処理するコンピュータとを備え、前記コンピュータは、水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、前記辞書データ部は、カメラの傾き情報に対応する辞書データで構成された前記部分的な固有空間で構成されていることを特徴としている。
また、請求項９に記載の発明は、水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、前記カメラからの画像データを動画像処理すると共に前記カメラを操作するカメラ制御ソフトウェアを有するコンピュータとを備え、前記コンピュータは、水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、前記辞書データ部は、カメラの傾き情報と垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間で構成されていることを特徴としている。
【発明の効果】
【０００８】
請求項１に記載の発明によると、限定された方向に対する固有空間に切り替えて対象物との照合を行っているため、物体を認識する段階において、辞書データとの照合にかかる計算量を削減することができる。また、余分なテンプレートを排除することになるため、認識率を向上させることができる。
【０００９】
請求項２に記載の発明によると、対象物を特定の方向からカメラで撮影し、物体認識を行う場合において、対象物の中心を垂直方向のカメラ画角の中心に設定し、カメラの傾き情報から、その傾き方向に対応する固有空間のみを用いて画像処理すれば、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１０】
請求項３に記載の発明によると、対象物を特定の方向からカメラで撮影し、物体認識を行う場合において、カメラの傾き情報から、その傾き方向に対応するカメラの画角の範囲のデータを含んだ固有空間を用いて画像処理すれば、カメラ画角の範囲内にある対象物に対して、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１１】
また、請求項４記載の発明によると、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間を生成しておき、カメラの傾き情報に対応する前記部分的な固有空間を用いて画像処理し、この画像処理の結果を受けてカメラを対象物に追従させいるので、垂直方向のカメラ画角範囲にある対象物の認識に対して、辞書データとの照合にかかる計算量を削減することができると共に、余分なテンプレートを排除することになるため、認識率が向上する。
【００１２】
また、請求項５に記載の発明によると、対象物がカメラ画角の中心になったときの、カメラの傾き情報を検出し、この傾き方向に対応する固有空間のみを用いて画像処理を行えば、対象物またはカメラが移動する場合でも、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１３】
また、請求項６に記載の発明によると、対象物がカメラ画角の範囲になったときの、カメラの傾き情報を検出し、その傾き方向に対応するカメラの画角の範囲のデータを含んだ固有空間を用いて画像処理を行えば、対象物またはカメラが移動する場合でも、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００１４】
また、請求項７に記載の発明によると、対象物の移動またはカメラの移動に対して、カメラのパン角およびチルト角を制御し、カメラを対象物に追従させれば、自律動作型ロボットシステムに搭載し、対象物に対するロボット動作を行うことができる。
【００１５】
また、請求項８に記載の発明によると、辞書データがカメラの傾き情報に対応する部分的な固有空間で構成されているので、テンプレートを削減できると共に、高速かつ、高い認識率で物体認識を行うことができる。
【００１６】
また、請求項９に記載の発明によると、辞書データが垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間で構成されているので、垂直方向のカメラ画角範囲にある対象物の認識に対して、辞書データとの照合にかかる計算量を削減することができると共に、余分なテンプレートを排除することになるため、認識率が向上する。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図を参照して説明する。
【実施例１】
【００１８】
図１は本発明の第１の実施形態である３次元物体認識方法の構成を示すブロック図である。
図において、１０１はカメラ、１０２はカメラ１０１から送られる画像データ１００ｂをリアルタイムで取得するコンピュータである。例えば680×480ピクセルの画像データを30f/s の速度で取得する。コンピュータ内部は、辞書データ検索エンジン１０３、固有空間表現処理ソフトウェア１０４、パターンマッチング処理ソフトウェア１０５、辞書データ１０６で構成される。
【００１９】
次に、動作について説明する。
先ず、コンピュータ１０２は、カメラの傾き（θpi）情報１００ａを取得する。ただし、カメラの傾き（θpi）は、水平面を基準としたカメラの垂直方向の傾きを示すパラメータである。
次に、辞書データ検索エンジン１０３は、コンピュータ１０２に予め記憶されている辞書データ１０６の中から、カメラの傾き（θpi）情報１００ａに対応する辞書データを検索し、カメラの傾き情報に対応する辞書データ１００ｃをパターンマッチング処理ソフトウェア１０５へ送る。
一方、固有空間表現処理ソフトウェア１０４は、カメラ１０１から取り込まれる画像データ１００ｂを固有空間表現し、固有空間表現された画像データ１００ｄをパターンマッチング処理ソフトウェア１０５へ送る。パターンマッチング処理ソフトウェア１０５は、カメラの傾き（θpi）情報に対応する辞書データ１００ｃと、固有空間表現された画像データ１００ｄを比較し、対象物かどうかの判別を行う。
【００２０】
図２は、対象物とカメラの位置関係を示す図である。
図において、座標系（ｘ、ｙ、ｚ）は、ｘ−ｙ平面が水平面と平行であるような座標系である。図中のｈは水平面とカメラとの距離を示す。
【００２１】
θは対象物を中心とした角度を示し、添え字“ｒ”は、対象物を中心にしたｚ軸回りの角度で、角度θｒは、カメラからｘ−ｙ平面上に垂直に降ろした射影点と対象物の中心点とを結ぶ直線と、ｘ軸とがなす角度であり、範囲は（０≦θr≦２π）である。また、添え字“ｐ”は、ｘ−ｙ平面に対する角度を示し、角度θpは、カメラの中心点と対象物を結ぶ直線のｘ−ｙ平面に対する角度であり、ｘ−ｙ平面上の物体を対象にする場合、範囲は（０≦θp≦π）である。なお、以降では、角度θpをカメラの傾き角度と言うことにする。
【００２２】
辞書データ１０６の作成において、テンプレート画像は、θr及び、θpに対して、一定の間隔ごとに撮影するものとし、θrに対してＭ通り（θr＝θr0、θr1、・・・、θrM-1）、θpに対してＮ通り（θp＝θp0、θp1、・・・、θpN-1）のテンプレートを用意するとすれば、テンプレート数はＭ×Ｎ個となる。
【００２３】
このとき、従来の固有空間法では、Ｍ×Ｎ個のテンプレートから、１つの固有空間を生成するが、本発明では、θpに対して別々の固有空間を生成する。すなわち、θp＝θp0、θp1、・・・、θpN-1のそれぞれに対して、θrに対するＭ個のテンプレート集合を考え、Ｎ個の固有空間を生成する。
【００２４】
そのようにして作成した辞書データ１０６を用意しておき、物体認識の段階では、カメラの傾き（θpi）情報１００ａを取得し、傾きθpiに近いデータをＮ個の辞書データから抽出し、画像処理を行う。
【００２５】
図３は本実施例における物体認識処理の流れを示すフローチャートである。
図において、処理３０１は、カメラの傾き（θpi）情報１００ａをコンピュータ１０２に取り込む手続きであり、カメラの傾きθpiは、防犯カメラなど、カメラの姿勢が固定である用途の場合は、傾きを実測することによって予めコンピュータに記憶させておく。また、カメラがパン、チルト機能を備えており、カメラとコンピュータ間で通信が可能な場合は、カメラから傾き情報を取得する。
【００２６】
処理３０２は、カメラ１０１からの画像データ１００ｂをコンピュータ１０２に取り込む手続きであり、取り込み装置（カメラの規格によるが、キャプチャボード、ＵＳＢ端子、ＦＩＲＥＷＩＲＥ等）を介して取り込むことが可能である。
【００２７】
処理３０３は、取り込まれた画像データ１００ｂの固有空間表現処理を実行するステップで、取り込まれた画像データ１００ｂは固有空間表現処理ソフトウェア１０４によって、固有ベクトルとして圧縮される。
【００２８】
処理３０４は、カメラの傾きに対応する辞書データ郡の検索を行うステップで、コンピュータ１０２に予め記憶されている辞書データ１０６の中から、カメラの傾き（θpi）情報１００ａに対応する辞書データが検索される。
【００２９】
処理３０５はパターンマッチング処理を実行するステップで、処理３０３で得られた固有空間表現された画像データ１００ｄは、処理３０４で得られたカメラの傾き情報に対応する辞書データ１００ｃと照合され、対象物かどうかが判別される。
【００３０】
このように本実施例では、角度θp方向の制約条件を設けることによって、対象物の見え方を限定し、その傾き方向に対応する固有空間のみを用いて画像処理しているので、物体認識段階での照合時間を削減することができ、高速かつ、高い認識率で物体認識を行うことができる。
【００３１】
実際に、この制約条件を満たす用途は数多く存在し、例えば、防犯カメラで人物を特定するような場合、固定のカメラで撮影する人物の見え方は大きく制限される。また、カメラを搭載した自律移動型ロボットにおける物体認識においても、ロボットは地面上を走行し、地面上に存在する物体を認識して、その物体に対して特定の動作（物体への接近、障害物回避など）を行う場合も前記制約条件は満たされることになる。
【００３２】
すなわち、対象物の見え方が、地面から垂直な方向に対して限定されるため、テンプレートとして必要なデータは、角度θp方向の画像集合のみであり、その固有空間は、全方位のテンプレートを用いた固有空間に比べてはるかに小さくなり、物体認識段階における、照合時間を削減することができる。また、余分なテンプレートを排除することになるため、認識率を上げることができる。
【実施例２】
【００３３】
図４は本発明の第２の実施形態である３次元物体認識方法の構成を示すブロック図である。
本実施例は、パン、チルト機能を備えた１台のカメラと画像処理用コンピュータを用いて対象物の自動探索及び、画像処理による物体認識、さらに、動いている対象物の場合、物体認識の結果を受けて、対象物のカメラ追従を行うものである。
【００３４】
図４において、４０６は辞書データで、第１実施例ではカメラの傾き角度θpに対する辞書データ１０６を用いたが、本実施例ではカメラの傾きと画角とによって作成される辞書データ４０６を用いる。また、４０７はカメラを制御するためのカメラ制御ソフトウェアである。カメラの画角は、使用するカメラによって固有の値をもつものであり、前記画角はその垂直方向の画角とし、以下パラメータθvで表す。
【００３５】
本実施例の構成が第１実施例と異なる点は、辞書データ４０６がカメラの傾きと画角とによって作成されている点と、コンピュータ１０２がカメラ制御ソフトウェア４０７を備えている点である。なお、カメラ１０１はパン、チルト機能を備え、コンピュータ１０２の指令信号によって、カメラ１０１を動作させることができるものとする。
【００３６】
図５は、対象物とカメラ及び、カメラの画角の関係を示した図である。
実施例１では、対象物はカメラ画角の中心にあるとしたが、カメラが対象物を自動的に探索するような場合、探索段階において、対象物は画角の中心にはなく、カメラが縦、横方向に動作することによって画角内に入る。したがって、実施例１のように特定のθpの角度に対する固有空間を用いた場合、対象物の認識率は低くなる。
【００３７】
そこで、画角θvを考慮した、より広範囲なテンプレート集合を用いて、固有空間を生成する。用意するテンプレートは実施例１と同様とし、θrに対してＭ通り（θr＝θr0、θr1、・・・、θrM-1）、θpに対してＮ通り（θp＝θp0、θp1、・・・、θpN-1）のＭ×Ｎ個のテンプレートを考える。各θpの値に対して、図５に示すような画角の範囲（θp−θv/２〜θp＋θv/２）を考え、その範囲に含まれる全θpの集合に対する固有空間を生成する。例えば、各θpの角度が等間隔のとき、前記範囲の中にＬ通りのθpの値が含まれる場合、１つの固有空間を生成するためにはＬ×Ｍ個のテンプレートが必要であり、それぞれのθpに対して生成するため、Ｎ個の固有空間を生成することになる。
【００３８】
図６は本実施例における物体認識処理の流れを示すフローチャートである。
図において、処理６０１は対象物探索動作指令をカメラへ送信するステップで、先ず、対象物を探索するために、カメラ制御ソフトウェア４０７から、パン、チルト制御信号４００ｆをカメラ１０１に送る。本ステップにおいてカメラ動作中は、カメラ１０１の傾き情報と、画像データはリアルタイムにコンピュータ１０２へ送られているものとする。
【００３９】
次に、コンピュータ１０２は、カメラの傾き情報１００ａと、画像データ１００ｂを取り込み（処理３０１、処理３０２）、画像データ１００ｂは、固有空間表現処理ソフトウェア１０４で固有空間表現処理され固有ベクトルに圧縮される（処理３０３）。
【００４０】
ここで、辞書データに関しては、辞書データ検索エンジン１０３によって、カメラの傾き情報１００ａを基に、カメラ画角範囲（θp−θv/２〜θp＋θv/２）に対応するデータを、辞書データ４０６の中から抽出する（処理３０４）。
【００４１】
以上により得られた固有空間表現された画像データ１００ｄは、パターンマッチング処理ソフトウェア１０５によって、カメラ画角範囲に対応する辞書データ４００ｅと照合され（処理３０５）、もし対象物が存在しないと判断された場合（判断６０２、ＮＯの場合）、処理６０１に戻り、カメラ１０１は、探索動作を行う。
【００４２】
一方、処理６０２で、対象物が存在すると判断された場合（判断６０２、ＹＥＳの場合）は、対象物が画角の中心となるようにカメラ１０１を動作させる。すなわち、対象物が画角の中心にあるかどうかを判断し（判断６０３）、もし、中心にない場合（判断６０３、ＮＯの場合）は、カメラ制御ソフトウェア４０７によって、対象物が画角の中心にくるようにカメラを動作させ（処理６０４）、処理３０１以降の動作を行う。また、カメラ１０１の動作によって、対象物が画角の中心となった場合（判断６０３、ＹＥＳの場合）、実施例１で記載した物体認識手法を適用することができる（処理３００）。
【００４３】
このように、本実施例では、カメラの傾き情報と、垂直方向のカメラ画角情報を用いて、画角の範囲に対応する固有空間から対象物の自動探索し、動画像処理の結果を受けて、カメラを対象物に追従させているので、対象物またはカメラが移動する場合でも、限定された方向に対する固有空間を用いて画像処理を行うことができ、高速かつ、高い認識率で物体認識を行うことができる。
【産業上の利用可能性】
【００４４】
本発明は、対象物に対するロボット動作を行う自律動作型ロボットシステムに適用できる。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１の実施形態である３次元物体認識方法の構成を示すブロック図
【図２】本発明の第１実施例における対象物とカメラの位置関係を示す図
【図３】本発明の第１実施例における物体認識処理の流れを示すフローチャート
【図４】本発明の第２の実施形態である３次元物体認識方法の構成を示すブロック図
【図５】本発明の第２実施例における対象物とカメラ及び、カメラの画角の関係を示す説明図
【図６】本発明の第２実施例における物体認識処理の流れを示すフローチャート
【符号の説明】
【００４６】
１０１ カメラ
１０２ コンピュータ
１０３ 辞書データ検索エンジン
１０４ 固有空間表現処理ソフトウェア
１０５ パターンマッチング処理ソフトウェア
１０６ 辞書データ
１００ａ カメラの傾き情報
１００ｂ 画像データ
１００ｃ カメラの傾きに対応する辞書データ
１００ｄ 固有空間表現された画像データ
２０１ 対象物
４０６ 辞書データ
４０７ カメラ制御ソフトウェア
４００ｅ カメラの傾きと画角の範囲に対応する辞書データ
４００ｆ パン、チルト制御信号
【特許請求の範囲】
【請求項１】
水平面との距離が固定された１台のカメラと、
前記カメラからの画像データを動画像処理するコンピュータで構成されたシステムにより、
前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、
垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、
前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理することを特徴とした３次元物体認識方法。
【請求項２】
前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴とした請求項１記載の３次元物体認識方法。
【請求項３】
前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴とした請求項１記載の３次元物体認識方法。
【請求項４】
水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、
前記カメラからの画像データを動画像処理すると共に前記カメラを操作するソフトウェアを備えたコンピュータで構成されたシステムにより、
前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、
垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、
前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理し、前記画像処理の結果を受けて前記カメラを対象物に追従させることを特徴とした３次元物体認識方法。
【請求項５】
前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴とする請求項４記載の３次元物体認識方法。
【請求項６】
前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴とする請求項４記載の３次元物体認識方法。
【請求項７】
前記対象物の移動または前記カメラの移動に対して、前記カメラのパン角およびチルト角を制御し、前記カメラを対象物に追従させることを特徴とした請求項４記載の３次元物体認識方法。
【請求項８】
水平面との距離が固定された１台のカメラと、
前記カメラからの画像データを動画像処理するコンピュータとを備え、
前記コンピュータは、
水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、
前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、
前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、
前記辞書データ部は、カメラの傾き情報に対応する辞書データで構成された前記部分的な固有空間で構成されていることを特徴とする３次元画像処理装置。
【請求項９】
水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、
前記カメラからの画像データを動画像処理すると共に前記カメラを操作するカメラ制御ソフトウェアを有するコンピュータとを備え、
前記コンピュータは、
水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、
前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、
前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、
前記辞書データ部は、カメラの傾き情報と垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間で構成されていることを特徴とする３次元画像処理装置。
【請求項１】
水平面との距離が固定された１台のカメラと、
前記カメラからの画像データを動画像処理するコンピュータで構成されたシステムにより、
前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、
垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、
前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理することを特徴とした３次元物体認識方法。
【請求項２】
前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴とした請求項１記載の３次元物体認識方法。
【請求項３】
前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴とした請求項１記載の３次元物体認識方法。
【請求項４】
水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、
前記カメラからの画像データを動画像処理すると共に前記カメラを操作するソフトウェアを備えたコンピュータで構成されたシステムにより、
前記水平面上に存在する対象物の様々な方向から撮影した２次元画像データを、固有空間で圧縮したテンプレートとして前記コンピュータに予め記憶させておき、前記カメラから取得する画像データを前記固有空間表現して、前記テンプレートと比較し、対象物を認識する画像処理の方法であって、
垂直方向のカメラの傾きごとに、部分的な固有空間を生成しておき、
前記カメラの傾き情報を取得し、前記固有空間を用いて画像処理し、前記画像処理の結果を受けて前記カメラを対象物に追従させることを特徴とした３次元物体認識方法。
【請求項５】
前記固有空間が、カメラの傾きごとに、前記傾きに対する辞書データで構成された部分的な固有空間であることを特徴とする請求項４記載の３次元物体認識方法。
【請求項６】
前記固有空間が、カメラの傾きごとに、垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間であることを特徴とする請求項４記載の３次元物体認識方法。
【請求項７】
前記対象物の移動または前記カメラの移動に対して、前記カメラのパン角およびチルト角を制御し、前記カメラを対象物に追従させることを特徴とした請求項４記載の３次元物体認識方法。
【請求項８】
水平面との距離が固定された１台のカメラと、
前記カメラからの画像データを動画像処理するコンピュータとを備え、
前記コンピュータは、
水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、
前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、
前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、
前記辞書データ部は、カメラの傾き情報に対応する辞書データで構成された前記部分的な固有空間で構成されていることを特徴とする３次元画像処理装置。
【請求項９】
水平面との距離が固定され、パン、チルト機能を備えた１台のカメラと、
前記カメラからの画像データを動画像処理すると共に前記カメラを操作するカメラ制御ソフトウェアを有するコンピュータとを備え、
前記コンピュータは、
水平面上に存在する対象物の様々な方向から撮影した２次元画像データを固有空間で圧縮したテンプレートとして記憶する辞書データ部と、
前記カメラから取得する画像データを固有空間表現処理する固有空間表現処理部と、
前記辞書データ部から得られる辞書データと前記固有空間表現処理部から得られる固有空間表現された画像データを比較するパターンマッチング処理部とを備えた３次元画像処理装置において、
前記辞書データ部は、カメラの傾き情報と垂直方向のカメラ画角範囲に対応した辞書データを備えた部分的な固有空間で構成されていることを特徴とする３次元画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２４１６３７（Ｐ２００７−２４１６３７Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−６２９２５（Ｐ２００６−６２９２５）
【出願日】平成１８年３月８日（２００６．３．８）
【出願人】（０００００６６２２）株式会社安川電機 (2,482)
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月８日（２００６．３．８）
【出願人】（０００００６６２２）株式会社安川電機 (2,482)
【出願人】（３９９０７６３１２）安川情報システム株式会社 (77)
【Ｆターム（参考）】
[ Back to top ]