画像認識装置および画像認識方法
【課題】装置の小規模化を図ることができる画像認識装置を提供することである。
【解決手段】画像認識装置は、撮像装置によって撮像された１画面分の画像データ１０１の一部１０１ａを用いて、認識対象物が、撮像された画像データ１０１の中に存在するか否かを判定する。具体的には、撮像装置によって撮像された画像データ１０１の一部１０１ａが入力されると、その一部１０１ａの中に、認識対象物を特定するデータが存在するか否かを判定する。そして、撮像装置によって撮像された画像データ１０１を構成する他の一部１０１ｂ〜１０１ｄにおいても同様に判定を行い、最後の一部１０１ｄが入力され、判定が終了するタイミングで、認識対象物が、撮像された１画面分の画像データ１０１全体の中に存在するか否かを判定する。
【解決手段】画像認識装置は、撮像装置によって撮像された１画面分の画像データ１０１の一部１０１ａを用いて、認識対象物が、撮像された画像データ１０１の中に存在するか否かを判定する。具体的には、撮像装置によって撮像された画像データ１０１の一部１０１ａが入力されると、その一部１０１ａの中に、認識対象物を特定するデータが存在するか否かを判定する。そして、撮像装置によって撮像された画像データ１０１を構成する他の一部１０１ｂ〜１０１ｄにおいても同様に判定を行い、最後の一部１０１ｄが入力され、判定が終了するタイミングで、認識対象物が、撮像された１画面分の画像データ１０１全体の中に存在するか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像認識装置および画像認識方法に関し、特に、カメラ等の撮像装置によって撮像された画像データの中から、特定の対象物を認識することができる画像認識装置および画像認識方法に関するものである。
【背景技術】
【０００２】
カメラ等の撮像装置によって撮像された画像データの中から、特定の対象物を認識する技術は、例えば、特開２００８−７７６２６号公報（特許文献１）に開示されている。
【０００３】
特許文献１によると、装置は、カメラによって撮像された画像データをフレームメモリに蓄積する。そして、フレームメモリに蓄積した画像データを加工等することによって、撮像された画像データの中から、特定の対象物を認識することとしている。
【特許文献１】特開２００８−７７６２６号公報（段落番号００２３〜００２７等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示の技術では、対象物を認識するために、一旦撮像された画像データをフレームメモリに蓄積している。この場合、装置の規模が大きくなってしまう虞がある。
【０００５】
この発明の目的は、装置の小規模化を図ることができる画像認識装置を提供することである。
【０００６】
この発明の他の目的は、装置の小規模化を図ることができる画像認識方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明に係る画像認識装置は、被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識装置であって、撮像手段によって撮像された画像データの一部の入力を受け付ける画像入力受付手段と、画像入力受付手段に同期して作動し、予め定められた学習データに基づいて、画像入力受付手段により入力を受け付けた画像データの一部を用いて、認識対象物が存在するか否かを判定する画像判定手段とを備える。
【０００８】
好ましくは、画像入力受付手段は、所定の走査順で、撮像手段によって撮像された画像データの一部の入力を受け付け、学習データは、認識対象物の少なくとも一部を特定するデータを有し、画像判定手段は、特定するデータを所定の走査順に並べることによって、画像入力受付手段に同期して作動する。
【０００９】
さらに好ましくは、画像判定手段は、画像入力受付手段により入力を受け付けた画像データの一部において、特徴量を算出する算出手段と、算出手段によって算出された特徴量が、所定の閾値よりも大きいか否かを比較する閾値比較手段と、閾値比較手段によって比較された結果に対して、重みを付加する付加手段とを含む。
【００１０】
さらに好ましくは、画像入力受付手段により入力を受け付けた画像データから、一定の大きさの画像データを抽出する抽出手段をさらに備える。
【００１１】
さらに好ましくは、抽出手段は、画像入力受付手段により入力を受け付けた画像データを、所定のサイズの分割画像データに複数分割する分割手段と、分割手段により分割した複数の分割画像データの中から、所望の分割画像データを抜き出す抜出手段と、抜出手段により抜き出した分割画像データを合成して１つの画像データを形成する合成手段とを含む。
【００１２】
この発明の他の局面においては、画像認識方法は、被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識方法である。そして、撮像手段によって撮像された画像データの一部の入力を受け付けるステップと、受け付けステップに同期して作動し、予め定められた学習データに基づいて、入力を受け付けた画像データの一部を用いて、認識対象物が存在するか否かを判定するステップとを備える。
【発明の効果】
【００１３】
この発明に係る画像認識装置は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【００１４】
また、この発明に係る画像認識方法は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【発明を実施するための最良の形態】
【００１５】
まず、この発明の原理について説明する。
【００１６】
従来の画像認識装置は、撮像装置によって撮像された１画面分の画像データを保存するフレームメモリを備える。画像認識装置は、撮像装置によって撮像された１画面分の画像データ全てをフレームメモリに保存する。そして、フレームメモリに保存した１画面分の画像データを用いて、認識対象物が、撮像された画像データの中に存在するか否かを判定する。図１６は、従来の画像認識装置を用いて、撮像された画像データの中に、認識対象物としての矢印が存在するか否かを判定する場合における画像データ１００の構成を示す図である。図１６を参照して、画像認識装置は、撮像装置によって撮像された１画面分の画像データ１００全てをフレームメモリに保存している。
【００１７】
一方、図１７は、この発明に係る画像認識装置を用いて、撮像された画像データの中に、認識対象物としての矢印が存在するか否かを判定する場合における画像データ１０１の構成を示す図である。図１７を参照して、画像認識装置は、撮像装置によって撮像された１画面分の画像データ１０１の一部１０１ａを用いて、認識対象物が、撮像された画像データ１０１の中に存在するか否かを判定する。具体的には、撮像装置によって撮像された画像データ１０１の一部１０１ａが入力されると、その一部１０１ａの中に、認識対象物を特定するデータが存在するか否かを判定する。すなわち、撮像された画像データ１０１の一部１０１ａの入力に同期して、その一部１０１ａの中に、認識対象物を特定するデータが存在するか否かを判定する。そして、撮像装置によって撮像された画像データ１０１を構成する他の一部１０１ｂ〜１０１ｄにおいても同様に判定を行い、最後の一部１０１ｄが入力され、判定が終了するタイミングで、認識対象物が、撮像された１画面分の画像データ１０１全体の中に存在するか否かを判定する。
【００１８】
以下、この発明に係る画像認識装置の実施の形態を図面を参照して詳細に説明する。図１は、この発明の一実施形態に係る画像認識装置１０の構成を示すブロック図である。図１を参照して、画像認識装置１０は、被写体を撮像可能な撮像手段としてのカメラ部９によって撮像された画像データの入力を受け付ける画像入力受付部１１と、画像入力受付部１１にて入力を受け付けた画像データの前処理を行う前処理部１２と、前処理部１２にて処理された画像データの切り出しおよび正規化を行うスキャン処理部１３と、スキャン処理部１３にて処理された画像データにおいて、ＨａａｒＬｉｋｅ特徴量の算出を行う特徴量算出部１４と、特徴量算出部１４にて算出された結果に基づいて、入力を受け付けた画像データに、認識対象物が存在するか否かを判定する判定部１５と、判定部１５にて判定する際に用いる学習データを格納するデータ格納部１６とを備える。
【００１９】
図２は、図１に示す画像認識装置１０を用いて、対象物の認識を行う場合の処理の流れを示すフローチャートである。図１および図２を参照して、画像認識装置１０を用いて、対象物の認識を行う場合について説明する。なお、図２では、処理の大まかな流れのみを示し、詳細については、後述する。この実施形態においては、対象物として、矢印を採用し、矢印の認識を行う場合について説明する。
【００２０】
まず、画像入力受付部１１は、カメラ部９にて撮像された対象画像データの一部の入力を受け付ける（図２において、ステップＳ１１、以下ステップを省略する）。そして、画像入力受付部１１は、入力された対象画像データの一部を前処理部１２に送信する。
【００２１】
前処理部１２は、画像入力受付部１１にて入力を受け付けた対象画像データの一部において、輝度の補正等を行う（Ｓ１２）。そして、補正等を終了すると、補正した対象画像データをスキャン処理部１３に送信する。
【００２２】
スキャン処理部１３は、対象画像データの一部を用いて、一定の大きさの判定画像データを抽出する（Ｓ１３）。そして、抽出した判定画像データを特徴量算出部１４に送信する。
【００２３】
特徴量算出部１４は、データ格納部１６に格納された学習データに基づき、判定画像データにおいて、ＨａａｒＬｉｋｅ特徴量の算出を行う（Ｓ１４）。
【００２４】
判定部１５は、学習データに基づき、特徴量算出部１４にて算出した特徴量の結果から、判定画像データに、認識対象物の少なくとも一部を特定するデータ、ここでは、矢印の少なくとも一部を特定するデータが存在するか否かを判定する（Ｓ１５）。
【００２５】
そして、画像認識装置１０は、上記したＳ１１〜Ｓ１５までの処理を、カメラ部９にて撮像された対象画像データの全てにおいて行うことによって、最終的な判定結果を出力する。すなわち、矢印が、カメラ部９にて撮像された１画面分の対象画像データ全体の中に存在するか否かを判定する。そして、その判定結果を外部へ出力する（Ｓ１６）。
【００２６】
図３は、画像入力受付部１１の処理の詳細を示すフローチャートである。図１〜図３を参照して、画像入力受付部１１の処理の詳細について説明する。
【００２７】
画像入力受付部１１は、カメラ部９にて撮像された対象画像データの一部の入力を受け付ける（Ｓ２１）。図４は、対象画像データの一部２０の一例を示す図である。なお、図４において、点線で、対象画像データの他の一部２１〜２３を示している。図４を参照して、対象画像データの一部２０は、中央部に矢印の一部が配置されている。矢印は、右側を指している。対象画像データは、図４中の左上から右下に向かう方向に走査されることから、画像入力受付部１１は、その走査順に、順次、対象画像データの一部２０〜２３の入力を受け付けている。具体的には、対象画像データの一部２０を先頭に、２１、２２、２３の順に受け付けている。対象画像データは、走査順に並んだ４つの対象画像データの一部２０〜２３を組み合わせたものである。対象画像データの始点は、対象画像データの一部２０の左上に位置し、終点は、対象画像データの一部２３の右下に位置する。ここで、画像入力受付部１１は、画像入力受付手段として作動する。そして、順次、入力を受け付けた対象画像データの一部２０を前処理部１２に送信する（Ｓ２２）。
【００２８】
図５は、前処理部１２の処理の詳細を示すフローチャートである。図１〜図５を参照して、前処理部１２の処理の詳細について説明する。
【００２９】
前処理部１２は、画像入力受付部１１にて入力を受け付けた対象画像データの一部２０を、輝度信号と色信号とに分離する（Ｓ３１）。そして、輝度信号のみを採用する。前処理部１２は、輝度信号のみになった対象画像データの一部２０において、輝度の補正を行う。また、前処理部１２は、輝度信号のみになった対象画像データの一部２０において、明るさの度合いを調整するガンマカーブの補正を行う（Ｓ３２）。そして、補正した輝度信号のみになった対象画像データの一部２０をスキャン処理部１３に送信する（Ｓ３３）。
【００３０】
図６は、スキャン処理部１３の処理の詳細を示すフローチャートである。図１〜図６を参照して、スキャン処理部１３の処理の詳細について説明する。
【００３１】
スキャン処理部１３は、対象画像データの一部２０を用いて、一定の大きさの判定画像データを抽出する。具体的には、対象画像データの一部２０を、所定のサイズ、例えば、１ドット毎に格子状に分割する（Ｓ４１）。図７は、対象画像データの一部２０を格子状に分割した場合の一例を示す図であって、理解を容易にする観点から、格子の大きさを誇張して示している。そして、格子状に分割した対象画像データの一部２０において、所定の間隔を空けて、所望の分割した画像データを抜き出す（Ｓ４２）。例えば、図７において、分割画像データ２０ａ、２０ｂ等を抜き出す。そして、抜き出した分割画像データを合成して、一定の大きさの１つの判定画像データを形成する（Ｓ４３）。ここで、スキャン処理部１３は、抽出手段、分割手段、抜出手段、および合成手段として作動する。
【００３２】
すなわち、スキャン処理部１３は、対象画像データの一部２０から、後述する特徴量算出部１４において特徴量を算出するために、データを切り出して大きさを一定にするための正規化を行う。これにより、切り出しおよび正規化を同時に行うことができるため、処理量の削減等を行うことができる。
【００３３】
このようにして、対象画像データの一部２０を用いて、一定の大きさの判定画像データを抽出する。図８は、抽出した判定画像データ２５の一例を示す図である。なお、図示はしないが、判定画像データの全体においても対象画像データと同様に、走査順に並んだ４つの判定画像データ２５を組み合わせたものである。また、判定画像データの全体の始点は、上記した対象画像データと同様に、左上に位置し、終点は、右下に位置する。そして、判定画像データ２５を特徴量算出部１４に送信する（Ｓ４４）。
【００３４】
図９〜図１１は、特徴量算出部１４および判定部１５の処理の詳細を示すフローチャートであって、それぞれ第１の処理、第２の処理、判定処理を示している。図１〜図１１を参照して、特徴量算出部１４および判定部１５の処理の詳細について説明する。
【００３５】
まず、図９を参照して、特徴量算出部１４は、判定画像データ２５において、ＨａａｒＬｉｋｅ特徴量の算出を行うために、第１の処理を開始する。第１の処理として、特徴量算出部１４は、まず、判定処理を行う（Ｓ５０）。
【００３６】
そうすると、図１１を参照して、特徴量算出部１４は、特徴量の算出において利用する学習データを参照する（Ｓ６０）。図１２は、学習データの一例を示す図である。学習データは、どのような画像が矢印であるかを、アダブースト（Ａｄａｂｏｏｓｔ）演算処理にて、予め学習したデータのことであって、複数枚の矢印および矢印以外の画像を用意し、これらを用いて、統計的に学習処理させたデータである。学習データは、予め定められたデータであって、矢印の少なくとも一部を特定するデータを有している。
【００３７】
また、学習データは、カメラ部９にて撮像された対象画像データの一部２０〜２３の個数分データを保持する。この実施形態においては、４つ分のデータを保持し、第１の値は、対象画像データの一部２０に対応し、第２の値は、対象画像データの一部２１に対応し、第３の値は、対象画像データの一部２２に対応し、第４の値は、対象画像データの一部２３に対応する。また、学習データは、矢印を認識するために最適な値が設定されたパラメータを保持する。パラメータは、特徴量の算出を行う領域の開始位置、領域のサイズ、特徴の種類、閾値、および重みから構成されている。
【００３８】
領域の開始位置は、判定画像データ２５のうち、特徴量の算出を行う領域の始点を示すものである。４つ分のデータにおいて、開始位置は、走査順に並んでいる。領域のサイズは、判定画像データ２５のうち、上記した開始位置から、特徴量の算出を行う領域の範囲を示すものである。このサイズは、判定画像データ２５に沿うサイズである。特徴の種類は、ＨａａｒＬｉｋｅ特徴の種類を示し、ここでは、図１３に示すパターンＡおよびパターンＢを採用する。パターンＡは、横方向に隣り合うように白部分２６ａおよび黒部分２７ａが配置されており、白部分２６ａが左側に、黒部分２７ａが右側に配置されている。パターンＢは、横方向に垂直な方向、すなわち、縦方向に隣り合うように白部分２６ｂおよび黒部分２７ｂが配置されており、白部分２６ｂが下側に、黒部分２７ｂが上側に配置されている。そして、判定画像データ２５にパターンを当てはめることによって、特徴量の算出を行う。なお、図１３においては、ハッチングによって、黒部分２７ａ，２７ｂを示している。閾値は、算出した特徴量の値が、いくつ以上であれば、矢印が存在するか否かを比較するための値である。重みは、上記した閾値によって比較した結果に対する重要度を示すものであって、矢印の少なくとも一部を特定するものであれば、強く重み付けを行い、矢印の少なくとも一部を特定しないものであれば、弱く重み付けを行う。
【００３９】
図１４は、パラメータの値として、図１２に示す第１の値を用いることによって、ＨａａｒＬｉｋｅ特徴量を算出する際の判定画像データ２５の状態を示す図である。なお、図１４において、点線で、対象画像データの他の一部２１〜２３から形成された、他の判定画像データ３０〜３２を示している。
【００４０】
図１４を参照して、領域の開始位置をＰ１（ｘ０，ｙ０）と、領域のサイズをｗ０（幅），ｈ０（高さ）と、終了位置をＰ２（ｘ０＋ｗ０，ｙ０＋ｈ０）と、特徴の種類を「パターンＢ」としている。そして、判定画像データ２５におけるパターンＢの白部分２６ｂの画素値を積算して求めた値から、判定画像データ２５におけるパターンＢの黒部分２７ｂの画素値を積算して求めた値を減算（白部分２６ｂの画素値を積算して求めた値−黒部分２７ｂの画素値を積算して求めた値）することにより、ＨａａｒＬｉｋｅ特徴量を算出する（Ｓ６１）。そして、特徴量算出部１４は、算出した特徴量を判定部１５に送信する（Ｓ６２）。ここで、特徴量算出部１４は、算出手段として作動する。
【００４１】
そうすると、判定部１５は、送信された特徴量が所定の閾値、具体的には、学習データが示す閾値よりも大きいか否かを比較する（Ｓ６３）。ここで、判定部１５は、閾値比較手段として作動する。そして、Ｓ６３において比較した結果に対し、学習データが示す重みを付加する（Ｓ６４）。ここで、判定部１５は、付加手段として作動する。さらに、Ｓ６４において重みを付加した結果の各々を加算する（Ｓ６５）。
【００４２】
また、上記したように、画像入力受付部１１は、走査順に並んだ対象画像データの一部２０〜２３の入力を順次受け付けている。したがって、Ｓ６１における特徴量の算出は、対象画像データの一部２０の入力に同期して作動する。すなわち、終了位置Ｐ２まで、対象画像データの入力が終了したタイミングで、対象画像データの一部２０における特徴量の算出を行う。また、特徴量算出部１４は、順次、算出した特徴量を判定部１５に送信することから、Ｓ６２からＳ６５における比較等も、対象画像データの一部２０の入力に同期して作動する。
【００４３】
したがって、特徴量算出部１４は、Ｓ６１において、第１の値における特徴量の算出を終了すると、走査順に、第２の値における特徴量の算出に進む。すなわち、判定画像データ３０における特徴量の算出に進む（Ｓ６６において、ＮＯ）。このようにして、順次、学習データを参照して（Ｓ６０）、学習データに設定されているパラメータの個数分、判定画像データ２５、３０〜３２の特徴量を算出する（Ｓ６１）。そして、判定部１５においても同様に、順次、閾値との比較等を行い、重みを付加した結果の各々を加算する（Ｓ６２からＳ６５）。
【００４４】
そして、パラメータの個数分終了すると（Ｓ６６において、ＹＥＳ）、判定部１５は、順次、Ｓ６５において重みを付加した結果の各々を加算することにより得た値を用いて、矢印が、カメラ部９にて撮像された１画面分の対象画像データ全体の中に存在するか否かを判定する（Ｓ６７）。したがって、最後の対象画像データの一部２３の入力を受け付けて、重みを付加した結果を加算したタイミングで、矢印が、撮像された１画面分の対象画像データ全体の中に存在するか否かを判定する。ここで、判定部１５は、画像判定手段として作動する。
【００４５】
なお、（１）式は、Ｓ６３からＳ６７における判定部１５の最終的な判定結果を求める式を示している。ｔは、学習データのパラメータの個数を示し、ｆ（ｘ）は、Ｓ６７における最終的な認識判定結果を示し、αｉは、Ｓ６４における重みを示し、ｈｉ（ｘ）は、Ｓ６３における各々の比較結果を示している。
【００４６】
【数１】
【００４７】
また、判定部１５は、Ｓ６７において、矢印が存在すると判定すると（Ｓ６７において、ＹＥＳ）、矢印が存在するという判定結果を外部へ出力する（Ｓ６８）。
【００４８】
また、矢印が存在しないと判定すると（Ｓ６７において、ＮＯ）、判定画像データを抽出する位置を変更する（Ｓ６９）。
【００４９】
そうすると、図９を参照して、判定画像データを抽出する位置が終点に到達するまで（Ｓ５１において、ＮＯ）、再度、特徴量の算出等、判定処理を繰り返し行う（Ｓ５０）。その後、判定画像データを抽出する位置が終点に到達した場合には（Ｓ５１において、ＹＥＳ）、判定画像データを抽出するサイズを小さく変更する（Ｓ５２）。
【００５０】
そうすると、図１０を参照して、第２の処理を開始する。第２の処理として、判定部１５は、判定画像データを抽出するサイズが、規定されたサイズより小さくなるまで（Ｓ７１において、ＮＯ）再度、特徴量の算出等、第１の処理を繰り返し行う（Ｓ７０）。その後、判定画像データを抽出するサイズが、規定されたサイズより小さくなった場合には（Ｓ７１において、ＹＥＳ）、矢印が存在しないという判定結果を外部へ出力する（Ｓ７２）。
【００５１】
このように、画像認識装置１０は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【００５２】
また、このような画像認識方法は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【００５３】
なお、上記の実施の形態においては、対象画像データの一部から判定画像データを抽出することにより、判定画像データを用いて、特徴量を算出する例について説明したが、これに限ることなく、対象画像データの一部をそのまま用いて、特徴量を算出してもよい。
【００５４】
また、上記の実施の形態においては、対象物として、１つの矢印の認識を行う例について説明したが、これに限ることなく、複数種類の対象物の認識を行う場合にも適用することができる。例えば、右側を指す矢印と、左側を指す矢印とを認識する場合にも適用することができる。この場合、画像認識装置１０は、対象物の数だけ判定部１５を備える構成とする。すなわち、右側を指す矢印が存在するか否かを判定する判定部と、左側を指す矢印が存在するか否かを判定する判定部とを備える構成とする。
【００５５】
また、上記の実施の形態においては、前処理部１２において、画像入力受付部１１にて入力を受け付けた対象画像データの一部２０を、輝度信号と色信号とに分離し、輝度信号のみを採用する例について説明したが、これに限ることなく、色信号を採用してもよい。この場合、色によって対象物が存在するか否かを判定する。具体的には、画像データの所定の領域の平均の色を算出して、これを特徴量とする。例えば、所定の領域にて、赤色が多く使用されている場合には、所定の領域の平均の色は、赤色であると算出して、これを特徴量とする。そして、色によって対象物を特定するデータを有する学習データを用いて、算出した特徴量から、対象物が、画像データの中に存在するか否かを判定する。これにより、輝度信号では、判定が困難である対象物においても、容易に判定することができる。また、輝度信号および色信号を併用して採用してもよい。
【００５６】
また、画像データの所定の領域の特徴点を算出して、これを特徴量とし、算出した特徴量から、対象物が、画像データの中に存在するか否かを判定してもよい。特徴点とは、画像中の形状境界となる点であって、例えば、所定の領域の特徴点の密度を算出して、これを特徴量とする。そして、特徴点の密度によって対象物を特定するデータを有する学習データを用いて、算出した特徴量から、対象物が、画像データの中に存在するか否かを判定してもよい。これにより、対象物の形状が複雑な場合であっても、容易に判定することができる。
【００５７】
また、採用した輝度信号を周波数領域に変換することにより、周波数領域に変換した信号を用いて、対象物が、画像データの中に存在するか否かを判定してもよい。この場合、変換する際には、フーリエ変換やウェーブレット（Ｗａｖｅｌｅｔ）変換を採用してもよい。これにより、例えば、対象物が、縦方向および横方向に、規則的に連続する模様であっても、容易に判定することができる。
【００５８】
また、上記の実施の形態においては、特徴の種類として、図１３に示すパターンを採用する例について説明したが、これに限ることなく、他のパターンを採用してもよい。
【００５９】
また、上記の実施の形態においては、図４に示すように、画像データを４等分したものを画像データの一部とし、これを用いて、特徴量の算出を行う例について説明したが、これに限ることなく、例えば、図１５の点線に示すように、矢印の指し示す方向である先端部や、後端部等を画像データの一部３５ａ〜３５ｅとし、これを用いて、特徴量の算出を行ってもよい。すなわち、対象物の特徴となる部分を示すデータであってもよい。また、特徴量の算出を行う領域のサイズや形状、位置等は、認識対象物や、対象物の特徴となる部分の大きさ等に応じて、様々なサイズや形状、位置等を用いることができる。
【００６０】
また、上記の実施の形態においては、図１１に示すＳ６３において、判定部１５は、送信された特徴量が、学習データが示す閾値よりも大きいか否かを比較する例について説明したが、これに限ることなく、閾値よりも小さいか否かを比較してもよいし、閾値と一致するか否かを比較してもよいし、他の方法で比較してもよい。
【００６１】
また、上記の実施の形態においては、対象物として、矢印を採用する例について説明したが、これに限ることなく、他の物体が、画像データの中に存在するか否かを判定する際にも適用することができる。
【００６２】
また、上記の実施の形態においては、画像判定手段は、画像認識手段に同期して作動する例について説明したが、これに限ることなく、画像判定手段と画像認識手段とを同期させるよう制御する制御手段を備える構成としてもよい。
【００６３】
なお、この発明に係る画像認識装置１０は、例えば、ロボット等に適用することができる。この場合、上記した矢印のような標識を外部に設置しておくのみで、ロボットに標識を認識させて、自律して動作させることができる。したがって、例えば、標識に無線等の発信装置を設け、ロボットに発信装置から発信された無線を受信する受信装置を設けることにより、ロボットを動作させる方法も考えられるが、この場合、無線等を使用することなく、自律して動作可能なロボットを安価に製造することができる。
【００６４】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【図面の簡単な説明】
【００６５】
【図１】この発明の一実施形態に係る画像認識装置の構成を示すブロック図である。
【図２】図１に示す画像認識装置を用いて、対象物の認識を行う場合の処理の流れを示すフローチャートである。
【図３】画像入力受付部の処理の詳細を示すフローチャートである。
【図４】対象画像データの一部の一例を示す図である。
【図５】前処理部の処理の詳細を示すフローチャートである。
【図６】スキャン処理部の処理の詳細を示すフローチャートである。
【図７】対象画像データの一部を格子状に分割した場合の一例を示す図である。
【図８】抽出した判定画像データの一例を示す図である。
【図９】第１の処理を示すフローチャートである。
【図１０】第２の処理を示すフローチャートである。
【図１１】判定処理を示すフローチャートである。
【図１２】学習データの一例を示す図である。
【図１３】パターンＡおよびパターンＢを示す図である。
【図１４】パラメータの値として、図１２に示す第１の値を用いることによって、ＨａａｒＬｉｋｅ特徴量を算出する際の判定画像データの状態を示す図である。
【図１５】画像データの一部の他の例を示す図である。
【図１６】従来の画像認識装置が、撮像された画像データの中に矢印が存在するか否かを判定する場合における画像データの構成を示す図である。
【図１７】この発明に係る画像認識装置が、撮像された画像データの中に矢印が存在するか否かを判定する場合における画像データの構成を示す図である。
【符号の説明】
【００６６】
９ カメラ部、１０ 画像認識装置、１１ 画像入力受付部、１２ 前処理部、１３ スキャン処理部、１４ 特徴量算出部、１５ 判定部、１６ データ格納部、２０，２１，２２，２３，３５ａ，３５ｂ，３５ｃ，３５ｄ，３５ｅ 対象画像データ、２０ａ，２０ｂ 分割画像データ、２５，３０，３１，３２ 判定画像データ、２６ａ，２６ｂ 白部分、２７ａ，２７ｂ 黒部分。
【技術分野】
【０００１】
この発明は、画像認識装置および画像認識方法に関し、特に、カメラ等の撮像装置によって撮像された画像データの中から、特定の対象物を認識することができる画像認識装置および画像認識方法に関するものである。
【背景技術】
【０００２】
カメラ等の撮像装置によって撮像された画像データの中から、特定の対象物を認識する技術は、例えば、特開２００８−７７６２６号公報（特許文献１）に開示されている。
【０００３】
特許文献１によると、装置は、カメラによって撮像された画像データをフレームメモリに蓄積する。そして、フレームメモリに蓄積した画像データを加工等することによって、撮像された画像データの中から、特定の対象物を認識することとしている。
【特許文献１】特開２００８−７７６２６号公報（段落番号００２３〜００２７等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示の技術では、対象物を認識するために、一旦撮像された画像データをフレームメモリに蓄積している。この場合、装置の規模が大きくなってしまう虞がある。
【０００５】
この発明の目的は、装置の小規模化を図ることができる画像認識装置を提供することである。
【０００６】
この発明の他の目的は、装置の小規模化を図ることができる画像認識方法を提供することである。
【課題を解決するための手段】
【０００７】
この発明に係る画像認識装置は、被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識装置であって、撮像手段によって撮像された画像データの一部の入力を受け付ける画像入力受付手段と、画像入力受付手段に同期して作動し、予め定められた学習データに基づいて、画像入力受付手段により入力を受け付けた画像データの一部を用いて、認識対象物が存在するか否かを判定する画像判定手段とを備える。
【０００８】
好ましくは、画像入力受付手段は、所定の走査順で、撮像手段によって撮像された画像データの一部の入力を受け付け、学習データは、認識対象物の少なくとも一部を特定するデータを有し、画像判定手段は、特定するデータを所定の走査順に並べることによって、画像入力受付手段に同期して作動する。
【０００９】
さらに好ましくは、画像判定手段は、画像入力受付手段により入力を受け付けた画像データの一部において、特徴量を算出する算出手段と、算出手段によって算出された特徴量が、所定の閾値よりも大きいか否かを比較する閾値比較手段と、閾値比較手段によって比較された結果に対して、重みを付加する付加手段とを含む。
【００１０】
さらに好ましくは、画像入力受付手段により入力を受け付けた画像データから、一定の大きさの画像データを抽出する抽出手段をさらに備える。
【００１１】
さらに好ましくは、抽出手段は、画像入力受付手段により入力を受け付けた画像データを、所定のサイズの分割画像データに複数分割する分割手段と、分割手段により分割した複数の分割画像データの中から、所望の分割画像データを抜き出す抜出手段と、抜出手段により抜き出した分割画像データを合成して１つの画像データを形成する合成手段とを含む。
【００１２】
この発明の他の局面においては、画像認識方法は、被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識方法である。そして、撮像手段によって撮像された画像データの一部の入力を受け付けるステップと、受け付けステップに同期して作動し、予め定められた学習データに基づいて、入力を受け付けた画像データの一部を用いて、認識対象物が存在するか否かを判定するステップとを備える。
【発明の効果】
【００１３】
この発明に係る画像認識装置は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【００１４】
また、この発明に係る画像認識方法は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【発明を実施するための最良の形態】
【００１５】
まず、この発明の原理について説明する。
【００１６】
従来の画像認識装置は、撮像装置によって撮像された１画面分の画像データを保存するフレームメモリを備える。画像認識装置は、撮像装置によって撮像された１画面分の画像データ全てをフレームメモリに保存する。そして、フレームメモリに保存した１画面分の画像データを用いて、認識対象物が、撮像された画像データの中に存在するか否かを判定する。図１６は、従来の画像認識装置を用いて、撮像された画像データの中に、認識対象物としての矢印が存在するか否かを判定する場合における画像データ１００の構成を示す図である。図１６を参照して、画像認識装置は、撮像装置によって撮像された１画面分の画像データ１００全てをフレームメモリに保存している。
【００１７】
一方、図１７は、この発明に係る画像認識装置を用いて、撮像された画像データの中に、認識対象物としての矢印が存在するか否かを判定する場合における画像データ１０１の構成を示す図である。図１７を参照して、画像認識装置は、撮像装置によって撮像された１画面分の画像データ１０１の一部１０１ａを用いて、認識対象物が、撮像された画像データ１０１の中に存在するか否かを判定する。具体的には、撮像装置によって撮像された画像データ１０１の一部１０１ａが入力されると、その一部１０１ａの中に、認識対象物を特定するデータが存在するか否かを判定する。すなわち、撮像された画像データ１０１の一部１０１ａの入力に同期して、その一部１０１ａの中に、認識対象物を特定するデータが存在するか否かを判定する。そして、撮像装置によって撮像された画像データ１０１を構成する他の一部１０１ｂ〜１０１ｄにおいても同様に判定を行い、最後の一部１０１ｄが入力され、判定が終了するタイミングで、認識対象物が、撮像された１画面分の画像データ１０１全体の中に存在するか否かを判定する。
【００１８】
以下、この発明に係る画像認識装置の実施の形態を図面を参照して詳細に説明する。図１は、この発明の一実施形態に係る画像認識装置１０の構成を示すブロック図である。図１を参照して、画像認識装置１０は、被写体を撮像可能な撮像手段としてのカメラ部９によって撮像された画像データの入力を受け付ける画像入力受付部１１と、画像入力受付部１１にて入力を受け付けた画像データの前処理を行う前処理部１２と、前処理部１２にて処理された画像データの切り出しおよび正規化を行うスキャン処理部１３と、スキャン処理部１３にて処理された画像データにおいて、ＨａａｒＬｉｋｅ特徴量の算出を行う特徴量算出部１４と、特徴量算出部１４にて算出された結果に基づいて、入力を受け付けた画像データに、認識対象物が存在するか否かを判定する判定部１５と、判定部１５にて判定する際に用いる学習データを格納するデータ格納部１６とを備える。
【００１９】
図２は、図１に示す画像認識装置１０を用いて、対象物の認識を行う場合の処理の流れを示すフローチャートである。図１および図２を参照して、画像認識装置１０を用いて、対象物の認識を行う場合について説明する。なお、図２では、処理の大まかな流れのみを示し、詳細については、後述する。この実施形態においては、対象物として、矢印を採用し、矢印の認識を行う場合について説明する。
【００２０】
まず、画像入力受付部１１は、カメラ部９にて撮像された対象画像データの一部の入力を受け付ける（図２において、ステップＳ１１、以下ステップを省略する）。そして、画像入力受付部１１は、入力された対象画像データの一部を前処理部１２に送信する。
【００２１】
前処理部１２は、画像入力受付部１１にて入力を受け付けた対象画像データの一部において、輝度の補正等を行う（Ｓ１２）。そして、補正等を終了すると、補正した対象画像データをスキャン処理部１３に送信する。
【００２２】
スキャン処理部１３は、対象画像データの一部を用いて、一定の大きさの判定画像データを抽出する（Ｓ１３）。そして、抽出した判定画像データを特徴量算出部１４に送信する。
【００２３】
特徴量算出部１４は、データ格納部１６に格納された学習データに基づき、判定画像データにおいて、ＨａａｒＬｉｋｅ特徴量の算出を行う（Ｓ１４）。
【００２４】
判定部１５は、学習データに基づき、特徴量算出部１４にて算出した特徴量の結果から、判定画像データに、認識対象物の少なくとも一部を特定するデータ、ここでは、矢印の少なくとも一部を特定するデータが存在するか否かを判定する（Ｓ１５）。
【００２５】
そして、画像認識装置１０は、上記したＳ１１〜Ｓ１５までの処理を、カメラ部９にて撮像された対象画像データの全てにおいて行うことによって、最終的な判定結果を出力する。すなわち、矢印が、カメラ部９にて撮像された１画面分の対象画像データ全体の中に存在するか否かを判定する。そして、その判定結果を外部へ出力する（Ｓ１６）。
【００２６】
図３は、画像入力受付部１１の処理の詳細を示すフローチャートである。図１〜図３を参照して、画像入力受付部１１の処理の詳細について説明する。
【００２７】
画像入力受付部１１は、カメラ部９にて撮像された対象画像データの一部の入力を受け付ける（Ｓ２１）。図４は、対象画像データの一部２０の一例を示す図である。なお、図４において、点線で、対象画像データの他の一部２１〜２３を示している。図４を参照して、対象画像データの一部２０は、中央部に矢印の一部が配置されている。矢印は、右側を指している。対象画像データは、図４中の左上から右下に向かう方向に走査されることから、画像入力受付部１１は、その走査順に、順次、対象画像データの一部２０〜２３の入力を受け付けている。具体的には、対象画像データの一部２０を先頭に、２１、２２、２３の順に受け付けている。対象画像データは、走査順に並んだ４つの対象画像データの一部２０〜２３を組み合わせたものである。対象画像データの始点は、対象画像データの一部２０の左上に位置し、終点は、対象画像データの一部２３の右下に位置する。ここで、画像入力受付部１１は、画像入力受付手段として作動する。そして、順次、入力を受け付けた対象画像データの一部２０を前処理部１２に送信する（Ｓ２２）。
【００２８】
図５は、前処理部１２の処理の詳細を示すフローチャートである。図１〜図５を参照して、前処理部１２の処理の詳細について説明する。
【００２９】
前処理部１２は、画像入力受付部１１にて入力を受け付けた対象画像データの一部２０を、輝度信号と色信号とに分離する（Ｓ３１）。そして、輝度信号のみを採用する。前処理部１２は、輝度信号のみになった対象画像データの一部２０において、輝度の補正を行う。また、前処理部１２は、輝度信号のみになった対象画像データの一部２０において、明るさの度合いを調整するガンマカーブの補正を行う（Ｓ３２）。そして、補正した輝度信号のみになった対象画像データの一部２０をスキャン処理部１３に送信する（Ｓ３３）。
【００３０】
図６は、スキャン処理部１３の処理の詳細を示すフローチャートである。図１〜図６を参照して、スキャン処理部１３の処理の詳細について説明する。
【００３１】
スキャン処理部１３は、対象画像データの一部２０を用いて、一定の大きさの判定画像データを抽出する。具体的には、対象画像データの一部２０を、所定のサイズ、例えば、１ドット毎に格子状に分割する（Ｓ４１）。図７は、対象画像データの一部２０を格子状に分割した場合の一例を示す図であって、理解を容易にする観点から、格子の大きさを誇張して示している。そして、格子状に分割した対象画像データの一部２０において、所定の間隔を空けて、所望の分割した画像データを抜き出す（Ｓ４２）。例えば、図７において、分割画像データ２０ａ、２０ｂ等を抜き出す。そして、抜き出した分割画像データを合成して、一定の大きさの１つの判定画像データを形成する（Ｓ４３）。ここで、スキャン処理部１３は、抽出手段、分割手段、抜出手段、および合成手段として作動する。
【００３２】
すなわち、スキャン処理部１３は、対象画像データの一部２０から、後述する特徴量算出部１４において特徴量を算出するために、データを切り出して大きさを一定にするための正規化を行う。これにより、切り出しおよび正規化を同時に行うことができるため、処理量の削減等を行うことができる。
【００３３】
このようにして、対象画像データの一部２０を用いて、一定の大きさの判定画像データを抽出する。図８は、抽出した判定画像データ２５の一例を示す図である。なお、図示はしないが、判定画像データの全体においても対象画像データと同様に、走査順に並んだ４つの判定画像データ２５を組み合わせたものである。また、判定画像データの全体の始点は、上記した対象画像データと同様に、左上に位置し、終点は、右下に位置する。そして、判定画像データ２５を特徴量算出部１４に送信する（Ｓ４４）。
【００３４】
図９〜図１１は、特徴量算出部１４および判定部１５の処理の詳細を示すフローチャートであって、それぞれ第１の処理、第２の処理、判定処理を示している。図１〜図１１を参照して、特徴量算出部１４および判定部１５の処理の詳細について説明する。
【００３５】
まず、図９を参照して、特徴量算出部１４は、判定画像データ２５において、ＨａａｒＬｉｋｅ特徴量の算出を行うために、第１の処理を開始する。第１の処理として、特徴量算出部１４は、まず、判定処理を行う（Ｓ５０）。
【００３６】
そうすると、図１１を参照して、特徴量算出部１４は、特徴量の算出において利用する学習データを参照する（Ｓ６０）。図１２は、学習データの一例を示す図である。学習データは、どのような画像が矢印であるかを、アダブースト（Ａｄａｂｏｏｓｔ）演算処理にて、予め学習したデータのことであって、複数枚の矢印および矢印以外の画像を用意し、これらを用いて、統計的に学習処理させたデータである。学習データは、予め定められたデータであって、矢印の少なくとも一部を特定するデータを有している。
【００３７】
また、学習データは、カメラ部９にて撮像された対象画像データの一部２０〜２３の個数分データを保持する。この実施形態においては、４つ分のデータを保持し、第１の値は、対象画像データの一部２０に対応し、第２の値は、対象画像データの一部２１に対応し、第３の値は、対象画像データの一部２２に対応し、第４の値は、対象画像データの一部２３に対応する。また、学習データは、矢印を認識するために最適な値が設定されたパラメータを保持する。パラメータは、特徴量の算出を行う領域の開始位置、領域のサイズ、特徴の種類、閾値、および重みから構成されている。
【００３８】
領域の開始位置は、判定画像データ２５のうち、特徴量の算出を行う領域の始点を示すものである。４つ分のデータにおいて、開始位置は、走査順に並んでいる。領域のサイズは、判定画像データ２５のうち、上記した開始位置から、特徴量の算出を行う領域の範囲を示すものである。このサイズは、判定画像データ２５に沿うサイズである。特徴の種類は、ＨａａｒＬｉｋｅ特徴の種類を示し、ここでは、図１３に示すパターンＡおよびパターンＢを採用する。パターンＡは、横方向に隣り合うように白部分２６ａおよび黒部分２７ａが配置されており、白部分２６ａが左側に、黒部分２７ａが右側に配置されている。パターンＢは、横方向に垂直な方向、すなわち、縦方向に隣り合うように白部分２６ｂおよび黒部分２７ｂが配置されており、白部分２６ｂが下側に、黒部分２７ｂが上側に配置されている。そして、判定画像データ２５にパターンを当てはめることによって、特徴量の算出を行う。なお、図１３においては、ハッチングによって、黒部分２７ａ，２７ｂを示している。閾値は、算出した特徴量の値が、いくつ以上であれば、矢印が存在するか否かを比較するための値である。重みは、上記した閾値によって比較した結果に対する重要度を示すものであって、矢印の少なくとも一部を特定するものであれば、強く重み付けを行い、矢印の少なくとも一部を特定しないものであれば、弱く重み付けを行う。
【００３９】
図１４は、パラメータの値として、図１２に示す第１の値を用いることによって、ＨａａｒＬｉｋｅ特徴量を算出する際の判定画像データ２５の状態を示す図である。なお、図１４において、点線で、対象画像データの他の一部２１〜２３から形成された、他の判定画像データ３０〜３２を示している。
【００４０】
図１４を参照して、領域の開始位置をＰ１（ｘ０，ｙ０）と、領域のサイズをｗ０（幅），ｈ０（高さ）と、終了位置をＰ２（ｘ０＋ｗ０，ｙ０＋ｈ０）と、特徴の種類を「パターンＢ」としている。そして、判定画像データ２５におけるパターンＢの白部分２６ｂの画素値を積算して求めた値から、判定画像データ２５におけるパターンＢの黒部分２７ｂの画素値を積算して求めた値を減算（白部分２６ｂの画素値を積算して求めた値−黒部分２７ｂの画素値を積算して求めた値）することにより、ＨａａｒＬｉｋｅ特徴量を算出する（Ｓ６１）。そして、特徴量算出部１４は、算出した特徴量を判定部１５に送信する（Ｓ６２）。ここで、特徴量算出部１４は、算出手段として作動する。
【００４１】
そうすると、判定部１５は、送信された特徴量が所定の閾値、具体的には、学習データが示す閾値よりも大きいか否かを比較する（Ｓ６３）。ここで、判定部１５は、閾値比較手段として作動する。そして、Ｓ６３において比較した結果に対し、学習データが示す重みを付加する（Ｓ６４）。ここで、判定部１５は、付加手段として作動する。さらに、Ｓ６４において重みを付加した結果の各々を加算する（Ｓ６５）。
【００４２】
また、上記したように、画像入力受付部１１は、走査順に並んだ対象画像データの一部２０〜２３の入力を順次受け付けている。したがって、Ｓ６１における特徴量の算出は、対象画像データの一部２０の入力に同期して作動する。すなわち、終了位置Ｐ２まで、対象画像データの入力が終了したタイミングで、対象画像データの一部２０における特徴量の算出を行う。また、特徴量算出部１４は、順次、算出した特徴量を判定部１５に送信することから、Ｓ６２からＳ６５における比較等も、対象画像データの一部２０の入力に同期して作動する。
【００４３】
したがって、特徴量算出部１４は、Ｓ６１において、第１の値における特徴量の算出を終了すると、走査順に、第２の値における特徴量の算出に進む。すなわち、判定画像データ３０における特徴量の算出に進む（Ｓ６６において、ＮＯ）。このようにして、順次、学習データを参照して（Ｓ６０）、学習データに設定されているパラメータの個数分、判定画像データ２５、３０〜３２の特徴量を算出する（Ｓ６１）。そして、判定部１５においても同様に、順次、閾値との比較等を行い、重みを付加した結果の各々を加算する（Ｓ６２からＳ６５）。
【００４４】
そして、パラメータの個数分終了すると（Ｓ６６において、ＹＥＳ）、判定部１５は、順次、Ｓ６５において重みを付加した結果の各々を加算することにより得た値を用いて、矢印が、カメラ部９にて撮像された１画面分の対象画像データ全体の中に存在するか否かを判定する（Ｓ６７）。したがって、最後の対象画像データの一部２３の入力を受け付けて、重みを付加した結果を加算したタイミングで、矢印が、撮像された１画面分の対象画像データ全体の中に存在するか否かを判定する。ここで、判定部１５は、画像判定手段として作動する。
【００４５】
なお、（１）式は、Ｓ６３からＳ６７における判定部１５の最終的な判定結果を求める式を示している。ｔは、学習データのパラメータの個数を示し、ｆ（ｘ）は、Ｓ６７における最終的な認識判定結果を示し、αｉは、Ｓ６４における重みを示し、ｈｉ（ｘ）は、Ｓ６３における各々の比較結果を示している。
【００４６】
【数１】
【００４７】
また、判定部１５は、Ｓ６７において、矢印が存在すると判定すると（Ｓ６７において、ＹＥＳ）、矢印が存在するという判定結果を外部へ出力する（Ｓ６８）。
【００４８】
また、矢印が存在しないと判定すると（Ｓ６７において、ＮＯ）、判定画像データを抽出する位置を変更する（Ｓ６９）。
【００４９】
そうすると、図９を参照して、判定画像データを抽出する位置が終点に到達するまで（Ｓ５１において、ＮＯ）、再度、特徴量の算出等、判定処理を繰り返し行う（Ｓ５０）。その後、判定画像データを抽出する位置が終点に到達した場合には（Ｓ５１において、ＹＥＳ）、判定画像データを抽出するサイズを小さく変更する（Ｓ５２）。
【００５０】
そうすると、図１０を参照して、第２の処理を開始する。第２の処理として、判定部１５は、判定画像データを抽出するサイズが、規定されたサイズより小さくなるまで（Ｓ７１において、ＮＯ）再度、特徴量の算出等、第１の処理を繰り返し行う（Ｓ７０）。その後、判定画像データを抽出するサイズが、規定されたサイズより小さくなった場合には（Ｓ７１において、ＹＥＳ）、矢印が存在しないという判定結果を外部へ出力する（Ｓ７２）。
【００５１】
このように、画像認識装置１０は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【００５２】
また、このような画像認識方法は、画像データの一部の入力を受け付けながら、認識対象物の判定を行うことができるため、撮像手段によって撮像された画像データを保存するためのメモリを不要とすることができる。すなわち、フレームメモリを不要とすることができる。その結果、装置の小規模化を図ることができる。
【００５３】
なお、上記の実施の形態においては、対象画像データの一部から判定画像データを抽出することにより、判定画像データを用いて、特徴量を算出する例について説明したが、これに限ることなく、対象画像データの一部をそのまま用いて、特徴量を算出してもよい。
【００５４】
また、上記の実施の形態においては、対象物として、１つの矢印の認識を行う例について説明したが、これに限ることなく、複数種類の対象物の認識を行う場合にも適用することができる。例えば、右側を指す矢印と、左側を指す矢印とを認識する場合にも適用することができる。この場合、画像認識装置１０は、対象物の数だけ判定部１５を備える構成とする。すなわち、右側を指す矢印が存在するか否かを判定する判定部と、左側を指す矢印が存在するか否かを判定する判定部とを備える構成とする。
【００５５】
また、上記の実施の形態においては、前処理部１２において、画像入力受付部１１にて入力を受け付けた対象画像データの一部２０を、輝度信号と色信号とに分離し、輝度信号のみを採用する例について説明したが、これに限ることなく、色信号を採用してもよい。この場合、色によって対象物が存在するか否かを判定する。具体的には、画像データの所定の領域の平均の色を算出して、これを特徴量とする。例えば、所定の領域にて、赤色が多く使用されている場合には、所定の領域の平均の色は、赤色であると算出して、これを特徴量とする。そして、色によって対象物を特定するデータを有する学習データを用いて、算出した特徴量から、対象物が、画像データの中に存在するか否かを判定する。これにより、輝度信号では、判定が困難である対象物においても、容易に判定することができる。また、輝度信号および色信号を併用して採用してもよい。
【００５６】
また、画像データの所定の領域の特徴点を算出して、これを特徴量とし、算出した特徴量から、対象物が、画像データの中に存在するか否かを判定してもよい。特徴点とは、画像中の形状境界となる点であって、例えば、所定の領域の特徴点の密度を算出して、これを特徴量とする。そして、特徴点の密度によって対象物を特定するデータを有する学習データを用いて、算出した特徴量から、対象物が、画像データの中に存在するか否かを判定してもよい。これにより、対象物の形状が複雑な場合であっても、容易に判定することができる。
【００５７】
また、採用した輝度信号を周波数領域に変換することにより、周波数領域に変換した信号を用いて、対象物が、画像データの中に存在するか否かを判定してもよい。この場合、変換する際には、フーリエ変換やウェーブレット（Ｗａｖｅｌｅｔ）変換を採用してもよい。これにより、例えば、対象物が、縦方向および横方向に、規則的に連続する模様であっても、容易に判定することができる。
【００５８】
また、上記の実施の形態においては、特徴の種類として、図１３に示すパターンを採用する例について説明したが、これに限ることなく、他のパターンを採用してもよい。
【００５９】
また、上記の実施の形態においては、図４に示すように、画像データを４等分したものを画像データの一部とし、これを用いて、特徴量の算出を行う例について説明したが、これに限ることなく、例えば、図１５の点線に示すように、矢印の指し示す方向である先端部や、後端部等を画像データの一部３５ａ〜３５ｅとし、これを用いて、特徴量の算出を行ってもよい。すなわち、対象物の特徴となる部分を示すデータであってもよい。また、特徴量の算出を行う領域のサイズや形状、位置等は、認識対象物や、対象物の特徴となる部分の大きさ等に応じて、様々なサイズや形状、位置等を用いることができる。
【００６０】
また、上記の実施の形態においては、図１１に示すＳ６３において、判定部１５は、送信された特徴量が、学習データが示す閾値よりも大きいか否かを比較する例について説明したが、これに限ることなく、閾値よりも小さいか否かを比較してもよいし、閾値と一致するか否かを比較してもよいし、他の方法で比較してもよい。
【００６１】
また、上記の実施の形態においては、対象物として、矢印を採用する例について説明したが、これに限ることなく、他の物体が、画像データの中に存在するか否かを判定する際にも適用することができる。
【００６２】
また、上記の実施の形態においては、画像判定手段は、画像認識手段に同期して作動する例について説明したが、これに限ることなく、画像判定手段と画像認識手段とを同期させるよう制御する制御手段を備える構成としてもよい。
【００６３】
なお、この発明に係る画像認識装置１０は、例えば、ロボット等に適用することができる。この場合、上記した矢印のような標識を外部に設置しておくのみで、ロボットに標識を認識させて、自律して動作させることができる。したがって、例えば、標識に無線等の発信装置を設け、ロボットに発信装置から発信された無線を受信する受信装置を設けることにより、ロボットを動作させる方法も考えられるが、この場合、無線等を使用することなく、自律して動作可能なロボットを安価に製造することができる。
【００６４】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【図面の簡単な説明】
【００６５】
【図１】この発明の一実施形態に係る画像認識装置の構成を示すブロック図である。
【図２】図１に示す画像認識装置を用いて、対象物の認識を行う場合の処理の流れを示すフローチャートである。
【図３】画像入力受付部の処理の詳細を示すフローチャートである。
【図４】対象画像データの一部の一例を示す図である。
【図５】前処理部の処理の詳細を示すフローチャートである。
【図６】スキャン処理部の処理の詳細を示すフローチャートである。
【図７】対象画像データの一部を格子状に分割した場合の一例を示す図である。
【図８】抽出した判定画像データの一例を示す図である。
【図９】第１の処理を示すフローチャートである。
【図１０】第２の処理を示すフローチャートである。
【図１１】判定処理を示すフローチャートである。
【図１２】学習データの一例を示す図である。
【図１３】パターンＡおよびパターンＢを示す図である。
【図１４】パラメータの値として、図１２に示す第１の値を用いることによって、ＨａａｒＬｉｋｅ特徴量を算出する際の判定画像データの状態を示す図である。
【図１５】画像データの一部の他の例を示す図である。
【図１６】従来の画像認識装置が、撮像された画像データの中に矢印が存在するか否かを判定する場合における画像データの構成を示す図である。
【図１７】この発明に係る画像認識装置が、撮像された画像データの中に矢印が存在するか否かを判定する場合における画像データの構成を示す図である。
【符号の説明】
【００６６】
９ カメラ部、１０ 画像認識装置、１１ 画像入力受付部、１２ 前処理部、１３ スキャン処理部、１４ 特徴量算出部、１５ 判定部、１６ データ格納部、２０，２１，２２，２３，３５ａ，３５ｂ，３５ｃ，３５ｄ，３５ｅ 対象画像データ、２０ａ，２０ｂ 分割画像データ、２５，３０，３１，３２ 判定画像データ、２６ａ，２６ｂ 白部分、２７ａ，２７ｂ 黒部分。
【特許請求の範囲】
【請求項１】
被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識装置であって、
前記撮像手段によって撮像された画像データの一部の入力を受け付ける画像入力受付手段と、
前記画像入力受付手段に同期して作動し、予め定められた学習データに基づいて、前記画像入力受付手段により入力を受け付けた前記画像データの一部を用いて、認識対象物が存在するか否かを判定する画像判定手段とを備える、画像認識装置。
【請求項２】
前記画像入力受付手段は、所定の走査順で、前記撮像手段によって撮像された画像データの一部の入力を受け付け、
前記学習データは、前記認識対象物の少なくとも一部を特定するデータを有し、
前記画像判定手段は、前記特定するデータを前記所定の走査順に並べることによって、前記画像入力受付手段に同期して作動する、請求項１に記載の画像認識装置。
【請求項３】
前記画像判定手段は、前記画像入力受付手段により入力を受け付けた前記画像データの一部において、特徴量を算出する算出手段と、
前記算出手段によって算出された前記特徴量が、所定の閾値よりも大きいか否かを比較する閾値比較手段と、
前記閾値比較手段によって比較された結果に対して、重みを付加する付加手段とを含む、請求項１または２に記載の画像認識装置。
【請求項４】
前記画像入力受付手段により入力を受け付けた画像データから、一定の大きさの画像データを抽出する抽出手段をさらに備える、請求項１〜３のいずれかに記載の画像認識装置。
【請求項５】
前記抽出手段は、前記画像入力受付手段により入力を受け付けた画像データを、所定のサイズの分割画像データに複数分割する分割手段と、
前記分割手段により分割した複数の前記分割画像データの中から、所望の分割画像データを抜き出す抜出手段と、
前記抜出手段により抜き出した前記分割画像データを合成して１つの画像データを形成する合成手段とを含む、請求項４に記載の画像認識装置。
【請求項６】
被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識方法であって、
撮像手段によって撮像された画像データの一部の入力を受け付けるステップと、
受け付けステップに同期して作動し、予め定められた学習データに基づいて、入力を受け付けた画像データの一部を用いて、認識対象物が存在するか否かを判定するステップとを備える、画像認識方法。
【請求項１】
被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識装置であって、
前記撮像手段によって撮像された画像データの一部の入力を受け付ける画像入力受付手段と、
前記画像入力受付手段に同期して作動し、予め定められた学習データに基づいて、前記画像入力受付手段により入力を受け付けた前記画像データの一部を用いて、認識対象物が存在するか否かを判定する画像判定手段とを備える、画像認識装置。
【請求項２】
前記画像入力受付手段は、所定の走査順で、前記撮像手段によって撮像された画像データの一部の入力を受け付け、
前記学習データは、前記認識対象物の少なくとも一部を特定するデータを有し、
前記画像判定手段は、前記特定するデータを前記所定の走査順に並べることによって、前記画像入力受付手段に同期して作動する、請求項１に記載の画像認識装置。
【請求項３】
前記画像判定手段は、前記画像入力受付手段により入力を受け付けた前記画像データの一部において、特徴量を算出する算出手段と、
前記算出手段によって算出された前記特徴量が、所定の閾値よりも大きいか否かを比較する閾値比較手段と、
前記閾値比較手段によって比較された結果に対して、重みを付加する付加手段とを含む、請求項１または２に記載の画像認識装置。
【請求項４】
前記画像入力受付手段により入力を受け付けた画像データから、一定の大きさの画像データを抽出する抽出手段をさらに備える、請求項１〜３のいずれかに記載の画像認識装置。
【請求項５】
前記抽出手段は、前記画像入力受付手段により入力を受け付けた画像データを、所定のサイズの分割画像データに複数分割する分割手段と、
前記分割手段により分割した複数の前記分割画像データの中から、所望の分割画像データを抜き出す抜出手段と、
前記抜出手段により抜き出した前記分割画像データを合成して１つの画像データを形成する合成手段とを含む、請求項４に記載の画像認識装置。
【請求項６】
被写体を撮像可能な撮像手段から入力された画像データを用いて、特定の対象物を認識可能な画像認識方法であって、
撮像手段によって撮像された画像データの一部の入力を受け付けるステップと、
受け付けステップに同期して作動し、予め定められた学習データに基づいて、入力を受け付けた画像データの一部を用いて、認識対象物が存在するか否かを判定するステップとを備える、画像認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−１２８９７２（Ｐ２０１０−１２８９７２Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０５２１２（Ｐ２００８−３０５２１２）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（５０１３２１３９４）株式会社レイトロン (14)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（５０１３２１３９４）株式会社レイトロン (14)
【Ｆターム（参考）】
[ Back to top ]