画像認識装置および画像認識方法
【課題】専門的な知識が無くても、画像による被比較画像の同定を容易に行なえるようにした画像認識装置および画像認識方法を提供する。
【解決手段】種別判別サーバー４は、画像被比較画像１１に類似する類似画像を検索する画像比較部４ｂと、この被比較画像１１に特徴点が含まれているかを判定する特徴点判定部４ｄと、画像の特徴部を表す特徴点テンプレート１３を記憶するテンプレートデータベース４ｅと、特徴点判定部４ｄにおいて特徴点を検出できない場合に、類似画像に関連付けられた特徴点テンプレート１３を出力するテンプレート出力部４ｆを有する。カメラ１は特徴点テンプレート１３に対応した画像を表示する表示部を有する。
【解決手段】種別判別サーバー４は、画像被比較画像１１に類似する類似画像を検索する画像比較部４ｂと、この被比較画像１１に特徴点が含まれているかを判定する特徴点判定部４ｄと、画像の特徴部を表す特徴点テンプレート１３を記憶するテンプレートデータベース４ｅと、特徴点判定部４ｄにおいて特徴点を検出できない場合に、類似画像に関連付けられた特徴点テンプレート１３を出力するテンプレート出力部４ｆを有する。カメラ１は特徴点テンプレート１３に対応した画像を表示する表示部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置および画像認識方法に関し、詳しくは、昆虫など生物等の画像の同定を容易に行うことのできる画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
近年、インターネットの普及により、Ｗｅｂ検索で、誰でも所望する情報を容易に取得できるようになっている。しかしながら、例えば採集した昆虫や植物等や、また撮影した昆虫や植物の写真の種類を特定しようとする場合等、専門的な知識が無いと、適切なキーワードを設定することは困難であり、種類の同定までに多大な時間と、労力が強いられている。
【０００３】
そこで、画像認識技術を用いて検索を行なうことにより、情報を入手する装置や方法が、種々提案されている。例えば、特許文献１には、通常モードと認識モードを有するデジタルカメラにおいて、認識モードが選択されると、撮影した正面画像データと側面画像データに基づいて対象物の特徴情報を抽出し、この特徴情報をデータベース上の参照情報と照合して対象物の名称を読み出すことが開示されている。
【特許文献１】特開２００２−２４７４３６号公報
【０００４】
また、特許文献２には、植物の画像から対象物の特徴量を求め、予めデータベースに登録された植物の特徴量から、種類を判別するシステムが開示されている。ここで、例えば、対象物が花の画像である場合には、特徴量としては、重心から花弁の輪郭までの距離や、重心との角度の関係から決まるような数値分析できるような量である。さらに、特許文献３には、画像の特徴とキーワードを関連付けたデータベースで、画像検索からキーワード取得し、そのキーワードによる情報検索から、関連する情報を取得する情報検索装置が開示されている。
【特許文献２】特開２００２−２０３２４２号公報
【特許文献３】特開２００２−２９７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示のデジタルカメラにおいては、特徴情報が正面画像データと側面画像データに限られるので、これらの画像に特徴部分が含まれているとは限らないので、同定できない場合がある。また、特許文献２に開示のシステムでは、画像から特徴量を抽出するが、読み込まれた画像から同定に必要な特徴量を抽出できない場合がある。さらに、特許文献３に開示の情報検索装置では、対象物の同定に有効な特徴部が含まれない画像には検索できないという問題点があった。すなわち、これらの先行技術では、画像解析するにあたって、同定するに必要な特徴部分が含まれているとは限らず、このため専門的知識がないと、画像の同定を容易に行なうことができなかった。
【０００６】
本願発明は、このような事情を鑑みてなされたものであり、専門的な知識が無くても、画像による被比較画像の同定を容易に行なえるようにした画像認識装置および画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像認識装置は、所定の画像に類似する類似画像を認識する類似画像認識部と、上記画像を認識する画像認識部と、上記画像の特徴部を表すテンプレートを記憶するテンプレート記憶部と、上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、上記テンプレートに対応した画像を入力する画像入力部を備える。
【０００８】
第２の発明に係わる画像認識装置は、上記第１の発明において、上記類似画像認識部は、上記画像の輪郭情報に基づいて類似画像を認識する。
また、第３の発明に係わる画像認識装置は、上記第１の発明において、上記画像認識部は、対象画像の特徴を表す特徴部と予め登録された画像の特徴部とを比較することにより上記対象画像を認識する。
さらに、第４の発明に係わる画像認識装置は、上記第１の発明において、上記画像認識装置はさらに、上記画像認識部において画像を認識できた場合に上記画像に関連するキーワードを出力するキーワード出力部を備え。
さらに、第５の発明に係わる撮像装置は、上記第１の発明において、上記画像認識装置は、さらに、画像を撮影する撮影部を備えた撮像装置であって、上記撮像部は上記テンプレート出力部により出力されたテンプレートを基に撮像した画像を撮影する。
【０００９】
上記目的を達成するため第６の発明に係わる画像認識方法は、所定の画像に類似する類似画像を認識する類似画像認識ステップと、上記画像を認識する画像認識ステップと、この画像認識部ステップにおいて上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップを備える。
【００１０】
上記目的を達成するため第７の発明に係わる画像認識システムは、所定の画像に類似する類似画像を認識する類似画像認識部と、上記画像を認識するテンプレートを記憶するテンプレート記憶部と、上記画像認識部において上記画像を認識できない場合、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、上記テンプレートに対応した画像を入力する画像入力部と、上記画像を撮影する撮像部を備える。
上記目的を達成するため第８の発明に係わるプログラムは、所定の画像に類似する類似画像を認識する類似画像認識ステップと、上記画像を認識する画像認識ステップと、上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップと、上記テンプレートに対応した画像を入力する画像入力ステップをコンピュータに実行させる。
【００１１】
上記目的を達成するため第９の発明に係わる画像認識装置は、被比較画像の種別判定にあたって、種別の特徴点を記憶する画像データベースと、上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、上記特徴点に基づいて上記被比較画像の種別を表すキーワードを記憶するキーワードデータベースと、上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択し、一方、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択する特徴点判定部を具備する。
【００１２】
第１０の発明に係わる画像認識装置は、上記第９の発明において、上記画像データベースは大まかな種別を表す参照画像群を記憶し、上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部を有する。
また、第１１の発明に係わる画像認識装置は、上記第９の発明において、上記特徴点判定部によって選択された特徴点テンプレートを表示する表示部を有する。
【００１３】
上記目的を達成するため第１２の発明に係わる画像認識方法は、被比較画像と、画像データベースに記憶された種別の特徴点を比較するステップと、この比較において、上記特徴点を認識できない場合に、上記被比較画像に類似する画像の特徴部を表すテンプレートを表示するステップを具備する。
第１３の発明に係わる画像認識方法は、上記第１２の発明において、上記特徴点の比較のステップに先立って、上記被比較画像と参照画像群とを比較し、類似画像を選択する。
【００１４】
上記目的を達成するため第１４の発明に係わる撮像装置は、画像を取得し被比較画像を出力する撮像手段と、画像の種別ごとに特徴点を記憶する画像データベースと、上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択する特徴点判定部と、この特徴点判定部によって選択された上記特徴点テンプレートを表示する表示部を具備する。
第１５の発明に係わる撮像装置は、上記第１４の発明において、上記特徴点に基づいて上記画像の種別を表すキーワードを記憶するキーワードデータベースを具備し、上記特徴点判定部は、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択し、上記表示部は、上記キーワードを表示する。
第１６の発明に係わる撮像装置は、上記第１４の発明において、上記表示部は、上記撮像手段によって撮像した画像と、上記特徴点テンプレートを重畳して表示する。
第１７の発明に係わる撮像装置は、上記第１４の発明において、上記画像データベースは大まかな種別を表す参照画像群を記憶し、上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部を有する。
【００１５】
上記目的を達成するため第１８の発明に係わる撮像アシスト方法は、外部よりテンプレートを入力するステップと、上記テンプレートを表示するテンプレート撮影モードに設定するステップと、上記テンプレート撮影モードで撮影を行うステップと、上記撮影において取得した撮影画像を外部に出力するステップとからなる。
上記目的を達成するため第１９の発明に係わるプログラムは、カメラにテンプレートを出力するステップと、上記カメラから、上記テンプレートを用いて撮影した画像データを受信するステップと、上記画像データを画像認識用のサーバーに画像データを送出するステップとからなる。
【発明の効果】
【００１６】
本発明によれば、画像の特徴部を表すテンプレートを記憶し、画像認識部において画像を認識できない場合に、テンプレートを出力するようにしたので、専門的な知識が無くても、画像による被比較画像の同定を容易に行なえるようにした画像認識装置および画像認識方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に従って本発明を適用した画像認識システムを用いて好ましい実施形態について説明する。本実施形態においては、デジタルカメラ等の画像入力装置から直接またはパーソナルコンピュータを介して入力された被比較画像の種別を、種別判定サーバーによって同定する。種別が判別できた場合には、種別判定サーバーは、同定された種別に基づいて名称をデジタルカメラまたはパーソナルコンピュータにフィードバックを行なう。
【００１８】
また、種別を判定できない場合には、ユーザーが種別判定に必要な特徴部を含んだ画像を取得できるように、特徴部を表示するテンプレートをユーザーにフィードバックする。ユーザーはテンプレートを参考にして、被比較画像の取得を行ない、これによって容易に被比較画像の種別を同定することができる。なお、カメラやパーソナルコンピュータと種別判定サーバーとは、インターネットを介して接続している。
【００１９】
図１は、本発明の一実施形態に係わるデジタルカメラ、パーソナルコンピュータとインターネット上のサーバーから構成される画像認識システムのブロック図である。カメラ１は撮像素子によって被写体２をデジタル画像データとして取得し、カメラ１内の記録メディアに記録することができる。パーソナルコンピュータ（ＰＣ）３は、カメラ１と無線または有線で接続され、データの送受信が可能である。種別判定サーバー４は、インターネット上に配置されたサーバーであり、カメラ１と直接またはＰＣ３を介して、接続可能である。
【００２０】
種別判定サーバー４内には、ＰＣ３等から同定対象となる被比較画像を入力するための画像入力部４ａ、参照用の画像、特徴点画像および同定判定用画像を記憶しているデータベースである画像ＤＢ４ｃ、被比較画像と参照用画像とを比較する画像比較部４ｂが設けられている。また画像比較部４ｂと画像ＤＢ４ｃの出力を受け、被比較画像の同定に必要な特徴点の有無を判定する特徴点判定部４ｄが設けられている。この特徴点判定部４ｄの判定結果を受けるテンプレートＤＢ４ｅとキーワードＤＢ４ｇが設けられている。
【００２１】
テンプレートＤＢ４ｅは、詳しくは後述するが、同定対象の特徴部を分かり易く表示するための特徴点テンプレート１３（画像データ）を記憶している。このテンプレートＤＢ４ｅの出力は、テンプレート出力部４ｆに接続されており、このテンプレート出力部４ｆの出力は、インターネットを介して、ＰＣ３若しくは直接カメラ１に接続されている。
【００２２】
キーワードＤＢ４ｇは、特徴点判定部４ｄによって判定された種別を表す名称（キーワード）を記憶している。このキーワードＤＢ４ｇの出力は、キーワード出力部４ｈに接続されており、このキーワード出力部４ｈの出力は、インターネットを介して、ＰＣ３もしくは直接カメラ１に接続されている。
【００２３】
このように構成されている本発明の一実施形態の動作について説明する。まず、ユーザーがカメラ１を用いて、被写体２を撮影する。撮影された被比較画像１１（図２参照）は、ＰＣ３等の情報入出力端末を介して、種別判定サーバー４の画像入力部４ａに転送される。なお、カメラ１自体が通信機能を有する場合には、ＰＣ３を介さずカメラから直接画像を転送してもよい。また、撮影した画像を一旦ＰＣ３以外のストレージ機器に保存して、ストレージ機器から直接転送してもよいし、画像をスキャニングして、転送してもよい。
【００２４】
画像入力部４ａに転送された被比較画像１１は、画像比較部４ｂにおいて、データベースである画像ＤＢ４ｃに格納されている参照画像群１２（図２参照）と、順次比較され、略一致する画像を選択する。すなわち、被比較画像１１と、参照画像群１２中の各参照画像１２ａ、１２ｂ、１２ｃと、順次比較を行ない、類似する画像を選択する。この例では、被比較画像１１は、トンボであり、画像比較部４ｂは、この被比較画像１１と最も類似する画像として、トンボを表す参照画像１２ｃを選択する。なお、図２において参照画像群１２は１２ａ〜１２ｃの３種の参照画像群を描いてあるが、画像ＤＢ４ｃ内には、多数の参照画像群が記憶されている。
【００２５】
参照画像群１２が選択されると、次に、特徴判定部４ｄにおいて、被比較画像１１の同定に必要な特徴点の有無を判定するために、略一致した画像の特徴点１３ａ〜１３ｄ（図２参照）の比較により、被比較画像の同定有効性を判定する。ここで、画像の特徴点について説明する。画像による同定では、形状情報と色情報が比較対象となるが、問題は、どの部分を比較すれば、同定が可能になるかである。そこで、本実施形態では、特徴点を定義して、同定を行うものとしている。
【００２６】
先ず被比較画像１１から抽出された輪郭と、参照画像群１２の輪郭を画像比較部４ｂは比較し、輪郭が略一致した分類に従い、それぞれの特徴点を定義する。例えば、昆虫であれば、眼（略円形状部分）と、輪郭重心との位置関係から、頭部、胸部、腹部などの位置を特定する。眼と輪郭重心と各部位との位置関係は、それぞれの分類により個別に定義される。また、花の場合であれば、輪郭重心を花の中心と捉え、輪郭重心から輪郭までの放射方向距離から花弁を特定するなどの方法が挙げられる。
【００２７】
被比較画像１１が、例えば、トンボである場合には、同定にあたって、（１）頭部の形態、（２）胸部の形態、（３）腹部の形態、（４）翅の形態が必要となる。そこで、特徴点として、上記（１）から（４）に対応して、前述の特徴点１３ａ〜１３ｄを用意しておく。特徴判定部４ｄは、画像入力部４ａによって入力された被比較画像１１について、同定に必要な特徴点１３ａ〜１３ｄが含まれているか否かの判定を行なう。
【００２８】
判定の結果、これらの特徴点が含まれている場合には、さらに、被比較画像１１と同定判定画像３１（図６参照）と比較し、同定判定を行う。同定判定にあたっては、特徴部の形状と特徴部色の比較を行なう。なお、図６においては、特徴部色の相違は、網掛けのパターンの相違で表示している。図６に示す同定判定画像３１には、種別の名称としてキーワード３２が関連付けられている。
【００２９】
特徴点テンプレート１３が記憶されているデータベースであるテンプレートＤＢ４ｅは、テンプレート出力部４ｆを介して、選択されたテンプレートをＰＣ３に送出する。また、同定判定画像３１中のキーワード３２と同様のキーワードが記憶されているデータベースであるキーワードＤＢ４ｇは、キーワード出力部４ｈを介して、選択されたキーワードをＰＣ３に送出する。
【００３０】
ここで、特徴点テンプレート１３が送出されるか、キーワード３２が送出されるかは、特徴点判定部４ｄの判定結果に従う。すなわち、被比較画像１１の同定を有効に行なうことができた場合には、キーワード３２を出力する。一方、被比較画像１１の同定が有効に行なうことができなかった場合には、特徴点テンプレート１３を送出する。
【００３１】
被比較画像１１の同定が有効に行なうことができなかった場合には、ＰＣ３は、種別判定サーバー４から特徴点テンプレート１３を受け取り、このテンプレート画像をＰＣ３画面に表示し、また、このテンプレートをカメラ３に転送する。
【００３２】
ユーザーは、ＰＣ３に表示された特徴点テンプレート１３を参考にして、特徴点が含まれた画像となるように、被写体２を撮影することによって、種別を判別可能な画像を得ることができる。また、カメラ１によって撮影する際に、液晶等の画像表示装置に撮像素子からのライブ画像に特徴点テンプレート１３を合成表示させる機能を持たせることによって、ユーザーは、被写体をテンプレートに重ねて撮影でき、容易に特徴点を含んだ被写体像で撮影することができる。この合成表示については、図７および図８を用いて後述する。
【００３３】
テンプレート付加情報として、背景色の指定、コントラスト設定の指定、フラッシュ設定の指定、ホワイトバランス設定の指定等をすることで、輪郭、色の情報を取り易い画像を取得し易くすることも可能である。また、ＰＣ３は、種別判定サーバー４から受け取ったキーワードをテキストとして画面に表示する。また、後述するように、キーワードを、ネットワークを介してキーワード検索エンジン２１(図３参照)に送出する。
【００３４】
次に、図４を用いて、種別判定サーバー４における動作について説明する。まず、種別の同定を行なう被比較対象画像１１を、ＰＣ３、あるいはカメラ１から、画像入力部４ａに入力する（Ｓ１０１）。この入力された被比較対象画像１１は、画像比較部４ｂに転送される。
【００３５】
続いて、転送された被比較対象画像１１の輪郭部を抽出する（Ｓ１０２）。なお、ＰＣ３、或いはカメラ１で、輪郭抽出画像処理を実行後、画像を送出してもよい。輪郭抽出処理が終わると、次に、画像比較部４ｂにおいて、抽出した被比較画像の輪郭と、画像ＤＢ４ｃに予め記憶されている参照画像１２（図２参照）と、形状比較を行う（Ｓ１０３）。なお、図２では、昆虫を例に挙げている、勿論、花でも、魚でも、建物、美術品等、いずれでも構わない。
【００３６】
ステップＳ１０３における輪郭の類似判定結果に基づいて、類似画像の有無の判定を行う（Ｓ１０４）。判定の結果、類似画像が得られていなかった場合、同定が不可能である旨の情報を、ＰＣ３若しくは直接カメラ１にフィードバックする（Ｓ１１４）。ＰＣ３またはカメラ１は、この情報を受け、被比較画像１１の種別の同定が不能である旨を画面に表示する。このとき、例えば『対象画像の輪郭が不明瞭であるため、同定ができませんでした。背景を変えて再撮影をしてください。』等、ユーザーに再撮影を促すコメントを同時に表示してもよい。
【００３７】
一方、ステップＳ１０４で、類似画像が見出され類似画像が存在すると判定された場合、すなわち、被比較画像１１と参照画像群１２ｃの類似性が確認された場合には、特徴点判定部４ｄは、類似画像に関連付けられた特徴部の有無を判定するために、画像ＤＢ４ｃから、類似画像に対応する特徴点画像(図２の特徴点テンプレート１３と同等の画像)を取得する（Ｓ１０５）。
【００３８】
次に、被比較画像１１と選択された特徴点画像（図２の特徴点テンプレート１３と同等）を比較し、被比較画像１１に特徴部１３ａ〜１３ｄが含まれているか否かの比較を行う（Ｓ１０６）。特徴画像抽出の結果、被比較画像１１に同定に必要な特徴部が含まれていたか否かの判定を行う（Ｓ１０７）。判定の結果、含まれていないと判定された場合には、ステップＳ１０３における輪郭類似判定で選択された類似画像に関連付けられた特徴点テンプレート１３をテンプレートＤＢ４ｅより取得する(Ｓ１１０)。この後、テンプレート出力部４ｆを介して、選択された特徴点テンプレート１３をＰＣ３に送出する。
【００３９】
一方、ステップＳ１０７において、被比較画像１１に特徴部が含まれていると判定された場合には、被比較画像１１と同定判定画像３１の詳細な比較を行う（Ｓ１０８）。ここでは、被比較画像１１の特徴部と同定判定画像３１（図６参照）を輪郭/模様、色の順で比較し、被比較画像１１と一致する画像を検索する。
【００４０】
次に、ステップＳ１０８の画像比較の結果、同定に必要な特徴を検索できたか否かの判定を行う（Ｓ１０９）。判定の結果、一致する特徴部が有った場合には、その特徴画像に関連付けられたキーワード３２（図６参照）をキーワードＤＢ４ｇから取得し（Ｓ１１２）、キーワード出力部４ｈを介して、ＰＣ３に送出する（Ｓ１１３）。一方、ステップＳ１０９において、同定に必要な特徴を検索できなかったと判断された場合には、前述したステップＳ１１０以降の処理で、ユーザーに再撮影を促す。
【００４１】
次に、図３を用いて、本実施形態におけるネットワーク構成を説明する。インターネット２０を介して、情報入出力端末であるＰＣ３と、図１において説明した種別判定サーバー４が接続されている。また、このインターネット２０には、キーワード検索エンジン２１、画像検索エンジン２２が接続されている。
【００４２】
インターネット２０に接続されるＰＣ３は、カメラ１との画像データ授受、画像処理、データの表示を始めとする各種情報処理機能を有する情報入出力端末である。このカメラ１は、前述したように、ＰＣ３を介して、若しくは直接、種別判定サーバー４とやり取りを行い、被比較画像１１に関連したキーワードデータ２４や、画像テンプレート１３に関するデータを取得する。なお、詳細な説明は省略したが、キーワード２４の他に、キー画像２３を取得することも可能である。
【００４３】
ＰＣ３は、種別判定サーバー４から取得したデータを始め、インターネットを介して取得した情報や、カメラから取得した情報等を、インターネット２０を介して、接続されているキーワード検索エンジン２１や、画像検索エンジン２２に送出することができる。
【００４４】
キーワード検索エンジン２１は、キーワードから、関連するＵＲＬ（Uniform Resource Locator）を検索するデータベースで、ＰＣ３からのキーワード２４に関連したＵＲＬをＰＣ３に戻す。また、種別判定サーバー４が、検索したキーワード２４をＰＣ３経由でキーワード検索エンジン２１に送出せず、種別判定サーバー４から直接キーワード検索エンジン２１に送出し、関連ＵＲＬを種別判定サーバー経由でＰＣ３に返してもよい。ユーザーは、ＰＣ３より、取得したＵＲＬにアクセスし、必要な情報を得ることが可能となる。
【００４５】
画像検索エンジン２２は、入力された画像と、入力されたＵＲＬ上の画像を比較し、一致した画像を含むＵＲＬのみを返すデータベースである。ユーザーは、キーワード検索で得られた情報を、更に画像検索で絞込み、被比較画像１１と、同定された情報のみを得ることができる。
【００４６】
このインターネットを介して行なう検索について、図５に示すフローチャートを用いて説明する。まず、ＰＣ３は、種別判定サーバー４から、インターネット２０を介して、キーワード検索エンジン２１に、キーワードを送出する（Ｓ２０１）。続いて、キーワード検索エンジン２１が、キーワードに基づいて検索を実行し、検索された関連ＵＲＬをＰＣ３に返信する（Ｓ２０２）。
【００４７】
次に、同定しようとする特徴部を含んだ画像（被比較画像１１）と、ステップＳ２０２で得たＵＲＬを、インターネット２０を介して、画像検索エンジン２２に送出する（Ｓ２０３）。画像検索エンジン２２は、画像比較によるＵＲＬの絞込みを実行し、絞り込んだＵＲＬをＰＣ３に返信する(Ｓ２０４)。ユーザーは、絞り込まれたＵＲＬにアクセスすることで、被比較画像（元画像）１１と同定された情報を効率的に取得することができる。
【００４８】
次に、カメラ１が特徴点テンプレート１３を受け取り、被比較画像１１を種別判定サーバー４に送出する動作について、図７、図８を用いて説明する。前述したように、ステップＳ１０９において、被比較画像１１に特徴部が無いために、同定できない場合には、ＰＣ３やカメラ１に対してテンプレートを出力している（Ｓ１１１）。ここでは、カメラ１が、テンプレートを取得し、ユーザーが特徴部を写しこんだ画像を得る方法について説明する。
【００４９】
カメラ１は、図７に示すように、画像表示用の液晶モニタ１ａ、操作部材１ｂ、１ｃ、１ｄ、被写体照明用の内蔵フラッシュ１ｅ、撮影動作を指示するためのレリーズボタン１ｆを有している。また、カメラ１はＰＣ３との通信機能を有している。通信は、有線、無線を問わないが、これにより、カメラ１とＰＣ３は、予め決められたプロトコルに従い、画像や画像以外の種々の諸データについて、双方向で授受が可能となっている。被写体２は、ユーザーが同定しようとする対象である。
【００５０】
ユーザーは、カメラ１の操作部材１ｂ、１ｃ、１ｄに対して、所定の操作を行うことにより、カメラ１の諸設定を任意に変更することができる。この設定としては、内蔵フラッシュ１ｅによるフラッシュ発光の有無の他、ホワイトバランスの設定、コントラスト強度の設定、色バランスの設定、マクロモードの設定等が含まれる。また、後述するテンプレート撮影モードの設定も含まれる。
【００５１】
液晶モニタ１ａは、撮影した画像を確認するための再生機能を有し、更に、ファインダーの代用としての機能を有し、被写体のライブ映像（スルー画、電子ビューとも言う）をモニタ表示することができる。また、輪郭図形４１（この実施形態においては、例として、トンボの輪郭図形）、テキスト４２、ガイドライン４３等の撮影アシスト情報（テンプレート）を、画像に重ねて表示することが可能である。
【００５２】
次に、図８に示すフローチャートを用いて、カメラ１とＰＣ３の動作の流れを説明する。まず、ＰＣ３は、テンプレート出力部４ｆから受信した特徴点テンプレート１３に関するデータを、カメラ３に送信すると(Ｓ３０１)、カメラ３は、このデータを受信する（Ｓ３０２）。
【００５３】
続いて、カメラ３は受信したテンプレートデータを基に、テンプレート撮影モードに移行する(Ｓ３０３)。カメラ１がテンプレート撮影モードに移行すると、液晶モニタ１ａ上に、狙う被写体の輪郭図形４１、撮影上の留意点を指示するテキスト４２、被写体を配置すべき構図を指示するガイドライン４３等が表示される。輪郭図形４１は、同定を行うために必要な特徴点を確実に撮影するためのアシストで、ガイドライン４３は、例えば、画面の中央を指示することで、後の画像比較の際に、比較重点領域を中央に設定し、同定の確度を上げるのに有用となる。また、テキスト４２は、以上の撮影留意点を文章であらわすことにより、間違いを無くす効果を期待できる。
【００５４】
また、テンプレート情報には、輪郭抽出の確度をあげるためのコントラスト強調設定、色再現を標準化するためのフラッシュ撮影、対象が昆虫であればマクロモード設定等も含まれ、カメラ１は同定に有効なあらゆる設定を実行する。以上は、カメラ１が、受信したテンプレート情報に従って、自動的に設定してもよいし、ユーザーが指示に従って、操作部材１ｂ、１ｃ、１ｄを操作することで設定してもよい。
【００５５】
また、これらのテンプレート情報をＰＣ３の液晶モニタ１ａ上に表示し、ユーザーが表示に従った撮影をすることで、テンプレート撮影モードを持たないカメラや、ＰＣ３からのデータ受信機能を持たないカメラでも、同定に有効な画像を取得するようにしても良い。
【００５６】
ステップＳ３０３での設定が終わると、この設定に従って、カメラ１は被写体２を撮影する（Ｓ３０４）。撮影は、ユーザーがレリーズボタン１ｆを押下することで実行されるが、輪郭図形４１に被写体の輪郭が略一致したことを検出して撮影のトリガーとしてもよい。
【００５７】
撮影が終わると、カメラ１は、撮影された画像データをＰＣ３に送出する（Ｓ３０５）。これによって、ＰＣ３はカメラ１から画像データを受信する（Ｓ３０６）。画像データを受信すると、ＰＣ３は画像処理を施す(Ｓ３０７)。画像処理は、例えば、被写体の輪郭を抽出し、残りの背景のデータを単色に変換する等、後の画像比較の確度を向上させるための処理である。尚、この処理は、処理能力に余裕のある部分で実行すればよく、例えば、カメラ１で実行してもよいし、後段の種別判定サーバー４で実行してもよい。画像処理が終わると、ＰＣ３は画像データを種別判定サーバー４に送出する（Ｓ３０８）。
【００５８】
種別判定サーバー４は、画像データを受信すると、図４に示した画像比較のフローを実行して、被比較画像１１の同定を行なう。図７および図８に示したように、テンプレートを用いて、ユーザーは特徴点が写し込まれた画像を取得しているので、種別判定サーバー４は、容易に種別を判定することができ、ユーザーのＰＣ３やカメラ１等にフィードバックすることができる。
【００５９】
このように本実施形態においては、種別判定サーバー４によって、被比較画像１１に特徴部が有るかを判定し、判定の結果、特徴部が画像の中に無い場合には、特徴点テンプレート１３を、ユーザーにフィードバックしている。このため、ユーザーは、テンプレートを基に同定に有効な画像を撮影できるので、特に専門的な知識が無くても、容易に画像による対象物の同定と、情報取得が可能になる。また、画像データベース４ｃに、多種多様な対象に関する情報を記憶しておけば、多種多様な被写体に対しても、特に専門的な知識がなくとも被写体の名称などを簡単に認識することができる。
【００６０】
また、本実施形態においては、特徴点の判定に先立って、画像比較部４ｂにおいて、参照画像群１２の中から類似する画像を検索し、この検索された類似画像における特徴点が存在するか否かについて、被比較画像１１を判定している。このため、特徴点を絞ることができ、同定を容易することができる。
【００６１】
さらに、特徴点が存在する場合には、同定判定用画像３１を用いて、被比較画像１１の種別を判定し、キーワードＤＢ４ｇからキーワードを検出することができる。このため、ユーザーは、被比較画像１１として撮影したものの名称を簡単に知ることができる。
【００６２】
なお、本実施形態においては、特徴テンプレート１３として、画像を記憶し、これを出力していたが、これに限らず、「頭」「胸」「羽根」などの特徴部位を表す文字データでもよい。また、本実施形態においては、特徴点判定部４ｄで特徴点を検出できなかった場合には（Ｓ１０７）、同定不能としていた（Ｓ１１４）。しかし、同定不能とせずに、例えば、ユーザーがテキストデータとして、「トンボ」「チョウ」といったワードを入力することにより、特徴部画像を検索し、同定動作を続行するようにしても良い。
【００６３】
さらに、本実施形態においては、種別判定サーバー４をインターネット上に構成したが、これに限らず、種別判定サーバー４内の構成を、カメラ１内に、若しくはＰＣ３内に内蔵するようにしても良い。特に、カメラ１内に一体に設けた場合には、図７に示したような、特徴点テンプレートを表示する際に、ＰＣ３と接続する必要がなくなり、野外等における使用が便利になる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態に係わる画像認識システムのブロック図である。
【図２】本発明の一実施形態に係わる画像認識システムおいて、被比較画像、参照画像群、および特徴点テンプレートの例を示す図である。
【図３】本発明の一実施形態におけるネットワーク構成を示すブロック図である。
【図４】本発明の一実施形態における画像比較の動作を示すフローチャート図である。
【図５】本発明の一実施形態における検索を示すフローチャートである。
【図６】本発明の一実施形態における同定判定画像の例を示す図である。
【図７】本発明の一実施形態におけるカメラにおいて特徴点テンプレートを用いて撮影する状態を示す図である。
【図８】本発明の一実施形態において特徴点テンプレートを用いて撮影する際のカメラとＰＣの動作を示すフローチャート図である。
【符号の説明】
【００６５】
１・・・カメラ、１ａ・・・液晶モニタ、１ｂ・・・操作部材、１ｃ・・・操作部材、１ｄ・・・操作部材、１ｅ・・・内蔵フラッシュ、１ｆ・・・レリーズボタン、２・・・被写体、３・・・パーソナルコンピュータ（ＰＣ）、４・・・種別判定サーバー、４ａ・・・画像入力部、４ｂ・・・画像比較部、４ｃ・・・画像ＤＢ、４ｄ・・・特徴点判定部、４ｅ・・・テンプレートＤＢ、４ｆ・・・テンプレート出力部、４ｇ・・・キーワードＤＢ、４ｈ・・・キーワード出力部、１１・・・被比較画像、１２・・・参照画像群、１２ａ・・・参照画像、１２ｂ・・・参照画像、１２ｃ・・・参照画像、１３・・・特徴点テンプレート、１３ａ・・・特徴点、１３ｂ・・・特徴点、１３ｃ・・・特徴点、１３ｄ・・・特徴点、２０・・・インターネット、２１・・・キーワード検索エンジン、２２・・・画像検索エンジン、２３・・・キー画像、２４・・・キーワードデータ、３１・・・同定判定画像、３２・・・キーワード、４１・・・輪郭図形、４２・・・テキスト、４３・・・ガイドライン
【技術分野】
【０００１】
本発明は、画像認識装置および画像認識方法に関し、詳しくは、昆虫など生物等の画像の同定を容易に行うことのできる画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
近年、インターネットの普及により、Ｗｅｂ検索で、誰でも所望する情報を容易に取得できるようになっている。しかしながら、例えば採集した昆虫や植物等や、また撮影した昆虫や植物の写真の種類を特定しようとする場合等、専門的な知識が無いと、適切なキーワードを設定することは困難であり、種類の同定までに多大な時間と、労力が強いられている。
【０００３】
そこで、画像認識技術を用いて検索を行なうことにより、情報を入手する装置や方法が、種々提案されている。例えば、特許文献１には、通常モードと認識モードを有するデジタルカメラにおいて、認識モードが選択されると、撮影した正面画像データと側面画像データに基づいて対象物の特徴情報を抽出し、この特徴情報をデータベース上の参照情報と照合して対象物の名称を読み出すことが開示されている。
【特許文献１】特開２００２−２４７４３６号公報
【０００４】
また、特許文献２には、植物の画像から対象物の特徴量を求め、予めデータベースに登録された植物の特徴量から、種類を判別するシステムが開示されている。ここで、例えば、対象物が花の画像である場合には、特徴量としては、重心から花弁の輪郭までの距離や、重心との角度の関係から決まるような数値分析できるような量である。さらに、特許文献３には、画像の特徴とキーワードを関連付けたデータベースで、画像検索からキーワード取得し、そのキーワードによる情報検索から、関連する情報を取得する情報検索装置が開示されている。
【特許文献２】特開２００２−２０３２４２号公報
【特許文献３】特開２００２−２９７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示のデジタルカメラにおいては、特徴情報が正面画像データと側面画像データに限られるので、これらの画像に特徴部分が含まれているとは限らないので、同定できない場合がある。また、特許文献２に開示のシステムでは、画像から特徴量を抽出するが、読み込まれた画像から同定に必要な特徴量を抽出できない場合がある。さらに、特許文献３に開示の情報検索装置では、対象物の同定に有効な特徴部が含まれない画像には検索できないという問題点があった。すなわち、これらの先行技術では、画像解析するにあたって、同定するに必要な特徴部分が含まれているとは限らず、このため専門的知識がないと、画像の同定を容易に行なうことができなかった。
【０００６】
本願発明は、このような事情を鑑みてなされたものであり、専門的な知識が無くても、画像による被比較画像の同定を容易に行なえるようにした画像認識装置および画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像認識装置は、所定の画像に類似する類似画像を認識する類似画像認識部と、上記画像を認識する画像認識部と、上記画像の特徴部を表すテンプレートを記憶するテンプレート記憶部と、上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、上記テンプレートに対応した画像を入力する画像入力部を備える。
【０００８】
第２の発明に係わる画像認識装置は、上記第１の発明において、上記類似画像認識部は、上記画像の輪郭情報に基づいて類似画像を認識する。
また、第３の発明に係わる画像認識装置は、上記第１の発明において、上記画像認識部は、対象画像の特徴を表す特徴部と予め登録された画像の特徴部とを比較することにより上記対象画像を認識する。
さらに、第４の発明に係わる画像認識装置は、上記第１の発明において、上記画像認識装置はさらに、上記画像認識部において画像を認識できた場合に上記画像に関連するキーワードを出力するキーワード出力部を備え。
さらに、第５の発明に係わる撮像装置は、上記第１の発明において、上記画像認識装置は、さらに、画像を撮影する撮影部を備えた撮像装置であって、上記撮像部は上記テンプレート出力部により出力されたテンプレートを基に撮像した画像を撮影する。
【０００９】
上記目的を達成するため第６の発明に係わる画像認識方法は、所定の画像に類似する類似画像を認識する類似画像認識ステップと、上記画像を認識する画像認識ステップと、この画像認識部ステップにおいて上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップを備える。
【００１０】
上記目的を達成するため第７の発明に係わる画像認識システムは、所定の画像に類似する類似画像を認識する類似画像認識部と、上記画像を認識するテンプレートを記憶するテンプレート記憶部と、上記画像認識部において上記画像を認識できない場合、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、上記テンプレートに対応した画像を入力する画像入力部と、上記画像を撮影する撮像部を備える。
上記目的を達成するため第８の発明に係わるプログラムは、所定の画像に類似する類似画像を認識する類似画像認識ステップと、上記画像を認識する画像認識ステップと、上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップと、上記テンプレートに対応した画像を入力する画像入力ステップをコンピュータに実行させる。
【００１１】
上記目的を達成するため第９の発明に係わる画像認識装置は、被比較画像の種別判定にあたって、種別の特徴点を記憶する画像データベースと、上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、上記特徴点に基づいて上記被比較画像の種別を表すキーワードを記憶するキーワードデータベースと、上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択し、一方、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択する特徴点判定部を具備する。
【００１２】
第１０の発明に係わる画像認識装置は、上記第９の発明において、上記画像データベースは大まかな種別を表す参照画像群を記憶し、上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部を有する。
また、第１１の発明に係わる画像認識装置は、上記第９の発明において、上記特徴点判定部によって選択された特徴点テンプレートを表示する表示部を有する。
【００１３】
上記目的を達成するため第１２の発明に係わる画像認識方法は、被比較画像と、画像データベースに記憶された種別の特徴点を比較するステップと、この比較において、上記特徴点を認識できない場合に、上記被比較画像に類似する画像の特徴部を表すテンプレートを表示するステップを具備する。
第１３の発明に係わる画像認識方法は、上記第１２の発明において、上記特徴点の比較のステップに先立って、上記被比較画像と参照画像群とを比較し、類似画像を選択する。
【００１４】
上記目的を達成するため第１４の発明に係わる撮像装置は、画像を取得し被比較画像を出力する撮像手段と、画像の種別ごとに特徴点を記憶する画像データベースと、上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択する特徴点判定部と、この特徴点判定部によって選択された上記特徴点テンプレートを表示する表示部を具備する。
第１５の発明に係わる撮像装置は、上記第１４の発明において、上記特徴点に基づいて上記画像の種別を表すキーワードを記憶するキーワードデータベースを具備し、上記特徴点判定部は、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択し、上記表示部は、上記キーワードを表示する。
第１６の発明に係わる撮像装置は、上記第１４の発明において、上記表示部は、上記撮像手段によって撮像した画像と、上記特徴点テンプレートを重畳して表示する。
第１７の発明に係わる撮像装置は、上記第１４の発明において、上記画像データベースは大まかな種別を表す参照画像群を記憶し、上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部を有する。
【００１５】
上記目的を達成するため第１８の発明に係わる撮像アシスト方法は、外部よりテンプレートを入力するステップと、上記テンプレートを表示するテンプレート撮影モードに設定するステップと、上記テンプレート撮影モードで撮影を行うステップと、上記撮影において取得した撮影画像を外部に出力するステップとからなる。
上記目的を達成するため第１９の発明に係わるプログラムは、カメラにテンプレートを出力するステップと、上記カメラから、上記テンプレートを用いて撮影した画像データを受信するステップと、上記画像データを画像認識用のサーバーに画像データを送出するステップとからなる。
【発明の効果】
【００１６】
本発明によれば、画像の特徴部を表すテンプレートを記憶し、画像認識部において画像を認識できない場合に、テンプレートを出力するようにしたので、専門的な知識が無くても、画像による被比較画像の同定を容易に行なえるようにした画像認識装置および画像認識方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に従って本発明を適用した画像認識システムを用いて好ましい実施形態について説明する。本実施形態においては、デジタルカメラ等の画像入力装置から直接またはパーソナルコンピュータを介して入力された被比較画像の種別を、種別判定サーバーによって同定する。種別が判別できた場合には、種別判定サーバーは、同定された種別に基づいて名称をデジタルカメラまたはパーソナルコンピュータにフィードバックを行なう。
【００１８】
また、種別を判定できない場合には、ユーザーが種別判定に必要な特徴部を含んだ画像を取得できるように、特徴部を表示するテンプレートをユーザーにフィードバックする。ユーザーはテンプレートを参考にして、被比較画像の取得を行ない、これによって容易に被比較画像の種別を同定することができる。なお、カメラやパーソナルコンピュータと種別判定サーバーとは、インターネットを介して接続している。
【００１９】
図１は、本発明の一実施形態に係わるデジタルカメラ、パーソナルコンピュータとインターネット上のサーバーから構成される画像認識システムのブロック図である。カメラ１は撮像素子によって被写体２をデジタル画像データとして取得し、カメラ１内の記録メディアに記録することができる。パーソナルコンピュータ（ＰＣ）３は、カメラ１と無線または有線で接続され、データの送受信が可能である。種別判定サーバー４は、インターネット上に配置されたサーバーであり、カメラ１と直接またはＰＣ３を介して、接続可能である。
【００２０】
種別判定サーバー４内には、ＰＣ３等から同定対象となる被比較画像を入力するための画像入力部４ａ、参照用の画像、特徴点画像および同定判定用画像を記憶しているデータベースである画像ＤＢ４ｃ、被比較画像と参照用画像とを比較する画像比較部４ｂが設けられている。また画像比較部４ｂと画像ＤＢ４ｃの出力を受け、被比較画像の同定に必要な特徴点の有無を判定する特徴点判定部４ｄが設けられている。この特徴点判定部４ｄの判定結果を受けるテンプレートＤＢ４ｅとキーワードＤＢ４ｇが設けられている。
【００２１】
テンプレートＤＢ４ｅは、詳しくは後述するが、同定対象の特徴部を分かり易く表示するための特徴点テンプレート１３（画像データ）を記憶している。このテンプレートＤＢ４ｅの出力は、テンプレート出力部４ｆに接続されており、このテンプレート出力部４ｆの出力は、インターネットを介して、ＰＣ３若しくは直接カメラ１に接続されている。
【００２２】
キーワードＤＢ４ｇは、特徴点判定部４ｄによって判定された種別を表す名称（キーワード）を記憶している。このキーワードＤＢ４ｇの出力は、キーワード出力部４ｈに接続されており、このキーワード出力部４ｈの出力は、インターネットを介して、ＰＣ３もしくは直接カメラ１に接続されている。
【００２３】
このように構成されている本発明の一実施形態の動作について説明する。まず、ユーザーがカメラ１を用いて、被写体２を撮影する。撮影された被比較画像１１（図２参照）は、ＰＣ３等の情報入出力端末を介して、種別判定サーバー４の画像入力部４ａに転送される。なお、カメラ１自体が通信機能を有する場合には、ＰＣ３を介さずカメラから直接画像を転送してもよい。また、撮影した画像を一旦ＰＣ３以外のストレージ機器に保存して、ストレージ機器から直接転送してもよいし、画像をスキャニングして、転送してもよい。
【００２４】
画像入力部４ａに転送された被比較画像１１は、画像比較部４ｂにおいて、データベースである画像ＤＢ４ｃに格納されている参照画像群１２（図２参照）と、順次比較され、略一致する画像を選択する。すなわち、被比較画像１１と、参照画像群１２中の各参照画像１２ａ、１２ｂ、１２ｃと、順次比較を行ない、類似する画像を選択する。この例では、被比較画像１１は、トンボであり、画像比較部４ｂは、この被比較画像１１と最も類似する画像として、トンボを表す参照画像１２ｃを選択する。なお、図２において参照画像群１２は１２ａ〜１２ｃの３種の参照画像群を描いてあるが、画像ＤＢ４ｃ内には、多数の参照画像群が記憶されている。
【００２５】
参照画像群１２が選択されると、次に、特徴判定部４ｄにおいて、被比較画像１１の同定に必要な特徴点の有無を判定するために、略一致した画像の特徴点１３ａ〜１３ｄ（図２参照）の比較により、被比較画像の同定有効性を判定する。ここで、画像の特徴点について説明する。画像による同定では、形状情報と色情報が比較対象となるが、問題は、どの部分を比較すれば、同定が可能になるかである。そこで、本実施形態では、特徴点を定義して、同定を行うものとしている。
【００２６】
先ず被比較画像１１から抽出された輪郭と、参照画像群１２の輪郭を画像比較部４ｂは比較し、輪郭が略一致した分類に従い、それぞれの特徴点を定義する。例えば、昆虫であれば、眼（略円形状部分）と、輪郭重心との位置関係から、頭部、胸部、腹部などの位置を特定する。眼と輪郭重心と各部位との位置関係は、それぞれの分類により個別に定義される。また、花の場合であれば、輪郭重心を花の中心と捉え、輪郭重心から輪郭までの放射方向距離から花弁を特定するなどの方法が挙げられる。
【００２７】
被比較画像１１が、例えば、トンボである場合には、同定にあたって、（１）頭部の形態、（２）胸部の形態、（３）腹部の形態、（４）翅の形態が必要となる。そこで、特徴点として、上記（１）から（４）に対応して、前述の特徴点１３ａ〜１３ｄを用意しておく。特徴判定部４ｄは、画像入力部４ａによって入力された被比較画像１１について、同定に必要な特徴点１３ａ〜１３ｄが含まれているか否かの判定を行なう。
【００２８】
判定の結果、これらの特徴点が含まれている場合には、さらに、被比較画像１１と同定判定画像３１（図６参照）と比較し、同定判定を行う。同定判定にあたっては、特徴部の形状と特徴部色の比較を行なう。なお、図６においては、特徴部色の相違は、網掛けのパターンの相違で表示している。図６に示す同定判定画像３１には、種別の名称としてキーワード３２が関連付けられている。
【００２９】
特徴点テンプレート１３が記憶されているデータベースであるテンプレートＤＢ４ｅは、テンプレート出力部４ｆを介して、選択されたテンプレートをＰＣ３に送出する。また、同定判定画像３１中のキーワード３２と同様のキーワードが記憶されているデータベースであるキーワードＤＢ４ｇは、キーワード出力部４ｈを介して、選択されたキーワードをＰＣ３に送出する。
【００３０】
ここで、特徴点テンプレート１３が送出されるか、キーワード３２が送出されるかは、特徴点判定部４ｄの判定結果に従う。すなわち、被比較画像１１の同定を有効に行なうことができた場合には、キーワード３２を出力する。一方、被比較画像１１の同定が有効に行なうことができなかった場合には、特徴点テンプレート１３を送出する。
【００３１】
被比較画像１１の同定が有効に行なうことができなかった場合には、ＰＣ３は、種別判定サーバー４から特徴点テンプレート１３を受け取り、このテンプレート画像をＰＣ３画面に表示し、また、このテンプレートをカメラ３に転送する。
【００３２】
ユーザーは、ＰＣ３に表示された特徴点テンプレート１３を参考にして、特徴点が含まれた画像となるように、被写体２を撮影することによって、種別を判別可能な画像を得ることができる。また、カメラ１によって撮影する際に、液晶等の画像表示装置に撮像素子からのライブ画像に特徴点テンプレート１３を合成表示させる機能を持たせることによって、ユーザーは、被写体をテンプレートに重ねて撮影でき、容易に特徴点を含んだ被写体像で撮影することができる。この合成表示については、図７および図８を用いて後述する。
【００３３】
テンプレート付加情報として、背景色の指定、コントラスト設定の指定、フラッシュ設定の指定、ホワイトバランス設定の指定等をすることで、輪郭、色の情報を取り易い画像を取得し易くすることも可能である。また、ＰＣ３は、種別判定サーバー４から受け取ったキーワードをテキストとして画面に表示する。また、後述するように、キーワードを、ネットワークを介してキーワード検索エンジン２１(図３参照)に送出する。
【００３４】
次に、図４を用いて、種別判定サーバー４における動作について説明する。まず、種別の同定を行なう被比較対象画像１１を、ＰＣ３、あるいはカメラ１から、画像入力部４ａに入力する（Ｓ１０１）。この入力された被比較対象画像１１は、画像比較部４ｂに転送される。
【００３５】
続いて、転送された被比較対象画像１１の輪郭部を抽出する（Ｓ１０２）。なお、ＰＣ３、或いはカメラ１で、輪郭抽出画像処理を実行後、画像を送出してもよい。輪郭抽出処理が終わると、次に、画像比較部４ｂにおいて、抽出した被比較画像の輪郭と、画像ＤＢ４ｃに予め記憶されている参照画像１２（図２参照）と、形状比較を行う（Ｓ１０３）。なお、図２では、昆虫を例に挙げている、勿論、花でも、魚でも、建物、美術品等、いずれでも構わない。
【００３６】
ステップＳ１０３における輪郭の類似判定結果に基づいて、類似画像の有無の判定を行う（Ｓ１０４）。判定の結果、類似画像が得られていなかった場合、同定が不可能である旨の情報を、ＰＣ３若しくは直接カメラ１にフィードバックする（Ｓ１１４）。ＰＣ３またはカメラ１は、この情報を受け、被比較画像１１の種別の同定が不能である旨を画面に表示する。このとき、例えば『対象画像の輪郭が不明瞭であるため、同定ができませんでした。背景を変えて再撮影をしてください。』等、ユーザーに再撮影を促すコメントを同時に表示してもよい。
【００３７】
一方、ステップＳ１０４で、類似画像が見出され類似画像が存在すると判定された場合、すなわち、被比較画像１１と参照画像群１２ｃの類似性が確認された場合には、特徴点判定部４ｄは、類似画像に関連付けられた特徴部の有無を判定するために、画像ＤＢ４ｃから、類似画像に対応する特徴点画像(図２の特徴点テンプレート１３と同等の画像)を取得する（Ｓ１０５）。
【００３８】
次に、被比較画像１１と選択された特徴点画像（図２の特徴点テンプレート１３と同等）を比較し、被比較画像１１に特徴部１３ａ〜１３ｄが含まれているか否かの比較を行う（Ｓ１０６）。特徴画像抽出の結果、被比較画像１１に同定に必要な特徴部が含まれていたか否かの判定を行う（Ｓ１０７）。判定の結果、含まれていないと判定された場合には、ステップＳ１０３における輪郭類似判定で選択された類似画像に関連付けられた特徴点テンプレート１３をテンプレートＤＢ４ｅより取得する(Ｓ１１０)。この後、テンプレート出力部４ｆを介して、選択された特徴点テンプレート１３をＰＣ３に送出する。
【００３９】
一方、ステップＳ１０７において、被比較画像１１に特徴部が含まれていると判定された場合には、被比較画像１１と同定判定画像３１の詳細な比較を行う（Ｓ１０８）。ここでは、被比較画像１１の特徴部と同定判定画像３１（図６参照）を輪郭/模様、色の順で比較し、被比較画像１１と一致する画像を検索する。
【００４０】
次に、ステップＳ１０８の画像比較の結果、同定に必要な特徴を検索できたか否かの判定を行う（Ｓ１０９）。判定の結果、一致する特徴部が有った場合には、その特徴画像に関連付けられたキーワード３２（図６参照）をキーワードＤＢ４ｇから取得し（Ｓ１１２）、キーワード出力部４ｈを介して、ＰＣ３に送出する（Ｓ１１３）。一方、ステップＳ１０９において、同定に必要な特徴を検索できなかったと判断された場合には、前述したステップＳ１１０以降の処理で、ユーザーに再撮影を促す。
【００４１】
次に、図３を用いて、本実施形態におけるネットワーク構成を説明する。インターネット２０を介して、情報入出力端末であるＰＣ３と、図１において説明した種別判定サーバー４が接続されている。また、このインターネット２０には、キーワード検索エンジン２１、画像検索エンジン２２が接続されている。
【００４２】
インターネット２０に接続されるＰＣ３は、カメラ１との画像データ授受、画像処理、データの表示を始めとする各種情報処理機能を有する情報入出力端末である。このカメラ１は、前述したように、ＰＣ３を介して、若しくは直接、種別判定サーバー４とやり取りを行い、被比較画像１１に関連したキーワードデータ２４や、画像テンプレート１３に関するデータを取得する。なお、詳細な説明は省略したが、キーワード２４の他に、キー画像２３を取得することも可能である。
【００４３】
ＰＣ３は、種別判定サーバー４から取得したデータを始め、インターネットを介して取得した情報や、カメラから取得した情報等を、インターネット２０を介して、接続されているキーワード検索エンジン２１や、画像検索エンジン２２に送出することができる。
【００４４】
キーワード検索エンジン２１は、キーワードから、関連するＵＲＬ（Uniform Resource Locator）を検索するデータベースで、ＰＣ３からのキーワード２４に関連したＵＲＬをＰＣ３に戻す。また、種別判定サーバー４が、検索したキーワード２４をＰＣ３経由でキーワード検索エンジン２１に送出せず、種別判定サーバー４から直接キーワード検索エンジン２１に送出し、関連ＵＲＬを種別判定サーバー経由でＰＣ３に返してもよい。ユーザーは、ＰＣ３より、取得したＵＲＬにアクセスし、必要な情報を得ることが可能となる。
【００４５】
画像検索エンジン２２は、入力された画像と、入力されたＵＲＬ上の画像を比較し、一致した画像を含むＵＲＬのみを返すデータベースである。ユーザーは、キーワード検索で得られた情報を、更に画像検索で絞込み、被比較画像１１と、同定された情報のみを得ることができる。
【００４６】
このインターネットを介して行なう検索について、図５に示すフローチャートを用いて説明する。まず、ＰＣ３は、種別判定サーバー４から、インターネット２０を介して、キーワード検索エンジン２１に、キーワードを送出する（Ｓ２０１）。続いて、キーワード検索エンジン２１が、キーワードに基づいて検索を実行し、検索された関連ＵＲＬをＰＣ３に返信する（Ｓ２０２）。
【００４７】
次に、同定しようとする特徴部を含んだ画像（被比較画像１１）と、ステップＳ２０２で得たＵＲＬを、インターネット２０を介して、画像検索エンジン２２に送出する（Ｓ２０３）。画像検索エンジン２２は、画像比較によるＵＲＬの絞込みを実行し、絞り込んだＵＲＬをＰＣ３に返信する(Ｓ２０４)。ユーザーは、絞り込まれたＵＲＬにアクセスすることで、被比較画像（元画像）１１と同定された情報を効率的に取得することができる。
【００４８】
次に、カメラ１が特徴点テンプレート１３を受け取り、被比較画像１１を種別判定サーバー４に送出する動作について、図７、図８を用いて説明する。前述したように、ステップＳ１０９において、被比較画像１１に特徴部が無いために、同定できない場合には、ＰＣ３やカメラ１に対してテンプレートを出力している（Ｓ１１１）。ここでは、カメラ１が、テンプレートを取得し、ユーザーが特徴部を写しこんだ画像を得る方法について説明する。
【００４９】
カメラ１は、図７に示すように、画像表示用の液晶モニタ１ａ、操作部材１ｂ、１ｃ、１ｄ、被写体照明用の内蔵フラッシュ１ｅ、撮影動作を指示するためのレリーズボタン１ｆを有している。また、カメラ１はＰＣ３との通信機能を有している。通信は、有線、無線を問わないが、これにより、カメラ１とＰＣ３は、予め決められたプロトコルに従い、画像や画像以外の種々の諸データについて、双方向で授受が可能となっている。被写体２は、ユーザーが同定しようとする対象である。
【００５０】
ユーザーは、カメラ１の操作部材１ｂ、１ｃ、１ｄに対して、所定の操作を行うことにより、カメラ１の諸設定を任意に変更することができる。この設定としては、内蔵フラッシュ１ｅによるフラッシュ発光の有無の他、ホワイトバランスの設定、コントラスト強度の設定、色バランスの設定、マクロモードの設定等が含まれる。また、後述するテンプレート撮影モードの設定も含まれる。
【００５１】
液晶モニタ１ａは、撮影した画像を確認するための再生機能を有し、更に、ファインダーの代用としての機能を有し、被写体のライブ映像（スルー画、電子ビューとも言う）をモニタ表示することができる。また、輪郭図形４１（この実施形態においては、例として、トンボの輪郭図形）、テキスト４２、ガイドライン４３等の撮影アシスト情報（テンプレート）を、画像に重ねて表示することが可能である。
【００５２】
次に、図８に示すフローチャートを用いて、カメラ１とＰＣ３の動作の流れを説明する。まず、ＰＣ３は、テンプレート出力部４ｆから受信した特徴点テンプレート１３に関するデータを、カメラ３に送信すると(Ｓ３０１)、カメラ３は、このデータを受信する（Ｓ３０２）。
【００５３】
続いて、カメラ３は受信したテンプレートデータを基に、テンプレート撮影モードに移行する(Ｓ３０３)。カメラ１がテンプレート撮影モードに移行すると、液晶モニタ１ａ上に、狙う被写体の輪郭図形４１、撮影上の留意点を指示するテキスト４２、被写体を配置すべき構図を指示するガイドライン４３等が表示される。輪郭図形４１は、同定を行うために必要な特徴点を確実に撮影するためのアシストで、ガイドライン４３は、例えば、画面の中央を指示することで、後の画像比較の際に、比較重点領域を中央に設定し、同定の確度を上げるのに有用となる。また、テキスト４２は、以上の撮影留意点を文章であらわすことにより、間違いを無くす効果を期待できる。
【００５４】
また、テンプレート情報には、輪郭抽出の確度をあげるためのコントラスト強調設定、色再現を標準化するためのフラッシュ撮影、対象が昆虫であればマクロモード設定等も含まれ、カメラ１は同定に有効なあらゆる設定を実行する。以上は、カメラ１が、受信したテンプレート情報に従って、自動的に設定してもよいし、ユーザーが指示に従って、操作部材１ｂ、１ｃ、１ｄを操作することで設定してもよい。
【００５５】
また、これらのテンプレート情報をＰＣ３の液晶モニタ１ａ上に表示し、ユーザーが表示に従った撮影をすることで、テンプレート撮影モードを持たないカメラや、ＰＣ３からのデータ受信機能を持たないカメラでも、同定に有効な画像を取得するようにしても良い。
【００５６】
ステップＳ３０３での設定が終わると、この設定に従って、カメラ１は被写体２を撮影する（Ｓ３０４）。撮影は、ユーザーがレリーズボタン１ｆを押下することで実行されるが、輪郭図形４１に被写体の輪郭が略一致したことを検出して撮影のトリガーとしてもよい。
【００５７】
撮影が終わると、カメラ１は、撮影された画像データをＰＣ３に送出する（Ｓ３０５）。これによって、ＰＣ３はカメラ１から画像データを受信する（Ｓ３０６）。画像データを受信すると、ＰＣ３は画像処理を施す(Ｓ３０７)。画像処理は、例えば、被写体の輪郭を抽出し、残りの背景のデータを単色に変換する等、後の画像比較の確度を向上させるための処理である。尚、この処理は、処理能力に余裕のある部分で実行すればよく、例えば、カメラ１で実行してもよいし、後段の種別判定サーバー４で実行してもよい。画像処理が終わると、ＰＣ３は画像データを種別判定サーバー４に送出する（Ｓ３０８）。
【００５８】
種別判定サーバー４は、画像データを受信すると、図４に示した画像比較のフローを実行して、被比較画像１１の同定を行なう。図７および図８に示したように、テンプレートを用いて、ユーザーは特徴点が写し込まれた画像を取得しているので、種別判定サーバー４は、容易に種別を判定することができ、ユーザーのＰＣ３やカメラ１等にフィードバックすることができる。
【００５９】
このように本実施形態においては、種別判定サーバー４によって、被比較画像１１に特徴部が有るかを判定し、判定の結果、特徴部が画像の中に無い場合には、特徴点テンプレート１３を、ユーザーにフィードバックしている。このため、ユーザーは、テンプレートを基に同定に有効な画像を撮影できるので、特に専門的な知識が無くても、容易に画像による対象物の同定と、情報取得が可能になる。また、画像データベース４ｃに、多種多様な対象に関する情報を記憶しておけば、多種多様な被写体に対しても、特に専門的な知識がなくとも被写体の名称などを簡単に認識することができる。
【００６０】
また、本実施形態においては、特徴点の判定に先立って、画像比較部４ｂにおいて、参照画像群１２の中から類似する画像を検索し、この検索された類似画像における特徴点が存在するか否かについて、被比較画像１１を判定している。このため、特徴点を絞ることができ、同定を容易することができる。
【００６１】
さらに、特徴点が存在する場合には、同定判定用画像３１を用いて、被比較画像１１の種別を判定し、キーワードＤＢ４ｇからキーワードを検出することができる。このため、ユーザーは、被比較画像１１として撮影したものの名称を簡単に知ることができる。
【００６２】
なお、本実施形態においては、特徴テンプレート１３として、画像を記憶し、これを出力していたが、これに限らず、「頭」「胸」「羽根」などの特徴部位を表す文字データでもよい。また、本実施形態においては、特徴点判定部４ｄで特徴点を検出できなかった場合には（Ｓ１０７）、同定不能としていた（Ｓ１１４）。しかし、同定不能とせずに、例えば、ユーザーがテキストデータとして、「トンボ」「チョウ」といったワードを入力することにより、特徴部画像を検索し、同定動作を続行するようにしても良い。
【００６３】
さらに、本実施形態においては、種別判定サーバー４をインターネット上に構成したが、これに限らず、種別判定サーバー４内の構成を、カメラ１内に、若しくはＰＣ３内に内蔵するようにしても良い。特に、カメラ１内に一体に設けた場合には、図７に示したような、特徴点テンプレートを表示する際に、ＰＣ３と接続する必要がなくなり、野外等における使用が便利になる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態に係わる画像認識システムのブロック図である。
【図２】本発明の一実施形態に係わる画像認識システムおいて、被比較画像、参照画像群、および特徴点テンプレートの例を示す図である。
【図３】本発明の一実施形態におけるネットワーク構成を示すブロック図である。
【図４】本発明の一実施形態における画像比較の動作を示すフローチャート図である。
【図５】本発明の一実施形態における検索を示すフローチャートである。
【図６】本発明の一実施形態における同定判定画像の例を示す図である。
【図７】本発明の一実施形態におけるカメラにおいて特徴点テンプレートを用いて撮影する状態を示す図である。
【図８】本発明の一実施形態において特徴点テンプレートを用いて撮影する際のカメラとＰＣの動作を示すフローチャート図である。
【符号の説明】
【００６５】
１・・・カメラ、１ａ・・・液晶モニタ、１ｂ・・・操作部材、１ｃ・・・操作部材、１ｄ・・・操作部材、１ｅ・・・内蔵フラッシュ、１ｆ・・・レリーズボタン、２・・・被写体、３・・・パーソナルコンピュータ（ＰＣ）、４・・・種別判定サーバー、４ａ・・・画像入力部、４ｂ・・・画像比較部、４ｃ・・・画像ＤＢ、４ｄ・・・特徴点判定部、４ｅ・・・テンプレートＤＢ、４ｆ・・・テンプレート出力部、４ｇ・・・キーワードＤＢ、４ｈ・・・キーワード出力部、１１・・・被比較画像、１２・・・参照画像群、１２ａ・・・参照画像、１２ｂ・・・参照画像、１２ｃ・・・参照画像、１３・・・特徴点テンプレート、１３ａ・・・特徴点、１３ｂ・・・特徴点、１３ｃ・・・特徴点、１３ｄ・・・特徴点、２０・・・インターネット、２１・・・キーワード検索エンジン、２２・・・画像検索エンジン、２３・・・キー画像、２４・・・キーワードデータ、３１・・・同定判定画像、３２・・・キーワード、４１・・・輪郭図形、４２・・・テキスト、４３・・・ガイドライン
【特許請求の範囲】
【請求項１】
所定の画像に類似する類似画像を認識する類似画像認識部と、
上記画像を認識する画像認識部と、
上記画像の特徴部を表すテンプレートを記憶するテンプレート記憶部と、
上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、
上記テンプレートに対応した画像を入力する画像入力部と、
を備えたことを特徴とする画像認識装置。
【請求項２】
上記類似画像認識部は、上記画像の輪郭情報に基づいて類似画像を認識することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
上記画像認識部は、対象画像の特徴を表す特徴部と予め登録された画像の特徴部とを比較することにより上記対象画像を認識することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
上記画像認識装置はさらに、上記画像認識部において画像を認識できた場合に上記画像に関連するキーワードを出力するキーワード出力部を備えたことを特徴とする請求項１に記載の画像認識装置。
【請求項５】
上記画像認識装置は、さらに、画像を撮影する撮影部を備えた撮像装置であって、上記撮像部は上記テンプレート出力部により出力されたテンプレートを基に撮像した画像を撮影することを特徴とする請求項１に記載の撮像装置。
【請求項６】
所定の画像に類似する類似画像を認識する類似画像認識ステップと、
上記画像を認識する画像認識ステップと、
この画像認識部ステップにおいて上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップと、
を備えたことを特徴とする画像認識方法。
【請求項７】
所定の画像に類似する類似画像を認識する類似画像認識部と、
上記画像を認識するテンプレートを記憶するテンプレート記憶部と、
上記画像認識部において上記画像を認識できない場合、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、
上記テンプレートに対応した画像を入力する画像入力部と、
上記画像を撮影する撮像部と、
を備えたことを特徴とする画像認識システム。
【請求項８】
所定の画像に類似する類似画像を認識する類似画像認識ステップと、
上記画像を認識する画像認識ステップと、
上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップと、
上記テンプレートに対応した画像を入力する画像入力ステップと、
をコンピュータに実行させるためのプログラム。
【請求項９】
被比較画像の種別判定にあたって、種別の特徴点を記憶する画像データベースと、
上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、
上記特徴点に基づいて上記被比較画像の種別を表すキーワードを記憶するキーワードデータベースと、
上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択し、一方、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択する特徴点判定部と、
を具備することを特徴とする画像認識装置。
【請求項１０】
上記画像データベースは大まかな種別を表す参照画像群を記憶し、
上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部
を有することを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
上記特徴点判定部によって選択された特徴点テンプレートを表示する表示部を有することを特徴とする請求項９に記載の画像認識装置。
【請求項１２】
被比較画像と、画像データベースに記憶された種別の特徴点を比較するステップと、
この比較において、上記特徴点を認識できない場合に、上記被比較画像に類似する画像の特徴部を表すテンプレートを表示するステップと、
を具備することを特徴とする画像認識方法。
【請求項１３】
上記特徴点の比較のステップに先立って、上記被比較画像と参照画像群とを比較し、類似画像を選択することを特徴とする請求項１２に記載の画像認識方法。
【請求項１４】
画像を取得し被比較画像を出力する撮像手段と、
画像の種別ごとに特徴点を記憶する画像データベースと、
上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、
上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択する特徴点判定部と、
この特徴点判定部によって選択された上記特徴点テンプレートを表示する表示部と、
を具備することを特徴とする撮像装置。
【請求項１５】
上記特徴点に基づいて上記画像の種別を表すキーワードを記憶するキーワードデータベースを具備し、
上記特徴点判定部は、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択し、
上記表示部は、上記キーワードを表示する
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
上記表示部は、上記撮像手段によって撮像した画像と、上記特徴点テンプレートを重畳して表示することを特徴とする請求項１４に記載の撮像装置。
【請求項１７】
上記画像データベースは大まかな種別を表す参照画像群を記憶し、
上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部
を有することを特徴とする請求項１４に記載の撮像装置。
【請求項１８】
外部よりテンプレートを入力するステップと、
上記テンプレートを表示するテンプレート撮影モードに設定するステップと、
上記テンプレート撮影モードで撮影を行うステップと、
上記撮影において取得した撮影画像を外部に出力するステップと、
からなるカメラにおける撮影アシスト方法。
【請求項１９】
カメラにテンプレートを出力するステップと、
上記カメラから、上記テンプレートを用いて撮影した画像データを受信するステップと、
上記画像データを画像認識用のサーバーに画像データを送出するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１】
所定の画像に類似する類似画像を認識する類似画像認識部と、
上記画像を認識する画像認識部と、
上記画像の特徴部を表すテンプレートを記憶するテンプレート記憶部と、
上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、
上記テンプレートに対応した画像を入力する画像入力部と、
を備えたことを特徴とする画像認識装置。
【請求項２】
上記類似画像認識部は、上記画像の輪郭情報に基づいて類似画像を認識することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
上記画像認識部は、対象画像の特徴を表す特徴部と予め登録された画像の特徴部とを比較することにより上記対象画像を認識することを特徴とする請求項１に記載の画像認識装置。
【請求項４】
上記画像認識装置はさらに、上記画像認識部において画像を認識できた場合に上記画像に関連するキーワードを出力するキーワード出力部を備えたことを特徴とする請求項１に記載の画像認識装置。
【請求項５】
上記画像認識装置は、さらに、画像を撮影する撮影部を備えた撮像装置であって、上記撮像部は上記テンプレート出力部により出力されたテンプレートを基に撮像した画像を撮影することを特徴とする請求項１に記載の撮像装置。
【請求項６】
所定の画像に類似する類似画像を認識する類似画像認識ステップと、
上記画像を認識する画像認識ステップと、
この画像認識部ステップにおいて上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップと、
を備えたことを特徴とする画像認識方法。
【請求項７】
所定の画像に類似する類似画像を認識する類似画像認識部と、
上記画像を認識するテンプレートを記憶するテンプレート記憶部と、
上記画像認識部において上記画像を認識できない場合、上記類似画像に関連付けられた上記テンプレートを出力するテンプレート出力部と、
上記テンプレートに対応した画像を入力する画像入力部と、
上記画像を撮影する撮像部と、
を備えたことを特徴とする画像認識システム。
【請求項８】
所定の画像に類似する類似画像を認識する類似画像認識ステップと、
上記画像を認識する画像認識ステップと、
上記画像認識部において上記画像を認識できない場合に、上記類似画像に関連付けられた、上記画像の特徴部を表すテンプレートを出力するテンプレート出力ステップと、
上記テンプレートに対応した画像を入力する画像入力ステップと、
をコンピュータに実行させるためのプログラム。
【請求項９】
被比較画像の種別判定にあたって、種別の特徴点を記憶する画像データベースと、
上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、
上記特徴点に基づいて上記被比較画像の種別を表すキーワードを記憶するキーワードデータベースと、
上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択し、一方、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択する特徴点判定部と、
を具備することを特徴とする画像認識装置。
【請求項１０】
上記画像データベースは大まかな種別を表す参照画像群を記憶し、
上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部
を有することを特徴とする請求項９に記載の画像認識装置。
【請求項１１】
上記特徴点判定部によって選択された特徴点テンプレートを表示する表示部を有することを特徴とする請求項９に記載の画像認識装置。
【請求項１２】
被比較画像と、画像データベースに記憶された種別の特徴点を比較するステップと、
この比較において、上記特徴点を認識できない場合に、上記被比較画像に類似する画像の特徴部を表すテンプレートを表示するステップと、
を具備することを特徴とする画像認識方法。
【請求項１３】
上記特徴点の比較のステップに先立って、上記被比較画像と参照画像群とを比較し、類似画像を選択することを特徴とする請求項１２に記載の画像認識方法。
【請求項１４】
画像を取得し被比較画像を出力する撮像手段と、
画像の種別ごとに特徴点を記憶する画像データベースと、
上記特徴点を画像表示する特徴点テンプレートを記憶するテンプレートデータベースと、
上記被比較画像中に、上記画像データベースに記憶された上記特徴点の有無を判定し、判定の結果、上記特徴点が無いと判定された場合に、上記テンプレートデータベースから対応する特徴点テンプレートを選択する特徴点判定部と、
この特徴点判定部によって選択された上記特徴点テンプレートを表示する表示部と、
を具備することを特徴とする撮像装置。
【請求項１５】
上記特徴点に基づいて上記画像の種別を表すキーワードを記憶するキーワードデータベースを具備し、
上記特徴点判定部は、上記特徴点が有ると判定された場合に、上記キーワードデータベースから対応するキーワードを選択し、
上記表示部は、上記キーワードを表示する
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
上記表示部は、上記撮像手段によって撮像した画像と、上記特徴点テンプレートを重畳して表示することを特徴とする請求項１４に記載の撮像装置。
【請求項１７】
上記画像データベースは大まかな種別を表す参照画像群を記憶し、
上記特徴点判定部における判定に先立って、上記被比較画像は上記画像データベースに記憶された上記参照画像群と比較し、類似する画像を選択する画像比較部
を有することを特徴とする請求項１４に記載の撮像装置。
【請求項１８】
外部よりテンプレートを入力するステップと、
上記テンプレートを表示するテンプレート撮影モードに設定するステップと、
上記テンプレート撮影モードで撮影を行うステップと、
上記撮影において取得した撮影画像を外部に出力するステップと、
からなるカメラにおける撮影アシスト方法。
【請求項１９】
カメラにテンプレートを出力するステップと、
上記カメラから、上記テンプレートを用いて撮影した画像データを受信するステップと、
上記画像データを画像認識用のサーバーに画像データを送出するステップと、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−２４２７１２（Ｐ２００８−２４２７１２Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８１０４７（Ｐ２００７−８１０４７）
【出願日】平成１９年３月２７日（２００７．３．２７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２７日（２００７．３．２７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]