自動認識処理システム、情報処理端末、自動認識処理方法、及びプログラム
【課題】コストをかけずに、数多くの種類の対象物を精度よく自動認識することが可能な自動認識処理システム等を提供する。
【解決手段】撮影部２５であるカメラを起動すると、情報処理端末３は発光体１１の明滅周期をサーバ５から受信、設定し、対象物９の動画撮影を開始する。情報処理端末３は、前後の撮影画像３１から差分画像３２を生成してシンボル認識処理を行い、差分画像３２内にシンボル候補が４点あるか判定する。シンボル認識処理の認識結果が成功すると、情報処理端末３は差分画像３２から認識領域３３を抽出し、サーバ５に送信する。サーバ５は、情報処理端末３から受信した認識領域３３のデータベース照会処理を行う。情報処理端末３は、サーバ５からデータベース照会の結果を受信し、データの表示等を行う。
【解決手段】撮影部２５であるカメラを起動すると、情報処理端末３は発光体１１の明滅周期をサーバ５から受信、設定し、対象物９の動画撮影を開始する。情報処理端末３は、前後の撮影画像３１から差分画像３２を生成してシンボル認識処理を行い、差分画像３２内にシンボル候補が４点あるか判定する。シンボル認識処理の認識結果が成功すると、情報処理端末３は差分画像３２から認識領域３３を抽出し、サーバ５に送信する。サーバ５は、情報処理端末３から受信した認識領域３３のデータベース照会処理を行う。情報処理端末３は、サーバ５からデータベース照会の結果を受信し、データの表示等を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の対象物を自動で認識する自動認識処理システム等に関する。
【背景技術】
【０００２】
任意の対象物をコンピュータによって自動的に認識するため、従来から様々な手法が考案されている。
【０００３】
特許文献１の自動目標検知識別処理方法は、可視画像撮像手段と不可視画像撮像手段を備え、不可視画像中から得られた目標位置情報を可視画像に転送し、画像処理する範囲を特定限定して絞り込むことにより、画像処理量を少なくする。
【０００４】
また、特許文献２には、赤外線光等の光を用いて対象物を検知する方法として、赤外線信号送信デバイスを用いてタグ付けされた対象物を検出、識別し、空間的局所化を行うという方法が開示されている。この方法では、予め設定された赤外線光の明滅パターンを検出すると、対象物であると認識する。
【０００５】
また、特許文献３には、スポーツ中継等においてサッカー選手、ボール等のオブジェクトを検出する方法として、各オブジェクトの固定位置のそれぞれが送信機を取り付け、送信機の赤外線ＬＥＤが特定のパターンで点滅させ、受信機が送信機からの点滅光を受光して座標位置を検出し、撮像信号を出力するという方法が開示されている。
【０００６】
また、特許文献４には、被写体等の対象物の位置を確実に特定する方法が開示されている。この方法では、被写体の一部に取り付ける識別情報出力部から出力される赤外線などの光データを被写体の画像信号と共に撮像手段１で受光し、赤外帯域成分のみを抽出し、画面上での位置を特定して位置情報で出力する。
【０００７】
また、特許文献５の光学マーカシステムは、予め定められた位置にＬＥＤマーカを取り付け、一意的に割り付けられた固有の点滅パターンで点滅させる。カメラによりＬＥＤマーカの発光点及び特徴点を含む画像を撮影し、撮影された画像に含まれる発光点及び特徴点を候補点として検出して各候補点を追跡して点滅パターンを検出し、ＬＥＤマーカを特定し、ＬＥＤマーカの３次元位置等からカメラの位置及び姿勢を推定する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−２９８１４４号公報
【特許文献２】特開平１０−８３４５４号公報
【特許文献３】特開２００３−３４８４２４号公報
【特許文献４】特開２００５−２２９４９４号公報
【特許文献５】特開２００９−３３３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に示す方法では、自動目標検知識別装置が可視画像撮像手段と不可視画像撮像手段の両方を備える必要があり、実装が複雑となり、コストが高くなる。また、特許文献２、３、５に示す方法では、赤外線やＬＥＤの明滅パターンの違いにより複数の対象物を識別する為、識別可能な対象物の数が、明滅パターンの数に限定される。また、特許文献４に示す方法では、対象物の位置をトラッキングするだけであり、対象物の領域を判定ができない。また、特許文献４に示す方法では、特殊なフィルタを用いるため、コストが高くなる。
【００１０】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、コストをかけずに、数多くの種類の対象物を精度よく自動認識することが可能な自動認識処理システム等を提供することである。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために、第１の発明は、情報処理端末と、前記情報処理端末とネットワークを介して接続されるサーバから構成され、対象物を自動認識する自動認識処理システムであって、前記サーバは、前記対象物が有する発光体の一定の明滅周期を保持する手段、を有し、前記情報処理端末は、前記発光体の前記明滅周期を前記サーバから受信する手段と、前記対象物を撮影する撮影手段と、前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、を有することを特徴とする自動認識処理システムである。第１の発明によって、コストをかけずに、数多くの種類の対象物を精度よく自動認識することができる。特に、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別し易くなり、シンボルとして精度良く特定することができる。また、明滅の周期を比較的長くすることにより、フレームレートが低いカメラでも使用可能となる。
【００１２】
第１の発明における前記情報処理端末は、前記認識領域を前記サーバに送信する手段、を更に有し、前記サーバは、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、前記情報処理端末から受信した前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、前記認識領域と一致した前記基準領域画像群に紐付けられるデータを前記情報処理端末に送信する手段と、を有することが望ましい。例えば、対象物が店舗の看板の場合、店舗の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、店舗内に入店することなく、店舗の情報を得ることができる。また、例えば、対象物が商品の場合、商品の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、商品の実物を見ながら、商品の情報をリアルタイムに得ることができる。更に、問い合わせるデータベースには、所定の画像サイズを有する複数の基準領域画像が用意されているため、遠方からでも認識対象の読み取りが可能である。これは、遠方の場合には認識領域が小さい画像として取得されるところ、データベース上に小さい基準領域画像が登録されていることによって、照合が可能となるからである。
【００１３】
また、第１の発明における前記発光体は、不可視光を点灯することが望ましい。不可視光を用いることによって、景観を損なわないからである。
【００１４】
第２の発明は、対象物を自動認識する情報処理端末であって、前記対象物が有する発光体の一定の明滅周期を保持する手段と、前記対象物を撮影する撮影手段と、前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、を有することを特徴とする情報処理端末である。第２の発明によって、コストをかけずに、数多くの種類の対象物を精度よく自動認識することができる。特に、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別し易くなり、シンボルとして精度良く特定することができる。また、明滅の周期を比較的長くすることにより、フレームレートが低いカメラでも使用可能となる。
【００１５】
第２の発明は、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、前記認識領域と一致した前記基準領域画像群に紐付けられるデータを出力する手段と、を更に有することが望ましい。例えば、対象物が店舗の看板の場合、店舗の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、店舗内に入店することなく、店舗の情報を得ることができる。また、例えば、対象物が商品の場合、商品の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、商品の実物を見ながら、商品の情報をリアルタイムに得ることができる。更に、問い合わせるデータベースには、所定の画像サイズを有する複数の基準領域画像が用意されているため、遠方からでも認識対象の読み取りが可能である。これは、遠方の場合には認識領域が小さい画像として取得されるところ、データベース上に小さい基準領域画像が登録されていることによって、照合が可能となるからである。
【００１６】
また、第２の発明における前記発光体は、不可視光を点灯することが望ましい。不可視光を用いることによって、景観を損なわないからである。
【００１７】
第３の発明は、対象物を自動認識する自動認識処理方法であって、前記対象物を撮影する撮影ステップと、前記撮影ステップにより得た撮影画像から差分画像を生成し、前記対象物が有する発光体の一定の明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識するステップと、前記差分画像から前記シンボルに囲まれる認識領域を抽出するステップと、を含むことを特徴とする自動認識処理方法である。第３の発明によって、コストをかけずに、数多くの種類の対象物を精度よく自動認識することができる。
【００１８】
第４の発明は、コンピュータを、対象物が有する発光体の一定の明滅周期を保持する手段と、前記対象物を撮影する撮影手段と、前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、して機能させるためのプログラムである。第４の発明をコンピュータにインストールすることによって、第２の発明の情報処理端末を得ることができる。
【発明の効果】
【００１９】
本発明により、コストをかけずに、数多くの種類の対象物を精度よく自動認識することが可能な自動認識処理システム等を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る自動認識処理システムの概要を示す図
【図２】情報処理端末を実現するコンピュータのハードウエア構成図
【図３】基準領域画像を説明する図
【図４】差分画像を説明する図
【図５】自動認識処理の詳細を示すフローチャート
【図６】認識領域を説明する図
【図７】シンボル認識処理の詳細を示すフローチャート
【図８】データベース照会処理の詳細を示すフローチャート
【図９】照合処理を説明する図
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。尚、以下の説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２２】
最初に、図１を参照しながら、本発明の実施の形態に係る自動認識処理システム１について説明する。図１は、本発明の実施の形態に係る自動認識処理システムの概要を示す図である。自動認識処理システム１は、動画像撮影手段を有する情報処理端末３を用いて対象物９を認識し、認識した対象物９に関連する情報を取得する。情報処理端末３は、ネットワーク７を介してサーバ５に接続する。
【００２３】
対象物９は、一部あるいは全体に矩形の認識領域を有し、領域の左上、左下、右上、右下の四隅に、一定周期で赤外線光のような不可視光の点灯を繰り返す発光体１１を有する。発光体１１の明滅する周期は、情報処理端末３により撮影可能なフレームレートより低い値とする。
【００２４】
情報処理端末３は、動画像撮影手段を有する携帯端末であり、撮影した動画像から明滅する発光体１１をシンボルとして抽出し、対象物９の認識領域を特定し、認識領域内の静止画像をサーバ５に送信する。
【００２５】
サーバ５は、認識処理の基準領域となる画像（以下、「基準領域画像」という。）群をデータベースに予め保持する。また、サーバ５は、認識対象の名前や商品のホームページのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等、基準領域画像群と紐付けられる情報をデータベースに予め保持する。サーバ５は、情報処理端末３から受信する静止画像と、データベース内で保有する基準領域画像との照合を行い、該当する基準領域画像群と紐付けられた情報を情報処理端末３に送信する。
【００２６】
図２は、情報処理端末３を実現するコンピュータのハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。また、サーバ５のハードウエア構成は、撮影部２５が不要な点を除き、情報処理端末３のハードウエア構成と同様である。
【００２７】
情報処理端末３は、制御部２１、記憶部２２、入力部２３、表示部２４、撮影部２５、通信部２６等が、バス２７を介して接続される。
【００２８】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２７を介して接続された各装置を駆動制御し、情報処理端末３が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００２９】
記憶部２２は、フラッシュメモリ等であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ等が格納される。これらの各プログラムコードは、制御部２１のＣＰＵにより必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。
【００３０】
入力部２３は、データの入力を行い、例えば、タッチパネル、キー等の入力装置を有する。入力部２３を介して、情報処理端末３に対して、操作指示、動作指示、データ入力等を行うことができる。表示部２４は、液晶パネル等のディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部２３及び表示部２４は、タッチパネル付きディスプレイのように、一体であっても良い。
【００３１】
撮影部２５は、動画像を撮影可能なカメラ等である。撮影部２５は、明滅する不可視光（例えば、赤外光）を検出することができる。通信部２６は、情報処理端末３とネットワーク７間の通信を媒介する通信インタフェースであり、ネットワーク７を介して、サーバ５等と通信を行う。ネットワーク７は、有線、無線を問わない。バス２７は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３２】
次に、図３を参照しながら、基準領域画像等を保持するデータベースの詳細について説明する。図３は、基準領域画像を説明する図である。図３には、基準領域画像群１３ａ、１３ｂ、・・・等が図示されている。基準領域画像群１３ａは、基準領域画像１５−１ａ、１５−２ａ、・・・からなり、情報Ａに紐付けられている。また、基準領域画像群１３ｂは、基準領域画像１５−１ｂ、１５−２ｂ、・・・からなり、情報Ｂに紐付けられている。
【００３３】
説明を分かり易くする為に、基準領域画像群１３ａの図柄はアルファベットの大文字「Ａ」、基準領域画像群１３ｂの図柄はアルファベットの大文字「Ｂ」としている。以下、基準領域画像群１３ａ、１３ｂ、・・・を総称する場合には、「基準領域画像群１３」と表記する。同様に、基準領域画像１５−１ａ、１５−２ａ、・・・、１５−１ｂ、１５−２ｂ、・・・を総称する場合には、「基準領域画像１５」と表記する。
【００３４】
サーバ５は、データベース上に、単一の情報に対して、同一の絵柄であって、縦横比が固定された複数の大きさの基準領域画像１５を含む基準領域画像群１３を紐付けて記憶する。各情報間において、基準領域画像群１３の縦横比が重複しても構わない。また、各情報間において、基準領域画像群１３に含まれる基準領域画像１５の大きさが重複しても構わない。基準領域画像１５の形状は矩形とする。
【００３５】
図３の例では、基準領域画像群１３ａは縦横比が３：４で固定され、基準領域画像群１３ｂは縦横比が１：１で固定されている。基準領域画像群１３ａには、縦が３０pixel、横が４０pixelの大きさを有する基準領域画像１５−１ａ、縦が４５pixel、横が６０pixelの大きさを有する基準領域画像１５−２ａ等が含まれている。基準領域画像群１３ｂには、縦が４０pixel、横が４０pixelの大きさを有する基準領域画像１５−１ｂ、縦が６０pixel、横が６０pixelの大きさを有する基準領域画像１５−２ｂ等が含まれている。
【００３６】
サーバ５は、情報処理端末３から受信した認識領域を、基準領域画像１５に合わせて変換し、一致するかどうか判定する。図３の例では、サーバ５は、認識領域を少なくとも４種類以上の画像サイズに変換していき、いずれかの基準領域画像１５に一致するかどうかを判定することになる。複数種類の大きさにリサイズされた基準領域画像１５を保持しておくことによって、発光体１１の設置位置の自由度が高くなるとともに、撮影時の歪みなどにも対応し易くなる。
【００３７】
次に、図４を参照しながら、情報処理端末３が撮影した動画像から差分画像を取得する処理について説明する。図４は、差分画像を説明する図である。尚、図４には、撮影画像３１−１〜３１−４が図示されているが、総称する場合には「撮影画像３１」と表記する。同様に、図４には、差分画像３２−１〜３２−３が図示されているが、総称する場合には「差分画像３２」と表記する。
【００３８】
情報処理端末３の撮影部２５は、動画像として撮影画像３１を連続的に撮影する。撮影画像３１には、対象物９が含まれている。対象物９の発光体１１は、明滅間隔ｔｃで点灯し、それ以外は消灯状態である。情報処理端末３の制御部２１は、画像処理におけるフィルタ処理等を施した後、前後の撮影画像３１から差分画像３２を生成する。差分画像３２には、発光体１１の明滅間隔ｔｃの時間間隔で点灯する発光体１１が含まれる。
【００３９】
図４に示す例では、差分画像３２−１、３２−３に発光体１１が含まれている。一方、差分画像３２−２には発光体１１が含まれていない。後述するように、情報処理端末３の制御部２１は、所定枚数の差分画像３２に発光体１１が含まれていることを認識すると、差分画像３２の認識領域内の静止画像をサーバ５に送信する。
【００４０】
次に、図５〜９を参照しながら、自動認識処理システム１における対象物の自動認識処理について説明する。図５は自動認識処理の詳細を示すフローチャート、図６は認識領域を説明する図、図７はシンボル認識処理の詳細を示すフローチャート、図８はデータベース照会処理の詳細を示すフローチャート、図９は照合処理を説明する図である。
【００４１】
図５に示すように、ユーザが、情報処理端末３の撮影部２５であるカメラを起動すると（ステップＳ１０１）、情報処理端末３の制御部２１は、発光体１１の明滅周期をサーバ５から受信し、ＲＡＭ等に明滅周期を設定する（ステップＳ１０２）。情報処理端末３の制御部２１は、撮影部２５により対象物９の動画撮影を開始する（ステップＳ１０３）。
【００４２】
情報処理端末３の制御部２１は、撮影画像３１から差分画像３２を生成してシンボル認識処理を行い、差分画像３２内にシンボル候補が４点あるか判定する（ステップＳ１０４）。
【００４３】
図７は、ステップＳ１０４のシンボル認識処理の詳細を示している。図７に示すように、情報処理端末３の制御部２１は、撮影部２５により撮影した撮影画像３１と、直前に撮影した撮影画像３１との差分画像３２を生成し、対象物９の発光体１１の明滅によるシンボル候補が４点以上抽出されたか判定する。尚、図１に示すように、対象物９には４つの発光体１１が設置されるが、ノイズ等がシンボル候補として抽出されることも考えられる為、４点「以上」という条件にしている。
【００４４】
４点以上抽出されない場合（ステップＳ２０１のＮｏ）、シンボルの認識処理は失敗であるため、「認識結果は失敗」とする（ステップＳ２０８）。
【００４５】
一方、差分画像３２からシンボル候補が４点以上抽出された場合（ステップＳ２０１のＹｅｓ）、情報処理端末３の制御部２１は、シンボル認識のためのループ処理を開始し、ループカウンタｉを１に設定し（ステップＳ２０２）、所定枚数ｎの差分画像３２からシンボル候補が４点以上抽出されるまで、ループ処理を繰り返す（ステップＳ２０５）。つまり、ループカウンタｉは、シンボル候補が４点以上抽出された差分画像３２の枚数を示している。尚、このループ処理は必須ではなく、１枚の差分画像３２からシンボル候補が４点以上抽出されたら、認識結果は成功と判定しても良い。
【００４６】
ループ処理内では、情報処理端末３の制御部２１は、前回の処理からｔｃ×ｉ後の撮影画像３１と、その前後の撮影画像３１の差分画像３２を生成し、差分画像３２内にシンボル候補が４点以上存在するか判定する（ステップＳ２０３）。
【００４７】
差分画像３２内にシンボル候補が４点以上存在しない場合（ステップＳ２０３のＮｏ）、シンボルの認識処理は失敗であるため、「認識結果は失敗」とする（ステップＳ２０８）。例えば、対象物９が途中からフレームアウトした場合などが考えられる。
【００４８】
差分画像３２内にシンボル候補が４点以上存在する場合（ステップＳ２０３のＹｅｓ）、情報処理端末３の制御部２１はループカウンタｉを１増分する（ステップＳ２０４）。
【００４９】
ループ処理終了後、情報処理端末３の制御部２１は、現在の差分画像３２内にシンボル候補が４点のみ存在するか判定し（ステップＳ２０６）、４点のみ存在する場合（ステップＳ２０６のＹｅｓ）、シンボルの「認識処理は成功」とする（ステップＳ２０７）。前述のステップＳ２０１やステップＳ２０３では、ノイズ等がシンボル候補として抽出されることを許容したが、ステップＳ２０６では、ノイズ等がシンボル候補として抽出されることを許容しない。これは、ノイズ等がシンボル候補として抽出されたままでは、認識領域が確定しないからである。
【００５０】
情報処理端末３の制御部２１は、現在の差分画像３２内に存在するシンボル候補が４点のみではない場合（ステップＳ２０６のＮｏ）、シンボル認識処理は失敗であるため、「認識結果は失敗」とする（ステップＳ２０８）。
【００５１】
図５の説明に戻る。シンボル認識処理の認識結果が失敗の場合（ステップＳ１０４のＮｏ）、情報処理端末３の制御部２１は、撮影部２５による動画撮影を続ける（ステップＳ１０３）。
【００５２】
シンボル認識処理の認識結果が成功の場合（ステップＳ１０４のＹｅｓ）、情報処理端末３の制御部２１は差分画像３２から認識領域３３を抽出し（ステップＳ１０５）、抽出した認識領域３３をサーバ５に送信する（ステップＳ１０６）。認識領域３３は、図６に示すように、差分画像３２の一部分である。既に、４つの発光体１１の位置がシンボルとして抽出されているので、情報処理端末３の制御部２１は、容易に認識領域３３を抽出することができる。
【００５３】
尚、４つのシンボルの位置が長方形の頂点の位置ではなく、図６に示すように歪んでいる場合、情報処理端末３の制御部２１は、線形変換等を施して、４つのシンボルの位置を長方形の頂点の位置となるように差分画像３２を変換した後、認識領域３３を抽出する。
【００５４】
サーバ５は、情報処理端末３から受信した認識領域３３を、サーバ５が保持する基準領域画像１５と比較し、データベース照会処理を行う（ステップＳ１０７）。
【００５５】
図８は、ステップＳ１０７のサーバ５によるデータベース照会処理の詳細を示している。サーバ５は、情報処理端末３からの照会要求を受信すると（ステップＳ３０１のＹｅｓ）、ループ処理を開始し、ループカウンタｊを１に設定し（ステップＳ３０２）、ループカウンタｊがｍ以上となるまでループ処理を繰り返す（ステップＳ３０６）。ｍは、基準領域画像１５として保持する縦横比・大きさ（＝画像サイズ）の種類を示している。図３に示す例であれば、少なくともｍ＝４以上である。
【００５６】
サーバ５は、認識領域３３をｊ番目の縦横比・大きさ（＝画像サイズ）に変換し（ステップＳ３０３）、データベース内の基準領域画像１５の中に同一のものが存在するか判定する（ステップＳ３０４）。
サーバ５は、認識領域３３と同一の基準領域画像１５が存在する場合（ステップＳ３０４のＹｅｓ）、該当する基準領域画像１５に紐付けられたデータを情報処理端末３に送信し（ステップＳ３０５）、処理を終了する。
認識領域３３と同一の基準領域画像１５が存在しない場合（ステップＳ３０４のＮｏ）、サーバ５は情報処理端末３に「該当データなし」のメッセージを送信する（ステップＳ３０７）。
【００５７】
図９に示すように、サーバ５は、認識領域３３の画像サイズを３０×４０、４５×６０、・・・に変換して、基準領域画像群１３ａに含まれる基準領域画像１５−１ａ、１５−２ａ、・・・と照合処理を行う。同様に、サーバ５は、認識領域３３の画像サイズを４０×４０、６０×６０、・・・に変換して、基準領域画像群１３ｂに含まれる基準領域画像１５−１ｂ、１５−２ｂ、・・・と照合処理を行う。このように、サーバ５は、データベースに保持されている全ての基準領域画像１５と照合処理を行う。そして、サーバ５は、一致した基準領域画像１５を含む基準領域画像群１３と紐付けられている情報を、情報処理端末３に送信する。
【００５８】
図５の説明に戻る。情報処理端末３の制御部２１は、サーバ５からデータベース照会の結果を受信、データの表示等を行う（ステップＳ１０８）。
【００５９】
以上説明したように、本発明に係る自動認識処理システムでは、対象物を含む撮影画像から差分画像を生成し、予め定義された明滅周期に基づいて差分画像から点灯状態の発光体をシンボルとして認識し、差分画像からシンボルに囲まれる認識領域を抽出する。これによって、対象物を精度良く自動認識することができる。特に、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別し易くなり、シンボルとして精度良く特定することができる。
【００６０】
また、不可視光をシンボルとして用いることによって、遠方からでも認識対象の読み取りが可能である。また、明滅の周期を比較的長くすることにより、フレームレートが低いカメラでも使用可能となる。また、シンボルとして不可視光を用いているため、景観を損なわない。ただし、可視光をシンボルとして用いることも、もちろん可能である。可視光であっても、前述した通り、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別することができる。
【００６１】
また、自動認識処理システムでは、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、基準領域画像群に紐付けられるデータを保持するデータベースを備え、認識領域を所定の画像サイズに変換していき、認識領域と基準領域画像との照合を行うことによって、基準領域画像群ごとに紐付けられるデータを表示することができる。例えば、対象物が店舗の看板の場合、店舗の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、店舗内に入店することなく、店舗の情報を得ることができる。また、例えば、対象物が商品の場合、商品の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、商品の実物を見ながら、商品の情報をリアルタイムに得ることができる。更に、問い合わせるデータベースには、所定の画像サイズを有する複数の基準領域画像が用意されているため、遠方からでも認識対象の読み取りが可能である。これは、遠方の場合には認識領域が小さい画像として取得されるところ、データベース上に小さい基準領域画像が登録されていることによって、照合が可能となるからである。
【００６２】
前述の説明では、サーバに対象物の静止画像のデータベースを保持するとしたが、情報処理端末の内部に対象物の静止画像のデータベースを保持し、図８に示すデータベース照会処理を情報処理端末内で行うようにしてもよい。つまり、情報処理端末は、対象物が有する発光体の一定の明滅周期を保持し、対象物を撮影し、撮影により得た撮影画像から差分画像を生成し、明滅周期に基づいて差分画像から点灯状態の発光体をシンボルとして認識し、差分画像からシンボルに囲まれる認識領域を抽出する。更に、情報処理端末は、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、基準領域画像群に紐付けられるデータを保持するデータベースを備え、認識領域を所定の画像サイズに変換していき、一致する基準領域画像があるか、データベースに照会し、認識領域と一致した基準領域画像群に紐付けられるデータを出力する。これによって、情報処理端末は、ネットワークを介さずにデータベース照会処理を行うことができる。
【００６３】
以上、添付図面を参照しながら、本発明に係る自動認識処理システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６４】
１………自動認識処理システム
３………情報処理端末
５………サーバ
７………ネットワーク
９………対象物
１１………発光体
１３………基準領域画像群
１５………基準領域画像
３１………撮影画像
３２………差分画像
３３………認識領域
【技術分野】
【０００１】
本発明は、任意の対象物を自動で認識する自動認識処理システム等に関する。
【背景技術】
【０００２】
任意の対象物をコンピュータによって自動的に認識するため、従来から様々な手法が考案されている。
【０００３】
特許文献１の自動目標検知識別処理方法は、可視画像撮像手段と不可視画像撮像手段を備え、不可視画像中から得られた目標位置情報を可視画像に転送し、画像処理する範囲を特定限定して絞り込むことにより、画像処理量を少なくする。
【０００４】
また、特許文献２には、赤外線光等の光を用いて対象物を検知する方法として、赤外線信号送信デバイスを用いてタグ付けされた対象物を検出、識別し、空間的局所化を行うという方法が開示されている。この方法では、予め設定された赤外線光の明滅パターンを検出すると、対象物であると認識する。
【０００５】
また、特許文献３には、スポーツ中継等においてサッカー選手、ボール等のオブジェクトを検出する方法として、各オブジェクトの固定位置のそれぞれが送信機を取り付け、送信機の赤外線ＬＥＤが特定のパターンで点滅させ、受信機が送信機からの点滅光を受光して座標位置を検出し、撮像信号を出力するという方法が開示されている。
【０００６】
また、特許文献４には、被写体等の対象物の位置を確実に特定する方法が開示されている。この方法では、被写体の一部に取り付ける識別情報出力部から出力される赤外線などの光データを被写体の画像信号と共に撮像手段１で受光し、赤外帯域成分のみを抽出し、画面上での位置を特定して位置情報で出力する。
【０００７】
また、特許文献５の光学マーカシステムは、予め定められた位置にＬＥＤマーカを取り付け、一意的に割り付けられた固有の点滅パターンで点滅させる。カメラによりＬＥＤマーカの発光点及び特徴点を含む画像を撮影し、撮影された画像に含まれる発光点及び特徴点を候補点として検出して各候補点を追跡して点滅パターンを検出し、ＬＥＤマーカを特定し、ＬＥＤマーカの３次元位置等からカメラの位置及び姿勢を推定する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−２９８１４４号公報
【特許文献２】特開平１０−８３４５４号公報
【特許文献３】特開２００３−３４８４２４号公報
【特許文献４】特開２００５−２２９４９４号公報
【特許文献５】特開２００９−３３３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に示す方法では、自動目標検知識別装置が可視画像撮像手段と不可視画像撮像手段の両方を備える必要があり、実装が複雑となり、コストが高くなる。また、特許文献２、３、５に示す方法では、赤外線やＬＥＤの明滅パターンの違いにより複数の対象物を識別する為、識別可能な対象物の数が、明滅パターンの数に限定される。また、特許文献４に示す方法では、対象物の位置をトラッキングするだけであり、対象物の領域を判定ができない。また、特許文献４に示す方法では、特殊なフィルタを用いるため、コストが高くなる。
【００１０】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、コストをかけずに、数多くの種類の対象物を精度よく自動認識することが可能な自動認識処理システム等を提供することである。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために、第１の発明は、情報処理端末と、前記情報処理端末とネットワークを介して接続されるサーバから構成され、対象物を自動認識する自動認識処理システムであって、前記サーバは、前記対象物が有する発光体の一定の明滅周期を保持する手段、を有し、前記情報処理端末は、前記発光体の前記明滅周期を前記サーバから受信する手段と、前記対象物を撮影する撮影手段と、前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、を有することを特徴とする自動認識処理システムである。第１の発明によって、コストをかけずに、数多くの種類の対象物を精度よく自動認識することができる。特に、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別し易くなり、シンボルとして精度良く特定することができる。また、明滅の周期を比較的長くすることにより、フレームレートが低いカメラでも使用可能となる。
【００１２】
第１の発明における前記情報処理端末は、前記認識領域を前記サーバに送信する手段、を更に有し、前記サーバは、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、前記情報処理端末から受信した前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、前記認識領域と一致した前記基準領域画像群に紐付けられるデータを前記情報処理端末に送信する手段と、を有することが望ましい。例えば、対象物が店舗の看板の場合、店舗の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、店舗内に入店することなく、店舗の情報を得ることができる。また、例えば、対象物が商品の場合、商品の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、商品の実物を見ながら、商品の情報をリアルタイムに得ることができる。更に、問い合わせるデータベースには、所定の画像サイズを有する複数の基準領域画像が用意されているため、遠方からでも認識対象の読み取りが可能である。これは、遠方の場合には認識領域が小さい画像として取得されるところ、データベース上に小さい基準領域画像が登録されていることによって、照合が可能となるからである。
【００１３】
また、第１の発明における前記発光体は、不可視光を点灯することが望ましい。不可視光を用いることによって、景観を損なわないからである。
【００１４】
第２の発明は、対象物を自動認識する情報処理端末であって、前記対象物が有する発光体の一定の明滅周期を保持する手段と、前記対象物を撮影する撮影手段と、前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、を有することを特徴とする情報処理端末である。第２の発明によって、コストをかけずに、数多くの種類の対象物を精度よく自動認識することができる。特に、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別し易くなり、シンボルとして精度良く特定することができる。また、明滅の周期を比較的長くすることにより、フレームレートが低いカメラでも使用可能となる。
【００１５】
第２の発明は、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、前記認識領域と一致した前記基準領域画像群に紐付けられるデータを出力する手段と、を更に有することが望ましい。例えば、対象物が店舗の看板の場合、店舗の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、店舗内に入店することなく、店舗の情報を得ることができる。また、例えば、対象物が商品の場合、商品の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、商品の実物を見ながら、商品の情報をリアルタイムに得ることができる。更に、問い合わせるデータベースには、所定の画像サイズを有する複数の基準領域画像が用意されているため、遠方からでも認識対象の読み取りが可能である。これは、遠方の場合には認識領域が小さい画像として取得されるところ、データベース上に小さい基準領域画像が登録されていることによって、照合が可能となるからである。
【００１６】
また、第２の発明における前記発光体は、不可視光を点灯することが望ましい。不可視光を用いることによって、景観を損なわないからである。
【００１７】
第３の発明は、対象物を自動認識する自動認識処理方法であって、前記対象物を撮影する撮影ステップと、前記撮影ステップにより得た撮影画像から差分画像を生成し、前記対象物が有する発光体の一定の明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識するステップと、前記差分画像から前記シンボルに囲まれる認識領域を抽出するステップと、を含むことを特徴とする自動認識処理方法である。第３の発明によって、コストをかけずに、数多くの種類の対象物を精度よく自動認識することができる。
【００１８】
第４の発明は、コンピュータを、対象物が有する発光体の一定の明滅周期を保持する手段と、前記対象物を撮影する撮影手段と、前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、して機能させるためのプログラムである。第４の発明をコンピュータにインストールすることによって、第２の発明の情報処理端末を得ることができる。
【発明の効果】
【００１９】
本発明により、コストをかけずに、数多くの種類の対象物を精度よく自動認識することが可能な自動認識処理システム等を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る自動認識処理システムの概要を示す図
【図２】情報処理端末を実現するコンピュータのハードウエア構成図
【図３】基準領域画像を説明する図
【図４】差分画像を説明する図
【図５】自動認識処理の詳細を示すフローチャート
【図６】認識領域を説明する図
【図７】シンボル認識処理の詳細を示すフローチャート
【図８】データベース照会処理の詳細を示すフローチャート
【図９】照合処理を説明する図
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。尚、以下の説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２２】
最初に、図１を参照しながら、本発明の実施の形態に係る自動認識処理システム１について説明する。図１は、本発明の実施の形態に係る自動認識処理システムの概要を示す図である。自動認識処理システム１は、動画像撮影手段を有する情報処理端末３を用いて対象物９を認識し、認識した対象物９に関連する情報を取得する。情報処理端末３は、ネットワーク７を介してサーバ５に接続する。
【００２３】
対象物９は、一部あるいは全体に矩形の認識領域を有し、領域の左上、左下、右上、右下の四隅に、一定周期で赤外線光のような不可視光の点灯を繰り返す発光体１１を有する。発光体１１の明滅する周期は、情報処理端末３により撮影可能なフレームレートより低い値とする。
【００２４】
情報処理端末３は、動画像撮影手段を有する携帯端末であり、撮影した動画像から明滅する発光体１１をシンボルとして抽出し、対象物９の認識領域を特定し、認識領域内の静止画像をサーバ５に送信する。
【００２５】
サーバ５は、認識処理の基準領域となる画像（以下、「基準領域画像」という。）群をデータベースに予め保持する。また、サーバ５は、認識対象の名前や商品のホームページのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等、基準領域画像群と紐付けられる情報をデータベースに予め保持する。サーバ５は、情報処理端末３から受信する静止画像と、データベース内で保有する基準領域画像との照合を行い、該当する基準領域画像群と紐付けられた情報を情報処理端末３に送信する。
【００２６】
図２は、情報処理端末３を実現するコンピュータのハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。また、サーバ５のハードウエア構成は、撮影部２５が不要な点を除き、情報処理端末３のハードウエア構成と同様である。
【００２７】
情報処理端末３は、制御部２１、記憶部２２、入力部２３、表示部２４、撮影部２５、通信部２６等が、バス２７を介して接続される。
【００２８】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２７を介して接続された各装置を駆動制御し、情報処理端末３が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００２９】
記憶部２２は、フラッシュメモリ等であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ等が格納される。これらの各プログラムコードは、制御部２１のＣＰＵにより必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。
【００３０】
入力部２３は、データの入力を行い、例えば、タッチパネル、キー等の入力装置を有する。入力部２３を介して、情報処理端末３に対して、操作指示、動作指示、データ入力等を行うことができる。表示部２４は、液晶パネル等のディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部２３及び表示部２４は、タッチパネル付きディスプレイのように、一体であっても良い。
【００３１】
撮影部２５は、動画像を撮影可能なカメラ等である。撮影部２５は、明滅する不可視光（例えば、赤外光）を検出することができる。通信部２６は、情報処理端末３とネットワーク７間の通信を媒介する通信インタフェースであり、ネットワーク７を介して、サーバ５等と通信を行う。ネットワーク７は、有線、無線を問わない。バス２７は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３２】
次に、図３を参照しながら、基準領域画像等を保持するデータベースの詳細について説明する。図３は、基準領域画像を説明する図である。図３には、基準領域画像群１３ａ、１３ｂ、・・・等が図示されている。基準領域画像群１３ａは、基準領域画像１５−１ａ、１５−２ａ、・・・からなり、情報Ａに紐付けられている。また、基準領域画像群１３ｂは、基準領域画像１５−１ｂ、１５−２ｂ、・・・からなり、情報Ｂに紐付けられている。
【００３３】
説明を分かり易くする為に、基準領域画像群１３ａの図柄はアルファベットの大文字「Ａ」、基準領域画像群１３ｂの図柄はアルファベットの大文字「Ｂ」としている。以下、基準領域画像群１３ａ、１３ｂ、・・・を総称する場合には、「基準領域画像群１３」と表記する。同様に、基準領域画像１５−１ａ、１５−２ａ、・・・、１５−１ｂ、１５−２ｂ、・・・を総称する場合には、「基準領域画像１５」と表記する。
【００３４】
サーバ５は、データベース上に、単一の情報に対して、同一の絵柄であって、縦横比が固定された複数の大きさの基準領域画像１５を含む基準領域画像群１３を紐付けて記憶する。各情報間において、基準領域画像群１３の縦横比が重複しても構わない。また、各情報間において、基準領域画像群１３に含まれる基準領域画像１５の大きさが重複しても構わない。基準領域画像１５の形状は矩形とする。
【００３５】
図３の例では、基準領域画像群１３ａは縦横比が３：４で固定され、基準領域画像群１３ｂは縦横比が１：１で固定されている。基準領域画像群１３ａには、縦が３０pixel、横が４０pixelの大きさを有する基準領域画像１５−１ａ、縦が４５pixel、横が６０pixelの大きさを有する基準領域画像１５−２ａ等が含まれている。基準領域画像群１３ｂには、縦が４０pixel、横が４０pixelの大きさを有する基準領域画像１５−１ｂ、縦が６０pixel、横が６０pixelの大きさを有する基準領域画像１５−２ｂ等が含まれている。
【００３６】
サーバ５は、情報処理端末３から受信した認識領域を、基準領域画像１５に合わせて変換し、一致するかどうか判定する。図３の例では、サーバ５は、認識領域を少なくとも４種類以上の画像サイズに変換していき、いずれかの基準領域画像１５に一致するかどうかを判定することになる。複数種類の大きさにリサイズされた基準領域画像１５を保持しておくことによって、発光体１１の設置位置の自由度が高くなるとともに、撮影時の歪みなどにも対応し易くなる。
【００３７】
次に、図４を参照しながら、情報処理端末３が撮影した動画像から差分画像を取得する処理について説明する。図４は、差分画像を説明する図である。尚、図４には、撮影画像３１−１〜３１−４が図示されているが、総称する場合には「撮影画像３１」と表記する。同様に、図４には、差分画像３２−１〜３２−３が図示されているが、総称する場合には「差分画像３２」と表記する。
【００３８】
情報処理端末３の撮影部２５は、動画像として撮影画像３１を連続的に撮影する。撮影画像３１には、対象物９が含まれている。対象物９の発光体１１は、明滅間隔ｔｃで点灯し、それ以外は消灯状態である。情報処理端末３の制御部２１は、画像処理におけるフィルタ処理等を施した後、前後の撮影画像３１から差分画像３２を生成する。差分画像３２には、発光体１１の明滅間隔ｔｃの時間間隔で点灯する発光体１１が含まれる。
【００３９】
図４に示す例では、差分画像３２−１、３２−３に発光体１１が含まれている。一方、差分画像３２−２には発光体１１が含まれていない。後述するように、情報処理端末３の制御部２１は、所定枚数の差分画像３２に発光体１１が含まれていることを認識すると、差分画像３２の認識領域内の静止画像をサーバ５に送信する。
【００４０】
次に、図５〜９を参照しながら、自動認識処理システム１における対象物の自動認識処理について説明する。図５は自動認識処理の詳細を示すフローチャート、図６は認識領域を説明する図、図７はシンボル認識処理の詳細を示すフローチャート、図８はデータベース照会処理の詳細を示すフローチャート、図９は照合処理を説明する図である。
【００４１】
図５に示すように、ユーザが、情報処理端末３の撮影部２５であるカメラを起動すると（ステップＳ１０１）、情報処理端末３の制御部２１は、発光体１１の明滅周期をサーバ５から受信し、ＲＡＭ等に明滅周期を設定する（ステップＳ１０２）。情報処理端末３の制御部２１は、撮影部２５により対象物９の動画撮影を開始する（ステップＳ１０３）。
【００４２】
情報処理端末３の制御部２１は、撮影画像３１から差分画像３２を生成してシンボル認識処理を行い、差分画像３２内にシンボル候補が４点あるか判定する（ステップＳ１０４）。
【００４３】
図７は、ステップＳ１０４のシンボル認識処理の詳細を示している。図７に示すように、情報処理端末３の制御部２１は、撮影部２５により撮影した撮影画像３１と、直前に撮影した撮影画像３１との差分画像３２を生成し、対象物９の発光体１１の明滅によるシンボル候補が４点以上抽出されたか判定する。尚、図１に示すように、対象物９には４つの発光体１１が設置されるが、ノイズ等がシンボル候補として抽出されることも考えられる為、４点「以上」という条件にしている。
【００４４】
４点以上抽出されない場合（ステップＳ２０１のＮｏ）、シンボルの認識処理は失敗であるため、「認識結果は失敗」とする（ステップＳ２０８）。
【００４５】
一方、差分画像３２からシンボル候補が４点以上抽出された場合（ステップＳ２０１のＹｅｓ）、情報処理端末３の制御部２１は、シンボル認識のためのループ処理を開始し、ループカウンタｉを１に設定し（ステップＳ２０２）、所定枚数ｎの差分画像３２からシンボル候補が４点以上抽出されるまで、ループ処理を繰り返す（ステップＳ２０５）。つまり、ループカウンタｉは、シンボル候補が４点以上抽出された差分画像３２の枚数を示している。尚、このループ処理は必須ではなく、１枚の差分画像３２からシンボル候補が４点以上抽出されたら、認識結果は成功と判定しても良い。
【００４６】
ループ処理内では、情報処理端末３の制御部２１は、前回の処理からｔｃ×ｉ後の撮影画像３１と、その前後の撮影画像３１の差分画像３２を生成し、差分画像３２内にシンボル候補が４点以上存在するか判定する（ステップＳ２０３）。
【００４７】
差分画像３２内にシンボル候補が４点以上存在しない場合（ステップＳ２０３のＮｏ）、シンボルの認識処理は失敗であるため、「認識結果は失敗」とする（ステップＳ２０８）。例えば、対象物９が途中からフレームアウトした場合などが考えられる。
【００４８】
差分画像３２内にシンボル候補が４点以上存在する場合（ステップＳ２０３のＹｅｓ）、情報処理端末３の制御部２１はループカウンタｉを１増分する（ステップＳ２０４）。
【００４９】
ループ処理終了後、情報処理端末３の制御部２１は、現在の差分画像３２内にシンボル候補が４点のみ存在するか判定し（ステップＳ２０６）、４点のみ存在する場合（ステップＳ２０６のＹｅｓ）、シンボルの「認識処理は成功」とする（ステップＳ２０７）。前述のステップＳ２０１やステップＳ２０３では、ノイズ等がシンボル候補として抽出されることを許容したが、ステップＳ２０６では、ノイズ等がシンボル候補として抽出されることを許容しない。これは、ノイズ等がシンボル候補として抽出されたままでは、認識領域が確定しないからである。
【００５０】
情報処理端末３の制御部２１は、現在の差分画像３２内に存在するシンボル候補が４点のみではない場合（ステップＳ２０６のＮｏ）、シンボル認識処理は失敗であるため、「認識結果は失敗」とする（ステップＳ２０８）。
【００５１】
図５の説明に戻る。シンボル認識処理の認識結果が失敗の場合（ステップＳ１０４のＮｏ）、情報処理端末３の制御部２１は、撮影部２５による動画撮影を続ける（ステップＳ１０３）。
【００５２】
シンボル認識処理の認識結果が成功の場合（ステップＳ１０４のＹｅｓ）、情報処理端末３の制御部２１は差分画像３２から認識領域３３を抽出し（ステップＳ１０５）、抽出した認識領域３３をサーバ５に送信する（ステップＳ１０６）。認識領域３３は、図６に示すように、差分画像３２の一部分である。既に、４つの発光体１１の位置がシンボルとして抽出されているので、情報処理端末３の制御部２１は、容易に認識領域３３を抽出することができる。
【００５３】
尚、４つのシンボルの位置が長方形の頂点の位置ではなく、図６に示すように歪んでいる場合、情報処理端末３の制御部２１は、線形変換等を施して、４つのシンボルの位置を長方形の頂点の位置となるように差分画像３２を変換した後、認識領域３３を抽出する。
【００５４】
サーバ５は、情報処理端末３から受信した認識領域３３を、サーバ５が保持する基準領域画像１５と比較し、データベース照会処理を行う（ステップＳ１０７）。
【００５５】
図８は、ステップＳ１０７のサーバ５によるデータベース照会処理の詳細を示している。サーバ５は、情報処理端末３からの照会要求を受信すると（ステップＳ３０１のＹｅｓ）、ループ処理を開始し、ループカウンタｊを１に設定し（ステップＳ３０２）、ループカウンタｊがｍ以上となるまでループ処理を繰り返す（ステップＳ３０６）。ｍは、基準領域画像１５として保持する縦横比・大きさ（＝画像サイズ）の種類を示している。図３に示す例であれば、少なくともｍ＝４以上である。
【００５６】
サーバ５は、認識領域３３をｊ番目の縦横比・大きさ（＝画像サイズ）に変換し（ステップＳ３０３）、データベース内の基準領域画像１５の中に同一のものが存在するか判定する（ステップＳ３０４）。
サーバ５は、認識領域３３と同一の基準領域画像１５が存在する場合（ステップＳ３０４のＹｅｓ）、該当する基準領域画像１５に紐付けられたデータを情報処理端末３に送信し（ステップＳ３０５）、処理を終了する。
認識領域３３と同一の基準領域画像１５が存在しない場合（ステップＳ３０４のＮｏ）、サーバ５は情報処理端末３に「該当データなし」のメッセージを送信する（ステップＳ３０７）。
【００５７】
図９に示すように、サーバ５は、認識領域３３の画像サイズを３０×４０、４５×６０、・・・に変換して、基準領域画像群１３ａに含まれる基準領域画像１５−１ａ、１５−２ａ、・・・と照合処理を行う。同様に、サーバ５は、認識領域３３の画像サイズを４０×４０、６０×６０、・・・に変換して、基準領域画像群１３ｂに含まれる基準領域画像１５−１ｂ、１５−２ｂ、・・・と照合処理を行う。このように、サーバ５は、データベースに保持されている全ての基準領域画像１５と照合処理を行う。そして、サーバ５は、一致した基準領域画像１５を含む基準領域画像群１３と紐付けられている情報を、情報処理端末３に送信する。
【００５８】
図５の説明に戻る。情報処理端末３の制御部２１は、サーバ５からデータベース照会の結果を受信、データの表示等を行う（ステップＳ１０８）。
【００５９】
以上説明したように、本発明に係る自動認識処理システムでは、対象物を含む撮影画像から差分画像を生成し、予め定義された明滅周期に基づいて差分画像から点灯状態の発光体をシンボルとして認識し、差分画像からシンボルに囲まれる認識領域を抽出する。これによって、対象物を精度良く自動認識することができる。特に、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別し易くなり、シンボルとして精度良く特定することができる。
【００６０】
また、不可視光をシンボルとして用いることによって、遠方からでも認識対象の読み取りが可能である。また、明滅の周期を比較的長くすることにより、フレームレートが低いカメラでも使用可能となる。また、シンボルとして不可視光を用いているため、景観を損なわない。ただし、可視光をシンボルとして用いることも、もちろん可能である。可視光であっても、前述した通り、発光体を既知の一定の明滅周期で明滅させることによって、対象物の周辺に無作為に存在する光源と区別することができる。
【００６１】
また、自動認識処理システムでは、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、基準領域画像群に紐付けられるデータを保持するデータベースを備え、認識領域を所定の画像サイズに変換していき、認識領域と基準領域画像との照合を行うことによって、基準領域画像群ごとに紐付けられるデータを表示することができる。例えば、対象物が店舗の看板の場合、店舗の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、店舗内に入店することなく、店舗の情報を得ることができる。また、例えば、対象物が商品の場合、商品の情報を基準領域画像群ごとに紐付けておくことによって、消費者は、商品の実物を見ながら、商品の情報をリアルタイムに得ることができる。更に、問い合わせるデータベースには、所定の画像サイズを有する複数の基準領域画像が用意されているため、遠方からでも認識対象の読み取りが可能である。これは、遠方の場合には認識領域が小さい画像として取得されるところ、データベース上に小さい基準領域画像が登録されていることによって、照合が可能となるからである。
【００６２】
前述の説明では、サーバに対象物の静止画像のデータベースを保持するとしたが、情報処理端末の内部に対象物の静止画像のデータベースを保持し、図８に示すデータベース照会処理を情報処理端末内で行うようにしてもよい。つまり、情報処理端末は、対象物が有する発光体の一定の明滅周期を保持し、対象物を撮影し、撮影により得た撮影画像から差分画像を生成し、明滅周期に基づいて差分画像から点灯状態の発光体をシンボルとして認識し、差分画像からシンボルに囲まれる認識領域を抽出する。更に、情報処理端末は、同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、基準領域画像群に紐付けられるデータを保持するデータベースを備え、認識領域を所定の画像サイズに変換していき、一致する基準領域画像があるか、データベースに照会し、認識領域と一致した基準領域画像群に紐付けられるデータを出力する。これによって、情報処理端末は、ネットワークを介さずにデータベース照会処理を行うことができる。
【００６３】
以上、添付図面を参照しながら、本発明に係る自動認識処理システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６４】
１………自動認識処理システム
３………情報処理端末
５………サーバ
７………ネットワーク
９………対象物
１１………発光体
１３………基準領域画像群
１５………基準領域画像
３１………撮影画像
３２………差分画像
３３………認識領域
【特許請求の範囲】
【請求項１】
情報処理端末と、前記情報処理端末とネットワークを介して接続されるサーバから構成され、対象物を自動認識する自動認識処理システムであって、
前記サーバは、
前記対象物が有する発光体の一定の明滅周期を保持する手段、
を有し、
前記情報処理端末は、
前記発光体の前記明滅周期を前記サーバから受信する手段と、
前記対象物を撮影する撮影手段と、
前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、
前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、
を有することを特徴とする自動認識処理システム。
【請求項２】
前記情報処理端末は、
前記認識領域を前記サーバに送信する手段、
を更に有し、
前記サーバは、
同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、
前記情報処理端末から受信した前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、
前記認識領域と一致した前記基準領域画像群に紐付けられるデータを前記情報処理端末に送信する手段と、
を有することを特徴とする請求項１に記載の自動認識処理システム。
【請求項３】
前記発光体は、不可視光を点灯することを特徴とする請求項１又は２に記載の自動認識処理システム。
【請求項４】
対象物を自動認識する情報処理端末であって、
前記対象物が有する発光体の一定の明滅周期を保持する手段と、
前記対象物を撮影する撮影手段と、
前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、
前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、
を有することを特徴とする情報処理端末。
【請求項５】
同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、
前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、
前記認識領域と一致した前記基準領域画像群に紐付けられるデータを出力する手段と、
を更に有することを特徴とする請求項４に記載の情報処理端末。
【請求項６】
前記発光体は、不可視光を点灯することを特徴とする請求項４又は５に記載の情報処理端末。
【請求項７】
対象物を自動認識する自動認識処理方法であって、
前記対象物を撮影する撮影ステップと、
前記撮影ステップにより得た撮影画像から差分画像を生成し、前記対象物が有する発光体の一定の明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識するステップと、
前記差分画像から前記シンボルに囲まれる認識領域を抽出するステップと、
を含むことを特徴とする自動認識処理方法。
【請求項８】
コンピュータを、
対象物が有する発光体の一定の明滅周期を保持する手段と、
前記対象物を撮影する撮影手段と、
前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、
前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、
して機能させるためのプログラム。
【請求項１】
情報処理端末と、前記情報処理端末とネットワークを介して接続されるサーバから構成され、対象物を自動認識する自動認識処理システムであって、
前記サーバは、
前記対象物が有する発光体の一定の明滅周期を保持する手段、
を有し、
前記情報処理端末は、
前記発光体の前記明滅周期を前記サーバから受信する手段と、
前記対象物を撮影する撮影手段と、
前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、
前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、
を有することを特徴とする自動認識処理システム。
【請求項２】
前記情報処理端末は、
前記認識領域を前記サーバに送信する手段、
を更に有し、
前記サーバは、
同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、
前記情報処理端末から受信した前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、
前記認識領域と一致した前記基準領域画像群に紐付けられるデータを前記情報処理端末に送信する手段と、
を有することを特徴とする請求項１に記載の自動認識処理システム。
【請求項３】
前記発光体は、不可視光を点灯することを特徴とする請求項１又は２に記載の自動認識処理システム。
【請求項４】
対象物を自動認識する情報処理端末であって、
前記対象物が有する発光体の一定の明滅周期を保持する手段と、
前記対象物を撮影する撮影手段と、
前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、
前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、
を有することを特徴とする情報処理端末。
【請求項５】
同一の絵柄であって、所定の画像サイズを有する１又は複数の基準領域画像を含む基準領域画像群と、前記基準領域画像群に紐付けられるデータを保持するデータベースと、
前記認識領域を前記所定の画像サイズに変換していき、一致する前記基準領域画像があるか、前記データベースに照会する手段と、
前記認識領域と一致した前記基準領域画像群に紐付けられるデータを出力する手段と、
を更に有することを特徴とする請求項４に記載の情報処理端末。
【請求項６】
前記発光体は、不可視光を点灯することを特徴とする請求項４又は５に記載の情報処理端末。
【請求項７】
対象物を自動認識する自動認識処理方法であって、
前記対象物を撮影する撮影ステップと、
前記撮影ステップにより得た撮影画像から差分画像を生成し、前記対象物が有する発光体の一定の明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識するステップと、
前記差分画像から前記シンボルに囲まれる認識領域を抽出するステップと、
を含むことを特徴とする自動認識処理方法。
【請求項８】
コンピュータを、
対象物が有する発光体の一定の明滅周期を保持する手段と、
前記対象物を撮影する撮影手段と、
前記撮影手段により得た撮影画像から差分画像を生成し、前記明滅周期に基づいて前記差分画像から点灯状態の前記発光体をシンボルとして認識する手段と、
前記差分画像から前記シンボルに囲まれる認識領域を抽出する手段と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７３４６７（Ｐ２０１３−７３４６７Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１２８６１（Ｐ２０１１−２１２８６１）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]