画像識別装置

【課題】
本発明は，一定時間毎に入力される画像に対して画像識別を行う装置など，所定の所要時間内に画像識別を終了させる必要がある場合に，前記所要時間内に画像識別が終了するように画像識別アルゴリズムの計算量を自動的に調整することを目的とする。
【解決手段】
上記課題を解決するため，入力手段と，出力手段と，観測点数決定手段と，観測点位置決定手段と，を備え，前記観測点数決定手段は，画像識別の所要時間と観測点数との関係を計算手段の速度あるいは種類毎に関数あるいはデータベースとして記憶しており，前記入力手段から入力された計算手段の情報および所要時間の情報から，前記所要時間内に画像識別が完了する観測点数を決定し，前記観測点位置決定手段は，前記観測点数の分だけ観測点位置を決定し，前記出力手段を通じて前記観測点位置の集合を１種類出力する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像識別に関する発明であって，特に紙葉状の媒体識別に適する。
【背景技術】
【０００２】
一般的に，画像識別は，識別精度と所要時間とのトレードオフが課題となる。多くの画素を参照した詳細な画像特徴を用いて識別を行うと識別精度は向上することが多いが，所要時間は長くなる。これを解決するための技術として特許文献１が知られている。
これは，識別対象が多く発生する時間帯は第一のアルゴリズムで画像識別を行い，識別対象が少なくなる時間帯に，第一のアルゴリズム実施時に蓄積した画像に対し，第二のアルゴリズムで再度識別を実行するという技術である。これは，画像識別の結果が利用されるまでの時間に余裕があることから可能な手法である。しかし，例えば，画像識別の結果を用いて媒体を分類する装置では，短時間（例えば500msなど）で結果を出力する必要があり，上記の手法は適用できなかった。
【０００３】
【特許文献１】特開平04-242493
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は，画像識別の結果を用いて媒体を分類する装置などの，所定の所要時間内に画像識別を終了させる必要がある場合に，前記所要時間内に画像識別が終了するように画像識別アルゴリズムの計算量を自動的に調整することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため，本発明は，入力手段と，出力手段と，観測点数決定手段と，観測点位置決定手段と，を備え，前記観測点数決定手段は，画像識別の所要時間と観測点数との関係を計算手段の速度あるいは種類毎に関数あるいはデータベースとして記憶しており，前記入力手段から入力された計算手段の情報および所要時間の情報から，前記所要時間内に画像識別が完了する観測点数を決定し，前記観測点位置決定手段は，前記観測点数の分だけ観測点位置を決定し，前記出力手段を通じて前記観測点位置の集合を１種類出力する。
【発明の効果】
【０００６】
画像識別を実施する装置の計算速度の違い，画像識別を実施する装置の利用状況の違いなどによって画像識別には異なる計算量が要求されるが，本発明によって画像識別の計算量を自動的に調整することが可能となる。
【０００７】
（実施例１）
本発明の実施例１について説明する。図１は実施例１における画像識別アルゴリズム自動構成装置の構成を示すブロック図である。ここでは概要を説明し，詳細については図５，図６のフローを用いて後述する。まず，所要時間１０１および計算手段の情報１０２を画像識別アルゴリズム自動構成装置１０４に入力する。画像識別アルゴリズム自動構成装置１０４内部では，観測点数決定部１０５において，所要時間１０１内で処理が終わるだけの観測点数を決定する。観測点とは，画像識別の際に用いる画像上の場所のことをさす。続いて，観測点位置決定部１０６において観測点の位置を決定し，観測点位置１０２を出力する。
【０００８】
図２のブロック図は，画像識別装置の構成を表している。撮影画像２０１が画像識別装置２０３に入力されると，まず観測点位置変換部２０４において，観測点位置の座標変換が実施される。この座標変換は，図３に示すように，位置・サイズに関して正規化された観測点位置３０３を，撮影画像３０１中の媒体３０２の位置・サイズに対応して変換するのが目的である。これによって，撮影画像３０１中の媒体３０２の位置・サイズの違いが吸収される。図３を，媒体の画像で表したものが図４である。撮影画像３０１中の媒体画像４０１に対して，位置・サイズを正規化した画像が画像４０２となる。
【０００９】
観測点画素値取得部２０５では，観測点位置の画素値がとりだされる。特徴ベクトル正規化部２０６では，特徴ベクトルに正規化を施す。正規化は，例えば特徴ベクトルの要素の最大値が規定値（１もしくは２５５）となるように各要素に補正係数を乗算する方法，各要素の値の平均＝０，分散＝１となるように線形変換する方法，などがある。
識別部２０７では，入力された特徴ベクトルを用いた識別が実行され，識別結果２０２が返される。例えば，識別の目的が，入力画像が媒体A，B，Cのいずれなのかを判定するのが目的であれば，識別結果は媒体A，B，C，それらのいずれでもない，の４値の結果である。識別部２０６で利用される識別技術としては，例えばニューラルネットワーク，LVQ，２次識別関数，SVMといったものがある。
【００１０】
画像識別アルゴリズム自動構成装置１０３における観測点数決定部１０４の処理を，図５のフローを用いて説明する。まず，選択すべき観測点数n_pに1をセットする（５０１）。続いて，観測点数がn_pであったときの，観測点位置の画素を取得するのに要する所要時間t_g(n_p)，および識別に要する時間t_c(n_p)の和をとり，その和と所定の所要時間tとを比較する（５０２）。t_g(n_p)およびt_c(n_p)は，計算手段の情報１０２によって異なる。算出方法には，その計算手段を用いてプログラムを走らせて算出する方法，あるいは計算手段の仕様と，画像識別アルゴリズムを実現するプログラムのステップ数から，ボトムアップに算出する方法などがある。図１０に示すように，t_g(n_p)のデータ１００２およびt_c(n_p)のデータ１００３は，計算手段の種類やクロック周波数によって決定されるインデックス１００１毎に，関数として記録しておくとよい。あるいは，クロック周波数clに対しては線形だと判断して，図１１に示すように計算手段の種類によってだけ決定されるインデックス１１０１毎に記録しても良い。５０２の条件式の結果が真であれば，n_pを１つ増やし（５０３），５０２に戻る。５０２の条件式の結果が偽であれば，n_pを一つ減らし（５０４），終了する。

【００１１】
【数１】

【００１２】
【数２】

【００１３】
次に観測点同士の最低間隔dを設定する（６０２）。この値は，例えば画像面積と選択すべき観測点数から次式を用いて求める手法がある。
【００１４】
【数３】

【００１５】
あるいは上記の値を基準として，その1/2，1/3といった値としてもよいし，あるいは固定的に5画素，10画素，といった値にしてもよい。
【００１６】
次に，選択済みの観測点数n_sに0をセットし（６０３），マスクを初期化する（６０４）。マスクされていない画素があるか否かを判定し（６０５），ない場合は観測点最低間隔dを１減らし（６０６），６０３に戻る。
【００１７】
判定６０５でマスクされていない画素がある場合，マスクされていない画素のうちで識別有効度が最大の画素を，観測点として選択し（６０７），選択済みの観測点数n_sを増やす（６０８）。n_sと選択済みの観測点数n_pとを比較し（６０９），両者が同じであれば終了する。そうでなければ，観測点として選択した画素から，距離d画素以内の画素をマスクし（６０６），６０５へ戻る。
【００１８】
なお，ここでは識別有効度が大きい画素から順に観測点として選択したが，ランダムに選択するという方法でもよい。また，観測点数点n_pのうち一部を識別有効度の大きい順に選択し，残りをランダムに選択する，という方法でも良い。
【００１９】
（実施例２）
本発明の実施例２について説明する。図７は，本発明の実施例２における画像識別アルゴリズム自動構成装置の構成を示すブロック図である。
【００２０】
観測点数決定部１０４の動作は，実施例１と同一である。観測点位置決定部１０５においては，実施例１と異なり，複数の候補を出力する。これは，例えば図６ステップ６０２における観測点間隔の最低間隔ｄを複数種類設定することにより，可能となる。
そして，上記観測点位置の複数候補を表示装置７０１に表示する。このときの表示方法としては，図８，図９に示すような二通りの方法がある。図８では，識別対象となる媒体３種類を左の列に配置し（８０１〜８０３），右の列に観測点位置の候補を配置している（８０４〜８０６）。図９では，識別対象となる媒体１種類を表示し，観測点位置の候補を重ねて表示している（９０１〜９０６）。具体的な描画方法は，観測点位置を表す図形（例えば円，×印など）を，媒体画像に直接書き加えるという方法である。表示に使う色に関しては，識別対象と，観測点位置を表す図形を，異なる彩度，色相にするとユーザにとって見やすい。例えば，媒体画像をグレーの濃淡画像で表示し，観測点位置を表す図形を赤，緑，青などの彩度の高い色で表示すると，ユーザにとって見やすい。
なお，表示する媒体の種類は，ユーザの入力によって切り替えると利便性が高まる。
【００２１】
以上のように，実施例１では，計算手段と所定の所要時間を指定することにより，上記所要時間内に画像識別が終了するように観測点数を設定し，観測点の位置を自動的に設定できる。連像的に媒体を搬送して画像識別を実行する装置においては，画像識別を所定の時間内に終了させる必要があるが，本発明はその装置で利用する画像識別のアルゴリズム自動構成に適する。例えば搬送速度の異なる複数の画像識別装置があった場合，計算速度の異なる複数の画像識別装置があった場合，いちいち手動でアルゴリズムを再構成する必要なく，それぞれの装置に許された所要時間に応じて自動的に観測点数および観測点位置が決定される。
実施例１において，画像識別を常に一定の所要時間で終了させる必要があるときは，明示的に入力がなくともその所要時間が入力されているものとして画像識別アルゴリズム自動構成装置を動作させればよい。計算手段が常に一定である場合でも，同様である。
【００２２】
実施例２においては，さらに，ユーザは表示された観測点位置の画像をみて，自分の経験則に基づいて適切だと思われる観測点位置を選択することができる。
【００２３】
なお，実施例１，２では紙葉状の媒体を想定して説明を行ったが，それ以外の識別対象であっても，識別対象の位置ずれ，傾きが適切に補正できるという条件のもとで本発明は適用可能である。
【産業上の利用可能性】
【００２４】
本発明は画像識別に関する発明であって，特に紙葉状の媒体を連続的に識別する装置への適用に適する。
【図面の簡単な説明】
【００２５】
【図１】実施例１における画像識別アルゴリズム自動構成装置。
【図２】画像識別装置。
【図３】観測点位置と正規化観測点位置の関係。
【図４】媒体画像と正規化媒体画像の関係。
【図５】観測点数決定部１０４の動作フロー。
【図６】観測点位置決定部１０５の動作フロー。
【図７】実施例２における画像識別アルゴリズム自動構成装置。
【図８】観測点位置の表示方法１。
【図９】観測点位置の表示方法２。
【図１０】計算手段と画像識別所要時間の関係１。
【図１１】計算手段と画像識別所要時間の関係２。
【符号の説明】
【００２６】
１０１所要時間，１０２計算手段の情報，１０３観測点位置，１０４画像識別アルゴリズム自動構成装置，１０５観測点数決定部，１０６観測点位置決定部、２０１撮影画像，２０２識別結果，２０３画像識別装置，２０４観測点位置変換部，２０５観測点画素値取得部，２０６特徴ベクトル正規化部，２０７識別器、３０１撮影画像，３０２撮影画像上の観測点位置，３０３観測点位置，３０４正規化された観測点位置，４０１正規化された媒体画像、７０１表示装置，７０２ユーザ入力装置、８０１〜８０３媒体画像，８０４〜８０６観測点位置を示す画像、９０１〜９０６媒体画像に観測点位置を書き加えた画像、１００１計算手段の種類とクロック毎に決定されるインデックス，１１０２計算手段の種類毎に決定されるインデックス，１００２画素取得の所要時間t_g(np)，１００３識別に要する時間t_c(np)。

【特許請求の範囲】
【請求項１】
入力手段と，出力手段と，観測点数決定手段と，観測点位置決定手段と，を備え，
前記観測点数決定手段は，画像識別の所要時間と観測点数との関係を計算手段の速度あるいは種類毎に関数あるいはデータベースとして記憶しており，前記入力手段から入力された計算手段の情報および所要時間の情報から，前記所要時間内に画像識別が完了する観測点数を決定し，
前記観測点位置決定手段は，前記観測点数の分だけ観測点位置を決定し，前記出力手段を通じて前記観測点位置の集合を１種類出力する画像識別アルゴリズム自動構成装置。
【請求項２】
入力手段と，出力手段と，観測点数決定手段と，観測点位置決定手段と，を備え，
前記観測点数決定手段は，特定の計算手段を用いたときの画像識別の所要時間と観測点数との関係を関数あるいはデータベースとして記憶しており，前記入力手段から入力された所要時間の情報から，前記所要時間内に画像識別が完了する観測点数を決定し，
前記観測点位置決定手段は，前記観測点数の分だけ観測点位置を決定し，前記出力手段を通じて前記観測点位置の集合を１種類出力する画像識別アルゴリズム自動構成装置。
【請求項３】
入力手段と，出力手段と，観測点数決定手段と，観測点位置決定手段と，を備え，
前記観測点数決定手段は，計算手段の速度あるいは種類毎に，特定の所要時間内に画像処理が完了する観測点数の情報を記憶しており，前記入力手段から入力された計算手段の情報の情報から，前記特定の所要時間内に画像識別が完了する観測点数を決定し，
前記観測点位置決定手段は，前記観測点数の分だけ観測点位置を決定し，前記出力手段を通じて前記観測点位置の集合を１種類出力する画像識別アルゴリズム自動構成装置。
【請求項４】
請求項１乃至３記載の画像識別アルゴリズム自動構成装置であって，表示手段と，ユーザの操作を受け付けるユーザ入力手段とを備え，
前記観測点位置決定手段は，前記観測点位置の集合を複数種類決定し，
前記表示手段は，前記観測点位置の集合の複数種類を表示し，
ユーザ入力手段からの入力によって指定された，前記観測点位置の集合の１種類を前記出力手段に出力する画像識別アルゴリズム自動構成装置。
【請求項５】
請求項４記載の画像識別アルゴリズム自動構成装置であって，
前記表示手段は，画像識別アルゴリズムが識別対象とする１種類あるいは複数種類の媒体の画像と，前記観測点位置の集合の複数種類を各々図示した複数種類の画像を，並べて表示する画像識別アルゴリズム自動構成装置。
【請求項６】
請求項４記載の画像識別アルゴリズム自動構成装置であって，
前記表示手段は，画像識別アルゴリズムが識別対象とする1種類の媒体の画像，あるいは複数種類の媒体のうちの１種類の画像，に対して，
前記観測点位置を示す印を書き加えて表示する画像識別アルゴリズム自動構成装置。
【請求項７】
請求項６記載の画像識別アルゴリズム自動構成装置であって，
前記表示手段は，前記ユーザ入力手段からの入力によって，画像識別アルゴリズムが識別対象とする複数種類の媒体のうちの，いずれの媒体の画像を表示するか，を切り替える，画像識別アルゴリズム自動構成装置。
【請求項８】
請求項６記載の画像識別アルゴリズム自動構成装置であって，
前記表示手段は，表示する前記1種類の媒体の画像と，書き加える前記観測点位置を示す印とを，異なる彩度または異なる色相，あるいはその両方とする，画像識別アルゴリズム自動構成装置。

【図１】