情報処理装置および情報処理方法
【課題】特徴がパターン認識にどれだけ有効か否か、または特徴がパターンの誤認識にどれだけ影響したか、を判別するための定量的な情報を提供する。
【解決手段】情報処理装置は、取得部、特徴算出部、辞書格納部、識別影響度算出部を有する。前記取得部は処理対象のパターンを取得する。前記特徴算出部は前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出する。前記辞書格納部には識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶されている。前記識別影響度算出部は、前記辞書格納部から前記種別に対応する前記代表ベクトルの集合を取得し、該集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出する。
【解決手段】情報処理装置は、取得部、特徴算出部、辞書格納部、識別影響度算出部を有する。前記取得部は処理対象のパターンを取得する。前記特徴算出部は前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出する。前記辞書格納部には識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶されている。前記識別影響度算出部は、前記辞書格納部から前記種別に対応する前記代表ベクトルの集合を取得し、該集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば文字、図形および音声などのパターンから抽出する特徴の有効性を判断するための情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
文字や図形などのパターンが描かれている帳票をスキャナなどで読み取り、帳票に描かれている元のパターンを認識するパターン認識装置がある。
【０００３】
このパターン認識装置では、パターン認識の際には、画像から認識対象のパターンが存在するエリアを切り出して、そのエリアの画像から抽出した特徴が予めパターン辞書に記憶されている参照パターンの特徴とどの程度類似しているかを判定し、帳票に描かれているパターンを特定する。
【０００４】
このため、画像から抽出した特徴がパターン識別にどれだけ有効かどうかを検証することが極めて重要な課題となる。
【０００５】
特徴抽出に関する従来の技術として、例えば処理対象の画像の画素ごとに特徴を形成し、該特徴が質的性質や量的性質が予め定めた条件を満たすとき、該特徴に対応する処理対象の画像の画素を色付けする技術が既に公開されている（例えば特許文献１参照）。
【０００６】
この特許文献１の技術では、質的性質のことを濃淡情報、位置情報、方向情報等としている。また、量的性質のことを特徴量の大きさとしている。またこの特許文献１では、色付けされた画像を目視することにより、誤認識の原因解明に必要な情報が得られるとしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−３７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載されている従来の技術の場合、処理対象の画像から抽出した特徴の性質については表わされるものの、特徴が画像識別にどれだけ有効かどうかといったことまでは判らないという問題がある。
【０００９】
また、特許文献１の技術の場合、適用可能な特徴抽出の方法は、画素単位で特徴を形成する方法に限定されるため、画素の集合に対する特徴を形成する場合には適用できないという問題があった。
【００１０】
なお、上述した先行技術文献１には、特徴評価で得られた特徴の評価値や識別過程の分析で得られた特徴の有効性の度合いに従って処理対象の画像を色付けすることが可能という記載はあるものの、その技術についての具体的な記述はない。
【００１１】
本発明はこのような課題を解決するためになされたもので、ある特徴抽出方法によって算出されたパターンの特徴がパターン認識にどれだけ有効か否か、または特徴がパターンの誤認識にどれだけ影響したか、を判別するための定量的な情報を提供することのできる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明の情報処理装置は、処理対象のパターンを取得する取得部と、前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出する特徴算出部と、識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部と、前記代表ベクトルの集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出する識別影響度算出部とを具備することを特徴とする。
【００１３】
本発明の情報処理方法は、処理対象のパターンを取得するステップと、前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出するステップと、識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部から該代表ベクトルの集合を取得し、該代表ベクトルの集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出するステップとを有することを特徴とする
【発明の効果】
【００１４】
本発明によれば、ある特徴抽出方法によって算出されたパターンの特徴がパターン認識にどれだけ有効か否か、または特徴がパターンの誤認識にどれだけ影響したか、を判別するための定量的な情報を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像処理システムの構成を示す図である。
【図２】第１実施形態の画像処理システムの動作を示すフローチャートである。
【図３】特徴ベクトル算出処理を示すフローチャートである。
【図４】識別影響度算出処理を示すフローチャートである。
【図５】識別辞書格納部に格納されているデータを示す図である。
【図６】識別影響度算出処理の他の例を示すフローチャートである。
【図７】識別辞書格納部のデータの他の例を示す図である。
【図８】可視化画像群の生成処理を示すフローチャートである。
【図９】第１実施形態の処理過程で得られる画像および数値の模式図である。
【図１０】第２実施形態の画像処理システムの構成を示すブロック図である。
【図１１】第２実施形態の画像処理システムの動作を示すフローチャートである。
【図１２】特徴ベクトル算出処理を示すフローチャートである。
【図１３】特徴ベクトル算出処理の際に参照する画像の分割領域を示す図である。
【図１４】識別影響度算出処理を示すフローチャートである。
【図１５】可視化画像群の生成処理を示すフローチャートである。
【図１６】第３実施形態の画像処理システムの構成を示すブロック図である。
【図１７】第３実施形態の画像処理システムの動作を示すフローチャートである。
【図１８】部分空間射影処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して一つの実施の形態の画像処理システムについて詳細に説明する。（第１実施形態）
図１は本発明の情報処理装置に係る第１実施形態の画像処理システムの構成を示すブロック図である。
【００１７】
図１に示すように、この画像処理システムは、入力装置としてのスキャナ１と、このスキャナ１に接続されたコンピュータ２と、このコンピュータ２に接続された出力装置としての表示装置３とを備えている。コンピュータ２は、ＣＰＵ、メモリ、ハードディスク装置、外部インターフェースなどの汎用的なハードウェアを備えるものである。
【００１８】
スキャナ１は、例えばフラットベッド型や自動給紙型などのスキャナであり、ラインセンサなどの読取部にセットされた帳票を読み取り、読み取った帳票の画像（以下「入力画像」または処理対象の画像などと称す）をコンピュータ２に入力する。この他、コンピュータ２にはキーボード及びマウスなどの入力装置が接続されており、ユーザの操作による指示をコンピュータ２に入力する。入力装置としては、キーボード以外に、任意の指示情報が設定された設定ファイルなどであってもよい。表示装置３は、コンピュータ２から出力される情報を表示する。
【００１９】
コンピュータ２は、画像受付部２１、画像記憶部２２、特徴抽出部２３、識別辞書格納部２５、識別影響度算出部２４、画像生成部２６、画像出力部２７などを有している。画像記憶部２２と識別辞書格納部２５はメモリまたはハードディスク装置により実現される。その他の構成、つまり画像受付部２１、特徴抽出部２３、識別影響度算出部２４、画像生成部２６および画像出力部２７などは、ハードディスク装置にインストールされた画像処理プログラムの機能の一つとして実現される。
【００２０】
画像受付部２１はスキャナ１から入力される処理対象の画像（文字や図形のパターン以下「入力画像」と称す）を受け付け（取得し）、受け付けた（取得した）画像を画像記憶部２２に記憶する。すなわち画像受付部２１は処理対象のパターンを取得する取得部として機能する。
【００２１】
特徴抽出部２３は、入力画像を画像記憶部２２から読み出して、その入力画像の画素情報から被写体の特徴をベクトル形式で表す計算を行い、該ベクトル（特徴ベクトル）をメモリに記憶する。
【００２２】
特徴抽出部２３は、画像を所定のルールで分割した各分割領域毎に、その領域の特徴を示す第１の特徴ベクトルを算出する特徴算出部として機能する。
【００２３】
識別辞書格納部２５には、画像の被写体の種別と、該種別を特徴付ける情報（種別識別情報）との対が複数記憶されている。画像の被写体の種別とは、例えば「１」という文字であれば「１」という数字（文字種）を示し、猫の画像であれば「猫」がこれに該当する。種別識別情報は前記種別を代表するベクトル群（種別代表ベクトル群）である。ただし、種別代表ベクトル群は１つの代表ベクトルだけで構成することもできる。すなわち識別辞書格納部２５は、参照用のパターンの種別とその種別に対応する種別代表ベクトル群とが対応して記憶された辞書格納部として機能する。
【００２４】
識別影響度算出部２４は、特徴抽出部２３により抽出された入力画像の特徴ベクトルと、識別辞書格納部２５の種別識別情報を用いて、処理対象のパターンと参照用のパターンとの分解された類似度あるいは相違度を算出し、該分解した値を前記特徴ベクトルの各成分が入力画像の識別にどれだけ影響するかの度合いを示す識別影響度として算出する。
【００２５】
画像生成部２６は入力画像の空間的領域を分割した領域（分割領域）と識別影響度とを対応付け、識別影響度に応じた色情報を生成することにより、前記対応付けを可視化した画像（可視化画像）を生成し、メモリに記憶する。入力画像の空間的領域とは該画像を構成する全画素の集合のことである。
【００２６】
入力画像は図１３に示すように形状がランダムな領域に分割してもよく、また同じ大きさの矩形の小領域に定型的に分割してもよい。
処理対象のパターンは入力画像の画素であるから、前記分割領域からは処理対象のパターンを分割したパターンが得られる。以降、該分割したパターンのことを分割パターンと記すものとする。すなわち、画像生成部２６は前記識別影響度算出部により算出された識別影響度に応じた色情報を生成し、該色情報を各分割パターンに対応付け、該色情報と分割パターンとの色情報の対応を示す画像を生成する。
【００２７】
画像出力部２７は画像生成部２６により可視化された画像をメモリから読み出して表示装置３へ出力し表示装置３の画面に表示する。識別対象の入力画像の個々の分割領域に対応する識別影響度の大小は前記色情報によって視覚できる形式で表現されているため、どのような前記分割領域が識別に有効に働いているか否かを視覚的に把握できるようになる。これにより、処理対象のパターンの識別に有効な特徴を把握するための目安が明確になり、例えば特徴抽出方法の改善に役立つ。
【００２８】
続いて、図２乃至図８を参照して第１実施形態の画像処理システムの動作を説明する。この画像処理システムの場合、スキャナ１が帳票の画像を読み取ってコンピュータ２に入力すると、その帳票の画像は画像受付部２１により受け付けられて、画像記憶部２２に記憶される（ステップA-ST1）。
【００２９】
具体的にはコンピュータ２に接続されたスキャナ１により読み取りコンピュータ２へ入力し、ハードディスク装置に書き込む。スキャナ１を用いない方法としては、例えばコンピュータ２のハードディスク装置の画像記憶部２２に予め処理対象のパターンが描かれた画像（入力画像）を記憶しておき、その入力画像をハードディスク装置から読み出しメモリに書き込んでもよい。また入力画像を、ネットワーク上のサーバコンピュータやＮＡＳなどの記憶装置に記憶しておき、記憶装置の入力画像を、ネットワークを経由してコンピュータ２へ送り、コンピュータ２の画像受付部２１が画像記憶部２２に記憶してもよい。
【００３０】
次に、特徴抽出部２３は、メモリから入力画像を読み出して、その入力画像の特徴ベクトルを算出し（ステップA-ST2）、メモリに記憶する。
【００３１】
続いて、識別影響度算出部２４は、ステップA-ST2でメモリに記憶された特徴ベクトルと識別辞書格納部２５に格納された種別代表ベクトル群を用いて識別影響度列、すなわち１つかそれ以上の識別影響度を算出し（ステップA-ST3）、メモリに記憶する。
【００３２】
画像生成部２６は、入力画像をメモリから読み出して、入力画像の分割領域と識別影響度とを対応付けて可視化画像を生成し（ステップA-ST4）、メモリに記憶する。
【００３３】
画像出力部２７は、画像生成部２６により生成された可視化画像をメモリから読み出して表示装置３へ出力する（ステップA-ST5）。
【００３４】
ここで、上記各ステップの処理の詳細を説明する。まずステップA-ST2の特徴ベクトル算出処理について説明する。
【００３５】
図３に示すように、特徴抽出部２３は、入力画像をグレースケール画像に変換する。具体的には、入力画像のすべての画素に関して、画素値に含まれる赤、青、緑といった色を区別する情報を取り除いて明暗情報だけを残すことにより、入力画像をグレースケール画像に変換する（ステップA-ST2-1）。
【００３６】
次に、特徴抽出部２３は、グレースケールに変換した入力画像のすべての画素に関して、画素値の勾配ベクトルを算出する。勾配ベクトルは画素の明暗の濃淡値が、2次元平面上でどの方向に変化しているかを示すベクトルである。該グレースケール画像中の任意の座標（ｐx ，ｐy）（但しｐx とｐyは整数値である）における画素値をＩｐx，ｐyとしたとき、座標（ｐx ，ｐy）の画素に関する勾配ベクトルｇｐx，ｐyを下記（式１）により算出する（ステップA-ST2-2）。
ｇｐx，ｐy ＝（（Ｉｐx＋１,ｐy−Ｉｐx−１,ｐy）／２（Ｉｐx,ｐy＋１−Ｉｐx,ｐy＋１）／２）ｔ…（式１）
但し、座標（ｐx，ｐy）が入力画像の上下左右の端の画素を指すとき、（式１）では勾配ベクトルを求められないので、該画素に関しては、勾配ベクトルｇｐｘ，ｐy ＝０とする。
【００３７】
特徴抽出部２３は、グレースケールに変換した入力画像の空間的領域を横ｗc個、縦ｈc個に等分割する（ステップA-ST2-3）。ｗcとｈcは定数である。すなわち、特徴抽出部２３は、パターンを所定のルール（この例の場合、パターンを横ｗc個、縦ｈc個に等分割）で分割して複数の分割領域を生成する。
【００３８】
このとき、該分割領域の縦位置と横位置をそれぞれｂx，ｂy（０≦ｂx ＜ｗc ，０≦ｂy ＜ｈc ，但しｂx とｂy は整数である）とし、各領域に番号（ｂx＋ｂyｗc）を振る。以降、該分割領域の集合をＲと記す。Ｒは（ｗｃｈｃ−１）個の分割領域の集合であるから、
Ｒ＝｛Ｒ０ ，Ｒ１ ，…，Ｒｗｃｈｃ−１ ｝である。
【００３９】
特徴抽出部２３は、ステップA-ST2-3で分割した領域毎に、各領域内のすべての画素に対応する勾配ベクトルの平均を算出する（ステップA-ST2-4）。
以降、Ｒi（０≦ｉ＜｜Ｒ｜，｜Ｒ｜＝ｗｃｈｃ， 但しｉは整数である）における平均勾配ベクトルを
【数１】
とする。ベクトルの成分の番号は０から順に始まるものとしており、
【数２】
はそれぞれＲiにおける勾配ベクトルの第０番成分の平均、第１番成分の平均である。
【００４０】
特徴抽出部２３はステップA-ST2-4で得た平均勾配ベクトルを連結して特徴ベクトルを生成し（ステップA-ST2-5）、メモリに記憶する。すなわち特徴抽出部２３は勾配ベクトルの平均値から各分割領域の特徴ベクトルを算出する。
【００４１】
具体的には、下記（式２）の形式で特徴ベクトルｘを得る。
【数３】
【００４２】
以上のようにして特徴ベクトルを算出するものとしたとき、
【数４】
は、上記分割した領域のうち、ｂx＝０，ｂy＝０である領域における平均勾配ベクトルの第０番成分、という特徴の種類を意味する。
【００４３】
ここで、識別影響度算出部２４による識別影響度算出処理（上記ステップA-ST3の処理）の詳細な動作を説明する。
【００４４】
この際、識別辞書格納部２５には、図５に示すように、数値（画像の被写体の種別）と、種別代表ベクトル群（種別識別情報）とが対応して記憶されているものとする。
【００４５】
第１実施形態において、種別代表ベクトル群は被写体に同じ種別を割り当てた画像の集団から特徴抽出部２３と同等の処理によって得られる特徴ベクトルの集合をKarhunen-Loeve展開（以下「ＫＬ展開」と称す）して得られる固有ベクトル群であり、該固有ベクトル群は事前に算出されてあるものとする。なお、該固有ベクトル群は該特徴ベクトルの集合の特徴空間上での分布を近似する空間（部分空間）の軸（基底）を意味する。
【００４６】
識別影響度算出部２４は、被写体の種別（整数値）をコンピュータ２の利用者に入力させるための画面を表示する。そして、この画面において、利用者がキーボードから被写体の種別（整数値）を入力すると、識別影響度算出部２４は、入力された該整数値を受け付け（図４のステップA-ST3-1）、受け付けた数値に対応する種別識別情報（固有ベクトル群）を識別辞書格納部２５から取得する（ステップA-ST3-2）。
【００４７】
以降、該固有ベクトル群を固有ベクトルの集合としてφと記す。つまり、
【数５】
である。但しｒはφに含まれる固有ベクトルの総数である。
【００４８】
識別影響度算出部２４は、ステップA-ST2で算出した特徴ベクトルxをメモリから読み出し、そのベクトルをφがなす部分空間に正射影し（ステップA-ST3-3）、射影ベクトルx'を得る。ただし、該射影ベクトルを特徴空間上のベクトルとして記述することにより、入力画像と前記画像の被写体の種別との類似度を分解可能にする。x’の算出方法を式で表すと（式３）となる。
【数６】
ここで＜x ，φi ＞はx とφi の内積を表す。識別影響度算出部２４は下記（式４）により入力画像と前記画像の被写体の種別との類似度を分解した形式で算出し（ステップA-ST3-4）、該分解した類似度を識別影響度としてメモリに書き込む。
【数７】
上記（式４）において、sｉはxの第i成分の識別影響度であり、
【数８】
また、ｄは特徴空間の次元数であり、第１実施形態においては、特徴空間の次元数ｄ＝２ｗｃｈｃである。
【００４９】
続いて、図６，図７を参照して、識別影響度算出部２４による識別影響度算出処理（上記ステップA-ST3の処理）の他の動作例を説明する。
【００５０】
この際、識別辞書格納部２５には、図７に示すように、数値（画像の被写体の種別、以降単に種別と記す）と、ベクトル値の集合（種別識別情報）とが対応して記憶されているものとする。ただし、種別識別情報は、被写体に同じ種別を割り当てた画像の集団から特徴抽出部２３と同等の処理によって得られる特徴ベクトルの平均（平均ベクトル）である。
【００５１】
すなわち、識別辞書格納部２５に記憶される種別代表ベクトル群（種別識別情報）は該種別識別情報が対応する種別に属する画像群から算出した特徴ベクトル群を平均したベクトル（平均ベクトル）である。
【００５２】
続いて、識別影響度算出部２４は、ハードディスクに予め記憶された画像の被写体の種別（整数値）を読み出し（ステップA-ST3’-1）、該整数値に対応する種別識別情報（平均ベクトル）を識別辞書格納部２５から取得する（ステップA-ST3’-2）。以降、該平均ベクトルをTと記すこととする。
【００５３】
特徴ベクトルxと平均ベクトルＴの差分ベクトルx’’＝Ｔ−xを算出する（ステップA-ST3’-3）。
【００５４】
特徴ベクトルxのすべての成分に関して、下記（式５）により入力画像と前記画像の被写体の種別との相違度を分解した形式で算出し（ステップA-ST3-4）、該分解した相違度を識別影響度としてメモリに書き込む。
【数９】
（式５）において、sｉは特徴空間の第i軸の識別影響度であり、
【数１０】
【００５５】
なお、ステップA-ST3-1〜A-ST3-4で算出した識別影響度の総和は部分空間法による類似度と一致することから、該識別影響度は部分空間法による類似度に対する特徴ベクトルの各成分影響度を意味している。
【００５６】
また、ステップA-ST3’-1〜A-ST3’-4で算出した識別影響度の総和はxとTの特徴空間上でのユークリッド距離の２乗と一致することから、該識別影響度はユークリッド距離による相違度に対する特徴ベクトルの各成分の影響度を意味している。
【００５７】
以上のように識別影響度列を算出する場合、「識別影響度は部分空間法による類似度を対象としている」、あるいは「識別影響度はユークリッド距離による相違度を対象としている」などと記すこととする。また、類似度や相違度等の入力画像の識別に利用する基準値のことをまとめて、識別の評価尺度と示したり、または単に評価尺度と示すこととする。
【００５８】
識別辞書格納部２５のデータ構造に関して、上記説明では種別のデータ形式を整数値としたが、他にも文字列など、入力画像の種別を区別可能なデータ形式であってもよい。
【００５９】
続いて、図８のフローチャートを参照して画像生成部２６による可視化画像の生成処理（ステップA-ST4の処理）を詳細に説明する。
【００６０】
画像生成部２６は、以下のサブステップA-ST4-1〜A-ST4-6（図８のフローチャート）を実行して可視化画像群Ｉｖ＝｛Ｉｖ（０），Ｉｖ（１）｝を生成し、メモリに記憶する。
【００６１】
画像生成部２６は、まず、可視化画像Ｉｖ（０），Ｉｖ（１）を初期化する。具体的には、各可視化画像を赤、緑、青の色チャネル（色区分）を持つカラー画像とし、各可視化画像の寸法を幅ｗc画素、高さｈc画素として、可視化画像Ｉｖ（０），Ｉｖ（１）のすべての色チャネルのすべての画素の画素値に０を代入する。ｗcとｈcはステップA-ST2-3で用いたｗcとｈcと同じである。
【００６２】
以降、第ｉ番の可視化画像の色チャネルｃにおける任意の座標（ｐｘ ，ｐｙ ）の画素値を
【数１１】
と記す。但しｉは１か０であり、ｃは０か１か２であり、ｃの各値は０＝赤、１＝緑、２＝青であるものとする。
【００６３】
続いて、画像生成部２６は、可視化画像の赤チャネルに識別影響度を書き込む（ステップA-ST4-2）ことにより、識別影響度に応じた色情報を生成する。具体的には、第ｉ番の可視化画像Ｉｖ（ｉ）の赤チャネルの座標（ｐｘ ，ｐｙ ）の画素の画素値
【数１２】
に、ステップA-ST3で算出した第（ｐｘ＋（ｐｙ＋ｉｈｃ）ｗｃ）番の識別影響度を代入する。該操作を式で表すと下記（式６）となる。
【数１３】
なお記号「←」は代入操作を意味する。
【００６４】
画像生成部２６は、各可視化画像の各画素の画素値の範囲を、入力画像の画素値が取り得る範囲［ｌlow ，ｌhigh］に変換する（ステップA-ST4-3）。例えば、下記（式７）のようにして画素値を変換する。
【数１４】
【００６５】
この（式７）のｌmin ，ｌmax は、それぞれステップA-ST4-2実行直後の第i番可視化画像の赤チャネル中の画素の画素値の最大値、最小値を意味する。
【００６６】
画像生成部２６は、入力画像の画素値から赤、緑、青の色成分を抽出し、抽出した入力画像の色成分をそれぞれ赤、緑、青チャネル（区分）に割り当て、入力画像をカラー画像に変換する（ステップA-ST4-4）。
【００６７】
入力画像がグレースケール画像や白黒画像（画素が白か黒で表される画像）であれば、該入力画像の各画素の値ｖを赤、緑、青チャネルそれぞれの色成分の値とする。このほか、入力画像がもともと赤、緑、青チャネルを持つカラー画像であれば、特に変換処理を行わない。
【００６８】
画像生成部２６は、各可視化画像を入力画像と同じ寸法に伸縮するなどして、各可視化画像の寸法（サイズ）を調整する（ステップA-ST4-5）。このとき、画像の伸縮時の画素値の補間方法として最近傍法を用いる。この他、画像の伸縮時の画素値の補間方法として、３次スプライン補間法など他の方法を用いても良い。
【００６９】
最後に、画像生成部２６は、各可視化画像毎に、入力画像との合成を行い（ステップA-ST4-6）、合成した画像群をメモリに記憶する。合成された画像群は新たな可視化画像群となる。
【００７０】
該可視化画像と入力画像の合成にはアルファブレンディング法を用いる。アルファブレンディング法は合成する画像に重みを付け、該重み付けした画像を足し合わせることで合成画像を生成する。なお、該重みは0以上、1以下の実数値であり、各画像に付けられた重みの総和は1である。画像生成部２６においては該重みはあらかじめ定めた任意の値とする。アルファブレンディング法によって合成され、生成された新たな可視化画像は、入力画像における識別影響度が高い分割領域ほど赤の輝度値が高く表示される。
【００７１】
上記ステップA-ST4の説明では、識別影響度を赤チャネル（赤区分）に書き込むものとしたが、代わりに青チャネル（青区分）や緑チャネル（緑区分）に書き込んでもよく、また複数のチャネル（区分）に同時に書き込んでもよい。
【００７２】
この他、合成結果に可視化画像の画素値が反映される方法であれば、他の方法で画像を合成しても良い。
【００７３】
最後に、画像出力部２７による可視化画像の出力処理（ステップA-ST5の処理）を詳細に説明する。画像出力部２７は、可視化画像を表示装置３へ出力する。各可視化画像を例えば表示装置３へ出力し表示装置３の画面へ表示する。この他、各可視化画像をコンピュータ２に接続されたプリンタへ送り印刷してもよい。また各可視化画像をコンピュータ２に接続された例えば外付けハードディスク装置等の外部記憶装置に記憶してもよい。さらに各可視化画像をネットワーク経由で他のコンピュータへ送信し保存してもよい。
【００７４】
このように、この第１実施形態の画像処理システムによれば、入力画像から得た特徴ベクトルと画像の種別を代表する情報（固有ベクトルや平均ベクトルなど）を用いて、特徴ベクトルの各成分が入力画像の識別に関わる値に影響する度合い（識別影響度）を算出するので、該特徴ベクトルの算出方法を利用する画像識別装置における画像の識別に有効な特徴を探る上での指標または指針を得ることができる。また、識別影響度列を画像化（可視化）し、入力画像と合成することにより、視覚を用いて上述した指標または指針を直感的に理解するための手掛かりを提供できる。特徴ベクトルの各成分（特徴の種類）がどれだけ識別の評価尺度に影響しているのかを可視化することにより、どの種類の特徴が識別に有効か否かを判断するための手掛かりを提供できる。
【００７５】
図９は第１実施形態の処理過程で得られる画像、および数値の模式図である。図９（ａ）に示すように、入力画像を縦横に３分割して、９つの分割領域を生成した場合、それぞれの分割領域の特徴ベクトル成分は、図９（ｂ）に示すように、分割領域毎に２種類の特徴値（勾配ベクトルの横方向成分と、縦方向成分）として得られる。
【００７６】
この特徴値から算出した各分割領域の識別影響度は、図９（ｃ）に示すような値となったものとする。この識別影響度から可視化した結果、つまり生成した可視化画像は、図９（ｄ）に示すように、２つの画像が得られる。左の可視化画像はｌＶ（０）であり、右の可視化画像はｌＶ（１）である。
【００７７】
可視化画像の輝度値が高い分割領域から得られる特徴ほど評価尺度に影響したことを意味する。それ故、可視化画像は２つとなり、それぞれが異なる種類の特徴値に関する識別影響度を示している。最終的に、入力画像と可視化画像とを合成した結果、図９（ｅ）のような画像が得られる。
【００７８】
（第２実施形態）
次に、第２実施形態を説明する。図１０は第２実施形態の画像処理システムの構成を示すブロック図である。なお第１実施形態と同じ構成には同一の符号を付しその説明は省略する。
【００７９】
図１０に示すように、この画像処理システムは、特徴抽出装置４０とネットワークを介して接続されたコンピュータ２と、このコンピュータ２に接続されたスキャナ１および表示装置３とを有している。特徴抽出装置４０は、画像から処理対象の特徴ベクトルを抽出し、抽出した特徴ベクトルをコンピュータ２へ送信する。
【００８０】
コンピュータ２は、特徴取得部２８、識別辞書格納部２５、識別影響度算出部２４、画像生成部２６、画像出力部２７、特徴ベクトル記憶部３０を有している。
【００８１】
特徴取得部２８は、処理対象となる特徴ベクトルを特徴抽出装置４０より取得し、コンピュータ２のハードディスク装置またはメモリに設けた特徴ベクトル記憶部３０に記憶する。なお特徴ベクトルは外部から取得するだけでなく、例えばコンピュータ２に予め内蔵されたハードディスク装置に記憶しておき、それを読み出すようにしてもよい。
識別影響度算出部２４は、特徴ベクトル記憶部３０から得られる特徴ベクトルと、識別辞書格納部２５から得られる種別識別情報を用いて識別影響度列を算出し、算出した識別影響度列をメモリに記憶する。画像生成部２６は識別影響度列を画像化し、該画像をメモリに記憶する。
【００８２】
図１１乃至図１５を参照してこの第２実施形態の画像処理システムの動作を説明する。
この第２実施形態の場合、特徴取得部２８は、例えばコンピュータ２に接続されたハードディスク装置の特徴ベクトル記憶部３０に予め記憶しておいた特徴ベクトルを読み出して、処理対象となる特徴ベクトルを取得し（図１１のステップB-ST1）、メモリに記憶する。
【００８３】
なお本例ではコンピュータ２とは別に設けた特徴抽出装置４０から特徴ベクトルをＵＳＢケーブルおよびインターフェースやＬＡＮなどのネットワークを経由してコンピュータ２に取り込んだが、コンピュータ２に特徴抽出装置４０を内蔵してもよい。
【００８４】
上記特徴ベクトルは、次のステップFT-ST1〜FT-ST4（図１２のフローチャート）を特徴抽出装置４０が実行して算出され、それを特徴取得部２８が取得するものとする。
第１実施形態のステップA-ST4-4と同様にして、特徴抽出装置４０は入力画像を赤チャネル、緑チャネル、青チャネルを有するカラー画像（Ｒ，Ｇ，Ｂの画像）に変換する（ステップFT-ST1）。
【００８５】
続いて、図１３に示すように、入力画像の空間的領域を、例えば６つの領域Ｒｏ〜Ｒ５に分割する（ステップFT-ST2）。但し、各領域Ｒｏ〜Ｒ５は重複を許容し、図１２においては重複する領域を斜線で示している。図１３の中のｗ、ｈはそれぞれ入力画像の幅、高さの寸法（画素数）を意味する。
【００８６】
分割した領域Ｒｏ〜Ｒ５毎に、各領域Ｒｏ〜Ｒ５内のすべての画素の画素値の平均を算出する（ステップFT-ST3）。
【００８７】
以降、領域Ｒi（０≦ｉ＜５，但しｉは整数であるものとする。）における平均画素値をベクトル形式で
【数１５】
赤、緑、青チャネルの画素値の平均である。
【００８８】
ステップFT-ST3で得られた平均画素値をすべて連結して特徴ベクトルを生成し（ステップFT-ST4）、メモリに記憶する。具体的には、下記（式８）の形式で特徴ベクトルxを得る。
【数１６】
【００８９】
識別影響度算出部２４は、特徴抽出装置４０が取得した特徴ベクトルと種別識別情報を用いて識別影響度列を算出し（ステップB-ST2）、メモリに記憶する。具体的には、本ステップは次のサブステップB-ST2-1〜BST2-3（図１４のフローチャート）を実行する。但し、識別辞書格納部２５のデータ構造は図５に示したものとする。各固有ベクトルの次元数はステップB-ST1で取得した特徴ベクトルxの次元数ｄ（＝１８）である。
【００９０】
識別影響度算出部２４は、利用者のキーボード入力やハードディスク上の設定ファイルから種別ωα（整数値）を取得し、種別ωαに対する固有ベクトル群を読み出す。
そして、識別影響度算出部２４は、識別辞書格納部２５から読み出した種別ωαに対する固有ベクトル群と、特徴ベクトル記憶部３０から読み出した特徴ベクトルｘとを用いて識別影響度列を算出する（ステップB-ST2-1）。具体的にはサブステップA-ST3-1〜A-ST3-4の処理を実行する。但し、特徴ベクトルxは上記ステップFT-ST1〜ステップFT-ST4で算出したので、特徴空間の次元数ｄ＝１８である。
【００９１】
次に、識別影響度算出部２４は、利用者のキーボード入力やハードディスク上の設定ファイルから種別ωβを取得し、種別ωβに対する固有ベクトル群を読み出す。
そして、識別影響度算出部２４は、識別辞書格納部２５から読み出した種別ωβ（整数値）に対する固有ベクトル群と、特徴ベクトルxを用いて識別影響度列を算出する（ステップB-ST2-2）。具体的にはサブステップA-ST3-1〜A-ST3-4の処理を実行する。（但しｄ＝１８）。
【００９２】
識別影響度算出部２４は、ステップB-ST2-1とステップB-ST2-2それぞれで算出した識別影響度列を用いて最終的な識別影響度列を算出し（ステップB-ST2-3）、メモリに記憶する。
【００９３】
以降、ステップB-ST2-1とステップB-ST2-2で算出した識別影響度列のうち、特徴ベクトルの第ｉ成分（０≦ｉ＜１８，但しｉは整数）に対応する識別影響度をそれぞれsα,i 、sβ,iと記す。
【００９４】
識別影響度算出部２４は、特徴ベクトルの各成分に関して（式９）によって最終的な識別影響度を算出する。
【数１７】
この他、（式９）の代わりに下記（式１０）を用いて識別影響度を算出してもよい。
【数１８】
また、（式９）の代わりに下記（式１１）を用いて識別影響度を算出してもよい。
【数１９】
【００９５】
画像生成部２６は、識別影響度列を可視化し（図１１のステップB-ST3）、該画像をメモリに記憶する。この際、画像生成部２６は、次のサブステップB-ST3-1〜B-ST3-2（図１５のフローチャート）を実行して可視化画像群Ｉv ＝ {Ｉv(0) ,Ｉv(1) ,Ｉv(2) }を生成し、メモリに記憶する。但し、可視化画像Ｉv(0) ,Ｉv(1) ,Ｉv(2)はグレースケール画像であるものとする。
【００９６】
画像生成部２６は、３つの可視化画像Ｉv(0) ,Ｉv(1) ,Ｉv(2)を初期化する（ステップB-ST3-1）。具体的には、各可視化画像をグレースケール画像とし、各可視化画像の寸法は幅ｗv画素、高さｈv画素として、すべての可視化画像のすべての画素の画素値に０を代入する。幅ｗvおよび高さｈvは予め定めた値である。
【００９７】
以降のステップでは、各可視化画像を分割領域単位で扱う。該分割領域とは、ステップB-ST2で説明した図１３に示す形状の６つの領域Ｒｏ〜Ｒ５である。但し、図１３に示した可視化画像の幅ｗをｗv 、高さｈをｈvに置き換える。以降、第ｉ番の可視化画像における第ｊ番（０≦ｊ＜５）の領域をＩｖ（ｉ，ｊ）と記す。但しｉは０か１か２であり、ｊは整数であるものとする。
【００９８】
画像生成部２６は、各可視化画像に識別影響度列を割り当て（ステップB-ST3-2）、該可視化画像をメモリに書き込む。具体的には、Ｉｖ（ｉ，ｊ）に対し、ステップB-ST2で算出した第（３ｊ＋ｉ）番識別影響度を加算する。本ステップを式で表すと下記（式１２）となる。
【数２０】
【００９９】
識別影響度を加算するのは、図１３に示す複数の空間的領域Ｒｏ〜Ｒ５同士が重複を許容しているためである。
最後に、画像出力部２７は、第１実施形態で示したステップA-ST5と同様に、画像生成部２６により生成された可視化画像を出力する（図１１のステップB-ST4）。
【０１００】
このようにこの第２実施形態によれば、コンピュータ２の外部の特徴抽出装置４０から得て特徴ベクトル記憶部３０に記憶しておいた特徴ベクトルｘと、識別辞書格納部２５から読み出した種別ωαおよび種別ωαに対する固有ベクトル群から、種別ωαと種別ωαそれぞれに対する特徴ベクトルの各成分の識別影響度を求め、入力画像の分割領域毎に種別ωαと種別ωαに対する識別影響度の差や比を出力する。つまり２つの種別間の識別影響度の差や比を出力するので、どちらの種別の識別影響度が大きいのかといった、種別間での識別影響度比較が可能となる。例えば、種別ωαを正解種別、種別ωβをコンピュータ２以外のパターン認識（画像識別）装置が誤識別し易い種別とすることにより、該コンピュータ２以外の画像識別装置における誤識別の原因を探る上での指針を得ることが可能になる。また識別影響度列は可視化されるので、種別間の識別影響度の差や比を観察することにより、どのような特徴がどれだけ２つの種別の違いを表しているかといった情報を視覚を用いて直感的に知ることができ、識別影響度の対象となった評価尺度を利用する画像識別装置における特徴抽出方法や評価尺度算出アルゴリズムの改善につながる。
【０１０１】
（第３実施形態）
図面を参照して第３実施形態の画像処理システムを説明する。図１６は第３実施形態の画像処理システムの構成を示すブロック図である。
【０１０２】
図１６に示すように、第３実施形態の画像処理システムは、特徴抽出装置４０とネットワークを介して接続されたコンピュータ２と、このコンピュータ２に接続されたスキャナ１および表示装置３とを有している。特徴抽出装置４０は、処理対象の特徴ベクトルをコンピュータ２へ送信する。
【０１０３】
コンピュータ２は、識別影響度算出部２４、識別辞書格納部２５、特徴取得部２８、部分空間射影部２９、特徴ベクトル記憶部３０と、識別影響度出力部３１を有している。
【０１０４】
特徴取得部２８は、処理対象となる特徴ベクトルを特徴抽出装置４０より取得し、コンピュータ２のハードディスク装置またはメモリに設けた特徴ベクトル記憶部３０に記憶する。なお特徴ベクトルは外部から取得するだけでなく、例えばコンピュータ２に予め内蔵されたハードディスク装置に記憶しておき、それを読み出すようにしてもよい。
【０１０５】
識別影響度算出部２４は、識別辞書格納部２５から読み出した、種別ωαに対する固有ベクトル群（種別識別情報）と、特徴ベクトル記憶部３０から読み出した特徴ベクトルｘとを用いて識別影響度列を算出し、メモリに記憶する。部分空間射影部２９は、入力された種別（整数値）を受け付け、受け付けた種別に対応する固有ベクトル群（種別識別情報）を識別辞書格納部２５から取得する。部分空間射影部２９は識別影響度算出部２４の内部にある。部分空間射影部２９は、特徴ベクトルxをメモリから読み出し、そのベクトルを、φがなす部分空間に正射影し、射影ベクトルx’を得て識別影響度算出部２４へ出力する。識別影響度出力部３１はメモリから識別影響度列を読み出して外部へ出力する。他の構成要素の機能は上記第１及び第２実施形態と同様でありその説明は省略する。
【０１０６】
図１７、図４、図１８のフローチャートを参照して第３実施形態の動作を詳細に説明する。
【０１０７】
この第３実施形態の場合、コンピュータ２外部の特徴抽出装置４０から特徴取得部２８が取得し、ハードディスク装置の特徴ベクトル記憶部３０に予め記憶しておいた特徴ベクトルを読み出すことによって、処理対象となる特徴ベクトルを取得し（図１７のステップC-ST1）、メモリに記憶する。
【０１０８】
識別影響度算出部２４は、特徴ベクトルと２つの種別に対応する種別識別情報を用いて識別影響度列を算出し（ステップC-ST2）、メモリに記憶する。具体的には、部分空間射影部２９を呼び出し、その処理結果を用いて図１８のフローチャートに示すサブステップC-ST2-1〜C-ST2-3を実行し、識別影響度列を算出する。このとき、識別辞書格納部２５には、図５に示したデータが記憶されているものとする。また固有ベクトル群の各固有ベクトルの次元数はステップC-ST1で取得した特徴ベクトルと同じである。
【０１０９】
識別影響度算出部２４は、まず部分空間射影部２９を呼び出し、部分空間射影部２９から出力された射影ベクトルx’、つまり戻り値をベクトルx’αに代入する（ステップC-ST2-1）。
【０１１０】
続いて、識別影響度算出部２４は、部分空間射影部２９を呼び出し、部分空間射影部２９から出力された射影ベクトルx’、つまり戻り値をベクトルx’βに代入する（ステップC-ST2-2）。
【０１１１】
そして、識別影響度算出部２４は、これら２つの射影ベクトル（ベクトルx’αとベクトルx’β）を用いて識別影響度列を算出し（ステップC-ST2-3）、メモリに書き込む。
以降、ベクトルx’αとベクトルx’βの第ｉ成分（０≦ｉ＜１８，但しｉは整数）をそれぞれ、x’αｉ，x’βｉと記す。
【０１１２】
例えば特徴ベクトルxのすべての成分に関して、下記（式１３）によって１つの識別影響度を算出する。
【数２１】
この他、（式１３）の代わりに（式１４）を用いて識別影響度を算出してもよい。
【数２２】
また、（式１３）の代わりに（式１５）を用いて識別影響度を算出してもよい。
【数２３】
【０１１３】
部分空間射影部２９は、図４に示したフローチャートの処理ステップA-ST3-1〜ステップA-ST3-3を実行する。但し、この第３実施形態ではステップA-ST3-3における特徴ベクトルxは、図１８の処理ステップC-ST1で取得した特徴ベクトルである。以上の処理で部分空間射影部２９は、部分空間射影を終了し、射影ベクトルx’を識別影響度算出部２４へ出力する。
【０１１４】
ステップC-ST2の種別識別影響度算出処理で、識別影響度算出部２４により算出される識別影響度は、識別影響度が対象とする評価尺度の種別間での差や比等に対する、特徴ベクトルの各成分の影響度を意味する。
【０１１５】
識別影響度出力部３１は、識別影響度算出部２４により算出された識別影響度列を外部へ出力する（ステップC-ST3）。一例としては、識別影響度列を数字列として表示装置３へ出力し、表示装置３の画面に識別影響度列の数字列を表示する。
【０１１６】
この他、識別影響度列を、例えば数字の列としてコンピュータ２に接続されたプリンタへ出力し、識別影響度列の数字列を印刷してもよい。また識別影響度列をコンピュータ２に接続されたハードディスク装置へ記憶してもよい。さらに識別影響度列をネットワーク経由で他のコンピュータへ送信してもよい。
【０１１７】
このようにこの第３実施形態によれば、コンピュータ２以外で行うパターン認識（画像識別）における誤識別の原因を探る上での指針を得ることが可能になる。具体的には、識別影響度が対象とする評価尺度の差や比に対する、特徴ベクトルの各成分の影響度を出力するので、どの種類の特徴がどれだけ種別同士の違いを表しているかを知ることが可能になる。
【０１１８】
例えば１つの種別を正解の種別、他の１つの種別を誤識別する可能性が高い種別として、２種別間の違いを出力することで、どの種類の特徴が誤識別にどれだけ影響したかを可視化することができる。したがって、可視化画像を観察することで、どの種類の特徴が誤識別に起因しているかを知る手掛かりを得ることが可能になり、識別影響度の対象となった評価尺度を利用する画像識別装置における特徴抽出方法や評価尺度算出アルゴリズムの改善につながる。
【０１１９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１２０】
すなわち、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を削減したり組み合わせたりするなどして変型してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。
【０１２１】
電子媒体としては、例えばＣＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【０１２２】
上記実施形態では画像を処理対象としたが、それ自身をパターンとして記述できるものであれば、処理対象は画像以外でも良く、例えば音声波形などがこれに含まれる。
【符号の説明】
【０１２３】
１…スキャナ、２…コンピュータ、３…表示装置、２１…画像受付部、２２…画像記憶部、２３…特徴抽出部、２４…識別影響度算出部、２５…識別辞書格納部、２６…画像生成部、２７…画像出力部、２８…特徴入力部、２９…部分空間射影部、３０…特徴ベクトル記憶部、３１…識別影響度出力部。
【技術分野】
【０００１】
本発明は、例えば文字、図形および音声などのパターンから抽出する特徴の有効性を判断するための情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
文字や図形などのパターンが描かれている帳票をスキャナなどで読み取り、帳票に描かれている元のパターンを認識するパターン認識装置がある。
【０００３】
このパターン認識装置では、パターン認識の際には、画像から認識対象のパターンが存在するエリアを切り出して、そのエリアの画像から抽出した特徴が予めパターン辞書に記憶されている参照パターンの特徴とどの程度類似しているかを判定し、帳票に描かれているパターンを特定する。
【０００４】
このため、画像から抽出した特徴がパターン識別にどれだけ有効かどうかを検証することが極めて重要な課題となる。
【０００５】
特徴抽出に関する従来の技術として、例えば処理対象の画像の画素ごとに特徴を形成し、該特徴が質的性質や量的性質が予め定めた条件を満たすとき、該特徴に対応する処理対象の画像の画素を色付けする技術が既に公開されている（例えば特許文献１参照）。
【０００６】
この特許文献１の技術では、質的性質のことを濃淡情報、位置情報、方向情報等としている。また、量的性質のことを特徴量の大きさとしている。またこの特許文献１では、色付けされた画像を目視することにより、誤認識の原因解明に必要な情報が得られるとしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−３７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載されている従来の技術の場合、処理対象の画像から抽出した特徴の性質については表わされるものの、特徴が画像識別にどれだけ有効かどうかといったことまでは判らないという問題がある。
【０００９】
また、特許文献１の技術の場合、適用可能な特徴抽出の方法は、画素単位で特徴を形成する方法に限定されるため、画素の集合に対する特徴を形成する場合には適用できないという問題があった。
【００１０】
なお、上述した先行技術文献１には、特徴評価で得られた特徴の評価値や識別過程の分析で得られた特徴の有効性の度合いに従って処理対象の画像を色付けすることが可能という記載はあるものの、その技術についての具体的な記述はない。
【００１１】
本発明はこのような課題を解決するためになされたもので、ある特徴抽出方法によって算出されたパターンの特徴がパターン認識にどれだけ有効か否か、または特徴がパターンの誤認識にどれだけ影響したか、を判別するための定量的な情報を提供することのできる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明の情報処理装置は、処理対象のパターンを取得する取得部と、前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出する特徴算出部と、識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部と、前記代表ベクトルの集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出する識別影響度算出部とを具備することを特徴とする。
【００１３】
本発明の情報処理方法は、処理対象のパターンを取得するステップと、前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出するステップと、識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部から該代表ベクトルの集合を取得し、該代表ベクトルの集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出するステップとを有することを特徴とする
【発明の効果】
【００１４】
本発明によれば、ある特徴抽出方法によって算出されたパターンの特徴がパターン認識にどれだけ有効か否か、または特徴がパターンの誤認識にどれだけ影響したか、を判別するための定量的な情報を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像処理システムの構成を示す図である。
【図２】第１実施形態の画像処理システムの動作を示すフローチャートである。
【図３】特徴ベクトル算出処理を示すフローチャートである。
【図４】識別影響度算出処理を示すフローチャートである。
【図５】識別辞書格納部に格納されているデータを示す図である。
【図６】識別影響度算出処理の他の例を示すフローチャートである。
【図７】識別辞書格納部のデータの他の例を示す図である。
【図８】可視化画像群の生成処理を示すフローチャートである。
【図９】第１実施形態の処理過程で得られる画像および数値の模式図である。
【図１０】第２実施形態の画像処理システムの構成を示すブロック図である。
【図１１】第２実施形態の画像処理システムの動作を示すフローチャートである。
【図１２】特徴ベクトル算出処理を示すフローチャートである。
【図１３】特徴ベクトル算出処理の際に参照する画像の分割領域を示す図である。
【図１４】識別影響度算出処理を示すフローチャートである。
【図１５】可視化画像群の生成処理を示すフローチャートである。
【図１６】第３実施形態の画像処理システムの構成を示すブロック図である。
【図１７】第３実施形態の画像処理システムの動作を示すフローチャートである。
【図１８】部分空間射影処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して一つの実施の形態の画像処理システムについて詳細に説明する。（第１実施形態）
図１は本発明の情報処理装置に係る第１実施形態の画像処理システムの構成を示すブロック図である。
【００１７】
図１に示すように、この画像処理システムは、入力装置としてのスキャナ１と、このスキャナ１に接続されたコンピュータ２と、このコンピュータ２に接続された出力装置としての表示装置３とを備えている。コンピュータ２は、ＣＰＵ、メモリ、ハードディスク装置、外部インターフェースなどの汎用的なハードウェアを備えるものである。
【００１８】
スキャナ１は、例えばフラットベッド型や自動給紙型などのスキャナであり、ラインセンサなどの読取部にセットされた帳票を読み取り、読み取った帳票の画像（以下「入力画像」または処理対象の画像などと称す）をコンピュータ２に入力する。この他、コンピュータ２にはキーボード及びマウスなどの入力装置が接続されており、ユーザの操作による指示をコンピュータ２に入力する。入力装置としては、キーボード以外に、任意の指示情報が設定された設定ファイルなどであってもよい。表示装置３は、コンピュータ２から出力される情報を表示する。
【００１９】
コンピュータ２は、画像受付部２１、画像記憶部２２、特徴抽出部２３、識別辞書格納部２５、識別影響度算出部２４、画像生成部２６、画像出力部２７などを有している。画像記憶部２２と識別辞書格納部２５はメモリまたはハードディスク装置により実現される。その他の構成、つまり画像受付部２１、特徴抽出部２３、識別影響度算出部２４、画像生成部２６および画像出力部２７などは、ハードディスク装置にインストールされた画像処理プログラムの機能の一つとして実現される。
【００２０】
画像受付部２１はスキャナ１から入力される処理対象の画像（文字や図形のパターン以下「入力画像」と称す）を受け付け（取得し）、受け付けた（取得した）画像を画像記憶部２２に記憶する。すなわち画像受付部２１は処理対象のパターンを取得する取得部として機能する。
【００２１】
特徴抽出部２３は、入力画像を画像記憶部２２から読み出して、その入力画像の画素情報から被写体の特徴をベクトル形式で表す計算を行い、該ベクトル（特徴ベクトル）をメモリに記憶する。
【００２２】
特徴抽出部２３は、画像を所定のルールで分割した各分割領域毎に、その領域の特徴を示す第１の特徴ベクトルを算出する特徴算出部として機能する。
【００２３】
識別辞書格納部２５には、画像の被写体の種別と、該種別を特徴付ける情報（種別識別情報）との対が複数記憶されている。画像の被写体の種別とは、例えば「１」という文字であれば「１」という数字（文字種）を示し、猫の画像であれば「猫」がこれに該当する。種別識別情報は前記種別を代表するベクトル群（種別代表ベクトル群）である。ただし、種別代表ベクトル群は１つの代表ベクトルだけで構成することもできる。すなわち識別辞書格納部２５は、参照用のパターンの種別とその種別に対応する種別代表ベクトル群とが対応して記憶された辞書格納部として機能する。
【００２４】
識別影響度算出部２４は、特徴抽出部２３により抽出された入力画像の特徴ベクトルと、識別辞書格納部２５の種別識別情報を用いて、処理対象のパターンと参照用のパターンとの分解された類似度あるいは相違度を算出し、該分解した値を前記特徴ベクトルの各成分が入力画像の識別にどれだけ影響するかの度合いを示す識別影響度として算出する。
【００２５】
画像生成部２６は入力画像の空間的領域を分割した領域（分割領域）と識別影響度とを対応付け、識別影響度に応じた色情報を生成することにより、前記対応付けを可視化した画像（可視化画像）を生成し、メモリに記憶する。入力画像の空間的領域とは該画像を構成する全画素の集合のことである。
【００２６】
入力画像は図１３に示すように形状がランダムな領域に分割してもよく、また同じ大きさの矩形の小領域に定型的に分割してもよい。
処理対象のパターンは入力画像の画素であるから、前記分割領域からは処理対象のパターンを分割したパターンが得られる。以降、該分割したパターンのことを分割パターンと記すものとする。すなわち、画像生成部２６は前記識別影響度算出部により算出された識別影響度に応じた色情報を生成し、該色情報を各分割パターンに対応付け、該色情報と分割パターンとの色情報の対応を示す画像を生成する。
【００２７】
画像出力部２７は画像生成部２６により可視化された画像をメモリから読み出して表示装置３へ出力し表示装置３の画面に表示する。識別対象の入力画像の個々の分割領域に対応する識別影響度の大小は前記色情報によって視覚できる形式で表現されているため、どのような前記分割領域が識別に有効に働いているか否かを視覚的に把握できるようになる。これにより、処理対象のパターンの識別に有効な特徴を把握するための目安が明確になり、例えば特徴抽出方法の改善に役立つ。
【００２８】
続いて、図２乃至図８を参照して第１実施形態の画像処理システムの動作を説明する。この画像処理システムの場合、スキャナ１が帳票の画像を読み取ってコンピュータ２に入力すると、その帳票の画像は画像受付部２１により受け付けられて、画像記憶部２２に記憶される（ステップA-ST1）。
【００２９】
具体的にはコンピュータ２に接続されたスキャナ１により読み取りコンピュータ２へ入力し、ハードディスク装置に書き込む。スキャナ１を用いない方法としては、例えばコンピュータ２のハードディスク装置の画像記憶部２２に予め処理対象のパターンが描かれた画像（入力画像）を記憶しておき、その入力画像をハードディスク装置から読み出しメモリに書き込んでもよい。また入力画像を、ネットワーク上のサーバコンピュータやＮＡＳなどの記憶装置に記憶しておき、記憶装置の入力画像を、ネットワークを経由してコンピュータ２へ送り、コンピュータ２の画像受付部２１が画像記憶部２２に記憶してもよい。
【００３０】
次に、特徴抽出部２３は、メモリから入力画像を読み出して、その入力画像の特徴ベクトルを算出し（ステップA-ST2）、メモリに記憶する。
【００３１】
続いて、識別影響度算出部２４は、ステップA-ST2でメモリに記憶された特徴ベクトルと識別辞書格納部２５に格納された種別代表ベクトル群を用いて識別影響度列、すなわち１つかそれ以上の識別影響度を算出し（ステップA-ST3）、メモリに記憶する。
【００３２】
画像生成部２６は、入力画像をメモリから読み出して、入力画像の分割領域と識別影響度とを対応付けて可視化画像を生成し（ステップA-ST4）、メモリに記憶する。
【００３３】
画像出力部２７は、画像生成部２６により生成された可視化画像をメモリから読み出して表示装置３へ出力する（ステップA-ST5）。
【００３４】
ここで、上記各ステップの処理の詳細を説明する。まずステップA-ST2の特徴ベクトル算出処理について説明する。
【００３５】
図３に示すように、特徴抽出部２３は、入力画像をグレースケール画像に変換する。具体的には、入力画像のすべての画素に関して、画素値に含まれる赤、青、緑といった色を区別する情報を取り除いて明暗情報だけを残すことにより、入力画像をグレースケール画像に変換する（ステップA-ST2-1）。
【００３６】
次に、特徴抽出部２３は、グレースケールに変換した入力画像のすべての画素に関して、画素値の勾配ベクトルを算出する。勾配ベクトルは画素の明暗の濃淡値が、2次元平面上でどの方向に変化しているかを示すベクトルである。該グレースケール画像中の任意の座標（ｐx ，ｐy）（但しｐx とｐyは整数値である）における画素値をＩｐx，ｐyとしたとき、座標（ｐx ，ｐy）の画素に関する勾配ベクトルｇｐx，ｐyを下記（式１）により算出する（ステップA-ST2-2）。
ｇｐx，ｐy ＝（（Ｉｐx＋１,ｐy−Ｉｐx−１,ｐy）／２（Ｉｐx,ｐy＋１−Ｉｐx,ｐy＋１）／２）ｔ…（式１）
但し、座標（ｐx，ｐy）が入力画像の上下左右の端の画素を指すとき、（式１）では勾配ベクトルを求められないので、該画素に関しては、勾配ベクトルｇｐｘ，ｐy ＝０とする。
【００３７】
特徴抽出部２３は、グレースケールに変換した入力画像の空間的領域を横ｗc個、縦ｈc個に等分割する（ステップA-ST2-3）。ｗcとｈcは定数である。すなわち、特徴抽出部２３は、パターンを所定のルール（この例の場合、パターンを横ｗc個、縦ｈc個に等分割）で分割して複数の分割領域を生成する。
【００３８】
このとき、該分割領域の縦位置と横位置をそれぞれｂx，ｂy（０≦ｂx ＜ｗc ，０≦ｂy ＜ｈc ，但しｂx とｂy は整数である）とし、各領域に番号（ｂx＋ｂyｗc）を振る。以降、該分割領域の集合をＲと記す。Ｒは（ｗｃｈｃ−１）個の分割領域の集合であるから、
Ｒ＝｛Ｒ０ ，Ｒ１ ，…，Ｒｗｃｈｃ−１ ｝である。
【００３９】
特徴抽出部２３は、ステップA-ST2-3で分割した領域毎に、各領域内のすべての画素に対応する勾配ベクトルの平均を算出する（ステップA-ST2-4）。
以降、Ｒi（０≦ｉ＜｜Ｒ｜，｜Ｒ｜＝ｗｃｈｃ， 但しｉは整数である）における平均勾配ベクトルを
【数１】
とする。ベクトルの成分の番号は０から順に始まるものとしており、
【数２】
はそれぞれＲiにおける勾配ベクトルの第０番成分の平均、第１番成分の平均である。
【００４０】
特徴抽出部２３はステップA-ST2-4で得た平均勾配ベクトルを連結して特徴ベクトルを生成し（ステップA-ST2-5）、メモリに記憶する。すなわち特徴抽出部２３は勾配ベクトルの平均値から各分割領域の特徴ベクトルを算出する。
【００４１】
具体的には、下記（式２）の形式で特徴ベクトルｘを得る。
【数３】
【００４２】
以上のようにして特徴ベクトルを算出するものとしたとき、
【数４】
は、上記分割した領域のうち、ｂx＝０，ｂy＝０である領域における平均勾配ベクトルの第０番成分、という特徴の種類を意味する。
【００４３】
ここで、識別影響度算出部２４による識別影響度算出処理（上記ステップA-ST3の処理）の詳細な動作を説明する。
【００４４】
この際、識別辞書格納部２５には、図５に示すように、数値（画像の被写体の種別）と、種別代表ベクトル群（種別識別情報）とが対応して記憶されているものとする。
【００４５】
第１実施形態において、種別代表ベクトル群は被写体に同じ種別を割り当てた画像の集団から特徴抽出部２３と同等の処理によって得られる特徴ベクトルの集合をKarhunen-Loeve展開（以下「ＫＬ展開」と称す）して得られる固有ベクトル群であり、該固有ベクトル群は事前に算出されてあるものとする。なお、該固有ベクトル群は該特徴ベクトルの集合の特徴空間上での分布を近似する空間（部分空間）の軸（基底）を意味する。
【００４６】
識別影響度算出部２４は、被写体の種別（整数値）をコンピュータ２の利用者に入力させるための画面を表示する。そして、この画面において、利用者がキーボードから被写体の種別（整数値）を入力すると、識別影響度算出部２４は、入力された該整数値を受け付け（図４のステップA-ST3-1）、受け付けた数値に対応する種別識別情報（固有ベクトル群）を識別辞書格納部２５から取得する（ステップA-ST3-2）。
【００４７】
以降、該固有ベクトル群を固有ベクトルの集合としてφと記す。つまり、
【数５】
である。但しｒはφに含まれる固有ベクトルの総数である。
【００４８】
識別影響度算出部２４は、ステップA-ST2で算出した特徴ベクトルxをメモリから読み出し、そのベクトルをφがなす部分空間に正射影し（ステップA-ST3-3）、射影ベクトルx'を得る。ただし、該射影ベクトルを特徴空間上のベクトルとして記述することにより、入力画像と前記画像の被写体の種別との類似度を分解可能にする。x’の算出方法を式で表すと（式３）となる。
【数６】
ここで＜x ，φi ＞はx とφi の内積を表す。識別影響度算出部２４は下記（式４）により入力画像と前記画像の被写体の種別との類似度を分解した形式で算出し（ステップA-ST3-4）、該分解した類似度を識別影響度としてメモリに書き込む。
【数７】
上記（式４）において、sｉはxの第i成分の識別影響度であり、
【数８】
また、ｄは特徴空間の次元数であり、第１実施形態においては、特徴空間の次元数ｄ＝２ｗｃｈｃである。
【００４９】
続いて、図６，図７を参照して、識別影響度算出部２４による識別影響度算出処理（上記ステップA-ST3の処理）の他の動作例を説明する。
【００５０】
この際、識別辞書格納部２５には、図７に示すように、数値（画像の被写体の種別、以降単に種別と記す）と、ベクトル値の集合（種別識別情報）とが対応して記憶されているものとする。ただし、種別識別情報は、被写体に同じ種別を割り当てた画像の集団から特徴抽出部２３と同等の処理によって得られる特徴ベクトルの平均（平均ベクトル）である。
【００５１】
すなわち、識別辞書格納部２５に記憶される種別代表ベクトル群（種別識別情報）は該種別識別情報が対応する種別に属する画像群から算出した特徴ベクトル群を平均したベクトル（平均ベクトル）である。
【００５２】
続いて、識別影響度算出部２４は、ハードディスクに予め記憶された画像の被写体の種別（整数値）を読み出し（ステップA-ST3’-1）、該整数値に対応する種別識別情報（平均ベクトル）を識別辞書格納部２５から取得する（ステップA-ST3’-2）。以降、該平均ベクトルをTと記すこととする。
【００５３】
特徴ベクトルxと平均ベクトルＴの差分ベクトルx’’＝Ｔ−xを算出する（ステップA-ST3’-3）。
【００５４】
特徴ベクトルxのすべての成分に関して、下記（式５）により入力画像と前記画像の被写体の種別との相違度を分解した形式で算出し（ステップA-ST3-4）、該分解した相違度を識別影響度としてメモリに書き込む。
【数９】
（式５）において、sｉは特徴空間の第i軸の識別影響度であり、
【数１０】
【００５５】
なお、ステップA-ST3-1〜A-ST3-4で算出した識別影響度の総和は部分空間法による類似度と一致することから、該識別影響度は部分空間法による類似度に対する特徴ベクトルの各成分影響度を意味している。
【００５６】
また、ステップA-ST3’-1〜A-ST3’-4で算出した識別影響度の総和はxとTの特徴空間上でのユークリッド距離の２乗と一致することから、該識別影響度はユークリッド距離による相違度に対する特徴ベクトルの各成分の影響度を意味している。
【００５７】
以上のように識別影響度列を算出する場合、「識別影響度は部分空間法による類似度を対象としている」、あるいは「識別影響度はユークリッド距離による相違度を対象としている」などと記すこととする。また、類似度や相違度等の入力画像の識別に利用する基準値のことをまとめて、識別の評価尺度と示したり、または単に評価尺度と示すこととする。
【００５８】
識別辞書格納部２５のデータ構造に関して、上記説明では種別のデータ形式を整数値としたが、他にも文字列など、入力画像の種別を区別可能なデータ形式であってもよい。
【００５９】
続いて、図８のフローチャートを参照して画像生成部２６による可視化画像の生成処理（ステップA-ST4の処理）を詳細に説明する。
【００６０】
画像生成部２６は、以下のサブステップA-ST4-1〜A-ST4-6（図８のフローチャート）を実行して可視化画像群Ｉｖ＝｛Ｉｖ（０），Ｉｖ（１）｝を生成し、メモリに記憶する。
【００６１】
画像生成部２６は、まず、可視化画像Ｉｖ（０），Ｉｖ（１）を初期化する。具体的には、各可視化画像を赤、緑、青の色チャネル（色区分）を持つカラー画像とし、各可視化画像の寸法を幅ｗc画素、高さｈc画素として、可視化画像Ｉｖ（０），Ｉｖ（１）のすべての色チャネルのすべての画素の画素値に０を代入する。ｗcとｈcはステップA-ST2-3で用いたｗcとｈcと同じである。
【００６２】
以降、第ｉ番の可視化画像の色チャネルｃにおける任意の座標（ｐｘ ，ｐｙ ）の画素値を
【数１１】
と記す。但しｉは１か０であり、ｃは０か１か２であり、ｃの各値は０＝赤、１＝緑、２＝青であるものとする。
【００６３】
続いて、画像生成部２６は、可視化画像の赤チャネルに識別影響度を書き込む（ステップA-ST4-2）ことにより、識別影響度に応じた色情報を生成する。具体的には、第ｉ番の可視化画像Ｉｖ（ｉ）の赤チャネルの座標（ｐｘ ，ｐｙ ）の画素の画素値
【数１２】
に、ステップA-ST3で算出した第（ｐｘ＋（ｐｙ＋ｉｈｃ）ｗｃ）番の識別影響度を代入する。該操作を式で表すと下記（式６）となる。
【数１３】
なお記号「←」は代入操作を意味する。
【００６４】
画像生成部２６は、各可視化画像の各画素の画素値の範囲を、入力画像の画素値が取り得る範囲［ｌlow ，ｌhigh］に変換する（ステップA-ST4-3）。例えば、下記（式７）のようにして画素値を変換する。
【数１４】
【００６５】
この（式７）のｌmin ，ｌmax は、それぞれステップA-ST4-2実行直後の第i番可視化画像の赤チャネル中の画素の画素値の最大値、最小値を意味する。
【００６６】
画像生成部２６は、入力画像の画素値から赤、緑、青の色成分を抽出し、抽出した入力画像の色成分をそれぞれ赤、緑、青チャネル（区分）に割り当て、入力画像をカラー画像に変換する（ステップA-ST4-4）。
【００６７】
入力画像がグレースケール画像や白黒画像（画素が白か黒で表される画像）であれば、該入力画像の各画素の値ｖを赤、緑、青チャネルそれぞれの色成分の値とする。このほか、入力画像がもともと赤、緑、青チャネルを持つカラー画像であれば、特に変換処理を行わない。
【００６８】
画像生成部２６は、各可視化画像を入力画像と同じ寸法に伸縮するなどして、各可視化画像の寸法（サイズ）を調整する（ステップA-ST4-5）。このとき、画像の伸縮時の画素値の補間方法として最近傍法を用いる。この他、画像の伸縮時の画素値の補間方法として、３次スプライン補間法など他の方法を用いても良い。
【００６９】
最後に、画像生成部２６は、各可視化画像毎に、入力画像との合成を行い（ステップA-ST4-6）、合成した画像群をメモリに記憶する。合成された画像群は新たな可視化画像群となる。
【００７０】
該可視化画像と入力画像の合成にはアルファブレンディング法を用いる。アルファブレンディング法は合成する画像に重みを付け、該重み付けした画像を足し合わせることで合成画像を生成する。なお、該重みは0以上、1以下の実数値であり、各画像に付けられた重みの総和は1である。画像生成部２６においては該重みはあらかじめ定めた任意の値とする。アルファブレンディング法によって合成され、生成された新たな可視化画像は、入力画像における識別影響度が高い分割領域ほど赤の輝度値が高く表示される。
【００７１】
上記ステップA-ST4の説明では、識別影響度を赤チャネル（赤区分）に書き込むものとしたが、代わりに青チャネル（青区分）や緑チャネル（緑区分）に書き込んでもよく、また複数のチャネル（区分）に同時に書き込んでもよい。
【００７２】
この他、合成結果に可視化画像の画素値が反映される方法であれば、他の方法で画像を合成しても良い。
【００７３】
最後に、画像出力部２７による可視化画像の出力処理（ステップA-ST5の処理）を詳細に説明する。画像出力部２７は、可視化画像を表示装置３へ出力する。各可視化画像を例えば表示装置３へ出力し表示装置３の画面へ表示する。この他、各可視化画像をコンピュータ２に接続されたプリンタへ送り印刷してもよい。また各可視化画像をコンピュータ２に接続された例えば外付けハードディスク装置等の外部記憶装置に記憶してもよい。さらに各可視化画像をネットワーク経由で他のコンピュータへ送信し保存してもよい。
【００７４】
このように、この第１実施形態の画像処理システムによれば、入力画像から得た特徴ベクトルと画像の種別を代表する情報（固有ベクトルや平均ベクトルなど）を用いて、特徴ベクトルの各成分が入力画像の識別に関わる値に影響する度合い（識別影響度）を算出するので、該特徴ベクトルの算出方法を利用する画像識別装置における画像の識別に有効な特徴を探る上での指標または指針を得ることができる。また、識別影響度列を画像化（可視化）し、入力画像と合成することにより、視覚を用いて上述した指標または指針を直感的に理解するための手掛かりを提供できる。特徴ベクトルの各成分（特徴の種類）がどれだけ識別の評価尺度に影響しているのかを可視化することにより、どの種類の特徴が識別に有効か否かを判断するための手掛かりを提供できる。
【００７５】
図９は第１実施形態の処理過程で得られる画像、および数値の模式図である。図９（ａ）に示すように、入力画像を縦横に３分割して、９つの分割領域を生成した場合、それぞれの分割領域の特徴ベクトル成分は、図９（ｂ）に示すように、分割領域毎に２種類の特徴値（勾配ベクトルの横方向成分と、縦方向成分）として得られる。
【００７６】
この特徴値から算出した各分割領域の識別影響度は、図９（ｃ）に示すような値となったものとする。この識別影響度から可視化した結果、つまり生成した可視化画像は、図９（ｄ）に示すように、２つの画像が得られる。左の可視化画像はｌＶ（０）であり、右の可視化画像はｌＶ（１）である。
【００７７】
可視化画像の輝度値が高い分割領域から得られる特徴ほど評価尺度に影響したことを意味する。それ故、可視化画像は２つとなり、それぞれが異なる種類の特徴値に関する識別影響度を示している。最終的に、入力画像と可視化画像とを合成した結果、図９（ｅ）のような画像が得られる。
【００７８】
（第２実施形態）
次に、第２実施形態を説明する。図１０は第２実施形態の画像処理システムの構成を示すブロック図である。なお第１実施形態と同じ構成には同一の符号を付しその説明は省略する。
【００７９】
図１０に示すように、この画像処理システムは、特徴抽出装置４０とネットワークを介して接続されたコンピュータ２と、このコンピュータ２に接続されたスキャナ１および表示装置３とを有している。特徴抽出装置４０は、画像から処理対象の特徴ベクトルを抽出し、抽出した特徴ベクトルをコンピュータ２へ送信する。
【００８０】
コンピュータ２は、特徴取得部２８、識別辞書格納部２５、識別影響度算出部２４、画像生成部２６、画像出力部２７、特徴ベクトル記憶部３０を有している。
【００８１】
特徴取得部２８は、処理対象となる特徴ベクトルを特徴抽出装置４０より取得し、コンピュータ２のハードディスク装置またはメモリに設けた特徴ベクトル記憶部３０に記憶する。なお特徴ベクトルは外部から取得するだけでなく、例えばコンピュータ２に予め内蔵されたハードディスク装置に記憶しておき、それを読み出すようにしてもよい。
識別影響度算出部２４は、特徴ベクトル記憶部３０から得られる特徴ベクトルと、識別辞書格納部２５から得られる種別識別情報を用いて識別影響度列を算出し、算出した識別影響度列をメモリに記憶する。画像生成部２６は識別影響度列を画像化し、該画像をメモリに記憶する。
【００８２】
図１１乃至図１５を参照してこの第２実施形態の画像処理システムの動作を説明する。
この第２実施形態の場合、特徴取得部２８は、例えばコンピュータ２に接続されたハードディスク装置の特徴ベクトル記憶部３０に予め記憶しておいた特徴ベクトルを読み出して、処理対象となる特徴ベクトルを取得し（図１１のステップB-ST1）、メモリに記憶する。
【００８３】
なお本例ではコンピュータ２とは別に設けた特徴抽出装置４０から特徴ベクトルをＵＳＢケーブルおよびインターフェースやＬＡＮなどのネットワークを経由してコンピュータ２に取り込んだが、コンピュータ２に特徴抽出装置４０を内蔵してもよい。
【００８４】
上記特徴ベクトルは、次のステップFT-ST1〜FT-ST4（図１２のフローチャート）を特徴抽出装置４０が実行して算出され、それを特徴取得部２８が取得するものとする。
第１実施形態のステップA-ST4-4と同様にして、特徴抽出装置４０は入力画像を赤チャネル、緑チャネル、青チャネルを有するカラー画像（Ｒ，Ｇ，Ｂの画像）に変換する（ステップFT-ST1）。
【００８５】
続いて、図１３に示すように、入力画像の空間的領域を、例えば６つの領域Ｒｏ〜Ｒ５に分割する（ステップFT-ST2）。但し、各領域Ｒｏ〜Ｒ５は重複を許容し、図１２においては重複する領域を斜線で示している。図１３の中のｗ、ｈはそれぞれ入力画像の幅、高さの寸法（画素数）を意味する。
【００８６】
分割した領域Ｒｏ〜Ｒ５毎に、各領域Ｒｏ〜Ｒ５内のすべての画素の画素値の平均を算出する（ステップFT-ST3）。
【００８７】
以降、領域Ｒi（０≦ｉ＜５，但しｉは整数であるものとする。）における平均画素値をベクトル形式で
【数１５】
赤、緑、青チャネルの画素値の平均である。
【００８８】
ステップFT-ST3で得られた平均画素値をすべて連結して特徴ベクトルを生成し（ステップFT-ST4）、メモリに記憶する。具体的には、下記（式８）の形式で特徴ベクトルxを得る。
【数１６】
【００８９】
識別影響度算出部２４は、特徴抽出装置４０が取得した特徴ベクトルと種別識別情報を用いて識別影響度列を算出し（ステップB-ST2）、メモリに記憶する。具体的には、本ステップは次のサブステップB-ST2-1〜BST2-3（図１４のフローチャート）を実行する。但し、識別辞書格納部２５のデータ構造は図５に示したものとする。各固有ベクトルの次元数はステップB-ST1で取得した特徴ベクトルxの次元数ｄ（＝１８）である。
【００９０】
識別影響度算出部２４は、利用者のキーボード入力やハードディスク上の設定ファイルから種別ωα（整数値）を取得し、種別ωαに対する固有ベクトル群を読み出す。
そして、識別影響度算出部２４は、識別辞書格納部２５から読み出した種別ωαに対する固有ベクトル群と、特徴ベクトル記憶部３０から読み出した特徴ベクトルｘとを用いて識別影響度列を算出する（ステップB-ST2-1）。具体的にはサブステップA-ST3-1〜A-ST3-4の処理を実行する。但し、特徴ベクトルxは上記ステップFT-ST1〜ステップFT-ST4で算出したので、特徴空間の次元数ｄ＝１８である。
【００９１】
次に、識別影響度算出部２４は、利用者のキーボード入力やハードディスク上の設定ファイルから種別ωβを取得し、種別ωβに対する固有ベクトル群を読み出す。
そして、識別影響度算出部２４は、識別辞書格納部２５から読み出した種別ωβ（整数値）に対する固有ベクトル群と、特徴ベクトルxを用いて識別影響度列を算出する（ステップB-ST2-2）。具体的にはサブステップA-ST3-1〜A-ST3-4の処理を実行する。（但しｄ＝１８）。
【００９２】
識別影響度算出部２４は、ステップB-ST2-1とステップB-ST2-2それぞれで算出した識別影響度列を用いて最終的な識別影響度列を算出し（ステップB-ST2-3）、メモリに記憶する。
【００９３】
以降、ステップB-ST2-1とステップB-ST2-2で算出した識別影響度列のうち、特徴ベクトルの第ｉ成分（０≦ｉ＜１８，但しｉは整数）に対応する識別影響度をそれぞれsα,i 、sβ,iと記す。
【００９４】
識別影響度算出部２４は、特徴ベクトルの各成分に関して（式９）によって最終的な識別影響度を算出する。
【数１７】
この他、（式９）の代わりに下記（式１０）を用いて識別影響度を算出してもよい。
【数１８】
また、（式９）の代わりに下記（式１１）を用いて識別影響度を算出してもよい。
【数１９】
【００９５】
画像生成部２６は、識別影響度列を可視化し（図１１のステップB-ST3）、該画像をメモリに記憶する。この際、画像生成部２６は、次のサブステップB-ST3-1〜B-ST3-2（図１５のフローチャート）を実行して可視化画像群Ｉv ＝ {Ｉv(0) ,Ｉv(1) ,Ｉv(2) }を生成し、メモリに記憶する。但し、可視化画像Ｉv(0) ,Ｉv(1) ,Ｉv(2)はグレースケール画像であるものとする。
【００９６】
画像生成部２６は、３つの可視化画像Ｉv(0) ,Ｉv(1) ,Ｉv(2)を初期化する（ステップB-ST3-1）。具体的には、各可視化画像をグレースケール画像とし、各可視化画像の寸法は幅ｗv画素、高さｈv画素として、すべての可視化画像のすべての画素の画素値に０を代入する。幅ｗvおよび高さｈvは予め定めた値である。
【００９７】
以降のステップでは、各可視化画像を分割領域単位で扱う。該分割領域とは、ステップB-ST2で説明した図１３に示す形状の６つの領域Ｒｏ〜Ｒ５である。但し、図１３に示した可視化画像の幅ｗをｗv 、高さｈをｈvに置き換える。以降、第ｉ番の可視化画像における第ｊ番（０≦ｊ＜５）の領域をＩｖ（ｉ，ｊ）と記す。但しｉは０か１か２であり、ｊは整数であるものとする。
【００９８】
画像生成部２６は、各可視化画像に識別影響度列を割り当て（ステップB-ST3-2）、該可視化画像をメモリに書き込む。具体的には、Ｉｖ（ｉ，ｊ）に対し、ステップB-ST2で算出した第（３ｊ＋ｉ）番識別影響度を加算する。本ステップを式で表すと下記（式１２）となる。
【数２０】
【００９９】
識別影響度を加算するのは、図１３に示す複数の空間的領域Ｒｏ〜Ｒ５同士が重複を許容しているためである。
最後に、画像出力部２７は、第１実施形態で示したステップA-ST5と同様に、画像生成部２６により生成された可視化画像を出力する（図１１のステップB-ST4）。
【０１００】
このようにこの第２実施形態によれば、コンピュータ２の外部の特徴抽出装置４０から得て特徴ベクトル記憶部３０に記憶しておいた特徴ベクトルｘと、識別辞書格納部２５から読み出した種別ωαおよび種別ωαに対する固有ベクトル群から、種別ωαと種別ωαそれぞれに対する特徴ベクトルの各成分の識別影響度を求め、入力画像の分割領域毎に種別ωαと種別ωαに対する識別影響度の差や比を出力する。つまり２つの種別間の識別影響度の差や比を出力するので、どちらの種別の識別影響度が大きいのかといった、種別間での識別影響度比較が可能となる。例えば、種別ωαを正解種別、種別ωβをコンピュータ２以外のパターン認識（画像識別）装置が誤識別し易い種別とすることにより、該コンピュータ２以外の画像識別装置における誤識別の原因を探る上での指針を得ることが可能になる。また識別影響度列は可視化されるので、種別間の識別影響度の差や比を観察することにより、どのような特徴がどれだけ２つの種別の違いを表しているかといった情報を視覚を用いて直感的に知ることができ、識別影響度の対象となった評価尺度を利用する画像識別装置における特徴抽出方法や評価尺度算出アルゴリズムの改善につながる。
【０１０１】
（第３実施形態）
図面を参照して第３実施形態の画像処理システムを説明する。図１６は第３実施形態の画像処理システムの構成を示すブロック図である。
【０１０２】
図１６に示すように、第３実施形態の画像処理システムは、特徴抽出装置４０とネットワークを介して接続されたコンピュータ２と、このコンピュータ２に接続されたスキャナ１および表示装置３とを有している。特徴抽出装置４０は、処理対象の特徴ベクトルをコンピュータ２へ送信する。
【０１０３】
コンピュータ２は、識別影響度算出部２４、識別辞書格納部２５、特徴取得部２８、部分空間射影部２９、特徴ベクトル記憶部３０と、識別影響度出力部３１を有している。
【０１０４】
特徴取得部２８は、処理対象となる特徴ベクトルを特徴抽出装置４０より取得し、コンピュータ２のハードディスク装置またはメモリに設けた特徴ベクトル記憶部３０に記憶する。なお特徴ベクトルは外部から取得するだけでなく、例えばコンピュータ２に予め内蔵されたハードディスク装置に記憶しておき、それを読み出すようにしてもよい。
【０１０５】
識別影響度算出部２４は、識別辞書格納部２５から読み出した、種別ωαに対する固有ベクトル群（種別識別情報）と、特徴ベクトル記憶部３０から読み出した特徴ベクトルｘとを用いて識別影響度列を算出し、メモリに記憶する。部分空間射影部２９は、入力された種別（整数値）を受け付け、受け付けた種別に対応する固有ベクトル群（種別識別情報）を識別辞書格納部２５から取得する。部分空間射影部２９は識別影響度算出部２４の内部にある。部分空間射影部２９は、特徴ベクトルxをメモリから読み出し、そのベクトルを、φがなす部分空間に正射影し、射影ベクトルx’を得て識別影響度算出部２４へ出力する。識別影響度出力部３１はメモリから識別影響度列を読み出して外部へ出力する。他の構成要素の機能は上記第１及び第２実施形態と同様でありその説明は省略する。
【０１０６】
図１７、図４、図１８のフローチャートを参照して第３実施形態の動作を詳細に説明する。
【０１０７】
この第３実施形態の場合、コンピュータ２外部の特徴抽出装置４０から特徴取得部２８が取得し、ハードディスク装置の特徴ベクトル記憶部３０に予め記憶しておいた特徴ベクトルを読み出すことによって、処理対象となる特徴ベクトルを取得し（図１７のステップC-ST1）、メモリに記憶する。
【０１０８】
識別影響度算出部２４は、特徴ベクトルと２つの種別に対応する種別識別情報を用いて識別影響度列を算出し（ステップC-ST2）、メモリに記憶する。具体的には、部分空間射影部２９を呼び出し、その処理結果を用いて図１８のフローチャートに示すサブステップC-ST2-1〜C-ST2-3を実行し、識別影響度列を算出する。このとき、識別辞書格納部２５には、図５に示したデータが記憶されているものとする。また固有ベクトル群の各固有ベクトルの次元数はステップC-ST1で取得した特徴ベクトルと同じである。
【０１０９】
識別影響度算出部２４は、まず部分空間射影部２９を呼び出し、部分空間射影部２９から出力された射影ベクトルx’、つまり戻り値をベクトルx’αに代入する（ステップC-ST2-1）。
【０１１０】
続いて、識別影響度算出部２４は、部分空間射影部２９を呼び出し、部分空間射影部２９から出力された射影ベクトルx’、つまり戻り値をベクトルx’βに代入する（ステップC-ST2-2）。
【０１１１】
そして、識別影響度算出部２４は、これら２つの射影ベクトル（ベクトルx’αとベクトルx’β）を用いて識別影響度列を算出し（ステップC-ST2-3）、メモリに書き込む。
以降、ベクトルx’αとベクトルx’βの第ｉ成分（０≦ｉ＜１８，但しｉは整数）をそれぞれ、x’αｉ，x’βｉと記す。
【０１１２】
例えば特徴ベクトルxのすべての成分に関して、下記（式１３）によって１つの識別影響度を算出する。
【数２１】
この他、（式１３）の代わりに（式１４）を用いて識別影響度を算出してもよい。
【数２２】
また、（式１３）の代わりに（式１５）を用いて識別影響度を算出してもよい。
【数２３】
【０１１３】
部分空間射影部２９は、図４に示したフローチャートの処理ステップA-ST3-1〜ステップA-ST3-3を実行する。但し、この第３実施形態ではステップA-ST3-3における特徴ベクトルxは、図１８の処理ステップC-ST1で取得した特徴ベクトルである。以上の処理で部分空間射影部２９は、部分空間射影を終了し、射影ベクトルx’を識別影響度算出部２４へ出力する。
【０１１４】
ステップC-ST2の種別識別影響度算出処理で、識別影響度算出部２４により算出される識別影響度は、識別影響度が対象とする評価尺度の種別間での差や比等に対する、特徴ベクトルの各成分の影響度を意味する。
【０１１５】
識別影響度出力部３１は、識別影響度算出部２４により算出された識別影響度列を外部へ出力する（ステップC-ST3）。一例としては、識別影響度列を数字列として表示装置３へ出力し、表示装置３の画面に識別影響度列の数字列を表示する。
【０１１６】
この他、識別影響度列を、例えば数字の列としてコンピュータ２に接続されたプリンタへ出力し、識別影響度列の数字列を印刷してもよい。また識別影響度列をコンピュータ２に接続されたハードディスク装置へ記憶してもよい。さらに識別影響度列をネットワーク経由で他のコンピュータへ送信してもよい。
【０１１７】
このようにこの第３実施形態によれば、コンピュータ２以外で行うパターン認識（画像識別）における誤識別の原因を探る上での指針を得ることが可能になる。具体的には、識別影響度が対象とする評価尺度の差や比に対する、特徴ベクトルの各成分の影響度を出力するので、どの種類の特徴がどれだけ種別同士の違いを表しているかを知ることが可能になる。
【０１１８】
例えば１つの種別を正解の種別、他の１つの種別を誤識別する可能性が高い種別として、２種別間の違いを出力することで、どの種類の特徴が誤識別にどれだけ影響したかを可視化することができる。したがって、可視化画像を観察することで、どの種類の特徴が誤識別に起因しているかを知る手掛かりを得ることが可能になり、識別影響度の対象となった評価尺度を利用する画像識別装置における特徴抽出方法や評価尺度算出アルゴリズムの改善につながる。
【０１１９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１２０】
すなわち、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を削減したり組み合わせたりするなどして変型してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。
【０１２１】
電子媒体としては、例えばＣＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【０１２２】
上記実施形態では画像を処理対象としたが、それ自身をパターンとして記述できるものであれば、処理対象は画像以外でも良く、例えば音声波形などがこれに含まれる。
【符号の説明】
【０１２３】
１…スキャナ、２…コンピュータ、３…表示装置、２１…画像受付部、２２…画像記憶部、２３…特徴抽出部、２４…識別影響度算出部、２５…識別辞書格納部、２６…画像生成部、２７…画像出力部、２８…特徴入力部、２９…部分空間射影部、３０…特徴ベクトル記憶部、３１…識別影響度出力部。
【特許請求の範囲】
【請求項１】
処理対象のパターンを取得する取得部と、
前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出する特徴算出部と、
識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部と、
前記辞書格納部から前記種別に対応する前記代表ベクトルの集合を取得し、該集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出する識別影響度算出部と
を具備することを特徴とする情報処理装置。
【請求項２】
前記特徴ベクトルは、前記取得部から得たパターンを所定のルールにより複数のパターンに分割した上で、該分割した各パターンの特徴を示すものであり、
前記識別影響度算出部により算出された前記分解した値に応じた色情報を生成し、該色情報を前記分割した各パターンに対応付け、該色情報と前記分割した各パターンとの色情報の対応を示す画像を生成する画像生成部と、
前記画像生成部により生成された画像を出力する画像出力部と
を具備することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記代表ベクトルの集合は、
前記特徴ベクトルが存在する特徴空間の部分空間の基底ベクトル群であり、
前記特徴ベクトルの各成分がパターンの識別に影響する度合いは、前記特徴ベクトルを前記部分空間に射影して得られる射影ベクトルを前記特徴空間上に記述したときに、該射影ベクトルの各成分の値を基準とすることを特徴とする請求項１または２記載の情報処理装置。
【請求項４】
前記代表ベクトルの集合は、前記特徴ベクトルが存在する特徴空間の部分空間の基底ベクトル群であり、
前記特徴ベクトルの各成分がパターンの識別に影響する度合いは、前記特徴ベクトルを前記部分空間に射影して得られる射影ベクトルを前記特徴空間上に記述したときに、該射影ベクトルと前記特徴ベクトルとの差分ベクトルの各成分の値を基準とすることを特徴とする請求項１記載の情報処理装置。
【請求項５】
前記識別影響度算出部は、
複数の識別候補に対する処理対象のパターンとの類似度あるいは相違度を分解し、複数の前記識別候補に対する該分解した値同士の大小関係を表す数値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出することを特徴とする請求項１または２記載の情報処理装置。
【請求項６】
取得部、特徴算出部、識別影響度算出部を有する情報処理装置における情報処理方法において、
処理対象のパターンを前記取得部が取得し、
前記取得部が得た前記パターンの特徴を示す特徴ベクトルを前記特徴算出部が算出し、
識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部から前記種別に対応する前記代表ベクトルの集合を前記識別影響度算出部が取得し、該集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出することを特徴とする情報処理方法。
【請求項１】
処理対象のパターンを取得する取得部と、
前記取得部から得た前記パターンの特徴を示す特徴ベクトルを算出する特徴算出部と、
識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部と、
前記辞書格納部から前記種別に対応する前記代表ベクトルの集合を取得し、該集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出する識別影響度算出部と
を具備することを特徴とする情報処理装置。
【請求項２】
前記特徴ベクトルは、前記取得部から得たパターンを所定のルールにより複数のパターンに分割した上で、該分割した各パターンの特徴を示すものであり、
前記識別影響度算出部により算出された前記分解した値に応じた色情報を生成し、該色情報を前記分割した各パターンに対応付け、該色情報と前記分割した各パターンとの色情報の対応を示す画像を生成する画像生成部と、
前記画像生成部により生成された画像を出力する画像出力部と
を具備することを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記代表ベクトルの集合は、
前記特徴ベクトルが存在する特徴空間の部分空間の基底ベクトル群であり、
前記特徴ベクトルの各成分がパターンの識別に影響する度合いは、前記特徴ベクトルを前記部分空間に射影して得られる射影ベクトルを前記特徴空間上に記述したときに、該射影ベクトルの各成分の値を基準とすることを特徴とする請求項１または２記載の情報処理装置。
【請求項４】
前記代表ベクトルの集合は、前記特徴ベクトルが存在する特徴空間の部分空間の基底ベクトル群であり、
前記特徴ベクトルの各成分がパターンの識別に影響する度合いは、前記特徴ベクトルを前記部分空間に射影して得られる射影ベクトルを前記特徴空間上に記述したときに、該射影ベクトルと前記特徴ベクトルとの差分ベクトルの各成分の値を基準とすることを特徴とする請求項１記載の情報処理装置。
【請求項５】
前記識別影響度算出部は、
複数の識別候補に対する処理対象のパターンとの類似度あるいは相違度を分解し、複数の前記識別候補に対する該分解した値同士の大小関係を表す数値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出することを特徴とする請求項１または２記載の情報処理装置。
【請求項６】
取得部、特徴算出部、識別影響度算出部を有する情報処理装置における情報処理方法において、
処理対象のパターンを前記取得部が取得し、
前記取得部が得た前記パターンの特徴を示す特徴ベクトルを前記特徴算出部が算出し、
識別候補の種別と該識別候補の代表ベクトルの集合とが対応して記憶された辞書格納部から前記種別に対応する前記代表ベクトルの集合を前記識別影響度算出部が取得し、該集合と前記特徴ベクトルとから得られる前記処理対象と識別候補との類似度あるいは相違度を前記特徴ベクトルの各成分に対応するように分解し、該分解した値を前記特徴ベクトルの各成分がパターンの識別に影響する度合いとして算出することを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−３５４８（Ｐ２０１２−３５４８Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３８６１６（Ｐ２０１０−１３８６１６）
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（３０１０６３４９６）東芝ソリューション株式会社 (1,478)
【Ｆターム（参考）】
[ Back to top ]