説明

画像処理装置、方法、集積回路

【課題】画像による個人認識システムにおける認識用特徴データの登録において、ドアホンシステムの撮影画像などの、歪みを有する撮影画像から、最も適切な認識用特徴データを選定すること。
【解決手段】対象物(人物7H、映像64a1)の位置が、画像811の分割領域8R1に属することを判定するゾーン判定部422と、特徴811x(映像64b1)を示す特徴情報811Dを抽出する特徴データ抽出部423と、判定がされた分割領域8R1に対応付けて、抽出された特徴情報811Dを、認識用特徴情報8uD1として記録する特徴データ保存領域431とを備えたドアホンシステム1aが構成される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、個人認識を行う画像処理装置に係わり、特に、カメラを備えたドアホンシステムにおいて、来訪者の画像情報を適切に登録し、認識を行う画像処理装置に関するものである。
【背景技術】
【0002】
従来の画像処理装置としては、一度、カメラにより撮影された画像を、名前などの、ユーザーにより入力された付随情報と共に登録し、次回以降は、撮影された画像と、登録済みの画像上の顔との間の照合により、個人の認識を行い、撮影画像と共に、付随情報を提示し、或いは、履歴として記録しているものがあった(例えば、特許文献1参照)。
【0003】
ただし、特許文献1においては、登録する画像について、ユーザーが確認した画像であること以上の、詳細な開示は行われていない。
【0004】
また、個人を識別するための特徴データを選定し、登録する手法の一例として、撮影された複数の画像について、全ての、2画像の組合せの組で、それら2画像の特徴データの間の比較を行い、最も類似度が高い組合わせに含まれる画像からの特徴データを選択して、登録するものがある(特許文献2参照)。
【0005】
図7は、前記特許文献2に記載された、従来の画像処理装置における、特徴データ登録時のフロー図を示すものである。
【0006】
図7において、処理ステップS701では、登録対象の画像を複数取得し、取得されたそれらの複数の画像うちのそれぞれの画像について、特徴データを抽出して、特徴データ保存部701に保存している。処理ステップS702では、特徴データ保存部701より、比較を行う二つの特徴データを読み出している。次の処理ステップS703では、読み出されたそれら二つの特徴データの間での照合を行い、具体的には、差分平方和のような、差違の評価値を求めている。S704は、求めた、差違の評価値が、これまでの最小であるかを判断し、最小となる場合のみ、処理ステップS705にて、この差違の評価値を、新たな最小値として、その特徴データのインデックスの組合せと共に保持する。処理ステップS706は、全ての特徴データの組合せの処理が完了しているかを判断する。そして、完了していない場合には、処理ステップS702に戻り、完了している場合には、次の処理ステップS707に、処理を移す。処理ステップS707では、全ての組合せの処理の結果、最小となった、差違の評価値が求められた組合わせに属する特徴データを、個人認識の処理に利用される登録データとして記録している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2004−120521号公報
【特許文献2】特開平02−178780号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、前記従来の構成では、入力画像中の、差違が最小となる2画像の特徴データの組を検出して、検出された組の特徴データを、登録特徴データとしている。このため、本来、認識において適切でない画像であるが、特異的に、ほぼ同一の画像が取り込まれた場合に、この認識処理にとって、適切でない特徴データが選定されることになる。このため、必ずしも、確実に、適切な特徴データが選定されるとは限らず、認識精度を低下させるという課題を有していた。
【0009】
そして、特に、この課題は、広い撮影範囲を必要とするドアホンなどで、広角レンズを使用した場合に、顕著となる。つまり、この場合、広角レンズの歪曲収差などによる、強い画像の歪みが生じるため、この歪んだ顔画像において、上述した、特異的な一致による、適切でない特徴データの選定がなされた場合に、認識精度を著しく低下させる。
【0010】
なお、特許文献2では、広い撮影範囲を必要とする、ドアホン等の技術領域とは異なる他の技術領域における技術が記載されるに止まり、広い撮影範囲の撮影がされる際に生じる、比較的強い歪みによる弊害を回避することに関して、記載も示唆もない。
【0011】
しかも、特許文献2では、画像における分割領域(図6等を参照)について、記載も示唆もない。
【0012】
本発明は、前記従来の課題を解決するもので、画像認識による個人認識システムにおける、認識用特徴データの登録において、画像の歪みを有する撮影画像であっても、適切な認識用特徴データを選定することを可能とした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0013】
前記従来の課題を解決するために、本発明の画像処理装置は、入力画像上の特定の対象物の位置を示す位置情報を検出する検出部と、前記検出部にて検出した前記位置情報により示される前記位置が、前記入力画像の複数の分割領域のうちの何れの前記分割領域に属するかを判定する分割領域判定部と、前記特定の対象物の特徴を示す特徴情報を(、前記入力画像における、前記位置が属すると判定された分割領域の部分から)抽出する特徴情報抽出部と、前記位置が属すると判定された前記分割領域に対応付けて、当該位置が検出がされた前記入力画像から抽出された前記特徴情報を認識用特徴情報として記録する認識情報記録部とを備えた画像処理装置である。
【0014】
つまり、入力画像は、ドアホンシステムにおける、広角レンズ(100度以上の撮影範囲のレンズ等)で撮像された画像などである(図10下段などを参照)。
【0015】
つまり、具体的には、例えば、当該画像処理装置は、前記分割領域判定部にて、前記位置が属すると判定された前記分割領域に対応付けて、当該位置が検出された前記入力画像から抽出された前記特徴情報が保存される特徴情報保存部と、前記特徴情報保存部に、同じ1つの前記分割領域に対応付けて保存された複数の前記特徴情報のなかで、当該特徴情報から求められる類似度が、最も高い類似度である前記特徴情報を抽出する最大類似度抽出部とを備え、前記認識情報記録部は、前記最大類似度抽出部にて抽出された前記特徴情報を、前記同じ1つの分割領域に対応付けられる前記認識用特徴情報として記録する画像処理装置である。
【0016】
なお、こうして、所定の分割規則に基づいた分割領域に応じた処理がされてもよい。
【0017】
また、こうして、特徴情報保存部により、前記分割領域判定部にて判定した分割領域毎に分類して、前記特徴情報が保存されてもよい。つまり、例えば、特徴情報の分類(分割領域)が、複数の分類(分割領域)のうちから特定されて、特定された分類(の分割領域)に対応付けて、その特徴情報が保存されてもよい。
【0018】
本構成によって、歪曲収差などの、光学的な要因による画像の歪みを有する撮影画像であっても、画像を領域分割して、領域毎に、認識に用いる特徴情報を選定しているため、適切な認識用特徴情報が選定される。これにより、安定的な、特定対象物の認識を可能とすることができる。これは、小領域に区切られた領域内で、歪みの変化が限定され、且つ、その領域での歪みを反映した画像で認識用特徴情報が生成されることによるものである。
【0019】
特に、画像における、全体の領域が、複数の分割領域へと分割される、画像の分割規則としては、各分割領域内での画像の歪み量の変化が、全ての分割領域の間において均等になるような分割規則を設定することで、上記の効果を、最小限の分割領域数で成すことができる。
【発明の効果】
【0020】
本発明の画像処理装置によれば、画像処理装置での認識処理において、歪曲収差などによる、画像の歪みを有する画像での認識処理がされても、認識精度を著しく低下させることなく、安定して、高精度な認識処理を可能とすることができる。
【0021】
こうして、ドアホンシステムなどにおいて、認識処理が行われて、入力画像に歪み(図10下段などを参照)があるにも関わらず、認識処理の精度が高くできる。
【0022】
しかも、歪みの補正のための画像処理などの、複雑な処理が不要で、処理が簡単にできて、精度の高さと、処理の簡単さとが両立できる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施の形態1における画像処理装置のシステム構成図
【図2】本発明の実施の形態1における画像処理装置の認識データ登録処理のフロー図(フローチャート)
【図3】本発明の実施の形態1における画像処理装置の認識動作のフロー図
【図4】本発明の実施の形態2における画像処理装置の認識データ登録処理のブロック図
【図5】本発明の実施の形態2における画像処理装置の認識処理のブロック図
【図6】本発明の実施の形態1及び2における画面のゾーン分割の一例を示す図
【図7】従来の画像処理装置の認識データ登録時のフロー図
【図8】図2の処理が開始される処理の流れを示すフロー図
【図9】2つの画像を示す図
【図10】2つの画像を示す図
【図11】カメラ監視システムを示す図
【図12】相互照合制御部などを示す図
【図13】ドアホンシステムを示す図
【図14】ドアホンシステムの処理の流れを示すフロー図
【図15】ドアホンシステムを示す図
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0025】
実施形態の画像処理装置は、(ドアホンシステム1aなどでの、広角レンズ(広角レンズ111x、広角レンズ111bx)で撮像された)入力画像(画像8(例えば図15の画像811))上の特定の対象物(人物7H、図10の映像64a1)の位置(を示す位置情報(位置情報421I:図4))を検出する検出部(顔検出部421)と、前記検出部にて検出した前記位置情報により示される前記位置が、前記入力画像(画像811)の複数の分割領域(図6、図15の第1の領域8R1、第2の領域8R2など)のうちの何れの前記分割領域(第1の領域8R1)に属するかを判定する分割領域判定部(ゾーン判定部422)と、前記特定の対象物(人物7H、映像64a1)の特徴(特徴811x、特徴64b1)を示す特徴情報(第1の特徴データ811D)を抽出する特徴情報抽出部(特徴データ抽出部423)と、前記位置が属すると判定された前記分割領域(第1の領域8R1、インデックス「13」)に対応付けて、(記憶域4321に、)当該位置が検出された前記入力画像(画像811)から抽出された前記特徴情報(第1の特徴データ811D)を認識用特徴情報(第1の領域8R1用の認識用特徴データ8uD1)として記録する認識情報記録部(認識データ記録領域432)とを備えた画像処理装置(信号処理部125、親機120、ドアホンシステム1a、システム1)である。
【0026】
なお、こうして、検出部により、特定の対象物の位置が検出されてもよい。
【0027】
つまり、当該画像処理装置は、住宅(図15の住宅7P)に設けられ、当該住宅に来訪した人物(人物7H)が写された前記入力画像(画像8)を撮像するカメラ(カメラ111)が含まれる子機(図1の子機110)と、撮像された前記入力画像を表示する表示装置(表示装置121)、および、前記検出部と、前記分割領域判定部と、前記特徴情報抽出部と、前記認識情報記録部とを有する信号処理部(信号処理部125)を有する親機(親機120)とを備えたドアホンシステム1aであり、上記の構成が採用される。
【0028】
(実施の形態1)
図1は、本発明の実施の形態1における画像処理装置(ドアホンシステム1)のシステム構成図である。
【0029】
図1において、子機110は、戸外に設置され、来訪者からの呼出しを受けて応答するために、来訪者を撮影するカメラ111、来訪者の音声を受けるマイク112、居住者の音声を伝えるスピーカ113、呼出ボタン114などの入出力装置と、信号処理部115を備える。そして、これら入出力装置の信号は、信号処理部115による信号処理を受ける。そして、信号処理部115(子機110)は、通信線130を介して、親機120と接続されている。
【0030】
親機120は、屋内に設定され、居住者が、来訪者との応答を行うために、後述のように、1以上の入出力装置と、信号処理部125とを備える。
【0031】
入出力装置の1つは、液晶表示パネルなどで構成される表示装置121である。また、入出力装置の1つは、居住者からの操作、または入力を受けるために、配列された入力キー、または、表示装置121を覆うように設置された、平面状の入力パネルなどにより成る操作パネル122である。また、入出力装置の1つは、居住者の音声を受けるマイク123である。また、入出力装置の1つは、子機110からの音声を出力するスピーカ124である。
【0032】
信号処理部125は、プロセッサ126と、記憶装置127などを備えており、上記入出力装置を制御すると共に、入出力信号の信号処理、システム全体の制御を行っている。
【0033】
上記の構成において、来訪者が、呼出ボタン114を押し、呼出信号が、親機120に送信されると、システムは、来客応答のための諸動作を開始する。この、来客応答のための、システム全体の制御は、親機の信号処理部125で行われ、例えば、主に、次のような動作となる。
【0034】
親機120は、呼出ボタン114により送信された呼出信号を受けると、スピーカ124を用いて、居住者に来客を知らせ、それと同時に、子機110のカメラ111を起動して、撮影した画像を、親機120の表示装置121に表示させる。
【0035】
そして、居住者は、表示装置121に映し出された、来訪者の画像を確認して、応答の是非を判断し、応答する場合には、操作パネル122を操作して、親機120と、子機110との双方の、マイク112、123と、スピーカ113、124とによる、通話を開始させて、来客応答を行っている。
【0036】
居住者は、来訪応答時に、カメラ111により撮影された画像より作成された、来訪者の認識データを、来訪者の名前などの付随情報(付随情報425I:図4、図5)と共に、記憶装置127へ登録することができる。
【0037】
この登録がされることにより、次回以降の来訪時には、この、登録された認識データにより、来訪者が認識され、カメラ画像と共に、来訪者の、登録済みの付随情報が表示される。
【0038】
また、同時に、来訪者履歴に対して、画像と共に、この付随情報が記録される。
【0039】
更には、付随情報の一つとして登録された呼出音パターンに従った呼出音が、スピーカ124により鳴らされることにより、画像を確認することなく、来訪者として、誰が訪れているかを知ることができる。
【0040】
〈認識特徴データ登録の過程〉
以上のようなシステムにおいて、来訪応答時に、カメラ111により撮影された画像より、認識データを登録する過程を次に示す。
【0041】
図2は、本発明の実施の形態1における画像処理装置の認識データ登録処理のフロー図である。
【0042】
図2において、処理ステップS201は、カメラ111で撮影された画像を取得する画像取得ステップである。
【0043】
処理ステップS202は、画像取得ステップ(S201)で取得された画像について、顔検出を行い、画像中の顔の有無、および、顔が存在する場合には、その位置、サイズ、顔らしさの度合いを示す評価値を出力する顔検出ステップである。
【0044】
処理ステップS203は、顔検出ステップ(S202)で得られた、顔の有無を判定して、画像中に顔が存在しないとの判定がされる場合には(S203:N)、画像取得ステップ(S201)に戻り、顔が検出されているとの判定がされれば(S203:Y)、処理ステップS204に、処理を移す。
【0045】
処理ステップS204は、顔検出ステップ(S202)で得られた、顔の位置情報から、顔が、複数のゾーン(複数の分割領域、図6参照)のうちの、どのゾーンに属するかを判定するゾーン判定ステップである。
【0046】
図6は、ゾーン分割の一例を示す図である。
【0047】
ここで、ゾーンは、画像フレーム或いはフィールドを、所定の領域分割によって、区切った際における、画像フレームを区切った複数の領域のうちの一つの領域を示すものである。このゾーン分割の例としては、図6の(a)欄、(b)欄、(c)欄に示す通りに、画面を小さな領域に分割し、分割された、それぞれの小領域(領域)に、その領域の識別のためのインデックス(1〜25)を付したものである。
【0048】
図6における(a)欄の分割は、垂直、水平方向それぞれに、均等に区切った分割であり、この分割では、各ゾーンが、均等に配されているので、ゾーン判定ステップS204における、ゾーンの特定が容易である。
【0049】
図6の(b)欄の分割は、垂直線と水平線とによって切り出される矩形領域を、ゾーンとしている。
【0050】
そして、図6の(b)欄での分割が有する、図6の(a)欄の分割との違いは、画面中央部に位置するゾーンについて、より多くの面積を与え、画面周辺部に向かうに従って、面積が小さくなるように、分割がされている点である。
【0051】
これは、先に述べた、広角レンズの歪曲収差による歪みが、画面周辺部に向かうに従って、その度合いが強くなる歪みであるために、周辺部を、より細かく区切り、ゾーン内での、歪みの変化量を小さくして、認識精度を向上させるためである(図9、図10を参照)。
【0052】
そして、逆に、画面中央部では、歪みの変化が、周辺部に対して小さいため、ゾーンを広く取っても、歪みによる影響が抑えられる。よって、画面全体を、細かく分割する場合と比べて、少ないゾーン数で、同等の認識精度を得ることができ、ゾーン数を抑えられる。
【0053】
このため、同等の認識精度が維持されつつも、処理量の削減と、記憶装置上に配される、特徴データ保存領域201(例えば、特徴データ保存領域431)、認識特徴データ記録領域202(例えば、認識データ記録領域432)の容量の削減に寄与する。
【0054】
図6の(c)欄では、画面中央を中心とする同心円と、放射状の線とで区切られた、中央の円(1の領域、分割領域8R1y)と、周囲の、扇型の形状の複数の領域(2〜25の領域、例えば領域8R2y)とよりなる複数のゾーン(領域)が示される。
【0055】
この、(c)欄の分割は、(b)欄での分割を、更に発展させたものである。
【0056】
つまり、広角レンズによる歪みは、基本的には、同心円に沿った方向に、引き伸ばされる歪みとなるため、第一に、同心円によって区切り、第二に、円の中心を通る垂直線によって区切ることで、各ゾーン内の歪みは、回転成分を除いて、凡そ、一致する。
【0057】
よって、上記同心円と、垂直線とによるゾーン分割を用い、顔の位置によって、回転成分を割り出し、回転の規格化を施して、特徴データの抽出をすることでも、適切な技術が成り立つ。
【0058】
しかし、ここでは、回転の規格化を略すために、放射状の区切り線を追加して、ゾーン内での、回転角の変化を抑えている。
【0059】
また、同心円の間隔、放射状の線の間隔は、図6の(b)欄の説明で述べた通り、周辺に向かうに従って、密にするすることが望ましい。
【0060】
処理ステップS205は、顔画像から、特徴データを抽出し、その特徴データを、ゾーン判定ステップ(S204)で判定したゾーンに基づき、ゾーン単位に分類して、特徴データ保存領域201に保存する、顔特徴データ保存ステップである。
【0061】
処理ステップS206は、カメラ111による、来訪者の撮影が終了しているかを判断し、撮影が続いていれば、画像取得ステップ(S201)に戻り、完了している場合には、処理ステップS207以降の、認識用特徴データの抽出、登録処理に、処理を移すステップである。
【0062】
処理ステップS207は、ループ処理の始端のステップである。つまり、画面分割の、全てのゾーンについて、ループの終端である、処理ステップS212との間での、繰り返し処理が行われる。
【0063】
このループ内の処理ステップS208は、特徴データ保存領域201から、同じゾーンに属する、二つの特徴データ(例えば、図12の特徴データ81Ja、81Jb)を読み出す、特徴データ読出しステップである。
【0064】
なお、ここで、着目されるゾーンに属する特徴データが、二つ以上存在せず、二つの特徴データの読出しができない場合があり得る。そこで、その際には、図示されていないが、そのゾーンについての認識特徴データは、空として、処理ステップS208乃至S211の処理を、スキップして、次のゾーンの処理をするループにおける処理に、処理を移すことになる。
【0065】
なお、例えば、ある局面においては、何れの領域についても、その領域についての2つ以上の特徴データがあり、上述のスキップは1回もされなくてもよい。
【0066】
処理ステップS209は、特徴データ読出しステップS208で読み出した、二つの特徴データについて、照合を行い、それら二つの特徴データ間の類似度を示す評価値(例えば、図12の類似度81Jv)を求める照合ステップである。
【0067】
処理ステップS210では、同じゾーンに属する特徴データについて、二つの特徴データを取出す、何れの組合せ(組合わせ81Jc)での照合も完了したかを判断する。
【0068】
そして、完了していなければ(S210:N)、特徴データ読出しステップS208に戻り、完了していれば(S210:Y)、処理ステップS211に、処理を移す。
【0069】
従って、あるゾーンに属する特徴データが、m組存在する場合には、処理ステップS208乃至S210の処理が、組合せの個数C(m,2)だけ繰り返され、即ち、例えば、m(m−1)/2回繰り返される。
【0070】
処理ステップS211は、上記の、全ての組合せの照合処理の結果から、評価値が最も高い類似度を示す組合わせ(例えば、図12の組合わせ81cvS)での特徴データ(例えば、特徴データ81JS)を割り出して、その特徴データを、個人認識に使用するための認識特徴データとして、認識特徴データ記録領域202に記録する認識特徴データ選定ステップである。この処理ステップS211により、一つのゾーンに対する、認識特徴データが定められる。
【0071】
処理ステップS212は、ループ終端であり、全てのゾーンについての処理が完了することにより、処理ステップS213に、処理が移される。
【0072】
これまでの処理により、ゾーン毎の認識特徴データが、認識特徴データ記録領域202に記録される。
【0073】
処理ステップS213は、それまでの処理ステップで作成された認識特徴データに対して付加する付随情報を取得する付随情報取得ステップである。
【0074】
この処理ステップS213では、認識特徴データの基になった画像などが、表示装置121により居住者に提示されると共に、来訪者の名前、所属、更には、再来訪時の動作設定などの付随情報の入力が、居住者に向けて、促されて、促された居住者によって、操作パネル122より入力された付随情報が、取得される。
【0075】
処理ステップS214は、付随情報取得ステップ(S122)で取得した付随情報を、その付随情報に対応する認識特徴データに付加するために、認識特徴データ記録領域への書き込みを行う付随情報記録ステップである。
【0076】
かかる構成によれば、画像を、ゾーンによって、領域分割(例えば、ゾーン判定ステップS204が、複数の領域に応じた処理をすることにより、その処理の基になった複数の領域へと分割する)して、領域毎に、認識に用いる特徴データを選定(認識特徴データ選定ステップS211)する。このことにより、小領域に区切られたゾーン内での、歪みの変化が、限定され、且つ、その領域での歪みを反映した画像で、認識用特徴データが生成されることとなる。これにより、撮像画像が、歪曲収差などの、光学的な要因による、画像の歪みを有する撮影画像であっても、適切な認識用特徴データが選定されて、安定的な、個人認識を可能とすることができる。
【0077】
なお、上記された、認識特徴データ登録の処理フローは、信号処理部125上のプロセッサ126にて実行されるものであるが、その処理ステップの一部、或いは、全てが、プロセッサ126以外の信号処理部、専用ハードウェア上で実行されても良い。
【0078】
なお、付随情報取得ステップ(S213)では、居住者に向けて、付随情報の入力を促すとしていたが、認識特徴データなどを、一定期間、或いは、一定数だけ保持して、後に、居住者が、来訪者履歴から辿って、付随情報の取得、記録(ステップS213、S214)を実行しても良い。
【0079】
なお、付随情報は、再来訪時の動作についての情報でもよく、このような、再来訪時の動作の情報は、例えば、応答の是非、呼出音パターンの設定などの情報などが考えられる。
【0080】
〈個人認識処理の過程〉
次に、再来訪時の、来訪者の認識処理の過程を以下に示す。
【0081】
図3は、本発明の実施の形態1における画像処理装置の認識動作のフロー図である。
【0082】
なお、図3において、図2と同じ構成要素については、同じ符号を用い、説明を適宜、省略する。
【0083】
図3において、処理ステップS201乃至S204は、上で説明した通り、撮影された画像に対して顔検出が行われ、検出された顔の、画像上の位置によって、その位置が属するゾーンが判定されている。
【0084】
処理ステップS305は、撮影された顔画像から、特徴データを抽出する特徴データ抽出ステップである。
【0085】
処理ステップS306は、ゾーン判定ステップ(S204)で求められたゾーンに属する、全ての、登録されている認識特徴データを、認識特徴データ記録領域202から読出して、特徴データ抽出ステップ(S305)で抽出された、現顔画像の特徴データとの間で照合を行う、認識データ照合ステップである。
【0086】
ここでは、照合の結果、現顔画像の特徴データと、読み出された一つ以上の登録済みの認識特徴データのそれぞれとの間の類似度が、全て求められる。
【0087】
処理ステップS307は、認識データ照合ステップ(S306)で求められた類似度について、上記された、一つ以上の登録済みの認識特徴データのうちに、一致と判定する基準を満たした認識特徴データが存在するかを判定し、一致と判断できる認識特徴データが存在しないときには(S307:N)、処理ステップS201に戻り、一致と判断できる認識特徴データが存在する場合には(S307:Y)、処理ステップS308に、処理を移す、一致判定ステップである。
【0088】
なお、ここで、一致と判定する基準の一例としては、例えば、認識データ照合ステップ(S306)にて求められる類似度について、所定の基準値を超えているかどうかで判断することができる。また、基準を満たす認識特徴データが、複数存在した場合には、例えば、最も類似度が高い認識特徴データを、有効として判断する。
【0089】
処理ステップS308は、一致判定ステップ(S307)で、一致と判定された認識特徴データに属する付随情報を読み出す付随情報読出しステップであり、個人認識の結果として得られる、名前などの付随情報を取得している。
【0090】
処理ステップ309は、付随情報読出しステップ(S308)で読み出した付随情報を、居住者に向けて提示し、或いは、来訪者履歴を記録する処理ブロックのために、画像と共に、読み出された付随情報の記録を行う、付随データ提示ステップである。
【0091】
処理ステップS310は、カメラ撮影の終了を判定し、撮影が終了していない場合には(S310:N)、処理ステップS201に戻り、認識動作を引き続き行い、撮影が終了している場合には(S310:Y)、本認識動作を完了する。
【0092】
かかる構成によれば、顔の検出位置が、画像を領域分割したゾーンについて、どのゾーンに属するかを判定(ゾーン判定ステップS204)して、当該ゾーンにおける認識特徴データを用いて個人認識処理(認識データ照合ステップS306)を行う。このことにより、小領域に区切られたゾーン内での、歪みの変化が限定されており、且つ、そのゾーンでの歪みを反映した画像を基に作成された認識用特徴データが、認識処理に利用されることとなり、歪曲収差などの光学的な要因による、画像の歪みを有する撮影画像が用いられても、適切な認識特徴データによる照合により、安定的な個人認識を可能とすることができる。
【0093】
(実施の形態2)
<認識データ登録処理>
図4は、本発明の実施の形態2における画像処理装置の認識データ登録処理のブロック図である。
【0094】
図4において、撮像部410は、例えば、先に説明した図1における子機110に備わるカメラ111と同じものであり、図上に示していない信号処理部(例えば、撮像部410の内部に設けられた信号処理部、図1の信号処理部115など)などを介して、撮影した画像を送信するものである。
【0095】
信号処理部420は、撮像部410からの画像信号を基に、フレーム、或いはフィールド毎に、後に詳述する信号処理を行う。
【0096】
記憶部430は、信号処理部420での信号処理のための記憶領域を提供すると共に、登録される認識特徴データの記録先となる。
【0097】
なお、これらの、信号処理部420と、記憶部430とは、図1における親機120に備わる信号処理部125の一部に対応するものである。
【0098】
信号処理部420において、顔検出部421は、撮像部410によって撮影された画像から、顔を検出し、画像中の顔の有無、顔が存在する場合には、その顔の位置、サイズ、顔らしさの度合いを示す評価値を出力する。
【0099】
ゾーン判定部422は、顔検出部421で顔が検出されている場合に、その位置情報(位置情報421I)から、顔がどのゾーンに属するかを判定する。ゾーンは、画面を所定の領域分割によって区切った一つの領域を示すものである。なお、こうして、位置情報により、複数の分割領域のうちから、(属する(と判定される))分割領域が示される。
【0100】
特徴データ抽出部423は、顔検出部421で、顔を検出している場合に、検出された顔の特徴データを抽出し、その特徴データを、ゾーン判定部422で判定されたゾーンに従って分類して、記憶部430に配置された特徴データ保存領域431に保存する。
【0101】
なお、以上の、顔検出部421と、ゾーン判定部422と、特徴データ抽出部423との処理は、撮像部410による撮影が完了するまで動作する。そして、ゾーン毎に分類保存された、多数の、顔の特徴データが、特徴データ保存領域に記録されることになる。
【0102】
相互照合制御部424は、撮像部410による撮影が完了し、特徴データ抽出部423での特徴データ抽出、保存処理が完了すると、処理を開始する。そして、相互照合制御部424は、全てのゾーンについて、ゾーン単位に、以下の処理を実行する。ゾーン単位に実行される、その処理は、特徴データ保存領域431から、現在処理対象とするゾーンに属する、二つの特徴データを、全ての組合せについて読出しを行い、その全組合せについて、照合部425において、読み出された、その組合わせにおける二つの特徴データの類似度を求める処理である。そして、この処理では、最も類似度が高いと判定された特徴データを、そのゾーンの認識特徴データとして、認識特徴データ記録領域に記録する。
【0103】
付随情報取得部426は、図示していない入力部から、居住者によって入力された付随情報を取り込み、認識特徴データ記録領域(認識データ記録領域)432に記録された認識特徴データに、取り込まれた付随情報を付加するものである。
【0104】
かかる構成によれば、画像を、ゾーンによって領域分割(ゾーン判定部422)して、領域毎に、認識に用いる特徴データを選定(相互照合制御部424)する。そして、これにより、小領域に区切られたゾーン内での、歪みの変化が限定され、且つ、その領域での歪みを反映した画像で、認識用特徴データが生成されることとなる。これにより、歪曲収差などの、光学的な要因による、画像の歪みを有する撮影画像が用いられても、適切な認識用特徴データが選定され、安定的な個人認識を可能とすることができる。
【0105】
なお、本実施の形態において、顔検出部421、ゾーン判定部422、特徴データ抽出部423、相互照合制御部424、照合部425、付随情報取得部426は、固定的な回路に限るものでなく、プログラマブルな論理回路として実装しても良い。
【0106】
<個人認識処理>
図5は、本発明の実施の形態2における画像処理装置の認識処理のブロック図である。
【0107】
なお、図5において、図4と同じ構成要素については同じ符号を用い、説明を適宜、省略する。
【0108】
図5において、認識制御部(照合制御部)524は、ゾーン判定部422で判定されたゾーンに従って、認識特徴データ記録領域432から、当該ゾーンに属する認識特徴データの読出しを行う。そして、認識制御部524は、照合部425にて、読み出された認識特徴データの全てと、特徴データ抽出部423で求められた、現在の画像フレーム、或いはフィールドに存在する顔の特徴データとの間での照合を行わせ、読み出された認識特徴データの全てのうちに、一致と判定する基準を満たした認識特徴データが存在するかを判定する。そして、認識制御部524は、一致と判定できる認識特徴データが存在する場合には、一致と判定される、その認識特徴データのインデックスを、付随情報読出し部526へ通知する。
【0109】
付随情報読出し部526は、一致と判断された認識特徴データのインデックスにより、当該インデックスの認識特徴データに付随する付随情報を、認識特徴データ記録領域432から、読み出しを行う。
【0110】
表示制御部527は、付随情報読出し部526にて、付随情報が読み出されている場合には、読み出されたこの付随情報を受け取り、撮影画像と共に、その付随情報を表示するように、表示部540に対しての、表示制御を行うものである。
【0111】
かかる構成によれば、顔の検出位置が、画像を領域分割したゾーンについて、どのゾーンに属するかを判定(ゾーン判定部422)して、当該ゾーンにおける認識特徴データを用いて、個人認識処理(認識制御部524)を行う。これにより、小領域に区切られたゾーン内での、歪みの変化が限定されており、且つ、そのゾーンでの歪みを反映した画像を基に作成された認識用特徴データが、認識処理に利用されることとなる。これにより、歪曲収差などの、光学的な要因による、画像の歪みを有する撮影画像が用いられても、適切な認識特徴データによる照合により、安定的な個人認識を可能とすることができる。
【0112】
なお、顔検出部421、ゾーン判定部422、特徴データ抽出部423、認識制御部524、照合部425、付随情報読出し部526は、固定的な回路に限るものでなく、プログラマブルな論理回路として実装しても良い。
【0113】
なお、より具体的には、例えば、次の通りでもよい。
【0114】
図8は、図2の処理、図3の処理の間の関係を示すフローチャートである。
【0115】
例えば、次の図8の処理がされてもよい。つまり、図2の処理と、図3の処理との間の関係は、例えば、具体的には、図8により示される通りでもよい。
【0116】
つまり、例えば、ステップS307x(図8)において、S307(図8、図3)で、一致しないとの判定(S307:N)がされた回数が、予め定められた回数(閾値)を超えるか否かが判定されてもよい。
【0117】
そして、ステップS307yで、超えるとの判定がされた場合において(S307x:Y)、図2の処理を開始させる制御がされてもよい。つまり、超えるとの判定がされた場合に(S307x:Y)、図2の処理が行われてもよい(S307y)。
【0118】
つまり、こうして、例えば、人物が認識されないこと(S307:N)が起きた回数が予め定められた回数を超えると判定された場合に(S307x:y)、図2の処理が行われてもよい。
【0119】
なお、ここで、S307(図8、図3)の一致判定では、例えば、S306での照合結果(類似度)が、ある値(第1の閾値)を超えているかを判定する。
【0120】
つまり、例えば、類似度が0〜1で得られる場合において、判定値0.8以上を示した記録データが存在する場合を、一致と判断してもよい。
【0121】
そして、上述のように、S307の一致判定で、一致しない(S307:N)となった回数(このステップの通過回数)が、ある回数(第2の閾値)を超えているかを判定する他に、S306での類似度が、ある値(第3の閾値(例えば0.2):一致判定に用いた判定値(第1の閾値(例えば0.8))より低い値)を下回った回数をカウントして、ある回数(第4の閾値)を超えているかを判断してもよい。つまり、例えば、類似度が、0.2(=第3の閾値<第1の閾値=0.8)以下となった回数(0.2を下回った回数)をカウントし、ある回数(第4の閾値)を超えれば、図2の処理(新規の登録)に移ってもよい。
【0122】
つまり、例えば、S306での類似度が、第3の閾値(例えば0.2)を下回った回数(第3の閾値以下であった回数)が、第4の閾値を超えるか否かが判定され(S307)、超えると判定される場合に(S307x:Y)、図2の処理が行われてもよい(S307y)。
【0123】
図9は、広角レンズの歪曲収差による歪みを示す図である。
【0124】
図9の上段により、歪みのない、理想的な画像61が示され、下段により、歪みがある、実際に撮像される画像62が示される。
【0125】
図示されるように、実際に撮像される画像62では、歪みがあり、画像62の中心62Cからの、放射方向8Reへの圧縮、伸縮等の変形と、中心62Cを中心とする円周での円周方向8Rcへの圧縮、伸縮等の変形とが生じる。
【0126】
ここで、カメラ111(撮像部410)により撮像される画像8(図1、図6、図15等)における、第1の領域8R1(図6、図15)での歪みは、図9の下段における、例えば、符号621で示される位置での、第1の歪み621等である。
【0127】
そして、第2の領域8R2での歪みは、例えば、符号622で示される位置での、第2の歪み622等である。
【0128】
なお、図9で示される、これらの位置は、それぞれ、単なる例示である。
【0129】
図10は、カメラ111により撮像される人物(の顔)の映像64a1、映像64a2を示す図である。
【0130】
第1の領域8R1では、例えば、図示される、第1の歪み621による影響を受けた、人物7H(図15)の第1の映像64a1などが撮像される。つまり、第1の映像64a1は、例えば、第1の歪み621における崩れ量だけの変形(変化)が含まれる映像などである。
【0131】
一方で、第2の領域8R2では、例えば、第2の歪み622による影響を受けた、人物7Hの第2の映像64a2が撮像される。
【0132】
なお、これら、第1の映像64a1および第2の映像64a2などは、それぞれ、単なる例示である。
【0133】
なお、これら、図9、図10では、何れも、説明の便宜上、模式的な図示がされる。
【0134】
要するに、このようにして、例えば、顔検出部421と、ゾーン判定部422と、特徴データ抽出部423と、特徴データ保存領域431と、相互照合制御部424と、照合部425とを備えてもよい。そして、顔検出部421からの顔検出位置に基づき、ゾーン判定部422が、属するゾーンを判定し、特徴データ抽出部423が、ゾーン毎に分類して、抽出された特徴データについてされた分類(分割領域)に対応付けて、その特徴データを保存してもよい。そして、相互照合制御部424と照合部425とが、保存された特徴データに対して、次の処理をしてもよい。つまり、行われる処理では、ゾーン毎に、そのゾーンにおいて、最も類似度が高いと特定される特徴データを選定して、登録する。これにより、歪みを加味した照合が、ゾーン毎に実施されることになるので、歪みを有する撮像画像からでも、比較的に容易な認識が可能となる。
【0135】
なお、具体的には、例えば、ある局面などにおいて、次の通りでもよい。
【0136】
つまり、先述のようにして、顔(図10の映像64aを参照)の位置が検出される際には(顔検出部421、S202)、具体的には、例えば、顔の位置として、顔の中心の位置(鼻の位置など)が検出されてもよい。
【0137】
そして、検出された、中心の位置が、複数の領域8R(図6、図15)のうちの、何れの領域8Rに属するかが判定されてもよい(ゾーン判定部422、S204)。
【0138】
これにより、顔における、中心の位置が属する領域8R以外の領域8Rに、その顔における他の位置が属しても、適切な動作ができる。
【0139】
また、例えば、撮像される画像8(図6、図15など)における、人物7H(図15)の特徴8xを示す特徴データは、具体的には、例えば、画像8(図6、図15)のデータそのものでもよいし、そのデータに含まれる、特徴8xの情報と、他の情報とのうちで、特徴8xの情報のみから構成されてもよい。ここで、特徴8xの情報とは、例えば、画像8における、特徴8xが表れる箇所の映像(図10の映像64aを参照)でもよいし、その映像のデータから算出(抽出、変換)された、比較的小さいデータ量のデータなどでもよい。
【0140】
また、特徴データは、例えば、顔における、2つの箇所(例えば、目、鼻などのパーツのある箇所など)の間の位置関係(方向、距離(図10の特徴64b1での、2つの目の間の位置関係、特徴64b2における、2つの目の間の位置関係等を参照))を特定するベクトル等を示すデータでもよい。
【0141】
なお、こうして、例えば、先の来訪時に、画像81(図15)が撮像されて、撮像された画像81における特徴81x(例えば特徴811x)の特徴データ(例えば、図15の第1の特徴データ811D)が、その特徴8xの位置の属する領域8R(領域8R1、領域8R1のインデックス「13」)に対応付けて、認識用特徴データ(先述)として記録されてもよい。
【0142】
なお、具体的には、例えば、ある局面などにおいて、次の通りでもよい。
【0143】
つまり、複数の画像81(例えば、図15の第1の画像811、第2の画像812)が撮像され、それぞれの画像からの特徴データ(第1の特徴データ811D、第2の特徴データ812D)が、その特徴データにより示される特徴8x(第1の特徴811x、第2の特徴812x)の位置が属する領域8R(第1の領域8R1、第2の領域8R2)に対応付けて、その領域8Rに対応する認識用特徴データとして記録されてもよい。
【0144】
また、例えば、複数の画像81のうちの、特徴8xが表れた位置が、互いに同じ領域8R(例えば領域8R1)に属する2以上の画像81(図12の複数の画像811S)から、1または複数の画像81(特徴データ81JSの画像81など)が選択されてもよい(S207〜S211、相互照合制御部424を参照)。そして、選択された、それぞれの画像81についてのみ、認識用特徴データの記録がされ、選択されない他の画像81については、されなくてもよい。
【0145】
なお、上記の選択の処理において、例えば、本技術の技術領域とは異なる他の技術領域における技術が応用されてもよい。例えば、具体的には、先述された、特許文献2における技術が応用されてもよい。
【0146】
なお、こうして、他の技術領域の技術が応用される際には、例えば、適宜、応用により生じる弊害を回避するための構成が追加されてもよい。
【0147】
なお、例えば、認識データ記録領域432に、複数の領域8Rに対応した、複数の記憶域(例えば、図15の第1の記憶域4321、第2の記憶域4322など)が設けられてもよい。
【0148】
そして、認識データ記録領域432により、それぞれの記憶域(例えば第1の記憶域4321)に対して、その記憶域に対応する領域8R(第1の領域8R1)に、特徴8xが表れる画像81(第1の画像811)からの特徴データ(第1の特徴データ811D)が記憶されてもよい。
【0149】
なお、記憶域(第1の記憶域4321)に対応する領域8R(第1の領域8R1)は、例えば、その記憶域のアドレス(例えば13番地でもよい)に対応するインデックス(13番、データ811N)の領域8R(第1の領域8R1)などでもよい。
【0150】
こうして、認識データ記録領域432により、領域8R(第1の領域8R1)に対応する記憶域(第1の記憶域4321)に、特徴データ(第1の特徴データ811D)が記憶されることにより、その領域8R(第1の領域8R1、その領域8Rの番号(13番地))に対応付けて、その特徴データ(第1の特徴データ811D)が記録されてもよい。
【0151】
なお、ここで、携帯電話においては、過去に、その携帯電話に電話を掛けた相手の電話番号の履歴が記録される。
【0152】
そして、記録された履歴における、複数の電話番号のうちから、ユーザーにより電話番号が選択されて、選択された電話番号の相手の名前、所属組織(会社など)、画像、着信拒否をするか否かなどが、その携帯電話に設定される。
【0153】
例えば、これと同様にして、ドアホンシステム1でも、過去に来訪した複数の人物7H(図15)のうちのそれぞれの人物7Hについて、その人物7Hの画像81が記録されてもよい。
【0154】
そして、複数の人物7Hの画像81が表示されて、表示される複数の画像81のうちから、1又は複数の画像81が、ドアホンシステム1のユーザ(住宅7Pの居住者1U)により選択されて、選択された画像81に写された人物7Hの付随情報425I(先述:図4、図5)が、ユーザにより入力(設定)されてもよい。
【0155】
なお、それぞれの画像81と共に、その画像81が撮像された際の来訪の月日などの情報が表示されてもよい。
【0156】
なお、入力される付随情報425Iにより、その入力がされる画像81の人物7Hが、来訪した人物82Hと判定される場合でも、呼び出し音の出力などの動作をしないことが示されてもよい。つまり、このような付随情報425Iが入力されることにより、その人物7Hに対する応答が、ユーザにより拒否されることが設定がされてもよい。
【0157】
なお、このようにして、例えば、広角レンズ111x(図15)の歪曲収差による、画像8での歪み(図9における第1の歪み621、第2の歪み622を参照)の補正がされることが回避されてもよい。
【0158】
つまり、補正の画像処理で、重い処理がされないにも関わらず、上述のようにして、認識精度が向上できる。
【0159】
つまり、重い処理がされず、この種のシステムで必要な程度に十分に、処理が軽いことと、認識精度が高いこととが両立できる。
【0160】
なお、上述のように、補正の画像処理がされないことにより、ひいては、例えば、補正の画像処理のための専用のハードウェア(アプリケーションチップなど)が不要にできる。
【0161】
なお、このため、例えば、個人認識処理がされる際において、補正の画像処理をすることが不要である。このため、単位時間当りに、より多くの画像82(図15)に対する個人認識処理ができる。つまり、例えば、画像82が撮像される、単位時間当りのフレーム数が比較的多くても、全ての(より多くの)フレームでの、個人認識処理ができる。
【0162】
このように、専用のハードウェアを用いる動作と、本技術における動作などを含む複数の動作のうちで、本技術における動作が選択されることにより、好ましい形態の装置が構築できる。
【0163】
なお、認識データ記録領域432により、記録される認識用特徴データのデータベースが構築されてもよい。
【0164】
なお、信号処理部125(図1など)は、例えば、具体的には、上述された、当該信号処理部125の各機能が実装された集積回路でもよい。
【0165】
なお、符号432(図4)で示される機能ブロックは、例えば、信号処理部125の外部に設けられた記録領域への、記録の処理の制御をする第1の記録制御部でもよい。
【0166】
なお、同様に、符号432で示される機能ブロックは、第2の記録制御部でもよい。
【0167】
つまり、符号432により示される機能ブロックは、例えば、これらの記録の処理の制御を行う処理制御部でもよい。
【0168】
図11は、監視カメラシステム1bを示す図である。
【0169】
監視カメラシステム1bは、広角レンズ111bxで撮像を行うカメラ111bと、プロセッサ126bおよび記憶装置127bを有する信号処理部125bとを備える。
【0170】
そして、例えば、カメラ111bにより、監視がされる監視対象111bH(例えば、通行人など)が写された画像8(図6、図15など)が撮像されてもよい。
【0171】
そして、信号処理部125bが、先述の信号処理部125と同様の構成を有し、例えば、先述の顔検出部421などを備えてもよい。
【0172】
こうして、例えば、このような監視カメラシステム1bにおいて、上述のドアホンシステム1における処理と同様の処理がされ、同様の効果が生じてもよい。
【0173】
なお、監視カメラシステム1bにおける、単なる細部については、例えば、ドアホンシステム1での構成と同様の構成が採られてもよいし、ドアホンシステム1での構成とは違う構成が採られてもよい。
【0174】
なお、例えば、次の動作がされてもよい。なお、次の動作も、単なる一例である。また、次の動作は、例えば、ある局面でのみ行われてもよい。
【0175】
つまり、人物7H(図15)が来訪する住宅(来訪先)7Pにおいて、ドアホンシステム1が設けられてもよい。
【0176】
そして、人物7Hが来訪する来訪時に、来訪した人物7Hの画像8が、住宅7Pの玄関7Paなどにおいて、カメラ111(図1、図15(図4、図5の撮像部410))により撮像されてもよい。
【0177】
なお、撮像された画像8の一部または全部などが、住宅7Pの屋内7Pb(図15)などにおいて、住宅7Pの居住者1U(図15:ドアホンシステム1のユーザー)に対して表示装置121(図1、図15)により表示されてもよい。
【0178】
そして、このドアホンシステム1において、次の動作がされることが考えられる。
【0179】
つまり、例えば、人物7Hを含む複数の人物7HA(図15)に対応する、複数の種類の呼出音7HAsのうちで、来訪した人物82Hが、人物7Hであることを示す、人物7Hに対応する呼出音7Hsが、スピーカ124(図1、図15)により出力されることが考えられる。
【0180】
また、例えば、複数の人物7HAの情報(例えば、名前、会社などの所属組織…)のうちで、人物7Hの情報(人物7Hの名前など)が表示装置121(図1、図15)により表示されることも考えられる(図略)。
【0181】
将来的には、これらの機能が設けられることにより、ドアホンシステム1の利便性が、より向上される可能性があると考えられる。
【0182】
そこで、これらの機能が設けられるケースの詳細が考えられた際において、以下の点に気付く。
【0183】
つまり、撮像される複数の画像8のうちの1つの画像82を対象として、個人認識処理がされてもよい。
【0184】
つまり、個人認識処理では、撮像される画像82に表れる、人物7Hの特徴82xが、利用される特徴データ8uD(例えば特徴データ811D)により示される、人物7Hの特徴8ux(特徴811x)に一致する場合に、画像82の人物82Hが、特徴8uxが示される人物7Hと同一であると判定される一方で、一致しない場合に、人物7Hと同一でないと判定されてもよい。
【0185】
そして、より具体的には、例えば、個人認識処理では、人物7Hと同一と判定されることにより、画像8に写される人物82Hが、人物7Hであると認識されて、認識が成功し、同一でないと判定されることにより、人物7Hでないと認識されて、認識が失敗してもよい。
【0186】
こうして、個人認識処理では、例えば、人物82Hが、人物7Hであることが認識されることにより、複数の人物7HA(図15)のうちから、来訪した人物82Hとして、判定がされた人物7Hが特定されてもよい。
【0187】
つまり、人物7Hに対応する呼出音7Hsの出力等の処理がされることが検討される際においては、例えば、ドアホンシステム1において、このような個人認識処理がされることが導かれる。
【0188】
そして、例えば、上述の画像82が撮像される、人物7Hが来訪する、後の来訪時よりも、例えば1週間前などの、先の来訪時においても、人物7Hが住宅7Pを来訪して、この先の来訪時において、来訪した人物7Hの画像8(画像81)が撮像される可能性があると考えられる。
【0189】
そこで、先の来訪時に撮像される画像81から算出される、画像81に表れる、人物7Hの特徴81x(図15)を示す特徴データ(第1の特徴データ811Dなど)が、上述された特徴データ8uDとして、画像82を対象とする個人認識処理で利用されてもよいことが導かれる。
【0190】
なお、人物7Hの特徴8x(画像81の特徴81x、画像82の特徴82x)は、例えば、人物7Hの2つの目の間の位置関係(ベクトルなど)の情報などをいう(図10における、2つの目の間の位置関係(特徴64b1、特徴64b2)などを参照)。
【0191】
一方、ここで、この種のシステムで設けられるカメラ111は、例えば、100度以上の範囲などの、比較的広い範囲を撮像する広角レンズ(広角レンズ111x(図1、図15)、広角レンズ111bx(図11)を参照)で、撮像を行う。
【0192】
つまり、カメラ111により、住宅7Pの玄関7Paにおける、比較的広い範囲が撮像される。
【0193】
しかも、カメラ111は、この種のシステムにおける通常のカメラで必要とされる程度に、十分に小さいコストのカメラである。つまり、設けられる広角レンズは、例えば、具体的には、単純な球面レンズなどである。
【0194】
なお、カメラ111は、これらの点で、単なるデジタルスチルカメラなどとは相違する。
【0195】
このため、撮像される画像8は、デジタルスチルカメラなどで撮像される、歪み(大きな歪み)のない画像61(図9)ではなく、歪み(第1の歪み621、第2の歪み622など)がある画像62である。
【0196】
なお、第1の歪み621は、例えば、第1の領域8R1(図6、図15)での歪みで、第2の歪みは、第2の領域8R2での歪みである。なお、図9(および図10)では、これら第1の歪み621、第2の歪み622が、模式的に図示される。
【0197】
しかも、これら第1の歪み621と、第1の歪み621が生じる第1の領域8R1(図15)以外の他の第2の領域8R2で生じる第2の歪み622とは、歪みによる、画像の変形の大きさや方向が、互いに(大きく)異なる。
【0198】
なお、それぞれの歪みは、例えば、先述のように、広角レンズ111xによる、歪曲収差などでの歪みである。
【0199】
なお、ここで、歪みは、例えば、画像62の中心62C(図9)の円周方向8Rc(図9)への圧縮、伸縮などの変形の成分と、放射方向8Reへの圧縮等の、変形の成分とが合わさってなる変形による歪みなどである。
【0200】
なお、ドアホンシステム1では、多くの場合において、例えば、来訪した人物7Hが、カメラ111を発見して、発見した人物7Hが、カメラ111により撮像される画像82に、当該人物7Hの映像64a(図10)が大きく写らないように望む。このため、多くの場合に、人物7Hが、カメラ111に近い位置から離れたり、カメラ111の正面の位置から離れたりして、より大きい歪みが生じる位置へと移動する(例えば、図10の映像64a2などを参照)。
【0201】
そして、あるケースでは、先の来訪時の画像81(図15)として、第1の領域8R1において、第1の歪み621による影響を受けた、人物7Hの第1の映像64a1が写された第1の画像811(図15)が撮像される。
【0202】
他方、別のケースでは、画像81として、第2の領域8R2において、第2の歪み622による影響を受けた、人物7Hの第2の映像64a2が写された第2の画像812が撮像されると考えられる。
【0203】
このため、第1の画像811での、人物7Hの第1の映像64a1と、第2の画像812での第2の映像64a2とが(大きく)異なることが考えられる。
【0204】
つまり、第1の画像811からの第1の特徴データ811D(図15)は、第1の領域8R1に表れた、第1の歪み621による影響を受けた第1の特徴64b1(2つの目の間の位置関係など)を示す。
【0205】
他方、第2の画像812からの第2の特徴データ812D(図15)は、第2の領域8R2に表れた、第2の歪み622による影響を受けた、第1の特徴64b1とは(大きく)異なる第2の特徴64b2を示す。
【0206】
そこで、例えば、画像81(図15)に写された、人物7Hの映像64a(図10)の位置が属する領域8Rが、第1の領域8R1であるか(第1の画像811、第1の映像64a1)、第1の領域8R1以外の第2の領域8R2であるか(第2の画像812、第2の映像64a2)が判定されてもよい(ゾーン判定部422(顔検出部421およびゾーン判定部422)、S122(S121〜S122))。
【0207】
なお、顔検出部421は、具体的には、例えば、ゾーン判定部422の一部などでもよい。また、顔検出部421は、ドアホンシステム1に含まれず、外部にあってもよい。
【0208】
そして、より具体的には、例えば、人物7Hの映像64a(第1の映像64a1または第2の映像64a2)の位置が検出されて(顔検出部421、S121)、検出された位置が、第1の領域8R1に含まれる場合には、第1の領域8R1との判定がされ、第2の領域8R2に含まれる場合には、第2の領域8R2との判定がされてもよい。
【0209】
そして、第1の領域8R1(インデックス「13」、第1の記憶域4321を参照)に対応付けて記憶される特徴データ8uD1として、第1の画像811であると判定された画像81から抽出された第1の特徴データ811D(特徴データ抽出部423、S123)が記憶(特定)され、当該特徴データ8uD1として、第2の画像812との判定がされた画像81からの第2の特徴データ812Dは、記憶(特定)されなくてもよい(認識データ記録領域432、S124)。
【0210】
なお、例えば、符号432により示される機能ブロックは、例えば、予め定められた記憶領域への記憶で、このような記憶をさせる制御を行う記憶制御部を示すと考えられてもよいし、この記憶領域による記憶機能の機能ブロックを示すと考えられてもよいし、双方を含んでなる機能ブロックを示すと考えられてもよい。
【0211】
なお、符号431についても、同様である。
【0212】
そして、後の来訪時に撮像される画像82は、例えば、第1の領域8R1において、人物7Hの映像(人物の特徴82x)が撮像された画像でもよい。
【0213】
なお、図15等における、第1の領域8R1の位置(13番の位置)は、単なる例示である。なお、第2の領域8R2の位置(1番の位置)についても、同様である。
【0214】
つまり、画像82に表れる、人物7Hの特徴82x(2つの目の間の位置関係など)は、例えば、第1の領域8R1に表れる、第1の歪み621による影響を受けた第1の特徴641b1である。
【0215】
つまり、こうして、第1の領域8R1に対応付けて、第1の特徴データ8uD1が(第1の記憶域4321に)記憶されることにより、対応付けられた第1の領域8R1と同じ第1の領域8R1に特徴82xが表れる画像82の個人認識処理で、第1の特徴データ811Dが利用され、第2の特徴データ812Dが利用されなくてもよい。つまり、この個人認識処理において、画像82における特徴82x(第1の特徴64b1)が、利用される第1の特徴データ811DS(特徴データ8uD1)による特徴811x(第1の特徴64b1)と一致するかが判定され、第2の特徴データ812Dによる特徴812x(第2の特徴64b2)と一致するかの判定がされなくてもよい。
【0216】
これにより、何れも第1の特徴64b1である2つの特徴811x、82xの間での一致の判定がされ、画像82の人物82Hが、人物7Hと同一であることの認識が成功し易くなり、ひいては、複数の呼出音7HAsのうちの、人物7Hに対応する適切な呼出音7Hsが出力され易くできる。つまり、互いに異なる、第1の特徴64b1および第2の特徴64b2の間での判定がされて、認識が失敗し易くなってしまうのが回避され、つまり、呼出音7Hs以外の不適切な他の呼出音が出力されてしまい難くできる。
【0217】
これにより、確実に、適切な呼出音7Hsが出力できる。
【0218】
また、確実に、複数の人物7HAの情報(名前等)のうちの、適切な情報(人物7Hの名前等)が表示できる。
【0219】
つまり、確実に、複数の人物7HAに対応する複数の動作(複数の呼出音7HAsの出力など)のうちの、適切な動作(呼出音7Hsの出力)が実行できる。
【0220】
しかも、第2の領域8R2に表れた特徴812x(映像64a2、特徴64b2)における、第2の歪み622による影響を除去したり、その影響を、第1の歪み621での影響と同じ影響へと補正したりする余計な処理がされない。つまり、この処理のために、複雑な画像処理が必要となるのが回避される。このため、この種のシステムで必要な程度に、十分に、処理が簡単にでき、十分に、構成が簡単にできる。
【0221】
つまり、例えば、後の来訪時において、個人認識処理がされる際において、このような余計な処理が不要にできる。これにより、個人認識処理の速さが、高速にされて、単位時間当りに、より多くの画像82について、個人認識処理ができる。つまり、例えば、画像81の撮像のレートが高いなどで、単位時間当りに撮像される画像82の個数が多くても、全て(十分に多く)の画像82で、個人認識処理がされるのが維持されて、レートが高いことと、確実に、個人認識処理がされることとが両立できる。
【0222】
なお、同様に、認識用特徴情報の記録がされる際(先の来訪時)においても、補正などの余計な処理が不要にされて、不要であることからの効果が生じる。
【0223】
こうして、本ドアホンシステム1では、上述された各種の効果が両立できる。
【0224】
なお、こうして、100度以上の広い範囲を写す広角レンズ(広角レンズ111x、111bx、図10の下段を参照)での撮像がされる、ドアホンシステムなど(ドアホンシステム1、監視カメラシステムb)の技術領域において、より適切な処理がされ、より好ましい形態が構築される。
【0225】
なお、より具体的には、図6の(a)欄で示される通りでもよい。
【0226】
つまり、例えば、第1の領域8R1の形状は、第2の領域8R2の形状と同じでもよい。また、面積、縦方向の長さ、横方向の長さなども、それぞれ同じでもよい。
【0227】
つまり、具体的には、例えば、図6の(a)欄で示されるように、複数の領域8R(第1の領域8R1、第2の領域8R2…)は、1以上の縦線、および、1以上の横線で、画像8の全体の領域が分割された複数の領域でもよい。
【0228】
また、例えば、図6の(b)欄で示される通りでもよい。
【0229】
つまり、分割がされた複数の領域8Rx(第1の領域8R1x、第1の領域8R2xなど:複数の領域8R)のうちの第1の領域8R1xは、比較的大きい第1の距離だけ互いに離れた2つの位置8R1sを含んでもよい。
【0230】
そして、第2の領域8R2xは、比較的小さい第2の距離だけ互いに離れた2つの位置8R2s(のみ)を含んでもよい。
【0231】
つまり、図6の(b)欄に示されるように、例えば、第1の領域8R1xの面積は、第2の領域8Rxの面積よりも大きくてもよいし、予め定められた方向(横方向、縦方向など)の長さが、より大きくてもよい。
【0232】
そして、第1の領域8R1xの2つの位置8R1sの歪みの間での差(例えば、変形の大きさの差、変形の方向の差(角度など)…)は、2つの位置8R2sの歪みの間での差と同一(略同一)でもよい。
【0233】
つまり、例えば、第1の領域8R1xでは、単位距離当たりに生じる、歪みの差が小さく、例えば、図示されるように、画像8のうちの、中央部の領域などで、第2の領域8R2xは、単位距離当たりに生じる、歪みの差が大きく、例えば、周辺部の領域などでもよい(図9、図10などを参照)。
【0234】
これにより、画像82(図15)における、人物7Hの映像64a(図10)が表れる領域8Rxが、何れの領域8Rxでも、次の通りである。つまり、その領域8Rx(例えば第2の領域8R2x)での2つの位置(2つの位置8R2s)の間での、歪みの差は、他の領域8Rx(第1の領域8R1x)での2つの位置(2つの位置8R1s)での差と同程度で、著しく大きくならず、著しく大きいことにより、認識が、失敗し易くなってしまうことが回避され、より高い認識精度での認識ができる。これにより、映像64aの表れる領域8Rxが、何れの領域8Rxでも、高い認識精度での認識ができる。
【0235】
なお、図6における、2つの位置8R1sと、2つの位置8R2sとは、それぞれ、単なる例示である。
【0236】
つまり、例えば、2つの位置8R1sは、第1の領域8R1xにおける、平均の距離である2つの位置でもよいし、最大の距離である2つの位置などでもい。
【0237】
また、2つの位置8R2sについても、同様である。
【0238】
また、例えば、図6の(c)欄で示される通りでもよい。
【0239】
つまり、第1の領域8R1yは、画像8の中心(中心62C:図9)を中心とする円の円周8RLy(図6の(c)欄)(の全部または一部)により、他の領域(第2の領域8R2yなど)と区切られてもよい。
【0240】
つまり、画像8におけるそれぞれの位置(図6における位置8R1P、位置8R2Pなど)では、例えば、図9の画像62に示されるように、その位置までの、中心62Cからの距離に応じた大きさの、圧縮(伸長)などの変形が生じる。なお、このような変化は、例えば、放射方向8Reの向きの変形でもよい。
【0241】
つまり、第1の領域8R1yの何れの位置8R1Pも、円周8RLyに対して、同じ側(例えば、中心62Cに対して、より近い側)にあり、中心62Cまでの距離が、円の半径8R1L(図6の(c)欄)に対して有する大小関係が、互いに同じである(より小さい)。
【0242】
つまり、第1の領域8R1yにおける何れの位置8R1Pも、円周8RLyに対して、異なる側(中心62Cから、より遠い側)にある、他の領域(第2の領域8R2Y)の位置8R2Pでの距離を有さない。
【0243】
このため、第1の領域8R1yにおける何れの位置8R1Pでも、同じ距離(半径8R1Lより小さい距離)に対応する同じ(大きさの)歪みが生じ、違う距離(位置8R2Pが有する、半径8R1Lより大きい距離)に対応する歪みが生じない。
【0244】
これにより、例えば、2つの位置8R1Pのうちの一方の位置が、先の来訪時における画像81の特徴81x(図15)の位置で、他方の位置が、後の来訪時における画像82の特徴82xの位置である場合などでも、認識が成功し易くできて、認識精度が、より高くできる。
【0245】
こうして、当該画像処理装置は、撮像された前記入力画像(画像82)に表れた、前記人物の特徴(特徴82x)が、認識用特徴情報(特徴データ8uD1)により示される、当該人物の特徴に一致すると照合部(照合部425、照合部425および照合制御部524)により判定される場合に、複数の動作(複数の種類の呼出音7HAsの出力)のうちで、判定がされた当該人物(人物7H)に対応する動作(人物7Hに対応する呼び出し音7Hsの出力)を行う動作部(スピーカ124)を有する前記住宅(住宅7P)に設けられ、前記カメラ(カメラ111)は、当該入力画像(画像82)が撮像される、前記人物が当該住宅に来訪する、後の来訪時よりも先に、前記人物が来訪する、先の来訪時にも、来訪した当該人物の前記入力画像(画像81)を撮像し、先の来訪時と後の来訪時とのそれぞれにおける前記入力画像は、前記カメラに設けられた広角レンズ(広角レンズ111x)により撮像され、後の来訪時の前記入力画像で前記特徴が表れる第1の前記分割領域(第1の領域8R1)では、第1の歪み(第1の歪み621:図9)が生じ、第1の前記分割領域とは異なる第2の前記分割領域(例えば第2の領域8R2)では、第1の前記歪みとは異なる第2の歪み(第2の歪み622)が生じる画像であり、前記分割領域判定部は、複数個の、先の来訪時の前記入力画像(第1の画像811、第2の画像812)から、第1の前記分割領域に前記特徴(特徴811x)が表れる前記入力画像(第1の画像811)を特定し、前記認識情報記録部は、特定された前記入力画像における前記特徴(特徴811x)を示す前記特徴情報(第1の特徴データ811D)を、第1の前記分割領域に前記特徴(特徴82x)が表れる、後の来訪時の前記入力画像(画像82)の判定で利用される前記認識用特徴情報(特徴データ8uD1)として記録する画像処理装置が構築されてもよい。
【0246】
これにより、確実に、適切な動作(適切な呼び出し音7Hsの出力など)がされること、処理が簡単であること、および、その他の効果とが両立できる。
【0247】
つまり、例えば、前記入力画像の前記複数の分割領域(図6の第1の領域8R1x、第2の領域8R2x、第1の領域8R1y、第2の領域8R2y)は、中央部(入力画像の中心62C(図9下段)から比較的近い距離の位置の部分)における、比較的広い面積を有する前記分割領域(第1の領域8R1x、第1の領域8R1yなど)と、周辺部(中心62Cから比較的遠い距離の位置の部分)における、比較的狭い面積を有する前記分割領域(第2の領域8R2x、第2の領域8R2yなど)とを含む画像処理装置が構築されてもよい。
【0248】
すなわち、例えば、広い方の分割領域は、円周8RLyに対して、中心62Cに近い側の2つの位置8R1Pのみが含まれ(第1の分割領域8R1y)、狭い方の分割領域は、遠い側の2つの位置8R2Pのみが含まれてもよい(第2の分割領域8R2y)。
【0249】
こうして、本ドアホンシステム1では、複数の構成が組合わせられることにより、組合わせからの相乗効果が生じる。これに対して、知られる従来例では、これらの複数の構成のうちの全部または一部を欠き、相乗効果は生じない。本画像処理装置、本ドアホンシステム1は、この点で、従来例とは相違する。
【0250】
なお、画像8で生じる歪みは、例えば、図9での歪みなどよりも小さくてもよいし、更に大きくてもよい。
【0251】
なお、細部においては、例えば、単なる、公知の技術が流用されたに過ぎない形態などの、実施が比較的容易な形態が採られてもよいし、更なる改良発明が加えられた形態などが採られてもよいし、その他の形態が採られてもよい。
【0252】
また、単なる細部においては、上述の説明の通りでもよいし、上述の説明とは異なる形態にされてもよい。
【0253】
何れの形態でも、本技術が利用される限り、本技術の技術範囲に属する。
【0254】
また、上述の複数の機能を備える集積回路が構築されてもよいし、上述の複数の機能をコンピュータに実行させるためのコンピュータプログラム、このコンピュータプログラムが記憶された記憶媒体などが構築されてもよいし、上述の複数の工程が含まれた方法が構築されてもよいし、上述のコンピュータプログラムを通信する方法、上述のコンピュータプログラムのデータ構造などが構築されてもよい。
【0255】
また、互いに異なる複数の実施形態で説明された複数の技術事項などの、互いに離れた箇所で記載された複数の技術事項が適宜、組合わせられてもよい。組合わせられた形態も開示される。
【産業上の利用可能性】
【0256】
本発明にかかる画像処理装置は、画像認識のための認識特徴データ登録部(認識データ記録領域432)などを有し、上記の方法を実行し、カメラによる個人認識機能を備えたドアホンシステム等として有用である。また個人認識機能を備えた監視カメラ等の用途にも応用できる。
【0257】
つまり、本発明の画像処理装置によれば、画像処理装置での認識処理において、歪曲収差などによる、画像の歪みを有する画像での認識処理がされても、認識精度を著しく低下させることなく、安定して、高精度な認識処理を可能とすることができる。
【符号の説明】
【0258】
110 子機
111 カメラ
112、123 マイク
113、124 スピーカ
114 呼出ボタン
115、125 信号処理部
120 親機
122 操作パネル
201 特徴データ保存領域
202 認識特徴データ記録領域
410 撮像部
420 信号処理部
421 顔検出部
422 ゾーン判定部
423 特徴データ抽出部
424 相互照合制御部
425 照合部
430 記憶部
431 特徴データ保存領域
432 認識データ記録領域
524 認識制御部
701 特徴データ保存部

【特許請求の範囲】
【請求項1】
入力画像上の特定の対象物の位置を示す位置情報を検出する検出部と、
前記検出部にて検出した前記位置情報により示される前記位置が、前記入力画像の複数の分割領域のうちの何れの前記分割領域に属するかを判定する分割領域判定部と、
前記特定の対象物の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記位置が属すると判定された前記分割領域に対応付けて、当該位置が検出された前記入力画像から抽出された前記特徴情報を認識用特徴情報として記録する認識情報記録部とを備えた画像処理装置。
【請求項2】
前記分割領域判定部にて、前記位置が属すると判定された前記分割領域に対応付けて、当該位置が検出された前記入力画像から抽出された前記特徴情報が保存される特徴情報保存部と、
前記特徴情報保存部に、同じ1つの前記分割領域に対応付けて保存された複数の前記特徴情報のなかで、当該特徴情報から求められる類似度が、最も高い類似度である前記特徴情報を抽出する最大類似度抽出部とを備え、
前記認識情報記録部は、前記最大類似度抽出部にて抽出された前記特徴情報を、前記同じ1つの分割領域に対応付けられる前記認識用特徴情報として記録する請求項1に記載の画像処理装置。
【請求項3】
前記最大類似度抽出部は、同じ1つの前記分割領域に、それぞれの前記入力画像の前記位置が属する複数の前記入力画像からの複数の前記特徴情報から二つを選択するそれぞれの組合せについて、その組合わせで選択される二つの前記特徴情報の間の前記類似度を求め、最も高い前記類似度が求められた前記組合わせの二つの前記特徴情報に含まれる前記特徴情報を、前記同じ1つの分割領域に対応付けて記録される前記認識用特徴情報として抽出する請求項2に記載の画像処理装置。
【請求項4】
前記入力画像の前記複数の分割領域は、中央部における、比較的広い面積を有する前記分割領域と、周辺部における、比較的狭い面積を有する前記分割領域とを含む請求項1に記載の画像処理装置。
【請求項5】
当該画像処理装置は、
住宅に設けられ、
当該住宅に来訪した人物が写された前記入力画像を撮像するカメラが含まれる子機と、
撮像された前記入力画像を表示する表示装置、および、前記検出部と、前記分割領域判定部と、前記特徴情報抽出部と、前記認識情報記録部とを有する信号処理部を有する親機とを備えるドアホンシステムである請求項1に記載の画像処理装置。
【請求項6】
当該画像処理装置は、監視がされる監視対象が写された前記入力画像を撮像するカメラと、前記検出部、前記分割領域判定部、前記特徴情報抽出部および前記認識情報記録部を有する信号処理部とを備えるカメラ監視システムである請求項1に記載の画像処理装置。
【請求項7】
当該画像処理装置は、撮像された前記入力画像に表れた、前記人物の特徴が、認識用特徴情報により示される、当該人物の特徴に一致すると照合部により判定される場合に、複数の動作のうちで、判定がされた当該人物に対応する動作を行う動作部を有する前記住宅に設けられ、
前記カメラは、当該入力画像が撮像される、前記人物が当該住宅に来訪する、後の来訪時よりも先に、前記人物が来訪する、先の来訪時にも、来訪した当該人物の前記入力画像を撮像し、
先の来訪時と後の来訪時とのそれぞれにおける前記入力画像は、
前記カメラに設けられた広角レンズにより撮像され、
後の来訪時の前記入力画像で前記特徴が表れる第1の前記分割領域では、第1の歪みが生じ、第1の前記分割領域とは異なる第2の前記分割領域では、第1の前記歪みとは異なる第2の歪みが生じる画像であり、
前記分割領域判定部は、複数個の、先の来訪時の前記入力画像から、第1の前記分割領域に前記特徴が表れる前記入力画像を特定し、
前記認識情報記録部は、特定された前記入力画像における前記特徴を示す前記特徴情報を、第1の前記分割領域に前記特徴が表れる、後の来訪時の前記入力画像の判定で利用される前記認識用特徴情報として記録する請求項5に記載の画像処理装置。
【請求項8】
入力画像上の特定の対象物の位置を示す位置情報を検出する検出工程と、
前記検出工程にて検出した前記位置情報により示される前記位置が、前記入力画像の複数の分割領域のうちの何れの前記分割領域に属するかを判定する分割領域判定工程と、
前記特定の対象物の特徴を示す特徴情報を抽出する特徴情報抽出工程と、
前記位置が属すると判定された前記分割領域に対応付けて、当該位置に前記対象物が写された前記入力画像から抽出された前記特徴情報を認識用特徴情報として記録する認識情報記録工程とを含んだ画像処理方法。
【請求項9】
前記分割領域判定工程にて、前記位置が属すると判定された前記分割領域に対応付けて、当該位置が検出された前記入力画像から抽出された前記特徴情報が保存される特徴情報保存工程と、
前記特徴情報保存工程にて、同じ1つの前記分割領域に対応付けて保存された複数の前記特徴情報のなかで、当該特徴情報から求められる類似度が、最も高い類似度である前記特徴情報を抽出する最大類似度抽出工程とを含み、
前記認識情報記録工程では、前記最大類似度抽出工程にて抽出された前記特徴情報を、前記同じ1つの分割領域に対応付けられる前記認識用特徴情報として記録する請求項8に記載の画像処理方法。
【請求項10】
前記最大類似度抽出工程では、同じ1つの前記分割領域に、それぞれの前記入力画像の前記位置が属する複数の前記入力画像からの複数の前記特徴情報から二つを選択するそれぞれの組合せについて、その組合わせで選択される二つの前記特徴情報の間の前記類似度を求め、最も高い前記類似度が求められた前記組合わせの二つの前記特徴情報に含まれる前記特徴情報を、前記同じ1つの分割領域に対応付けて記録される前記認識用特徴情報として抽出する請求項9に記載の画像処理方法。
【請求項11】
入力画像上の特定の対象物の位置を示す位置情報を検出する検出部と、
前記検出部にて検出した前記位置情報により示される前記位置が、前記入力画像の複数の分割領域のうちの何れの前記分割領域に属するかを判定する分割領域判定部と、
前記特定の対象物の特徴を示す特徴情報を抽出する特徴情報抽出部と、
前記位置が属すると判定された前記分割領域に対応付けて、当該位置に前記対象物が写された前記入力画像から抽出された前記特徴情報を認識用特徴情報として記録する認識情報記録部とを備えた集積回路。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2012−48507(P2012−48507A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−190091(P2010−190091)
【出願日】平成22年8月26日(2010.8.26)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】