インターホン装置、来訪業者識別方法および来訪業者識別プログラム
【課題】来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるインターホン装置、来訪業者識別方法および来訪業者識別プログラムを提供すること。
【解決手段】インターホン装置１は、来訪者を撮影するカメラ２０１と、撮影した画像から人物の画像領域を検出する人物検出部２０２と、画像領域から業者の識別に適した部分画像を抽出する識別箇所抽出部２０３と、あらかじめ業者毎に登録された部分画像と抽出した部分画像とを照合して業者を照合する業者照合部２０５と、来訪者の履歴データに基づいて来訪業者の確からしさを求める業者推定部２０７と、特定された業者名、推定された業者名および部分画像のデータを出力する表示制御部２０８と、出力されたデータに基づく画像をカメラ２０１が撮影した画像に重畳して表示するモニタ２０９とを備える。
【解決手段】インターホン装置１は、来訪者を撮影するカメラ２０１と、撮影した画像から人物の画像領域を検出する人物検出部２０２と、画像領域から業者の識別に適した部分画像を抽出する識別箇所抽出部２０３と、あらかじめ業者毎に登録された部分画像と抽出した部分画像とを照合して業者を照合する業者照合部２０５と、来訪者の履歴データに基づいて来訪業者の確からしさを求める業者推定部２０７と、特定された業者名、推定された業者名および部分画像のデータを出力する表示制御部２０８と、出力されたデータに基づく画像をカメラ２０１が撮影した画像に重畳して表示するモニタ２０９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、屋外に設置されたインターホン子機で撮影した来訪者を、屋内に設置されたインターホン親機に表示するインターホン装置、来訪業者識別方法および来訪業者識別プログラムに係り、特に、来訪者を識別し、どのような業者が来訪したかをユーザに知らせることで安心を提供することが可能なインターホン装置、来訪業者識別方法および来訪業者識別プログラムに関する。
【背景技術】
【０００２】
従来、来訪者を識別する機能を備えたインターホン装置が知られている（例えば、特許文献１、２参照）。以下、図１３および図１４を用いて従来のインターホン装置の構成を説明する。
【０００３】
まず、特許文献１に記載のインターホン装置１１は、図１３に示すように、カメラ付きの子機１２と、モニタ付きのインターホン親機２０とを備えている。インターホン親機２０は、子機１２と通信するための親機ＩＦ２１と、スピーカやモニタ等からなるインターホン機能部２２と、子機１２が撮影した映像を録画する録画部２３と、録画した映像から第１顔画像データを生成する人物認証部２４と、予め第２顔画像データが記録されている記録部２５と、第１顔画像データと第２顔画像データとを比較して人物を特定する人物特定部２６と、特定された人物に応じてコメント文を作成するコメント作成部２７と、録画部２３に録画されている映像とコメント文とをネットワーク２９経由でサーバ３０にアップロードするＣＰＵ２８とを備えている。この構成により、インターホン装置１１は、留守中に来訪者があった場合でも、サーバ３０にアップロードされている映像およびコメント文をユーザに確認させることでどのような来訪者があったのかをユーザに把握させることができるようになっている。
【０００４】
次に、特許文献２に記載のインターホン装置３１は、図１４に示すように、呼出指示を行う際に用いる携帯端末３２と、ネットワーク３３を介して配信用サーバ装置３４と通信するインターホン装置４０とを備えている。携帯端末３２は、他の端末と識別するための認証用識別情報と、宅配業者等の業者を識別するための業者用識別情報とを送信するようになっている。配信用サーバ装置３４は、業者に関連付けられた音データを配信するようになっている。インターホン装置４０は、携帯端末３２と通信する子機４１と、子機４１からの呼び出しに対して応答を行う親機４２とを備え、親機４２は、携帯端末３２を認証した場合に、取得した情報に基づいて配信用サーバ装置３４から該当する音データを受信するようになっている。この構成により、インターホン装置３１は、宅配業者等の配達担当者が持参する携帯端末３２の識別情報に基づいて、業者に応じた呼出音を出力することができるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１６９２７号公報
【特許文献２】特開２００７−２３５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のインターホン装置１１では、来訪者の顔画像データとあらかじめ記憶しておいた顔画像データとを比較して人物を特定する構成なので、顔画像データが登録されていない来訪者を特定することができないという課題があった。例えば、宅配業者等の配達担当者が変更になり、その配達担当者の顔画像データが登録されていない場合、インターホン装置１１では、変更後の配達担当者を特定することができず、来訪した業者を識別することができないという課題があった。
【０００７】
また、特許文献２に記載のインターホン装置３１では、宅配業者等の配達担当者が持参する携帯端末３２の業者用識別情報に基づいて来訪した業者を識別する構成なので、携帯端末３２を持参しない業者を識別できないという課題があった。
【０００８】
本発明は、従来の課題を解決するためになされたもので、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるインターホン装置、来訪業者識別方法および来訪業者識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
従来の課題を解決するために、本発明のインターホン装置は、来訪者を撮影する撮影部と、前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部とを備えた構成を有する。
【００１０】
この構成により、本発明のインターホン装置は、業者識別画像抽出部が、来訪者の所属する業者を識別するための業者識別画像を来訪者の画像領域から抽出し、業者名識別部が、業者識別画像登録部に登録された業者識別画像と業者識別画像抽出部が抽出した業者識別画像とを照合して業者の業者名を識別するので、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができる。
【００１１】
また、本発明のインターホン装置は、前記業者の来訪履歴データを格納する来訪履歴データ格納部と、前記来訪履歴データ格納部が格納した来訪履歴データに基づいて前記来訪者の所属する業者を推定する業者推定部とを備え、前記画像データ出力部は、前記業者推定部が推定した業者の情報を前記業者識別情報のデータに含めて出力するものである構成を有している。
【００１２】
この構成により、本発明のインターホン装置は、業者の来訪履歴データを格納する来訪履歴データ格納部を備えるので、来訪した業者が識別困難な場合でも来訪履歴データに基づいて業者を推定することができる。
【００１３】
さらに、本発明のインターホン装置は、前記画像領域検出部は、前記撮影部が撮影した前記来訪者の１つ以上の画像毎に前記画像領域を検出するものであり、前記業者識別画像抽出部は、前記画像領域検出部が画像毎に検出した画像領域毎に前記業者識別画像を抽出するものである構成を有している。
【００１４】
この構成により、本発明のインターホン装置は、より適切に識別を行える業者識別画像を抽出することができる。
【００１５】
さらに、本発明のインターホン装置は、前記画像データ出力部が出力する画像データに基づいた画像を表示する表示部を備え、前記画像データ出力部は、前記表示部に表示される前記来訪者の画像領域とは異なる画像領域に前記業者識別情報を表示する画像データを出力するものである構成を有している。
【００１６】
この構成により、本発明のインターホン装置は、来訪者をより正確にユーザに提示することができる。
【００１７】
さらに、本発明のインターホン装置は、前記画像データ出力部は、前記業者識別情報の拡大または射影変換を行って画像データを出力するものである構成を有している。
【００１８】
この構成により、本発明のインターホン装置は、来訪した業者をより正確にユーザに提示することができる。
【００１９】
さらに、本発明のインターホン装置は、前記業者識別画像抽出部が抽出した業者識別画像に含まれる業者の情報が前記業者識別画像登録部に登録されていないとき、登録されていない前記業者の情報を追加登録する追加登録部を備えた構成を有している。
【００２０】
この構成により、本発明のインターホン装置は、登録されていない業者の情報を追加登録する追加登録部を備えるので、過去に来訪したことがない業者を特定できるようになる。
【００２１】
さらに、本発明のインターホン装置は、前記追加登録部は、ネットワークを通して、登録されていない前記業者の情報を取得するものである構成を有している。
【００２２】
この構成により、本発明のインターホン装置は、来訪者が訪れたときではなく、あらかじめ来訪が想定される業者を検索して追加登録することができる。
【００２３】
本発明のインターホン装置は、前記追加登録部は、前記業者識別画像抽出部が抽出した業者識別画像が前記業者識別画像登録部に登録されていないとき、前記業者識別画像抽出部が抽出した業者識別画像を追加登録するものである構成を有している。
【００２４】
この構成により、本発明の来訪業者識別方法は、来訪した業者の識別をより正確に行うことができる。
【００２５】
本発明の来訪業者識別方法は、来訪者を撮影する来訪者撮影ステップと、前記来訪者撮影ステップにおいて撮影した画像から前記来訪者の画像領域を検出する画像領域検出ステップと、前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出ステップと、あらかじめ業者毎に登録された業者識別画像と前記業者識別画像抽出ステップにおいて抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別ステップと、前記業者識別画像抽出ステップにおいて抽出した業者識別画像と前記業者名識別ステップにおいて識別した業者名とを含む業者識別情報を前記来訪者撮影ステップにおいて撮影した画像に重畳し、重畳した画像データを出力する画像データ出力ステップとを含む構成を有している。
【００２６】
この構成により、本発明の来訪業者識別方法は、業者識別画像抽出ステップにおいて、来訪者の所属する業者を識別するための業者識別画像を来訪者の画像領域から抽出し、業者名識別ステップにおいて、業者識別画像登録ステップで登録された業者識別画像と業者識別画像抽出ステップで抽出した業者識別画像とを照合して業者の業者名を識別するので、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができる。
【００２７】
本発明の来訪業者識別プログラムは、来訪した業者を識別するインターホン装置としてコンピュータを機能させるための来訪業者識別プログラムであって、前記コンピュータを、来訪者を撮影する撮影部と、前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部として機能させる構成を有している。
【００２８】
この構成により、本発明の来訪業者識別プログラムは、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、コンピュータに、来訪した業者を識別させることができる。
【発明の効果】
【００２９】
本発明によれば、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるインターホン装置、来訪業者識別方法および来訪業者識別プログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施の形態におけるインターホン装置を住宅に設置したときのイメージ図
【図２】本発明の第１の実施の形態のインターホン装置における機能ブロック図
【図３】本発明の第１の実施の形態のインターホン装置における、人物検出部の処理例を示す図
【図４】本発明の第１の実施の形態のインターホン装置における、識別箇所抽出部の処理例を示す図
【図５】本発明の第１の実施の形態のインターホン装置における、業者データ格納部に登録されたデータの例を示す図
【図６】本発明の第１の実施の形態のインターホン装置における、業者照合部の処理例を示す図
【図７】本発明の第１の実施の形態のインターホン装置における、履歴データ格納部に登録されたデータの例を示す図
【図８】本発明の第１の実施の形態のインターホン装置における、業者推定部の処理例を示す図
【図９】本発明の第１の実施の形態のインターホン装置における、表示制御部の処理例を示す図
【図１０】本発明の第１の実施の形態のインターホン装置における、モニタに表示される画像の例を示す図
【図１１】本発明の第１の実施の形態のインターホン装置における、インターホン装置の動作説明のためのフロー図
【図１２】本発明の第２の実施の形態のインターホン装置における機能ブロック図
【図１３】従来のインターホン装置における機能ブロック図
【図１４】従来のインターホン装置における機能ブロック図
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３２】
（第１の実施の形態）
図１は、本実施の形態におけるインターホン装置を住宅に設置したときのイメージ図である。
【００３３】
図１に示すように、本実施の形態におけるインターホン装置１は、インターホン親機１０２と、インターホン子機１０３とを備えている。インターホン親機１０２は、住宅１０１の屋内に設置され、通話部１０４、操作部１０６、モニタ２０９を備えている。インターホン子機１０３は、住宅１０１の屋外に設置され、通話部１０５、操作部１０７、カメラ２０１を備えている。
【００３４】
なお、図示を省略したが、通話部１０４および１０５は、音声を入力して音声信号に変換するマイク、音声信号を増幅するアンプ、音声信号を音声に変換して出力するスピーカ、インターホン親機１０２とインターホン子機１０３との間で音声信号を送受信する通話インターフェース等を備えている。また、操作部１０６は家人が機能を選択する機能キー、操作部１０７は来訪者が押す呼び出しボタンを備えている。
【００３５】
図２は、本実施の形態におけるインターホン装置１の主要部の機能ブロック図である。
【００３６】
本実施の形態におけるインターホン装置１において、インターホン子機１０３は、カメラ２０１を備え、インターホン親機１０２は、人物検出部２０２、識別箇所抽出部２０３、業者データ格納部２０４、業者照合部２０５、履歴データ格納部２０６、業者推定部２０７、表示制御部２０８、モニタ２０９を備えている。
【００３７】
なお、図２においては、図１に示した通話部１０４および１０５、操作部１０６および１０７の図示を省略している。また、インターホン装置１は、装置全体の動作を制御する制御部を備えており、この制御部は、例えば、ＣＰＵと、プログラムＲＯＭと、作業用ＲＡＭと、入出力インターフェースとを備えたマイクロプロセッサで構成されている。
【００３８】
以下、インターホン装置１の各構成要素について説明する。
【００３９】
カメラ２０１は、屋外のインターホン子機１０３に設置され、来訪者の姿を撮影するものである。このカメラ２０１は、本発明に係る撮影部を構成する。カメラ２０１は、操作部１０７（図１参照）に用意された呼び出しボタンが来訪者により押されたときに撮影を開始する構成であっても良いし、常時撮影する構成であっても良い。
【００４０】
人物検出部２０２は、カメラ２０１が撮影した撮影画像から来訪者の画像が存在する画像領域を検出するものである。この人物検出部２０２は、本発明に係る画像領域検出部を構成する。
【００４１】
図３は、人物検出部２０２が行う人物検出の処理例を示す図である。図３に示すように、人物検出部２０２は、来訪者が存在しない状態であらかじめ背景画像３０１を取得しておき、この背景画像３０１と来訪者の姿を撮影した画像３０２との差分を計算することにより得られる画像３０３から来訪者の画像領域３０４を得ることができる。
【００４２】
この来訪者の画像領域３０４は後述する識別処理で用いられるので、撮影するタイミングによっては画像３０２に含まれる来訪者の画像が、例えば、横を向いている画像となってしまい、識別処理が困難となることがあり得る。これを防ぐため、複数の異なるタイミングで来訪者の姿を撮影した画像を取得するよう、インターホン装置１を構成しても良い。例えば、インターホン装置１は、最初に取得した画像と、それ以降のあるタイミングで撮影した画像との差分のサイズが、あらかじめ設定した値より大きくなったときに次の画像を取得することを繰り返し、あらかじめ設定した枚数の画像を取得するようにする。この場合、後述する識別処理においては取得した複数の画像に対して同様の処理を施す。
【００４３】
識別箇所抽出部２０３は、人物検出部２０２により検出された人物の画像領域の中から、業者を識別するのに適した箇所を部分画像として抽出するものである。この識別箇所抽出部２０３は、本発明に係る業者識別画像抽出部を構成する。
【００４４】
業者を識別するのに適した箇所とは、来訪者の胸部や腕部や帽子などに貼り付けられた業者の社名やロゴマーク等を表示するエンブレム、来訪者が持参している荷物、来訪者の顔、等をいう。
【００４５】
図４は、識別箇所抽出部２０３が行う識別箇所抽出の処理例を示す図である。人物の画像領域を検出した画像４０１から、顔画像は人物の画像領域の上方に位置するという知識や、画像中の肌色を検出する方法などを用いて、顔の部分画像４０２を抽出することができる。また、一般的に業者のエンブレムが貼り付けられていると考えられる胸部の部分画像４０３、腕部の部分画像４０４および帽子の部分画像４０５も同じように画像の位置関係から抽出することができる。また、業者を識別するのに適した箇所は何らかのテクスチャ（texture）が存在する領域と考えられるので、人物の画像領域中からテクスチャのエッジを検出し、エッジの存在位置に基づいて各部分画像を抽出しても良い。
【００４６】
業者データ格納部２０４は、来訪者がどの業者であるかを識別・推定するためのデータを、あらかじめ業者毎に分類して登録しておくものである。業者を識別・推定するためのデータは、例えば、新聞や宅配便のような業種で大分類、○○新聞や××運送のような業者名で中分類、のように段階的に分類しても良い。この業者データ格納部２０４は、本発明に係る業者識別画像登録部を構成する。
【００４７】
図５は業者データ格納部２０４に登録された、業者を識別するための識別用データを例示した図である。図５に例示した識別用データは、大分類として業種、中分類として業者名が設定されている。また、識別用データには、業種＝「新聞」に含まれる業者名として「○○新聞」と「□□新聞」が登録されており、業種＝「宅配便」に含まれる業者名として「××運送」と「△△運輸」が登録されている。また、識別用データには、それぞれの業者毎に識別データが１つ以上登録されている。例えば、「○○新聞」の識別データＡには、そのエンブレムの画像が登録され、識別データＢには、その担当者の顔画像データが登録されている。また、「△△運輸」の識別データＡおよびＢには、それぞれ、互いに異なるエンブレムの画像が登録されている。
【００４８】
業者照合部２０５は、識別箇所抽出部２０３により抽出された部分画像（以下「抽出部分画像」という。）と、業者データ格納部２０４に登録されている識別用データとを照合して、来訪した業者を識別するものである。この業者照合部２０５は、本発明に係る業者名識別部を構成する。
【００４９】
図６は、業者照合部２０５が行う業者照合の処理例を示す図である。図６において、部分画像６０１、６０２は、識別箇所抽出部２０３により抽出された抽出部分画像であり、識別用データ６０３は、業者データ格納部２０４に登録されたデータである。業者照合部２０５は、部分画像６０１、６０２を識別用データ６０３とそれぞれ照合し、合計で（抽出部分画像数）×（識別用データ数）通りの類似度を求める。このとき、業者照合部２０５は、大きさや傾きに考慮した照合を行うと、より精度の良い類似度が得られる。業者照合部２０５は、あらかじめ業者特定のためのしきい値を設定しておき、求めた類似度が設定したしきい値以上となった場合、照合した抽出部分画像は、照合した識別用データの属する業者のものであると判定する。
【００５０】
履歴データ格納部２０６は、過去に来訪した業者の来訪履歴を登録しておくものである。具体的には、履歴データ格納部２０６は、来訪した業者名を、来訪した日付、曜日、時刻などと関連付けて格納する。また、履歴データ格納部２０６は、例えば、ユーザが通信販売で注文した情報や新聞を契約した期間など、業者の来訪を推定できる他の情報をユーザが追加で格納できる構成としても良い。この履歴データ格納部２０６は、本発明に係る来訪履歴データ格納部を構成する。
【００５１】
図７は履歴データ格納部２０６に格納されたデータの例を示す図である。図７に例示したデータは、大分類として業種、中分類として業者名が設定されている。また、このデータは、業者毎に過去の来訪履歴として日付、曜日、時刻が登録されている。さらに、このデータは、曜日の欄に祝日であるか否かの情報が追加登録されている。
【００５２】
業者推定部２０７は、主に業者照合部２０５によって来訪者の業者名が識別できなかった場合や、複数の業者名の候補があり一つの業者に特定できなかった場合などにおいて、履歴データ格納部２０６に登録されたデータを基に、より確からしい業者名を求めるために、業者毎に確からしさを出力する。業者照合部２０５によって来訪者の業者名が識別できた場合においても、業者推定部２０７により識別された業者の確からしさを求め、補足情報としても良い。
【００５３】
業者推定部２０７は、履歴データ格納部２０６に登録されたデータを基に、業者が来訪した日付、曜日、時刻から、それぞれの項目毎に次に示すような分類に該当する履歴データが何個あるかを業者毎に集計する。そして、業者推定部２０７は、この集計結果から、各業者の履歴データ数の割合をその業者の確からしさとする。分類の方法としては、例えば、日付は、上旬、中旬、下旬に分類する。曜日は、平日と、土曜日、日曜日、祝祭日を含めた休日とに分類する。時刻は、午前、昼、夕方、夜、深夜の各時間帯に分類する。ここで、分類は、曜日と時間帯とを組み合わせて、「休日」の「夕方」、のように複数項目を用いても良い。
【００５４】
図８は、業者推定部２０７が行う業者推定の処理例を示す図である。来訪日時が「２０１０／２／１１（木・祝）１２：５０」とすると、前述の分類方法によると、日付は「中旬」、曜日は祝日なので「休日」、時間帯は「昼」となる。ここで、曜日と時間帯とを組み合わせた分類にて該当する履歴データを抽出すると、□□新聞が１件、××運送が２件となる。
【００５５】
よって、業者推定部２０７は、来訪した業者の確からしさとして、□□新聞が（１／（１＋２））×１００＝３３［％］、××運送が（２／（１＋２））×１００＝６６［％］であるとする。
【００５６】
表示制御部２０８は、業者照合部２０５によって特定された業者名のデータ、業者推定部２０７によって推定された業者名のデータ、識別箇所抽出部２０３によって抽出された抽出部分画像のデータをモニタ２０９に送るものである。この表示制御部２０８は、本発明に係る画像データ出力部を構成する。
【００５７】
具体的には、表示制御部２０８は、業者照合部２０５の求めた類似度があらかじめ設定したしきい値以上となった場合、しきい値以上となった類似度の業者名のデータをモニタ２０９に送る。
【００５８】
また、表示制御部２０８は、業者推定部２０７から複数の業者名の確からしさが出力された場合、求めた確からしさの値があらかじめ設定したしきい値以上の業者名と、その確からしさの値のデータとをモニタ２０９に送る。または、表示制御部２０８は、確からしさの値が大きい順に、あらかじめ設定した数の業者名と、その確からしさの値のデータとをモニタ２０９に送る。
【００５９】
また、表示制御部２０８は、業者照合部２０５の求めた類似度があらかじめ設定したしきい値以上となるものが無い場合や、業者推定部２０７から複数の業者名の確からしさが出力され、求めた確からしさの値があらかじめ設定したしきい値以上となるものが無い場合は、識別箇所抽出部２０３で抽出された抽出部分画像のデータをモニタ２０９に送る。また、表示制御部２０８は、業者照合部２０５の求めた類似度があらかじめ設定したしきい値以上となった場合や、業者推定部２０７から複数の業者名の確からしさが出力され、求めた確からしさの値があらかじめ設定したしきい値以上となった場合にも、ユーザが確認できるように業者名と合わせて該当する抽出部分画像のデータをモニタ２０９に送っても良い。
【００６０】
図９は表示制御部２０８の処理対象データの一例を示す図である。データ９０１は、業者推定部２０７によって推定された複数の業者名と、その確からしさとを示している。また、画像９０２は、データ９０１に対応する業者のエンブレム部分画像の一例であって、識別箇所抽出部２０３により抽出されたものである。
【００６１】
さらに、表示制御部２０８は、業者名や抽出部分画像をモニタ２０９に表示する位置やサイズを撮影された画像に応じて変更することができる構成としても良い。モニタ２０９において業者名や抽出部分画像の表示位置が来訪者の画像と重なってしまうと、ユーザがモニタ２０９を見て来訪者を正確に確認できなくなってしまう。これを防ぐため、表示制御部２０８は、モニタ２０９に業者名や抽出部分画像を表示する際に、人物検出部２０２により検出された人物の画像領域以外の位置に、人物の画像領域と重ならないサイズとなるよう業者名や抽出部分画像のサイズを変更する。
【００６２】
また、モニタ２０９に表示された抽出部分画像が小さいと、ユーザは業者の確認が困難になってしまう。この場合は、抽出部分画像を拡大してユーザが確認しやすいサイズに変更するのが望ましい。そこで、表示制御部２０８は、抽出部分画像があらかじめ設定したサイズより小さい場合に、抽出部分画像を拡大することができる構成とするのが望ましい。
【００６３】
また、抽出部分画像がカメラ２０１と正対した位置で撮影されたものではなく、斜め方向から撮影した画像となっているような場合もユーザは業者の確認が困難になってしまう。これを防ぐため、表示制御部２０８は、例えば、斜め方向から撮影した長方形を正対して撮影した長方形に変換するような射影変換を施して得られる画像データをモニタ２０９に送るようにする。この場合、元々の業者のマークが長方形ではないとき等は、逆に確認が困難になってしまうことも考えられるので、表示制御部２０８は、変換前後の画像を交互にモニタ２０９に表示するよう制御する構成としてもよい。
【００６４】
モニタ２０９は、屋内のインターホン親機１０２に設置され、表示制御部２０８によって送られた業者名の情報や画像を、カメラ２０１が撮影した映像に重畳して表示するものである。このモニタ２０９は、本発明に係る表示部を構成する。
【００６５】
図１０はモニタ２０９に表示される画像の例を示す図である。画像１００１は、表示制御部２０８からデータ９０１および画像９０２（図９参照）が送られたときの表示例を示している。画像１００１の下方に、複数の業者名と、その確からしさと、それらに対応する抽出部分画像とが表示されている。
【００６６】
また、画像１００２は、画像１００１に示した表示例に対して、表示制御部２０８によって業者名や抽出部分画像の表示位置およびサイズが変更された表示例を示している。人物の画像領域（斜線部）と重ならないように、業者名や各データの表示位置および表示順が変更されており、抽出部分画像は表示位置および表示サイズが変更されている。
【００６７】
以上のように構成されたインターホン装置について、図１１を用いてその動作を説明する。
【００６８】
まず、カメラ２０１により来訪者が写っている画像を取得し（ステップＳ１１０１）、人物検出部２０２によりその画像中の人物が存在する画像領域を検出する（ステップＳ１１０２）。
【００６９】
次に、識別箇所抽出部２０３により人物の画像領域の中から業者を識別するのに適した箇所の部分画像を抽出し（ステップＳ１１０３）、抽出された抽出部分画像と業者データ格納部２０４に登録されているデータとを業者照合部２０５により照合する（ステップＳ１１０４）。
【００７０】
さらに、業者推定部２０７により履歴データ格納部２０６に登録されたデータを基に業者毎の確からしさを出力する（ステップＳ１１０５）。
【００７１】
そして、表示制御部２０８により、特定または推定された業者名や抽出された抽出部分画像のデータをモニタ２０９に送り、モニタ２０９に表示する（ステップＳ１１０６）。
【００７２】
なお、前述した動作内容をプログラミングすることにより、図２に示したインターホン装置１をコンピュータで実現することができる。
【００７３】
以上のように、本実施の形態のインターホン装置１によれば、屋外に設置されたインターホン子機１０３で撮影した画像から来訪者の画像領域３０４を検出し、画像領域３０４のうち識別に適した箇所を抽出して照合することで、来訪した業者を識別することができる。したがって、インターホン装置１は、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができる。その結果、インターホン装置１は、どのような業者が来訪したかを屋内に設置されたインターホン親機１０２に表示してユーザに知らせることでユーザに安心を提供することができる。また、インターホン装置１は、来訪者の識別が困難な場合でも履歴データ格納部２０６に格納されたデータを参照することで業者を推定できる。
【００７４】
（第２の実施の形態）
図１２は、本発明の第２の実施の形態における機能ブロック図である。以下、第１の実施の形態と同一の構成要素については説明を省略し、異なる部分のみ説明する。
【００７５】
本実施の形態のインターホン装置２は、インターホン親機１２００を備えている。インターホン親機１２００は、追加登録部１２０１を備えている。追加登録部１２０１は、来訪者が業者データ格納部２０４に登録されていない業者に所属する人物であった場合に、業者データ格納部２０４に新たな業者データを追加登録するものである。または、追加登録部１２０１は、業者データ格納部２０４に登録されている業者ではあるが、識別箇所抽出部２０３によって抽出された抽出部分画像が識別データとして登録されていない場合に、該当の業者の識別データに新たな識別データを追加登録するものである。
【００７６】
追加登録は、図１２には図示していない操作部１０６（図１参照）を介して、ユーザが登録処理を行う。新たな業者データを追加登録する場合は、ユーザが操作部１０６を操作して正しい業者名を入力する。新たな識別データを追加登録する場合は、識別するのに適した箇所か否か（例えば、他の業者と区別しやすいエンブレムのデザインであるか否か、または、カメラ２０１で撮影しやすい箇所か否か、等）をユーザが判断して、適している場合のみ登録処理を行う。
【００７７】
また、追加登録する業者名は、来訪者とユーザの通話内容の中から音声認識により業者名を自動的に抽出しても良い。ただし、追加登録処理のときには、正しく認識されたか否かを最終的にユーザが判断するのが望ましい。
【００７８】
また、追加登録部１２０１は、汎用ネットワーク１２０２を通して各種の業者サイト１２０３に接続しており、前述の新たな業者データを追加登録する場合に、この業者サイト１２０３を検索して業者名を入手する構成としても良い。さらに、来訪者が訪れたときではなく、あらかじめ来訪が想定される業者を検索して追加登録するようにしても良い。
【００７９】
以上のように、本実施の形態のインターホン装置２によれば、初めて来訪した業者について新たに識別のためのデータを追加登録することで、以降の来訪時に業者を特定できるようになる。また、インターホン装置２によれば、汎用ネットワーク１２０２を介し、あらかじめ識別のためのデータを追加登録することで、これまでに来訪したことがない業者を特定できるようになる。これにより、インターホン装置２は、どのような業者が来訪したかを屋内に設置されたインターホン親機１２００に表示してユーザに知らせることでユーザに安心を提供することができる。
【産業上の利用可能性】
【００８０】
本発明に係るインターホン装置、来訪業者識別方法および来訪業者識別プログラムは、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるという効果を有し、屋外に設置されたインターホン子機で撮影した来訪者を、屋内に設置されたインターホン親機に表示するインターホン装置、来訪業者識別方法および来訪業者識別プログラム等として有用である。
【符号の説明】
【００８１】
１０１ 住宅
１０２、１２００ インターホン親機
１０３ インターホン子機
１０４、１０５ 通話部
１０６、１０７ 操作部
２０１ カメラ（撮影部）
２０２ 人物検出部（画像領域検出部）
２０３ 識別箇所抽出部（業者識別画像抽出部）
２０４ 業者データ格納部（業者識別画像登録部）
２０５ 業者照合部（業者名識別部）
２０６ 履歴データ格納部（来訪履歴データ格納部）
２０７ 業者推定部
２０８ 表示制御部（画像データ出力部）
２０９ モニタ（表示部）
１２０１ 追加登録部
１２０２ 汎用ネットワーク
１２０３ 業者サイト
【技術分野】
【０００１】
本発明は、屋外に設置されたインターホン子機で撮影した来訪者を、屋内に設置されたインターホン親機に表示するインターホン装置、来訪業者識別方法および来訪業者識別プログラムに係り、特に、来訪者を識別し、どのような業者が来訪したかをユーザに知らせることで安心を提供することが可能なインターホン装置、来訪業者識別方法および来訪業者識別プログラムに関する。
【背景技術】
【０００２】
従来、来訪者を識別する機能を備えたインターホン装置が知られている（例えば、特許文献１、２参照）。以下、図１３および図１４を用いて従来のインターホン装置の構成を説明する。
【０００３】
まず、特許文献１に記載のインターホン装置１１は、図１３に示すように、カメラ付きの子機１２と、モニタ付きのインターホン親機２０とを備えている。インターホン親機２０は、子機１２と通信するための親機ＩＦ２１と、スピーカやモニタ等からなるインターホン機能部２２と、子機１２が撮影した映像を録画する録画部２３と、録画した映像から第１顔画像データを生成する人物認証部２４と、予め第２顔画像データが記録されている記録部２５と、第１顔画像データと第２顔画像データとを比較して人物を特定する人物特定部２６と、特定された人物に応じてコメント文を作成するコメント作成部２７と、録画部２３に録画されている映像とコメント文とをネットワーク２９経由でサーバ３０にアップロードするＣＰＵ２８とを備えている。この構成により、インターホン装置１１は、留守中に来訪者があった場合でも、サーバ３０にアップロードされている映像およびコメント文をユーザに確認させることでどのような来訪者があったのかをユーザに把握させることができるようになっている。
【０００４】
次に、特許文献２に記載のインターホン装置３１は、図１４に示すように、呼出指示を行う際に用いる携帯端末３２と、ネットワーク３３を介して配信用サーバ装置３４と通信するインターホン装置４０とを備えている。携帯端末３２は、他の端末と識別するための認証用識別情報と、宅配業者等の業者を識別するための業者用識別情報とを送信するようになっている。配信用サーバ装置３４は、業者に関連付けられた音データを配信するようになっている。インターホン装置４０は、携帯端末３２と通信する子機４１と、子機４１からの呼び出しに対して応答を行う親機４２とを備え、親機４２は、携帯端末３２を認証した場合に、取得した情報に基づいて配信用サーバ装置３４から該当する音データを受信するようになっている。この構成により、インターホン装置３１は、宅配業者等の配達担当者が持参する携帯端末３２の識別情報に基づいて、業者に応じた呼出音を出力することができるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１６９２７号公報
【特許文献２】特開２００７−２３５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のインターホン装置１１では、来訪者の顔画像データとあらかじめ記憶しておいた顔画像データとを比較して人物を特定する構成なので、顔画像データが登録されていない来訪者を特定することができないという課題があった。例えば、宅配業者等の配達担当者が変更になり、その配達担当者の顔画像データが登録されていない場合、インターホン装置１１では、変更後の配達担当者を特定することができず、来訪した業者を識別することができないという課題があった。
【０００７】
また、特許文献２に記載のインターホン装置３１では、宅配業者等の配達担当者が持参する携帯端末３２の業者用識別情報に基づいて来訪した業者を識別する構成なので、携帯端末３２を持参しない業者を識別できないという課題があった。
【０００８】
本発明は、従来の課題を解決するためになされたもので、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるインターホン装置、来訪業者識別方法および来訪業者識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
従来の課題を解決するために、本発明のインターホン装置は、来訪者を撮影する撮影部と、前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部とを備えた構成を有する。
【００１０】
この構成により、本発明のインターホン装置は、業者識別画像抽出部が、来訪者の所属する業者を識別するための業者識別画像を来訪者の画像領域から抽出し、業者名識別部が、業者識別画像登録部に登録された業者識別画像と業者識別画像抽出部が抽出した業者識別画像とを照合して業者の業者名を識別するので、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができる。
【００１１】
また、本発明のインターホン装置は、前記業者の来訪履歴データを格納する来訪履歴データ格納部と、前記来訪履歴データ格納部が格納した来訪履歴データに基づいて前記来訪者の所属する業者を推定する業者推定部とを備え、前記画像データ出力部は、前記業者推定部が推定した業者の情報を前記業者識別情報のデータに含めて出力するものである構成を有している。
【００１２】
この構成により、本発明のインターホン装置は、業者の来訪履歴データを格納する来訪履歴データ格納部を備えるので、来訪した業者が識別困難な場合でも来訪履歴データに基づいて業者を推定することができる。
【００１３】
さらに、本発明のインターホン装置は、前記画像領域検出部は、前記撮影部が撮影した前記来訪者の１つ以上の画像毎に前記画像領域を検出するものであり、前記業者識別画像抽出部は、前記画像領域検出部が画像毎に検出した画像領域毎に前記業者識別画像を抽出するものである構成を有している。
【００１４】
この構成により、本発明のインターホン装置は、より適切に識別を行える業者識別画像を抽出することができる。
【００１５】
さらに、本発明のインターホン装置は、前記画像データ出力部が出力する画像データに基づいた画像を表示する表示部を備え、前記画像データ出力部は、前記表示部に表示される前記来訪者の画像領域とは異なる画像領域に前記業者識別情報を表示する画像データを出力するものである構成を有している。
【００１６】
この構成により、本発明のインターホン装置は、来訪者をより正確にユーザに提示することができる。
【００１７】
さらに、本発明のインターホン装置は、前記画像データ出力部は、前記業者識別情報の拡大または射影変換を行って画像データを出力するものである構成を有している。
【００１８】
この構成により、本発明のインターホン装置は、来訪した業者をより正確にユーザに提示することができる。
【００１９】
さらに、本発明のインターホン装置は、前記業者識別画像抽出部が抽出した業者識別画像に含まれる業者の情報が前記業者識別画像登録部に登録されていないとき、登録されていない前記業者の情報を追加登録する追加登録部を備えた構成を有している。
【００２０】
この構成により、本発明のインターホン装置は、登録されていない業者の情報を追加登録する追加登録部を備えるので、過去に来訪したことがない業者を特定できるようになる。
【００２１】
さらに、本発明のインターホン装置は、前記追加登録部は、ネットワークを通して、登録されていない前記業者の情報を取得するものである構成を有している。
【００２２】
この構成により、本発明のインターホン装置は、来訪者が訪れたときではなく、あらかじめ来訪が想定される業者を検索して追加登録することができる。
【００２３】
本発明のインターホン装置は、前記追加登録部は、前記業者識別画像抽出部が抽出した業者識別画像が前記業者識別画像登録部に登録されていないとき、前記業者識別画像抽出部が抽出した業者識別画像を追加登録するものである構成を有している。
【００２４】
この構成により、本発明の来訪業者識別方法は、来訪した業者の識別をより正確に行うことができる。
【００２５】
本発明の来訪業者識別方法は、来訪者を撮影する来訪者撮影ステップと、前記来訪者撮影ステップにおいて撮影した画像から前記来訪者の画像領域を検出する画像領域検出ステップと、前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出ステップと、あらかじめ業者毎に登録された業者識別画像と前記業者識別画像抽出ステップにおいて抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別ステップと、前記業者識別画像抽出ステップにおいて抽出した業者識別画像と前記業者名識別ステップにおいて識別した業者名とを含む業者識別情報を前記来訪者撮影ステップにおいて撮影した画像に重畳し、重畳した画像データを出力する画像データ出力ステップとを含む構成を有している。
【００２６】
この構成により、本発明の来訪業者識別方法は、業者識別画像抽出ステップにおいて、来訪者の所属する業者を識別するための業者識別画像を来訪者の画像領域から抽出し、業者名識別ステップにおいて、業者識別画像登録ステップで登録された業者識別画像と業者識別画像抽出ステップで抽出した業者識別画像とを照合して業者の業者名を識別するので、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができる。
【００２７】
本発明の来訪業者識別プログラムは、来訪した業者を識別するインターホン装置としてコンピュータを機能させるための来訪業者識別プログラムであって、前記コンピュータを、来訪者を撮影する撮影部と、前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部として機能させる構成を有している。
【００２８】
この構成により、本発明の来訪業者識別プログラムは、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、コンピュータに、来訪した業者を識別させることができる。
【発明の効果】
【００２９】
本発明によれば、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるインターホン装置、来訪業者識別方法および来訪業者識別プログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施の形態におけるインターホン装置を住宅に設置したときのイメージ図
【図２】本発明の第１の実施の形態のインターホン装置における機能ブロック図
【図３】本発明の第１の実施の形態のインターホン装置における、人物検出部の処理例を示す図
【図４】本発明の第１の実施の形態のインターホン装置における、識別箇所抽出部の処理例を示す図
【図５】本発明の第１の実施の形態のインターホン装置における、業者データ格納部に登録されたデータの例を示す図
【図６】本発明の第１の実施の形態のインターホン装置における、業者照合部の処理例を示す図
【図７】本発明の第１の実施の形態のインターホン装置における、履歴データ格納部に登録されたデータの例を示す図
【図８】本発明の第１の実施の形態のインターホン装置における、業者推定部の処理例を示す図
【図９】本発明の第１の実施の形態のインターホン装置における、表示制御部の処理例を示す図
【図１０】本発明の第１の実施の形態のインターホン装置における、モニタに表示される画像の例を示す図
【図１１】本発明の第１の実施の形態のインターホン装置における、インターホン装置の動作説明のためのフロー図
【図１２】本発明の第２の実施の形態のインターホン装置における機能ブロック図
【図１３】従来のインターホン装置における機能ブロック図
【図１４】従来のインターホン装置における機能ブロック図
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３２】
（第１の実施の形態）
図１は、本実施の形態におけるインターホン装置を住宅に設置したときのイメージ図である。
【００３３】
図１に示すように、本実施の形態におけるインターホン装置１は、インターホン親機１０２と、インターホン子機１０３とを備えている。インターホン親機１０２は、住宅１０１の屋内に設置され、通話部１０４、操作部１０６、モニタ２０９を備えている。インターホン子機１０３は、住宅１０１の屋外に設置され、通話部１０５、操作部１０７、カメラ２０１を備えている。
【００３４】
なお、図示を省略したが、通話部１０４および１０５は、音声を入力して音声信号に変換するマイク、音声信号を増幅するアンプ、音声信号を音声に変換して出力するスピーカ、インターホン親機１０２とインターホン子機１０３との間で音声信号を送受信する通話インターフェース等を備えている。また、操作部１０６は家人が機能を選択する機能キー、操作部１０７は来訪者が押す呼び出しボタンを備えている。
【００３５】
図２は、本実施の形態におけるインターホン装置１の主要部の機能ブロック図である。
【００３６】
本実施の形態におけるインターホン装置１において、インターホン子機１０３は、カメラ２０１を備え、インターホン親機１０２は、人物検出部２０２、識別箇所抽出部２０３、業者データ格納部２０４、業者照合部２０５、履歴データ格納部２０６、業者推定部２０７、表示制御部２０８、モニタ２０９を備えている。
【００３７】
なお、図２においては、図１に示した通話部１０４および１０５、操作部１０６および１０７の図示を省略している。また、インターホン装置１は、装置全体の動作を制御する制御部を備えており、この制御部は、例えば、ＣＰＵと、プログラムＲＯＭと、作業用ＲＡＭと、入出力インターフェースとを備えたマイクロプロセッサで構成されている。
【００３８】
以下、インターホン装置１の各構成要素について説明する。
【００３９】
カメラ２０１は、屋外のインターホン子機１０３に設置され、来訪者の姿を撮影するものである。このカメラ２０１は、本発明に係る撮影部を構成する。カメラ２０１は、操作部１０７（図１参照）に用意された呼び出しボタンが来訪者により押されたときに撮影を開始する構成であっても良いし、常時撮影する構成であっても良い。
【００４０】
人物検出部２０２は、カメラ２０１が撮影した撮影画像から来訪者の画像が存在する画像領域を検出するものである。この人物検出部２０２は、本発明に係る画像領域検出部を構成する。
【００４１】
図３は、人物検出部２０２が行う人物検出の処理例を示す図である。図３に示すように、人物検出部２０２は、来訪者が存在しない状態であらかじめ背景画像３０１を取得しておき、この背景画像３０１と来訪者の姿を撮影した画像３０２との差分を計算することにより得られる画像３０３から来訪者の画像領域３０４を得ることができる。
【００４２】
この来訪者の画像領域３０４は後述する識別処理で用いられるので、撮影するタイミングによっては画像３０２に含まれる来訪者の画像が、例えば、横を向いている画像となってしまい、識別処理が困難となることがあり得る。これを防ぐため、複数の異なるタイミングで来訪者の姿を撮影した画像を取得するよう、インターホン装置１を構成しても良い。例えば、インターホン装置１は、最初に取得した画像と、それ以降のあるタイミングで撮影した画像との差分のサイズが、あらかじめ設定した値より大きくなったときに次の画像を取得することを繰り返し、あらかじめ設定した枚数の画像を取得するようにする。この場合、後述する識別処理においては取得した複数の画像に対して同様の処理を施す。
【００４３】
識別箇所抽出部２０３は、人物検出部２０２により検出された人物の画像領域の中から、業者を識別するのに適した箇所を部分画像として抽出するものである。この識別箇所抽出部２０３は、本発明に係る業者識別画像抽出部を構成する。
【００４４】
業者を識別するのに適した箇所とは、来訪者の胸部や腕部や帽子などに貼り付けられた業者の社名やロゴマーク等を表示するエンブレム、来訪者が持参している荷物、来訪者の顔、等をいう。
【００４５】
図４は、識別箇所抽出部２０３が行う識別箇所抽出の処理例を示す図である。人物の画像領域を検出した画像４０１から、顔画像は人物の画像領域の上方に位置するという知識や、画像中の肌色を検出する方法などを用いて、顔の部分画像４０２を抽出することができる。また、一般的に業者のエンブレムが貼り付けられていると考えられる胸部の部分画像４０３、腕部の部分画像４０４および帽子の部分画像４０５も同じように画像の位置関係から抽出することができる。また、業者を識別するのに適した箇所は何らかのテクスチャ（texture）が存在する領域と考えられるので、人物の画像領域中からテクスチャのエッジを検出し、エッジの存在位置に基づいて各部分画像を抽出しても良い。
【００４６】
業者データ格納部２０４は、来訪者がどの業者であるかを識別・推定するためのデータを、あらかじめ業者毎に分類して登録しておくものである。業者を識別・推定するためのデータは、例えば、新聞や宅配便のような業種で大分類、○○新聞や××運送のような業者名で中分類、のように段階的に分類しても良い。この業者データ格納部２０４は、本発明に係る業者識別画像登録部を構成する。
【００４７】
図５は業者データ格納部２０４に登録された、業者を識別するための識別用データを例示した図である。図５に例示した識別用データは、大分類として業種、中分類として業者名が設定されている。また、識別用データには、業種＝「新聞」に含まれる業者名として「○○新聞」と「□□新聞」が登録されており、業種＝「宅配便」に含まれる業者名として「××運送」と「△△運輸」が登録されている。また、識別用データには、それぞれの業者毎に識別データが１つ以上登録されている。例えば、「○○新聞」の識別データＡには、そのエンブレムの画像が登録され、識別データＢには、その担当者の顔画像データが登録されている。また、「△△運輸」の識別データＡおよびＢには、それぞれ、互いに異なるエンブレムの画像が登録されている。
【００４８】
業者照合部２０５は、識別箇所抽出部２０３により抽出された部分画像（以下「抽出部分画像」という。）と、業者データ格納部２０４に登録されている識別用データとを照合して、来訪した業者を識別するものである。この業者照合部２０５は、本発明に係る業者名識別部を構成する。
【００４９】
図６は、業者照合部２０５が行う業者照合の処理例を示す図である。図６において、部分画像６０１、６０２は、識別箇所抽出部２０３により抽出された抽出部分画像であり、識別用データ６０３は、業者データ格納部２０４に登録されたデータである。業者照合部２０５は、部分画像６０１、６０２を識別用データ６０３とそれぞれ照合し、合計で（抽出部分画像数）×（識別用データ数）通りの類似度を求める。このとき、業者照合部２０５は、大きさや傾きに考慮した照合を行うと、より精度の良い類似度が得られる。業者照合部２０５は、あらかじめ業者特定のためのしきい値を設定しておき、求めた類似度が設定したしきい値以上となった場合、照合した抽出部分画像は、照合した識別用データの属する業者のものであると判定する。
【００５０】
履歴データ格納部２０６は、過去に来訪した業者の来訪履歴を登録しておくものである。具体的には、履歴データ格納部２０６は、来訪した業者名を、来訪した日付、曜日、時刻などと関連付けて格納する。また、履歴データ格納部２０６は、例えば、ユーザが通信販売で注文した情報や新聞を契約した期間など、業者の来訪を推定できる他の情報をユーザが追加で格納できる構成としても良い。この履歴データ格納部２０６は、本発明に係る来訪履歴データ格納部を構成する。
【００５１】
図７は履歴データ格納部２０６に格納されたデータの例を示す図である。図７に例示したデータは、大分類として業種、中分類として業者名が設定されている。また、このデータは、業者毎に過去の来訪履歴として日付、曜日、時刻が登録されている。さらに、このデータは、曜日の欄に祝日であるか否かの情報が追加登録されている。
【００５２】
業者推定部２０７は、主に業者照合部２０５によって来訪者の業者名が識別できなかった場合や、複数の業者名の候補があり一つの業者に特定できなかった場合などにおいて、履歴データ格納部２０６に登録されたデータを基に、より確からしい業者名を求めるために、業者毎に確からしさを出力する。業者照合部２０５によって来訪者の業者名が識別できた場合においても、業者推定部２０７により識別された業者の確からしさを求め、補足情報としても良い。
【００５３】
業者推定部２０７は、履歴データ格納部２０６に登録されたデータを基に、業者が来訪した日付、曜日、時刻から、それぞれの項目毎に次に示すような分類に該当する履歴データが何個あるかを業者毎に集計する。そして、業者推定部２０７は、この集計結果から、各業者の履歴データ数の割合をその業者の確からしさとする。分類の方法としては、例えば、日付は、上旬、中旬、下旬に分類する。曜日は、平日と、土曜日、日曜日、祝祭日を含めた休日とに分類する。時刻は、午前、昼、夕方、夜、深夜の各時間帯に分類する。ここで、分類は、曜日と時間帯とを組み合わせて、「休日」の「夕方」、のように複数項目を用いても良い。
【００５４】
図８は、業者推定部２０７が行う業者推定の処理例を示す図である。来訪日時が「２０１０／２／１１（木・祝）１２：５０」とすると、前述の分類方法によると、日付は「中旬」、曜日は祝日なので「休日」、時間帯は「昼」となる。ここで、曜日と時間帯とを組み合わせた分類にて該当する履歴データを抽出すると、□□新聞が１件、××運送が２件となる。
【００５５】
よって、業者推定部２０７は、来訪した業者の確からしさとして、□□新聞が（１／（１＋２））×１００＝３３［％］、××運送が（２／（１＋２））×１００＝６６［％］であるとする。
【００５６】
表示制御部２０８は、業者照合部２０５によって特定された業者名のデータ、業者推定部２０７によって推定された業者名のデータ、識別箇所抽出部２０３によって抽出された抽出部分画像のデータをモニタ２０９に送るものである。この表示制御部２０８は、本発明に係る画像データ出力部を構成する。
【００５７】
具体的には、表示制御部２０８は、業者照合部２０５の求めた類似度があらかじめ設定したしきい値以上となった場合、しきい値以上となった類似度の業者名のデータをモニタ２０９に送る。
【００５８】
また、表示制御部２０８は、業者推定部２０７から複数の業者名の確からしさが出力された場合、求めた確からしさの値があらかじめ設定したしきい値以上の業者名と、その確からしさの値のデータとをモニタ２０９に送る。または、表示制御部２０８は、確からしさの値が大きい順に、あらかじめ設定した数の業者名と、その確からしさの値のデータとをモニタ２０９に送る。
【００５９】
また、表示制御部２０８は、業者照合部２０５の求めた類似度があらかじめ設定したしきい値以上となるものが無い場合や、業者推定部２０７から複数の業者名の確からしさが出力され、求めた確からしさの値があらかじめ設定したしきい値以上となるものが無い場合は、識別箇所抽出部２０３で抽出された抽出部分画像のデータをモニタ２０９に送る。また、表示制御部２０８は、業者照合部２０５の求めた類似度があらかじめ設定したしきい値以上となった場合や、業者推定部２０７から複数の業者名の確からしさが出力され、求めた確からしさの値があらかじめ設定したしきい値以上となった場合にも、ユーザが確認できるように業者名と合わせて該当する抽出部分画像のデータをモニタ２０９に送っても良い。
【００６０】
図９は表示制御部２０８の処理対象データの一例を示す図である。データ９０１は、業者推定部２０７によって推定された複数の業者名と、その確からしさとを示している。また、画像９０２は、データ９０１に対応する業者のエンブレム部分画像の一例であって、識別箇所抽出部２０３により抽出されたものである。
【００６１】
さらに、表示制御部２０８は、業者名や抽出部分画像をモニタ２０９に表示する位置やサイズを撮影された画像に応じて変更することができる構成としても良い。モニタ２０９において業者名や抽出部分画像の表示位置が来訪者の画像と重なってしまうと、ユーザがモニタ２０９を見て来訪者を正確に確認できなくなってしまう。これを防ぐため、表示制御部２０８は、モニタ２０９に業者名や抽出部分画像を表示する際に、人物検出部２０２により検出された人物の画像領域以外の位置に、人物の画像領域と重ならないサイズとなるよう業者名や抽出部分画像のサイズを変更する。
【００６２】
また、モニタ２０９に表示された抽出部分画像が小さいと、ユーザは業者の確認が困難になってしまう。この場合は、抽出部分画像を拡大してユーザが確認しやすいサイズに変更するのが望ましい。そこで、表示制御部２０８は、抽出部分画像があらかじめ設定したサイズより小さい場合に、抽出部分画像を拡大することができる構成とするのが望ましい。
【００６３】
また、抽出部分画像がカメラ２０１と正対した位置で撮影されたものではなく、斜め方向から撮影した画像となっているような場合もユーザは業者の確認が困難になってしまう。これを防ぐため、表示制御部２０８は、例えば、斜め方向から撮影した長方形を正対して撮影した長方形に変換するような射影変換を施して得られる画像データをモニタ２０９に送るようにする。この場合、元々の業者のマークが長方形ではないとき等は、逆に確認が困難になってしまうことも考えられるので、表示制御部２０８は、変換前後の画像を交互にモニタ２０９に表示するよう制御する構成としてもよい。
【００６４】
モニタ２０９は、屋内のインターホン親機１０２に設置され、表示制御部２０８によって送られた業者名の情報や画像を、カメラ２０１が撮影した映像に重畳して表示するものである。このモニタ２０９は、本発明に係る表示部を構成する。
【００６５】
図１０はモニタ２０９に表示される画像の例を示す図である。画像１００１は、表示制御部２０８からデータ９０１および画像９０２（図９参照）が送られたときの表示例を示している。画像１００１の下方に、複数の業者名と、その確からしさと、それらに対応する抽出部分画像とが表示されている。
【００６６】
また、画像１００２は、画像１００１に示した表示例に対して、表示制御部２０８によって業者名や抽出部分画像の表示位置およびサイズが変更された表示例を示している。人物の画像領域（斜線部）と重ならないように、業者名や各データの表示位置および表示順が変更されており、抽出部分画像は表示位置および表示サイズが変更されている。
【００６７】
以上のように構成されたインターホン装置について、図１１を用いてその動作を説明する。
【００６８】
まず、カメラ２０１により来訪者が写っている画像を取得し（ステップＳ１１０１）、人物検出部２０２によりその画像中の人物が存在する画像領域を検出する（ステップＳ１１０２）。
【００６９】
次に、識別箇所抽出部２０３により人物の画像領域の中から業者を識別するのに適した箇所の部分画像を抽出し（ステップＳ１１０３）、抽出された抽出部分画像と業者データ格納部２０４に登録されているデータとを業者照合部２０５により照合する（ステップＳ１１０４）。
【００７０】
さらに、業者推定部２０７により履歴データ格納部２０６に登録されたデータを基に業者毎の確からしさを出力する（ステップＳ１１０５）。
【００７１】
そして、表示制御部２０８により、特定または推定された業者名や抽出された抽出部分画像のデータをモニタ２０９に送り、モニタ２０９に表示する（ステップＳ１１０６）。
【００７２】
なお、前述した動作内容をプログラミングすることにより、図２に示したインターホン装置１をコンピュータで実現することができる。
【００７３】
以上のように、本実施の形態のインターホン装置１によれば、屋外に設置されたインターホン子機１０３で撮影した画像から来訪者の画像領域３０４を検出し、画像領域３０４のうち識別に適した箇所を抽出して照合することで、来訪した業者を識別することができる。したがって、インターホン装置１は、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができる。その結果、インターホン装置１は、どのような業者が来訪したかを屋内に設置されたインターホン親機１０２に表示してユーザに知らせることでユーザに安心を提供することができる。また、インターホン装置１は、来訪者の識別が困難な場合でも履歴データ格納部２０６に格納されたデータを参照することで業者を推定できる。
【００７４】
（第２の実施の形態）
図１２は、本発明の第２の実施の形態における機能ブロック図である。以下、第１の実施の形態と同一の構成要素については説明を省略し、異なる部分のみ説明する。
【００７５】
本実施の形態のインターホン装置２は、インターホン親機１２００を備えている。インターホン親機１２００は、追加登録部１２０１を備えている。追加登録部１２０１は、来訪者が業者データ格納部２０４に登録されていない業者に所属する人物であった場合に、業者データ格納部２０４に新たな業者データを追加登録するものである。または、追加登録部１２０１は、業者データ格納部２０４に登録されている業者ではあるが、識別箇所抽出部２０３によって抽出された抽出部分画像が識別データとして登録されていない場合に、該当の業者の識別データに新たな識別データを追加登録するものである。
【００７６】
追加登録は、図１２には図示していない操作部１０６（図１参照）を介して、ユーザが登録処理を行う。新たな業者データを追加登録する場合は、ユーザが操作部１０６を操作して正しい業者名を入力する。新たな識別データを追加登録する場合は、識別するのに適した箇所か否か（例えば、他の業者と区別しやすいエンブレムのデザインであるか否か、または、カメラ２０１で撮影しやすい箇所か否か、等）をユーザが判断して、適している場合のみ登録処理を行う。
【００７７】
また、追加登録する業者名は、来訪者とユーザの通話内容の中から音声認識により業者名を自動的に抽出しても良い。ただし、追加登録処理のときには、正しく認識されたか否かを最終的にユーザが判断するのが望ましい。
【００７８】
また、追加登録部１２０１は、汎用ネットワーク１２０２を通して各種の業者サイト１２０３に接続しており、前述の新たな業者データを追加登録する場合に、この業者サイト１２０３を検索して業者名を入手する構成としても良い。さらに、来訪者が訪れたときではなく、あらかじめ来訪が想定される業者を検索して追加登録するようにしても良い。
【００７９】
以上のように、本実施の形態のインターホン装置２によれば、初めて来訪した業者について新たに識別のためのデータを追加登録することで、以降の来訪時に業者を特定できるようになる。また、インターホン装置２によれば、汎用ネットワーク１２０２を介し、あらかじめ識別のためのデータを追加登録することで、これまでに来訪したことがない業者を特定できるようになる。これにより、インターホン装置２は、どのような業者が来訪したかを屋内に設置されたインターホン親機１２００に表示してユーザに知らせることでユーザに安心を提供することができる。
【産業上の利用可能性】
【００８０】
本発明に係るインターホン装置、来訪業者識別方法および来訪業者識別プログラムは、来訪した業者を識別するための機器や顔画像データの事前登録を必要とすることなく、来訪した業者を識別することができるという効果を有し、屋外に設置されたインターホン子機で撮影した来訪者を、屋内に設置されたインターホン親機に表示するインターホン装置、来訪業者識別方法および来訪業者識別プログラム等として有用である。
【符号の説明】
【００８１】
１０１ 住宅
１０２、１２００ インターホン親機
１０３ インターホン子機
１０４、１０５ 通話部
１０６、１０７ 操作部
２０１ カメラ（撮影部）
２０２ 人物検出部（画像領域検出部）
２０３ 識別箇所抽出部（業者識別画像抽出部）
２０４ 業者データ格納部（業者識別画像登録部）
２０５ 業者照合部（業者名識別部）
２０６ 履歴データ格納部（来訪履歴データ格納部）
２０７ 業者推定部
２０８ 表示制御部（画像データ出力部）
２０９ モニタ（表示部）
１２０１ 追加登録部
１２０２ 汎用ネットワーク
１２０３ 業者サイト
【特許請求の範囲】
【請求項１】
来訪者を撮影する撮影部と、
前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、
前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、
あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、
前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、
前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部とを備えたことを特徴とするインターホン装置。
【請求項２】
前記業者の来訪履歴データを格納する来訪履歴データ格納部と、
前記来訪履歴データ格納部が格納した来訪履歴データに基づいて前記来訪者の所属する業者を推定する業者推定部とを備え、
前記画像データ出力部は、前記業者推定部が推定した業者の情報を前記業者識別情報のデータに含めて出力するものであることを特徴とする請求項１に記載のインターホン装置。
【請求項３】
前記画像領域検出部は、前記撮影部が撮影した前記来訪者の１つ以上の画像毎に前記画像領域を検出するものであり、
前記業者識別画像抽出部は、前記画像領域検出部が画像毎に検出した画像領域毎に前記業者識別画像を抽出するものであることを特徴とする請求項１または請求項２に記載のインターホン装置。
【請求項４】
前記画像データ出力部が出力する画像データに基づいた画像を表示する表示部を備え、
前記画像データ出力部は、前記表示部に表示される前記来訪者の画像領域とは異なる画像領域に前記業者識別情報を表示する画像データを出力するものであることを特徴とする請求項１から請求項３までのいずれか１項に記載のインターホン装置。
【請求項５】
前記画像データ出力部は、前記業者識別情報の拡大または射影変換を行って画像データを出力するものであることを特徴とする請求項４に記載のインターホン装置。
【請求項６】
前記業者識別画像抽出部が抽出した業者識別画像に含まれる業者の情報が前記業者識別画像登録部に登録されていないとき、登録されていない前記業者の情報を追加登録する追加登録部を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載のインターホン装置。
【請求項７】
前記追加登録部は、ネットワークを通して、登録されていない前記業者の情報を取得するものであることを特徴とする請求項６に記載のインターホン装置。
【請求項８】
前記追加登録部は、前記業者識別画像抽出部が抽出した業者識別画像が前記業者識別画像登録部に登録されていないとき、前記業者識別画像抽出部が抽出した業者識別画像を追加登録するものであることを特徴とする請求項６または請求項７に記載のインターホン装置。
【請求項９】
来訪者を撮影する来訪者撮影ステップと、
前記来訪者撮影ステップにおいて撮影した画像から前記来訪者の画像領域を検出する画像領域検出ステップと、
前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出ステップと、
あらかじめ業者毎に登録された業者識別画像と前記業者識別画像抽出ステップにおいて抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別ステップと、
前記業者識別画像抽出ステップにおいて抽出した業者識別画像と前記業者名識別ステップにおいて識別した業者名とを含む業者識別情報を前記来訪者撮影ステップにおいて撮影した画像に重畳し、重畳した画像データを出力する画像データ出力ステップとを含むことを特徴とする来訪業者識別方法。
【請求項１０】
来訪した業者を識別するインターホン装置としてコンピュータを機能させるための来訪業者識別プログラムであって、
前記コンピュータを、
来訪者を撮影する撮影部と、
前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、
前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、
あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、
前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、
前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部として機能させることを特徴とする来訪業者識別プログラム。
【請求項１】
来訪者を撮影する撮影部と、
前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、
前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、
あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、
前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、
前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部とを備えたことを特徴とするインターホン装置。
【請求項２】
前記業者の来訪履歴データを格納する来訪履歴データ格納部と、
前記来訪履歴データ格納部が格納した来訪履歴データに基づいて前記来訪者の所属する業者を推定する業者推定部とを備え、
前記画像データ出力部は、前記業者推定部が推定した業者の情報を前記業者識別情報のデータに含めて出力するものであることを特徴とする請求項１に記載のインターホン装置。
【請求項３】
前記画像領域検出部は、前記撮影部が撮影した前記来訪者の１つ以上の画像毎に前記画像領域を検出するものであり、
前記業者識別画像抽出部は、前記画像領域検出部が画像毎に検出した画像領域毎に前記業者識別画像を抽出するものであることを特徴とする請求項１または請求項２に記載のインターホン装置。
【請求項４】
前記画像データ出力部が出力する画像データに基づいた画像を表示する表示部を備え、
前記画像データ出力部は、前記表示部に表示される前記来訪者の画像領域とは異なる画像領域に前記業者識別情報を表示する画像データを出力するものであることを特徴とする請求項１から請求項３までのいずれか１項に記載のインターホン装置。
【請求項５】
前記画像データ出力部は、前記業者識別情報の拡大または射影変換を行って画像データを出力するものであることを特徴とする請求項４に記載のインターホン装置。
【請求項６】
前記業者識別画像抽出部が抽出した業者識別画像に含まれる業者の情報が前記業者識別画像登録部に登録されていないとき、登録されていない前記業者の情報を追加登録する追加登録部を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載のインターホン装置。
【請求項７】
前記追加登録部は、ネットワークを通して、登録されていない前記業者の情報を取得するものであることを特徴とする請求項６に記載のインターホン装置。
【請求項８】
前記追加登録部は、前記業者識別画像抽出部が抽出した業者識別画像が前記業者識別画像登録部に登録されていないとき、前記業者識別画像抽出部が抽出した業者識別画像を追加登録するものであることを特徴とする請求項６または請求項７に記載のインターホン装置。
【請求項９】
来訪者を撮影する来訪者撮影ステップと、
前記来訪者撮影ステップにおいて撮影した画像から前記来訪者の画像領域を検出する画像領域検出ステップと、
前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出ステップと、
あらかじめ業者毎に登録された業者識別画像と前記業者識別画像抽出ステップにおいて抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別ステップと、
前記業者識別画像抽出ステップにおいて抽出した業者識別画像と前記業者名識別ステップにおいて識別した業者名とを含む業者識別情報を前記来訪者撮影ステップにおいて撮影した画像に重畳し、重畳した画像データを出力する画像データ出力ステップとを含むことを特徴とする来訪業者識別方法。
【請求項１０】
来訪した業者を識別するインターホン装置としてコンピュータを機能させるための来訪業者識別プログラムであって、
前記コンピュータを、
来訪者を撮影する撮影部と、
前記撮影部が撮影した画像から前記来訪者の画像領域を検出する画像領域検出部と、
前記来訪者の所属する業者を識別するための業者識別画像を前記画像領域から抽出する業者識別画像抽出部と、
あらかじめ業者毎に業者識別画像を登録する業者識別画像登録部と、
前記業者識別画像登録部に登録された業者識別画像と前記業者識別画像抽出部が抽出した業者識別画像とを照合して前記業者の業者名を識別する業者名識別部と、
前記業者識別画像抽出部が抽出した業者識別画像と前記業者名識別部が識別した業者名とを含む業者識別情報を前記撮影部が撮影した画像に重畳し、重畳した画像データを出力する画像データ出力部として機能させることを特徴とする来訪業者識別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２２３３２８（Ｐ２０１１−２２３３２８Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９０６２５（Ｐ２０１０−９０６２５）
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]