画像処理プログラム、画像処理装置および画像処理方法
【課題】光通信装置の周囲に複数の人物が居る場合に、該光通信装置と所定の通信先装置と各人物の位置関係に基づいて、該光通信装置の所持者候補を選択する。
【解決手段】本願の画像処理装置は、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部とを備える。
【解決手段】本願の画像処理装置は、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像に基づいて光通信装置の所持者を特定する画像処理プログラム、画像処理装置および画像処理方法に関し、より具体的には、光通信中の前記光通信装置の周囲に複数の人物が居る場合に、該光通信装置と各人物を上方から撮像装置で撮影し、撮影された画像を解析して、所定の位置に設置した通信先装置等の基準位置に対する、該光通信装置と各人物の位置関係に基づいて、該光通信装置の所持者候補を選択できる画像処理プログラム、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
ＬＥＤ（Light Emitting Diode）等の発光パターン（可視光だけでなく不可視光による発光パターンも含む）によって情報伝達を実現する光通信の技術が知られている。このような光通信は、光ファイバー等の伝送媒体を必要としないため、様々な場所で簡便に利用することができる。
【０００３】
光通信を受信する受信デバイスとしては、光の点滅のみを検出可能な受光センサー以外に、画像を撮影可能な撮像装置を用いることができる。撮像装置を光通信の受信デバイスとして用いた場合、光通信で情報を送信する送信者の顔や姿を撮像装置で撮影しながら、光通信で送信される情報を復号することができる。
【０００４】
このように送信者の顔等を撮影しながら光通信を実行する技術の応用として、光通信に用いられる光の発光位置の近傍に送信者に関する情報を表示する技術が提案されている。この提案では、正面から撮影された映像を解析し、発光位置の近傍に映っている人物を送信者であると特定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９９５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の技術を応用することで、光通信の送信者の属性に応じた広告情報等の提供を行うことが考えられる。その場合、映像を解析することで送信者を特定し、更に当該送信者の属性を特定する必要がある。
【０００７】
しかし、上述の従来技術では正面からの映像からの判断を行っているために、画像中に複数の人物が写っている場合、それら人物の位置関係によっては、画像中の誰が送信者であるかを正しく識別することが難しい場合があった。例えば、撮像装置から見て複数の人物が前後に重なって位置している場合には、発光位置に最も近い人物が必ずしも送信者ではない場合があったが、これを把握することは困難であった。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、光通信中の光通信装置の周囲に複数の人物が居る場合に、該光通信装置と所定の基準位置と各人物の位置関係に基づいて、該装置の所持者を特定することができる画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する画像処理装置は、一つの態様において、個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部とを備える。
【発明の効果】
【００１０】
本願の開示する画像処理プログラム、画像処理装置および画像処理方法の一つの態様によれば、光通信装置の周囲に複数の人物が居る場合に、該光通信装置と通信先装置の位置と各人物の位置関係に基づいて、該光通信装置の所持者候補を選択できるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施例に係る広告管理システムの構成を示すブロック図である。
【図２】図２は、本実施例に係る広告管理システムの動作を示すシーケンス図である。
【図３】図３は、携帯端末装置の構成を示すブロック図である。
【図４】図４は、光通信によって送信される信号の発光パターンの一例を示す図である。
【図５】図５は、本実施例に係る広告管理装置の構成を示すブロック図である。
【図６】図６は、広告表示スケジュールの一例を示す図である。
【図７】図７は、配信情報選択条件の一例を示す図である。
【図８】図８は、視聴者属性データの一例を示す図である。
【図９】図９は、光通信の復号処理の処理手順を示すフローチャートである。
【図１０】図１０は、天井側の撮像装置によって撮影された画像データの一例を示す図である。
【図１１】図１１は、壁側の撮像装置によって撮影された画像データの一例を示す図である。
【図１２】図１２は、壁側の他の撮像装置によって撮影された画像データの一例を示す図である。
【図１３】図１３は、顔領域特定処理の処理手順を示すフローチャートである。
【図１４】図１４は、発光位置情報の一例を示す図である。
【図１５】図１５は、頭部領域情報の一例を示す図である。
【図１６】図１６は、顔領域情報の一例を示す図である。
【図１７】図１７は、撮像装置と頭部領域の対応付けの一例を示す図である。
【図１８】図１８は、視聴者追跡処理の処理手順を示すフローチャートである。
【図１９】図１９は、画像処理プログラムを実行するコンピュータを示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する画像処理プログラム、画像処理装置および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例では、本願の開示する画像処理プログラム、画像処理装置および画像処理方法を広告管理システムに適用した例を示すが、本願の開示する画像処理プログラム、画像処理装置および画像処理方法は、この実施例により限定されるものではない。
【実施例】
【００１３】
まず、本実施例に係る広告管理システム（広告情報提供システム）１について説明する。広告管理システム１は、エレベータに乗った人物に対して広告を表示する。そして、広告管理システム１は、広告に興味をもった人物に対して広告に関するさらに詳細な情報を提供するとともに、その人物の属性情報を取得して記録する。広告管理システム１によって取得された属性情報は、マーケティング等のための重要な資料として活用される。
【００１４】
図１は、広告管理システム１の構成を示すブロック図である。図１に示すように、広告管理システム１は、広告管理装置１０と、撮像装置２０ａ〜２０ｃと、表示装置３０ａ〜３０ｂとを有する。
【００１５】
撮像装置２０ａ〜２０ｃは、エレベータ内の空間を撮影して、複数の静止画像（フレーム）を含む動画像データ（以下、「画像データ」という。）を生成する。具体的には、撮像装置２０ａは、エレベータの入り口の上方に設置されており、エレベータの入口側から奥側を見る視点でエレベータ内の空間を撮影する。撮像装置２０ｂは、エレベータの奥の上方に設置されており、エレベータの奥側から入口側を見る視点でエレベータ内の空間を撮影する。
【００１６】
撮像装置２０ｃは、エレベータの天井に下向きに設定されており、エレベータ内を見下ろす視点でエレベータ内の空間を撮影する。なお、撮像装置２０ａ〜２０ｃは、防犯用の監視カメラ等の他の役割を兼ねていてもよい。
【００１７】
表示装置３０ａ〜３０ｂは、エレベータに乗っている人物に対して広告等を表示する。表示装置３０ａは、エレベータの入り口の上方に設置されており、表示装置３０ｂは、エレベータの奥の上方に設置されている。なお、以下の説明では、撮像装置２０ａ〜２０ｃを撮像装置２０と総称することがあり、表示装置３０ａ〜３０ｂを表示装置３０と総称することがある。
【００１８】
広告管理装置１０は、広告の表示や、それに興味をもった人物の属性情報の取得等の各種処理を実行する装置であり、本願の開示する画像処理装置としての機能を含む。広告管理装置１０は、ＬＡＮ（Local Area Network）等のネットワーク５０を介して撮像装置２０ａ〜２０ｃおよび表示装置３０ａ〜３０ｂと接続されている。
【００１９】
また、広告管理装置１０は、インターネット６０を介して無線通信業者の無線基地局７０とも接続されている。このため、広告管理装置１０は、インターネット６０と無線基地局７０を介して、エレベータに乗っている人物Ｐが所持する携帯端末装置４０と通信をすることができる。
【００２０】
携帯端末装置４０は、携帯可能な情報処理装置であり、例えば、携帯電話端末である。携帯端末装置４０は、無線基地局７０との間で無線通信を行う無線通信装置としての機能に加えて、光通信によって情報を送信する光通信装置としての機能を有する。広告管理システム１においては、携帯端末装置４０が光通信によって送信する信号を撮像装置２０ａや撮像装置２０ｂが受信し、受信された信号を広告管理装置１０が復号する。
【００２１】
次に、図１に示した広告管理システム１の動作について説明する。図２は、広告管理システム１の動作を示すシーケンス図である。図２に示すように、広告管理装置１０は、広告コンテンツを表示装置３０へ送信し（ステップＳ０１）、表示装置３０は、送信された広告コンテンツを表示する（ステップＳ０２）。表示装置３０に表示される広告コンテンツには、「この広告で紹介した商品についてもっとお知りになりたい方は、横の撮像装置へ向けてメールアドレスを送信して下さい」といったメッセージが含まれる。
【００２２】
エレベータに乗っている人物Ｐは、広告で紹介された商品に興味をもつと、撮像装置２０へ向けて携帯端末装置４０をかざし、携帯端末装置４０に割り当てられているメールアドレスを光通信で送信するための所定の操作を携帯端末装置４０に対して行う。その結果、携帯端末装置４０から撮像装置２０へ向けてメールアドレスが光通信で送信される（ステップＳ０３）。
【００２３】
撮像装置２０は、エレベータ内の空間を撮影した画像データを広告管理装置１０へ送る（ステップＳ０４）。広告管理装置１０は、撮像装置２０によって撮影された画像データを時系列に参照しながら発光点の発光パターンを解析することによって復号処理を実行し、送信されたメールアドレスを取得する（ステップＳ０５）。
【００２４】
続いて、広告管理装置１０は、後述する顔領域特定処理を実行して、光通信中に撮影された画像データから光通信を実行した送信者の顔領域を取得する（ステップＳ０６）。顔領域とは、人物の顔面部分の領域である。そして、広告管理装置１０は、取得した顔領域を解析して送信者の年齢や性別等の属性情報を取得する（ステップＳ０７）。ここで取得された属性情報は、送信されたメールアドレスと対応づけて所定の記憶部に記録される。
【００２５】
続いて、広告管理装置１０は、広告コンテンツ毎に予め用意されている配信情報の中から属性情報に応じたものを取得し（ステップＳ０８）、取得された配信情報をステップＳ０５で取得したメールアドレス宛に電子メールとして送信する（ステップＳ０９）。送信された電子メールは、インターネット６０と無線基地局７０を介して、携帯端末装置４０へ送信される。
【００２６】
このように、広告に興味をもった人物にメールアドレスを光通信によって送信させることにより、エレベータ内のような公共の場所にいる人物に対して広告に関する詳細な情報を個別に送信して、広告の効果を向上させることができる。また、光通信中に撮影された画像データから送信者の顔領域を抽出して送信者の年齢等を解析することにより、広告に興味をもった人物に対して年齢等に応じた情報を送信することが可能となり、広告の効果をさらに向上させることができる。
【００２７】
また、広告管理装置１０は、ステップＳ０６で取得した顔領域の移動を追跡し、顔画像が画像データ外へ移動した場合には、送信者がエレベータを降りたと判断して、そのときの階数を取得する（ステップＳ１０）。エレベータを降りた階数は、送信者の勤務先や、買い物をしようとしている店を知る手掛かりとなる。そして、広告管理装置１０は、取得された階数を属性情報の一部として、送信されたメールアドレスと対応付けて所定の記憶部に記録する（ステップＳ１１）。
【００２８】
このように、広告に興味をもった人物の属性情報を記録しておくことにより、広告の効果の評価やマーケティングに有用な情報を得ることができる。
【００２９】
次に、図１に示した携帯端末装置４０の構成について説明する。図３は、携帯端末装置４０の構成を示すブロック図である。図３に示すように、携帯端末装置４０は、ユーザインターフェース部４０１、メールアドレス送信部４０２、符号化部４０３、発光制御部４０４、発光部４０５、無線通信部４０６、メール送受信部４０７、ＷＥＢブラウザ４０８とを有する。
【００３０】
ユーザインターフェース部４０１は、利用者の操作を受け付けるボタン等の入力デバイスと、文字や画像を表示する液晶パネル等の表示デバイスとを含む。なお、ユーザインターフェース部４０１は、タッチパネルのように、入力と表示の両方を担当するデバイスを含んでいてもよい。
【００３１】
メールアドレス送信部４０２は、ユーザインターフェース部４０１において所定の操作が行われた場合に、予め携帯端末装置４０に割り当てられているメールアドレスを符号化部４０３へ出力して、そのメールアドレスを光通信によって送信するように指示する。符号化部４０３は、指示されたメールアドレスを光通信で送信するための符号化処理を実行する。
【００３２】
発光制御部４０４は、メールアドレスを符号化することによって得られた発光パターンに従って発光部４０５を発光させる。発光部４０５は、ＬＥＤ等の発光デバイスを含み、発光制御部４０４の制御に従って、発光デバイスを点灯させたり、点灯を中止させたりする。なお、着信通知用のランプやユーザインターフェース部４０１の液晶パネル等を光通信のための発光デバイスとして利用することもできる。
【００３３】
無線通信部４０６は、無線基地局７０との間の無線通信を実現する。メール送受信部４０７は、無線通信部４０６によって実現される無線通信を通じて電子メールの送受信を行うとともに、ユーザインターフェース部４０１において受け付けられた操作に応じて、電子メールの表示や編集を行う。ＷＥＢブラウザ４０８は、ユーザインターフェース部４０１において受け付けられた操作に応じて、無線通信を通じてＷＥＢページを取得し、ユーザインターフェース部４０１に表示させる。
【００３４】
ここで、携帯端末装置４０の光通信によって送信される信号の発光パターンの一例を図４に示す。図４に示すように、メールアドレスを光通信で送信する場合、まず、送信準備信号が送信される。送信準備信号は、光通信の開始を示す信号であり、短い周期で点滅を繰り返す発光パターンを含む。
【００３５】
送信準備信号に続いて、送信開始信号が送信される。送信開始信号は、送信対象の情報の送信の開始を示す信号であり、例えば、発光が一定時間継続する発光パターンを含む。
【００３６】
送信開始信号に続いて、符号化されたメールアドレスに対応する発光パターンが送信される。図４に示した例では、文字コード毎に発光時間と非発光時間の組合せが予め定義されており、この定義に従ってメールアドレスを符号化した発光パターンが送信されている。なお、発光時間と非発光時間の組合せのみでなく、発光する光の強度や色等を組み合わせて各文字コードに対応する発光パターンを定義することとしてもよい。また、発光が所定期間継続したら１、発光が所定期間なければ０というようにビット単位で発行パターンを定義することとしてもよい。
【００３７】
符号化されたメールアドレスの送信が完了すると、送信終了信号が送信される。送信終了信号は、光通信の終了を示す信号であり、例えば、発光が一定時間継続する発光パターンを含む。
【００３８】
次に、図１に示した広告管理装置１０の構成について説明する。図５は、広告管理装置１０の構成を示すブロック図である。図５に示すように、広告管理装置１０は、ネットワークインターフェース部１１０と、記憶部１２０と、制御部１３０とを有する。ネットワークインターフェース部１１０は、インターネット６０等を介する通信を実現する。
【００３９】
記憶部１２０は、各種情報を記憶する記憶デバイスであり、広告データ１２１と、広告表示スケジュール１２２と、画像データ１２３と、配信情報１２４と、配信情報選択条件１２５と、視聴者属性データ１２６とを記憶する。
【００４０】
広告データ１２１は、表示装置３０に表示される広告コンテンツを含むデータである。広告データ１２１に含まれる広告コンテンツには、上述したように、メールアドレスを光通信で送信することを求めるものがある。
【００４１】
広告表示スケジュール１２２は、どの広告をいつ表示すべきかを示す定義が格納されたデータである。広告表示スケジュール１２２の一例を図６に示す。図６に示すように、広告表示スケジュール１２２は、表示時刻、広告ＩＤ、広告データ名といった項目を有する。表示時刻は、広告の表示を開始する時刻と終了する時刻である。広告ＩＤは、広告を識別するための識別番号である。広告データ名は、広告コンテンツが格納されたデータファイルの名称である。
【００４２】
図６に示した広告表示スケジュール１２２の１行目は、「ＣＭ００１」という識別番号で識別される広告の表示を「９：００：００（９時０分０秒）」に開始して、「９：００：３０（９時０分３０秒）」に終了すべきことを示している。また、この１行目のレコードは、「ＣＭ００１」という識別番号で識別される広告のコンテンツが「ＣＭ００１．ｍｐｅｇ」という名称のデータファイルに格納されていることを示している。
【００４３】
画像データ１２３は、撮像装置２０によって撮影された画像データである。配信情報１２４は、広告に興味をもった人物へ個別に配信される情報である。
【００４４】
配信情報選択条件１２５は、光通信によってメールアドレスが送信された場合にどの配信情報を選択して送信するべきかを示す条件が格納されたデータである。配信情報選択条件１２５の一例を図７に示す。図７に示すように、配信情報選択条件１２５は、広告ＩＤ、年齢、性別、配信情報名といった項目を有する。広告ＩＤは、広告を識別するための識別番号である。年齢および性別は、メールアドレスの送信者の年齢および性別である。配信情報名は、送信すべき配信情報の名称である。
【００４５】
図７に示した配信情報選択条件１２５の１〜３行目は、「ＣＭ００１」という識別番号で識別される広告の表示中にメールアドレスが送信された場合にどの配信情報を選択して送信するべきかを示す条件である。具体的には、１行目は、送信者の年齢が「１０〜２９」の範囲で性別が「女性」の場合、「ＣＭ００１−Ｆ１．ｔｘｔ」という名称の配信情報を送信すべきことを示している。また、２行目は、送信者の年齢が上記の範囲外で性別が「女性」の場合、「ＣＭ００１−Ｆ２．ｔｘｔ」という名称の配信情報を送信すべきことを示している。また、３行目は、送信者の年齢に関わらず性別が「男性」の場合、「ＣＭ００１−Ｍ．ｔｘｔ」という名称の配信情報を送信すべきことを示している。
【００４６】
視聴者属性データ１２６は、メールアドレスの送信者について取得された属性情報が格納されるデータである。図８に視聴者属性データ１２６の一例を示す。図８に示すように、視聴者属性データ１２６は、メールアドレス、年齢、性別、階数、広告ＩＤ、発光時間、画像ＩＤ、顔領域といった項目を有する。
【００４７】
メールアドレスは、光通信によって送信されたメールアドレスである。年齢および性別は、メールアドレスの送信者の年齢および性別の解析結果である。階数は、メールアドレスの送信者がエレベータを降りた階数である。広告ＩＤは、メールアドレスが送信されていたときに表示されていた広告を識別するための識別番号である。
【００４８】
発光時間は、光通信でメールアドレスを送信するための送信準備信号が検出された時刻である。画像ＩＤは、メールアドレスの送信者の年齢および性別を解析するために用いられた画像データを識別するための識別番号である。顔領域は、画像ＩＤで識別される画像データにおいて特定された送信者の顔領域であり、顔領域の左上の座標と幅と高さを示す。
【００４９】
図８に示した視聴者属性データ１２６の１行目は、「ｓｕｚｕｋｉ＠ｅｘａｍｐｌｅ１．ｃｏｍ」というメールアドレスの送信者は、年齢が「４０」才、性別が「男性」と解析され、「１９Ｆ」でエレベータを降りたことを示している。また、１行目は、メールアドレスの送信時に表示されていた広告が、「ＣＭ００１」という識別番号で識別される広告であることを示している。
【００５０】
また、１行目は、送信者の年齢および性別を解析するために用いられた画像データが、「Ｎ１−０８１２０１０９００２１−１１」という識別番号で識別される画像であることを示している。また、１行目は、その画像においてＸ＝「３０２」、Ｙ＝「４３６」を左上の座標とし、幅が「１８３」で高さが「１９６」の領域が、送信者の顔領域として特定されたことを示している。
【００５１】
制御部１３０は、広告管理装置１０を全体制御する制御部であり、広告表示制御部１３１と、画像取得部１３２と、復号部１３３と、顔領域特定部１３４と、顔領域検出部１３４ａと、頭部領域検出部１３４ｂと、頭部領域選択部１３４ｃと、位置変換部１３４ｄと、追跡部１３５と、階数取得部１３６と、属性解析部１３７と、情報配信部１３８と、メール送信部１３９とを有する。
【００５２】
広告表示制御部１３１は、広告表示スケジュール１２２に定義されたスケジュールに従って表示装置３０に広告データ１２１を表示させる。画像取得部１３２は、撮像装置２０から画像データを取得し、取得した画像データを画像データ１２３として記憶部１２０に記憶させる。
【００５３】
復号部１３３は、画像取得部１３２によって取得される画像データに含まれる発光点の発光パターンを復号してメールアドレスを取得する。メールアドレスを取得するため、復号部１３３は、まず、送信準備信号を検出する。送信準備信号の検出は、画像データ１２３を参照して、すなわち、該画像データに含まれるある時点のフレーム（静止画像）について、過去一定期間に撮影された各フレームとの差分の和を算出した結果に基づいて行われる。
【００５４】
図４に示したように、送信準備信号は、点滅を短い期間で繰り返す発光パターンを含むため、送信準備信号の発光点に相当するピクセルでは、過去一定期間のフレーム間差分の和が他のピクセルと比較して大きな値となる。このため、過去一定期間のフレーム間差分の和を閾値判定することにより、そのピクセルに相当する位置で送信準備信号が送信されているか否かを判定することができる。
【００５５】
時刻ｔにおける座標（ｘ，ｙ）のピクセルのＮフレーム前までのフレーム間差分の和であるＤ（ｘ，ｙ，ｔ）は、以下の式（１）によって算出することができる。
【００５６】
【数１】
【００５７】
ここで、Ｐ（ｘ，ｙ，ｔ）は、時刻ｔにおける座標（ｘ，ｙ）のピクセルのＲＧＢ各画素の画素値の平均値である。なお、Ｐ（ｘ，ｙ，ｔ）は、時刻ｔにおける座標（ｘ，ｙ）のピクセルのＲＧＢ各画素の画素値の最大値であってもよい。
【００５８】
復号部１３３は、こうして送信準備信号が送信されていることと、その発光点とを検出すると、画像取得部１３２によって取得される画像を監視して、その発光点において送信開始信号が検出されるのを待つ。そして、復号部１３３は、送信開始信号が検出されると、送信開始信号の終了時以降の発光点の発光パターンを符号化されたメールアドレスとみなして、発光点で送信終了信号が検出されるまで復号する。
【００５９】
顔領域特定部１３４は、本実施例に係る画像処理方法を実行して、復号部１３３によって検出された送信開始信号の送信者の顔領域を特定する。顔領域特定部１３４による送信者の顔領域の特定は、顔領域検出部１３４ａ、頭部領域検出部１３４ｂ、頭部領域選択部１３４ｃおよび位置変換部１３４ｄの処理結果に基づいて行われる。
【００６０】
なお、送信者の顔領域の特定対象の画像データは、復号部１３３で送信準備信号が検出されたときに撮影された画像データであることが好ましいが、送信準備信号の検出後、光通信が終了するまでのいずれかの時点で撮影された画像データであってもよい。
【００６１】
顔領域検出部１３４ａは、送信者の顔領域の特定対象の画像データから、その画像データに含まれる各人物の顔領域を検出する。画像データからの顔領域の検出は、公知の顔認識技術を用いることによって実現することができる。
【００６２】
頭部領域検出部１３４ｂは、送信者の顔領域の特定対象の画像データが撮影されたときに撮像装置２０ｃによって撮影された画像データから、その画像データに含まれる各人物の頭部領域（人物領域）を検出する。頭部領域とは、人物の頭部部分の領域である。ここで、検出される頭部領域は、人物の頭部と推定される部分がいずれかの角度で写っている部分であればよく、顔面が含まれることを要しない。画像データからの頭部領域の検出は、例えば、公知の顔認識技術を応用することによって実現される。
【００６３】
頭部領域選択部１３４ｃは、頭部領域検出部１３４ｂによって検出された頭部領域の中から、送信者と発光点と光通信による通信先装置である撮像装置との位置関係に関する以下の２つの基準を満たすものを、メールアドレスの送信者の頭部領域である可能性があるものとして、光通信の受信に用いられる撮像装置２０毎に選択（特定）する。
【００６４】
頭部領域選択部１３４ｃによる選択の第１の基準は、光通信の発光点からの距離が閾値より小さいことである。第１の基準で用いられる閾値は、光通信が行われる場合に送信者と携帯端末装置４０が取り得る距離の最大値に基づいて決定される。光通信が行われる場合に送信者と携帯端末装置４０が取り得る距離の最大値としては、例えば、一般的な人間の腕の長さが用いられる。
【００６５】
頭部領域選択部１３４ｃによる選択の第２の基準は、光通信の受信に用いられる通信先装置である撮像装置２０から見て、光通信の発光点よりも遠方に位置していることである。送信者が光通信を実行する場合、送信先の撮像装置２０の方向に顔を向け、携帯端末装置４０を顔より前方に保持するはずであり、頭部よりも後方に発光点が位置することはないと考えられることが第２の基準の根拠である。
【００６６】
位置変換部１３４ｄは、頭部領域選択部１３４ｃによって選択された各頭部領域の位置を、撮像装置２０ａおよび２０ｂによって撮影された画像データにおける位置へ変換する。位置の変換方式は、撮像装置２０の位置関係や画像の解像度等に基づいて、変換前後の画像中に共通して存在する物の位置のＸ軸方向とＹ軸方向の少なくとも一方が一致するように予め決定される。
【００６７】
顔領域特定部１３４は、位置変換部１３４ｄによって変換された頭部領域の位置と、顔領域検出部１３４ａによって検出された顔領域の位置とを比較し、位置の差が予め定義された誤差の範囲内の組合せがあれば、その組み合わせの頭部領域と顔領域とは同一位置に存在すると判断し、該顔領域を送信者の顔領域と特定する。なお、誤差の範囲の組合せが複数あった場合は、発光位置に最も近い組合せが、送信者の顔領域を含む組合せと判定される。ここで、発光位置に最も近い組合せを見つける場合、顔領域と発光点の距離と、頭部領域と発光点の距離のうち、いずれか一方を重く評価してもよいし、双方を均等に評価してもよい。
【００６８】
このように、光通信の受信に用いられる撮像装置とは異なる方向から撮影された画像から送信者のものと推定される頭部領域を取得し、その頭部領域の位置に基づいて送信者の顔領域を特定することにより、高い精度で送信者の顔領域を検出することができる。
【００６９】
追跡部１３５は、顔領域特定部１３４によって送信者のものと特定された顔領域と頭部領域の少なくとも一方の移動を追跡する。追跡部１３５による追跡は、追跡対象がエレベータ内の空間を出たと判定されるまで継続する。頭部領域等の追跡は、公知の追跡技術を用いて実現することができる。
【００７０】
階数取得部１３６は、エレベータの現在の階数を取得する。階数の取得は、例えば、エレベータの運用監視装置から取得することができる。
【００７１】
属性解析部１３７は、顔領域特定部１３４によって送信者のものと判定された顔領域を解析して年齢や性別等の属性情報を取得し、復号部１３３によって復号されたメールアドレス等とともに視聴者属性データ１２６に記録する。画像データ中の顔領域から年齢や性別等の属性情報を取得する処理は、公知の画像解析技術を用いて実現することができる。
【００７２】
また、属性解析部１３７は、追跡部１３５によって追跡対象がエレベータ内の空間を出たと判定された場合に、その時点のエレベータの階数を階数取得部１３６から取得する。そして、属性解析部１３７は、取得された階数を、復号部１３３によって復号されたメールアドレスと対応づけて視聴者属性データ１２６に記録する。
【００７３】
情報配信部１３８は、配信情報１２４から、復号部１３３によって送信準備信号が検出されたときに表示されていた広告に対応し、属性解析部１３７によって取得された属性情報に該当するものを取得する。ここで、復号部１３３によって送信準備信号が検出されたときに表示されていた広告の広告ＩＤは、復号部１３３によって送信準備信号が検出された時刻が表示時刻に含まれる行を広告表示スケジュール１２２から検索することによって取得できる。
【００７４】
そして、情報配信部１３８は、取得した情報をメールで送信するようにメール送信部１３９に指示する。メール送信部１３９は、送信を指示された情報を、復号部１３３によって復号されたメールアドレス宛にメールで送信する。
【００７５】
次に、広告管理装置１０の動作について説明する。図９は、光通信の復号処理の処理手順を示すフローチャートである。図９に示すように、復号部１３３は、画像取得部１３２から画像データを取得する（ステップＳ１０１）。そして、復号部１３３は、同一の撮像装置２０によって撮影された過去一定期間の画像データを画像データ１２３から取得し、フレーム間差分の和をピクセル毎に演算する（ステップＳ１０２）。
【００７６】
ここで、フレーム間差分の和が閾値を超えるピクセルがなかった場合、すなわち、送信準備信号が送信されていない場合（ステップＳ１０３否定）、復号部１３３は、ステップＳ１０１から処理手順を再開する。
【００７７】
一方、フレーム間差分の和が閾値を超えるピクセルがあった場合（ステップＳ１０３肯定）、復号部１３３は、フレーム間差分の和が最大のピクセルを発光点として選択する（ステップＳ１０４）。そして、復号部１３３は、選択したピクセルの過去一定時間の発光パターンを取得する（ステップＳ１０５）。
【００７８】
ここで、送信開始信号の終わりが検出された場合は（ステップＳ１０６肯定）、復号部１３３は、送信終了信号を検出するまでメールアドレスを復号する（ステップＳ１０７）。一方、送信開始信号の終わりが検出されない場合は（ステップＳ１０６否定）、復号部１３３は、ステップＳ１０５から処理手順を再開する。
【００７９】
なお、復号処理は、撮像装置２０毎に繰り返して実行される。そのため、ある撮像装置２０に対応する復号処理で送信準備信号が検出された場合、他の撮像装置２０に対応する復号処理で送信準備信号を所定の期間検出しないようにしてもよい。このようにすることにより、送信されたメールアドレスが各撮像装置２０に対応する復号処理で重複して復号されることを防止することができる。
【００８０】
また、各撮像装置２０に対応する復号処理で送信準備信号が所定の期間内に検出された場合、それぞれの復号処理で得られた発光パターンを合成してメールアドレスを復号することとしてもよい。このように発光パターンを合成することにより、光通信中に光がある方向で遮断された場合でも、その影響を軽減することができる。
【００８１】
続いて、図１０〜１２に示す画像データの例を参照しながら顔領域特定処理の処理手順について説明する。
【００８２】
図１０は、送信準備信号の検出時に天井側の撮像装置２０ｃによって撮影された画像データの一例を示す図である。図１０に示す画像データ８１は、図中下方が撮像装置２０ａの設置位置に相当し、図中上方が撮像装置２０ｂの設置位置に相当する。そして、画像データ８１は、図中左上を原点として、図中右へ行くほどＸ座標の値が大きくなり、図中下方へ行くほどＹ座標の値が大きくなるように座標が設定されている。図１０には、人物Ｐ１〜Ｐ３の頭部と、光通信の発光点８１ｄが写っている。
【００８３】
図１１は、壁側の撮像装置２０ａによって撮影された画像データの一例を示す図である。図１１に示す画像データ８２は、画像データ８１と同じタイミングで撮影された画像データである。そして、画像データ８２は、図中左上を原点として、図中右へ行くほどＸ座標の値が大きくなり、図中下方へ行くほどＹ座標の値が大きくなるように座標が設定されている。図１１には、後ろ向きに立っている人物Ｐ１と、正面を向いて立っている人物Ｐ２およびＰ３と、光通信の発光点８２ｃとが写っている。
【００８４】
図１２は、壁側の撮像装置２０ｂによって撮影された画像データの一例を示す図である。図１２に示す画像データ８３は、画像データ８１と同じタイミングで撮影された画像データである。そして、画像データ８３は、図中左上を原点として、図中右へ行くほどＸ座標の値が大きくなり、図中下方へ行くほどＹ座標の値が大きくなるように座標が設定されている。図１２には、正面を向いて立っている人物Ｐ１と、後ろ向きに立っている人物Ｐ２およびＰ３と、光通信の発光点８３ｂとが写っている。
【００８５】
図１３は、顔領域特定処理の処理手順を示すフローチャートである。この処理手順は、復号部１３３によって送信準備信号が検出されるたびに、顔領域特定部１３４によって実行される。
【００８６】
図１３に示すように、顔領域特定部１３４は、検出された送信準備信号の発光位置に関する情報を復号部１３３から取得する（ステップＳ２０１）。取得される発光位置情報の一例を図１４に示す。図１４に示すように、発光位置を示す座標は、撮像装置２０毎に取得される。これらの座標は、画像データ８１〜８３内の発光点の座標に対応する。
【００８７】
続いて、顔領域特定部１３４は、送信準備信号の検出時に各撮像装置２０によって撮影された画像データを取得する（ステップＳ２０２）。ここでは、画像データ８１〜８３が取得されたものとする。
【００８８】
続いて、顔領域特定部１３４は、壁側から撮影された各画像データから顔領域を抽出する処理を顔領域検出部１３４ａに実行させる（ステップＳ２０３）。ステップＳ２０３では、画像データ８２から、正面を向いている人物Ｐ２の顔領域８２ａと、同じく正面を向いている人物Ｐ３の顔領域８２ｂとが検出される。また、画像データ８３から、正面を向いている人物Ｐ１の顔領域８３ａが検出される。検出された各顔領域の左上座標、幅、高さの組合せは、図１６に示すように、それぞれユニークな識別番号である顔領域ＩＤを割り当てられ、撮影された撮像装置と対応づけて管理される。
【００８９】
続いて、顔領域特定部１３４は、天井側から撮影された画像データから頭部領域を抽出する処理を頭部領域検出部１３４ｂに実行させる（ステップＳ２０４）。ステップＳ２０４では、画像データ８１から、人物Ｐ１の頭部領域８１ａと、人物Ｐ２の頭部領域８１ｂと、人物Ｐ３の頭部領域８１ｃとが検出される。検出された各頭部領域の左上座標、幅、高さの組合せは、図１５に示すように、それぞれユニークな識別番号である頭部領域ＩＤを割り当てられて管理される。
【００９０】
続いて、顔領域特定部１３４は、撮像装置２０に対して光通信を実行している可能性のある人物の頭部領域を壁側の撮像装置２０毎に選択する処理を頭部領域選択部１３４ｃに実行させる。そして、顔領域特定部１３４は、選択された頭部領域を、光通信の送信先と想定される撮像装置２０と対応づけて記憶する（ステップＳ２０５）。
【００９１】
ステップＳ２０５では、画像データ８１から、撮像装置２０ａに対して光通信を実行している可能性のある人物の頭部領域として、頭部領域８１ａおよび８１ｂが選択される。これらの頭部領域の中心と発光点８１ｄの距離が閾値Ｔｈ１より小さいので第１の基準が満たされ、これらの頭部領域の中心のＹ座標が発光点８１ｄのＹ座標であるＹ１よりも小さいので第２の基準も満たされるためである。
【００９２】
また、画像データ８１から、撮像装置２０ｂに対して光通信を実行している可能性のある人物の頭部領域として、頭部領域８１ｃが選択される。頭部領域８１ｃの中心と発光点８１ｄの距離が閾値Ｔｈ１より小さいので第１の基準が満たされ、頭部領域８１ｃの中心のＹ座標が発光点８１ｄのＹ座標であるＹ１よりも大きいので第２の基準も満たされるためである。
【００９３】
こうして選択された頭部領域は、図１７に示すように、光通信の送信先と想定される映像装置と対応づけて記憶される。具体的には、頭部領域８１ａの頭部領域ＩＤである「ＨＥＡＤ０１」および頭部領域８１ｂの頭部領域ＩＤである「ＨＥＡＤ０２」は、撮像装置２０ａと対応づけられる。そして、頭部領域８１ｃの頭部領域ＩＤである「ＨＥＡＤ０３」は、撮像装置２０ｂと対応づけられる。
【００９４】
続いて、顔領域特定部１３４は、選択された頭部領域のうち未取得のものを１つ取得する（ステップＳ２０６）。そして、未取得の頭部領域を取得できた場合は（ステップＳ２０７否定）、顔領域特定部１３４は、その頭部領域の中心のＸ座標を壁側から撮影された各画像データの座標へ変換する処理を位置変換部１３４ｄに実行させる（ステップＳ２０８）。
【００９５】
ステップＳ２０６で頭部領域８１ｂが選択されたとすると、その中心のＸ座標であるＸ１は、以下のように変換される。Ｘ１を画像データ８２の座標へ変換する場合、画像データ８２のＸ座標の方向は、頭部領域８１ｂを含む画像データ８１と同一であるので、解像度の相違に応じた係数を乗じることにより変換が完了する。一方、Ｘ１を画像データ８３の座標へ変換する場合、画像データ８３のＸ座標の方向と画像データ８１と反対であるので、座標を図中右上を原点としたものに置き換えた後に、解像度の相違に応じた係数を乗じることとなる。
【００９６】
続いて、顔領域特定部１３４は、中心の座標と変換後の座標の距離が閾値よりも小さい顔領域を、ステップＳ２０６で選択された頭部領域と対応づけて記憶された撮像装置によって撮影された画像データから検出された顔領域の中から選択する（ステップＳ２１０）。ここで用いられる閾値は、誤差を吸収するためものである。
【００９７】
ステップＳ２０６で頭部領域８１ａが選択された場合について考える。頭部領域８１ａと対応づけてステップＳ２０５で記憶されたのは撮像装置２０ａであり、撮像装置２０ａによって撮影された画像データ８２からは、顔領域８２ａおよび８２ｂが検出されている。しかし、頭部領域８１ａの中心のＸ座標を画像データ８２のＸ座標へ変換した位置にいるのは、後ろ向きに立っている人物Ｐ１であり、変換後のＸ座標付近では顔領域は検出されていない。このため、頭部領域８１ａに対応する顔領域は選択されない。
【００９８】
また、ステップＳ２０６で頭部領域８１ｃが選択された場合について考える。頭部領域８１ｃと対応づけてステップＳ２０５で記憶されたのは撮像装置２０ｂであり、撮像装置２０ｂによって撮影された画像データ８３からは、顔領域８３ａが検出されている。しかし、頭部領域８１ｃの中心のＸ座標を画像データ８３のＸ座標へ変換した位置にいるのは、後ろ向きに立っている人物Ｐ３であり、変換後のＸ座標付近では顔領域は検出されていない。このため、頭部領域８１ｃに対応する顔領域は選択されない。
【００９９】
ステップＳ２０６で頭部領域８１ｂが選択された場合について考える。頭部領域８１ｂと対応づけてステップＳ２０５で記憶されたのは撮像装置２０ａであり、撮像装置２０ａによって撮影された画像データ８２からは、顔領域８２ａおよび８２ｂが検出されている。そして、頭部領域８１ａの中心のＸ座標を画像データ８２のＸ座標へ変換した位置には正面を向いて立っている人物Ｐ２がおり、変換後のＸ座標の値は、顔領域８２ａの中心のＸ座標とほぼ一致する。このため、頭部領域８１ｂに対応する顔領域として、顔領域８２ａが選択される。
【０１００】
ステップＳ２０９で顔領域を選択できた場合（ステップＳ２１０肯定）、顔領域特定部１３４は、選択された顔領域を、ステップＳ２０６で選択した頭部領域と対応づけて送信者の領域の候補として記憶し（ステップＳ２１１）、ステップＳ２０６から処理手順を再開する。一方、ステップＳ２０９で顔領域を選択できなかった場合（ステップＳ２１０否定）、顔領域特定部１３４は、ステップＳ２０６から処理手順を再開する。
【０１０１】
こうして、顔領域特定部１３４は、未取得の頭部領域がなくなるまで頭部領域と顔領域の照合を行う。そして、ステップＳ２０５で選択された頭部領域をすべて取得し、未取得のものがなくなったならば（ステップＳ２０７肯定）、頭部領域と顔領域の照合を終了する。
【０１０２】
続いて、顔領域特定部１３４は、送信者の領域の候補として記憶している頭部領域と顔領域の組合せが複数ある場合は（ステップＳ２１２肯定）、発光位置との距離が最小の組合せを候補として選択する（ステップＳ２１３）。
【０１０３】
続いて、顔領域特定部１３４は、送信者の領域の候補として記憶している頭部領域と顔領域の組合せがあれば（ステップＳ２１４肯定）、候補に含まれる頭部領域と顔領域を送信者のものと特定する（ステップＳ２１５）。一方、顔領域特定部１３４は、送信者の領域の候補として記憶している頭部領域と顔領域の組合せがなければ（ステップＳ２１４否定）、送信者の頭部領域と顔領域を特定することはできないと判断する（ステップＳ２１６）。
【０１０４】
図１０〜１２に示した例では、頭部領域８１ｂと顔領域８２ａの組合せのみが候補として選択されるため、頭部領域８１ｂと顔領域８２ａが送信者のものと特定される。この特定結果は適正である。
【０１０５】
図１８は、視聴者追跡処理の処理手順を示すフローチャートである。視聴者追跡処理は、顔領域特定部１３４によって送信者の顔領域と頭部領域が特定されるたびに、追跡部１３５等によって実行される。
【０１０６】
図１８に示すように、追跡部１３５は、送信者、すなわち、広告に興味をもってメールアドレスを送信した視聴者のものと特定された頭部領域の移動を追跡する（ステップＳ３０１）。この追跡は、頭部領域がエレベータ内の空間の外へ出たと判定されるまで実行される。
【０１０７】
そして、頭部領域が画像データの外周部分から外部へ消える等して、頭部領域がエレベータ内の空間の外へ出たと判定されたならば（ステップＳ３０２肯定）、階数取得部１３６が現在の階数を取得する（ステップＳ３０３）。そして、属性解析部１３７が、取得された階数を復号されたメールアドレスと対応づけて視聴者属性データ１２６に記憶させる（ステップＳ３０４）。
【０１０８】
なお、図１に示した広告管理システム１の構成は、要旨を逸脱しない範囲で種々に変更することができる。例えば、広告管理システム１を、エレベータ内で表示される広告を管理するためではなく、電車内や街頭で表示される広告を管理するように変形することができる。
【０１０９】
また、広告管理システム１では天井側１台と壁側２台という計３台の撮像装置を用いているが、撮影対象の空間を異なる角度から撮影する撮像装置が複数設置されていれば、撮像装置の台数と設置位置は問わない。
【０１１０】
なお、上記では携帯端末装置４０から撮像装置２０へ向けてメールアドレスが光通信で送信される場合を例に挙げ説明したが、天井の撮像装置３０ｃにより撮影した画像８１から、送信準備信号を検出することができる場合がある。
【０１１１】
したがって、必ずしも上記のように、広告コンテンツ内で、携帯端末を撮像装置へ向けてメールアドレスを送信するよう促さなくてもよい。
【０１１２】
たとえば、広告コンテンツにおいて、撮像装置以外の予め定められた所定の基準位置（例えば任意の壁面に貼付したポスターの位置など）に向けて、光信号を発信するよう促した場合にも、送信者と発光点と所定の基準位置との位置関係に基づいて、端末の所持者を特定することができる。
【０１１３】
すなわち、この場合、前記頭部領域選択部１３４ｃによる前記第２の基準は、予め定められた所定の基準位置（ポスターの位置）からみて、頭部領域が光通信の発光点よりも遠方に位置していること、となる。
【０１１４】
また、さらに、天井の撮像装置３０ｃにより、服装、髪型等の人物の特徴をも認識することとすれば、壁側の撮像装置を省略したシステム構成とても、携帯対端末装置の所持者に対し、その特徴に応じた広告等の情報を送信することが可能である。
【０１１５】
前記広告管理装置１０の機能の全部もしくは一部は、ソフトウェアとして実装し、これをコンピュータで実行することによって同等の機能を実現することもできる。以下に、広告管理装置１０の顔領域特定に関する機能をソフトウェアとして実装した画像処理プログラム１０７１を実行するコンピュータの一例を示す。
【０１１６】
図１９は、画像処理プログラム１０７１を実行するコンピュータ１０００を示す機能ブロック図である。このコンピュータ１０００の各種演算処理を実行するＣＰＵ（Central Processing Unit）１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）１０６０と、ハードディスク装置１０７０とは、バス１０８０で接続されている。
【０１１７】
そして、ハードディスク装置１０７０には、図１に示した顔領域特定部１３４と同様の機能を有する画像処理プログラム１０７１と、図１に示した画像データ１２３に対応する画像処理用データ１０７２とが記憶される。なお、画像処理用データ１０７２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。
【０１１８】
そして、ＣＰＵ１０１０が画像処理プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、画像処理プログラム１０７１は、画像処理プロセス１０６１として機能するようになる。そして、画像処理プロセス１０６１は、画像処理用データ１０７２から読み出した情報等を適宜ＲＡＭ１０６０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。
【０１１９】
なお、上記の画像処理プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１２０】
上述してきたように、本実施例では、異なる方向から撮影して得られた情報に基づいて顔領域の候補を絞り込むこととしたので、壁側に設置された撮像装置で撮影された画像中から光通信の送信者の顔領域を精度よく特定することができる。
【０１２１】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１２２】
（付記１）個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理プログラムであって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出手順と、
前記検出手順において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【０１２３】
（付記２）前記人物領域特定手順は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする付記１に記載の画像処理プログラム。
【０１２４】
（付記３）前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出手順と、
前記顔領域検出手順において該第２の画像内で検出された顔領域のうち、前記人物領域選択手順において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定手順と
をさらにコンピュータに実行させることを特徴とする付記１または２記載の画像処理プログラム。
【０１２５】
（付記４）前記顔領域特定手順によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析手順をさらにコンピュータに実行させることを特徴とする付記３に記載の画像処理プログラム。
【０１２６】
（付記５）前記復号手順によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析手順によって解析された属性情報に応じた情報を送信する送信手順をさらにコンピュータに実行させることを特徴とする付記４に記載の画像処理プログラム。
【０１２７】
（付記６）個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、
前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部と
を備えたことを特徴とする画像処理装置。
【０１２８】
（付記７）前記人物領域特定部は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする付記６に記載の画像処理装置。
【０１２９】
（付記８）前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出部と、
前記顔領域検出部において該第２の画像内で検出された顔領域のうち、前記人物領域選択部において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定部と
をさらに備えたことを特徴とする付記６または７記載の画像処理装置。
【０１３０】
（付記９）前記顔領域特定部によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析部をさらに備えたことを特徴とする付記８に記載の画像処理装置。
【０１３１】
（付記１０）前記復号部によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析部によって解析された属性情報に応じた情報を送信する送信部をさらに備えたことを特徴とする付記９に記載の画像処理装置。
【０１３２】
（付記１１）個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理方法であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出工程と、
前記検出工程において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定工程と
を含んだことを特徴とする画像処理方法。
【０１３３】
（付記１２）前記人物領域特定工程は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする付記１１に記載の画像処理方法。
【０１３４】
（付記１３）前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出工程と、
前記顔領域検出工程において該第２の画像内で検出された顔領域のうち、前記人物領域選択工程において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定工程と
をさらに含んだことを特徴とする付記１１または１２記載の画像処理方法。
【０１３５】
（付記１４）前記顔領域特定工程によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析工程をさらに含んだことを特徴とする付記１３に記載の画像処理方法。
【０１３６】
（付記１５）前記復号工程によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析工程によって解析された属性情報に応じた情報を送信する送信工程をさらに含んだことを特徴とする付記１４に記載の画像処理方法。
【符号の説明】
【０１３７】
１ 広告管理システム
１０ 広告管理装置
１１０ ネットワークインターフェース部
１２０ 記憶部
１２１ 広告データ
１２２ 広告表示スケジュール
１２３ 画像データ
１２４ 配信情報
１２５ 配信情報選択条件
１２６ 視聴者属性データ
１３０ 制御部
１３１ 広告表示制御部
１３２ 画像取得部
１３３ 復号部
１３４ 顔領域特定部
１３４ａ 顔領域検出部
１３４ｂ 頭部領域検出部
１３４ｃ 頭部領域選択部
１３４ｄ 位置変換部
１３５ 追跡部
１３６ 階数取得部
１３７ 属性解析部
１３８ 情報配信部
１３９ メール送信部
２０ａ〜２０ｃ 撮像装置
３０ａ〜３０ｂ 表示装置
４０ 携帯端末装置
４０１ ユーザインターフェース部
４０２ メールアドレス送信部
４０３ 符号化部
４０４ 発光制御部
４０５ 発光部
４０６ 無線通信部
４０７ メール送受信部
４０８ ＷＥＢブラウザ
５０ ネットワーク
６０ インターネット
７０ 無線基地局
１０００ コンピュータ
１０１０ ＣＰＵ
１０２０ 入力装置
１０３０ モニタ
１０４０ 媒体読取り装置
１０５０ ネットワークインターフェース装置
１０６０ ＲＡＭ
１０６１ 画像処理プロセス
１０７０ ハードディスク装置
１０７１ 画像処理プログラム
１０７２ 画像処理用データ
１０８０ バス
【技術分野】
【０００１】
本発明は、個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像に基づいて光通信装置の所持者を特定する画像処理プログラム、画像処理装置および画像処理方法に関し、より具体的には、光通信中の前記光通信装置の周囲に複数の人物が居る場合に、該光通信装置と各人物を上方から撮像装置で撮影し、撮影された画像を解析して、所定の位置に設置した通信先装置等の基準位置に対する、該光通信装置と各人物の位置関係に基づいて、該光通信装置の所持者候補を選択できる画像処理プログラム、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
ＬＥＤ（Light Emitting Diode）等の発光パターン（可視光だけでなく不可視光による発光パターンも含む）によって情報伝達を実現する光通信の技術が知られている。このような光通信は、光ファイバー等の伝送媒体を必要としないため、様々な場所で簡便に利用することができる。
【０００３】
光通信を受信する受信デバイスとしては、光の点滅のみを検出可能な受光センサー以外に、画像を撮影可能な撮像装置を用いることができる。撮像装置を光通信の受信デバイスとして用いた場合、光通信で情報を送信する送信者の顔や姿を撮像装置で撮影しながら、光通信で送信される情報を復号することができる。
【０００４】
このように送信者の顔等を撮影しながら光通信を実行する技術の応用として、光通信に用いられる光の発光位置の近傍に送信者に関する情報を表示する技術が提案されている。この提案では、正面から撮影された映像を解析し、発光位置の近傍に映っている人物を送信者であると特定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９９５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の技術を応用することで、光通信の送信者の属性に応じた広告情報等の提供を行うことが考えられる。その場合、映像を解析することで送信者を特定し、更に当該送信者の属性を特定する必要がある。
【０００７】
しかし、上述の従来技術では正面からの映像からの判断を行っているために、画像中に複数の人物が写っている場合、それら人物の位置関係によっては、画像中の誰が送信者であるかを正しく識別することが難しい場合があった。例えば、撮像装置から見て複数の人物が前後に重なって位置している場合には、発光位置に最も近い人物が必ずしも送信者ではない場合があったが、これを把握することは困難であった。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、光通信中の光通信装置の周囲に複数の人物が居る場合に、該光通信装置と所定の基準位置と各人物の位置関係に基づいて、該装置の所持者を特定することができる画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する画像処理装置は、一つの態様において、個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部とを備える。
【発明の効果】
【００１０】
本願の開示する画像処理プログラム、画像処理装置および画像処理方法の一つの態様によれば、光通信装置の周囲に複数の人物が居る場合に、該光通信装置と通信先装置の位置と各人物の位置関係に基づいて、該光通信装置の所持者候補を選択できるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施例に係る広告管理システムの構成を示すブロック図である。
【図２】図２は、本実施例に係る広告管理システムの動作を示すシーケンス図である。
【図３】図３は、携帯端末装置の構成を示すブロック図である。
【図４】図４は、光通信によって送信される信号の発光パターンの一例を示す図である。
【図５】図５は、本実施例に係る広告管理装置の構成を示すブロック図である。
【図６】図６は、広告表示スケジュールの一例を示す図である。
【図７】図７は、配信情報選択条件の一例を示す図である。
【図８】図８は、視聴者属性データの一例を示す図である。
【図９】図９は、光通信の復号処理の処理手順を示すフローチャートである。
【図１０】図１０は、天井側の撮像装置によって撮影された画像データの一例を示す図である。
【図１１】図１１は、壁側の撮像装置によって撮影された画像データの一例を示す図である。
【図１２】図１２は、壁側の他の撮像装置によって撮影された画像データの一例を示す図である。
【図１３】図１３は、顔領域特定処理の処理手順を示すフローチャートである。
【図１４】図１４は、発光位置情報の一例を示す図である。
【図１５】図１５は、頭部領域情報の一例を示す図である。
【図１６】図１６は、顔領域情報の一例を示す図である。
【図１７】図１７は、撮像装置と頭部領域の対応付けの一例を示す図である。
【図１８】図１８は、視聴者追跡処理の処理手順を示すフローチャートである。
【図１９】図１９は、画像処理プログラムを実行するコンピュータを示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する画像処理プログラム、画像処理装置および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例では、本願の開示する画像処理プログラム、画像処理装置および画像処理方法を広告管理システムに適用した例を示すが、本願の開示する画像処理プログラム、画像処理装置および画像処理方法は、この実施例により限定されるものではない。
【実施例】
【００１３】
まず、本実施例に係る広告管理システム（広告情報提供システム）１について説明する。広告管理システム１は、エレベータに乗った人物に対して広告を表示する。そして、広告管理システム１は、広告に興味をもった人物に対して広告に関するさらに詳細な情報を提供するとともに、その人物の属性情報を取得して記録する。広告管理システム１によって取得された属性情報は、マーケティング等のための重要な資料として活用される。
【００１４】
図１は、広告管理システム１の構成を示すブロック図である。図１に示すように、広告管理システム１は、広告管理装置１０と、撮像装置２０ａ〜２０ｃと、表示装置３０ａ〜３０ｂとを有する。
【００１５】
撮像装置２０ａ〜２０ｃは、エレベータ内の空間を撮影して、複数の静止画像（フレーム）を含む動画像データ（以下、「画像データ」という。）を生成する。具体的には、撮像装置２０ａは、エレベータの入り口の上方に設置されており、エレベータの入口側から奥側を見る視点でエレベータ内の空間を撮影する。撮像装置２０ｂは、エレベータの奥の上方に設置されており、エレベータの奥側から入口側を見る視点でエレベータ内の空間を撮影する。
【００１６】
撮像装置２０ｃは、エレベータの天井に下向きに設定されており、エレベータ内を見下ろす視点でエレベータ内の空間を撮影する。なお、撮像装置２０ａ〜２０ｃは、防犯用の監視カメラ等の他の役割を兼ねていてもよい。
【００１７】
表示装置３０ａ〜３０ｂは、エレベータに乗っている人物に対して広告等を表示する。表示装置３０ａは、エレベータの入り口の上方に設置されており、表示装置３０ｂは、エレベータの奥の上方に設置されている。なお、以下の説明では、撮像装置２０ａ〜２０ｃを撮像装置２０と総称することがあり、表示装置３０ａ〜３０ｂを表示装置３０と総称することがある。
【００１８】
広告管理装置１０は、広告の表示や、それに興味をもった人物の属性情報の取得等の各種処理を実行する装置であり、本願の開示する画像処理装置としての機能を含む。広告管理装置１０は、ＬＡＮ（Local Area Network）等のネットワーク５０を介して撮像装置２０ａ〜２０ｃおよび表示装置３０ａ〜３０ｂと接続されている。
【００１９】
また、広告管理装置１０は、インターネット６０を介して無線通信業者の無線基地局７０とも接続されている。このため、広告管理装置１０は、インターネット６０と無線基地局７０を介して、エレベータに乗っている人物Ｐが所持する携帯端末装置４０と通信をすることができる。
【００２０】
携帯端末装置４０は、携帯可能な情報処理装置であり、例えば、携帯電話端末である。携帯端末装置４０は、無線基地局７０との間で無線通信を行う無線通信装置としての機能に加えて、光通信によって情報を送信する光通信装置としての機能を有する。広告管理システム１においては、携帯端末装置４０が光通信によって送信する信号を撮像装置２０ａや撮像装置２０ｂが受信し、受信された信号を広告管理装置１０が復号する。
【００２１】
次に、図１に示した広告管理システム１の動作について説明する。図２は、広告管理システム１の動作を示すシーケンス図である。図２に示すように、広告管理装置１０は、広告コンテンツを表示装置３０へ送信し（ステップＳ０１）、表示装置３０は、送信された広告コンテンツを表示する（ステップＳ０２）。表示装置３０に表示される広告コンテンツには、「この広告で紹介した商品についてもっとお知りになりたい方は、横の撮像装置へ向けてメールアドレスを送信して下さい」といったメッセージが含まれる。
【００２２】
エレベータに乗っている人物Ｐは、広告で紹介された商品に興味をもつと、撮像装置２０へ向けて携帯端末装置４０をかざし、携帯端末装置４０に割り当てられているメールアドレスを光通信で送信するための所定の操作を携帯端末装置４０に対して行う。その結果、携帯端末装置４０から撮像装置２０へ向けてメールアドレスが光通信で送信される（ステップＳ０３）。
【００２３】
撮像装置２０は、エレベータ内の空間を撮影した画像データを広告管理装置１０へ送る（ステップＳ０４）。広告管理装置１０は、撮像装置２０によって撮影された画像データを時系列に参照しながら発光点の発光パターンを解析することによって復号処理を実行し、送信されたメールアドレスを取得する（ステップＳ０５）。
【００２４】
続いて、広告管理装置１０は、後述する顔領域特定処理を実行して、光通信中に撮影された画像データから光通信を実行した送信者の顔領域を取得する（ステップＳ０６）。顔領域とは、人物の顔面部分の領域である。そして、広告管理装置１０は、取得した顔領域を解析して送信者の年齢や性別等の属性情報を取得する（ステップＳ０７）。ここで取得された属性情報は、送信されたメールアドレスと対応づけて所定の記憶部に記録される。
【００２５】
続いて、広告管理装置１０は、広告コンテンツ毎に予め用意されている配信情報の中から属性情報に応じたものを取得し（ステップＳ０８）、取得された配信情報をステップＳ０５で取得したメールアドレス宛に電子メールとして送信する（ステップＳ０９）。送信された電子メールは、インターネット６０と無線基地局７０を介して、携帯端末装置４０へ送信される。
【００２６】
このように、広告に興味をもった人物にメールアドレスを光通信によって送信させることにより、エレベータ内のような公共の場所にいる人物に対して広告に関する詳細な情報を個別に送信して、広告の効果を向上させることができる。また、光通信中に撮影された画像データから送信者の顔領域を抽出して送信者の年齢等を解析することにより、広告に興味をもった人物に対して年齢等に応じた情報を送信することが可能となり、広告の効果をさらに向上させることができる。
【００２７】
また、広告管理装置１０は、ステップＳ０６で取得した顔領域の移動を追跡し、顔画像が画像データ外へ移動した場合には、送信者がエレベータを降りたと判断して、そのときの階数を取得する（ステップＳ１０）。エレベータを降りた階数は、送信者の勤務先や、買い物をしようとしている店を知る手掛かりとなる。そして、広告管理装置１０は、取得された階数を属性情報の一部として、送信されたメールアドレスと対応付けて所定の記憶部に記録する（ステップＳ１１）。
【００２８】
このように、広告に興味をもった人物の属性情報を記録しておくことにより、広告の効果の評価やマーケティングに有用な情報を得ることができる。
【００２９】
次に、図１に示した携帯端末装置４０の構成について説明する。図３は、携帯端末装置４０の構成を示すブロック図である。図３に示すように、携帯端末装置４０は、ユーザインターフェース部４０１、メールアドレス送信部４０２、符号化部４０３、発光制御部４０４、発光部４０５、無線通信部４０６、メール送受信部４０７、ＷＥＢブラウザ４０８とを有する。
【００３０】
ユーザインターフェース部４０１は、利用者の操作を受け付けるボタン等の入力デバイスと、文字や画像を表示する液晶パネル等の表示デバイスとを含む。なお、ユーザインターフェース部４０１は、タッチパネルのように、入力と表示の両方を担当するデバイスを含んでいてもよい。
【００３１】
メールアドレス送信部４０２は、ユーザインターフェース部４０１において所定の操作が行われた場合に、予め携帯端末装置４０に割り当てられているメールアドレスを符号化部４０３へ出力して、そのメールアドレスを光通信によって送信するように指示する。符号化部４０３は、指示されたメールアドレスを光通信で送信するための符号化処理を実行する。
【００３２】
発光制御部４０４は、メールアドレスを符号化することによって得られた発光パターンに従って発光部４０５を発光させる。発光部４０５は、ＬＥＤ等の発光デバイスを含み、発光制御部４０４の制御に従って、発光デバイスを点灯させたり、点灯を中止させたりする。なお、着信通知用のランプやユーザインターフェース部４０１の液晶パネル等を光通信のための発光デバイスとして利用することもできる。
【００３３】
無線通信部４０６は、無線基地局７０との間の無線通信を実現する。メール送受信部４０７は、無線通信部４０６によって実現される無線通信を通じて電子メールの送受信を行うとともに、ユーザインターフェース部４０１において受け付けられた操作に応じて、電子メールの表示や編集を行う。ＷＥＢブラウザ４０８は、ユーザインターフェース部４０１において受け付けられた操作に応じて、無線通信を通じてＷＥＢページを取得し、ユーザインターフェース部４０１に表示させる。
【００３４】
ここで、携帯端末装置４０の光通信によって送信される信号の発光パターンの一例を図４に示す。図４に示すように、メールアドレスを光通信で送信する場合、まず、送信準備信号が送信される。送信準備信号は、光通信の開始を示す信号であり、短い周期で点滅を繰り返す発光パターンを含む。
【００３５】
送信準備信号に続いて、送信開始信号が送信される。送信開始信号は、送信対象の情報の送信の開始を示す信号であり、例えば、発光が一定時間継続する発光パターンを含む。
【００３６】
送信開始信号に続いて、符号化されたメールアドレスに対応する発光パターンが送信される。図４に示した例では、文字コード毎に発光時間と非発光時間の組合せが予め定義されており、この定義に従ってメールアドレスを符号化した発光パターンが送信されている。なお、発光時間と非発光時間の組合せのみでなく、発光する光の強度や色等を組み合わせて各文字コードに対応する発光パターンを定義することとしてもよい。また、発光が所定期間継続したら１、発光が所定期間なければ０というようにビット単位で発行パターンを定義することとしてもよい。
【００３７】
符号化されたメールアドレスの送信が完了すると、送信終了信号が送信される。送信終了信号は、光通信の終了を示す信号であり、例えば、発光が一定時間継続する発光パターンを含む。
【００３８】
次に、図１に示した広告管理装置１０の構成について説明する。図５は、広告管理装置１０の構成を示すブロック図である。図５に示すように、広告管理装置１０は、ネットワークインターフェース部１１０と、記憶部１２０と、制御部１３０とを有する。ネットワークインターフェース部１１０は、インターネット６０等を介する通信を実現する。
【００３９】
記憶部１２０は、各種情報を記憶する記憶デバイスであり、広告データ１２１と、広告表示スケジュール１２２と、画像データ１２３と、配信情報１２４と、配信情報選択条件１２５と、視聴者属性データ１２６とを記憶する。
【００４０】
広告データ１２１は、表示装置３０に表示される広告コンテンツを含むデータである。広告データ１２１に含まれる広告コンテンツには、上述したように、メールアドレスを光通信で送信することを求めるものがある。
【００４１】
広告表示スケジュール１２２は、どの広告をいつ表示すべきかを示す定義が格納されたデータである。広告表示スケジュール１２２の一例を図６に示す。図６に示すように、広告表示スケジュール１２２は、表示時刻、広告ＩＤ、広告データ名といった項目を有する。表示時刻は、広告の表示を開始する時刻と終了する時刻である。広告ＩＤは、広告を識別するための識別番号である。広告データ名は、広告コンテンツが格納されたデータファイルの名称である。
【００４２】
図６に示した広告表示スケジュール１２２の１行目は、「ＣＭ００１」という識別番号で識別される広告の表示を「９：００：００（９時０分０秒）」に開始して、「９：００：３０（９時０分３０秒）」に終了すべきことを示している。また、この１行目のレコードは、「ＣＭ００１」という識別番号で識別される広告のコンテンツが「ＣＭ００１．ｍｐｅｇ」という名称のデータファイルに格納されていることを示している。
【００４３】
画像データ１２３は、撮像装置２０によって撮影された画像データである。配信情報１２４は、広告に興味をもった人物へ個別に配信される情報である。
【００４４】
配信情報選択条件１２５は、光通信によってメールアドレスが送信された場合にどの配信情報を選択して送信するべきかを示す条件が格納されたデータである。配信情報選択条件１２５の一例を図７に示す。図７に示すように、配信情報選択条件１２５は、広告ＩＤ、年齢、性別、配信情報名といった項目を有する。広告ＩＤは、広告を識別するための識別番号である。年齢および性別は、メールアドレスの送信者の年齢および性別である。配信情報名は、送信すべき配信情報の名称である。
【００４５】
図７に示した配信情報選択条件１２５の１〜３行目は、「ＣＭ００１」という識別番号で識別される広告の表示中にメールアドレスが送信された場合にどの配信情報を選択して送信するべきかを示す条件である。具体的には、１行目は、送信者の年齢が「１０〜２９」の範囲で性別が「女性」の場合、「ＣＭ００１−Ｆ１．ｔｘｔ」という名称の配信情報を送信すべきことを示している。また、２行目は、送信者の年齢が上記の範囲外で性別が「女性」の場合、「ＣＭ００１−Ｆ２．ｔｘｔ」という名称の配信情報を送信すべきことを示している。また、３行目は、送信者の年齢に関わらず性別が「男性」の場合、「ＣＭ００１−Ｍ．ｔｘｔ」という名称の配信情報を送信すべきことを示している。
【００４６】
視聴者属性データ１２６は、メールアドレスの送信者について取得された属性情報が格納されるデータである。図８に視聴者属性データ１２６の一例を示す。図８に示すように、視聴者属性データ１２６は、メールアドレス、年齢、性別、階数、広告ＩＤ、発光時間、画像ＩＤ、顔領域といった項目を有する。
【００４７】
メールアドレスは、光通信によって送信されたメールアドレスである。年齢および性別は、メールアドレスの送信者の年齢および性別の解析結果である。階数は、メールアドレスの送信者がエレベータを降りた階数である。広告ＩＤは、メールアドレスが送信されていたときに表示されていた広告を識別するための識別番号である。
【００４８】
発光時間は、光通信でメールアドレスを送信するための送信準備信号が検出された時刻である。画像ＩＤは、メールアドレスの送信者の年齢および性別を解析するために用いられた画像データを識別するための識別番号である。顔領域は、画像ＩＤで識別される画像データにおいて特定された送信者の顔領域であり、顔領域の左上の座標と幅と高さを示す。
【００４９】
図８に示した視聴者属性データ１２６の１行目は、「ｓｕｚｕｋｉ＠ｅｘａｍｐｌｅ１．ｃｏｍ」というメールアドレスの送信者は、年齢が「４０」才、性別が「男性」と解析され、「１９Ｆ」でエレベータを降りたことを示している。また、１行目は、メールアドレスの送信時に表示されていた広告が、「ＣＭ００１」という識別番号で識別される広告であることを示している。
【００５０】
また、１行目は、送信者の年齢および性別を解析するために用いられた画像データが、「Ｎ１−０８１２０１０９００２１−１１」という識別番号で識別される画像であることを示している。また、１行目は、その画像においてＸ＝「３０２」、Ｙ＝「４３６」を左上の座標とし、幅が「１８３」で高さが「１９６」の領域が、送信者の顔領域として特定されたことを示している。
【００５１】
制御部１３０は、広告管理装置１０を全体制御する制御部であり、広告表示制御部１３１と、画像取得部１３２と、復号部１３３と、顔領域特定部１３４と、顔領域検出部１３４ａと、頭部領域検出部１３４ｂと、頭部領域選択部１３４ｃと、位置変換部１３４ｄと、追跡部１３５と、階数取得部１３６と、属性解析部１３７と、情報配信部１３８と、メール送信部１３９とを有する。
【００５２】
広告表示制御部１３１は、広告表示スケジュール１２２に定義されたスケジュールに従って表示装置３０に広告データ１２１を表示させる。画像取得部１３２は、撮像装置２０から画像データを取得し、取得した画像データを画像データ１２３として記憶部１２０に記憶させる。
【００５３】
復号部１３３は、画像取得部１３２によって取得される画像データに含まれる発光点の発光パターンを復号してメールアドレスを取得する。メールアドレスを取得するため、復号部１３３は、まず、送信準備信号を検出する。送信準備信号の検出は、画像データ１２３を参照して、すなわち、該画像データに含まれるある時点のフレーム（静止画像）について、過去一定期間に撮影された各フレームとの差分の和を算出した結果に基づいて行われる。
【００５４】
図４に示したように、送信準備信号は、点滅を短い期間で繰り返す発光パターンを含むため、送信準備信号の発光点に相当するピクセルでは、過去一定期間のフレーム間差分の和が他のピクセルと比較して大きな値となる。このため、過去一定期間のフレーム間差分の和を閾値判定することにより、そのピクセルに相当する位置で送信準備信号が送信されているか否かを判定することができる。
【００５５】
時刻ｔにおける座標（ｘ，ｙ）のピクセルのＮフレーム前までのフレーム間差分の和であるＤ（ｘ，ｙ，ｔ）は、以下の式（１）によって算出することができる。
【００５６】
【数１】
【００５７】
ここで、Ｐ（ｘ，ｙ，ｔ）は、時刻ｔにおける座標（ｘ，ｙ）のピクセルのＲＧＢ各画素の画素値の平均値である。なお、Ｐ（ｘ，ｙ，ｔ）は、時刻ｔにおける座標（ｘ，ｙ）のピクセルのＲＧＢ各画素の画素値の最大値であってもよい。
【００５８】
復号部１３３は、こうして送信準備信号が送信されていることと、その発光点とを検出すると、画像取得部１３２によって取得される画像を監視して、その発光点において送信開始信号が検出されるのを待つ。そして、復号部１３３は、送信開始信号が検出されると、送信開始信号の終了時以降の発光点の発光パターンを符号化されたメールアドレスとみなして、発光点で送信終了信号が検出されるまで復号する。
【００５９】
顔領域特定部１３４は、本実施例に係る画像処理方法を実行して、復号部１３３によって検出された送信開始信号の送信者の顔領域を特定する。顔領域特定部１３４による送信者の顔領域の特定は、顔領域検出部１３４ａ、頭部領域検出部１３４ｂ、頭部領域選択部１３４ｃおよび位置変換部１３４ｄの処理結果に基づいて行われる。
【００６０】
なお、送信者の顔領域の特定対象の画像データは、復号部１３３で送信準備信号が検出されたときに撮影された画像データであることが好ましいが、送信準備信号の検出後、光通信が終了するまでのいずれかの時点で撮影された画像データであってもよい。
【００６１】
顔領域検出部１３４ａは、送信者の顔領域の特定対象の画像データから、その画像データに含まれる各人物の顔領域を検出する。画像データからの顔領域の検出は、公知の顔認識技術を用いることによって実現することができる。
【００６２】
頭部領域検出部１３４ｂは、送信者の顔領域の特定対象の画像データが撮影されたときに撮像装置２０ｃによって撮影された画像データから、その画像データに含まれる各人物の頭部領域（人物領域）を検出する。頭部領域とは、人物の頭部部分の領域である。ここで、検出される頭部領域は、人物の頭部と推定される部分がいずれかの角度で写っている部分であればよく、顔面が含まれることを要しない。画像データからの頭部領域の検出は、例えば、公知の顔認識技術を応用することによって実現される。
【００６３】
頭部領域選択部１３４ｃは、頭部領域検出部１３４ｂによって検出された頭部領域の中から、送信者と発光点と光通信による通信先装置である撮像装置との位置関係に関する以下の２つの基準を満たすものを、メールアドレスの送信者の頭部領域である可能性があるものとして、光通信の受信に用いられる撮像装置２０毎に選択（特定）する。
【００６４】
頭部領域選択部１３４ｃによる選択の第１の基準は、光通信の発光点からの距離が閾値より小さいことである。第１の基準で用いられる閾値は、光通信が行われる場合に送信者と携帯端末装置４０が取り得る距離の最大値に基づいて決定される。光通信が行われる場合に送信者と携帯端末装置４０が取り得る距離の最大値としては、例えば、一般的な人間の腕の長さが用いられる。
【００６５】
頭部領域選択部１３４ｃによる選択の第２の基準は、光通信の受信に用いられる通信先装置である撮像装置２０から見て、光通信の発光点よりも遠方に位置していることである。送信者が光通信を実行する場合、送信先の撮像装置２０の方向に顔を向け、携帯端末装置４０を顔より前方に保持するはずであり、頭部よりも後方に発光点が位置することはないと考えられることが第２の基準の根拠である。
【００６６】
位置変換部１３４ｄは、頭部領域選択部１３４ｃによって選択された各頭部領域の位置を、撮像装置２０ａおよび２０ｂによって撮影された画像データにおける位置へ変換する。位置の変換方式は、撮像装置２０の位置関係や画像の解像度等に基づいて、変換前後の画像中に共通して存在する物の位置のＸ軸方向とＹ軸方向の少なくとも一方が一致するように予め決定される。
【００６７】
顔領域特定部１３４は、位置変換部１３４ｄによって変換された頭部領域の位置と、顔領域検出部１３４ａによって検出された顔領域の位置とを比較し、位置の差が予め定義された誤差の範囲内の組合せがあれば、その組み合わせの頭部領域と顔領域とは同一位置に存在すると判断し、該顔領域を送信者の顔領域と特定する。なお、誤差の範囲の組合せが複数あった場合は、発光位置に最も近い組合せが、送信者の顔領域を含む組合せと判定される。ここで、発光位置に最も近い組合せを見つける場合、顔領域と発光点の距離と、頭部領域と発光点の距離のうち、いずれか一方を重く評価してもよいし、双方を均等に評価してもよい。
【００６８】
このように、光通信の受信に用いられる撮像装置とは異なる方向から撮影された画像から送信者のものと推定される頭部領域を取得し、その頭部領域の位置に基づいて送信者の顔領域を特定することにより、高い精度で送信者の顔領域を検出することができる。
【００６９】
追跡部１３５は、顔領域特定部１３４によって送信者のものと特定された顔領域と頭部領域の少なくとも一方の移動を追跡する。追跡部１３５による追跡は、追跡対象がエレベータ内の空間を出たと判定されるまで継続する。頭部領域等の追跡は、公知の追跡技術を用いて実現することができる。
【００７０】
階数取得部１３６は、エレベータの現在の階数を取得する。階数の取得は、例えば、エレベータの運用監視装置から取得することができる。
【００７１】
属性解析部１３７は、顔領域特定部１３４によって送信者のものと判定された顔領域を解析して年齢や性別等の属性情報を取得し、復号部１３３によって復号されたメールアドレス等とともに視聴者属性データ１２６に記録する。画像データ中の顔領域から年齢や性別等の属性情報を取得する処理は、公知の画像解析技術を用いて実現することができる。
【００７２】
また、属性解析部１３７は、追跡部１３５によって追跡対象がエレベータ内の空間を出たと判定された場合に、その時点のエレベータの階数を階数取得部１３６から取得する。そして、属性解析部１３７は、取得された階数を、復号部１３３によって復号されたメールアドレスと対応づけて視聴者属性データ１２６に記録する。
【００７３】
情報配信部１３８は、配信情報１２４から、復号部１３３によって送信準備信号が検出されたときに表示されていた広告に対応し、属性解析部１３７によって取得された属性情報に該当するものを取得する。ここで、復号部１３３によって送信準備信号が検出されたときに表示されていた広告の広告ＩＤは、復号部１３３によって送信準備信号が検出された時刻が表示時刻に含まれる行を広告表示スケジュール１２２から検索することによって取得できる。
【００７４】
そして、情報配信部１３８は、取得した情報をメールで送信するようにメール送信部１３９に指示する。メール送信部１３９は、送信を指示された情報を、復号部１３３によって復号されたメールアドレス宛にメールで送信する。
【００７５】
次に、広告管理装置１０の動作について説明する。図９は、光通信の復号処理の処理手順を示すフローチャートである。図９に示すように、復号部１３３は、画像取得部１３２から画像データを取得する（ステップＳ１０１）。そして、復号部１３３は、同一の撮像装置２０によって撮影された過去一定期間の画像データを画像データ１２３から取得し、フレーム間差分の和をピクセル毎に演算する（ステップＳ１０２）。
【００７６】
ここで、フレーム間差分の和が閾値を超えるピクセルがなかった場合、すなわち、送信準備信号が送信されていない場合（ステップＳ１０３否定）、復号部１３３は、ステップＳ１０１から処理手順を再開する。
【００７７】
一方、フレーム間差分の和が閾値を超えるピクセルがあった場合（ステップＳ１０３肯定）、復号部１３３は、フレーム間差分の和が最大のピクセルを発光点として選択する（ステップＳ１０４）。そして、復号部１３３は、選択したピクセルの過去一定時間の発光パターンを取得する（ステップＳ１０５）。
【００７８】
ここで、送信開始信号の終わりが検出された場合は（ステップＳ１０６肯定）、復号部１３３は、送信終了信号を検出するまでメールアドレスを復号する（ステップＳ１０７）。一方、送信開始信号の終わりが検出されない場合は（ステップＳ１０６否定）、復号部１３３は、ステップＳ１０５から処理手順を再開する。
【００７９】
なお、復号処理は、撮像装置２０毎に繰り返して実行される。そのため、ある撮像装置２０に対応する復号処理で送信準備信号が検出された場合、他の撮像装置２０に対応する復号処理で送信準備信号を所定の期間検出しないようにしてもよい。このようにすることにより、送信されたメールアドレスが各撮像装置２０に対応する復号処理で重複して復号されることを防止することができる。
【００８０】
また、各撮像装置２０に対応する復号処理で送信準備信号が所定の期間内に検出された場合、それぞれの復号処理で得られた発光パターンを合成してメールアドレスを復号することとしてもよい。このように発光パターンを合成することにより、光通信中に光がある方向で遮断された場合でも、その影響を軽減することができる。
【００８１】
続いて、図１０〜１２に示す画像データの例を参照しながら顔領域特定処理の処理手順について説明する。
【００８２】
図１０は、送信準備信号の検出時に天井側の撮像装置２０ｃによって撮影された画像データの一例を示す図である。図１０に示す画像データ８１は、図中下方が撮像装置２０ａの設置位置に相当し、図中上方が撮像装置２０ｂの設置位置に相当する。そして、画像データ８１は、図中左上を原点として、図中右へ行くほどＸ座標の値が大きくなり、図中下方へ行くほどＹ座標の値が大きくなるように座標が設定されている。図１０には、人物Ｐ１〜Ｐ３の頭部と、光通信の発光点８１ｄが写っている。
【００８３】
図１１は、壁側の撮像装置２０ａによって撮影された画像データの一例を示す図である。図１１に示す画像データ８２は、画像データ８１と同じタイミングで撮影された画像データである。そして、画像データ８２は、図中左上を原点として、図中右へ行くほどＸ座標の値が大きくなり、図中下方へ行くほどＹ座標の値が大きくなるように座標が設定されている。図１１には、後ろ向きに立っている人物Ｐ１と、正面を向いて立っている人物Ｐ２およびＰ３と、光通信の発光点８２ｃとが写っている。
【００８４】
図１２は、壁側の撮像装置２０ｂによって撮影された画像データの一例を示す図である。図１２に示す画像データ８３は、画像データ８１と同じタイミングで撮影された画像データである。そして、画像データ８３は、図中左上を原点として、図中右へ行くほどＸ座標の値が大きくなり、図中下方へ行くほどＹ座標の値が大きくなるように座標が設定されている。図１２には、正面を向いて立っている人物Ｐ１と、後ろ向きに立っている人物Ｐ２およびＰ３と、光通信の発光点８３ｂとが写っている。
【００８５】
図１３は、顔領域特定処理の処理手順を示すフローチャートである。この処理手順は、復号部１３３によって送信準備信号が検出されるたびに、顔領域特定部１３４によって実行される。
【００８６】
図１３に示すように、顔領域特定部１３４は、検出された送信準備信号の発光位置に関する情報を復号部１３３から取得する（ステップＳ２０１）。取得される発光位置情報の一例を図１４に示す。図１４に示すように、発光位置を示す座標は、撮像装置２０毎に取得される。これらの座標は、画像データ８１〜８３内の発光点の座標に対応する。
【００８７】
続いて、顔領域特定部１３４は、送信準備信号の検出時に各撮像装置２０によって撮影された画像データを取得する（ステップＳ２０２）。ここでは、画像データ８１〜８３が取得されたものとする。
【００８８】
続いて、顔領域特定部１３４は、壁側から撮影された各画像データから顔領域を抽出する処理を顔領域検出部１３４ａに実行させる（ステップＳ２０３）。ステップＳ２０３では、画像データ８２から、正面を向いている人物Ｐ２の顔領域８２ａと、同じく正面を向いている人物Ｐ３の顔領域８２ｂとが検出される。また、画像データ８３から、正面を向いている人物Ｐ１の顔領域８３ａが検出される。検出された各顔領域の左上座標、幅、高さの組合せは、図１６に示すように、それぞれユニークな識別番号である顔領域ＩＤを割り当てられ、撮影された撮像装置と対応づけて管理される。
【００８９】
続いて、顔領域特定部１３４は、天井側から撮影された画像データから頭部領域を抽出する処理を頭部領域検出部１３４ｂに実行させる（ステップＳ２０４）。ステップＳ２０４では、画像データ８１から、人物Ｐ１の頭部領域８１ａと、人物Ｐ２の頭部領域８１ｂと、人物Ｐ３の頭部領域８１ｃとが検出される。検出された各頭部領域の左上座標、幅、高さの組合せは、図１５に示すように、それぞれユニークな識別番号である頭部領域ＩＤを割り当てられて管理される。
【００９０】
続いて、顔領域特定部１３４は、撮像装置２０に対して光通信を実行している可能性のある人物の頭部領域を壁側の撮像装置２０毎に選択する処理を頭部領域選択部１３４ｃに実行させる。そして、顔領域特定部１３４は、選択された頭部領域を、光通信の送信先と想定される撮像装置２０と対応づけて記憶する（ステップＳ２０５）。
【００９１】
ステップＳ２０５では、画像データ８１から、撮像装置２０ａに対して光通信を実行している可能性のある人物の頭部領域として、頭部領域８１ａおよび８１ｂが選択される。これらの頭部領域の中心と発光点８１ｄの距離が閾値Ｔｈ１より小さいので第１の基準が満たされ、これらの頭部領域の中心のＹ座標が発光点８１ｄのＹ座標であるＹ１よりも小さいので第２の基準も満たされるためである。
【００９２】
また、画像データ８１から、撮像装置２０ｂに対して光通信を実行している可能性のある人物の頭部領域として、頭部領域８１ｃが選択される。頭部領域８１ｃの中心と発光点８１ｄの距離が閾値Ｔｈ１より小さいので第１の基準が満たされ、頭部領域８１ｃの中心のＹ座標が発光点８１ｄのＹ座標であるＹ１よりも大きいので第２の基準も満たされるためである。
【００９３】
こうして選択された頭部領域は、図１７に示すように、光通信の送信先と想定される映像装置と対応づけて記憶される。具体的には、頭部領域８１ａの頭部領域ＩＤである「ＨＥＡＤ０１」および頭部領域８１ｂの頭部領域ＩＤである「ＨＥＡＤ０２」は、撮像装置２０ａと対応づけられる。そして、頭部領域８１ｃの頭部領域ＩＤである「ＨＥＡＤ０３」は、撮像装置２０ｂと対応づけられる。
【００９４】
続いて、顔領域特定部１３４は、選択された頭部領域のうち未取得のものを１つ取得する（ステップＳ２０６）。そして、未取得の頭部領域を取得できた場合は（ステップＳ２０７否定）、顔領域特定部１３４は、その頭部領域の中心のＸ座標を壁側から撮影された各画像データの座標へ変換する処理を位置変換部１３４ｄに実行させる（ステップＳ２０８）。
【００９５】
ステップＳ２０６で頭部領域８１ｂが選択されたとすると、その中心のＸ座標であるＸ１は、以下のように変換される。Ｘ１を画像データ８２の座標へ変換する場合、画像データ８２のＸ座標の方向は、頭部領域８１ｂを含む画像データ８１と同一であるので、解像度の相違に応じた係数を乗じることにより変換が完了する。一方、Ｘ１を画像データ８３の座標へ変換する場合、画像データ８３のＸ座標の方向と画像データ８１と反対であるので、座標を図中右上を原点としたものに置き換えた後に、解像度の相違に応じた係数を乗じることとなる。
【００９６】
続いて、顔領域特定部１３４は、中心の座標と変換後の座標の距離が閾値よりも小さい顔領域を、ステップＳ２０６で選択された頭部領域と対応づけて記憶された撮像装置によって撮影された画像データから検出された顔領域の中から選択する（ステップＳ２１０）。ここで用いられる閾値は、誤差を吸収するためものである。
【００９７】
ステップＳ２０６で頭部領域８１ａが選択された場合について考える。頭部領域８１ａと対応づけてステップＳ２０５で記憶されたのは撮像装置２０ａであり、撮像装置２０ａによって撮影された画像データ８２からは、顔領域８２ａおよび８２ｂが検出されている。しかし、頭部領域８１ａの中心のＸ座標を画像データ８２のＸ座標へ変換した位置にいるのは、後ろ向きに立っている人物Ｐ１であり、変換後のＸ座標付近では顔領域は検出されていない。このため、頭部領域８１ａに対応する顔領域は選択されない。
【００９８】
また、ステップＳ２０６で頭部領域８１ｃが選択された場合について考える。頭部領域８１ｃと対応づけてステップＳ２０５で記憶されたのは撮像装置２０ｂであり、撮像装置２０ｂによって撮影された画像データ８３からは、顔領域８３ａが検出されている。しかし、頭部領域８１ｃの中心のＸ座標を画像データ８３のＸ座標へ変換した位置にいるのは、後ろ向きに立っている人物Ｐ３であり、変換後のＸ座標付近では顔領域は検出されていない。このため、頭部領域８１ｃに対応する顔領域は選択されない。
【００９９】
ステップＳ２０６で頭部領域８１ｂが選択された場合について考える。頭部領域８１ｂと対応づけてステップＳ２０５で記憶されたのは撮像装置２０ａであり、撮像装置２０ａによって撮影された画像データ８２からは、顔領域８２ａおよび８２ｂが検出されている。そして、頭部領域８１ａの中心のＸ座標を画像データ８２のＸ座標へ変換した位置には正面を向いて立っている人物Ｐ２がおり、変換後のＸ座標の値は、顔領域８２ａの中心のＸ座標とほぼ一致する。このため、頭部領域８１ｂに対応する顔領域として、顔領域８２ａが選択される。
【０１００】
ステップＳ２０９で顔領域を選択できた場合（ステップＳ２１０肯定）、顔領域特定部１３４は、選択された顔領域を、ステップＳ２０６で選択した頭部領域と対応づけて送信者の領域の候補として記憶し（ステップＳ２１１）、ステップＳ２０６から処理手順を再開する。一方、ステップＳ２０９で顔領域を選択できなかった場合（ステップＳ２１０否定）、顔領域特定部１３４は、ステップＳ２０６から処理手順を再開する。
【０１０１】
こうして、顔領域特定部１３４は、未取得の頭部領域がなくなるまで頭部領域と顔領域の照合を行う。そして、ステップＳ２０５で選択された頭部領域をすべて取得し、未取得のものがなくなったならば（ステップＳ２０７肯定）、頭部領域と顔領域の照合を終了する。
【０１０２】
続いて、顔領域特定部１３４は、送信者の領域の候補として記憶している頭部領域と顔領域の組合せが複数ある場合は（ステップＳ２１２肯定）、発光位置との距離が最小の組合せを候補として選択する（ステップＳ２１３）。
【０１０３】
続いて、顔領域特定部１３４は、送信者の領域の候補として記憶している頭部領域と顔領域の組合せがあれば（ステップＳ２１４肯定）、候補に含まれる頭部領域と顔領域を送信者のものと特定する（ステップＳ２１５）。一方、顔領域特定部１３４は、送信者の領域の候補として記憶している頭部領域と顔領域の組合せがなければ（ステップＳ２１４否定）、送信者の頭部領域と顔領域を特定することはできないと判断する（ステップＳ２１６）。
【０１０４】
図１０〜１２に示した例では、頭部領域８１ｂと顔領域８２ａの組合せのみが候補として選択されるため、頭部領域８１ｂと顔領域８２ａが送信者のものと特定される。この特定結果は適正である。
【０１０５】
図１８は、視聴者追跡処理の処理手順を示すフローチャートである。視聴者追跡処理は、顔領域特定部１３４によって送信者の顔領域と頭部領域が特定されるたびに、追跡部１３５等によって実行される。
【０１０６】
図１８に示すように、追跡部１３５は、送信者、すなわち、広告に興味をもってメールアドレスを送信した視聴者のものと特定された頭部領域の移動を追跡する（ステップＳ３０１）。この追跡は、頭部領域がエレベータ内の空間の外へ出たと判定されるまで実行される。
【０１０７】
そして、頭部領域が画像データの外周部分から外部へ消える等して、頭部領域がエレベータ内の空間の外へ出たと判定されたならば（ステップＳ３０２肯定）、階数取得部１３６が現在の階数を取得する（ステップＳ３０３）。そして、属性解析部１３７が、取得された階数を復号されたメールアドレスと対応づけて視聴者属性データ１２６に記憶させる（ステップＳ３０４）。
【０１０８】
なお、図１に示した広告管理システム１の構成は、要旨を逸脱しない範囲で種々に変更することができる。例えば、広告管理システム１を、エレベータ内で表示される広告を管理するためではなく、電車内や街頭で表示される広告を管理するように変形することができる。
【０１０９】
また、広告管理システム１では天井側１台と壁側２台という計３台の撮像装置を用いているが、撮影対象の空間を異なる角度から撮影する撮像装置が複数設置されていれば、撮像装置の台数と設置位置は問わない。
【０１１０】
なお、上記では携帯端末装置４０から撮像装置２０へ向けてメールアドレスが光通信で送信される場合を例に挙げ説明したが、天井の撮像装置３０ｃにより撮影した画像８１から、送信準備信号を検出することができる場合がある。
【０１１１】
したがって、必ずしも上記のように、広告コンテンツ内で、携帯端末を撮像装置へ向けてメールアドレスを送信するよう促さなくてもよい。
【０１１２】
たとえば、広告コンテンツにおいて、撮像装置以外の予め定められた所定の基準位置（例えば任意の壁面に貼付したポスターの位置など）に向けて、光信号を発信するよう促した場合にも、送信者と発光点と所定の基準位置との位置関係に基づいて、端末の所持者を特定することができる。
【０１１３】
すなわち、この場合、前記頭部領域選択部１３４ｃによる前記第２の基準は、予め定められた所定の基準位置（ポスターの位置）からみて、頭部領域が光通信の発光点よりも遠方に位置していること、となる。
【０１１４】
また、さらに、天井の撮像装置３０ｃにより、服装、髪型等の人物の特徴をも認識することとすれば、壁側の撮像装置を省略したシステム構成とても、携帯対端末装置の所持者に対し、その特徴に応じた広告等の情報を送信することが可能である。
【０１１５】
前記広告管理装置１０の機能の全部もしくは一部は、ソフトウェアとして実装し、これをコンピュータで実行することによって同等の機能を実現することもできる。以下に、広告管理装置１０の顔領域特定に関する機能をソフトウェアとして実装した画像処理プログラム１０７１を実行するコンピュータの一例を示す。
【０１１６】
図１９は、画像処理プログラム１０７１を実行するコンピュータ１０００を示す機能ブロック図である。このコンピュータ１０００の各種演算処理を実行するＣＰＵ（Central Processing Unit）１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）１０６０と、ハードディスク装置１０７０とは、バス１０８０で接続されている。
【０１１７】
そして、ハードディスク装置１０７０には、図１に示した顔領域特定部１３４と同様の機能を有する画像処理プログラム１０７１と、図１に示した画像データ１２３に対応する画像処理用データ１０７２とが記憶される。なお、画像処理用データ１０７２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。
【０１１８】
そして、ＣＰＵ１０１０が画像処理プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、画像処理プログラム１０７１は、画像処理プロセス１０６１として機能するようになる。そして、画像処理プロセス１０６１は、画像処理用データ１０７２から読み出した情報等を適宜ＲＡＭ１０６０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。
【０１１９】
なお、上記の画像処理プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１２０】
上述してきたように、本実施例では、異なる方向から撮影して得られた情報に基づいて顔領域の候補を絞り込むこととしたので、壁側に設置された撮像装置で撮影された画像中から光通信の送信者の顔領域を精度よく特定することができる。
【０１２１】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１２２】
（付記１）個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理プログラムであって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出手順と、
前記検出手順において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【０１２３】
（付記２）前記人物領域特定手順は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする付記１に記載の画像処理プログラム。
【０１２４】
（付記３）前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出手順と、
前記顔領域検出手順において該第２の画像内で検出された顔領域のうち、前記人物領域選択手順において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定手順と
をさらにコンピュータに実行させることを特徴とする付記１または２記載の画像処理プログラム。
【０１２５】
（付記４）前記顔領域特定手順によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析手順をさらにコンピュータに実行させることを特徴とする付記３に記載の画像処理プログラム。
【０１２６】
（付記５）前記復号手順によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析手順によって解析された属性情報に応じた情報を送信する送信手順をさらにコンピュータに実行させることを特徴とする付記４に記載の画像処理プログラム。
【０１２７】
（付記６）個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、
前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部と
を備えたことを特徴とする画像処理装置。
【０１２８】
（付記７）前記人物領域特定部は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする付記６に記載の画像処理装置。
【０１２９】
（付記８）前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出部と、
前記顔領域検出部において該第２の画像内で検出された顔領域のうち、前記人物領域選択部において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定部と
をさらに備えたことを特徴とする付記６または７記載の画像処理装置。
【０１３０】
（付記９）前記顔領域特定部によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析部をさらに備えたことを特徴とする付記８に記載の画像処理装置。
【０１３１】
（付記１０）前記復号部によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析部によって解析された属性情報に応じた情報を送信する送信部をさらに備えたことを特徴とする付記９に記載の画像処理装置。
【０１３２】
（付記１１）個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理方法であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出工程と、
前記検出工程において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定工程と
を含んだことを特徴とする画像処理方法。
【０１３３】
（付記１２）前記人物領域特定工程は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする付記１１に記載の画像処理方法。
【０１３４】
（付記１３）前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出工程と、
前記顔領域検出工程において該第２の画像内で検出された顔領域のうち、前記人物領域選択工程において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定工程と
をさらに含んだことを特徴とする付記１１または１２記載の画像処理方法。
【０１３５】
（付記１４）前記顔領域特定工程によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析工程をさらに含んだことを特徴とする付記１３に記載の画像処理方法。
【０１３６】
（付記１５）前記復号工程によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析工程によって解析された属性情報に応じた情報を送信する送信工程をさらに含んだことを特徴とする付記１４に記載の画像処理方法。
【符号の説明】
【０１３７】
１ 広告管理システム
１０ 広告管理装置
１１０ ネットワークインターフェース部
１２０ 記憶部
１２１ 広告データ
１２２ 広告表示スケジュール
１２３ 画像データ
１２４ 配信情報
１２５ 配信情報選択条件
１２６ 視聴者属性データ
１３０ 制御部
１３１ 広告表示制御部
１３２ 画像取得部
１３３ 復号部
１３４ 顔領域特定部
１３４ａ 顔領域検出部
１３４ｂ 頭部領域検出部
１３４ｃ 頭部領域選択部
１３４ｄ 位置変換部
１３５ 追跡部
１３６ 階数取得部
１３７ 属性解析部
１３８ 情報配信部
１３９ メール送信部
２０ａ〜２０ｃ 撮像装置
３０ａ〜３０ｂ 表示装置
４０ 携帯端末装置
４０１ ユーザインターフェース部
４０２ メールアドレス送信部
４０３ 符号化部
４０４ 発光制御部
４０５ 発光部
４０６ 無線通信部
４０７ メール送受信部
４０８ ＷＥＢブラウザ
５０ ネットワーク
６０ インターネット
７０ 無線基地局
１０００ コンピュータ
１０１０ ＣＰＵ
１０２０ 入力装置
１０３０ モニタ
１０４０ 媒体読取り装置
１０５０ ネットワークインターフェース装置
１０６０ ＲＡＭ
１０６１ 画像処理プロセス
１０７０ ハードディスク装置
１０７１ 画像処理プログラム
１０７２ 画像処理用データ
１０８０ バス
【特許請求の範囲】
【請求項１】
個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理プログラムであって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出手順と、
前記検出手順において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
前記人物領域特定手順は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出手順と、
前記顔領域検出手順において該第２の画像内で検出された顔領域のうち、前記人物領域選択手順において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定手順と
をさらにコンピュータに実行させることを特徴とする請求項１または２記載の画像処理プログラム。
【請求項４】
前記顔領域特定手順によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析手順をさらにコンピュータに実行させることを特徴とする請求項３に記載の画像処理プログラム。
【請求項５】
前記復号手順によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析手順によって解析された属性情報に応じた情報を送信する送信手順をさらにコンピュータに実行させることを特徴とする請求項４に記載の画像処理プログラム。
【請求項６】
個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、
前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部と
を備えたことを特徴とする画像処理装置。
【請求項７】
個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理方法であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出工程と、
前記検出工程において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定工程と
を含んだことを特徴とする画像処理方法。
【請求項１】
個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理プログラムであって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出手順と、
前記検出手順において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
前記人物領域特定手順は、前記所定の位置から見て前記発光位置よりも遠方に位置し、かつ、前記発光位置との距離が閾値よりも小さい人物領域を、前記光通信装置の所持者の人物領域として特定することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記所定の空間を前記撮像装置とは別の方向から撮影する第２の撮像装置によって撮影された、第２の画像に含まれる人物の顔領域を検出する顔領域検出手順と、
前記顔領域検出手順において該第２の画像内で検出された顔領域のうち、前記人物領域選択手順において前記画像内で特定された人物領域と同一位置に存在すると判断されるものを、前記光通信装置を用いて光信号を送信した人物の顔領域として特定する顔領域特定手順と
をさらにコンピュータに実行させることを特徴とする請求項１または２記載の画像処理プログラム。
【請求項４】
前記顔領域特定手順によって特定された顔領域を解析して、前記光通信装置を用いて光信号を送信した人物の属性情報を取得する属性解析手順をさらにコンピュータに実行させることを特徴とする請求項３に記載の画像処理プログラム。
【請求項５】
前記復号手順によって復号された情報に含まれる前記光通信装置の識別情報に基づいて、前記光通信装置に対して、前記属性解析手順によって解析された属性情報に応じた情報を送信する送信手順をさらにコンピュータに実行させることを特徴とする請求項４に記載の画像処理プログラム。
【請求項６】
個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理装置であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出部と、
前記検出部において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定部と
を備えたことを特徴とする画像処理装置。
【請求項７】
個人の属性に応じた適切な情報を該個人の光通信装置に送信する広告情報提供システムにおいて、撮像装置で撮影された画像を解析して光通信装置の所持者を特定する画像処理方法であって、
前記光通信装置とその所持者が存在する所定の空間を撮影する前記撮像装置によって撮影された前記画像を解析して、前記光通信装置が送信した光信号と、前記光通信装置の所持者の候補となり得る複数の人物領域を検出する検出工程と、
前記検出工程において前記画像中に検出された複数の人物領域の中から、前記画像における前記光信号の発光位置と予め定められた所定の基準位置と各人物領域との位置関係に基づいて、前記光通信装置の所持者の人物領域を特定する人物領域特定工程と
を含んだことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２３８１９６（Ｐ２０１０−２３８１９６Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８８３８６（Ｐ２００９−８８３８６）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]