説明

電子機器及びグループ化方法

【課題】本発明によれば、オブジェクトを簡便にグループ化する。
【解決手段】電子機器1は、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得する取得部10と、取得部10によって取得された各オブジェクトのリズム情報の類似度を算出する算出部20と、算出部20によって算出された各オブジェクトのリズム情報の類似度に基づいて、各オブジェクトをグループ化するグループ化情報を生成するグループ化部30とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器及びグループ化方法に関するものである。
【背景技術】
【0002】
従来、入力画像間の類似性を評価することによって入力画像をグループ化する撮像装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−010275号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された撮像装置は、撮像画像内のオブジェクトをグループ化できないという問題がある。従って、例えば、オブジェクトをグループ化した場合に実現され得る種々の応用処理(例えば、人物のオブジェクトをグループ化の対象とし、同一グループにグループ化された人物が使用する電子機器が、同様に音声出力し、同様に発光し、又は、同様に振動するように設定)を実現することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、オブジェクト(例えば、ユーザ)を簡便にグループ化する技術を提供する。
【課題を解決するための手段】
【0005】
上記問題を解決するために、本発明の一態様である電子機器は、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得する取得部と、前記取得部によって取得された各オブジェクトの前記リズム情報の類似度を算出する算出部と、 前記算出部によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成するグループ化部とを備えることを特徴とする。
【0006】
上記電子機器において、前記取得部は、撮像部と、前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部とを有し、前記算出部は、前記抽出部によって抽出された第1の他の人物の前記リズム情報と第2の他の人物の前記リズム情報との類似度を算出し、前記グループ化部は、前記算出部によって算出された前記第1の他の人物の前記リズム情報と前記第2の他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、前記第1の他の人物と前記第2の他の人物を同一グループにグループ化するようにしてもよい。
【0007】
上記電子機器において、前記取得部は、当該電子機器の筐体の動きを検出する検出部と、撮像部と、前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部とを有し、前記算出部は、前記検出部によって検出された当該電子機器の筐体の動きを示す動き情報を当該電子機器のユーザの前記リズム情報とし、当該電子機器のユーザの前記リズム情報と前記抽出部によって抽出された他の人物の前記リズム情報との類似度を算出し、前記グループ化部は、前記算出部によって算出された当該電子機器のユーザの前記リズム情報と前記他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、当該電子機器のユーザと前記他の人物を同一グループにグループ化するようにしてもよい。
【0008】
上記電子機器は、前記グループ化部によって同一グループにグループ化された他の人物と通信するための接続情報を表示する表示部を更に備えるようにしてもよい。
【0009】
上記電子機器は、前記グループ化部によって同一グループにグループ化された人物の携帯する電子機器が、同様に音声出力し、同様に発光し、又は、同様に振動するように、他の電子機器に動作制御情報を送信する送信部を更に備えるようにしてもよい。
【0010】
上記問題を解決するために、本発明の他の態様であるグループ化方法は、撮像画像内のオブジェクトをグループ化する電子機器におけるグループ化方法であって、前記電子機器の取得手段が、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得し、前記電子機器の算出手段が、前記取得手段によって取得された各オブジェクトの前記リズム情報の類似度を算出し、前記電子機器のグループ化手段が、前記算出手段によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成することを特徴とする。
【発明の効果】
【0011】
本発明によれば、オブジェクトを簡便にグループ化することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態による電子機器1の処理の概要を説明するための模式図である。
【図2】電子機器1の一例を示す構成図である。
【図3】電子機器1が取得又は記憶する情報の一例である。
【図4】他の電子機器100の一例を示す構成図である。
【図5】オブジェクトの時間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図6】オブジェクトの時間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図7】オブジェクトの時間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図8】オブジェクトの空間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図9】オブジェクトの空間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図10】オブジェクトの空間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図11】オブジェクトの空間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【図12】電子機器1の動作の一例を示すフローチャートである。
【図13】電子機器1によるグループ化の結果を説明するための模式図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本発明の一実施形態について説明する。図1は、本発明の一実施形態による電子機器1の処理の概要を説明するための模式図である。
【0014】
電子機器1(例えば、携帯型電子機器)は、電子機器(例えば、携帯型電子機器)を使用するユーザをグループ化する。
例えば、電子機器1は、図1(a)に示すように、自電子機器1の周辺に存在する複数の他の電子機器100のユーザをグループ化する(なお、図1においてユーザは非図示、図13も同様)。
即ち、電子機器1は、破線に図示する様に、自電子機器1のユーザを除く、複数の電子機器100のユーザをグループ化の対象とする。
また例えば、電子機器1は、図1(b)に示すように、自電子機器1のユーザ、及び、自電子機器1の周辺に存在する複数の他の電子機器100のユーザをグループ化する。即ち、電子機器1は、破線に図示する様に、自電子機器1のユーザを含む、複数の電子機器(電子機器1及び電子機器100)のユーザをグループ化の対象とする。
【0015】
なお、電子機器1及び複数の他の電子機器100の夫々は、例えば、所定の距離内に接近したときに、通信によって、互いの接続情報(後述)を自動的に交換するものとする。
【0016】
以下、図1(a)に示す態様(自電子機器1のユーザを除く、複数の電子機器100のユーザをグループ化の対象とする態様)について説明する。なお、図1(b)に示す態様(自電子機器1のユーザを含む、複数の電子機器(電子機器1及び電子機器100)のユーザをグループ化の対象とする態様)については後述する。
【0017】
図2は、電子機器1の一例を示す構成図である。図3は、電子機器1が取得又は記憶する情報の一例である。電子機器1は、図2(a)に示すように、取得部10、算出部20、グループ化部30、表示部40、送信部50、動作制御部60、リズム情報記憶部90、接続情報記憶部92、グループ化情報記憶部94、及び、動作制御情報記憶部96を備える。
【0018】
取得部10は、図2(b)に示すように、撮像部14及び抽出部16を有する。なお、取得部10は、図2(c)に示すように、撮像部14及び抽出部16に加え検出部12を有してもよい。但し、図1(a)に示す態様の場合、撮像部14及び検出部12は必須でないため、検出部12を有しないものとして説明する。
【0019】
取得部10は、撮像画像内のオブジェクトのリズム情報を取得する。具体的には、取得部10の抽出部16が、取得部10の撮像部14によって撮像された撮像画像内のオブジェクトのリズム情報を抽出(生成)する。なお、リズム情報を抽出する元となるオブジェクトは特に限定するものではないが、原則(図8乃至図11における説明を除き)、人物に係るオブジェクトのリズム情報を抽出するものとする。また、当該人物は、他の電子機器100を携帯しているものとする。なお、リズム情報、及び、リズム情報の抽出については、図5乃至図11を用いて詳細に説明する。
【0020】
また、取得部10は、非図示の受信部を有し、撮像画像内のオブジェクトである人物が携帯している他の電子機器100の機器ID及び接続情報を取得(受信)する。機器IDは、電子機器100の夫々を識別するための識別情報である。接続情報は、電子機器100の夫々と通信するための情報であって、例えば、プロトコルに係る情報、アドレス情報などである。例えば、撮像画像中のオブジェクトである人物の位置(及び大きさ)から、当該人物の存在する方向(及び距離)を算出し、当該人物が携帯している他の電子機器100から機器ID及び接続情報を取得する。
【0021】
オブジェクト(人物)のリズム情報を取得した取得部10は、当該リズム情報をリズム情報記憶部90に記憶する。具体的には、取得部10は、図3(a)に示すように、オブジェクト(人物)のリズム情報を、当該オブジェクトである人物が携帯している他の電子機器10の機器IDに対応付けて記憶する。
【0022】
また、リズム情報を取得した取得部10は、図3(b)に示すように、機器IDに対応付けて接続情報を接続情報記憶部92に記憶する。なお、取得部10は、オブジェクト(人物)のリズム情報を取得する前に、既に、当該人物が携帯している他の電子機器100の機器ID及び接続情報を取得(交換)していた場合には、当該取得(交換)時に、機器IDに対応付けて接続情報を記憶してもよい。
【0023】
算出部20は、リズム情報記憶部90に記憶されている複数のリズム情報の類似度を算出する。即ち、算出部20は、取得部10(抽出部16)によって抽出された第1のオブジェクト(第1の他の人物)のリズム情報と、第2のオブジェクト(第2の他の人物)のリズム情報との類似度を算出する。なお、類似度の算出については、図5乃至図11を用いて詳細に説明する。
【0024】
なお、算出部20が類似度の算出を開始するタイミングは特に限定しないが、例えば、算出部20は、操作受付部(非図示)が所定のユーザ操作を受け付けたときに、類似度を算出してもよい。
【0025】
上述の如く、類似度を算出した算出部20は、類似度の算出結果をグループ化部30に出力する。
【0026】
グループ化部30は、算出部20によって算出されたリズム情報(即ち、撮像画像内に撮像されている人物に係るオブジェクトのリズム情報)の類似度に基づいて、オブジェクトである人物をグループ化する。換言すれば、グループ化部30は、算出部20によって算出された類似度の算出結果に基づいて、他の電子機器100のユーザをグループ化し、グループ化の結果であるグループ化情報(後述)を生成する。より詳細には、グループ化部30は、算出部20によって算出された第1の他の撮像装置100のユーザ(第1の他の人物)のリズム情報と、第2の他の撮像装置100のユーザ(第2の他の人物)のリズム情報が所定の閾値以上である場合に、第1の他の人物と第2の他の人物を同一グループにグループ化する。
【0027】
例えば、グループ化部30は、電子機器Aのユーザのリズム情報と電子機器Bのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Aのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Bのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が所定の閾値以上である場合に、電子機器A、B、Cのユーザを同一グループにグループ化する。つまり、グループ化部30は、電子機器Aのユーザのリズム情報と電子機器Bのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Bのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が所定の閾値以上であっても、電子機器Aのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が所定の閾値以上でない場合には、電子機器A、B、Cのユーザを同一グループにグループ化しない。
【0028】
なお、グループ化部30は、電子機器Aのユーザのリズム情報と電子機器Bのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Bのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が所定の閾値以上であって、かつ、電子機器Aのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が所定の閾値以上でない場合には、電子機器Aのユーザのリズム情報と電子機器Bのユーザのリズム情報との類似度と、電子機器Bのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度とを比較し、電子機器Aか電子機器Cの何れの一方と、電子機器Bとを同一グループにグループ化してもよい。
【0029】
即ち、グループ化部30は、電子機器Aのユーザのリズム情報と電子機器Bのユーザのリズム情報との類似度が、電子機器Bのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度よりも高い場合には、電子機器A、Bのユーザを同一グループにグループ化し、電子機器Bのユーザのリズム情報と電子機器Cのユーザのリズム情報との類似度が、電子機器Aのユーザのリズム情報と電子機器Bのユーザのリズム情報との類似度よりも高い場合には、電子機器B、Cのユーザを同一グループにグループ化してもよい。
【0030】
なお、グループ化部30がグループ化を開始するタイミングは特に限定しないが、例えば、グループ化部30は、算出部20から類似度の算出結果を取得したときに、グループ化をしてもよい。
【0031】
上述の如く、複数の他の電子機器100のユーザをグループ化したグループ化部30は、グループ化情報をグループ化情報記憶部94に記憶する。例えば、グループ化部30は、図3(c)に示すように、グループ化情報として、グループIDと所属機器情報とを対応付けてグループ化情報記憶部94に記憶する。グループIDは、グループの夫々を識別するための識別情報である。所属機器情報は、当該グループに所属するユーザの電子機器100(即ち、当該グループにグループ化されたユーザが携帯している電子機器100)を識別する機器IDを含む情報である。
【0032】
なお、図3(c)に示す例は、グループIDと所属機器情報とを対応付けて記憶する態様であるが、機器IDを取得する際に機器IDに代えて又は加えてユーザIDを取得しておくことにより、グループIDとユーザIDとを対応付けて記憶してもよい。
【0033】
表示部40は、種々の情報を表示する。例えば、表示部40は、グループ化部30によって同一グループにグループ化されたユーザが携帯している他の電子機器100と通信するための接続情報を表示する。具体的には、表示部40は、接続情報記憶部92とグループ化情報記憶部94とを参照し、グループ別に、当該グループにグループ化されたユーザが携帯している他の電子機器100の機器IDと、当該他の電子機器100と通信するための接続情報とを表示する。なお、表示部40は、接続情報を表示せずに、グループ別に、機器IDのみを表示してもよい。
【0034】
なお、表示部40が上述の表示を開始するタイミングは特に限定しないが、例えば、表示部40は、グループ化情報がグループ化情報記憶部94に記憶されたときに表示してもよい。また、表示部40は、操作受付部(非図示)が所定のユーザ操作を受け付けたときに表示してもよい。
【0035】
また、表示部40は、動作制御情報記憶部96に記憶されている動作制御情報を表示する。図3(d)は、動作制御情報記憶部96に記憶されている動作制御情報の一例である。
【0036】
動作制御情報は、電子機器1、100の動作を制御するための制御情報であって、例えば、図3(d)に示すように、音声出力を制御するための音声出力制御情報、発光を制御する発光制御情報、振動を制御するための振動制御情報の何れか1以上の制御情報を含む。また、各制御情報(音声出力制御情報、発光制御情報、振動制御情報)は夫々、複数の設定可能値(若しくは、設定可能範囲)を有する。なお、図3(d)に示す動作制御情報は、一例であって、電子機器1、100の他の動作を制御するため他の制御情報を含むものであってもよい。
【0037】
なお、表示部40が動作制御情報の表示を開始するタイミングは特に限定しないが、例えば、表示部40は、操作受付部(非図示)が所定のユーザ操作を受け付けたときに、動作制御情報を表示してもよい。例えば、送信部50が動作制御情報を送信する前に、表示部40は、送信する値(設定値)を確認するためのボタン(操作受付部に相当)を表示し、当該ボタンの押下により、送信前に、送信する値を表示してもよい。
【0038】
送信部50は、種々の情報を送信する。例えば、送信部50は、グループ化情報を他の電子機器100に送信する。具体的には、送信部50は、グループ化情報記憶部94を参照し、グループ別に、当該グループにグループ化されたユーザが携帯している他の電子機器100の夫々に対し、当該グループに属するユーザが携帯している他の電子機器100の機器IDを送信する。
【0039】
また、送信部50は、グループ化部30によって同一グループにグループ化されたユーザが携帯している複数の電子機器100が、同様に音声出力し、同様に発光し、又は、同様に振動するように、他の電子機器100に動作制御情報を送信する。具体的には、送信部50は、接続情報記憶部92とグループ化情報記憶部94と動作制御情報記憶部96とを参照し、グループ別に、当該グループにグループ化されたユーザが携帯している他の電子機器100の夫々が、同様に音声出力し、同様に発光し、又は、同様に振動するように、各グループにグループ化された夫々の他の電子機器100に動作制御情報を送信する。
【0040】
例えば、送信部50は、グループGにグループ化されたユーザが携帯している複数の電子機器100の夫々に対し、同一の設定値(例えば、設定値a)の音声出力制御情報を送信し、グループGにグループ化されたユーザが携帯している複数の電子機器100の夫々に対し、同一の設定値(例えば、設定値b)の音声出力制御情報を送信する。これにより、グループGにグループ化されたユーザが携帯している電子機器100の夫々は、設定値aによる制御に従って音声を出力し、グループGにグループ化されたユーザが携帯している電子機器100の夫々は、設定値bによる制御に従って音声を出力するようになる。発光制御情報、又は、振動制御情報を送信する場合も同様である。
【0041】
なお、送信部50が動作制御情報の送信を開始するタイミングは特に限定しないが、例えば、送信部50は、操作受付部(非図示)が所定のユーザ操作を受け付けたときに、動作制御情報を送信してもよい。
【0042】
動作制御部60は、動作制御情報記憶部96に記憶されている動作制御情報に基づいて、種々の動作を制御する。例えば、音声出力制御情報の設定可能値のうち設定部(非図示)によって設定された設定値に従って音声を出力するように制御し、発光制御情報の設定可能値のうち設定部(非図示)によって設定された設定値に従って発光するように制御し、振動制御情報の設定可能値のうち設定部(非図示)によって設定された設定値に従って振動するように制御する。
【0043】
なお、設定部(非図示)は、操作受付部(非図示)が設定値を指定するユーザ操作を受け付けたときに、当該設定値を動作制御情報記憶部96に記憶する。
【0044】
続いて、電子機器1によるグループ化の対象である他のユーザが携帯している他の電子機器100について説明する。図4は、他の電子機器100の一例を示す構成図である。他の電子機器100は、図4に示すように、表示部140、送受信部150、動作制御部160、及び、動作制御情報記憶部196を備える。また、他の電子機器100は、上記に加え、静止画像及び動画像を撮像する撮像部(非図示)を備えていてもよい。なお、図4は、電子機器100の他の構成である(後述)。
【0045】
送受信部150は、他の電子機器(電子機器1、他の電子機器100)との間で種々の情報を送受信する。例えば、送受信部150は、当該電子機器100の機器ID及び接続情報を他の電子機器(電子機器1、電子機器100)に送信する。
【0046】
また例えば、送受信部150は、グループ化情報を電子機器1から受信する。送受信部150は、グループ化情報を受信した場合に、受信したグループ化情報を表示部140に出力する。
【0047】
また例えば、送受信部150は、設定値を含む動作制御情報を電子機器1から受信する。送受信部150は、動作制御情報を受信した場合、設定部(非図示)を介して、当該動作制御情報の設定値を、動作制御情報記憶部196に記憶(更新)する。なお、動作制御情報記憶部196の構成は、電子機器1の動作制御情報記憶部96と同様である(図3(d)参照)。
【0048】
表示部140は、種々の情報を表示する。例えば、電子機器1から受信したグループ化情報、動作制御情報を表示する。
【0049】
動作制御部160は、動作制御情報記憶部196に記憶されている動作制御情報に基づいて、種々の動作を制御する。例えば、音声出力制御情報の設定可能値のうち設定部(非図示)によって設定された設定値に従って音声を出力するように制御し、発光制御情報の設定可能値のうち設定部(非図示)によって設定された設定値に従って発光するように制御し、振動制御情報の設定可能値のうち設定部(非図示)によって設定された設定値に従って振動するように制御する。
【0050】
つまり、電子機器1から送信された動作制御情報(設定値)を受信した他の電子機器100は、当該動作制御情報(設定値)に従って動作する。従って、同一グループにグループ化されたユーザが携帯している夫々の電子機器100に、同一の設定値の音声出力制御情報を送信すれば、これらの電子機器は同様に音声を出力し、同一の設定値の発光制御情報を送信すれば、これらの電子機器は同様に発光し、同一の設定値の振動制御情報を送信すれば、これらの電子機器は同様に振動する。
【0051】
以下、図5乃至図11を用いて、オブジェクトの時間的又は空間的な変化のパターンを表すリズム情報、オブジェクトの時間的又は空間的な変化のパターンを表すリズム情報の抽出、オブジェクトの時間的又は空間的な変化のパターンを表すリズム情報における類似度の算出について詳細に説明する。具体的には、まず、図5乃至図7を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報、オブジェクトの時間的な変化のパターンを表すリズム情報の抽出、オブジェクトの時間的な変化のパターンを表すリズム情報における類似度の算出について詳細に説明し、続いて、図8乃至図11を用いて、オブジェクトの空間的な変化のパターンを表すリズム情報、オブジェクトの空間的な変化のパターンを表すリズム情報の抽出、オブジェクトの空間的な変化のパターンを表すリズム情報における類似度の算出について詳細に説明する。
【0052】
図5乃至図7は、オブジェクトの時間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。
【0053】
電子機器1の抽出部16は、撮像部14によって撮像された動画像から人物に係るオブジェクトを抽出し、抽出した人物に係るオブジェクトに外接する外接図形の面積の変化量、長辺又は短辺の長さの変化量、縦横比の変化量、面積の変化の周期、長さの変化の周期、又は、縦横比の変化の周期を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報を抽出(生成)する。
【0054】
例えば、抽出部16は、以下に例示するパラメータ1〜12(以下、prm1〜prm12と表記)のうち1以上のパラメータの値を用いて、オブジェクトの時間的な変化のパターンを表すリズム情報を抽出する。なお、prm1〜prm12における所定時間は、例えば、外接矩形の変化の周期を基準とする時間(例えば1周期)である。また、prm7−1〜prm9−2における長辺及び短辺は、ある基準時刻(例えば、1周期の最初)の長さに基づいて決定する。また、単に、便宜上、Y軸方向(若しくはX軸方向)を長辺として決めておいてもよい。
(リズム情報を構成するパラメータ)
prm1:所定時間内における外接矩形の最大面積と最小面積の差
prm2:所定時間内における外接矩形の最大面積と最小面積の面積比
prm3−1:所定時間内における外接矩形の平均面積と最大面積の差
prm3−2:所定時間内における外接矩形の平均面積と最小面積の差
prm4−1:所定時間内における外接矩形の平均面積と最大面積の面積比
prm4−2:所定時間内における外接矩形の平均面積と最小面積の面積比
prm5:所定時間内における外接矩形の面積の分布状況(例:標準偏差)
prm6:所定時間内における外接矩形の面積の変化の周期
prm7−1:所定時間内における外接矩形の長辺の最大変化量
prm7−2:所定時間内における外接矩形の短辺の最大変化量
prm8−1:所定時間内における外接矩形の長辺の分布状況(例:標準偏差)
prm8−2:所定時間内における外接矩形の短辺の分布状況(例:標準偏差)
prm9−1:所定時間内における外接矩形の長辺の変化の周期
prm9−2:所定時間内における外接矩形の短辺の変化の周期
prm10:所定時間内における外接矩形の縦横比の最大変化量
prm11:所定時間内における外接矩形の縦横比の分布状況(例:標準偏差)
prm12:所定時間内における外接矩形の縦横比の変化の周期
【0055】
以下、具体例を用いて抽出部16によるリズム情報の抽出について説明する。図5(a)に示すPは、動画像を構成する1コマであって、人物(オブジェクトO)が上体を左右に揺らしているときに一方側に最も上体を傾けている瞬間に撮像されたものである。図5(c)に示すPは、動画像を構成する1コマであって、人物(オブジェクトO)が上体を左右に揺らしているときに他方側に上体を最も傾けている瞬間に撮像されたものである。図5(b)に示すPは、PとPの間の1コマである。
【0056】
図6(a)に示すEは、図5(a)に示すP内のオブジェクトOに外接する外接矩形である。図6(b)に示すEは、図5(b)に示すP内のオブジェクトOに外接する外接矩形である。図6(c)に示すEは、図5(c)に示すP内のオブジェクトOに外接する外接矩形である。図6(d)は、外接矩形E、E、Eの各サイズを比較したものである。図6(d)における、E1.5は、図5(a)の瞬間から図5(b)の瞬間の間の一の瞬間におけるオブジェクトOに外接する外接矩形、E2.5は、図5(c)の瞬間から図5(b)の瞬間の間の一の瞬間におけるオブジェクトOに外接する外接矩形である。図6(d)に示すように、オブジェクトの動きに応じて当該オブジェクトに外接する外接矩形の形状は変化する。
【0057】
抽出部16は、動画像(P、P、P、…)から、オブジェクトOを逐次抽出し、図7(a)に示すように、オブジェクトOに外接する外接図形を逐次抽出し、図7(b)に示すように、逐次抽出する外接矩形のサイズを算出する。なお、図7(a)に示す「周期」は、外接矩形の形状の変化の周期を示している。つまり、時刻t〜時刻t(時刻t〜時刻t、時刻t〜時刻t13、…)が1周期である。
【0058】
抽出部16は、外接矩形のサイズを用いて、所定の1以上のパラメータを算出し、算出した各パラメータの値を要素とする数値群を、オブジェクトOの時間的な変化のパターンを表すリズム情報とする。例えば、抽出部16は、図7(c)に示すように、オブジェクトOの外接矩形の最大面積と最小面積の面積比(prm2)、面積の変化の周期(prm6)、長辺の最大変化量(prm7−1)、短辺の最大変化量(prm7−1)、縦横比の最大変化量(prm10)の値を要素とする数値群を、オブジェクトOの時間的な変化のパターンを表すリズム情報R(prm2、prm6、prm7−1、prm7−2、prm10)とする。
【0059】
なお、リズム情報は、後に、比較をし易いように、各パラメータの値を適宜丸めたものであってもよいし、各パラメータの値を他の値に置き換えたものであってもよい(スコア化してもよい)。
【0060】
抽出部16が、上述の如く、各パラメータの値を要素とする数値群から構成されるリズム情報を抽出した場合、算出部20は、抽出部16によって抽出された第1の他の人物(オブジェクト)のリズム情報と第2の他の人物(オブジェクト)のリズム情報との類似度を算出する。具体的には、算出部20は、リズム情報を構成する同一のパラメータ同士の類似度を算出し、複数の、同一のパラメータ同士の類似度に基づいて、第1の他の人物のリズム情報と、第2の他の人物のリズム情報との類似度を算出する。
【0061】
例えば、リズム情報が、prm2、prm6、prm7−1、prm7−2、prm10から構成されている場合、算出部20は、第1の他の人物のリズム情報を構成するprm2の値と第2の他の人物のリズム情報を構成するprm2の値とを比較してprm2の値同士の類似度を算出する。同様に、算出部20は、prm6の値同士の類似度、prm7−1の値同士の類似度、prm7−2の値同士の類似度、prm10の値同士の類似度を算出する。
【0062】
prm2(prm6、prm7−1、prm7−2、prm10も同様)の値同士の類似度の算出手法としては種々の算出手法が考えられるが、一例として、算出部20は、第1の他の人物のリズム情報を構成するprm2の値と、第1の他の人物のリズム情報を構成するprm2の値とを比較し、値の小さい一方を大きい他方で除した値をprm2の値同士の類似度としてもよい。当該算出手法の場合、パラメータの値同士の類似度は0〜1の範囲となり、類似している程、1に近い値となる。
【0063】
また、各パラメータの値同士の類似度に基づいて、第1の他の人物のリズム情報と、第2の他の人物のリズム情報との類似度を算出する算出手法としては、種々の算出手法が考えられるが、一例として、算出部20は、各パラメータ同士の類似度の平均値を第1の他の人物のリズム情報と、第2の他の人物のリズム情報との類似度としてもよい。即ち、上記の例では、算出部20は、prm2の値同士の類似度、prm6の値同士の類似度、prm7−1の値同士の類似度、prm7−2の値同士の類似度、prm10の値同士の類似度の平均値を、第1の他の人物のリズム情報と、第2の他の人物のリズム情報との類似度としてもよい。当該算出手法の場合、第1の他の人物のオブジェクトのリズム情報と、第2の他の人物のオブジェクトのリズム情報との類似度は0〜1の範囲となり、類似している程、1に近い値となる。
【0064】
なお、上述の平均値の算出時において、所定のパラメータ同士の類似度に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、パラメータ同士の類似度の中央値、パラメータ同士の類似度の最大値、パラメータ同士の類似度の最小値を、第1の他の人物のリズム情報と、第2の人物のリズム情報との類似度としてもよい。
【0065】
以上、リズム情報が、オブジェクトの時間的な変化のパターンを表すものである場合について説明したが、続いて、リズム情報が、オブジェクトの空間的な変化のパターンを表すものである場合について説明する。図8乃至図11は、オブジェクトの空間的な変化のパターンを表すリズム情報、当該リズム情報の抽出、当該リズム情報における類似度の算出について説明するための説明図である。なお、図8乃至図11においては、説明の便宜上、上述したように、人物以外のオブジェクトを抽出するものとする。
【0066】
図8は、動画像(P11、P12、P13)から抽出された信号機のオブジェクト(O)を模式的に表したものである。図8(a)は信号機が青であるときのオブジェクトO、図8(b)は信号機が黄であるときのオブジェクトO、図8(c)は信号機が赤であるときのオブジェクトOを示している。図8(a)〜図8(c)において、r1は信号機本体の撮像領域、r2は信号機本体を支持する支持部の撮像領域である。r1−1はr1内の領域であって青ランプを保持する保持部の撮像領域、r1−2はr1内の領域であって黄ランプを保持する保持部の撮像領域、r1−3はr1内の領域であって赤ランプを保持する保持部の撮像領域である。r1−1−1はr1−1内の領域であって青ランプの撮像領域、r1−2−1はr1−2内の領域であって黄ランプの撮像領域、r1−3−1はr1−3内の領域であって赤ランプの領域である。
【0067】
なお、説明の便宜上、信号機が青の場合、点灯中の青ランプの色は青緑色、消灯中の黄ランプ及び赤ランプの色は黒色であるものとする。即ち、図8(a)における、青ランプの領域r1−1−1の色は青緑色、黄ランプの領域r1−2−1の色は黒色、赤ランプの領域r1−3−1の色は黒色であるものとする。信号機が黄の場合、点灯中の黄ランプの色は黄色、消灯中の青ランプ及び赤ランプの色は黒色であるものとする。即ち、図8(b)における、青ランプの領域r1−1−1の色は黒色、黄ランプの領域r1−2−1の色は黄色、赤ランプの領域r1−3−1の色は黒色であるものとする。信号機が赤の場合、点灯中の赤ランプの色は赤色、消灯中の青ランプ及び黄ランプの色は黒色であるものとする。即ち、図8(c)における、青ランプの領域r1−1−1の色は黒色、黄ランプの領域r1−2−1の色は黒色、赤ランプの領域r1−3−1の色は赤色であるものとする。
また、信号機が青、黄、赤の何れの場合において、ランプ以外の領域は全て灰色であるものとする。
【0068】
図9(a)は、オブジェクトOを構成する画素グループ(単位領域)を模式的に表したものである。画素グループは、所定数の隣接画素から構成される。
【0069】
図9(b)は、図9(a)に示すように、オブジェクトOを複数の画素グループに分割した場合における、オブジェクトOの空間的な変化のパターンを表すリズム情報である。図9(b)に示す画素グループID(a−4、a−5、…)は、オブジェクトOを構成する画素グループ(即ち、図9(a)に示す画素グループ)を識別する識別情報である。例えば、図9(b)に示す画素グループID「a−4」は、図9(a)に示す符号Gの画素グループ(横方向のインデックス「4」及び縦方向のインデックス「a」によって規定される画素グループ)を示している。
【0070】
図9(b)に示す各時刻(t1、t2、…)は、図8に示す信号機の撮像タイミングである。t1〜t3は、図8(a)に示すように信号が青のときの撮像タイミングである。t4は、図8(b)に示すように信号が黄のときの撮像タイミングである。t5〜t7は、図8(c)に示すように信号が赤のときの撮像タイミングである。即ち、t1〜t7は、オブジェクトOの色の変化の1周期である。なお、図9(b)に示す時刻は、説明の便宜上の時刻である(実際の信号機の場合、通常、黄の時間に対する青(及び赤)の時間は長い。
【0071】
図9(b)に示す各値(D1〜D7)は、リズム情報を構成する値であって、各撮像タイミング(t1、t2、…)における、オブジェクトOを構成する各画素グループの平均画素値である。なお、D1は灰色を示す画素値、D2は青緑色を示す画素値、D3は黒色を示す画素値、D4は黒色を示す画素値、D5は黄色を示す画素値、D6は黒色を示す画素値、D7は赤色を表す画素値である。
【0072】
つまり、図9(b)に示すリズム情報は、オブジェクトOを構成する画素グループ毎の色の変化のパターンであって、例えば、以下の特徴1〜特徴10を示している。
【0073】
特徴1:オブジェクトOの主要部の領域(図8に示す領域r1)のうち、中央の領域(図8に示す領域r1−2−1)の左側に位置する領域(図8に示す領域r1−1−1)は、色が、青緑色(D2)と黒色(D3)とに周期的に変化する。
特徴2:オブジェクトOの主要部の領域のうち、中央の領域は、色が、黒色(D4)と黄色(D5)とに周期的に変化する。
特徴3:オブジェクトOの主要部の領域のうち、中央の領域の右側に位置する領域(図8に示す領域r1−3−1)は、色が、黒色(D6)と赤色(D7)とに周期的に変化する。
特徴4:オブジェクトOの主要部の領域のうち、中央の領域、中央の領域の左側に位置する領域、中央の領域の右側に位置する領域を除いた領域(図8に示す領域r1から領域r1−1−1、領域r1−2−1及び領域r1−3−1を除いた領域)は、常に、灰色(D1)であって色の変化がない。
特徴5:オブジェクトOの主要部以外の領域(図8に示す領域r2)は、常に、灰色(D1)であって色の変化がない。
特徴6:中央の領域の左側に位置する領域(領域r1−1−1)が青緑色(D2)から黒色(D3)に変化した後に、中央の領域(領域r1−2−1)が黒色(D4)から黄色(D5)に変化する。
特徴7:中央の領域(領域r1−2−1)が黄色(D5)から黒色(D4)に変化した後に、中央の領域の右側に位置する領域(領域r1−3−1)が黒色(D6)から赤色(D7)に変化する。
特徴8:中央の領域の右側に位置する領域(領域r1−3−1)が赤色(D7)から黒色(D6)に変化した後に、中央の領域の左側に位置する領域(領域r1−1−1)が黒色(D3)から青緑色(D2)に変化する。
特徴9:青緑色(D2)に変化する中央の領域の左側に位置する領域(領域r1−1−1)と、黄色(D5)に変化する中央の領域(領域r1−2−1)と、赤色(D7)に変化する中央の領域の右側に位置する領域(領域r1−3−1)とは、略同じ大きさである。
特徴10:中央の領域の左側に位置する領域(領域r1−1−1)が青緑色(D2)である時間と、中央の領域の右側に位置する領域(領域r1−3−1)が赤色(D7)である時間は等しく、中央(領域r1−2−1)の領域が黄色(D5)である時間の略3倍である。
【0074】
抽出部16は、撮像部14によって撮像された撮像画像からオブジェクトを抽出し、当該オブジェクトの空間的な変化のパターンを表すリズム情報を抽出する。例えば、抽出部16は、オブジェクトOを抽出した場合、図9(b)に示すように、オブジェクトOを構成する画素グループ毎の色の変化の示す各値を要素とする数値値から構成されるリズム情報を抽出する。
【0075】
抽出部16が、上述の如く、夫々のオブジェクトのリズム情報を抽出した場合、算出部20は、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を、上述する1以上の特徴に関係する類似度に基づいて算出する。
【0076】
例えば、上述の特徴2に関係する類似度を用いて、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を算出してもよい。当該場合、算出部20は、例えば、第1の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部の中央領域の色の周期的な変化と、第2の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部の中央領域の色の周期的な変化との類似度を算出し、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度としてもよい。
【0077】
「主要部の中央領域の色の周期的な変化の類似度」の算出手法としては種々の算出手法が考えられるが、一例として、算出部20は、「主要部の中央領域の色の変化の周期の類似度」と「主要部の中央領域に現れる色の類似度」とに基づいて「主要部の中央領域の色の周期的な変化の類似度」を算出してもよい。なお、算出部20は、第1の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」と、第2の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」とを比較し、短い方の周期を長い方の周期で除した値を「主要部の中央領域の色の変化の周期の類似度」としてもよい。
【0078】
例えば、第1の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」が4秒、第2の他のオブジェクトのリズム情報による「主要部の中央領域の色の変化の周期」が3秒である場合、周期「3(秒)」を周期「4(秒)」で除した値「0.75」を「主要部の中央領域の色の変化の周期の類似度」とする。当該算出手法の場合、「主要部の中央領域の色の変化の周期の類似度」は0〜1の範囲となり、類似している程、1に近い値となる。
【0079】
また、算出部20は、第1の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色(比較のため階調数を削減した色、他も同様)」と、第2の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色」とを比較し、現れる数の多い方の色数を何れかによって現れる色の色数で除した値を「主要部の中央領域に現れる色の類似度」としてもよい。
【0080】
例えば、第1の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色」が3色、第2の他のオブジェクトのリズム情報による「主要部の中央領域に現れる色」が5色である場合、色数「5(色)」を色数「8(色)」で除した値「0.625」を「主要部の中央領域に現れる色の類似度」とする。当該算出手法の場合、「主要部の中央領域に現れる色の類似度」は0〜1の範囲となり、類似している程、1に近い値となる。
【0081】
また、「主要部の中央領域の色の変化の周期の類似度」と「主要部の中央領域に現れる色の類似度」とに基づいて「主要部の中央領域の色の周期的な変化の類似度」を算出する算出手法としては、種々の算出手法が考えられるが、一例として、算出部20は、「主要部の中央領域の色の変化の周期の類似度」と「主要部の中央領域に現れる色の類似度」の平均値を「主要部の中央領域の色の周期的な変化の類似度」としてもよい。
【0082】
例えば、「主要部の中央領域の色の変化の周期の類似度」が0.75、「主要部の中央領域に現れる色の類似度」が0.625である場合、平均値「0.6875」を「主要部の中央領域の色の周期的な変化の類似度」とする。当該算出手法の場合、「主要部の中央領域の色の周期的な変化の類似度」は0〜1の範囲となり、類似している程、1に近い値となる。
【0083】
なお、上述の平均値の算出時において、「主要部の中央領域の色の変化の周期の類似度」又は「主要部の中央領域に現れる色の類似度」に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、中央値、最大値、又は、最小値を、「主要部の中央領域の色の周期的な変化の類似度」としてもよい。
【0084】
また例えば、上述の特徴5に関係する類似度を用いて、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を算出してもよい。当該場合、算出部20は、例えば、第1の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部以外の領域の変化しない色と、第2の他のオブジェクトのリズム情報によって示されるオブジェクトの主要部以外の領域の変化しない色との類似度を算出し、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度としてもよい。
【0085】
「主要部以外の領域の変化しない色の類似度」の算出手法としては種々の算出手法が考えられるが、一例として、算出部20は、予め、一の色と他の色との色の類似度を示す類似色情報(0から1の範囲をとり、色同士が類似している程、1に近い値をとる情報)を保持し、当該類似色情報に基づいて、第1の他のオブジェクトのリズム情報による主要部以外の領域の色と、第2の他のオブジェクトのリズム情報による主要部以外の領域の色の類似度を算出し、算出した値を「主要部以外の領域の変化しない色の類似度」としてもよい。但し、第1の他のオブジェクトのリズム情報による主要部以外の領域の色が周期的に変化する場合、又は、第2の他のオブジェクトのリズム情報による主要部以外の領域の色が周期的に変化した場合の何れかに該当する場合には、「主要部以外の領域の変化しない色の類似度」を0とする。
【0086】
また、算出部20が、2以上の特徴に関係する類似度を用いて、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を算出する場合には、各特徴に関係する類似度に基づいて、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を算出してもよい。例えば、上述の特徴2及び特徴5に関係する類似度を用いる場合、特徴2に関係する類似度と、特徴5に関係する類似度とを夫々算出し、特徴2に関係する類似度と特徴5に関係する類似度の平均値を、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度としてもよい。
【0087】
例えば、「特徴2に関係する類似度(例えば、上記の中央領域の色の周期的な変化の類似度)」が0.875、「特徴5に関係する類似度(例えば、上記の主要部以外の領域の変化しない色の類似度)」が0.825である場合、平均値「0.85」を第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度としてもよい。
【0088】
なお、上述の平均値の算出時において、「特徴2に関係する類似度」又は「特徴5に関係する類似度」に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、中央値、最大値、又は、最小値を、「第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度」としてもよい。
【0089】
なお、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を、特徴2、特徴5に関係する類似度に基づいて算出する例を説明したが、他の夫々の特徴に応じた夫々の算出手法を適用して、第1の他のオブジェクトのリズム情報と、第2の他のオブジェクトのリズム情報との類似度を算出してもよい。
【0090】
なお、図9(b)に示す各値(D1〜D7)として、画素グループ毎の平均画素値を用いる例を説明したが、平均画素値に代えて、例えば、最大画素値(画素グループ内の複数の画素の画素値の最大値)、最小画素値(画素グループ内の複数の画素の画素値の最小値)、中央値(画素グループ内の複数の画素の画素値の中央値)を用いてもよい。
【0091】
また、所定数の隣接画素を画素グループとし、リズム情報を構成する各値(図9(b)に示す各値(D1〜D7))を算出する例を説明したが、画素値の差が所定値以下である隣接画素を画素グループとし、リズム情報を構成する各値を算出してもよい。
【0092】
図10(a)は、図8に示した信号機のオブジェクトOを構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図10(a)において、Ga1〜Ga4は、各撮像タイミング(t1〜t7)の何れにおいても画素値の差が所定数以下である隣接画像を画素グループである(図9(b)参照)。具体的には、Ga1は青ランプの領域r1−1−1、Ga2は黄ランプの領域r1−2−1、Ga3は赤ランプの領域r1−3−1、Ga4はランプ以外の領域を表している(図8参照)。
【0093】
図10(b)は、オブジェクトOを図10(a)の如く複数の画素グループに分割した場合における、オブジェクトOの空間的な変化のパターンを表すリズム情報である。図10(b)に示す各値(D1〜D7)は、リズム情報を構成する値であって、各撮像タイミング(t1、t2、…)における、オブジェクトOを構成する各画素グループの平均画素値である。但し、上述した様に、平均値に代えて、最大画素値、最小画素値、中央値を用いてもよい。
【0094】
図11(a)は、図8に示した信号機のオブジェクトOを構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図11(a)において、Gb1及びGb4は、信号が青のときの撮像タイミング(t1〜t3)において画素値の差が所定数以下である隣接画像を画素グループである(図9(b)参照)。具体的には、Gb1は青色の領域、Gb4は黒色及び灰色の領域を表している(図8参照)。即ち、消灯中の黄ランプ及び赤ランプの領域の画素値(黒色を示す値)とランプ以外の領域の画素値(灰色を示す値)の差は、所定値以下であるものとする。
【0095】
図11(b)において、Gb2及びGb4は、信号が黄のときの撮像タイミング(t4)において画素値の差が所定数以下である隣接画像を画素グループである(図9(b)参照)。具体的には、Gb2は黄色の領域、Gb4は黒色及び灰色の領域を表している(図8参照)。即ち、消灯中の青ランプ及び赤ランプの領域の画素値(黒色を示す値)とランプ以外の領域の画素値(灰色を示す値)の差は、所定値以下であるものとする。
【0096】
図11(c)において、Gb3及びGb4は、信号が赤のときの撮像タイミング(t5〜t7)において画素値の差が所定数以下である隣接画像を画素グループである(図9(b)参照)。具体的には、Gb3は赤色の領域、Gb4は黒色及び灰色の領域を表している(図8参照)。即ち、消灯中の青ランプ及び黄ランプの領域の画素値(黒色を示す値)とランプ以外の領域の画素値(灰色を示す値)の差は、所定値以下であるものとする。
【0097】
図11(d)は、オブジェクトOを図11(a)〜(c)の如く複数の画素グループに分割した場合における、オブジェクトOの空間的な変化のパターンを表すリズム情報である。図11(d)に示す各値(S1〜S7)は、リズム情報を構成する値であって、各撮像タイミングにおける各画素グループの分布(領域の形状)である。具体的には、S1は青ランプの領域r1−1−1、S2は黄ランプの領域r1−2−1、S3は赤ランプの領域r1−3−1、S4は青ランプ以外の領域、S5は黄ランプ以外の領域、S6は赤ランプ以外の領域の分布を表している。
【0098】
即ち、図9(b)に示すように所定数の隣接画素を画素グループとしリズム情報を表現するのではなく、図10(b)又は図11(d)に示すように画素値の差が所定値以下である隣接画素を画素グループとしリズム情報を表現してもよく、図10(b)又は図11(d)に示すように画素値の差が所定値以下である隣接画素を画素グループとしリズム情報を表現した場合には、図9(b)に示すように所定数の隣接画素を画素グループとしリズム情報を表現した場合と同様に、リズム情報の類似度を算出する。
【0099】
以上、図5乃至図11を用いて、リズム情報を、オブジェクトの時間的な変化のパターンとして表現し、類似度を算出する場合(図5乃至図7)と、オブジェクトの空間的な変化のパターンとして表現し、類似度を算出する場合(図8乃至図11)とを個々に説明したが、リズム情報を、時間的な変化のパターン及び空間的な変化のパターンとして表現し、類似度を算出してもよい。即ち、類似度を算出する対象のリズム情報の形式が同一であれば、リズム情報同士の類似度の算出が可能であるため、オブジェクトの時間的な変化のパターンをリズム情報としても、オブジェクトの空間的な変化のパターンをリズム情報としても、両方のパターンをリズム情報としてもよい。なお、オブジェクトの空間的な変化のパターンとして、図8乃至図11においては、説明の便宜上、人物以外(信号機)をオブジェクトとする例を示したが、人物がオブジェクトとなる場合の一例は、色又は模様が前面と後面とで異なる服を着て人物が動作する場合など、その人物の動きに応じて色が変化する場合などである。
【0100】
図12は、電子機器1の動作の一例を示すフローチャートである。図12に示すフローチャートの開始時において、リズム情報記憶部90には複数のオブジェクト(人物)のリズム情報が記憶され、接続情報記憶部92には当該複数の他の電子機器100の接続情報が記憶されているものとする。
【0101】
図12において、算出部20は、リズム情報記憶部90に記憶されている複数のオブジェクト(人物)のリズム情報の類似度を算出する(ステップS10)。算出部20は、類似度の算出結果をグループ化部30に出力する。
【0102】
グループ化部30は、算出部20による類似度の算出結果に基づいて、当該複数のオブジェクト(人物)をグループ化し、グループ化情報を生成する(ステップS12)。グループ化部30は、グループ化情報をグループ化情報記憶部94に記憶する。グループ化部30は、グループ化情報をグループ化情報記憶部94に記憶した旨を表示部40に通知する。
【0103】
表示部40は、グループ化情報及び接続情報を表示する(ステップS14)。具体的には、表示部40は、接続情報記憶部92とグループ化情報記憶部94とを参照し、グループ別に、当該グループにグループ化されたオブジェクト(人物)が携帯している夫々の電子機器100の機器IDと、当該電子機器100と通信するための接続情報とを表示する。
【0104】
送信部50は、接続情報記憶部92とグループ化情報記憶部94と動作制御情報記憶部96とを参照し、グループ別に、当該グループにグループ化されたオブジェクト(人物)が携帯している夫々の電子機器100が、同様に音声出力し、同様に発光し、又は、同様に振動するように、当該夫々の電子機器100に動作制御情報を送信する(ステップS16)。そして、本フローチャートは終了する。なお、送信部50は、操作受付部(非図示)が所定のユーザ操作を受け付けたときに、動作制御情報を送信してもよい。
【0105】
続いて、図1(b)に示す態様(自電子機器1を含む、複数の電子機器(電子機器1及び電子機器100)をグループ化の対象とする態様)について説明する。
【0106】
図1(b)に示す態様の電子機器1の構成が、上述の図1(a)に示す態様の電子機器1の構成と異なる部分は、図2(c)に示すように、検出部12を有する点のみである。以下、差異部分(検出部12)を中心に説明する。
【0107】
電子機器1の検出部12は、自電子機器1の筐体の動きを検出する。検出部12によって検出された自電子機器1の筐体の動きは、当該電子機器1を携帯している人物(当該電子機器1のユーザ)のリズム情報としてリズム情報記憶部90に記憶する。つまり、図2(c)の態様の場合には、リズム情報記憶部90には、抽出部16によって撮像画像から抽出されたオブジェクト(例えば、他の電子機器100のユーザ)のリズム情報と、当該電子機器1のユーザのリズム情報とが記憶される。
【0108】
算出部20は、取得部10によって取得されたオブジェクトのリズム情報の類似度を算出する。具体的には、算出部20は、検出部12によって検出された当該電子機器1の筐体の動きを示す動き情報(当該電子機器1のユーザのリズム情報)と、抽出部16によって抽出された他の人物のリズム情報との類似度を算出する。また、算出部20は、抽出部16によって抽出された他の人物同士のリズム情報の類似度を算出してもよい。
【0109】
グループ化部30は、算出部20によって算出された当該電子機器1のユーザのリズム情報と、他の電子機器100のユーザのリズム情報との類似度が所定の閾値以上である場合に、当該電子機器1のユーザと、他の携帯端末100のユーザを同一グループにグループ化する。また、グループ化部30は、他の電子機器100のユーザ同士の類似度が所定の閾値以上である場合にも、当該他のユーザ同士を同一グループにグループ化してもよい。
【0110】
グループ化部30によって何れかのグループに自電子機器1のユーザが、1以上の他の電子機器100のユーザとグループ化された場合には、自電子機器1と当該1以上の他の電子機器100とが、同様に音声出力し、同様に発光し、又は、同様に振動するように処理をする。例えば、送信部50が、動作制御情報記憶部96に記憶されている設定値(自電子機器1の設定値)と同一の値を他の電子機器100に送信してもよいし、設定部(非図示)が、送信部50によって他の電子機器100に送信する値(他の電子機器100に対する設定値)を、自電子機器1の設定値として動作制御情報記憶部96に記憶してもよい。
【0111】
図13は、電子機器1によるグループ化の結果を説明するための模式図である。
図13(a)は、図1(a)に示した態様におけるグループ化の結果であって、電子機器1が、5台の他の電子機器100(電子機器A〜E)のユーザのうち、3台の電子機器(電子機器A、C、D)のユーザをグループGとし、2台の電子機器(電子機器B、E)のユーザをグループGとし、更に、Gにグループ化されたユーザの電子機器(電子機器A、C、D)に同様に音声を出力させ、Gにグループ化されたユーザの電子機器(電子機器B、E)に同様に音声を出力させている様子を表している。
【0112】
つまり、電子機器1によれば、自分を除く複数の人物を簡便にグループ化することができる。また、同一のグループ化された人物が夫々に電子機器100を携帯している場合には、夫々が携帯している電子機器100に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
【0113】
図13(b)は、図1(b)に示した態様におけるグループ化の結果であって、電子機器1が、自電子機器1のユーザ、及び、5台の電子機器(電子機器A〜E)のユーザのうち、4台の電子機器(自電子機器1、電子機器A、C、D)のユーザをグループGとし、更に、Gにグループ化されたユーザの電子機器(自電子機器1、電子機器A、C、D)に同様に音声を出力させている様子を表している。
【0114】
つまり、電子機器1によれば、自分を含む複数の人物を簡便にグループ化することができる。また、自分と同一のグループ化された人物が夫々に電子機器100を携帯している場合には、夫々が携帯している電子機器(電子機器1、電子機器100)に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
【0115】
図13(c)は、図1(b)に示した態様におけるグループ化の結果であって、電子機器1が、自電子機器1のユーザ、及び、5台の電子機器(電子機器A〜E)のユーザのうち、4台の電子機器(自電子機器1、電子機器A、C、D)のユーザをグループGとし、2台の電子機器(電子機器B、E)のユーザをグループGとし、更に、Gにグループ化されたユーザの電子機器(自電子機器1、電子機器A、C、D)に同様に音声を出力させ、Gにグループ化された電子機器(電子機器B、E)に同様に音声を出力させている様子を表している。
【0116】
つまり、電子機器1によれば、自分を含む複数の人物を簡便にグループ化し、また、自分を含まない複数の人物を簡便にグループ化することができる。また、同一のグループ化された人物が夫々に電子機器(電子機器100)を携帯している場合には、夫々が携帯している電子機器(電子機器1、電子機器100)に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
【0117】
以上、電子機器1によれば、オブジェクトを簡便にグループ化する。また、電子機器1によれば、同一グループにグループ化したオブジェクトである人物が携帯している複数の電子機器に、同様に音声出力させ、同様に発光させ、又は、同様に振動させることが可能になる。
【0118】
なお、本発明の一実施形態による電子機器1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器1の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0119】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0120】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0121】
1…電子機器、10…取得部、12…検出部、14…撮像部、16…抽出部、20…算出部、30…グループ化部、40…表示部、50…送信部、60…動作制御部、90…リズム情報記憶部、92…接続情報記憶部、94…グループ化情報記憶部、96…動作制御情報記憶部、100…電子機器(他の電子機器)、140…表示部、150…送受信部、160…動作制御部、196…動作制御情報記憶部

【特許請求の範囲】
【請求項1】
撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得する取得部と、
前記取得部によって取得された各オブジェクトの前記リズム情報の類似度を算出する算出部と、
前記算出部によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成するグループ化部と
を備えることを特徴とする電子機器。
【請求項2】
請求項1に記載の電子機器において、
前記取得部は、
撮像部と、
前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部と
を有し、
前記算出部は、
前記抽出部によって抽出された第1の他の人物の前記リズム情報と第2の他の人物の前記リズム情報との類似度を算出し、
前記グループ化部は、
前記算出部によって算出された前記第1の他の人物の前記リズム情報と前記第2の他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、前記第1の他の人物と前記第2の他の人物を同一グループにグループ化することを特徴とする電子機器。
【請求項3】
請求項1に記載の電子機器において、
前記取得部は、
当該電子機器の筐体の動きを検出する検出部と、
撮像部と、
前記撮像部によって撮像された撮像画像内のオブジェクトの前記リズム情報を抽出する抽出部と
を有し、
前記算出部は、
前記検出部によって検出された当該電子機器の筐体の動きを示す動き情報を当該電子機器のユーザの前記リズム情報とし、当該電子機器のユーザの前記リズム情報と前記抽出部によって抽出された他の人物の前記リズム情報との類似度を算出し、
前記グループ化部は、
前記算出部によって算出された当該電子機器のユーザの前記リズム情報と前記他の人物の前記リズム情報との類似度が所定の閾値以上である場合に、当該電子機器のユーザと前記他の人物を同一グループにグループ化することを特徴とする電子機器。
【請求項4】
請求項2又は請求項3に記載の電子機器は、
前記グループ化部によって同一グループにグループ化された他の人物と通信するための接続情報を表示する表示部を更に備えることを特徴とする電子機器。
【請求項5】
請求項2から請求項4の何れか1項に記載の電子機器は、
前記グループ化部によって同一グループにグループ化された人物の携帯する電子機器が、同様に音声出力し、同様に発光し、又は、同様に振動するように、他の電子機器に動作制御情報を送信する送信部を更に備えることを特徴とする電子機器。
【請求項6】
撮像画像内のオブジェクトをグループ化する電子機器におけるグループ化方法であって、
前記電子機器の取得手段が、撮像画像内のオブジェクトの時間的又は空間的な変化のパターンを表すリズム情報を取得し、
前記電子機器の算出手段が、前記取得手段によって取得された各オブジェクトの前記リズム情報の類似度を算出し、
前記電子機器のグループ化手段が、前記算出手段によって算出された各オブジェクトの前記リズム情報の類似度に基づいて、前記各オブジェクトをグループ化するグループ化情報を生成する
ことを特徴とするグループ化方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−186536(P2012−186536A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−46397(P2011−46397)
【出願日】平成23年3月3日(2011.3.3)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】