説明

撮像装置、情報処理装置、及び撮像領域の共有判定方法

【課題】撮像領域を共有している他の撮像装置を容易に検出すること。
【解決手段】被写体を撮像する撮像部(101)と、前記撮像部(101)により撮像される第1の撮像領域を算出する領域算出部(108)と、他の撮像装置により撮像される第2の撮像領域の情報を取得する領域情報取得部(109)と、前記第1の撮像領域と前記第2の撮像領域とが交わるか否かを判定する交差判定部(110)と、を備える、撮像装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、撮像装置、情報処理装置、及び撮像領域の共有判定方法に関する。
【背景技術】
【0002】
近年、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能を搭載した携帯電話や携帯情報端末など(以下、撮像装置)を連携させる技術に注目が集まっている。例えば、複数の撮像装置を連携させ、被写体を前面及び背面から同時に撮影する技術などが検討されている。特に、撮影場所において連携可能な撮像装置を自動検出し、検出した複数の撮像装置を連携させる技術の実現が求められている。例えば、下記の特許文献1には、形状認識技術を利用して、複数の撮像装置により撮像された画像が含む被写体の同一性を判定し、同一被写体を撮像している撮像装置を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−154192号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮像装置毎に被写体の見え方が異なっていたり、ある撮影方向から見ると遮蔽物で被写体の一部が隠れてしまったりする状況においては、同一被写体を撮像している撮像装置を自動検出することが困難であった。例えば、同じ被写体を撮像している撮像装置として、被写体の前面から撮影している撮像装置と被写体の背面から撮影している撮像装置とを自動検出することは困難であった。また、同じ被写体を撮影している撮像装置として、被写体から遠く離れて撮影している撮像装置と、被写体の近傍で撮影している撮像装置とを自動検出することも困難であった。
【0005】
そこで、本技術は、上記問題に鑑みてなされたものであり、本技術の目的とするところは、撮像領域を共有している他の撮像装置を容易に検出することが可能な、新規かつ改良された撮像装置、情報処理装置、及び撮像領域の共有判定方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本技術のある観点によれば、被写体を撮像する撮像部と、前記撮像部により撮像される第1の撮像領域を算出する領域算出部と、他の撮像装置により撮像される第2の撮像領域の情報を取得する領域情報取得部と、前記第1の撮像領域と前記第2の撮像領域とが交わるか否かを判定する交差判定部と、を備える、撮像装置が提供される。
【0007】
また、上記の撮像装置は、前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置を被写体までの距離に応じてグループ化する第1のグルーピング部をさらに備えていてもよい。
【0008】
また、上記の撮像装置は、前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置を撮像方向に応じてグループ化する第2のグルーピング部をさらに備えていてもよい。
【0009】
また、上記の撮像装置は、前記第2のグルーピング部によりグループ化された他の撮像装置の中から、被写体を略正面から撮影しているグループに属する他の撮像装置を抽出する正面側装置抽出部をさらに備えていてもよい。
【0010】
また、上記の撮像装置は、前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置の中から、ユーザが注目する被写体を第2の撮影領域に含む他の撮像装置を抽出する注目装置抽出部をさらに備えていてもよい。
【0011】
また、前記注目装置抽出部は、前記被写体の所定部位が前記第2の撮影領域に占める割合を検出し、当該割合が所定値以上となる他の撮像装置を抽出する、ように構成されていてもよい。
【0012】
また、上記の撮像装置は、被写体の画像が有する特徴を認識する画像認識部と、前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置から、被写体の画像が有する特徴の認識結果を取得する認識結果取得部と、前記画像認識部により認識された特徴と、前記認識結果取得部により取得された認識結果が示す特徴とが略一致するか否かを判定する特徴一致判定部と、をさらに備えていてもよい。
【0013】
また、前記領域情報取得部は、ユーザにより指定された地図上の位置を基準とする所定範囲内に存在する他の撮像装置から第2の撮像領域の情報を取得する、ように構成されていてもよい。
【0014】
また、前記撮像部は、焦点距離fの光学系と、幅W及び高さHの撮像素子と、を含んでいてもよい。さらに、前記撮像装置は、自装置の位置Pを検出する位置検出部と、自装置の傾きを検出する傾き検出部と、地平面に略平行な面内における自装置の向きを検出する方向検出部と、をさらに備えていてもよい。この場合、前記領域算出部は、前記位置検出部により検出された位置P、前記傾き検出部により検出された傾き、前記方向検出部により検出された向き、前記光学系の焦点距離f、前記撮像素子の幅W及び高さHに基づいて前記第1の撮像領域を算出する。
【0015】
また、前記第1の撮像領域は、前記位置Pを頂点とし、前記光学系の光軸方向に伸びた垂線及び前記光学系の光軸を回転軸とする回転方向の傾きで形状が規定される四角錐状を成していてもよい。さらに、前記第2の撮像領域は、前記他の撮像装置の位置P’を頂点とし、当該他の撮像装置が有する光学系の光軸方向に伸びた垂線及び当該光軸を回転軸とする回転方向の傾きで形状が規定される四角錐状を成していてもよい。この場合、前記交差判定部は、前記第1の撮像領域に対応する四角錐と、前記第2の撮像領域に対応する四角錐とが交わるか否かを判定する。
【0016】
また、前記撮像部は、焦点距離fの光学系と、幅Wの撮像素子と、を含んでいてもよい。さらに、前記撮像装置は、自装置の位置Pを検出する位置検出部と、地平面に略平行な面内における自装置の向きを検出する方向検出部と、をさらに備えていてもよい。この場合、前記領域算出部は、前記位置検出部により検出された位置P、前記方向検出部により検出された向き、前記光学系の焦点距離f、前記撮像素子の幅Wに基づいて前記第1の撮像領域を算出する。
【0017】
また、前記第1の撮像領域は、前記位置Pを頂点とし、当該頂点から底辺に下ろした垂線の向きを前記方向検出部により検出された向きとし、当該垂線から左右にW/2fだけ傾いた前記位置Pで交わる2本の直線で規定される地平面に略平行な三角形状を成していてもよい。さらに、前記第2の撮像領域は、前記他の撮像装置の光学系が焦点距離f’を有し、かつ、当該他の撮像装置の撮像素子が幅W’を有する場合に、前記他の撮像装置の位置P’を頂点とし、当該頂点から底辺に下ろした垂線の向きを当該他の撮像装置の向きとし、当該垂線から左右にW’/2f’だけ傾いた前記位置P’で交わる2本の直線で規定される地平面に略平行な三角形状を成していてもよい。この場合、前記交差判定部は、前記第1の撮像領域に対応する三角形と、前記第2の撮像領域に対応する三角形とが交わるか否かを判定する。
【0018】
また、上記の撮像装置は、自装置の位置Pを検出する位置検出部をさらに備えていてもよい。この場合、前記領域情報取得部は、前記位置検出部により検出された位置Pを基準とする所定範囲内に存在する他の撮像装置から直接的に前記第2の撮像領域の情報を取得する。
【0019】
また、上記課題を解決するために、本技術の別の観点によれば、被写体を撮像する撮像部と、前記撮像部により撮像される第1の撮像領域を算出する領域算出部と、前記領域算出部により算出された第1の撮像領域の情報を送信する情報送信部と、前記領域算出部により算出された第1の撮影領域と交わる第2の撮影領域を撮像している他の撮像装置に関する情報を受信する情報受信部と、を備える、撮像装置が提供される。
【0020】
また、上記課題を解決するために、本技術の別の観点によれば、第1〜第Nの撮像装置(N≧2)のそれぞれにより撮像される第1〜第Nの撮像領域の情報を取得する領域情報取得部と、前記第1〜第Nの撮像領域から互いに交わる撮像領域の組を抽出する交差判定部と、前記交差判定部により抽出された撮像領域の組に対応する各撮像装置に対して、当該撮像領域の組に対応する全ての撮像装置に関する情報を提供する装置情報提供部と、を備える、情報処理装置が提供される。
【0021】
また、上記の情報処理装置は、前記第1〜第Nの撮像領域から所定の被写体を含む撮像領域を抽出し、抽出された撮像領域に対応する撮像装置を選択する装置選択部と、前記装置選択部により所定時間内に所定以上の頻度で選択された撮像装置を抽出する注目装置抽出部と、をさらに備えていてもよい。
【0022】
また、上記の情報処理装置は、前記交差判定部により抽出された撮像領域の組に対応する各撮像装置に対し、撮像装置間の位置関係に関するタグ、各撮像装置と被写体との距離に関するタグ、各撮像装置と被写体との位置関係に関するタグの少なくとも1つを割り当てるタグ割当部をさらに備えていてもよい。
【0023】
また、上記の情報処理装置は、前記第1〜第Nの撮像領域から所定の被写体を含む撮像領域を抽出し、抽出された撮像領域に対応する撮像装置を選択する装置選択部と、前記装置選択部により選択された撮像装置から、前記所定の被写体に対する撮影領域として評価の高い撮影領域に存在する撮像装置を抽出する注目装置抽出部と、をさらに備えていてもよい。
【0024】
また、上記の情報処理装置は、前記各撮像装置により撮像された映像を視聴しているユーザ数、当該映像に対する評価、当該映像に含まれる被写体の情報のいずれか1つ又は複数に基づいて前記撮像装置の検索を実行する装置検索部をさらに備えていてもよい。
【0025】
また、上記課題を解決するために、本技術の別の観点によれば、第1の撮像装置により撮像される第1の撮像領域が算出される第1領域算出ステップと、第2の撮像装置により撮像される第2の撮像領域が算出される第2領域算出ステップと、前記第1の撮像領域と前記第2の撮像領域とが交わるか否かが判定される交差判定ステップと、を含む、撮像領域の共有判定方法が提供される。
【0026】
また、上記課題を解決するために、本技術の別の観点によれば、上記の撮像装置や情報処理装置が有する機能をコンピュータに実現させるためのプログラムが提供される。また、上記課題を解決するために、本技術の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。
【発明の効果】
【0027】
以上説明したように本技術によれば、撮像領域を共有している他の撮像装置を容易に検出することが可能になる。
【図面の簡単な説明】
【0028】
【図1】撮像領域の形状について説明するための説明図である。
【図2】撮像面のサイズを算出する方法について説明するための説明図である。
【図3】焦点距離、画角、撮像面のサイズについて説明するための説明図である。
【図4】撮像装置の向き及び傾きと、撮像領域の形状との関係について説明するための説明図である。
【図5】共有撮像領域について説明するための説明図である。
【図6】撮像領域の算出方法について説明するための説明図である。
【図7】共有撮像領域について説明するための説明図である。
【図8】本技術の第1実施形態において想定するシステム構成の一例について説明するための説明図である。
【図9】本技術の第1実施形態に係る撮像装置の機能構成例について説明するための説明図である。
【図10】本技術の第1実施形態に係る撮像装置の動作例について説明するための説明図である。
【図11】本技術の第1実施形態に係る撮像装置が扱う情報の一例を示す説明図である。
【図12】本技術の第1実施形態に係る撮像装置の機能構成例(変形例)について説明するための説明図である。
【図13】本技術の第1実施形態に係る撮像装置の動作例(変形例)について説明するための説明図である。
【図14】本技術の第2実施形態において想定するシステム構成の一例について説明するための説明図である。
【図15】本技術の第2実施形態に係る撮像装置の機能構成例について説明するための説明図である。
【図16】本技術の第2実施形態に係る情報処理システムの機能構成例について説明するための説明図である。
【図17】本技術の第2実施形態に係る近隣装置の検出方法及びタグの付与方法について説明するための説明図である。
【図18】本技術の第2実施形態に係る近隣装置の検出方法について説明するための説明図である。
【図19】本技術の第2実施形態に係るタグの付与方法について説明するための説明図である。
【図20】本技術の第2実施形態に係る情報処理システムにより撮像装置に付与されるタグの一例を示す説明図である。
【図21】本技術の第2実施形態に係る近隣装置の検出を行う際に基準となる場所をユーザが指定する方法について説明するための説明図である。
【図22】本技術の第2実施形態に係る近隣装置の検出を行った結果を地図上にマッピングする方法について説明するための説明図である。
【図23】本技術の第2実施形態に係るタグの付与方法におけるベストポジションタグの付与方法に用いる情報の一例を示す説明図である。
【図24】本技術の第2実施形態に係る画像認識の併用方法について説明するための説明図である。
【図25】本技術の第2実施形態に係る画像認識の併用方法について説明するための説明図である。
【図26】本技術の第1及び第2実施形態に係る撮像装置の一部機能及び第2実施形態に係る情報処理システムの機能を実現することが可能なハードウェア構成例について説明するための説明図である。
【発明を実施するための形態】
【0029】
以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0030】
[説明の流れについて]
ここで、以下に記載する本技術の実施形態に関する説明の流れについて簡単に述べる。まず、図1〜図4を参照しながら、後述する各実施形態の説明において登場する「撮像領域」の構成について説明する。次いで、図5〜図7を参照しながら、後述する各実施形態に係る技術の概要について説明すると共に、当該各実施形態の説明において登場する「共有撮像領域」の構成について説明する。
【0031】
次いで、図8を参照しながら、本技術の第1実施形態において想定するシステム構成の一例について説明する。次いで、図9〜図11を参照しながら、本技術の第1実施形態に係る撮像装置の機能構成例及びその動作例について説明する。また、図12及び図13を参照しながら、同実施形態の一変形例に係る撮像装置の機能構成例及びその動作例について説明する。
【0032】
次いで、図14を参照しながら、本技術の第2実施形態において想定するシステム構成の一例について説明する。次いで、図15を参照しながら、本技術の第2実施形態に係る撮像装置の機能構成例について説明する。次いで、図16を参照しながら、本技術の第2実施形態に係る情報処理システムの機能構成例について説明する。次いで、図17〜図25を参照しながら、本技術の第2実施形態に係る情報処理システムの動作例について説明する。
【0033】
次いで、図26を参照しながら、本技術の第1及び第2実施形態に係る撮像装置の一部機能及び第2実施形態に係る情報処理システムの機能を実現することが可能なハードウエア構成例について説明する。最後に、本技術の第1及び第2実施形態に係る技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【0034】
(説明項目)
1:はじめに
1−1:撮像領域の構成
1−2:実施形態の概要
2:第1実施形態
2−1:システム構成
2−2:撮像装置の構成
2−2−1:機能構成
2−2−2:動作
2−3:(変形例)撮像装置の構成
2−3−1:機能構成
2−3−2:動作
3:第2実施形態
3−1:システム構成
3−2:撮像装置の構成
3−3:情報処理システムの構成
3−4:機能の詳細
3−4−1:様々なタグの付与
3−4−2:近隣装置のマッピング
3−4−3:ベストポジションタグの付与
3−4−4:画像認識技術の併用
4:ハードウェア構成例
5:まとめ
【0035】
<1:はじめに>
近年、現在位置の情報を取得する機能を搭載した撮像装置が広く市場に出回るようになってきた。現在位置の情報を取得する機能は、例えば、GPS(Global Positioning System)やWi−Fi(登録商標)の機能などを利用して実現されている。また、最近では、電子コンパスや加速度センサなどの機能を搭載した撮像装置も市場に出回るようになってきている。電子コンパスの機能を利用すると、撮影方向を取得することができる。また、加速度センサを利用すると、撮像装置の傾きを取得することができる。後述する実施形態は、これら現在位置、撮影方向、及び傾きなどを用いて、同じ被写体を撮影している撮像装置の組を検出する仕組みに関するものである。
【0036】
[1−1:撮像領域の構成]
まず、図1〜図4を参照しながら、撮像領域の構成について説明する。ここで言う「撮像領域」とは、撮像装置に搭載された撮像素子に映り込まれる撮影空間を意味する。つまり、この撮像領域の内部に存在する被写体の像が撮像素子に映り込まれる。通常、撮像素子の形状は矩形である。そのため、撮像領域の形状は、図1に示すように、撮像面を底面とする四角錐の形状になる。この四角錐の形状は、撮像素子の四隅A、B、C、Dと撮像面の四隅A、B、C、Dとを結ぶ4本の直線により規定される。これら4本の直線は、撮像素子の中心に下ろした垂線上の一点Pで互いに交差する。
【0037】
また、上記の点Pの位置は、撮像装置に搭載された光学系の特性で決まる焦点距離fにより規定される。図2に示すように、この点Pの位置は、撮像素子の中心に下ろした垂線上で撮像素子からの距離が焦点距離fに一致する位置になる。また、撮像素子の幅をW、高さをHとし、点Pから距離Lだけ離れた撮像面の幅をW、高さをHとすると、W、W、H、Hの間には下記の式(1)及び式(2)に示す関係が成り立つ。そのため、撮像領域P−A−B−C−Dは、撮像素子のサイズ(W、H)、焦点距離f、撮像面までの距離Lにより決まる。
【0038】
【数1】

【0039】
但し、四角錐を規定する4本の直線は距離Lに依らずに決まる。焦点距離fを決めると画角Θが決まるため、焦点距離fに応じて撮像面の幅W(及び高さH)が決まる。図3には、焦点距離fをf〜fまで変化させた場合に生じる画角2Θの変化2Θ〜2Θ及び撮像面(但し、距離Lを固定)の幅Wの変化W〜Wが模式的に示されている。図3に示すように、焦点距離fを短くするにつれて画角2Θは大きくなる。また、画角2Θが大きくなることで、同じ距離Lに位置する撮像面の幅Wは大きくなる。光学系にズームレンズを用いると、光学系を交換しなくても焦点距離fを調整することができる。なお、距離Lを被写体までの距離と定義すると、フォーカスの合う距離を計測することで、距離Lを自動計測することができる。
【0040】
さて、これまで撮像領域の形状が四角錐となることについて説明してきた。また、この四角錐が撮像素子のサイズ(W、H)や焦点距離fなどにより規定されることについて述べた。次に、この撮像領域の向きについて図4を参照しながら説明する。なお、撮像素子から四角錐の頂点Pまでの距離Lが距離Lに対して十分に小さい(L≪L)ことから、以下の説明においては、簡単のため、撮像装置が点Pに位置しているものと近似して説明を進めることにする。図4に示すように、撮像装置は、ある方向に対する向きを持っていたり、水平面に対する傾きを持っていたりする。そのため、撮像領域を考える場合、撮像装置の向きや傾きに応じた撮像領域の向きや傾きを考慮する必要がある。
【0041】
図4には互いに直交するX軸、Y軸、Z軸を記載し、各軸に対する撮像装置の傾きと撮像領域の形状との関係を模式的に示した。例えば、X−Y平面を水平面とし、X方向を東、−X方向を西、Y方向を北、−Y方向を南などに設定することができる。この場合、電子コンパスを利用すると、X−Y面内における撮像装置の傾きφを検出することができる。また、加速度センサを利用すると、Z軸に対する撮像装置の傾きθを検出することができる。さらに、加速度センサを利用すると、光軸を回転軸とする撮像装置の回転角λ(例えば、近似的にZ−X面内における傾きとしてもよい。)を検出することができる。
【0042】
例えば、点Pを原点(0,0,0)に一致させると、点Qの座標は、(Q,Q,Q)=(L・cosθ,L・sinθ・cosφ,L・sinθ・sinφ)となる。また、点Qから線分ABへ下ろした垂線の長さは(H/2f)であり、点Qから線分BCへ下ろした垂線の長さは(W/2f)である。さらに、点Qから線分CDへ下ろした垂線の長さは(H/2f)であり、点Qから線分DAへ下ろした垂線の長さは(W/2f)である。このような関係から、2点P,Aを通る線分PA、2点P,Bを通る線分PB、2点P,Cを通る線分PC、2点P,Dを通る線分PDの式は、予め分かっているパラメータH、W、f、及び検出可能なパラメータθ、φ、λにより算出可能である。
【0043】
仮に、θ=π/2、λ=0、φ’=π/2−φ、φ’≪1の場合について考えると、点Pから点Aに向かうベクトルPAは、下記の式(3)で表現される。また、点Pから点Bに向かうベクトルPBは下記の式(4)で表現され、点Pから点Cに向かうベクトルPCは下記の式(5)で表現され、点Pから点Dに向かうベクトルPDは下記の式(6)で表現される。つまり、撮像装置を水平に設置し、ほぼX方向に向くように方向を設定した場合、撮像領域は、下記の式(3)〜式(6)で表現されるベクトルの方向を向き、点Pを通る4本の直線で規定される四角錐で表現される。
【0044】
【数2】

【0045】
以上、撮像領域の構成について説明した。
【0046】
[1−2:実施形態の概要]
次に、図5〜図7を参照しながら、後述する実施形態の概要について説明する。後述する実施形態に係る技術は、撮像領域の重なりを検出することにより、同じ被写体を撮像している撮像装置を検出するというものである。図5に示すように、複数の撮像装置11、12が同じ被写体を撮像している場合、撮像装置11の撮像領域P−A−Bにも、撮像装置12の撮像領域P−A−Bにも被写体が含まれる。そのため、撮像装置11の撮像領域P−A−Bと、撮像装置12の撮像領域P−A−Bとは交差する。以下の説明において、複数の撮像領域が交差する領域を「共有撮像領域」と呼ぶことにする。図5の例では、ハッチングを施した部分V12が共有撮像領域である。
【0047】
これまでの説明においては撮像領域を3次元的に考えていたが、処理を簡単化するために水平面内で2次元的に考えることも可能である。図5の例は、2次元的に撮像領域の交差を考えたものである。この場合、撮像領域は、点Pを頂点とする三角形の形状になる。例えば、撮像領域P−A−Bは、2つの点P,Aを結ぶ直線Pと、2つの点P,Bを結ぶ直線Pとで表現される。同様に、撮像領域P−A−Bは、2つの点P,Aを結ぶ直線Pと、2つの点P,Bを結ぶ直線Pとで表現される。そのため、これら2つの撮像領域の交差は、直線P及びPと、直線P及びPとが交差するか否かを判定することにより検出することができる。
【0048】
例えば、図6に示すように、X−Y平面上に撮像装置11を設置した場合、直線Pの式は、下記の式(7)のように表現される。同様に、直線Pの式は、下記の式(8)のように表現される。但し、焦点距離がf、撮像素子の幅がW、φ≪1であるとする。下記の式(7)及び式(8)の形からも推察されるように、撮像領域を3次元的に扱うよりも、撮像領域を2次元的に扱う方が演算量を少なくすることができる。但し、図7に示すように、撮像装置11、12の傾きや向きなどの違いを考慮することができる分だけ、撮像領域を3次元的に扱う方が高い精度を得ることができる。そのため、撮像領域を2次元的に扱うか、3次元的に扱うかは、求める精度や撮像装置の演算能力に応じて適宜設定されるべきである。
【0049】
【数3】

【0050】
以上、後述する実施形態の概要について説明した。上記のように、後述する実施形態は、共有撮像領域を検出することにより同じ被写体を撮影している撮像装置を検出する技術に関する。以下、この技術について、より詳細に説明する。
【0051】
<2:第1実施形態>
以下、本技術の第1実施形態について説明する。
【0052】
[2−1:システム構成]
まず、図8を参照しながら、本実施形態において想定するシステムの構成について説明する。図8は、本実施形態において想定するシステムの構成について説明するための説明図である。このシステムは、近隣エリアに位置する複数の撮像装置の中から、互いに交差する撮像領域を持つ撮像装置の組を検出して連携する機能を実現するものである。
【0053】
例えば、図8に示すように、システム内に撮像装置11、12、13、14が存在し、その中で撮像装置11、12、13が近隣エリア内に存在すると仮定する。また、撮像装置11の機能に注目して説明を進める。まず、撮像装置11は、近隣エリア内に位置する撮像装置12、13の存在を検出する。例えば、撮像装置11は、撮像装置12、13、14がそれぞれGPSなどを利用して取得した位置情報を収集し、その位置関係から近隣エリア内に位置する撮像装置12、13を選択する。なお、クラウドシステムなどの外部サーバに接続可能な場合、撮像装置11は、GPSなどを利用して取得した位置情報を外部サーバに送信し、近隣エリア内に位置する撮像装置12、13の情報を取得する。
【0054】
近隣エリア内に位置する撮像装置12、13の存在を検出すると、撮像装置11は、撮像装置12、13から撮像領域の情報を取得する。ここで取得する撮像領域の情報は、例えば、上記の式(3)〜式(8)に示すような撮像領域の形状を規定する情報を含む。このとき、撮像装置11は、撮像装置12、13の位置情報や撮像装置12、13が撮像した画像などを取得してもよい。また、撮像装置11は、自身の撮像領域を計算する。そして、撮像装置11は、自身の撮像領域と、撮像装置12、13の撮像領域とが交差するか否かを判定する。つまり、撮像装置11は、共有撮像領域の存在を検出する。例えば、撮像装置11の撮像領域と、撮像装置12の撮像領域とが交差しているとしよう。この場合、撮像装置11は、撮像装置12との連携処理を実行する。
【0055】
以上、本実施形態において想定するシステムの構成について説明した。以下、撮像領域の交差を判定する撮像装置11の構成について、より詳細に説明する。なお、以下の説明では撮像装置11に注目して説明を進めるが、撮像装置12、13も撮像装置11と実質的に同じ構成又は部分的に簡略化された構成を有していてもよい。
【0056】
[2−2:撮像装置の構成]
以下、本実施形態に係る撮像装置11の構成について説明する。
【0057】
(2−2−1:機能構成)
まず、図9を参照しながら、本実施形態に係る撮像装置11の機能構成について説明する。図9は、本実施形態に係る撮像装置11の機能構成について説明するための説明図である。
【0058】
図9に示すように、撮像装置11は、撮像部101と、記憶部102と、表示制御部103と、表示部104とを有する。さらに、撮像装置11は、傾き検出部105と、位置検出部106と、方向検出部107と、撮像領域計算部108と、領域情報取得部109と、領域交差判定部110と、領域共有装置選択部111と、装置分類部112と、連携処理部113と、画像認識部114とを有する。また、撮像部101は、主に、光学系1011と、撮像素子1012と、画像処理部1013とを有する。なお、図中には明示しないが、撮像装置11は、入力手段や通信手段などを有する。
【0059】
まず、撮像処理に係る機能構成について説明する。
【0060】
撮像処理が開始されると、撮像部101により被写体が撮像される。まず、被写体により反射された光が光学系1011を通して撮像素子1012に入射される。光が入射されると、撮像素子1012は、入射された光を光電変換して電気信号を生成する。撮像素子1012により生成された電気信号は、画像処理部1013に入力される。画像処理部1013は、撮像素子1012から入力された電気信号をデジタル信号に変換し、そのデジタル信号から画像データを生成する。例えば、画像処理部1013は、所定の符号化方式でデジタル信号を符号化して画像データを生成する。画像処理部1013により生成された画像データは、記憶部102に記録される。記憶部102に記録された画像データは、表示制御部103により読み出され、表示部104に表示される。
【0061】
以上、撮像処理に係る機能構成について説明した。なお、記憶部102としては、例えば、半導体記憶デバイス、磁気記録デバイス、光記録デバイス、光磁気記録デバイスなどを利用することができる。また、この記憶部102は、撮像装置11から取り外し可能なリムーバブルデバイスであってもよい。
【0062】
次に、連携すべき撮像装置(上記の例では撮像装置12)を検出する処理に係る機能構成について説明する。
【0063】
まず、傾き検出部105は、撮像装置11の傾きを検出する。例えば、傾き検出部105の機能は、加速度センサなどにより実現される。撮像装置11の傾きとしては、例えば、水平面(地平面)に対する光軸の傾き、光軸を回転軸とする回転方向の傾きなどがある。なお、実際には、撮像装置11を水平に置いた場合に対する3次元的な傾きが検出される。撮像装置11を水平面に置いた場合に、撮像素子1012の受光面が水平面に垂直であり、かつ、その受光面の底面が水平面に平行であれば、傾き検出部105の検出結果から、上記のように光軸の傾きや光軸を回転軸とする回転方向の傾きなどを検出できる。
【0064】
このようにして傾き検出部105により検出された傾きの情報は、撮像領域計算部108に入力される。なお、傾きの表現としては、傾斜角や回転角などもある。但し、傾斜角とは、撮像装置11を水平面に置いた状態に対する上下の傾きを意味する。一方、回転角とは、撮像装置11を水平面に置いた状態に対する左右の傾きを意味する。
【0065】
また、位置検出部106は、撮像装置11の位置情報を検出する。例えば、位置検出部106の機能は、GPSやWi−Fi(登録商標)などを利用して実現することができる。位置情報の表現としては、例えば、緯度・経度などがある。位置検出部106により検出された位置情報は、撮像領域計算部108に入力される。また、方向検出部107は、撮像装置11の向きを検出する。例えば、方向検出部107の機能は、電子コンパスなどを利用して実現することができる。向きの表現としては、例えば、方位角などがある。方向検出部107により検出された向きの情報は、撮像領域計算部108に入力される。
【0066】
上記のように、撮像領域計算部108には、傾きの情報、位置情報、向きの情報が入力される。これらの情報が入力されると、撮像領域計算部108は、入力された情報を用いて撮像領域を計算する。既に説明した通り、撮像領域は、四角錐又は三角形を規定する4本又は2本の直線により表現される。これらの直線を示す式(例えば、上記の式(3)〜式(8)を参照)は、光学系1011により決まる焦点距離、撮像素子1012のサイズ、位置情報、傾きの情報、及び向きの情報により算出される。このようにして算出された撮像領域の情報(以下、領域情報)は、領域交差判定部110に入力される。なお、撮像領域計算部108は、領域情報をクラウドシステムなどの外部サーバにアップロードするように構成されていてもよい。
【0067】
次いで、領域情報取得部109は、近隣エリア内に存在する撮像装置を検出する。ここでは、撮像装置12、13が検出されたものとして説明を進める。撮像装置12、13が検出されると、領域情報取得部109は、撮像装置12、13から領域情報を取得する。なお、近隣エリア内に存在する撮像装置の検出及び領域情報の管理はクラウドシステムなどの外部サーバにより行われるようにしてもよい。この場合、領域情報取得部109は、位置検出部106により検出された位置情報を外部サーバに送信し、近隣エリア内に存在する撮像装置の検出を外部サーバに委託する。そして、領域情報取得部109は、外部サーバから、近隣エリア内に存在する撮像装置12、13の領域情報を取得する。
【0068】
このようにして取得された撮像装置12、13の領域情報は、領域交差判定部110及び装置分類部112に入力される。領域情報が入力されると、領域交差判定部110は、入力された領域情報に基づき、撮像装置11、12、13の撮像領域が互いに交差するか否かを判定する。まず、領域交差判定部110は、撮像装置11の撮像領域と、撮像装置12の撮像領域とが交差するか否かを判定する。また、領域交差判定部110は、撮像装置11の撮像領域と、撮像装置13の撮像領域とが交差するか否かを判定する。このようにして判定された結果は、領域共有装置選択部111に入力される。ここでは撮像装置11の撮像領域と、撮像装置12の撮像領域とが交差すると判定されたものと仮定して説明を進める。
【0069】
領域交差判定部110による判定結果が入力されると、領域共有装置選択部111は、入力された判定結果に基づき、撮像装置11の撮像領域と交差する撮像領域を持つ撮像装置(撮像装置12)を選択する。領域共有装置選択部111による選択結果の情報は、表示制御部103、装置分類部112、及び連携処理部113に入力される。選択結果の情報が入力された表示制御部103は、入力された選択結果の情報を表示部104に表示する。また、選択結果の情報が入力された装置分類部112は、入力された選択結果の情報に基づき、領域共有装置選択部111により選択された撮像装置を分類する。
【0070】
例えば、装置分類部112は、被写体との間の距離、撮像装置11との間の距離、撮像方向に応じて、領域共有装置選択部111により選択された撮像装置を分類する。なお、被写体との間の距離は、分類対象となる撮像装置の位置と撮像面との間の距離により見積もることができる。また、撮像装置11との間の距離は、分類対象となる撮像装置の位置情報と撮像装置11の位置情報とに基づいて見積もることができる。そして、撮像方向は、分類対象となる撮像装置の向きから見積もることができる。装置分類部112による分類結果は、領域共有装置選択部111に入力される。例えば、被写体の正面側から撮像している撮像装置の情報が領域共有装置選択部111に入力される。
【0071】
ところで、ユーザは、撮像領域を共有している撮像装置のうち、連携対象の撮像装置として、特定の撮像装置だけを選択したいと考えるかもしれない。例えば、ユーザは、被写体の背面側から撮像している撮像装置だけを選択したいと考えるかもしれない。このような場合に、撮像装置11は、装置分類部112による分類結果を利用する。例えば、ユーザにより、被写体の背面側から撮像している撮像装置だけを選択する操作が行われた場合、領域共有装置選択部111は、装置分類部112による分類結果に基づき、被写体の背面側から撮像している撮像装置を選択する。このようにして領域共有装置選択部111により選択された結果は、表示制御部103及び連携処理部113に入力される。
【0072】
選択結果の情報が入力された連携処理部113は、入力された選択結果の情報に基づき、領域共有装置選択部111により選択された撮像装置と連携処理を開始する。
【0073】
なお、撮像領域の交差を判定することにより同じ被写体を撮像する撮像装置を検出する方法は、状況によっては画像認識に基づく撮像装置の検出よりも精度が低いことがある。例えば、似た条件で人物の顔を同時に撮影している複数の撮像装置が存在する場合、人物の顔認識に基づいて同一被写体を撮像している撮像装置を検出する方が良い検出結果を得られることがある。そこで、画像認識に基づく検出処理を併用する仕組みを提案する。この仕組みは、画像認識部114の機能により実現される。
【0074】
画像認識部114は、領域共有装置選択部111により選択された撮像装置から撮像した画像(又は画像の特徴を示す情報)を取得する。また、画像認識部114は、撮像部101で撮像した画像を記憶部102から取得する。そして、画像認識部114は、取得した両画像に映っている被写体の特徴を照合し、両画像に同じ被写体を含むか否かを判定する。例えば、画像認識部114は、取得した画像に対して顔認識を行い、同じ人物の顔が両画像に含まれるか否かを判定する。画像認識部114による判定結果は、連携処理部113に入力される。
【0075】
画像認識部114による判定結果が入力されると、連携処理部113は、領域共有装置選択部111により選択された撮像装置の中から、入力された判定結果で同じ被写体を含むと判定されている撮像装置を選択して連携する。このようにして撮像装置を画像認識により絞り込むことにより、同じ被写体を撮像している撮像装置をより精度良く検出することが可能になる。なお、画像を利用する構成として、画像認識部114及び連携処理部113は、被写体の占める面積の割合が所定以上となる画像に対応する撮像装置だけを選択して連携するように構成されていてもよい。また、画像認識部114及び連携処理部113は、ユーザの指定する被写体を含む画像に対応する撮像装置だけを選択して連携するように構成されていてもよい。
【0076】
以上、本実施形態に係る撮像装置11の機能構成について説明した。なお、撮像装置12、13も撮像装置11と実質的に同じ構成を有するか、必要に応じて一部の要素を省略した構成を有する。
【0077】
(2−2−2:動作)
次に、図10を参照しながら、本実施形態に係る撮像装置11の動作について説明する。図10は、本実施形態に係る撮像装置11の動作について説明するための説明図である。ここでは撮像装置11が実行する処理のうち、撮像領域が交差する撮像装置を選択する処理について説明する。
【0078】
図10に示すように、まず、撮像装置11は、傾き検出部105の機能により、撮像装置11の傾きを検出する(S101)。次いで、撮像装置11は、位置検出部106の機能により、撮像装置11の位置を検出する(S102)。次いで、撮像装置11は、方向検出部107の機能により、撮像装置11の向きを検出する(S103)。ステップS101〜S103で検出された傾きの情報、位置の情報、及び向きの情報は、撮像領域計算部108に入力される。例えば、図11に示すような情報(緯度、経度、高さ、方位角、傾斜角、回転角など)が入力される。次いで、撮像領域計算部108は、入力された情報を用いて撮像領域を算出する(S104)。
【0079】
次いで、撮像装置11は、後述するステップS105、S106の処理を繰り返し実行する。まず、撮像装置11は、領域情報取得部109の機能により、近隣エリア内に存在する撮像装置を検出する。ここではN台の撮像装置が検出されたものと仮定する。次いで、撮像装置11は、領域情報取得部109の機能により、第k番目の撮像装置から領域情報を取得する(S105)。次いで、撮像装置11は、領域交差判定部110の機能により、撮像装置11の撮像領域と第k番目の撮像装置の撮像領域とが交差するか否かを判定する(S106)。撮像装置11は、k=1〜NについてステップS105、S106の処理を繰り返し実行した後、処理をステップS107に進める。
【0080】
処理をステップS107に進めると、撮像装置11は、領域共有装置選択部111の機能により、ステップS106で撮像領域が交差すると判定された撮像装置を選択する(S107)。次いで、撮像装置11は、装置分類部112の機能により、ステップS107で選択された撮像装置を分類する(S108)。例えば、図11に示すようなグループIDが各撮像装置に付与される。次いで、撮像装置11は、画像認識部114及び連携処理部113の機能により、画像認識を利用してステップS107で選択された撮像装置を絞り込み(S109)、一連の処理を終了する。
【0081】
以上、本実施形態に係る撮像装置11の動作について説明した。なお、ステップS101〜S103の処理順序を交換してもよい。また、ステップS108、S109の処理を省略してもよい。
【0082】
[2−3:(変形例)撮像装置の構成]
さて、これまで撮像装置11の構成について説明してきたが、撮像装置11の構成は以下のように変形することもできる。ここでは、撮像装置11の近隣エリア内に存在する撮像装置が撮像領域の算出機能を有しない場合にも適用可能な構成について説明する。なお、図9に示した構成と実質的に同じ機能を有する構成については詳細な説明を省略する。
【0083】
(2−3−1:機能構成)
まず、図12を参照しながら、本変形例に係る撮像装置11の機能構成について説明する。図12は、本変形例に係る撮像装置11の機能構成について説明するための説明図である。
【0084】
図12に示すように、撮像装置11は、撮像部101と、記憶部102と、表示制御部103と、表示部104とを有する。さらに、撮像装置11は、傾き検出部105と、位置検出部106と、方向検出部107と、撮像領域計算部131と、撮像情報取得部132と、領域交差判定部110と、領域共有装置選択部111と、装置分類部133と、連携処理部113とを有する。また、撮像部101は、主に、光学系1011と、撮像素子1012と、画像処理部1013とを有する。なお、図中には明示しないが、撮像装置11は、入力手段や通信手段などを有する。
【0085】
以下、連携すべき撮像装置を検出する処理に係る機能構成について説明する。
【0086】
まず、傾き検出部105は、撮像装置11の傾きを検出する。このようにして傾き検出部105により検出された傾きの情報は、撮像領域計算部108に入力される。また、位置検出部106は、撮像装置11の位置情報を検出する。位置検出部106により検出された位置情報は、撮像領域計算部108に入力される。また、方向検出部107は、撮像装置11の向きを検出する。方向検出部107により検出された向きの情報は、撮像領域計算部108に入力される。
【0087】
上記のように、撮像領域計算部108には、傾きの情報、位置情報、向きの情報が入力される。これらの情報が入力されると、撮像領域計算部131は、入力された情報を用いて撮像領域を計算する。既に説明した通り、撮像領域は、四角錐又は三角形を規定する4本又は2本の直線により表現される。これらの直線を示す式(例えば、上記の式(3)〜式(8)を参照)は、光学系1011により決まる焦点距離、撮像素子1012のサイズ、位置情報、傾きの情報、及び向きの情報により算出される。このようにして算出された撮像領域の情報(領域情報)は、領域交差判定部110に入力される。なお、撮像領域計算部131は、領域情報をクラウドシステムなどの外部サーバにアップロードするように構成されていてもよい。
【0088】
次いで、撮像情報取得部132は、近隣エリア内に存在する撮像装置を検出する。ここでは、撮像装置12、13が検出されてものとして説明を進める。撮像装置12、13が検出されると、撮像情報取得部132は、撮像装置12、13から撮像情報を取得する。この撮像情報は、撮像装置の傾き、位置、向き、撮像素子のサイズ、焦点距離など、撮像領域を算出するための情報である。なお、近隣エリア内に存在する撮像装置の検出及び撮像情報の管理はクラウドシステムなどの外部サーバにより行われるようにしてもよい。この場合、撮像情報取得部132は、位置検出部106により検出された位置情報を外部サーバに送信し、近隣エリア内に存在する撮像装置の検出を外部サーバに委託する。そして、撮像情報取得部132は、外部サーバから、近隣エリア内に存在する撮像装置12、13の撮像情報を取得する。
【0089】
このようにして取得された撮像装置12、13の撮像情報は、撮像領域計算部131及び装置分類部112に入力される。撮像情報が入力されると、撮像領域計算部131は、入力された撮像情報に基づいて撮像装置12、13の撮像領域を算出する。撮像領域計算部131により算出された撮像装置12、13の撮像領域の情報(領域情報)は領域交差判定部110に入力される。
【0090】
領域情報が入力されると、領域交差判定部110は、入力された領域情報に基づき、撮像装置11、12、13の撮像領域が互いに交差するか否かを判定する。まず、領域交差判定部110は、撮像装置11の撮像領域と、撮像装置12の撮像領域とが交差するか否かを判定する。また、領域交差判定部110は、撮像装置11の撮像領域と、撮像装置13の撮像領域とが交差するか否かを判定する。このようにして判定された結果は、領域共有装置選択部111に入力される。ここでは撮像装置11の撮像領域と、撮像装置12の撮像領域とが交差すると判定されたものと仮定する。
【0091】
領域交差判定部110による判定結果が入力されると、領域共有装置選択部111は、入力された判定結果に基づき、撮像装置11の撮像領域と交差する撮像領域を持つ撮像装置(撮像装置12)を選択する。領域共有装置選択部111による選択結果の情報は、表示制御部103、装置分類部133、及び連携処理部113に入力される。選択結果の情報が入力された表示制御部103は、入力された選択結果の情報を表示部104に表示する。また、選択結果の情報が入力された装置分類部133は、入力された選択結果の情報に基づき、領域共有装置選択部111により選択された撮像装置を分類する。
【0092】
ところで、ユーザは、撮像領域を共有している撮像装置のうち、連携対象の撮像装置として、特定の撮像装置だけを選択したいと考えるかもしれない。例えば、ユーザは、被写体の背面側から撮像している撮像装置だけを選択したいと考えるかもしれない。このような場合に、撮像装置11は、装置分類部112による分類結果を利用する。例えば、ユーザにより、被写体の背面側から撮像している撮像装置だけを選択する操作が行われた場合、領域共有装置選択部111は、装置分類部112による分類結果に基づき、被写体の背面側から撮像している撮像装置を選択する。このようにして領域共有装置選択部111により選択された結果は、表示制御部103及び連携処理部113に入力される。
【0093】
選択結果の情報が入力された連携処理部113は、入力された選択結果の情報に基づき、領域共有装置選択部111により選択された撮像装置と連携処理を開始する。
【0094】
以上、本変形例に係る撮像装置11の機能構成について説明した。なお、撮像装置12、13も撮像装置11と実質的に同じ構成を有するか、必要に応じて一部の要素を省略した構成を有する。
【0095】
(2−3−2:動作)
次に、図13を参照しながら、本変形例に係る撮像装置11の動作について説明する。図13は、本変形例に係る撮像装置11の動作について説明するための説明図である。ここでは撮像装置11が実行する処理のうち、撮像領域が交差する撮像装置を選択する処理について説明する。
【0096】
図13に示すように、まず、撮像装置11は、傾き検出部105の機能により、撮像装置11の傾きを検出する(S111)。次いで、撮像装置11は、位置検出部106の機能により、撮像装置11の位置を検出する(S112)。次いで、撮像装置11は、方向検出部107の機能により、撮像装置11の向きを検出する(S113)。ステップS111〜S113で検出された傾きの情報、位置の情報、及び向きの情報は、撮像領域計算部108に入力される。例えば、図11に示すような情報(緯度、経度、高さ、方位角、傾斜角、回転角など)が入力される。次いで、撮像領域計算部108は、入力された情報を用いて撮像領域を算出する(S114)。
【0097】
次いで、撮像装置11は、後述するステップS115〜S117の処理を繰り返し実行する。まず、撮像装置11は、撮像情報取得部132の機能により、近隣エリア内に存在する撮像装置を検出する。ここではN台の撮像装置が検出されたものと仮定する。次いで、撮像装置11は、撮像情報取得部132の機能により、第k番目の撮像装置から撮像情報を取得する(S115)。次いで、撮像装置11は、撮像領域計算部131の機能により、ステップS115で取得した撮像情報を用いて撮像領域を算出する(S116)。次いで、撮像装置11は、領域交差判定部110の機能により、撮像装置11の撮像領域と第k番目の撮像装置の撮像領域とが交差するか否かを判定する(S117)。
【0098】
撮像装置11は、k=1〜NについてステップS115〜S117の処理を繰り返し実行した後、処理をステップS118に進める。処理をステップS118に進めると、撮像装置11は、領域共有装置選択部111の機能により、ステップS117で撮像領域が交差すると判定された撮像装置を選択する(S118)。次いで、撮像装置11は、装置分類部133の機能により、ステップS118で選択された撮像装置を分類し(S119)、一連の処理を終了する。例えば、図11に示すようなグループIDが各撮像装置に付与される。
【0099】
以上、本変形例に係る撮像装置11の動作について説明した。なお、ステップS111〜S113の処理順序を交換してもよい。また、ステップS119の処理を省略してもよい。
【0100】
以上、本技術の第1実施形態について説明した。本実施形態は、撮像装置11が、撮像領域の交差する他の撮像装置を検出する構成に関するものであった。しかし、撮像領域を交差する他の撮像装置を検出する処理をクラウドシステムなどの外部サーバに委託し、外部サーバにおいて一連の処理を実行するようにシステム構成を変形することも可能である。このようにシステム構成を変形すると、連携対象となる撮像装置の組み合わせ方や、連携方法に柔軟性が生まれ、よりユーザビリティを向上させることが可能になる。以下、このような変形に関する実施形態について説明する。
【0101】
<3:第2実施形態>
以下、本技術の第2実施形態について説明する。本実施形態は、撮像領域の情報を各撮像装置からクラウドシステムなどのような情報処理システムにアップロードさせ、その情報処理システムにより撮像領域の情報を有効活用する仕組みに関するものである。なお、上記の第1実施形態と実質的に同じ機能を有する構成要素については同一の符号を付することにより詳細な説明を省略する。
【0102】
[3−1:システム構成]
まず、図14を参照しながら、本実施形態において想定するシステムの構成について説明する。図14は、本実施形態において想定するシステムの構成について説明するための説明図である。このシステムは、近隣エリアに位置する複数の撮像装置の中から、互いに交差する撮像領域を持つ撮像装置の組を検出して連携する機能を実現するものである。
【0103】
例えば、図14に示すように、システム内に撮像装置11、12、13、14、及び情報処理システム20が存在し、互いに通信網に接続されていると仮定する。まず、情報処理システム20は、撮像装置11、12、13、14がそれぞれGPSなどを利用して取得した位置情報を収集し、その位置関係から互いに近隣エリア内に位置する撮像装置の組を選択する。ここでは撮像装置12、13が互いに近隣エリア内に存在する撮像装置の組として選択されたものと仮定する。撮像装置12、13を検出すると、情報処理システム20は、撮像装置12、13から撮像領域の情報(領域情報)を取得する。
【0104】
なお、撮像装置12、13の撮像領域は、撮像装置12、13がそれぞれ算出してもよいし、撮像装置12、13から収集した撮像情報を用いて情報処理システム20が代わりに算出してもよい。ここでは撮像装置12、13がそれぞれ撮像領域を算出するものとする。撮像装置12、13から領域情報を取得すると、情報処理システム20は、取得した領域情報に基づいて撮像装置12、13の撮像領域が互いに交差するか否かを判定する。つまり、情報処理システム20は、共有撮像領域の存在を検出する。撮像装置12、13の撮像領域が交差する場合、情報処理システム20は撮像装置12、13を連携させる。
【0105】
以上、本実施形態において想定するシステムの構成について説明した。以下、撮像装置及び情報処理システム20の構成について、より詳細に説明する。なお、以下の説明では撮像装置11に注目して説明を進めるが、撮像装置12、13も撮像装置11と実質的に同じ構成又は部分的に簡略化された構成を有していてもよい。
【0106】
[3−2:撮像装置の構成]
まず、図15を参照しながら、本実施形態に係る撮像装置11の機能構成について説明する。図15は、本実施形態に係る撮像装置11の機能構成について説明するための説明図である。
【0107】
図15に示すように、撮像装置11は、撮像部101と、記憶部102と、表示制御部103と、表示部104とを有する。さらに、撮像装置11は、傾き検出部105と、位置検出部106と、方向検出部107と、撮像領域計算部151と、領域共有装置情報取得部152と、連携処理部113とを有する。また、撮像部101は、主に、光学系1011と、撮像素子1012と、画像処理部1013とを有する。なお、図中には明示しないが、撮像装置11は、入力手段や通信手段などを有する。
【0108】
傾き検出部105は、撮像装置11の傾きを検出する。このようにして傾き検出部105により検出された傾きの情報は、撮像領域計算部151に入力される。また、位置検出部106は、撮像装置11の位置情報を検出する。位置検出部106により検出された位置情報は、撮像領域計算部151に入力される。また、方向検出部107は、撮像装置11の向きを検出する。方向検出部107により検出された向きの情報は、撮像領域計算部151に入力される。
【0109】
上記のように、撮像領域計算部151には、傾きの情報、位置情報、向きの情報が入力される。これらの情報が入力されると、撮像領域計算部151は、入力された情報を用いて撮像領域を計算する。既に説明した通り、撮像領域は、四角錐又は三角形を規定する4本又は2本の直線により表現される。これらの直線を示す式(例えば、上記の式(3)〜式(8)を参照)は、光学系1011により決まる焦点距離、撮像素子1012のサイズ、位置情報、傾きの情報、及び向きの情報により算出される。このようにして算出された撮像領域の情報(領域情報)は、情報処理システム20にアップロードされる。
【0110】
次いで、領域共有装置情報取得部152は、情報処理システム20から撮像装置11の撮像領域と交差する撮像領域を持つ撮像装置の情報を取得する。ここでは、撮像装置12、13の情報が取得されてものとして説明を進める。領域共有装置情報取得部152により取得された撮像装置12、13の情報は、連携処理部113に入力される。撮像装置12、13の情報が入力された連携処理部113は、入力された情報に基づいて撮像装置12、13との連携を開始する。なお、情報処理システム20から連携処理の内容が通知された場合、連携処理部113は、通知された内容に基づいて連携処理を実行する。
【0111】
以上、本実施形態に係る撮像装置11の機能構成について説明した。なお、撮像装置12、13も撮像装置11と実質的に同じ構成を有するか、必要に応じて一部の要素を省略した構成を有する。
【0112】
[3−3:情報処理システムの構成]
次に、図16を参照しながら、本実施形態に係る情報処理システム20の機能構成について説明する。図16は、本実施形態に係る情報処理システム20の機能構成について説明するための説明図である。
【0113】
図16に示すように、情報処理システム20は、主に、領域情報取得部201と、領域交差判定部202と、領域共有装置選択部203と、装置分類部204と、画像取得部205と、画像認識部206とを有する。なお、図中には明示しないが、撮像装置11は、入力手段や通信手段などを有していてもよい。
【0114】
まず、領域情報取得部201は、近隣エリア内に存在する撮像装置の組を検出する。ここでは、撮像装置12、13が検出されたものとして説明を進める。撮像装置12、13が検出されると、領域情報取得部201は、撮像装置12、13から領域情報を取得する。このようにして取得された撮像装置12、13の領域情報は、領域交差判定部202及び装置分類部204に入力される。領域情報が入力されると、領域交差判定部202は、入力された領域情報に基づき、撮像装置12、13の撮像領域が互いに交差するか否かを判定する。このようにして判定された結果は、領域共有装置選択部203に入力される。ここでは撮像装置12の撮像領域と、撮像装置13の撮像領域とが交差すると判定されたものと仮定して説明を進める。
【0115】
領域交差判定部202による判定結果が入力されると、領域共有装置選択部203は、入力された判定結果に基づいて互いに撮像領域が交差する撮像装置12、13を選択する。領域共有装置選択部203による選択結果の情報は、装置分類部204に入力される。選択結果の情報が入力されると、装置分類部204は、入力された選択結果の情報に基づき、領域共有装置選択部203により選択された撮像装置12、13を分類する。
【0116】
例えば、装置分類部204は、被写体との間の距離、撮像装置間の距離、撮像方向に応じて、領域共有装置選択部203により選択された撮像装置12、13を分類する。なお、被写体との間の距離は、分類対象となる撮像装置の位置と撮像面との間の距離により見積もることができる。また、撮像装置間の距離は、各撮像装置の位置情報に基づいて見積もることができる。そして、撮像方向は、各撮像装置の向きから見積もることができる。装置分類部204による分類結果は、領域共有装置選択部203に入力される。例えば、被写体の正面側から撮像している撮像装置の情報が領域共有装置選択部203に入力される。
【0117】
ところで、ユーザは、撮像領域を共有している撮像装置のうち、連携対象の撮像装置として、特定の撮像装置だけを選択したいと考えるかもしれない。例えば、ユーザは、被写体の背面側から撮像している撮像装置だけを選択したいと考えるかもしれない。このような場合に、情報処理システム20は、装置分類部204による分類結果を利用する。例えば、ユーザにより、被写体の背面側から撮像している撮像装置だけを選択するように要求された場合、領域共有装置選択部203は、装置分類部204による分類結果に基づき、被写体の背面側から撮像している撮像装置を選択する。このようにして領域共有装置選択部203により選択された撮像装置の情報(領域共有装置情報)は、連携対象として選択された撮像装置に送信される。
【0118】
なお、撮像領域の交差を判定することにより同じ被写体を撮像する撮像装置を検出する方法は、状況によっては画像認識に基づく撮像装置の検出よりも精度が低いことがある。例えば、似た条件で人物の顔を同時に撮影している複数の撮像装置が存在する場合、人物の顔認識に基づいて同一被写体を撮像している撮像装置を検出する方が良い検出結果を得られることがある。そこで、画像認識に基づく検出処理を併用する仕組みを提案する。この仕組みは、画像取得部205及び画像認識部206の機能により実現される。
【0119】
画像取得部205は、領域共有装置選択部203により選択された撮像装置から撮像している画像を取得する。画像取得部205により取得された画像は、画像認識部206に入力される。画像認識部206は、各撮像装置から取得した画像に映っている被写体の特徴を照合し、画像に同じ被写体を含むか否かを判定する。例えば、画像認識部206は、各撮像装置から取得した画像に対して顔認識を行い、同じ人物の顔が画像に含まれるか否かを判定する。画像認識部206による判定結果は、領域共有装置選択部203に入力される。
【0120】
画像認識部206による判定結果が入力されると、領域共有装置選択部203は、入力された判定結果で同じ被写体を含むと判定されている撮像装置で選択結果を絞り込む。このようにして撮像装置を画像認識により絞り込むことにより、同じ被写体を撮像している撮像装置をより精度良く検出することが可能になる。なお、画像を利用する構成として、画像認識部206及び領域共有装置選択部203は、被写体の占める面積の割合が所定以上となる画像に対応する撮像装置だけを選択するように構成されていてもよい。また、画像認識部206及び領域共有装置選択部203は、ユーザの指定する被写体を含む画像に対応する撮像装置だけを選択するように構成されていてもよい。
【0121】
以上、本実施形態に係る情報処理システム20の機能構成について説明した。なお、情報処理システム20は、連携処理の内容を撮像装置に通知する機能を有していてもよい。また、情報処理システム20は、地図情報をユーザに提示したり、連携対象の撮像装置を地図上に表示したりする機能を有していてもよい。その他にも、情報処理システム20には、様々な機能を追加することが可能である。以下、情報処理システム20に追加可能な機能の例について説明する。
【0122】
[3−4:機能の詳細]
以下、情報処理システム20に追加可能な機能として、撮像装置にタグを付与する機能及び撮像装置のマッピング機能について説明する。また、画像認識技術の併用機能について、より詳細に説明する。
【0123】
(3−4−1:様々なタグの付与)
まず、図17〜図19を参照しながら、撮像装置にタグを付与する機能について説明する。この機能は、情報処理システム20が有する機能のうち、主に装置分類部204の機能を利用して実現される。なお、ここでは撮像装置11にタグを付与する例について説明するが、撮像装置12、13、14などにタグを付与する場合についても同様である。
【0124】
(全体的な処理の流れ)
図17に示すように、まず、撮像装置11は、情報処理システム20に位置情報を送信する(S201)。また、撮像装置11は、地図情報を取得する(S202)。例えば、撮像装置11は、記憶部102に予め格納されていた地図情報を読み出すか、外部の地図情報提供サービスから地図情報を取得する。一方、撮像装置11から位置情報を受信すると、情報処理システム20は、受信した位置情報の近隣に存在する撮像装置を検出する(S203)。次いで、情報処理システム20は、ステップS203で検出した撮像装置にタグを付与する(S204)。次いで、情報処理システム20は、ステップS203で検出した撮像装置の情報を撮像装置11に送信する(S205)。
【0125】
(S203の詳細)
ここで、図18を参照しながら、ステップS203の処理について、より詳細に説明する。
【0126】
ステップS203の処理が開始されると、図18に示すように、情報処理システム20は、受信した位置情報が示す場所(以下、撮像場所)の近隣に存在する撮像装置の検索(以下、近隣検索)を開始する。まず、情報処理システム20は、撮像場所でイベントが開催されているか否かを判定する(S211)。また、撮影場所でイベントが開催されている場合、情報処理システム20は、開催場所の範囲を取得可能であるか否かを判定する(S211)。撮影場所でイベントが開催されていないか、開催場所の範囲を取得不可能な場合、情報処理システム20は、処理をステップS213に進める。一方、撮影場所でイベントが開催されており、開催場所の範囲を取得可能な場合、情報処理システム20は、処理をステップS212に進める。
【0127】
処理をステップS212に進めた場合、情報処理システム20は、開催場所の範囲を取得し、取得した開催場所の範囲を「近隣」に定め(S212)、処理をステップS216に進める。一方、処理をステップS213に進めた場合、情報処理システム20は、撮影場所にある建物の範囲を取得可能であるか否かを判定する(S213)。建物の範囲を取得可能な場合、情報処理システム20は、処理をステップS214に進める。一方、建物の範囲を取得不可能な場合、情報処理システム20は、処理をステップS215に進める。
【0128】
処理をステップS214に進めた場合、情報処理システム20は、建物の範囲を取得し、取得した建物の範囲を「近隣」に定め(S214)、処理をステップS216に進める。一方、処理をステップS215に進めた場合、情報処理システム20は、所定範囲(例えば、半径50mなど)を「近隣」に定め(S215)、処理をステップS216に進める。処理をステップS216に進めると、情報処理システム20は、「近隣」に定めた範囲に存在する撮像装置を検索し(S216)、近隣検索に関する一連の処理を終了する。なお、上記の説明においては「近隣」を定める基準として撮像場所を用いたが、図21に示すようにユーザにより入力された場所を基準として用いてもよい。
【0129】
(S204の詳細)
次に、図19を参照しながら、ステップS204の処理について、より詳細に説明する。なお、ステップS204の処理が完了すると、図20に示すように、各撮像装置にタグが付与される。
【0130】
ステップS204の処理が開始されると、図19に示すように、情報処理システム20は、「近隣」に存在する撮像装置の中から、互いに撮像領域の交わる撮像装置を抽出する(S221)。次いで、情報処理システム20は、ステップS221で抽出した撮像装置のうち、撮像場所からの距離が最も遠い撮像装置に対して「遠方」タグを付与する(S222)。次いで、情報処理システム20は、ステップS221で抽出した撮像装置のうち、撮像場所の向かい側から撮影している撮像装置に対して「向かい側」タグを付与する(S223)。
【0131】
次いで、情報処理システム20は、被写体Mを正面から撮影している撮像装置に対して「被写体M・正面」タグを付与する(S224)。このとき、被写体Mが人物であれば、「人物M・正面」タグが付与される。次いで、情報処理システム20は、ベストポジションに存在する撮像装置に対して「ベストポジション」タグを付与する(S225)。このとき、情報処理システム20は、インターネットなどの情報源や、ユーザによる評価情報を利用して「ベストポジション」タグを付与する。例えば、「東京スカイツリー・ベストポジション」タグなどが付与される。ステップS225の処理を終了すると、情報処理システム20は、タグの付与に関する一連の処理を終了する。
【0132】
以上、タグの付与に関する機能について説明した。
【0133】
(3−4−2:近隣装置のマッピング)
次に、図22を参照しながら、「近隣」に存在する撮像装置を地図上にマッピングする機能について説明する。
【0134】
図22に示すように、まず、撮像装置11は、位置情報を情報処理システム20に送信する(S231)。撮像装置11から位置情報を受信すると、情報処理システム20は、撮影場所の近隣に存在する撮像装置を検出する(S232)。このとき、既に説明した近隣検出により「近隣」に存在する撮像装置が検出される。次いで、情報処理システム20は、ステップS232で検出した撮像装置にタグを付与する(S233)。次いで、情報処理システム20は、ステップS232で検出した撮像装置の情報(位置情報)を撮像装置11に送信する(S234)。情報処理システム20から近隣に存在する撮像装置の位置情報を受信すると、撮像装置11は、受信した位置情報に基づいて、近隣に存在する撮像装置の位置を地図上にマッピングし(S235)、一連の処理を終了する。
【0135】
以上、近隣に存在する撮像装置を地図上にマッピングする機能について説明した。
【0136】
(3−4−3:ベストポジションタグの付与)
次に、図23を参照しながら、ベストポジションタグの付与機能について、より詳細に説明する。ここで言うベストポジションタグとは、ユーザにとってベストポジションとなる撮像装置に付与されるタグである。例えば、情報処理システム20は、図23に示すようなデータベースを保持しており、このデータベースに記載の情報を利用してベストポジションタグを付与すべき撮像装置を判別する。
【0137】
例えば、スポーツを観戦しているユーザにとってのベストポジションについて考えてみよう。野球やサッカーなどのスポーツを観戦しているユーザは、気に入った選手に注目していることが多い。そのため、そのユーザが注目している選手を追従して撮像している撮像装置は、ベストポジションタグが付与されるべき撮像装置であると言える。一方で、同時に視聴しているユーザの多い映像を提供している撮像装置も、ベストポジションタグが付与されるべき撮像装置であると言える。さらに、ユーザの評価が高い映像を提供している撮像装置もベストポジションタグが付与されるべき撮像装置であると言える。
【0138】
そこで、情報処理システム20は、選手の位置情報と撮像領域とのマッチングを行い、撮像装置毎に撮影されている選手をデータベースに記録する。なお、データベースの更新はリアルタイムに行われるようにしてもよい。ある特定の選手を追従する撮像装置に関する情報については固定値にしてもよい。また、情報処理システム20は、同時視聴しているユーザ数(以下、同時視聴数)を取得してデータベースに記録する。さらに、情報処理システム20は、各撮像装置(又は提供される映像)に対する評価値をデータベースに記録する。これらの情報についても、データベースをリアルタイムで更新するようにしてもよい。そして、情報処理システム20は、このデータベースに基づいてベストポジションタグを対象となる撮像装置に付与する。
【0139】
(3−4−4:画像認識技術の併用)
ここで、図24及び図25を参照しながら、画像認識技術を併用する方法について説明する。なお、画像認識技術を併用する方法については上記の第1実施形態の説明においても述べている。但し、ここでは、情報処理システム20が画像認識技術を利用して、同一被写体を撮影している撮像装置の組を検出する方法について説明する。
【0140】
(全体的な処理の流れ)
まず、図24を参照する。ここでは撮像装置11、12が互いに近隣に存在するものとして説明を進める。図24に示すように、まず、撮像装置11は、位置情報及び画像を情報処理システム20に送信する(S241)。撮像装置11から位置情報及び画像を受信すると、情報処理システム20は、受信した位置情報が示す場所の近隣に位置する撮像装置の情報を撮像装置11に送信する(S242)。この場合、撮像装置12の情報を含む撮像装置の情報が撮像装置11に送信される。
【0141】
また、撮像装置12は、位置情報及び画像を情報処理システム20に送信する(S243)。撮像装置12の位置情報及び画像を受信すると、情報処理システム20は、撮像装置11、12が同一被写体を撮影しているか否かを判定する(S244)。このとき、情報処理システム20は、撮像装置11の撮像領域と撮像装置12の撮像領域とが交差するか否かを判定する。また、情報処理システム20は、撮像装置11から受信した画像の特徴と、撮像装置12から受信した画像の特徴とを比較して同じ被写体を撮影しているか否かを判定する。例えば、情報処理システム20は、特開2008−154192号公報に記載の形状認識技術や、顔認識技術を利用して画像の特徴を比較する。
【0142】
さらに、情報処理システム20は、撮像領域の交差に関する判定結果と、画像の特徴を比較した結果とを組み合わせ、撮像装置11、12が同じ被写体を撮影しているか否かを判定する。この判定処理を終えると、情報処理システム20は、撮像装置12から受信した位置情報が示す場所の近隣に位置する撮像装置の情報を撮像装置12に送信する(S245)。次いで、情報処理システム20は、撮像装置11から受信した位置情報が示す場所の近隣に位置する撮像装置の情報を更新し、更新後の情報を撮像装置11に送信する(S246)。
【0143】
(画像認識に関する処理の詳細)
次に、図25を参照しながら、画像認識に関する処理について、より詳細に説明する。
【0144】
図25に示すように、まず、情報処理システム20は、撮像装置11、12から受信した画像に映っている被写体を認識し、両画像に映っている被写体が一致するか否かを判定する(S251)。例えば、情報処理システム20は、顔認識技術を利用し、撮像装置11、12から受信した画像に含まれる人物の顔を検出し、両画像から検出した顔が一致するか否かを判定する。被写体が一致する場合、情報処理システム20は、処理をステップS253に進める。一方、被写体が一致しない場合、情報処理システム20は、処理をステップS252に進める。
【0145】
処理をステップS252に進めた場合、情報処理システム20は、撮像装置11、12から受信した画像の色味が一致するか否かを判定する(S252)。色味が一致する場合、情報処理システム20は、処理をステップS253に進める。一方、色味が一致しない場合、情報処理システム20は、処理をステップS254に進める。処理をステップS253に進めた場合、情報処理システム20は、撮像装置11、12が撮像領域を共有していると判定し(S253)、画像認識に関する一連の処理を終了する。一方、処理をステップS254に進めた場合、情報処理システム20は、撮像装置11、12が撮像領域を共有していないと判定し(S254)、画像認識に関する一連の処理を終了する。
【0146】
以上、画像認識技術を併用する方法について説明した。この方法を適用することにより、撮像領域を共有している撮像装置の組をより精度良く検出することが可能になる。
【0147】
以上、本技術の第2実施形態について説明した。
【0148】
なお、上記の第1及び第2実施形態に係る技術は組み合わせることも可能である。例えば、第2実施形態に示したシステム構成に含まれる撮像装置として、第1実施形態に係る撮像装置を用いることが可能である。
【0149】
<4:ハードウェア構成例>
上記の撮像装置が有する機能の一部や情報処理システムが有する機能の全部は、例えば、図26に示すハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図26に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA、携帯情報端末、携帯ゲーム機などがこれに含まれる。但し、PHSは、Personal Handy−phone Systemの略である。また、PDAは、Personal Digital Assistantの略である。
【0150】
図26に示すように、このハードウェアは、主に、CPU902と、ROM904と、RAM906と、ホストバス908と、ブリッジ910と、を有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926と、を有する。但し、上記のCPUは、Central Processing Unitの略である。また、上記のROMは、Read Only Memoryの略である。そして、上記のRAMは、Random Access Memoryの略である。
【0151】
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【0152】
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
【0153】
出力部918としては、例えば、CRT、LCD、PDP、又はELD等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のCRTは、Cathode Ray Tubeの略である。また、上記のLCDは、Liquid Crystal Displayの略である。そして、上記のPDPは、Plasma DisplayPanelの略である。さらに、上記のELDは、Electro−Luminescence Displayの略である。
【0154】
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のHDDは、Hard Disk Driveの略である。
【0155】
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。但し、上記のICは、Integrated Circuitの略である。
【0156】
接続ポート924は、例えば、USBポート、IEEE1394ポート、SCSI、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。但し、上記のUSBは、Universal Serial Busの略である。また、上記のSCSIは、Small Computer System Interfaceの略である。
【0157】
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB用の通信カード、光通信用のルータ、ADSL用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のLANは、Local Area Networkの略である。また、上記のWUSBは、Wireless USBの略である。そして、上記のADSLは、Asymmetric Digital Subscriber Lineの略である。
【0158】
<5:まとめ>
最後に、これまで説明してきた実施形態に係る技術内容について簡単に纏める。ここで述べる技術内容は、撮像装置の他にも、例えば、PC、携帯電話、携帯ゲーム機、携帯情報端末、サイクルコンピュータ、カーナビゲーションシステムなど、撮像機能を搭載した種々の装置に対して適用することができる。また、ここで述べる機能の一部をクラウドシステムなどの情報処理システムにより実現することも可能である。
【0159】
上記の実施形態に係る装置は、次のような撮像部と、領域算出部と、領域情報取得部と、交差判定部とを有する。上記の撮像部は、被写体を撮像するものである。また、上記の領域算出部は、前記撮像部により撮像される第1の撮像領域を算出するものである。さらに、上記の領域情報取得部は、他の撮像装置により撮像される第2の撮像領域の情報を取得するものである。例えば、この領域情報取得部は、他の撮像装置と無線通信して第2の撮像領域の情報を取得する。また、第2の撮像領域の情報が通信網に接続されたサーバ又はクラウドシステムにアップロードされている場合、領域情報取得部は、そのサーバ又はクラウドシステムから第2の撮像領域の情報を取得する。そして、上記の交差判定部は、前記第1の撮像領域と前記第2の撮像領域とが交わるか否かを判定する。
【0160】
このように、撮像領域が互いに交わるか否かを判定できるようにすることで、同じ被写体を撮像している他の撮像装置や、同じ被写体を撮像しようとしている他の撮像装置を容易に検出することが可能になる。また、上記の構成を適用すると、被写体の同一性を画像認識により判別することが難しい場合でも、上記のような他の撮像装置を検出することができる。例えば、人物の正面から撮影した画像と、同一人物背面から撮影した画像とを画像認識により同一と判別することは難しい。しかし、上記の実施形態に係る技術を適用すると、撮影方向や被写体の撮影部位に依らず、同じ被写体を撮像している他の撮像装置を正しく検出することが可能になる。また、被写体の一部が遮蔽物により隠れてしまっている場合などでも、上記の実施形態に係る技術を適用すると、上記のような他の撮像装置を正しく検出することができる。
【0161】
(備考)
上記の撮像領域計算部108は、領域算出部の一例である。上記の領域交差判定部110は、交差判定部の一例である。上記の装置分類部112は、第1のグルーピング部、第2のグルーピング部の一例である。上記の領域共有装置選択部111、装置分類部112は、正面側装置抽出部の一例である。上位の領域共有装置選択部111は、注目装置抽出部の一例である。上記の画像認識部114は、認識結果取得部、特徴一致判定部の一例である。上記の撮像領域計算部151は、情報送信部の一例である。上記の領域共有装置情報取得部152は、情報受信部の一例である。上記の情報処理システム20は、情報処理装置の一例である。上記の領域交差判定部202は、交差判定部の一例である。上記の領域共有装置選択部203は、装置情報提供部、装置選択部、注目装置抽出部、装置検索部の一例である。上記の装置分類部204は、タグ割当部の一例である。
【0162】
以上、添付図面を参照しながら本技術の好適な実施形態について説明したが、本技術は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。
【符号の説明】
【0163】
11、12、13、14 撮像装置
101 撮像部
1011 光学系
1012 撮像素子
1013 画像処理部
102 記憶部
103 表示制御部
104 表示部
105 傾き検出部
106 位置検出部
107 方向検出部
108、131、151 撮像領域計算部
109 領域情報取得部
110 領域交差判定部
111 領域共有装置選択部
112、133 装置分類部
113 連携処理部
114 画像認識部
132 撮像情報取得部
152 領域共有装置情報取得部
20 情報処理システム
201 領域情報取得部
202 領域交差判定部
203 領域共有装置選択部
204 装置分類部
205 画像取得部
206 画像認識部

【特許請求の範囲】
【請求項1】
被写体を撮像する撮像部と、
前記撮像部により撮像される第1の撮像領域を算出する領域算出部と、
他の撮像装置により撮像される第2の撮像領域の情報を取得する領域情報取得部と、
前記第1の撮像領域と前記第2の撮像領域とが交わるか否かを判定する交差判定部と、
を備える、
撮像装置。
【請求項2】
前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置を被写体までの距離に応じてグループ化する第1のグルーピング部をさらに備える、
請求項1に記載の撮像装置。
【請求項3】
前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置を撮像方向に応じてグループ化する第2のグルーピング部をさらに備える、
請求項1に記載の撮像装置。
【請求項4】
前記第2のグルーピング部によりグループ化された他の撮像装置の中から、被写体を略正面から撮影しているグループに属する他の撮像装置を抽出する正面側装置抽出部をさらに備える、
請求項3に記載の撮像装置。
【請求項5】
前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置の中から、ユーザが注目する被写体を第2の撮影領域に含む他の撮像装置を抽出する注目装置抽出部をさらに備える、
請求項1に記載の撮像装置。
【請求項6】
前記注目装置抽出部は、
前記被写体の所定部位が前記第2の撮影領域に占める割合を検出し、当該割合が所定値以上となる他の撮像装置を抽出する、
請求項5に記載の撮像装置。
【請求項7】
被写体の画像が有する特徴を認識する画像認識部と、
前記交差判定部により交わると判定された第2の撮像領域を撮像している他の撮像装置から、被写体の画像が有する特徴の認識結果を取得する認識結果取得部と、
前記画像認識部により認識された特徴と、前記認識結果取得部により取得された認識結果が示す特徴とが略一致するか否かを判定する特徴一致判定部と、
をさらに備える、
請求項1に記載の撮像装置。
【請求項8】
前記領域情報取得部は、
ユーザにより指定された地図上の位置を基準とする所定範囲内に存在する他の撮像装置から第2の撮像領域の情報を取得する、
請求項1に記載の撮像装置。
【請求項9】
前記撮像部は、
焦点距離fの光学系と、
幅W及び高さHの撮像素子と、
を含み、
前記撮像装置は、
自装置の位置Pを検出する位置検出部と、
自装置の傾きを検出する傾き検出部と、
地平面に略平行な面内における自装置の向きを検出する方向検出部と、
をさらに備え、
前記領域算出部は、
前記位置検出部により検出された位置P、前記傾き検出部により検出された傾き、前記方向検出部により検出された向き、前記光学系の焦点距離f、前記撮像素子の幅W及び高さHに基づいて前記第1の撮像領域を算出する、
請求項1に記載の撮像装置。
【請求項10】
前記第1の撮像領域は、
前記位置Pを頂点とし、前記光学系の光軸方向に伸びた垂線及び前記光学系の光軸を回転軸とする回転方向の傾きで形状が規定される四角錐状を成し、
前記第2の撮像領域は、
前記他の撮像装置の位置P’を頂点とし、当該他の撮像装置が有する光学系の光軸方向に伸びた垂線及び当該光軸を回転軸とする回転方向の傾きで形状が規定される四角錐状を成し、
前記交差判定部は、
前記第1の撮像領域に対応する四角錐と、前記第2の撮像領域に対応する四角錐とが交わるか否かを判定する、
請求項9に記載の撮像装置。
【請求項11】
前記撮像部は、
焦点距離fの光学系と、
幅Wの撮像素子と、
を含み、
前記撮像装置は、
自装置の位置Pを検出する位置検出部と、
地平面に略平行な面内における自装置の向きを検出する方向検出部と、
をさらに備え、
前記領域算出部は、
前記位置検出部により検出された位置P、前記方向検出部により検出された向き、前記光学系の焦点距離f、前記撮像素子の幅Wに基づいて前記第1の撮像領域を算出する、
請求項1に記載の撮像装置。
【請求項12】
前記第1の撮像領域は、
前記位置Pを頂点とし、当該頂点から底辺に下ろした垂線の向きを前記方向検出部により検出された向きとし、当該垂線から左右にW0/2fだけ傾いた前記位置Pで交わる2本の直線で規定される地平面に略平行な三角形状を成し、
前記第2の撮像領域は、
前記他の撮像装置の光学系が焦点距離f’を有し、かつ、当該他の撮像装置の撮像素子が幅W’を有する場合に、前記他の撮像装置の位置P’を頂点とし、当該頂点から底辺に下ろした垂線の向きを当該他の撮像装置の向きとし、当該垂線から左右にW’/2f’だけ傾いた前記位置P’で交わる2本の直線で規定される地平面に略平行な三角形状を成し、
前記交差判定部は、
前記第1の撮像領域に対応する三角形と、前記第2の撮像領域に対応する三角形とが交わるか否かを判定する、
請求項11に記載の撮像装置。
【請求項13】
自装置の位置Pを検出する位置検出部をさらに備え、
前記領域情報取得部は、前記位置検出部により検出された位置Pを基準とする所定範囲内に存在する他の撮像装置から直接的に前記第2の撮像領域の情報を取得する、
請求項1に記載の撮像装置。
【請求項14】
被写体を撮像する撮像部と、
前記撮像部により撮像される第1の撮像領域を算出する領域算出部と、
前記領域算出部により算出された第1の撮像領域の情報を送信する情報送信部と、
前記領域算出部により算出された第1の撮影領域と交わる第2の撮影領域を撮像している他の撮像装置に関する情報を受信する情報受信部と、
を備える、
撮像装置。
【請求項15】
第1〜第Nの撮像装置(N≧2)のそれぞれにより撮像される第1〜第Nの撮像領域の情報を取得する領域情報取得部と、
前記第1〜第Nの撮像領域から互いに交わる撮像領域の組を抽出する交差判定部と、
前記交差判定部により抽出された撮像領域の組に対応する各撮像装置に対して、当該撮像領域の組に対応する全ての撮像装置に関する情報を提供する装置情報提供部と、
を備える、
情報処理装置。
【請求項16】
前記第1〜第Nの撮像領域から所定の被写体を含む撮像領域を抽出し、抽出された撮像領域に対応する撮像装置を選択する装置選択部と、
前記装置選択部により所定時間内に所定以上の頻度で選択された撮像装置を抽出する注目装置抽出部と、
をさらに備える、
請求項15に記載の情報処理装置。
【請求項17】
前記交差判定部により抽出された撮像領域の組に対応する各撮像装置に対し、撮像装置間の位置関係に関するタグ、各撮像装置と被写体との距離に関するタグ、各撮像装置と被写体との位置関係に関するタグの少なくとも1つを割り当てるタグ割当部をさらに備える、
請求項15に記載の情報処理装置。
【請求項18】
前記第1〜第Nの撮像領域から所定の被写体を含む撮像領域を抽出し、抽出された撮像領域に対応する撮像装置を選択する装置選択部と、
前記装置選択部により選択された撮像装置から、前記所定の被写体に対する撮影領域として評価の高い撮影領域に存在する撮像装置を抽出する注目装置抽出部と、
をさらに備える、
請求項15に記載の情報処理装置。
【請求項19】
前記各撮像装置により撮像された映像を視聴しているユーザ数、当該映像に対する評価、当該映像に含まれる被写体の情報のいずれか1つ又は複数に基づいて前記撮像装置の検索を実行する装置検索部をさらに備える、
請求項15に記載の情報処理装置。
【請求項20】
第1の撮像装置により撮像される第1の撮像領域が算出される第1領域算出ステップと、
第2の撮像装置により撮像される第2の撮像領域が算出される第2領域算出ステップと、
前記第1の撮像領域と前記第2の撮像領域とが交わるか否かが判定される交差判定ステップと、
を含む、
撮像領域の共有判定方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate


【公開番号】特開2012−169844(P2012−169844A)
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願番号】特願2011−28897(P2011−28897)
【出願日】平成23年2月14日(2011.2.14)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】