表示制御装置および方法、プログラム、並びに記録媒体
【課題】画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができるようにする。
【解決手段】複数のカメラにより撮影された画像をそれぞれ取得し、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する。
【解決手段】複数のカメラにより撮影された画像をそれぞれ取得し、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示制御装置および方法、プログラム、並びに記録媒体に関し、特に、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができるようにする表示制御装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、ネットワークカメラや放送局用カメラの低価格化が進んでいる。これに伴い、例えば、同一のエリアを複数のカメラでカバーして撮影する方式が普及している。
【０００３】
このように、同一のエリアを複数のカメラでカバーして撮影する方式の普及により、例えば、セキュリティ用途での犯人特定精度の向上、スポーツ、コンサートなどのイベントのコンテンツに係る新しい表示方式などが注目されてきている。
【０００４】
例えば、同一の物体や人物（オブジェクト）を複数の視点から観察した映像を、ユーザの希望に応じて切り替えて表示することなども可能となっている。
【０００５】
また、カメラや閲覧装置あるいは中継サーバの処理性能向上により映像から人物、物体などのオブジェクト検出を行う技術が進歩し、複数映像のオブジェクトの関連性の抽出や同一性の判定も可能となってきている。
【０００６】
例えば、複数の監視カメラ映像のそれぞれに適する射影変換を施された映像から、道路地表面と同一平面に存在しない部分が除去された映像を地図上に合成表示し、各監視カメラ映像の相互関係が地図上に統一的に整合され、地図上で監視領域内の道路状況を映像として監視可能とする技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２８６６８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、映像を閲覧する側についても従来のＰＣだけではなく、モバイル端末やタブレットなど様々な表示機能、入力方式を有する端末が用いられるようになっている。また、複数の視点を切り替えて表示させる場合、できるだけ早く表示遷移を完了させることが望ましい。
【０００９】
例えば、特許文献１の技術では、端末の表示エリアが小さい場合、高解像度表示が必要な地図モードへ遷移したとき、画面が見づらくなる可能性がある。さらに別視点の映像を表示させるために、都度、地図モードを表示する必要があるため、ユーザにとって操作が煩わしく感じられることがあり、また、高速の表示遷移を実現することが難しい。
【００１０】
本技術はこのような状況に鑑みて開示するものであり、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面は、複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置である。
【００１２】
前記表示制御部は、前記所定の画像のオブジェクトを撮影したカメラの位置および撮影方向に基づいて、前記画面において前記別の画像のオブジェクトが表示される位置および前記別の画像のオブジェクトの形状を設定するようにすることができる。
【００１３】
前記表示制御部は、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトの中心軸をさらに設定し、ユーザの操作に基づいて、前記画面において、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトを、前記中心軸を中心として回転させて表示するようにすることができる。
【００１４】
前記表示制御部は、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記オブジェクトの周囲に所定の検知枠を表示するようにすることができる。
【００１５】
前記表示制御部は、表示制御モードとして、前記複数のカメラにより撮影された画像のうち予め定められた画像を、前記所定の画像として表示する通常モードと、前記別の画像で同一のオブジェクトが検知された場合、前記所定の画像のオブジェクトを、前記ユーザが選択したとき、前記所定の画像のオブジェクトと前記別の画像のオブジェクトを同一の画面に表示するロックオンモードとを有し、前記ロックオンモードでは、前記オブジェクトの画像が拡大されて表示されるようにすることができる。
【００１６】
前記オブジェクト検知部は、前記検知されたオブジェクトの特徴量を抽出し、前記特徴量に基づいて所定のデータベースを検索することで前記オブジェクトの属性を表す情報を取得し、前記表示制御部は、前記オブジェクトとともに、前記属性を表示するように制御するようにすることができる。
【００１７】
本技術の一側面は、画像取得部が、複数のカメラにより撮影された画像をそれぞれ取得し、オブジェクト検知部が、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、表示制御部が、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御するステップを含む表示制御方法である。
【００１８】
本技術の一側面は、コンピュータを、複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置として機能させるプログラムある。
【００１９】
本技術の一側面においては、複数のカメラにより撮影された画像がそれぞれ取得され、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトが検知され、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態が前記所定の画像のオブジェクトを基準として設定され、同一の画面に表示するように制御される。
【発明の効果】
【００２０】
本技術によれば、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術におけるオブジェクトの撮影方式を説明する図である。
【図２】本技術を適用した監視システムの一実施の形態に係る構成例を示すブロック図である。
【図３】本技術を適用した監視システムの別の構成例を示すブロック図である。
【図４】図１のカメラの詳細な構成例を示すブロック図である。
【図５】図２または図３の閲覧端末の詳細な構成例を示すブロック図である。
【図６】図５のＣＰＵにおいて実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【図７】閲覧端末のディスプレイに通常モードで表示される画面の例を示す図である。
【図８】表示モードの切り替えの例を示す図である。
【図９】閲覧端末のディスプレイにロックオンモードで表示される画面の例を示す図である。
【図１０】オブジェクト画像を回転させて表示させる操作の例を説明する図である。
【図１１】表示モードの切り替えの別の例を示す図である。
【図１２】閲覧端末のディスプレイに通常モードで表示される画面の別の例を示す図である。
【図１３】従来の技術における視点の切り替えを説明する図である。
【図１４】画像表示処理の例を説明するフローチャートである。
【図１５】ロックオンモード表示処理の例を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２３】
図１は、本技術におけるオブジェクトの撮影方式を説明する図である。この例では、オブジェクトとして人物３００および物体３３０が複数のカメラにより撮影されている。また、この例では、カメラ１１０、カメラ１２０、カメラ１３０、およびカメラ１４０が設置されている。
【００２４】
同図の例では、オブジェクトが、カメラ１１０、カメラ１２０、およびカメラ１３０の撮影範囲内に位置しており、カメラ１４０の撮影範囲外に位置している。従って、オブジェクトは、３台のカメラにより同時に撮影されていることになる。
【００２５】
図２は、本技術を適用した監視システムの一実施の形態に係る構成例を示すブロック図である。この監視システム１００は、カメラシステム１０１、ネットワーク２００、閲覧端末２１０、閲覧端末２２０、閲覧端末２３０、および閲覧端末２４０により構成されている。
【００２６】
カメラシステム１０１は、例えば、図１を参照して上述したように、カメラ１１０乃至カメラ１４０の４台のカメラで構成され、各カメラの撮影範囲内に存在するオブジェクトを撮影するようになされている。カメラシステムを構成する各カメラにより撮影された画像のデータは、ネットワーク２００に送信される。この際、例えば、各カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）と対応づけられて各カメラの画像のデータが送信される。
【００２７】
ネットワーク２００は、例えば、インターネット、イントラネット、携帯電話網などにより構成される。
【００２８】
閲覧端末２１０乃至閲覧端末２４０は、それぞれネットワーク２００に接続可能となるように構成されており、カメラシステム１０１から送信された画像のデータを取得し、画像を表示することができるようになされている。
【００２９】
閲覧端末２１０は、例えば、パーソナルコンピュータとして構成される。閲覧端末２２０は、例えば、携帯電話機やスマートフォンなどのモバイル端末として構成される。閲覧端末２３０は、例えば、ＰＤＡなどのタブレット端末として構成される。なお、閲覧端末２１０乃至閲覧端末２３０のそれぞれは、ディスプレイなどの表示部と一体化されて構成されている。
【００３０】
閲覧端末２４０は、例えば、マイコンなどを有するデジタル機器として構成され、自身に接続された外部機器であるディスプレイ２４１に画像を表示させるようになされている。
【００３１】
閲覧端末２１０乃至閲覧端末２４０のそれぞれは、後述するように、カメラシステム１０１により撮影された画像を、通常モードで表示することが可能であり、ロックオンモードで表示することも可能である。なお、通常モードとロックオンモードの詳細については後述する。
【００３２】
あるいはまた、監視システム１００を、例えば、図３に示されるように構成してもよい。この例では、監視システム１００が、カメラシステム１０１、ネットワーク２００、閲覧端末２１０、閲覧端末２２０、閲覧端末２３０、閲覧端末２４０、専用サーバ２６０、および外部サーバ２７０により構成されている。
【００３３】
専用サーバ２６０は、例えば、監視システム１００を運営する業者が保有するコンピュータなどとして構成され、例えば、カメラシステム１０１から送信されたデータをストレージ２６１に蓄積するようになされている。そして、専用サーバ２６０は、ネットワーク２００を介してアクセスしてきた閲覧端末２１０乃至閲覧端末２４０に対して、ストレージ２６１に蓄積したデータを送信するようになされている。
【００３４】
外部サーバ２７０は、例えば、インターネットサービスプロバイダなどにより運用されるコンピュータなどとして構成され、監視システム１００を運営する業者にレンタルされているサーバとされる。外部サーバ２７０は、専用サーバ２６０の場合と同様に、例えば、カメラシステム１０１から送信されたデータをストレージ２７１に蓄積するようになされている。そして、専用サーバ２６０は、ネットワーク２００を介してアクセスしてきた閲覧端末２１０乃至閲覧端末２４０に対して、ストレージ２７１に蓄積したデータを送信するようになされている。
【００３５】
すなわち、図３に示される構成の場合、閲覧端末２１０乃至閲覧端末２４０は、カメラシステム１０１から直接データを取得するのではなく、専用サーバ２６０または外部サーバ２７０を介して間接的にデータを取得するようになされている。
【００３６】
監視システム１００がこのように構成されるようにしてもよい。
【００３７】
図４は、図１のカメラ１１０の詳細な構成例を示すブロック図である。同図に示されるように、カメラ１１０は、撮像部１１２、エンコーダ１１３、ＣＰＵ１１４、メモリ１１５、ストレージ１１６、およびネットワークインタフェース１１７により構成されている。
【００３８】
撮像部１１２は、例えば、ＣＣＤ（Charge Coupled Devices）撮像センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像センサなどの光電変換素子を有する構成とされ、画像信号を出力するようになされている。
【００３９】
すなわち、外部から取り込まれた光は、光学系を通過して、光電変換素子に入射し、その光の受光量に対応した電気信号である画像信号が出力される。この画像信号は、Ａ／Ｄ変換、すなわち、サンプリングされて量子化（デジタイズ）され、所定の画像処理が施され、エンコーダ１１３に出力されるようになされている。
【００４０】
エンコーダ１１３は、撮像部１１２から出力された画像信号を、例えば、ＭＰＥＧ(Moving Picture Experts Group)や、ＪＰＥＧ(Joint Photographic Experts Group)方式等の所定の方式に従って符号化して得られた画像データをＣＰＵ（Central Processing Unit）１１４に供給する。
【００４１】
ＣＰＵ１１４は、メモリ１１５を用いてプログラムなどのソフトウェアを実行し、エンコーダ１１３から出力されるデータを処理するようになされている。例えば、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）と対応づけて画像データを送信するためのパケットの生成などの処理が行われる。
【００４２】
また、ＣＰＵ１１４は、必要に応じて画像データなどのデータを、ＨＤＤなどにより構成されるストレージ１１６に保持するようになされている。
【００４３】
ネットワークインタフェース１１７は、例えば、ＬＡＮカードなどにより構成され、ネットワーク２００との間でのデータの送受信を制御するようになされている。
【００４４】
カメラ１１０は、このように構成されている。なお、ここでは、図４に示される構成を、カメラ１１０の構成例として説明したが、カメラ１２０乃至カメラ１４０に対しても同図の構成を適用することとする。
【００４５】
図５は、図２または図３の閲覧端末２１０の詳細な構成例を示すブロック図である。同図において、ＣＰＵ４０１は、ＲＯＭ（Read Only Memory）４０２に記憶されているプログラム、または記憶部４０８からＲＡＭ（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４０３にはまた、ＣＰＵ４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４６】
ＣＰＵ４０１、ＲＯＭ４０２、およびＲＡＭ４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４０５も接続されている。
【００４７】
入出力インタフェース４０５には、キーボード、マウスなどよりなる入力部４０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部４０７、ハードディスクなどより構成される記憶部４０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部４０９が接続されている。通信部４０９は、ネットワーク２００を介しての通信処理を行う。
【００４８】
入出力インタフェース４０５にはまた、必要に応じてドライブ４１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４０８にインストールされる。
【００４９】
例えば、閲覧端末２１０において一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア４１１などからなる記録媒体からインストールされる。
【００５０】
ここでは、図５を閲覧端末２１０の構成例として説明したが、閲覧端末２２０乃至閲覧端末２４０にも同図の構成を適用するものとする。ただし、入力部４０６、出力部４０７の実際の構成は、機種により異なっているものとする。また、記憶部４０８は、例えば、必要に応じて設けられるものとする。
【００５１】
図６は、図５のＣＰＵ４０１において実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【００５２】
同図に示される画像取得部４５１は、カメラシステム１０１から送信される各カメラにより撮影された画像のデータのネットワーク２００を介しての取得を制御する。
【００５３】
オブジェクト検知部４５２は、画像取得部４５１により取得された画像を解析し、画像の中に表示されているオブジェクトの検知を制御する。オブジェクト検知部４５２は、例えば、画像取得部４５１により取得されたデータの画像の中に人物が写っているか否かを判定し、人物が写っていると判定された場合、画像の中でその人物が表示されている領域を検知するようになされている。あるいはまた、オブジェクト検知部４５２は、例えば、画像取得部４５１により取得されたデータの画像の中に特定の物体が写っているか否かを判定し、特定の物体が写っていると判定された場合、画像の中でその物体が表示されている領域を検知するようになされている。
【００５４】
また、オブジェクト検知部４５２は、人物が検知された場合、カメラシステム１０１の複数のカメラにより撮影された画像の中に同一の人物が表示されているか否かを判定する。オブジェクト検知部４５２は、例えば、人物の体全体における頭部の比率、目の色、髪の色などの情報を特徴量として抽出する。そして、オブジェクト検知部４５２は、複数のカメラにより撮影された画像の中の人物の特徴量を比較することにより、複数のカメラにより撮影された画像の中に同一の人物が表示されているか否かを判定する。
【００５５】
オブジェクト検知部４５２は、さらに、人物が検知された場合、例えば、ネットワーク２００を介しての専用サーバ２６０または外部サーバ２７０へのアクセスを必要に応じて制御するようになされている。そして、オブジェクト検知部４５２は、例えば、ストレージ２６１、ストレージ２７１などに記憶されている人物データベースを参照し、人物データベースに記憶されている人物と、検知された人物の同一性を判定するようになされている。
【００５６】
人物データベースには、例えば、複数の人物の特徴量が記憶されている。例えば、体全体における頭部の比率、目の色、髪の色などの情報が特徴量として記憶されている。オブジェクト検知部４５２は、例えば、検知された人物の特徴量と、人物データベースに記憶されている各人物の特徴量とを比較することにより、人物データベースに記憶されている人物と、検知された人物の同一性を判定する。
【００５７】
また、人物データベースには、例えば、その人物の属性（例えば、年齢、性別、職業、前科などの情報）が記憶されている。これにより、各閲覧端末においては、例えば、表示されている人物の属性も表示させることができる。
【００５８】
表示モード制御部４５３は、例えば、入力部４０６を介して入力されるユーザの操作に基づいて、通常モードまたはロックオン表示モードのいずれによって画像を表示するかを判定し、表示すべきモードを特定する情報を表示画像生成部４５４に出力するようになされている。
【００５９】
表示画像生成部４５４は、通常モードまたはロックオン表示モードでの表示データおよびその表示データに対応する画像信号を生成し、出力部４０７のディスプレイに供給するようになされている。
【００６０】
次に、閲覧端末２１０乃至閲覧端末２４０のディスプレイに表示される画面について説明する。
【００６１】
図７は、閲覧端末２２０のディスプレイ２２１に表示される画面の例を示す図である。上述したように、閲覧端末２２０は、例えば、携帯電話機やスマートフォンなどのモバイル端末として構成される。
【００６２】
同図は、通常モードでの表示画面の例であり、カメラ１１０により撮影された人物３００の画像（オブジェクト画像）３０１と物体３３０の画像（オブジェクト画像）３３１が表示されている。
【００６３】
また、同図に示されるように、オブジェクト画像３０１の周囲には、オブジェクト検知枠３２１が表示されている。オブジェクト検知枠３２１は、オブジェクト検知部４５２によりカメラ１１０により撮影された画像の中で人物の画像が検知され、かつ他のカメラにより撮影された画像の中にも同一の人物の画像が検知されたことに伴って表示されている。例えば、カメラ１２０により撮影された画像およびカメラ１３０により撮影された画像の中にも同一の人物が検知されたことに伴って検知枠３２１が表示される。この例では、矩形の点線により検知枠３２１が表示されている。
【００６４】
ディスプレイ２２１は、例えば、静電容量方式のタッチスクリーンとして構成され、静電容量の変化を検出し、ユーザの指などが近接したことを検出するようになされている。例えば、ユーザが指３１０をディスプレイ２２１に近接させることにより、パネル上の所定の位置における静電容量の変化が検出され、その位置を表す信号が出力されるようになされている。
【００６５】
図７に示される状態において、ユーザが指３１０をオブジェクト画像３０１に近接させると、オブジェクト画像３０１が選択され、ロックオンモードでの表示画面に切り替えられる。なお、通常モードで表示されている画面において、検知枠が表示されているオブジェクト画像が選択された場合、表示モード制御部４５３が、表示モードを通常モードからロックオンモードに切り替えるようになされている。
【００６６】
図８は、ディスプレイ２２１に表示されている画像がロックオンモードでの表示に切り替わる際の遷移を説明する図である。同図に示されるように、オブジェクト画像３０１が選択されたことにより、まず、オブジェクト画像３０１が画面中央に移動し、さらに拡大されて表示される。その後、ディスプレイ２２１の表示は、図９に示されるような画面となる。
【００６７】
なお、拡大されて表示される際に、例えば、オブジェクト画像３０１が画素補完（アップサンプル）されるなどして、高解像度の画像に変換されるようにしてもよい。
【００６８】
図９は、ロックオンモードでのディスプレイ２２１の表示例を示す図である。同図に示されるように、ロックオンモードにおいては、オブジェクト画像３０１に加えて、他のカメラにより撮影されたオブジェクト画像が表示されている。この例では、オブジェクト画像３０１とともに、カメラ１２０により撮影された人物３００の画像であるオブジェクト画像３０２、およびカメラ１３０により撮影された人物３００の画像であるオブジェクト画像３０３が表示されている。
【００６９】
なお、この例では、オブジェクト画像３０２は、オブジェクト検知枠３２２とともに表示されており、オブジェクト画像３０３は、オブジェクト検知枠３２３とともに表示されている。
【００７０】
オブジェクト画像３０２およびオブジェクト画像３０３は、オブジェクト画像３０１の表示位置を基準とし、カメラ１１０乃至カメラ１３０の位置関係に対応させて表示される。上述したように、各カメラから送信されるデータは、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）と対応づけられている。表示画像生成部４５４は、これらの情報に基づいて、オブジェクト画像３０１の表示位置を基準とした場合のオブジェクト画像３０２およびオブジェクト画像３０３の表示位置と角度を設定するようになされている。
【００７１】
つまり、オブジェクト画像３０２およびオブジェクト画像３０３の表示位置と角度が設定されることにより、オブジェクト画像３０２およびオブジェクト画像３０３の大きさ、形状などが適宜変更させられる。
【００７２】
また、オブジェクト検知枠３２１乃至オブジェクト検知枠３２３によって、オブジェクト画像３０１乃至オブジェクト画像３０３のそれぞれが撮影された方向をユーザが認識でできる。すなわち、基準となるオブジェクト画像３０１に対応するオブジェクト検知枠３２１は画面上で長方形として表示されているが、オブジェクト検知枠３２２およびオブジェクト検知枠３２３は画面上で平行四辺形として表示されている。
【００７３】
なお、ロックオンモードでの表示の際には、オブジェクト検知枠が表示されないようにしてもよい。また、例えば、ロックオンモードでの表示が行われる時に、人物データベースに基づいて得られた人物の属性に係る情報が表示されるようにしてもよい。
【００７４】
さらに、オブジェクト画像３０１、オブジェクト画像３０２およびオブジェクト画像３０３の中心には中心軸３４０が表示されている。中心軸３４０は、やはり、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）に基づいて、表示画像生成部４５４により設定される。すなわち、人物３００は、３台のカメラにより別方向から撮影されているので、人物３００の奥行（厚み）を推定することができる。例えば、このように推定された人物３００の奥行に基づいて、人物３００をほぼ円筒形と仮定し、円筒の中心軸が中心軸３４０として設定されるのである。
【００７５】
図９に示されるように、ロックオンモードで画像が表示されている場合、ユーザは、オブジェクト画像を、中心軸３４０を中心として回転させることができる。
【００７６】
例えば、ユーザが指３１０をディスプレイ２２１に近接させながら、右から左方向に移動させるようにスワイプすると、人物３００のオブジェクト画像が回転する。例えば、図１０に示されるように、ディスプレイ２２１に表示されたオブジェクト画面が回転させられる。
【００７７】
図１０の例においては、ユーザが指３１０でスワイプしたことにより、オブジェクト画像が中心軸３４０を中心として左回りに回転させられている。これにより、図９においては、オブジェクト画像３０１が正面に（基準として）表示されていたものが、オブジェクト画像３０３が正面に表示されている。
【００７８】
いまの場合、オブジェクト画像３０３として表示されている人物３００は、銃を保持しており、危険な人物であることが分かる。このように、ロックオン表示されているオブジェクト画像を回転させることにより、別の方向（別視点）から見たオブジェクト（例えば、人物３００など）を確認することができる。これにより、例えば、画像の中の人物が危険な人物でないか（凶器などを所持していないか）を簡単に確認することができる。
【００７９】
さらに、例えば、人物データベースに基づいて得られた情報を参照することにより、当該人物の属性を確認することも可能となる。
【００８０】
図１０に示される状態において、ユーザが指３１０をオブジェクト画像３０３に近接させると、オブジェクト画像３０３が選択され、通常モードでの表示画面に切り替えられる。なお、ロックオンモードで表示されている画面において、ロックオンモードでの表示の対象となるオブジェクト画像（いまの場合、人物３００の画像）が選択された場合、表示モード制御部４５３が、表示モードをロックオンモードから通常モードに切り替えるようになされている。
【００８１】
図１１は、ディスプレイ２２１に表示されている画像が通常モードでの表示に切り替わる際の遷移を説明する図である。同図に示されるように、オブジェクト画像３０３が選択されたことにより、オブジェクト画像３０３がカメラ１３０により撮影された画像の中での表示位置（いまの場合、画面の左上）に移動する。このとき、ロックオンモードにおいて拡大されて表示されていたオブジェクト画像３０３が縮小される。その後、ディスプレイ２２１の表示は、図１２に示されるような画面となる。
【００８２】
図１２は、閲覧端末２２０のディスプレイ２２１に表示される画面の別の例を示す図である。同図は、通常モードでの表示画面の例であり、カメラ１３０により撮影された人物３００の画像（オブジェクト画像）３０３と物体３３０の画像（オブジェクト画像）３３３が表示されている。また、同図に示されるように、オブジェクト画像３０３の周囲には、オブジェクト検知枠３２３が表示されている。
【００８３】
このように、閲覧端末２２０のディスプレイ２２１に表示される画面の表示モードが切り替えられる。
【００８４】
従来の技術では、例えば、図１３に示されるように画面の表示が切り替えられていた。図１３において、例えば、３台の異なるカメラにより撮影された画像として視点１画像、視点２画像、視点３画像が取得されたものとする。
【００８５】
いま、ユーザが閲覧端末のディスプレイに視点１画像を表示させていたものとし、視点３画像の表示に切り替えるものとする。この場合、ユーザは、図１３に示されるように、例えば、視点１画像が表示された状態において、画面右下の「視点一覧」と記載されたアイコンを選択し、閲覧端末のディスプレイの表示を一覧表示に切り替える。これにより、閲覧端末のディスプレイには、視点１画像、視点２画像、および視点３画像のそれぞれが、縮小されて表示される。
【００８６】
そして、ユーザは、一覧表示の画面において閲覧したい画像である視点３画像を選択する（例えば、指を画像に近接させるなどして選択する）。これにより、閲覧端末のディスプレイには、視点３画像が拡大されて表示される。
【００８７】
これに対して本技術によれば、例えば、図９、図１０を参照して上述したように、オブジェクト画像がロックオンモードで表示されるので、例えば、従来の技術の場合のように、一覧表示の画面に遷移させる必要がない。
【００８８】
例えば、モバイル端末など表示エリアが小さい閲覧端末を用いる場合、多数の視点画像を一覧表示させるには、個々の画像を極めて小さく表示しなければならない。このため、一覧表示の画面へ遷移したとき、画面が見づらくなる可能性がある。
【００８９】
また、複数の視点を切り替えて表示させる場合、できるだけ早く表示遷移を完了させることが望ましいが、従来の技術では、例えば、視点１画像、一覧表示、視点３画像のように、都度、一覧表示を介して視点画像を切り替えていた。このため、表示遷移を完了させるまでに時間がかかっていた。
【００９０】
これに対して本技術によれば、例えば、図９、図１０を参照して上述したように、ロックオンモードで表示されているオブジェクト画像を回転させるように操作するだけで、視点画像（オブジェクト画像）を切り替えることができる。このため、素早く表示遷移を完了させることができるとともに、ユーザの操作性も向上する。
【００９１】
このように本技術によれば、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができる。
【００９２】
次に、図１４のフローチャートを参照して閲覧端末２１０乃至閲覧端末２４０による画像表示処理の例について説明する。
【００９３】
ステップＳ２１において、画像取得部４５１は、カメラシステム１０１から送信される各カメラにより撮影された画像のデータを取得する。
【００９４】
ステップＳ２２において、表示画像生成部４５４は、ステップＳ２１の処理で取得された画像のいずれかを通常モードで表示する。なお、このとき、どのカメラで撮影された画像を表示するかについては、例えば、初期設定により定められているものとする。これにより、例えば、閲覧端末２２０のディスプレイ２２１に図７を参照して上述したような画像が表示される。
【００９５】
ステップＳ２３において、オブジェクト検知部４５２は、画像取得部４５１により取得された画像を解析する。これにより、画像の中に所定のオブジェクト（例えば、人物）が表示されているか否かが解析され、また、そのオブジェクトの特徴量などが取得される。
【００９６】
ステップＳ２４において、オブジェクト検知部４５２は、ステップＳ２３の処理の結果、所定のオブジェクト（例えば、人物）が検知されたか否かを判定する。ステップＳ２４において、所定のオブジェクトが検知されたと判定された場合、処理は、ステップＳ２５に進む。
【００９７】
また、このとき、例えば、ストレージ２６１、ストレージ２７１などに記憶されている人物データベースを参照し、人物データベースに記憶されている人物と、検知された人物の同一性が判定されるようにしてもよい。同一性が高いと判定された場合、当該人物の属性が取得される。
【００９８】
ステップＳ２５において、オブジェクト検知部４５２は、別のカメラにより撮影された（別の視点の）画像の中に同一の人物が検知されたか否かを判定する。このとき、オブジェクト検知部４５２は、例えば、人物の体全体における頭部の比率、目の色、髪の色などの特徴量を比較することにより、複数のカメラにより撮影された画像の中に同一の人物が表示されているか否かを判定する。ステップＳ２５において、別の視点の画像の中に同一の人物が検知されたと判定された場合、処理は、ステップＳ２６に進む。
【００９９】
ステップＳ２６において、ステップＳ２４の処理で検知されたと判定されたオブジェクトの周囲に検知枠を表示する。これにより、例えば、図７に示されるように、オブジェクト画像３０１の周囲にオブジェクト検知枠３２１が表示される。
【０１００】
ステップＳ２７において、表示モード制御部４５３は、例えば、ステップＳ２６の処理で検知枠が表示されたオブジェクト画像が選択されたか否かを判定する。ステップＳ２７において、検知枠が表示されたオブジェクト画像が選択されたと判定された場合、処理は、ステップＳ２８に進む。
【０１０１】
ステップＳ２８において、表示画像生成部４５４は、図１５のフローチャートを参照して後述するロックオンモード表示処理を実行する。これにより、ロックオンモードで画像が表示される。
【０１０２】
なお、ステップＳ２４において、所定のオブジェクトが検知されなかったと判定された場合、ステップＳ２５乃至ステップＳ２８の処理は、スキップされる。
【０１０３】
また、ステップＳ２５において、別の視点の画像の中に同一の人物が検知されなかったと判定された場合、ステップＳ２６乃至ステップＳ２８の処理は、スキップされる。
【０１０４】
さらに、ステップＳ２７において、検知枠が表示されたオブジェクト画像が選択されなかったと判定された場合、ステップＳ２８の処理はスキップされる。
【０１０５】
このようにして、画像表示処理が実行される。
【０１０６】
次に、図１５のフローチャートを参照して、図１４のステップＳ２８のロックオンモード表示処理の詳細な例について説明する。
【０１０７】
ステップＳ４１において、表示画像生成部４５４は、ステップＳ２７の処理で選択されたと判定されたオブジェクト画像を画面の中央に移動させ、拡大して表示する。このとき、例えば、図８に示されるような画面が表示される。
【０１０８】
ステップＳ４２において、表示画像生成部４５４は、各オブジェクト画像の表示位置と角度を設定する。このとき、上述したように、例えば、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）に基づいて、各オブジェクト画像の表示位置と角度が設定される。
【０１０９】
ステップＳ４３において、表示画像生成部４５４は、中心軸を設定する。このとき、例えば、図９を参照して上述したように、人物３００をほぼ円筒形と仮定し、円筒の中心軸が中心軸３４０として設定される。
【０１１０】
ステップＳ４５において、ステップＳ４２の処理における設定、ステップＳ４３の処理における設定内容に基づいて、各オブジェクト画像が表示される。すなわち、例えば、図９を参照して上述したように、ロックオンモードで画像が表示される。
【０１１１】
ステップＳ４４において、表示画像生成部４５４は、スワイプされたか否かを判定する。すなわち、ロックオンモードで表示されているオブジェクト画像を回転させる操作が行われたか否かが判定される。
【０１１２】
ステップＳ４４において、スワイプされたと判定された場合、処理は、ステップＳ４６に進む。
【０１１３】
ステップＳ４６において、表示画像生成部４５４は、ロックオンモードで表示されているオブジェクト画像を回転させて表示する。このとき、例えば、図１０を参照して上述したように、オブジェクト画像が中心軸３４０を中心として回転させられる。そして、例えば、図９においては、オブジェクト画像３０１が正面に（基準として）表示されていたものが、オブジェクト画像３０３が正面に表示される。
【０１１４】
ステップＳ４４において、スワイプされなかったと判定された場合、または、ステップＳ４６の処理の後、処理は、ステップＳ４７に進む。
【０１１５】
ステップＳ４７において、表示画像生成部４５４は、検知枠が表示されたオブジェクト画像が選択されたか否かを判定する。ステップＳ４７において、検知枠が表示されたオブジェクト画像が選択されたと判定された場合、処理は、ステップＳ４８に進む。
【０１１６】
ステップＳ４８において、表示画像生成部４５４は、オブジェクト画像を縮小する。このとき、例えば、図１１に示されるような画面が表示される。
【０１１７】
ステップＳ４９において、表示画像生成部４５４は、通常モードで画像を表示する。このとき、例えば、図１２に示されるように、通常モードで画像が表示される。
【０１１８】
なお、ステップＳ４７において、検知枠が表示されたオブジェクト画像が選択されなかったと判定された場合、ステップＳ４８とステップＳ４９の処理はスキップされる。
【０１１９】
このようにして、ロックオンモード表示処理が実行される。
【０１２０】
以上においては、閲覧端末２２０での画像の表示を例として説明してきたが、閲覧端末２１０、閲覧端末２３０、閲覧端末２４０においても同様の表示が行われる。
【０１２１】
また、以上においては、本技術を監視システム１００に適用し、例えば、主に防犯、セキュリティなどの用途を意識して危険人物を監視する例を説明した。しかしながら、例えば、本技術を、スポーツの大会やコンサートなどのイベントのテレビ放送の用途を意識した撮影システムに適用してもよい。
【０１２２】
本技術を上述の撮影システムに適用することにより、例えば、サッカーの試合において、注目される選手をロックオンモードで表示し、その選手のプレーを様々な角度から視聴することができる。例えば、ゴール前のプレーを、味方側からみた場合、敵側からみた場合の双方をユーザの好みに応じて適宜切り替えて視聴することが可能となる。
【０１２３】
なお、上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、図５のリムーバブルメディア４１１などからなる記録媒体からインストールされる。
【０１２４】
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４１１により構成されるものだけでなく、プログラムが記録されているＲＯＭ４０２や、記憶部４０８に含まれるハードディスクなどで構成されるものも含む。
【０１２５】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２７】
なお、本技術は以下のような構成も取ることができる。
【０１２８】
（１）複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部と
を備える表示制御装置。
（２）前記表示制御部は、
前記所定の画像のオブジェクトを撮影したカメラの位置および撮影方向に基づいて、前記画面において前記別の画像のオブジェクトが表示される位置および前記別の画像のオブジェクトの形状を設定する。
（１）に記載の表示制御装置。
（３）前記表示制御部は、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトの中心軸をさらに設定し、
ユーザの操作に基づいて、前記画面において、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトを、前記中心軸を中心として回転させて表示する
（１）または（２）に記載の表示制御装置。
（４）前記表示制御部は、
前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、
前記オブジェクトの周囲に所定の検知枠を表示する
（１）乃至（３）のいずれかに記載の表示制御装置。
（５）前記表示制御部は、表示制御モードとして、
前記複数のカメラにより撮影された画像のうち予め定められた画像を、前記所定の画像として表示する通常モードと、
前記別の画像で同一のオブジェクトが検知された場合、前記所定の画像のオブジェクトを、前記ユーザが選択したとき、前記所定の画像のオブジェクトと前記別の画像のオブジェクトを同一の画面に表示するロックオンモードとを有し、
前記ロックオンモードでは、前記オブジェクトの画像が拡大されて表示される
（１）乃至（４）のいずれかに記載の表示制御装置。
（６）前記オブジェクト検知部は、
前記検知されたオブジェクトの特徴量を抽出し、前記特徴量に基づいて所定のデータベースを検索することで前記オブジェクトの属性を表す情報を取得し、
前記表示制御部は、
前記オブジェクトとともに、前記属性を表示するように制御する
（１）乃至（５）のいずれかに記載の表示制御装置。
（７）画像取得部が、複数のカメラにより撮影された画像をそれぞれ取得し、
オブジェクト検知部が、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、
表示制御部が、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御するステップ
を含む表示制御方法。
（８）コンピュータを、
複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置として機能させる
プログラム。
（９）（８）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１２９】
１００ 監視システム， １０１ カメラシステム， １１０ カメラ， １２０ カメラ， １３０ カメラ， １４０ カメラ， ２１０ 閲覧端末， ２２０ 閲覧端末， ２２１ ディスプレイ， ２３０ 閲覧端末， ２４０ 閲覧端末， ２４１ ディスプレイ， ４０１ ＣＰＵ， ４０９ 通信部， ４１１ リムーバブルメディア， ４５１ 画像取得部， ４５２ オブジェクト検知部， ４５３ 表示モード制御部， ４５４ 表示画像生成部
【技術分野】
【０００１】
本技術は、表示制御装置および方法、プログラム、並びに記録媒体に関し、特に、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができるようにする表示制御装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、ネットワークカメラや放送局用カメラの低価格化が進んでいる。これに伴い、例えば、同一のエリアを複数のカメラでカバーして撮影する方式が普及している。
【０００３】
このように、同一のエリアを複数のカメラでカバーして撮影する方式の普及により、例えば、セキュリティ用途での犯人特定精度の向上、スポーツ、コンサートなどのイベントのコンテンツに係る新しい表示方式などが注目されてきている。
【０００４】
例えば、同一の物体や人物（オブジェクト）を複数の視点から観察した映像を、ユーザの希望に応じて切り替えて表示することなども可能となっている。
【０００５】
また、カメラや閲覧装置あるいは中継サーバの処理性能向上により映像から人物、物体などのオブジェクト検出を行う技術が進歩し、複数映像のオブジェクトの関連性の抽出や同一性の判定も可能となってきている。
【０００６】
例えば、複数の監視カメラ映像のそれぞれに適する射影変換を施された映像から、道路地表面と同一平面に存在しない部分が除去された映像を地図上に合成表示し、各監視カメラ映像の相互関係が地図上に統一的に整合され、地図上で監視領域内の道路状況を映像として監視可能とする技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−２８６６８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、映像を閲覧する側についても従来のＰＣだけではなく、モバイル端末やタブレットなど様々な表示機能、入力方式を有する端末が用いられるようになっている。また、複数の視点を切り替えて表示させる場合、できるだけ早く表示遷移を完了させることが望ましい。
【０００９】
例えば、特許文献１の技術では、端末の表示エリアが小さい場合、高解像度表示が必要な地図モードへ遷移したとき、画面が見づらくなる可能性がある。さらに別視点の映像を表示させるために、都度、地図モードを表示する必要があるため、ユーザにとって操作が煩わしく感じられることがあり、また、高速の表示遷移を実現することが難しい。
【００１０】
本技術はこのような状況に鑑みて開示するものであり、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面は、複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置である。
【００１２】
前記表示制御部は、前記所定の画像のオブジェクトを撮影したカメラの位置および撮影方向に基づいて、前記画面において前記別の画像のオブジェクトが表示される位置および前記別の画像のオブジェクトの形状を設定するようにすることができる。
【００１３】
前記表示制御部は、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトの中心軸をさらに設定し、ユーザの操作に基づいて、前記画面において、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトを、前記中心軸を中心として回転させて表示するようにすることができる。
【００１４】
前記表示制御部は、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記オブジェクトの周囲に所定の検知枠を表示するようにすることができる。
【００１５】
前記表示制御部は、表示制御モードとして、前記複数のカメラにより撮影された画像のうち予め定められた画像を、前記所定の画像として表示する通常モードと、前記別の画像で同一のオブジェクトが検知された場合、前記所定の画像のオブジェクトを、前記ユーザが選択したとき、前記所定の画像のオブジェクトと前記別の画像のオブジェクトを同一の画面に表示するロックオンモードとを有し、前記ロックオンモードでは、前記オブジェクトの画像が拡大されて表示されるようにすることができる。
【００１６】
前記オブジェクト検知部は、前記検知されたオブジェクトの特徴量を抽出し、前記特徴量に基づいて所定のデータベースを検索することで前記オブジェクトの属性を表す情報を取得し、前記表示制御部は、前記オブジェクトとともに、前記属性を表示するように制御するようにすることができる。
【００１７】
本技術の一側面は、画像取得部が、複数のカメラにより撮影された画像をそれぞれ取得し、オブジェクト検知部が、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、表示制御部が、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御するステップを含む表示制御方法である。
【００１８】
本技術の一側面は、コンピュータを、複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置として機能させるプログラムある。
【００１９】
本技術の一側面においては、複数のカメラにより撮影された画像がそれぞれ取得され、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトが検知され、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態が前記所定の画像のオブジェクトを基準として設定され、同一の画面に表示するように制御される。
【発明の効果】
【００２０】
本技術によれば、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術におけるオブジェクトの撮影方式を説明する図である。
【図２】本技術を適用した監視システムの一実施の形態に係る構成例を示すブロック図である。
【図３】本技術を適用した監視システムの別の構成例を示すブロック図である。
【図４】図１のカメラの詳細な構成例を示すブロック図である。
【図５】図２または図３の閲覧端末の詳細な構成例を示すブロック図である。
【図６】図５のＣＰＵにおいて実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【図７】閲覧端末のディスプレイに通常モードで表示される画面の例を示す図である。
【図８】表示モードの切り替えの例を示す図である。
【図９】閲覧端末のディスプレイにロックオンモードで表示される画面の例を示す図である。
【図１０】オブジェクト画像を回転させて表示させる操作の例を説明する図である。
【図１１】表示モードの切り替えの別の例を示す図である。
【図１２】閲覧端末のディスプレイに通常モードで表示される画面の別の例を示す図である。
【図１３】従来の技術における視点の切り替えを説明する図である。
【図１４】画像表示処理の例を説明するフローチャートである。
【図１５】ロックオンモード表示処理の例を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２３】
図１は、本技術におけるオブジェクトの撮影方式を説明する図である。この例では、オブジェクトとして人物３００および物体３３０が複数のカメラにより撮影されている。また、この例では、カメラ１１０、カメラ１２０、カメラ１３０、およびカメラ１４０が設置されている。
【００２４】
同図の例では、オブジェクトが、カメラ１１０、カメラ１２０、およびカメラ１３０の撮影範囲内に位置しており、カメラ１４０の撮影範囲外に位置している。従って、オブジェクトは、３台のカメラにより同時に撮影されていることになる。
【００２５】
図２は、本技術を適用した監視システムの一実施の形態に係る構成例を示すブロック図である。この監視システム１００は、カメラシステム１０１、ネットワーク２００、閲覧端末２１０、閲覧端末２２０、閲覧端末２３０、および閲覧端末２４０により構成されている。
【００２６】
カメラシステム１０１は、例えば、図１を参照して上述したように、カメラ１１０乃至カメラ１４０の４台のカメラで構成され、各カメラの撮影範囲内に存在するオブジェクトを撮影するようになされている。カメラシステムを構成する各カメラにより撮影された画像のデータは、ネットワーク２００に送信される。この際、例えば、各カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）と対応づけられて各カメラの画像のデータが送信される。
【００２７】
ネットワーク２００は、例えば、インターネット、イントラネット、携帯電話網などにより構成される。
【００２８】
閲覧端末２１０乃至閲覧端末２４０は、それぞれネットワーク２００に接続可能となるように構成されており、カメラシステム１０１から送信された画像のデータを取得し、画像を表示することができるようになされている。
【００２９】
閲覧端末２１０は、例えば、パーソナルコンピュータとして構成される。閲覧端末２２０は、例えば、携帯電話機やスマートフォンなどのモバイル端末として構成される。閲覧端末２３０は、例えば、ＰＤＡなどのタブレット端末として構成される。なお、閲覧端末２１０乃至閲覧端末２３０のそれぞれは、ディスプレイなどの表示部と一体化されて構成されている。
【００３０】
閲覧端末２４０は、例えば、マイコンなどを有するデジタル機器として構成され、自身に接続された外部機器であるディスプレイ２４１に画像を表示させるようになされている。
【００３１】
閲覧端末２１０乃至閲覧端末２４０のそれぞれは、後述するように、カメラシステム１０１により撮影された画像を、通常モードで表示することが可能であり、ロックオンモードで表示することも可能である。なお、通常モードとロックオンモードの詳細については後述する。
【００３２】
あるいはまた、監視システム１００を、例えば、図３に示されるように構成してもよい。この例では、監視システム１００が、カメラシステム１０１、ネットワーク２００、閲覧端末２１０、閲覧端末２２０、閲覧端末２３０、閲覧端末２４０、専用サーバ２６０、および外部サーバ２７０により構成されている。
【００３３】
専用サーバ２６０は、例えば、監視システム１００を運営する業者が保有するコンピュータなどとして構成され、例えば、カメラシステム１０１から送信されたデータをストレージ２６１に蓄積するようになされている。そして、専用サーバ２６０は、ネットワーク２００を介してアクセスしてきた閲覧端末２１０乃至閲覧端末２４０に対して、ストレージ２６１に蓄積したデータを送信するようになされている。
【００３４】
外部サーバ２７０は、例えば、インターネットサービスプロバイダなどにより運用されるコンピュータなどとして構成され、監視システム１００を運営する業者にレンタルされているサーバとされる。外部サーバ２７０は、専用サーバ２６０の場合と同様に、例えば、カメラシステム１０１から送信されたデータをストレージ２７１に蓄積するようになされている。そして、専用サーバ２６０は、ネットワーク２００を介してアクセスしてきた閲覧端末２１０乃至閲覧端末２４０に対して、ストレージ２７１に蓄積したデータを送信するようになされている。
【００３５】
すなわち、図３に示される構成の場合、閲覧端末２１０乃至閲覧端末２４０は、カメラシステム１０１から直接データを取得するのではなく、専用サーバ２６０または外部サーバ２７０を介して間接的にデータを取得するようになされている。
【００３６】
監視システム１００がこのように構成されるようにしてもよい。
【００３７】
図４は、図１のカメラ１１０の詳細な構成例を示すブロック図である。同図に示されるように、カメラ１１０は、撮像部１１２、エンコーダ１１３、ＣＰＵ１１４、メモリ１１５、ストレージ１１６、およびネットワークインタフェース１１７により構成されている。
【００３８】
撮像部１１２は、例えば、ＣＣＤ（Charge Coupled Devices）撮像センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像センサなどの光電変換素子を有する構成とされ、画像信号を出力するようになされている。
【００３９】
すなわち、外部から取り込まれた光は、光学系を通過して、光電変換素子に入射し、その光の受光量に対応した電気信号である画像信号が出力される。この画像信号は、Ａ／Ｄ変換、すなわち、サンプリングされて量子化（デジタイズ）され、所定の画像処理が施され、エンコーダ１１３に出力されるようになされている。
【００４０】
エンコーダ１１３は、撮像部１１２から出力された画像信号を、例えば、ＭＰＥＧ(Moving Picture Experts Group)や、ＪＰＥＧ(Joint Photographic Experts Group)方式等の所定の方式に従って符号化して得られた画像データをＣＰＵ（Central Processing Unit）１１４に供給する。
【００４１】
ＣＰＵ１１４は、メモリ１１５を用いてプログラムなどのソフトウェアを実行し、エンコーダ１１３から出力されるデータを処理するようになされている。例えば、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）と対応づけて画像データを送信するためのパケットの生成などの処理が行われる。
【００４２】
また、ＣＰＵ１１４は、必要に応じて画像データなどのデータを、ＨＤＤなどにより構成されるストレージ１１６に保持するようになされている。
【００４３】
ネットワークインタフェース１１７は、例えば、ＬＡＮカードなどにより構成され、ネットワーク２００との間でのデータの送受信を制御するようになされている。
【００４４】
カメラ１１０は、このように構成されている。なお、ここでは、図４に示される構成を、カメラ１１０の構成例として説明したが、カメラ１２０乃至カメラ１４０に対しても同図の構成を適用することとする。
【００４５】
図５は、図２または図３の閲覧端末２１０の詳細な構成例を示すブロック図である。同図において、ＣＰＵ４０１は、ＲＯＭ（Read Only Memory）４０２に記憶されているプログラム、または記憶部４０８からＲＡＭ（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４０３にはまた、ＣＰＵ４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４６】
ＣＰＵ４０１、ＲＯＭ４０２、およびＲＡＭ４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４０５も接続されている。
【００４７】
入出力インタフェース４０５には、キーボード、マウスなどよりなる入力部４０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部４０７、ハードディスクなどより構成される記憶部４０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部４０９が接続されている。通信部４０９は、ネットワーク２００を介しての通信処理を行う。
【００４８】
入出力インタフェース４０５にはまた、必要に応じてドライブ４１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４０８にインストールされる。
【００４９】
例えば、閲覧端末２１０において一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア４１１などからなる記録媒体からインストールされる。
【００５０】
ここでは、図５を閲覧端末２１０の構成例として説明したが、閲覧端末２２０乃至閲覧端末２４０にも同図の構成を適用するものとする。ただし、入力部４０６、出力部４０７の実際の構成は、機種により異なっているものとする。また、記憶部４０８は、例えば、必要に応じて設けられるものとする。
【００５１】
図６は、図５のＣＰＵ４０１において実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。
【００５２】
同図に示される画像取得部４５１は、カメラシステム１０１から送信される各カメラにより撮影された画像のデータのネットワーク２００を介しての取得を制御する。
【００５３】
オブジェクト検知部４５２は、画像取得部４５１により取得された画像を解析し、画像の中に表示されているオブジェクトの検知を制御する。オブジェクト検知部４５２は、例えば、画像取得部４５１により取得されたデータの画像の中に人物が写っているか否かを判定し、人物が写っていると判定された場合、画像の中でその人物が表示されている領域を検知するようになされている。あるいはまた、オブジェクト検知部４５２は、例えば、画像取得部４５１により取得されたデータの画像の中に特定の物体が写っているか否かを判定し、特定の物体が写っていると判定された場合、画像の中でその物体が表示されている領域を検知するようになされている。
【００５４】
また、オブジェクト検知部４５２は、人物が検知された場合、カメラシステム１０１の複数のカメラにより撮影された画像の中に同一の人物が表示されているか否かを判定する。オブジェクト検知部４５２は、例えば、人物の体全体における頭部の比率、目の色、髪の色などの情報を特徴量として抽出する。そして、オブジェクト検知部４５２は、複数のカメラにより撮影された画像の中の人物の特徴量を比較することにより、複数のカメラにより撮影された画像の中に同一の人物が表示されているか否かを判定する。
【００５５】
オブジェクト検知部４５２は、さらに、人物が検知された場合、例えば、ネットワーク２００を介しての専用サーバ２６０または外部サーバ２７０へのアクセスを必要に応じて制御するようになされている。そして、オブジェクト検知部４５２は、例えば、ストレージ２６１、ストレージ２７１などに記憶されている人物データベースを参照し、人物データベースに記憶されている人物と、検知された人物の同一性を判定するようになされている。
【００５６】
人物データベースには、例えば、複数の人物の特徴量が記憶されている。例えば、体全体における頭部の比率、目の色、髪の色などの情報が特徴量として記憶されている。オブジェクト検知部４５２は、例えば、検知された人物の特徴量と、人物データベースに記憶されている各人物の特徴量とを比較することにより、人物データベースに記憶されている人物と、検知された人物の同一性を判定する。
【００５７】
また、人物データベースには、例えば、その人物の属性（例えば、年齢、性別、職業、前科などの情報）が記憶されている。これにより、各閲覧端末においては、例えば、表示されている人物の属性も表示させることができる。
【００５８】
表示モード制御部４５３は、例えば、入力部４０６を介して入力されるユーザの操作に基づいて、通常モードまたはロックオン表示モードのいずれによって画像を表示するかを判定し、表示すべきモードを特定する情報を表示画像生成部４５４に出力するようになされている。
【００５９】
表示画像生成部４５４は、通常モードまたはロックオン表示モードでの表示データおよびその表示データに対応する画像信号を生成し、出力部４０７のディスプレイに供給するようになされている。
【００６０】
次に、閲覧端末２１０乃至閲覧端末２４０のディスプレイに表示される画面について説明する。
【００６１】
図７は、閲覧端末２２０のディスプレイ２２１に表示される画面の例を示す図である。上述したように、閲覧端末２２０は、例えば、携帯電話機やスマートフォンなどのモバイル端末として構成される。
【００６２】
同図は、通常モードでの表示画面の例であり、カメラ１１０により撮影された人物３００の画像（オブジェクト画像）３０１と物体３３０の画像（オブジェクト画像）３３１が表示されている。
【００６３】
また、同図に示されるように、オブジェクト画像３０１の周囲には、オブジェクト検知枠３２１が表示されている。オブジェクト検知枠３２１は、オブジェクト検知部４５２によりカメラ１１０により撮影された画像の中で人物の画像が検知され、かつ他のカメラにより撮影された画像の中にも同一の人物の画像が検知されたことに伴って表示されている。例えば、カメラ１２０により撮影された画像およびカメラ１３０により撮影された画像の中にも同一の人物が検知されたことに伴って検知枠３２１が表示される。この例では、矩形の点線により検知枠３２１が表示されている。
【００６４】
ディスプレイ２２１は、例えば、静電容量方式のタッチスクリーンとして構成され、静電容量の変化を検出し、ユーザの指などが近接したことを検出するようになされている。例えば、ユーザが指３１０をディスプレイ２２１に近接させることにより、パネル上の所定の位置における静電容量の変化が検出され、その位置を表す信号が出力されるようになされている。
【００６５】
図７に示される状態において、ユーザが指３１０をオブジェクト画像３０１に近接させると、オブジェクト画像３０１が選択され、ロックオンモードでの表示画面に切り替えられる。なお、通常モードで表示されている画面において、検知枠が表示されているオブジェクト画像が選択された場合、表示モード制御部４５３が、表示モードを通常モードからロックオンモードに切り替えるようになされている。
【００６６】
図８は、ディスプレイ２２１に表示されている画像がロックオンモードでの表示に切り替わる際の遷移を説明する図である。同図に示されるように、オブジェクト画像３０１が選択されたことにより、まず、オブジェクト画像３０１が画面中央に移動し、さらに拡大されて表示される。その後、ディスプレイ２２１の表示は、図９に示されるような画面となる。
【００６７】
なお、拡大されて表示される際に、例えば、オブジェクト画像３０１が画素補完（アップサンプル）されるなどして、高解像度の画像に変換されるようにしてもよい。
【００６８】
図９は、ロックオンモードでのディスプレイ２２１の表示例を示す図である。同図に示されるように、ロックオンモードにおいては、オブジェクト画像３０１に加えて、他のカメラにより撮影されたオブジェクト画像が表示されている。この例では、オブジェクト画像３０１とともに、カメラ１２０により撮影された人物３００の画像であるオブジェクト画像３０２、およびカメラ１３０により撮影された人物３００の画像であるオブジェクト画像３０３が表示されている。
【００６９】
なお、この例では、オブジェクト画像３０２は、オブジェクト検知枠３２２とともに表示されており、オブジェクト画像３０３は、オブジェクト検知枠３２３とともに表示されている。
【００７０】
オブジェクト画像３０２およびオブジェクト画像３０３は、オブジェクト画像３０１の表示位置を基準とし、カメラ１１０乃至カメラ１３０の位置関係に対応させて表示される。上述したように、各カメラから送信されるデータは、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）と対応づけられている。表示画像生成部４５４は、これらの情報に基づいて、オブジェクト画像３０１の表示位置を基準とした場合のオブジェクト画像３０２およびオブジェクト画像３０３の表示位置と角度を設定するようになされている。
【００７１】
つまり、オブジェクト画像３０２およびオブジェクト画像３０３の表示位置と角度が設定されることにより、オブジェクト画像３０２およびオブジェクト画像３０３の大きさ、形状などが適宜変更させられる。
【００７２】
また、オブジェクト検知枠３２１乃至オブジェクト検知枠３２３によって、オブジェクト画像３０１乃至オブジェクト画像３０３のそれぞれが撮影された方向をユーザが認識でできる。すなわち、基準となるオブジェクト画像３０１に対応するオブジェクト検知枠３２１は画面上で長方形として表示されているが、オブジェクト検知枠３２２およびオブジェクト検知枠３２３は画面上で平行四辺形として表示されている。
【００７３】
なお、ロックオンモードでの表示の際には、オブジェクト検知枠が表示されないようにしてもよい。また、例えば、ロックオンモードでの表示が行われる時に、人物データベースに基づいて得られた人物の属性に係る情報が表示されるようにしてもよい。
【００７４】
さらに、オブジェクト画像３０１、オブジェクト画像３０２およびオブジェクト画像３０３の中心には中心軸３４０が表示されている。中心軸３４０は、やはり、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）に基づいて、表示画像生成部４５４により設定される。すなわち、人物３００は、３台のカメラにより別方向から撮影されているので、人物３００の奥行（厚み）を推定することができる。例えば、このように推定された人物３００の奥行に基づいて、人物３００をほぼ円筒形と仮定し、円筒の中心軸が中心軸３４０として設定されるのである。
【００７５】
図９に示されるように、ロックオンモードで画像が表示されている場合、ユーザは、オブジェクト画像を、中心軸３４０を中心として回転させることができる。
【００７６】
例えば、ユーザが指３１０をディスプレイ２２１に近接させながら、右から左方向に移動させるようにスワイプすると、人物３００のオブジェクト画像が回転する。例えば、図１０に示されるように、ディスプレイ２２１に表示されたオブジェクト画面が回転させられる。
【００７７】
図１０の例においては、ユーザが指３１０でスワイプしたことにより、オブジェクト画像が中心軸３４０を中心として左回りに回転させられている。これにより、図９においては、オブジェクト画像３０１が正面に（基準として）表示されていたものが、オブジェクト画像３０３が正面に表示されている。
【００７８】
いまの場合、オブジェクト画像３０３として表示されている人物３００は、銃を保持しており、危険な人物であることが分かる。このように、ロックオン表示されているオブジェクト画像を回転させることにより、別の方向（別視点）から見たオブジェクト（例えば、人物３００など）を確認することができる。これにより、例えば、画像の中の人物が危険な人物でないか（凶器などを所持していないか）を簡単に確認することができる。
【００７９】
さらに、例えば、人物データベースに基づいて得られた情報を参照することにより、当該人物の属性を確認することも可能となる。
【００８０】
図１０に示される状態において、ユーザが指３１０をオブジェクト画像３０３に近接させると、オブジェクト画像３０３が選択され、通常モードでの表示画面に切り替えられる。なお、ロックオンモードで表示されている画面において、ロックオンモードでの表示の対象となるオブジェクト画像（いまの場合、人物３００の画像）が選択された場合、表示モード制御部４５３が、表示モードをロックオンモードから通常モードに切り替えるようになされている。
【００８１】
図１１は、ディスプレイ２２１に表示されている画像が通常モードでの表示に切り替わる際の遷移を説明する図である。同図に示されるように、オブジェクト画像３０３が選択されたことにより、オブジェクト画像３０３がカメラ１３０により撮影された画像の中での表示位置（いまの場合、画面の左上）に移動する。このとき、ロックオンモードにおいて拡大されて表示されていたオブジェクト画像３０３が縮小される。その後、ディスプレイ２２１の表示は、図１２に示されるような画面となる。
【００８２】
図１２は、閲覧端末２２０のディスプレイ２２１に表示される画面の別の例を示す図である。同図は、通常モードでの表示画面の例であり、カメラ１３０により撮影された人物３００の画像（オブジェクト画像）３０３と物体３３０の画像（オブジェクト画像）３３３が表示されている。また、同図に示されるように、オブジェクト画像３０３の周囲には、オブジェクト検知枠３２３が表示されている。
【００８３】
このように、閲覧端末２２０のディスプレイ２２１に表示される画面の表示モードが切り替えられる。
【００８４】
従来の技術では、例えば、図１３に示されるように画面の表示が切り替えられていた。図１３において、例えば、３台の異なるカメラにより撮影された画像として視点１画像、視点２画像、視点３画像が取得されたものとする。
【００８５】
いま、ユーザが閲覧端末のディスプレイに視点１画像を表示させていたものとし、視点３画像の表示に切り替えるものとする。この場合、ユーザは、図１３に示されるように、例えば、視点１画像が表示された状態において、画面右下の「視点一覧」と記載されたアイコンを選択し、閲覧端末のディスプレイの表示を一覧表示に切り替える。これにより、閲覧端末のディスプレイには、視点１画像、視点２画像、および視点３画像のそれぞれが、縮小されて表示される。
【００８６】
そして、ユーザは、一覧表示の画面において閲覧したい画像である視点３画像を選択する（例えば、指を画像に近接させるなどして選択する）。これにより、閲覧端末のディスプレイには、視点３画像が拡大されて表示される。
【００８７】
これに対して本技術によれば、例えば、図９、図１０を参照して上述したように、オブジェクト画像がロックオンモードで表示されるので、例えば、従来の技術の場合のように、一覧表示の画面に遷移させる必要がない。
【００８８】
例えば、モバイル端末など表示エリアが小さい閲覧端末を用いる場合、多数の視点画像を一覧表示させるには、個々の画像を極めて小さく表示しなければならない。このため、一覧表示の画面へ遷移したとき、画面が見づらくなる可能性がある。
【００８９】
また、複数の視点を切り替えて表示させる場合、できるだけ早く表示遷移を完了させることが望ましいが、従来の技術では、例えば、視点１画像、一覧表示、視点３画像のように、都度、一覧表示を介して視点画像を切り替えていた。このため、表示遷移を完了させるまでに時間がかかっていた。
【００９０】
これに対して本技術によれば、例えば、図９、図１０を参照して上述したように、ロックオンモードで表示されているオブジェクト画像を回転させるように操作するだけで、視点画像（オブジェクト画像）を切り替えることができる。このため、素早く表示遷移を完了させることができるとともに、ユーザの操作性も向上する。
【００９１】
このように本技術によれば、画面に複数の視点を切り替えて表示させる場合に、できるだけ早く表示遷移を完了させるとともにユーザの操作性を向上させることができる。
【００９２】
次に、図１４のフローチャートを参照して閲覧端末２１０乃至閲覧端末２４０による画像表示処理の例について説明する。
【００９３】
ステップＳ２１において、画像取得部４５１は、カメラシステム１０１から送信される各カメラにより撮影された画像のデータを取得する。
【００９４】
ステップＳ２２において、表示画像生成部４５４は、ステップＳ２１の処理で取得された画像のいずれかを通常モードで表示する。なお、このとき、どのカメラで撮影された画像を表示するかについては、例えば、初期設定により定められているものとする。これにより、例えば、閲覧端末２２０のディスプレイ２２１に図７を参照して上述したような画像が表示される。
【００９５】
ステップＳ２３において、オブジェクト検知部４５２は、画像取得部４５１により取得された画像を解析する。これにより、画像の中に所定のオブジェクト（例えば、人物）が表示されているか否かが解析され、また、そのオブジェクトの特徴量などが取得される。
【００９６】
ステップＳ２４において、オブジェクト検知部４５２は、ステップＳ２３の処理の結果、所定のオブジェクト（例えば、人物）が検知されたか否かを判定する。ステップＳ２４において、所定のオブジェクトが検知されたと判定された場合、処理は、ステップＳ２５に進む。
【００９７】
また、このとき、例えば、ストレージ２６１、ストレージ２７１などに記憶されている人物データベースを参照し、人物データベースに記憶されている人物と、検知された人物の同一性が判定されるようにしてもよい。同一性が高いと判定された場合、当該人物の属性が取得される。
【００９８】
ステップＳ２５において、オブジェクト検知部４５２は、別のカメラにより撮影された（別の視点の）画像の中に同一の人物が検知されたか否かを判定する。このとき、オブジェクト検知部４５２は、例えば、人物の体全体における頭部の比率、目の色、髪の色などの特徴量を比較することにより、複数のカメラにより撮影された画像の中に同一の人物が表示されているか否かを判定する。ステップＳ２５において、別の視点の画像の中に同一の人物が検知されたと判定された場合、処理は、ステップＳ２６に進む。
【００９９】
ステップＳ２６において、ステップＳ２４の処理で検知されたと判定されたオブジェクトの周囲に検知枠を表示する。これにより、例えば、図７に示されるように、オブジェクト画像３０１の周囲にオブジェクト検知枠３２１が表示される。
【０１００】
ステップＳ２７において、表示モード制御部４５３は、例えば、ステップＳ２６の処理で検知枠が表示されたオブジェクト画像が選択されたか否かを判定する。ステップＳ２７において、検知枠が表示されたオブジェクト画像が選択されたと判定された場合、処理は、ステップＳ２８に進む。
【０１０１】
ステップＳ２８において、表示画像生成部４５４は、図１５のフローチャートを参照して後述するロックオンモード表示処理を実行する。これにより、ロックオンモードで画像が表示される。
【０１０２】
なお、ステップＳ２４において、所定のオブジェクトが検知されなかったと判定された場合、ステップＳ２５乃至ステップＳ２８の処理は、スキップされる。
【０１０３】
また、ステップＳ２５において、別の視点の画像の中に同一の人物が検知されなかったと判定された場合、ステップＳ２６乃至ステップＳ２８の処理は、スキップされる。
【０１０４】
さらに、ステップＳ２７において、検知枠が表示されたオブジェクト画像が選択されなかったと判定された場合、ステップＳ２８の処理はスキップされる。
【０１０５】
このようにして、画像表示処理が実行される。
【０１０６】
次に、図１５のフローチャートを参照して、図１４のステップＳ２８のロックオンモード表示処理の詳細な例について説明する。
【０１０７】
ステップＳ４１において、表示画像生成部４５４は、ステップＳ２７の処理で選択されたと判定されたオブジェクト画像を画面の中央に移動させ、拡大して表示する。このとき、例えば、図８に示されるような画面が表示される。
【０１０８】
ステップＳ４２において、表示画像生成部４５４は、各オブジェクト画像の表示位置と角度を設定する。このとき、上述したように、例えば、カメラの設置場所を表す情報（例えば、座標位置など）、各カメラの撮影方向を表す情報（例えば、各カメラの撮影範囲の中心となる光軸を表わすベクトルなど）に基づいて、各オブジェクト画像の表示位置と角度が設定される。
【０１０９】
ステップＳ４３において、表示画像生成部４５４は、中心軸を設定する。このとき、例えば、図９を参照して上述したように、人物３００をほぼ円筒形と仮定し、円筒の中心軸が中心軸３４０として設定される。
【０１１０】
ステップＳ４５において、ステップＳ４２の処理における設定、ステップＳ４３の処理における設定内容に基づいて、各オブジェクト画像が表示される。すなわち、例えば、図９を参照して上述したように、ロックオンモードで画像が表示される。
【０１１１】
ステップＳ４４において、表示画像生成部４５４は、スワイプされたか否かを判定する。すなわち、ロックオンモードで表示されているオブジェクト画像を回転させる操作が行われたか否かが判定される。
【０１１２】
ステップＳ４４において、スワイプされたと判定された場合、処理は、ステップＳ４６に進む。
【０１１３】
ステップＳ４６において、表示画像生成部４５４は、ロックオンモードで表示されているオブジェクト画像を回転させて表示する。このとき、例えば、図１０を参照して上述したように、オブジェクト画像が中心軸３４０を中心として回転させられる。そして、例えば、図９においては、オブジェクト画像３０１が正面に（基準として）表示されていたものが、オブジェクト画像３０３が正面に表示される。
【０１１４】
ステップＳ４４において、スワイプされなかったと判定された場合、または、ステップＳ４６の処理の後、処理は、ステップＳ４７に進む。
【０１１５】
ステップＳ４７において、表示画像生成部４５４は、検知枠が表示されたオブジェクト画像が選択されたか否かを判定する。ステップＳ４７において、検知枠が表示されたオブジェクト画像が選択されたと判定された場合、処理は、ステップＳ４８に進む。
【０１１６】
ステップＳ４８において、表示画像生成部４５４は、オブジェクト画像を縮小する。このとき、例えば、図１１に示されるような画面が表示される。
【０１１７】
ステップＳ４９において、表示画像生成部４５４は、通常モードで画像を表示する。このとき、例えば、図１２に示されるように、通常モードで画像が表示される。
【０１１８】
なお、ステップＳ４７において、検知枠が表示されたオブジェクト画像が選択されなかったと判定された場合、ステップＳ４８とステップＳ４９の処理はスキップされる。
【０１１９】
このようにして、ロックオンモード表示処理が実行される。
【０１２０】
以上においては、閲覧端末２２０での画像の表示を例として説明してきたが、閲覧端末２１０、閲覧端末２３０、閲覧端末２４０においても同様の表示が行われる。
【０１２１】
また、以上においては、本技術を監視システム１００に適用し、例えば、主に防犯、セキュリティなどの用途を意識して危険人物を監視する例を説明した。しかしながら、例えば、本技術を、スポーツの大会やコンサートなどのイベントのテレビ放送の用途を意識した撮影システムに適用してもよい。
【０１２２】
本技術を上述の撮影システムに適用することにより、例えば、サッカーの試合において、注目される選手をロックオンモードで表示し、その選手のプレーを様々な角度から視聴することができる。例えば、ゴール前のプレーを、味方側からみた場合、敵側からみた場合の双方をユーザの好みに応じて適宜切り替えて視聴することが可能となる。
【０１２３】
なお、上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、図５のリムーバブルメディア４１１などからなる記録媒体からインストールされる。
【０１２４】
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４１１により構成されるものだけでなく、プログラムが記録されているＲＯＭ４０２や、記憶部４０８に含まれるハードディスクなどで構成されるものも含む。
【０１２５】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２７】
なお、本技術は以下のような構成も取ることができる。
【０１２８】
（１）複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部と
を備える表示制御装置。
（２）前記表示制御部は、
前記所定の画像のオブジェクトを撮影したカメラの位置および撮影方向に基づいて、前記画面において前記別の画像のオブジェクトが表示される位置および前記別の画像のオブジェクトの形状を設定する。
（１）に記載の表示制御装置。
（３）前記表示制御部は、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトの中心軸をさらに設定し、
ユーザの操作に基づいて、前記画面において、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトを、前記中心軸を中心として回転させて表示する
（１）または（２）に記載の表示制御装置。
（４）前記表示制御部は、
前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、
前記オブジェクトの周囲に所定の検知枠を表示する
（１）乃至（３）のいずれかに記載の表示制御装置。
（５）前記表示制御部は、表示制御モードとして、
前記複数のカメラにより撮影された画像のうち予め定められた画像を、前記所定の画像として表示する通常モードと、
前記別の画像で同一のオブジェクトが検知された場合、前記所定の画像のオブジェクトを、前記ユーザが選択したとき、前記所定の画像のオブジェクトと前記別の画像のオブジェクトを同一の画面に表示するロックオンモードとを有し、
前記ロックオンモードでは、前記オブジェクトの画像が拡大されて表示される
（１）乃至（４）のいずれかに記載の表示制御装置。
（６）前記オブジェクト検知部は、
前記検知されたオブジェクトの特徴量を抽出し、前記特徴量に基づいて所定のデータベースを検索することで前記オブジェクトの属性を表す情報を取得し、
前記表示制御部は、
前記オブジェクトとともに、前記属性を表示するように制御する
（１）乃至（５）のいずれかに記載の表示制御装置。
（７）画像取得部が、複数のカメラにより撮影された画像をそれぞれ取得し、
オブジェクト検知部が、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、
表示制御部が、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御するステップ
を含む表示制御方法。
（８）コンピュータを、
複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置として機能させる
プログラム。
（９）（８）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１２９】
１００ 監視システム， １０１ カメラシステム， １１０ カメラ， １２０ カメラ， １３０ カメラ， １４０ カメラ， ２１０ 閲覧端末， ２２０ 閲覧端末， ２２１ ディスプレイ， ２３０ 閲覧端末， ２４０ 閲覧端末， ２４１ ディスプレイ， ４０１ ＣＰＵ， ４０９ 通信部， ４１１ リムーバブルメディア， ４５１ 画像取得部， ４５２ オブジェクト検知部， ４５３ 表示モード制御部， ４５４ 表示画像生成部
【特許請求の範囲】
【請求項１】
複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部と
を備える表示制御装置。
【請求項２】
前記表示制御部は、
前記所定の画像のオブジェクトを撮影したカメラの位置および撮影方向に基づいて、前記画面において前記別の画像のオブジェクトが表示される位置および前記別の画像のオブジェクトの形状を設定する。
請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトの中心軸をさらに設定し、
ユーザの操作に基づいて、前記画面において、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトを、前記中心軸を中心として回転させて表示する
請求項１に記載の表示制御装置。
【請求項４】
前記表示制御部は、
前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、
前記オブジェクトの周囲に所定の検知枠を表示する
請求項１に記載の表示制御装置。
【請求項５】
前記表示制御部は、表示制御モードとして、
前記複数のカメラにより撮影された画像のうち予め定められた画像を、前記所定の画像として表示する通常モードと、
前記別の画像で同一のオブジェクトが検知された場合、前記所定の画像のオブジェクトを、前記ユーザが選択したとき、前記所定の画像のオブジェクトと前記別の画像のオブジェクトを同一の画面に表示するロックオンモードとを有し、
前記ロックオンモードでは、前記オブジェクトの画像が拡大されて表示される
請求項１に記載の表示制御装置。
【請求項６】
前記オブジェクト検知部は、
前記検知されたオブジェクトの特徴量を抽出し、前記特徴量に基づいて所定のデータベースを検索することで前記オブジェクトの属性を表す情報を取得し、
前記表示制御部は、
前記オブジェクトとともに、前記属性を表示するように制御する
請求項１に記載の表示制御装置。
【請求項７】
画像取得部が、複数のカメラにより撮影された画像をそれぞれ取得し、
オブジェクト検知部が、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、
表示制御部が、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御するステップ
を含む表示制御方法。
【請求項８】
コンピュータを、
複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１】
複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部と
を備える表示制御装置。
【請求項２】
前記表示制御部は、
前記所定の画像のオブジェクトを撮影したカメラの位置および撮影方向に基づいて、前記画面において前記別の画像のオブジェクトが表示される位置および前記別の画像のオブジェクトの形状を設定する。
請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトの中心軸をさらに設定し、
ユーザの操作に基づいて、前記画面において、前記所定の画像のオブジェクトおよび前記別の画像のオブジェクトを、前記中心軸を中心として回転させて表示する
請求項１に記載の表示制御装置。
【請求項４】
前記表示制御部は、
前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、
前記オブジェクトの周囲に所定の検知枠を表示する
請求項１に記載の表示制御装置。
【請求項５】
前記表示制御部は、表示制御モードとして、
前記複数のカメラにより撮影された画像のうち予め定められた画像を、前記所定の画像として表示する通常モードと、
前記別の画像で同一のオブジェクトが検知された場合、前記所定の画像のオブジェクトを、前記ユーザが選択したとき、前記所定の画像のオブジェクトと前記別の画像のオブジェクトを同一の画面に表示するロックオンモードとを有し、
前記ロックオンモードでは、前記オブジェクトの画像が拡大されて表示される
請求項１に記載の表示制御装置。
【請求項６】
前記オブジェクト検知部は、
前記検知されたオブジェクトの特徴量を抽出し、前記特徴量に基づいて所定のデータベースを検索することで前記オブジェクトの属性を表す情報を取得し、
前記表示制御部は、
前記オブジェクトとともに、前記属性を表示するように制御する
請求項１に記載の表示制御装置。
【請求項７】
画像取得部が、複数のカメラにより撮影された画像をそれぞれ取得し、
オブジェクト検知部が、前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知し、
表示制御部が、前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御するステップ
を含む表示制御方法。
【請求項８】
コンピュータを、
複数のカメラにより撮影された画像をそれぞれ取得する画像取得部と、
前記取得した画像のうちの所定の画像に表示されている特定のオブジェクトを検知するオブジェクト検知部と、
前記取得した複数の画像において、前記特定のオブジェクトが検知された前記所定の画像とは異なる別の画像で同一のオブジェクトが検知された場合、前記別の画像のオブジェクトの表示の形態を前記所定の画像のオブジェクトを基準として設定し、同一の画面に表示するように制御する表示制御部とを備える表示制御装置として機能させる
プログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２５７０２１（Ｐ２０１２−２５７０２１Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２８１００（Ｐ２０１１−１２８１００）
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]