映像処理装置、映像処理方法および映像撮像装置
【課題】より視認性に優れた映像処理装置および映像処理方法を提供する。
【解決手段】移動体における映像処理装置において、外部の1乃至複数の映像撮像装置から映像情報を受信する受信手段と、受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、移動体自身の現在位置および進行方向を測位する測位手段と、前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、この補正変換後の映像をディスプレイに出力する出力制御手段とを備えることを特徴とする映像処理装置。
【解決手段】移動体における映像処理装置において、外部の1乃至複数の映像撮像装置から映像情報を受信する受信手段と、受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、移動体自身の現在位置および進行方向を測位する測位手段と、前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、この補正変換後の映像をディスプレイに出力する出力制御手段とを備えることを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置および映像処理方法等に関する。
【背景技術】
【０００２】
従来の携帯ナビゲーション等の機器では、目的地までのルートや渋滞に関する情報を、地図または映像によって取得することが可能である。しかしながら、現在目の前で発生している渋滞や行列の前方を確認したい、といった利用者が日常的に直面する問題には柔軟に対応することができない。
【０００３】
関連して特許文献１に記載されているものは、地図画面上で特定の位置を指定すると、その位置に対応付けられた画像データを有する画像サーバを自動検索し、インターネット経由で画像を取得し、当該装置上で表示するというものである。さらに複数画像を取得することも可能であるが、個々の画像のサイズ変更ができるのみであり上記問題に対応するものとは言えなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１３４５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、より視認性に優れた映像処理装置および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の映像処理装置は、移動体における映像処理装置において、外部の1乃至複数の映像撮像装置から映像情報を受信する受信手段と、受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、移動体自身の現在位置および進行方向を測位する測位手段と、前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、この補正変換後の映像をディスプレイに出力する出力制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、より視認性に優れた映像処理装置および映像処理方法が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係わる車載用情報処理装置のシステム構成を示すブロック図。
【図２】同実施形態におけるBluetooth機能付きのカメラユニットのシステム構成を示すブロック図。
【図３】同実施形態のシステム全体機能構成図。
【図４】同実施形態の処理フロー例。
【図５】同実施形態における利用シーン例。
【図６】他の実施形態におけるBluetooth機能付きの携帯電話機のシステム構成を示すブロック図。
【図７】同実施形態の利用シーン例。
【発明を実施するための形態】
【０００９】
本発明は、携帯ナビゲーションシステム等、移動体に備えられる映像処理装置全般に適用することができる。以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図５を参照して説明する。
図１は、本発明の一実施形態に係わる車載用情報処理装置のシステム構成を示すブロック図である。
図１に示すように、本実施形態における車載用情報処理装置１は、ＣＰＵ１０、内部バス１１、各種プログラムを記憶しているＲＯＭ１２、ＲＡＭ１３、ＶＲＡＭ１４、ＬＣＤコントローラ１５、ＬＣＤ１６、タッチパネル１７、ＧＰＳアンテナ１８、ＧＰＳ装置１９、音楽情報及び地図情報等を記憶しているＤＶＤ−ＲＯＭ２０、音楽情報等の各種情報を記憶する大容量フラッシュメモリ（半導体ディスク）２１、Bluetooth用アンテナ２２、Bluetoothモジュール２３、車両情報入力インタフェース２４、音楽再生装置２５によって構成され、Bluetooth機能を備えると共に、カーナビゲーション装置及びカーオーディオ装置の機能を有している。
【００１０】
ＣＰＵ１０は、内部バス１１を介して各部と接続されて車載用情報処理装置１全体の制御を司るもので、ＲＯＭ１２に記憶されたプログラムを実行することにより、各種の機能、例えばカーナビゲーション装置及びカーオーディオ装置を実現する。
【００１１】
ＲＯＭ１２は、ＣＰＵ１０を動作させるためのプログラム及び各種初期データを格納するための読み込み専用のメモリ装置であり、各種機能を実現するためのプログラムが格納されている。本実施形態では、例えばカーナビゲーション装置、カーオーディオ装置等を実現するプログラム、及び他の電子機器との無線通信を行なうためのプログラム等が格納されている。
【００１２】
ＲＡＭ１３は、ＣＰＵ１０による読み書き可能のメモリ装置であり、各種データを一時的に記憶させる作業領域として使用され、例えばBluetoothモジュール２３を介して受信したデータ、車両情報入力インタフェース２４から入力されるデータなどを一時的に記憶する。
【００１３】
ＬＣＤコントローラ１５は、ＣＰＵ１０の制御のもとで、ＶＲＡＭ１４に書き込まれた各種情報、例えばカーナビゲーション装置の地図情報、あるいはカーオーディオ装置における曲名や状態情報等の各種情報をＬＣＤ１６に表示させるための表示制御を行なう。
【００１４】
ＬＣＤ１６は、例えばカラーの表示パネルにより構成され、ＬＣＤコントローラ１５の制御のもとで各種情報を表示する。
タッチパネル１７は、ＬＣＤ１６の前面に設けられるもので、そのとき動作しているカーナビゲーション装置あるいはカーオーディオ装置等において、ＬＣＤ１６に表示される選択項目、指示項目をタッチ操作することにより、データ入力を行なうものである。
【００１５】
ＧＰＳアンテナ１８は、ＧＰＳ衛星からの電波を受信するもので、その受信した信号をＧＰＳ装置１９に入力する。
ＧＰＳ装置１９は、ＣＰＵ１０の制御のもとで動作し、ＧＰＳアンテナ１８により受信したＧＰＳ電波に基づいて車両の現在位置を確定し、その現在位置からＤＶＤ−ＲＯＭ２０に格納されている地図情報を読み出し、ＶＲＡＭ１４、ＬＣＤコントローラ１５を介してＬＣＤ１６に表示することで、カーナビゲーション機能を実現する。
【００１６】
ＤＶＤ−ＲＯＭ２０は、地図情報、音楽情報等を記憶する大容量の記憶媒体である。上記ＤＶＤ−ＲＯＭ２０に記憶された地図情報はカーナビゲーションに利用され、音楽情報は音楽再生装置２５により再生される。
【００１７】
大容量フラッシュメモリ２１は、例えば音楽情報等を記憶する大容量の半導体メモリである。
Bluetooth用アンテナ２２は、Bluetoothモジュール２３と車両内にある各種電子機器との間で無線通信を行なうためのものである。
Bluetoothモジュール２３は、Bluetooth用アンテナ２２によって送受信される無線信号の制御を行なう。上記Bluetoothモジュール２３は、無線通信方式としてBluetoothを使用している。なお、Bluetoothは、近距離の無線通信規格であり、２．４ＧＨｚ帯のＩＳＭ（Industrial Science Medical）バンドを用いて１００ｍ以内の無線通信を実現するものである。Bluetoothでは、スペクトラム拡散技術として周波数ホッピング方式を用いており、最大で８台までの機器を時分割多重方式によりリンク設定して情報を伝送することができる。
【００１８】
車両情報入力インタフェース２４は、センサによって検出される車両情報、例えば走行速度をモニタしてシステムに入力する。
音楽再生装置２５は、例えばＭＰ３の音楽再生機能を有し、ＤＶＤ−ＲＯＭ２０や、大容量フラッシュメモリ２１に保存された音楽データを再生することで、カーオーディオ機能を実現する。
【００１９】
上記のように構成された車載用情報処理装置１は、ＬＣＤ１６に例えばカーナビゲーション機能、カーオーディオ機能、他の電子機器との通信機能等の初期メニューを表示する。車両の運転者は、上記表示メニューの中から任意の機能をタッチ操作することによって選択する。その後は、選択された機能に応じたメニュー等が表示されて、その操作に応じて各機能が動作する。
【００２０】
上記車載用情報処理装置１は、上記選択されたメニューに従って、車両内外にある各種の電子機器、例えばBluetooth機能付きの携帯電話機、カメラユニットなどと例えば音声、画像、コンピュータプログラムデータなどの各種の情報をBluetooth機能を介して交換する。
【００２１】
次に、Bluetooth機能付きの電子機器であるカメラユニットのシステム構成について説明する。
［カメラユニット４３のシステム構成］
図２は、Bluetooth機能付きのカメラユニット４３のシステム構成を示すブロック図である。
図２に示すように、本実施形態におけるカメラユニット４３は、ＣＰＵ８０、内部バス８１、各種プログラムを記憶しているＲＯＭ８２、ＲＡＭ８３、ＣＣＤカメラユニット８４、画像入力コントローラ８５、Bluetooth用アンテナ８６、Bluetoothモジュール８７、電源回路８８によって構成される。
【００２２】
ＣＰＵ８０は、内部バス８１を介して各部と接続されてカメラユニット４３全体の制御を司るもので、ＲＯＭ８２に記憶されたプログラムを実行することにより各種の機能、例えばＣＣＤカメラユニット８４及び画像入力コントローラ８５により画像入力機能と、Bluetooth用アンテナ８６及びBluetoothモジュール８７により近距離無線通信機能を実現する。
【００２３】
ＲＯＭ８２は、ＣＰＵ８０を動作させるためのプログラム及び各種初期データを格納するための読み込み専用のメモリ装置であり、各種機能を実現するためのプログラムが格納されている。
【００２４】
ＲＡＭ８３は、ＣＰＵ８０による読み書き可能のメモリ装置であり、ＣＣＤカメラユニット８４から入力された画像データなどを一時的に格納する。
ＣＣＤカメラユニット８４は、車両の背後を撮像して画像入力コントローラ８５に入力する。
画像入力コントローラ８５は、ＣＣＤカメラユニット８４により撮像された画像の入力制御を行なう。
電源回路８８は、車両のバッテリから供給される電圧により各回路部に適した動作電圧を生成すると共に、安定化処理して各回路部に供給する。
上記の構成において、ＣＣＤカメラユニット８４により撮像された車両前後の画像は、画像入力コントローラ８５を介してＲＡＭ８３に一時記憶される。このＲＡＭ８３に一時記憶された画像は、ＣＰＵ８０に制御のもとにBluetoothモジュール８７及びBluetooth用アンテナ８６を介して車載用情報処理装置１へ送られる。
【００２５】
車載用情報処理装置１は、カメラユニット４３から送られてきた画像情報をＬＣＤコントローラ１５を介してＬＣＤ１６に表示する。
上記のようにカメラユニット４３により撮像された車両前後の画像が車載用情報処理装置１のＬＣＤ１６に表示されるので、車両の運転者は必要に応じて車両の前後を監視することができる。
【００２６】
図３に、実施形態のシステム全体の機能構成図を示す。
映像処理装置１００では、GPSアンテナ１０４を介してGPS受信部１０３にて受信したGPS(Global Positioning System)信号および方位センサ１０２等により、当該装置の現在位置および進行方向に関する現在位置情報(I1)を取得する。例えば、ナビゲーションシステムを実現する際には、前記現在位置情報と、図示せぬHDD等の記録媒体に保管されている地図情報が出力制御部１０９に渡り、ディスプレイ１１１の表示やスピーカー１１０からの音声出力により、現在位置の告知や目的地までの経路案内が行われる。なお、各処理部の動作はシステム制御部１０１にて統括的に制御される。以上が、従来の映像処理装置の一般的な構成である。
【００２７】
これに対し、本実施形態では、映像情報受信部１０５と映像情報解析部１０６と映像マッピング決定部１０７と映像補正変換部１０８を備えることを特徴とする。
本実施形態の映像処理装置１００では、映像撮像装置２００から配信される1乃至複数の映像情報を映像情報受信部１０５にて受信し、映像情報解析部１０６で映像本体と撮像位置や撮像角度・方式等に関する撮像位置情報(I2)とに分離する。撮像位置情報(I2)は、上記の現在位置情報(I1)と併せて映像マッピング決定部１０７に渡される。映像マッピング決定部１０７では、これらの位置情報に基づいて、受信映像中で表示対象とする映像、およびそれらを表示画面領域にいかにマッピングするかを決定する。決定したマッピング形式に従って、映像補正変換部１０８にて受信映像が変換され、より視認性に優れた映像が出力制御部１０９より出力される。
【００２８】
映像撮像装置２００は、周辺状況を視認可能な情報を含む映像を撮像する映像撮像部２０１と、撮像した映像情報を当該装置周辺に位置する映像処理装置１００へ配信する映像情報送信部２０２を備えている。なお、映像撮像部２０１では、より広範囲の画像を一度に得るために魚眼カメラの利用が適しているが、他の形態のカメラを採用することも可能である。
【００２９】
なお、映像処理装置１００は車載用情報処理装置１であり、システム制御部１０１、映像情報解析部１０６、映像マッピング決定部１０７および映像補正変換部１０８はＣＰＵ１０、ＲＯＭ１２とＲＡＭ１３に相当する。
【００３０】
また、GPS受信部１０３はＧＰＳ装置１９に、GPSアンテナ１０４はＧＰＳアンテナ１８に対応している。また、映像情報受信部１０５はBluetoothモジュール２３及びBluetooth用アンテナ２２他に対応している。
【００３１】
また、出力制御部１０９の映像関連部分はＶＲＡＭ１４とＬＣＤコントローラ１５に対応している。
また、映像撮像装置２００はカメラユニット４３であり、映像撮像部２０１はＣＣＤカメラユニット８４と画像入力コントローラ８５に相当する。また、映像情報送信部２０２はBluetoothモジュール８７及びBluetooth用アンテナ８６他に対応している。
【００３２】
以上の構成により、個々の移動体において、その位置情報に応じて視認性に優れた映像を自動生成することが容易に実現でき、利用者はより直観性に優れたUIを利用可能になるという有利な効果が得られる。
【００３３】
図４を用いて、本発明による処理フローの一例を説明する。ここでは、受信映像が魚眼カメラで撮像された広角映像である例を説明する。
ステップS201: 映像情報受信部１０５にて、映像撮像装置２００で撮像された映像情報を取得する。本映像情報には、映像本体の他、当該映像の撮像位置や撮像角度・方式等に関する情報が含まれている。この方式としては各種の射影方式がある。
【００３４】
ステップS202: 映像情報解析部(106)にて、S201で取得した映像情報から、当該映像の撮像位置、撮像角度・方式等の情報を分離し、撮像位置情報(I2)として保持する。
【００３５】
ステップS203: S201-202と平行して、GPS(103,104)等の位置測定手段や方位センサ１０２により、移動体自身の現在位置および進行方向を測位、現在位置情報(I1)として保持する。
【００３６】
ステップS204: 映像マッピング決定部１０７にて、S202,S203で得た各種位置情報に基づいて、表示対象とする映像を選択する。また、現在位置から進行方向に向かって、各映像をつなぎ合わせるように、各映像の表示領域や拡大率等のパラメータ、および表示フレーム上にどのようにマッピングするかを決定する。
【００３７】
ステップS205: 映像補正変換部１０８にて、取得した広角映像を平面正像化するための処理を行う。まず最初に、表示フレーム座標(u,v)に対して、広角映像の対応位置(x,y)を算出する。
【００３８】
ステップS206: 次に、バイリニア補間またはバイキュービック・スプライン補間等を利用して拡大・縮小後の(x,y)座標、即ち対応する(u,v) 座標の輝度を算出する。なお、撮像角度・方向が特定の閾値内で重複する映像が存在していた場合は、現在位置に近い映像について透過処理を施しても良い。透過処理としては半透明にしたり更に薄い色を加えるなどしてもよい。
【００３９】
ステップS207: 上記S205-206を表示フレームの全画素について繰り返し行う。なお、広角映像を平面正像化する技術は公知である。
ステップS208: 1フレーム分の処理が完了したら、補正変換後の映像を出力制御部１０９を介してディスプレイ１１１等に出力する。
図５に、本実施形態の利用シーン例を示す。
図５は、車両運転中に適用した例である。前方に大型車両があって視界が遮られている。本実施形態の車載用情報処理装置１では、図５（ａ）のように交差点の上から信号に設置されたカメラユニット４３で撮像された自車両の前方および後方の2枚の映像を利用し、図５（ｂ）のように、自車の手前位置から進行方向に向かって、例えば前方：後方＝３：１の距離の割合で合成表示する。これにより、利用者は交差点の先が特に渋滞していない様子を容易に確認することができる。
【００４０】
（実施形態２）
本発明による実施形態２を図２乃至図４及び図６乃至図７を参照して説明する。実施形態１と共通する部分は説明を省略する。
［携帯電話機３１のシステム構成］
図６は、Bluetooth機能付きの携帯電話機３１のシステム構成を示すブロック図である。
図６に示すように、本実施形態における携帯電話機３１は、ＣＰＵ５０、内部バス５１、各種プログラムを記憶しているＲＯＭ５２、ＲＡＭ５３、ＶＲＡＭ５４、ＬＣＤコントローラ５５、ＬＣＤ５６、キーボード５７、携帯電話用アンテナ５８、携帯電話用ＲＦモジュール５９、大容量フラッシュメモリ（半導体ディスク）６０、Bluetooth用アンテナ６１、Bluetoothモジュール６２、バッテリ６３によって構成される。
【００４１】
ＣＰＵ５０は、内部バス５１を介して各部と接続されて携帯電話機３１全体の制御を司るもので、ＲＯＭ５２に記憶されたプログラムを実行することにより各種の機能を実現する。すなわち、ＣＰＵ５０は、携帯電話用アンテナ５８及び携帯電話用ＲＦモジュール５９を使用する携帯電話としての機能を実現すると共に、Bluetooth用アンテナ６１及びBluetoothモジュール６２を使用する近距離無線通信機能を実現する。
【００４２】
ＲＯＭ５２は、ＣＰＵ５０を動作させるためのプログラム及び各種初期データを格納するための読み込み専用のメモリ装置であり、各種機能を実現するためのプログラムが格納されている。
【００４３】
ＲＡＭ５３は、ＣＰＵ５０による読み書き可能のメモリ装置であり、各処理におけるワークデータ、あるいは他の電子機器から受信した各種データなどを一時的に格納する。
【００４４】
ＬＣＤコントローラ５５は、ＣＰＵ５０の制御のもとで、ＶＲＡＭ５４に書き込まれた各種情報、例えば受信データなどを通知するための表示出力をＬＣＤ５６に表示させるための制御を行なう。
【００４５】
ＬＣＤ５６は、ＬＣＤコントローラ５５の制御のもとで各種情報を表示する。
キーボード５７は、例えば文字入力キーを兼ねたテンキー及び各種ファンクションキーを備え、電話番号や各種制御指令を入力する。
携帯電話用アンテナ５８は、携帯電話の基地局と交信するためのアンテナである。
携帯電話用ＲＦモジュール５９は、ＣＰＵ５０の制御のもとで、携帯電話用アンテナ５８を介して基地局と交信するための制御を行なうもので、交信時の電界強度、あるいは電界強度の変化を検出してＣＰＵ５０に通知する機能を有している。
【００４６】
大容量フラッシュメモリ６０は、各種情報を記憶する大容量の半導体メモリである。
Bluetooth用アンテナ６１は、Bluetoothモジュール６２と車載用情報処理装置１あるいは車両内外にある他の電子機器との間で近距離無線通信を行なうためのアンテナである。
【００４７】
Bluetoothモジュール６２は、Bluetooth用アンテナ６１によって送受信される無線信号の制御を行なうもので、車載用情報処理装置１のBluetoothモジュール２３と同様の機能を有している。
【００４８】
バッテリ６３は、携帯電話機３１の動作用の電力を蓄積するための二次電池である。
上記携帯電話機３１は、携帯電話用アンテナ５８及び携帯電話用ＲＦモジュール５９による携帯電話としての機能と、Bluetooth用アンテナ６１及びBluetoothモジュール６２による近距離無線通信の機能を有している。また図１のＧＰＳ装置１９、ＧＰＳアンテナ１８に相当する部分を有している（図示せず）。
【００４９】
なお、映像処理装置１００は携帯電話機３１であり、システム制御部１０１、映像情報解析部１０６、映像マッピング決定部１０７および映像補正変換部１０８はＣＰＵ５０、ＲＯＭ５２とＲＡＭ５３に相当する。
【００５０】
また、映像情報受信部１０５はBluetoothモジュール６２及びBluetooth用アンテナ６１他に対応している。
また、出力制御部１０９の映像関連部分はＶＲＡＭ５４とＬＣＤコントローラ５５に対応している。
図７に、本実施形態の利用シーン例を示す。
図７は、駅ホームでの利用例である。利用者の正面から見える範囲では、ホーム上はずっと混雑しているように見えている。しかし、本実施形態の携帯電話機３１では、図７（ａ）のようにホーム上に設置された複数のカメラ映像を取得後、図７（ｂ）のように映像を合成して利用者に提供する。利用者は、「3両先は空いている」という状況を、上からの視点で容易に確認することができる。
【００５１】
（他の実施例、変形例）
（１）映像処理装置側で、受信映像を時系列で記憶しておき、複数映像から混雑状況の推移を計測する手段を追加しても良い。利用者がルート決定する際に必要となる参考情報を自動生成可能になる。
【００５２】
（２）受信した映像情報をどのような表示フォーマットにて表示したいかを利用者が任意に指定できる機能を追加しても良い。たとえば、１枚の映像に合成する他、複数映像をマルチ画面にて表示させることも可能になる。
【００５３】
従来の携帯ナビゲーションでは、目的地までのルートや渋滞に関する情報を、地図または映像によって取得することが可能である。しかしながら、現在目の前で発生している渋滞・行列の前方を確認したい、といった利用者が日常的に直面する問題には柔軟に対応することができない。
【００５４】
上記実施形態では、移動体自身の位置や進行方向に応じて、取得した複数画像のマッピング形式を決定し、補正変換した上で表示を行う。この点でより直観性に優れたUIを提供可能である。
【００５５】
本実施形態では、個々の移動体で、自身の位置および撮像位置の情報に基づいて、視認性に優れた映像に変換して表示させることが可能となる。拡張現実感を有するより直観性に優れたUIを提供することにより、上記機能を実現する。展博等のイベント会場や遊園地等の特定施設内にて、複数のブースあるいはアトラクションのリアルタイムの混雑状況を一度に把握し、効率の良いルートを自身で決定することも可能となる。
【００５６】
また人だかりの中に何があるかの確認や、目の前の行列が利用者本人がめざすブースや券売機等に対するものかの確認にも用いることができる。例えば、行列の前方にいる他人のカメラ付き携帯電話機が映像撮像装置２００として機能し本人の携帯電話機が映像処理装置１００として機能するシステムを組めばよい。
【００５７】
以上の効果として本実施形態では、カメラで撮像された映像を、個々の移動体で、その位置情報に応じて視認性に優れた映像に補正変換して表示可能な装置を、安価かつ簡易な構成により実現できる。従来より直観性に優れたUIが提供可能となり、利用者の利便性向上という有利な効果が期待できる。実施形態の特徴は次のようである。
【００５８】
（１）移動体における映像処理装置において、外部の1乃至複数の映像撮像装置から映像情報を受信する手段と、受信した映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、移動体自身の現在位置および進行方向を測位する手段と、前記2種類の位置情報に基づき、受信映像中で表示対象とする映像、およびそれらを表示画面領域にいかにマッピングするかを決定する映像マッピング決定手段と、決定したマッピング形式に基づき、受信映像を補正変換する映像補正変換手段と、補正変換後の映像をディスプレイ等に出力する出力制御手段を備えることにより、携帯ナビゲーション等において、利用者が現在目の前で発生している渋滞・行列にも柔軟に対応可能な直観型UIを提供する。
【００５９】
（２）映像撮像装置とは、周辺状況を視認可能な情報を含む映像を撮像する手段と、撮像した映像情報を当該装置周辺に位置する映像処理装置へ配信する送信手段を備えることを特徴とする。
【００６０】
（３）映像情報とは、1乃至複数のカメラで撮像された現在の周辺状況を視認可能な映像と、撮像装置の位置情報、撮像角度・方式等に関する情報を含むことを特徴とする。その他、待ち時間等の付帯情報を含めても良い。
【００６１】
（４）映像撮像装置と映像処理装置間の通信手段は、無線でも有線でも良く、両者が一体化した構造でも良い。
本実施形態は、背景技術で触れた地図情報を必要とせず、例えば地図情報を持たない特定施設内でも利用できる点で汎用性が高い。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。Bluetooth以外の通信方式を用いても良いし、一般的に利用されているカメラ付き携帯電話機がプログラム実装により上記カメラユニットの機能を発揮してもよい。
【００６２】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００６３】
１ 車載用情報処理装置
１０ ＣＰＵ
１１ 内部バス
１２ ＲＯＭ
１３ ＲＡＭ
１４ ＶＲＡＭ
１５ ＬＣＤコントローラ
１６ ＬＣＤ
１７ タッチパネル
１８ ＧＰＳアンテナ
１９ ＧＰＳ装置
２０ ＤＶＤ−ＲＯＭ
２１ 大容量フラッシュメモリ
２２ Bluetooth用アンテナ
２３ Bluetoothモジュール
２４ 車両情報入力インタフェース
２５ 音楽再生装置
３１ Bluetooth機能付きの携帯電話機
４３ Bluetooth機能付きのカメラユニット
１００ 映像処理装置
１０１ システム制御部
１０２ 方位センサ
１０３ GPS受信部
１０４ GPSアンテナ
１０５ 映像情報受信部
１０６ 映像情報解析部
１０７ 映像マッピング決定部
１０８ 映像補正変換部
１０９ 出力制御部
１１０ スピーカー
１１１ ディスプレイ
２００ 映像撮像装置
２０１ 映像撮像部
２０２ 映像情報送信部
【技術分野】
【０００１】
本発明は、映像処理装置および映像処理方法等に関する。
【背景技術】
【０００２】
従来の携帯ナビゲーション等の機器では、目的地までのルートや渋滞に関する情報を、地図または映像によって取得することが可能である。しかしながら、現在目の前で発生している渋滞や行列の前方を確認したい、といった利用者が日常的に直面する問題には柔軟に対応することができない。
【０００３】
関連して特許文献１に記載されているものは、地図画面上で特定の位置を指定すると、その位置に対応付けられた画像データを有する画像サーバを自動検索し、インターネット経由で画像を取得し、当該装置上で表示するというものである。さらに複数画像を取得することも可能であるが、個々の画像のサイズ変更ができるのみであり上記問題に対応するものとは言えなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１３４５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、より視認性に優れた映像処理装置および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の映像処理装置は、移動体における映像処理装置において、外部の1乃至複数の映像撮像装置から映像情報を受信する受信手段と、受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、移動体自身の現在位置および進行方向を測位する測位手段と、前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、この補正変換後の映像をディスプレイに出力する出力制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、より視認性に優れた映像処理装置および映像処理方法が得られる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係わる車載用情報処理装置のシステム構成を示すブロック図。
【図２】同実施形態におけるBluetooth機能付きのカメラユニットのシステム構成を示すブロック図。
【図３】同実施形態のシステム全体機能構成図。
【図４】同実施形態の処理フロー例。
【図５】同実施形態における利用シーン例。
【図６】他の実施形態におけるBluetooth機能付きの携帯電話機のシステム構成を示すブロック図。
【図７】同実施形態の利用シーン例。
【発明を実施するための形態】
【０００９】
本発明は、携帯ナビゲーションシステム等、移動体に備えられる映像処理装置全般に適用することができる。以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図５を参照して説明する。
図１は、本発明の一実施形態に係わる車載用情報処理装置のシステム構成を示すブロック図である。
図１に示すように、本実施形態における車載用情報処理装置１は、ＣＰＵ１０、内部バス１１、各種プログラムを記憶しているＲＯＭ１２、ＲＡＭ１３、ＶＲＡＭ１４、ＬＣＤコントローラ１５、ＬＣＤ１６、タッチパネル１７、ＧＰＳアンテナ１８、ＧＰＳ装置１９、音楽情報及び地図情報等を記憶しているＤＶＤ−ＲＯＭ２０、音楽情報等の各種情報を記憶する大容量フラッシュメモリ（半導体ディスク）２１、Bluetooth用アンテナ２２、Bluetoothモジュール２３、車両情報入力インタフェース２４、音楽再生装置２５によって構成され、Bluetooth機能を備えると共に、カーナビゲーション装置及びカーオーディオ装置の機能を有している。
【００１０】
ＣＰＵ１０は、内部バス１１を介して各部と接続されて車載用情報処理装置１全体の制御を司るもので、ＲＯＭ１２に記憶されたプログラムを実行することにより、各種の機能、例えばカーナビゲーション装置及びカーオーディオ装置を実現する。
【００１１】
ＲＯＭ１２は、ＣＰＵ１０を動作させるためのプログラム及び各種初期データを格納するための読み込み専用のメモリ装置であり、各種機能を実現するためのプログラムが格納されている。本実施形態では、例えばカーナビゲーション装置、カーオーディオ装置等を実現するプログラム、及び他の電子機器との無線通信を行なうためのプログラム等が格納されている。
【００１２】
ＲＡＭ１３は、ＣＰＵ１０による読み書き可能のメモリ装置であり、各種データを一時的に記憶させる作業領域として使用され、例えばBluetoothモジュール２３を介して受信したデータ、車両情報入力インタフェース２４から入力されるデータなどを一時的に記憶する。
【００１３】
ＬＣＤコントローラ１５は、ＣＰＵ１０の制御のもとで、ＶＲＡＭ１４に書き込まれた各種情報、例えばカーナビゲーション装置の地図情報、あるいはカーオーディオ装置における曲名や状態情報等の各種情報をＬＣＤ１６に表示させるための表示制御を行なう。
【００１４】
ＬＣＤ１６は、例えばカラーの表示パネルにより構成され、ＬＣＤコントローラ１５の制御のもとで各種情報を表示する。
タッチパネル１７は、ＬＣＤ１６の前面に設けられるもので、そのとき動作しているカーナビゲーション装置あるいはカーオーディオ装置等において、ＬＣＤ１６に表示される選択項目、指示項目をタッチ操作することにより、データ入力を行なうものである。
【００１５】
ＧＰＳアンテナ１８は、ＧＰＳ衛星からの電波を受信するもので、その受信した信号をＧＰＳ装置１９に入力する。
ＧＰＳ装置１９は、ＣＰＵ１０の制御のもとで動作し、ＧＰＳアンテナ１８により受信したＧＰＳ電波に基づいて車両の現在位置を確定し、その現在位置からＤＶＤ−ＲＯＭ２０に格納されている地図情報を読み出し、ＶＲＡＭ１４、ＬＣＤコントローラ１５を介してＬＣＤ１６に表示することで、カーナビゲーション機能を実現する。
【００１６】
ＤＶＤ−ＲＯＭ２０は、地図情報、音楽情報等を記憶する大容量の記憶媒体である。上記ＤＶＤ−ＲＯＭ２０に記憶された地図情報はカーナビゲーションに利用され、音楽情報は音楽再生装置２５により再生される。
【００１７】
大容量フラッシュメモリ２１は、例えば音楽情報等を記憶する大容量の半導体メモリである。
Bluetooth用アンテナ２２は、Bluetoothモジュール２３と車両内にある各種電子機器との間で無線通信を行なうためのものである。
Bluetoothモジュール２３は、Bluetooth用アンテナ２２によって送受信される無線信号の制御を行なう。上記Bluetoothモジュール２３は、無線通信方式としてBluetoothを使用している。なお、Bluetoothは、近距離の無線通信規格であり、２．４ＧＨｚ帯のＩＳＭ（Industrial Science Medical）バンドを用いて１００ｍ以内の無線通信を実現するものである。Bluetoothでは、スペクトラム拡散技術として周波数ホッピング方式を用いており、最大で８台までの機器を時分割多重方式によりリンク設定して情報を伝送することができる。
【００１８】
車両情報入力インタフェース２４は、センサによって検出される車両情報、例えば走行速度をモニタしてシステムに入力する。
音楽再生装置２５は、例えばＭＰ３の音楽再生機能を有し、ＤＶＤ−ＲＯＭ２０や、大容量フラッシュメモリ２１に保存された音楽データを再生することで、カーオーディオ機能を実現する。
【００１９】
上記のように構成された車載用情報処理装置１は、ＬＣＤ１６に例えばカーナビゲーション機能、カーオーディオ機能、他の電子機器との通信機能等の初期メニューを表示する。車両の運転者は、上記表示メニューの中から任意の機能をタッチ操作することによって選択する。その後は、選択された機能に応じたメニュー等が表示されて、その操作に応じて各機能が動作する。
【００２０】
上記車載用情報処理装置１は、上記選択されたメニューに従って、車両内外にある各種の電子機器、例えばBluetooth機能付きの携帯電話機、カメラユニットなどと例えば音声、画像、コンピュータプログラムデータなどの各種の情報をBluetooth機能を介して交換する。
【００２１】
次に、Bluetooth機能付きの電子機器であるカメラユニットのシステム構成について説明する。
［カメラユニット４３のシステム構成］
図２は、Bluetooth機能付きのカメラユニット４３のシステム構成を示すブロック図である。
図２に示すように、本実施形態におけるカメラユニット４３は、ＣＰＵ８０、内部バス８１、各種プログラムを記憶しているＲＯＭ８２、ＲＡＭ８３、ＣＣＤカメラユニット８４、画像入力コントローラ８５、Bluetooth用アンテナ８６、Bluetoothモジュール８７、電源回路８８によって構成される。
【００２２】
ＣＰＵ８０は、内部バス８１を介して各部と接続されてカメラユニット４３全体の制御を司るもので、ＲＯＭ８２に記憶されたプログラムを実行することにより各種の機能、例えばＣＣＤカメラユニット８４及び画像入力コントローラ８５により画像入力機能と、Bluetooth用アンテナ８６及びBluetoothモジュール８７により近距離無線通信機能を実現する。
【００２３】
ＲＯＭ８２は、ＣＰＵ８０を動作させるためのプログラム及び各種初期データを格納するための読み込み専用のメモリ装置であり、各種機能を実現するためのプログラムが格納されている。
【００２４】
ＲＡＭ８３は、ＣＰＵ８０による読み書き可能のメモリ装置であり、ＣＣＤカメラユニット８４から入力された画像データなどを一時的に格納する。
ＣＣＤカメラユニット８４は、車両の背後を撮像して画像入力コントローラ８５に入力する。
画像入力コントローラ８５は、ＣＣＤカメラユニット８４により撮像された画像の入力制御を行なう。
電源回路８８は、車両のバッテリから供給される電圧により各回路部に適した動作電圧を生成すると共に、安定化処理して各回路部に供給する。
上記の構成において、ＣＣＤカメラユニット８４により撮像された車両前後の画像は、画像入力コントローラ８５を介してＲＡＭ８３に一時記憶される。このＲＡＭ８３に一時記憶された画像は、ＣＰＵ８０に制御のもとにBluetoothモジュール８７及びBluetooth用アンテナ８６を介して車載用情報処理装置１へ送られる。
【００２５】
車載用情報処理装置１は、カメラユニット４３から送られてきた画像情報をＬＣＤコントローラ１５を介してＬＣＤ１６に表示する。
上記のようにカメラユニット４３により撮像された車両前後の画像が車載用情報処理装置１のＬＣＤ１６に表示されるので、車両の運転者は必要に応じて車両の前後を監視することができる。
【００２６】
図３に、実施形態のシステム全体の機能構成図を示す。
映像処理装置１００では、GPSアンテナ１０４を介してGPS受信部１０３にて受信したGPS(Global Positioning System)信号および方位センサ１０２等により、当該装置の現在位置および進行方向に関する現在位置情報(I1)を取得する。例えば、ナビゲーションシステムを実現する際には、前記現在位置情報と、図示せぬHDD等の記録媒体に保管されている地図情報が出力制御部１０９に渡り、ディスプレイ１１１の表示やスピーカー１１０からの音声出力により、現在位置の告知や目的地までの経路案内が行われる。なお、各処理部の動作はシステム制御部１０１にて統括的に制御される。以上が、従来の映像処理装置の一般的な構成である。
【００２７】
これに対し、本実施形態では、映像情報受信部１０５と映像情報解析部１０６と映像マッピング決定部１０７と映像補正変換部１０８を備えることを特徴とする。
本実施形態の映像処理装置１００では、映像撮像装置２００から配信される1乃至複数の映像情報を映像情報受信部１０５にて受信し、映像情報解析部１０６で映像本体と撮像位置や撮像角度・方式等に関する撮像位置情報(I2)とに分離する。撮像位置情報(I2)は、上記の現在位置情報(I1)と併せて映像マッピング決定部１０７に渡される。映像マッピング決定部１０７では、これらの位置情報に基づいて、受信映像中で表示対象とする映像、およびそれらを表示画面領域にいかにマッピングするかを決定する。決定したマッピング形式に従って、映像補正変換部１０８にて受信映像が変換され、より視認性に優れた映像が出力制御部１０９より出力される。
【００２８】
映像撮像装置２００は、周辺状況を視認可能な情報を含む映像を撮像する映像撮像部２０１と、撮像した映像情報を当該装置周辺に位置する映像処理装置１００へ配信する映像情報送信部２０２を備えている。なお、映像撮像部２０１では、より広範囲の画像を一度に得るために魚眼カメラの利用が適しているが、他の形態のカメラを採用することも可能である。
【００２９】
なお、映像処理装置１００は車載用情報処理装置１であり、システム制御部１０１、映像情報解析部１０６、映像マッピング決定部１０７および映像補正変換部１０８はＣＰＵ１０、ＲＯＭ１２とＲＡＭ１３に相当する。
【００３０】
また、GPS受信部１０３はＧＰＳ装置１９に、GPSアンテナ１０４はＧＰＳアンテナ１８に対応している。また、映像情報受信部１０５はBluetoothモジュール２３及びBluetooth用アンテナ２２他に対応している。
【００３１】
また、出力制御部１０９の映像関連部分はＶＲＡＭ１４とＬＣＤコントローラ１５に対応している。
また、映像撮像装置２００はカメラユニット４３であり、映像撮像部２０１はＣＣＤカメラユニット８４と画像入力コントローラ８５に相当する。また、映像情報送信部２０２はBluetoothモジュール８７及びBluetooth用アンテナ８６他に対応している。
【００３２】
以上の構成により、個々の移動体において、その位置情報に応じて視認性に優れた映像を自動生成することが容易に実現でき、利用者はより直観性に優れたUIを利用可能になるという有利な効果が得られる。
【００３３】
図４を用いて、本発明による処理フローの一例を説明する。ここでは、受信映像が魚眼カメラで撮像された広角映像である例を説明する。
ステップS201: 映像情報受信部１０５にて、映像撮像装置２００で撮像された映像情報を取得する。本映像情報には、映像本体の他、当該映像の撮像位置や撮像角度・方式等に関する情報が含まれている。この方式としては各種の射影方式がある。
【００３４】
ステップS202: 映像情報解析部(106)にて、S201で取得した映像情報から、当該映像の撮像位置、撮像角度・方式等の情報を分離し、撮像位置情報(I2)として保持する。
【００３５】
ステップS203: S201-202と平行して、GPS(103,104)等の位置測定手段や方位センサ１０２により、移動体自身の現在位置および進行方向を測位、現在位置情報(I1)として保持する。
【００３６】
ステップS204: 映像マッピング決定部１０７にて、S202,S203で得た各種位置情報に基づいて、表示対象とする映像を選択する。また、現在位置から進行方向に向かって、各映像をつなぎ合わせるように、各映像の表示領域や拡大率等のパラメータ、および表示フレーム上にどのようにマッピングするかを決定する。
【００３７】
ステップS205: 映像補正変換部１０８にて、取得した広角映像を平面正像化するための処理を行う。まず最初に、表示フレーム座標(u,v)に対して、広角映像の対応位置(x,y)を算出する。
【００３８】
ステップS206: 次に、バイリニア補間またはバイキュービック・スプライン補間等を利用して拡大・縮小後の(x,y)座標、即ち対応する(u,v) 座標の輝度を算出する。なお、撮像角度・方向が特定の閾値内で重複する映像が存在していた場合は、現在位置に近い映像について透過処理を施しても良い。透過処理としては半透明にしたり更に薄い色を加えるなどしてもよい。
【００３９】
ステップS207: 上記S205-206を表示フレームの全画素について繰り返し行う。なお、広角映像を平面正像化する技術は公知である。
ステップS208: 1フレーム分の処理が完了したら、補正変換後の映像を出力制御部１０９を介してディスプレイ１１１等に出力する。
図５に、本実施形態の利用シーン例を示す。
図５は、車両運転中に適用した例である。前方に大型車両があって視界が遮られている。本実施形態の車載用情報処理装置１では、図５（ａ）のように交差点の上から信号に設置されたカメラユニット４３で撮像された自車両の前方および後方の2枚の映像を利用し、図５（ｂ）のように、自車の手前位置から進行方向に向かって、例えば前方：後方＝３：１の距離の割合で合成表示する。これにより、利用者は交差点の先が特に渋滞していない様子を容易に確認することができる。
【００４０】
（実施形態２）
本発明による実施形態２を図２乃至図４及び図６乃至図７を参照して説明する。実施形態１と共通する部分は説明を省略する。
［携帯電話機３１のシステム構成］
図６は、Bluetooth機能付きの携帯電話機３１のシステム構成を示すブロック図である。
図６に示すように、本実施形態における携帯電話機３１は、ＣＰＵ５０、内部バス５１、各種プログラムを記憶しているＲＯＭ５２、ＲＡＭ５３、ＶＲＡＭ５４、ＬＣＤコントローラ５５、ＬＣＤ５６、キーボード５７、携帯電話用アンテナ５８、携帯電話用ＲＦモジュール５９、大容量フラッシュメモリ（半導体ディスク）６０、Bluetooth用アンテナ６１、Bluetoothモジュール６２、バッテリ６３によって構成される。
【００４１】
ＣＰＵ５０は、内部バス５１を介して各部と接続されて携帯電話機３１全体の制御を司るもので、ＲＯＭ５２に記憶されたプログラムを実行することにより各種の機能を実現する。すなわち、ＣＰＵ５０は、携帯電話用アンテナ５８及び携帯電話用ＲＦモジュール５９を使用する携帯電話としての機能を実現すると共に、Bluetooth用アンテナ６１及びBluetoothモジュール６２を使用する近距離無線通信機能を実現する。
【００４２】
ＲＯＭ５２は、ＣＰＵ５０を動作させるためのプログラム及び各種初期データを格納するための読み込み専用のメモリ装置であり、各種機能を実現するためのプログラムが格納されている。
【００４３】
ＲＡＭ５３は、ＣＰＵ５０による読み書き可能のメモリ装置であり、各処理におけるワークデータ、あるいは他の電子機器から受信した各種データなどを一時的に格納する。
【００４４】
ＬＣＤコントローラ５５は、ＣＰＵ５０の制御のもとで、ＶＲＡＭ５４に書き込まれた各種情報、例えば受信データなどを通知するための表示出力をＬＣＤ５６に表示させるための制御を行なう。
【００４５】
ＬＣＤ５６は、ＬＣＤコントローラ５５の制御のもとで各種情報を表示する。
キーボード５７は、例えば文字入力キーを兼ねたテンキー及び各種ファンクションキーを備え、電話番号や各種制御指令を入力する。
携帯電話用アンテナ５８は、携帯電話の基地局と交信するためのアンテナである。
携帯電話用ＲＦモジュール５９は、ＣＰＵ５０の制御のもとで、携帯電話用アンテナ５８を介して基地局と交信するための制御を行なうもので、交信時の電界強度、あるいは電界強度の変化を検出してＣＰＵ５０に通知する機能を有している。
【００４６】
大容量フラッシュメモリ６０は、各種情報を記憶する大容量の半導体メモリである。
Bluetooth用アンテナ６１は、Bluetoothモジュール６２と車載用情報処理装置１あるいは車両内外にある他の電子機器との間で近距離無線通信を行なうためのアンテナである。
【００４７】
Bluetoothモジュール６２は、Bluetooth用アンテナ６１によって送受信される無線信号の制御を行なうもので、車載用情報処理装置１のBluetoothモジュール２３と同様の機能を有している。
【００４８】
バッテリ６３は、携帯電話機３１の動作用の電力を蓄積するための二次電池である。
上記携帯電話機３１は、携帯電話用アンテナ５８及び携帯電話用ＲＦモジュール５９による携帯電話としての機能と、Bluetooth用アンテナ６１及びBluetoothモジュール６２による近距離無線通信の機能を有している。また図１のＧＰＳ装置１９、ＧＰＳアンテナ１８に相当する部分を有している（図示せず）。
【００４９】
なお、映像処理装置１００は携帯電話機３１であり、システム制御部１０１、映像情報解析部１０６、映像マッピング決定部１０７および映像補正変換部１０８はＣＰＵ５０、ＲＯＭ５２とＲＡＭ５３に相当する。
【００５０】
また、映像情報受信部１０５はBluetoothモジュール６２及びBluetooth用アンテナ６１他に対応している。
また、出力制御部１０９の映像関連部分はＶＲＡＭ５４とＬＣＤコントローラ５５に対応している。
図７に、本実施形態の利用シーン例を示す。
図７は、駅ホームでの利用例である。利用者の正面から見える範囲では、ホーム上はずっと混雑しているように見えている。しかし、本実施形態の携帯電話機３１では、図７（ａ）のようにホーム上に設置された複数のカメラ映像を取得後、図７（ｂ）のように映像を合成して利用者に提供する。利用者は、「3両先は空いている」という状況を、上からの視点で容易に確認することができる。
【００５１】
（他の実施例、変形例）
（１）映像処理装置側で、受信映像を時系列で記憶しておき、複数映像から混雑状況の推移を計測する手段を追加しても良い。利用者がルート決定する際に必要となる参考情報を自動生成可能になる。
【００５２】
（２）受信した映像情報をどのような表示フォーマットにて表示したいかを利用者が任意に指定できる機能を追加しても良い。たとえば、１枚の映像に合成する他、複数映像をマルチ画面にて表示させることも可能になる。
【００５３】
従来の携帯ナビゲーションでは、目的地までのルートや渋滞に関する情報を、地図または映像によって取得することが可能である。しかしながら、現在目の前で発生している渋滞・行列の前方を確認したい、といった利用者が日常的に直面する問題には柔軟に対応することができない。
【００５４】
上記実施形態では、移動体自身の位置や進行方向に応じて、取得した複数画像のマッピング形式を決定し、補正変換した上で表示を行う。この点でより直観性に優れたUIを提供可能である。
【００５５】
本実施形態では、個々の移動体で、自身の位置および撮像位置の情報に基づいて、視認性に優れた映像に変換して表示させることが可能となる。拡張現実感を有するより直観性に優れたUIを提供することにより、上記機能を実現する。展博等のイベント会場や遊園地等の特定施設内にて、複数のブースあるいはアトラクションのリアルタイムの混雑状況を一度に把握し、効率の良いルートを自身で決定することも可能となる。
【００５６】
また人だかりの中に何があるかの確認や、目の前の行列が利用者本人がめざすブースや券売機等に対するものかの確認にも用いることができる。例えば、行列の前方にいる他人のカメラ付き携帯電話機が映像撮像装置２００として機能し本人の携帯電話機が映像処理装置１００として機能するシステムを組めばよい。
【００５７】
以上の効果として本実施形態では、カメラで撮像された映像を、個々の移動体で、その位置情報に応じて視認性に優れた映像に補正変換して表示可能な装置を、安価かつ簡易な構成により実現できる。従来より直観性に優れたUIが提供可能となり、利用者の利便性向上という有利な効果が期待できる。実施形態の特徴は次のようである。
【００５８】
（１）移動体における映像処理装置において、外部の1乃至複数の映像撮像装置から映像情報を受信する手段と、受信した映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、移動体自身の現在位置および進行方向を測位する手段と、前記2種類の位置情報に基づき、受信映像中で表示対象とする映像、およびそれらを表示画面領域にいかにマッピングするかを決定する映像マッピング決定手段と、決定したマッピング形式に基づき、受信映像を補正変換する映像補正変換手段と、補正変換後の映像をディスプレイ等に出力する出力制御手段を備えることにより、携帯ナビゲーション等において、利用者が現在目の前で発生している渋滞・行列にも柔軟に対応可能な直観型UIを提供する。
【００５９】
（２）映像撮像装置とは、周辺状況を視認可能な情報を含む映像を撮像する手段と、撮像した映像情報を当該装置周辺に位置する映像処理装置へ配信する送信手段を備えることを特徴とする。
【００６０】
（３）映像情報とは、1乃至複数のカメラで撮像された現在の周辺状況を視認可能な映像と、撮像装置の位置情報、撮像角度・方式等に関する情報を含むことを特徴とする。その他、待ち時間等の付帯情報を含めても良い。
【００６１】
（４）映像撮像装置と映像処理装置間の通信手段は、無線でも有線でも良く、両者が一体化した構造でも良い。
本実施形態は、背景技術で触れた地図情報を必要とせず、例えば地図情報を持たない特定施設内でも利用できる点で汎用性が高い。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。Bluetooth以外の通信方式を用いても良いし、一般的に利用されているカメラ付き携帯電話機がプログラム実装により上記カメラユニットの機能を発揮してもよい。
【００６２】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００６３】
１ 車載用情報処理装置
１０ ＣＰＵ
１１ 内部バス
１２ ＲＯＭ
１３ ＲＡＭ
１４ ＶＲＡＭ
１５ ＬＣＤコントローラ
１６ ＬＣＤ
１７ タッチパネル
１８ ＧＰＳアンテナ
１９ ＧＰＳ装置
２０ ＤＶＤ−ＲＯＭ
２１ 大容量フラッシュメモリ
２２ Bluetooth用アンテナ
２３ Bluetoothモジュール
２４ 車両情報入力インタフェース
２５ 音楽再生装置
３１ Bluetooth機能付きの携帯電話機
４３ Bluetooth機能付きのカメラユニット
１００ 映像処理装置
１０１ システム制御部
１０２ 方位センサ
１０３ GPS受信部
１０４ GPSアンテナ
１０５ 映像情報受信部
１０６ 映像情報解析部
１０７ 映像マッピング決定部
１０８ 映像補正変換部
１０９ 出力制御部
１１０ スピーカー
１１１ ディスプレイ
２００ 映像撮像装置
２０１ 映像撮像部
２０２ 映像情報送信部
【特許請求の範囲】
【請求項１】
移動体における映像処理装置において、
外部の1乃至複数の映像撮像装置から映像情報を受信する受信手段と、
受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、
移動体自身の現在位置および進行方向を測位する測位手段と、
前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、
決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、
この補正変換後の映像をディスプレイに出力する出力制御手段とを
備えることを特徴とする映像処理装置。
【請求項２】
映像を撮像する映像撮像装置であって、
周辺状況を視認可能な情報を含む映像を撮像する撮像手段と、
当該装置周辺に位置する請求項１に記載の映像処理装置へ撮像した前記映像情報を配信する送信手段とを
備えることを特徴とする映像撮像装置。
【請求項３】
移動体における映像処理装置において、
周辺状況を視認可能な情報を含む映像を撮像する撮像手段と、
前記撮像手段で撮像された映像の映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、
移動体自身の現在位置および進行方向を測位する測位手段と、
前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、
決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、
この補正変換後の映像をディスプレイに出力する出力制御手段とを
備えることを特徴とする映像処理装置。
【請求項４】
移動体における映像処理装置における映像処理方法であって、
外部の1乃至複数の映像撮像装置から映像情報を受信し、
受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得し解析し、
移動体自身の現在位置および進行方向を測位し、
前記解析と前記測位の結果に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定し、
決定した前記形式に基づき、受信した前記映像を補正変換し、
この補正変換後の映像をディスプレイに出力することを特徴とする映像処理方法。
【請求項１】
移動体における映像処理装置において、
外部の1乃至複数の映像撮像装置から映像情報を受信する受信手段と、
受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、
移動体自身の現在位置および進行方向を測位する測位手段と、
前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、
決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、
この補正変換後の映像をディスプレイに出力する出力制御手段とを
備えることを特徴とする映像処理装置。
【請求項２】
映像を撮像する映像撮像装置であって、
周辺状況を視認可能な情報を含む映像を撮像する撮像手段と、
当該装置周辺に位置する請求項１に記載の映像処理装置へ撮像した前記映像情報を配信する送信手段とを
備えることを特徴とする映像撮像装置。
【請求項３】
移動体における映像処理装置において、
周辺状況を視認可能な情報を含む映像を撮像する撮像手段と、
前記撮像手段で撮像された映像の映像情報より、撮像位置情報や撮像角度・方式等の情報を取得する映像情報解析手段と、
移動体自身の現在位置および進行方向を測位する測位手段と、
前記映像情報解析手段と前記測位手段の出力に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定する映像マッピング決定手段と、
決定した前記形式に基づき、受信した前記映像を補正変換する映像補正変換手段と、
この補正変換後の映像をディスプレイに出力する出力制御手段とを
備えることを特徴とする映像処理装置。
【請求項４】
移動体における映像処理装置における映像処理方法であって、
外部の1乃至複数の映像撮像装置から映像情報を受信し、
受信したこの映像情報より、撮像位置情報や撮像角度・方式等の情報を取得し解析し、
移動体自身の現在位置および進行方向を測位し、
前記解析と前記測位の結果に基づき、受信した前記映像情報中で表示対象とする映像を表示画面領域にマッピングする形式を決定し、
決定した前記形式に基づき、受信した前記映像を補正変換し、
この補正変換後の映像をディスプレイに出力することを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９６７８７（Ｐ２０１１−１９６７８７Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６２９８４（Ｐ２０１０−６２９８４）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１８日（２０１０．３．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]