カメラ装置および映像再生装置
【課題】撮影場所データを映像データとは別に記録しておくことなく、編集後も映像がどこでどのようにして撮影されたのかを明らかにできるようにする。
【解決手段】カメラ装置１は光学映像に応じた撮像信号を出力する撮像手段と、その撮像手段から出力される撮像信号を用いて光学映像に応じた映像データを生成する映像データ生成手段と、撮影場所に関する位置情報を取得する位置情報取得手段と、撮像手段の方位を特定するための方位情報を取得する方位情報取得手段と、映像データ生成手段が映像データを生成するときに、位置情報取得手段が取得した位置情報および方位情報取得手段が取得した方位情報を、映像データ生成手段により生成される映像データに挿入する挿入手段とを有している。
【解決手段】カメラ装置１は光学映像に応じた撮像信号を出力する撮像手段と、その撮像手段から出力される撮像信号を用いて光学映像に応じた映像データを生成する映像データ生成手段と、撮影場所に関する位置情報を取得する位置情報取得手段と、撮像手段の方位を特定するための方位情報を取得する方位情報取得手段と、映像データ生成手段が映像データを生成するときに、位置情報取得手段が取得した位置情報および方位情報取得手段が取得した方位情報を、映像データ生成手段により生成される映像データに挿入する挿入手段とを有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ、ビデオカメラ等のカメラ装置およびそのカメラ装置で撮影された映像の映像信号を再生する映像再生装置に関する。
【背景技術】
【０００２】
従来、被写体の光学映像を取込み、映像データに変換して電子的に保存するカメラ装置（電子カメラ装置ともいう）が知られている。従来のカメラ装置には、静止画の撮影を主体とするデジタルカメラと、動画の撮影を主体とするビデオカメラとがある。
【０００３】
デジタルカメラ、ビデオカメラのいずれについても従来から様々なものが普及している。例えば、特許文献１には、撮影場所の地名を静止画に付加して表示するデジタルカメラが開示されている。
【特許文献１】特開２００２−２６２２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述のカメラ装置の場合、静止画を再生すると、撮影場所の地名を付加して表示することができる。
【０００５】
しかし、動画を再生したときに撮影場所の地名を付加して表示するには、撮影により得られる映像データに加えて撮影場所のデータ（以下「撮影場所データ」という）を別途、記録しておかなければならない。しかも、動画は静止画と違って撮影中にカメラの方位や傾斜角（アングル）が変化しながら撮影されることが多いため、映像データ中のシーンごとに撮影場所データを記録し、かつ映像データと撮影場所データとを対応付けておかねばならない。
【０００６】
また、撮影後、映像データ中の不要な部分の削除や別のシーンの挿入といった編集作業を行うと、それに伴い、映像データが変化することになるが、その場合、編集後の映像データと撮影場所データとを対応付けておかないと、編集後、地名等の位置を明らかにすることはできなくなってしまう。
【０００７】
そこで、本発明は上記課題を解決するためになされたもので、撮影場所データを映像データとは別に記録しておくことなく、編集後も映像がどこでどのようにして撮影されたのかを明らかにできるようにしたカメラ装置および映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、光学映像に応じた撮像信号を出力する撮像手段と、その撮像手段から出力される撮像信号を用いて光学映像に応じた映像データを生成する映像データ生成手段と、撮影場所に関する位置情報を取得する位置情報取得手段と、撮像手段の方位を特定するための方位情報を取得する方位情報取得手段と、映像データ生成手段が映像データを生成するときに、位置情報取得手段が取得した位置情報および方位情報取得手段が取得した方位情報を、映像データ生成手段により生成される映像データに挿入する挿入手段とを有するカメラ装置を特徴とする。
【０００９】
また、本発明は、圧縮符号化された映像データを復号する復号手段と、位置画像を生成するための地図情報を記憶する地図情報記憶手段と、復号手段が映像データを復号するときに、その映像データにおける付加情報を加えるためのユーザデータ領域に挿入されている付加情報を抽出し、同期用データとともに記憶手段に記憶させる記憶制御手段と、記憶手段に記憶されている付加情報から、緯度、経度および高度を含む位置情報と、方角を示す方位情報とを抽出する抽出手段と、抽出手段が抽出した位置情報のうちの緯度および経度に対応する対応地図情報を地図情報記憶手段から読み出す読出手段と、その読出手段が読み出した対応地図情報から生成した対応位置画像を表示させる表示制御手段とを有する映像再生装置を提供する。
【発明の効果】
【００１０】
以上詳述したように、本発明によれば、撮影場所データを映像データとは別に記録しておくことなく、編集後も映像がどこでどのようにして撮影されたのかを明らかにできるようにしたカメラ装置および映像再生装置が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
（カメラ装置の構成）
【００１２】
図１は本発明の実施形態に係るカメラ装置１の主要な構成を示すブロック図である。図１に示すカメラ装置１は動画の撮影を主体とし、静止画も撮影することが可能なデジタルビデオカメラ装置である。
【００１３】
カメラ装置１はレンズ２、ＣＣＤ（Charge Coupled Device）３、ＡＤコンバータ４、８、ビデオエンコーダ５、ＰＳマルチプレクサ６、マイク７、オーディオエンコーダ９を有している。また、カメラ装置１は、磁気方位センサ１０、ＧＰＳ（(Global Positioning System)受信部１１、ＣＰＵ１２、メモリ１３、表示マイコン１４、ＳＤカードコントローラ１５、カラーＬＣＤパネル１６および操作パネル１７を有している。図１のとおり、各構成要素はバス１８に接続されている。
【００１４】
レンズ２は光学映像を取り込む映像取込手段であって、被写体の光学映像を取り込み、ＣＣＤ３に結像させる。ＣＣＤ３は、撮像手段であって、結像された光学画像に応じた撮像信号を生成してＡＤコンバータ４に出力する。ＡＤコンバータ４はＣＣＤ３から出力される撮像信号をデジタル形式の映像データに変換して出力する。ビデオエンコーダ５は入力される映像データをＭＰＥＧ２（Moving Picture Experts Group phase２）ビデオストリームに圧縮符号化し、さらにそのＭＰＥＧ２ビデオストリームからＰＥＳ（Packetized Elementary Stream）パケットを生成してＰＳマルチプレクサ６に出力する。ＡＤコンバータ４とビデオエンコーダ５とによって映像データ生成手段が構成されている。
【００１５】
マイク７は音声を取り込み電気信号に変換してＡＤコンバータ８に出力し、ＡＤコンバータ８はマイク７から出力される電気信号をデジタル形式に変換して音声データを生成する。オーディオエンコーダ９は入力される音声データをオーディオストリームに符号化し、さらにＰＥＳパケットを生成してＰＳマルチプレクサ６に出力する。ＰＳマルチプレクサ６は入力されるＰＥＳパケットを多重化してＰＳパケットを出力する。
【００１６】
そして、磁気方位センサ１０は方位検出手段であって、レンズ２およびＣＣＤ３の向いている方位を検出して方位情報を出力する。ＧＰＳ受信部１１はＧＰＳ衛星から送信されるＧＰＳ信号を受信してＣＰＵ１２に出力する。なお、以下の説明では、方位情報と位置情報をまとめて方位位置情報ともいう。
【００１７】
ＣＰＵ１２はメモリ１３に記憶されているプログラムにしたがい作動してカメラ装置１を制御する一方、後述する位置情報取得手段、方位情報取得手段、変換手段として作動する。メモリ１３にはＣＰＵ１２が実行するプログラムなどが格納されている。表示マイコン１４はカラーＬＣＤパネル１６における動画や静止画の表示を制御し、ＳＤカードコントローラ１５はＳＤカード２０に対するＰＳパケットの読み書きを制御する。カラーＬＣＤパネル１６には動画や静止画が表示される。
【００１８】
以上のような構成のカメラ装置１は風景などを撮影した際、撮影場所データを映像データとは別に記録しておくことなく撮影がどこでどのようにして行われたのかを明らかにするため、方位位置情報をＭＰＥＧ２ビデオストリーム３１に挿入するようにしている。そのための構成について以下説明する。
【００１９】
図２は、ビデオエンコーダ５、ＣＰＵ１２および磁気方位センサ１０，ＧＰＳ受信部１１により、方位位置情報をＭＰＥＧ２ビデオストリーム３１に挿入するときの動作手順を示す図である。
【００２０】
ビデオエンコーダ５は、映像データの圧縮符号化を行ってＭＰＥＧ２ビデオストリーム３１を出力するときに、ＣＰＵ１２に割込みＰ１を出力する。ＣＰＵ１２は割込みＰ１が出力されたときに、位置情報取得手段および方位情報取得手段としての動作を行い、磁気方位センサ１０およびＧＰＳ受信部１１から方位位置情報の取得Ｐ２を行う。このとき、ＣＰＵ１２はＧＰＳ受信部１１が出力するＧＰＳ信号から、カメラ装置１の置かれている位置、すなわち、撮影場所の緯度、経度および高度を検出して位置情報を取得する。
【００２１】
続いて、ＣＰＵ１２は変換手段としての動作を行い、後述する変換規則にしたがって方位位置情報の変換Ｐ３を行う。また、ＣＰＵ１２はバッファ５ａに対して方位位置情報の書込Ｐ４を行う。そして、ビデオエンコーダ５は、バッファ５ａから方位位置情報を読み出した上で挿入手段としての動作を行い、方位位置情報のＭＰＥＧ２ビデオストリーム３１への挿入Ｐ５を行い、ＭＰＥＧ２ビデオストリーム３１を生成する。
【００２２】
ここで、ＭＰＥＧ２ビデオストリーム３１は、図３に示すように、ＧＯＰ（group of pictures）３２と呼ばれる複数の画像の集合で構成されている。ＧＯＰ３２の先頭にはＧＯＰヘッダ３３があり、その後に、extension_and_user_data３４とよばれる付加情報を入れるユーザデータ領域が定義され、その後に各シーンのデータが配置されている。各シーンのデータにも、picture_header３６の後にextension_and_user_data３７が設けられている。そのほか、picture_cording_extension３８や、picture_data３９がある。
【００２３】
カメラ装置１では、こうしたＭＰＥＧ２ビデオストリーム３１の構成を踏まえビデオエンコーダ５における映像データの圧縮符号化のときに、extension_and_user_data３４やextension_and_user_data３７に方位位置情報を挿入することにより、挿入されるそれぞれの方位位置情報がどのフレームと対応するのかを再生の際、容易に判断できる点に着目し、方位位置情報をextension_and_user_data３４や、extension_and_user_data３７に挿入している。
【００２４】
こうすることにより、ＭＰＥＧ２ビデオストリーム３１は方位位置情報が組み込まれて、撮影場所データと一体不可分の構成になる。そのため、後述する映像再生装置１００では、撮影場所データを別途記録しておくことなく、ＭＰＥＧ２ビデオストリーム３１だけを用いることで対応するフレームに同期して撮影場所の地図や地名などを表示することができる。
【００２５】
なお、Ｈ．２６４の場合は、方位位置情報をＳＥＩ(Supplemental Enhancement Information)のuser_data_unregistered に挿入することができる。また、ＶＣ１では、Entry-Point Headerの直後にUser Dataとして方位位置情報を挿入することができる。
【００２６】
また、IEC13818-1で規定されているＴＳ（Transport Stream）やＰＳ（Program Stream）、ＥＳ(Elementary Stream)などに方位位置情報を挿入することもできる。現在のデジタル放送やＤＶＤによる映像データは、ＩＥＣ１３８１８−１と呼ばれる規格で定義されたＴＳかＰＳの形式で記録媒体に記録したり、放送波に重畳して伝送するのが一般的である。
【００２７】
ＩＥＣ１３８１８−１では、このＰＳやＴＳ、また、ＰＳやＴＳにする前のＥＳのレベルなどで、ビデオやオーディオなどの規格で規定されているデータ以外のデータを挿入できるように、各所にPrivate Dataの格納場所を用意している。
【００２８】
これは、ＩＥＣ１３８１８−１のAnnex−Hで記述されている。この場合、方位位置情報はＴＳパケットのStream typeのUser privateとして挿入することができ、ＴＳパケットのadaptation_fieldに挿入することもできる。また、ＰＥＳパケットのprivate_stream_１やprivate_stream_２に挿入することもできるし、program_stream_mapなどにあるdescriptorや、ＴＳのprivate sectionに挿入することもできる。以下の説明では、ＭＰＥＧ２ビデオストリーム３１のextension_and_user_data３４に方位位置情報を挿入する場合を例にとって説明する。
【００２９】
なお、ここで、ＥＳ、ＴＳ、ＰＳについて説明を補足すれば以下のとおりである。ＭＰＥＧ２で圧縮符号化されたビデオ、オーディオ等それぞれのデータをＥＳ（Elementary Stream）という。ＥＳをパケット化したものをＰＥＳ（Packetized Elementary Stream）という。映像や音声を再生するためのデータは、ビデオのＥＳやオーディオのＥＳなどから構成されたＥＳの集まりになっており、これらのＥＳはすべて同期してデコードされなければならない。ＭＰＥＧ２では、そのための方式が規定されている。多重化されたＥＳの集まりをプログラムという。これらの各ＥＳを多重化してプログラムの集まりとして１つのストリームにする場合に、ＰＳとＴＳという２種類のストリームが定義されている。
【００３０】
ＰＳは誤りの発生しない環境でのデータの伝送や蓄積に適用されることが想定されていて、ＤＶＤ等の強力な誤り訂正符号を用いた記録媒体で使用されている。ＰＳは１本のストリームに１本のプログラムしか入れることができない。また、パケット長は可変である。
【００３１】
ＴＳは放送や通信ネットワークといった伝送誤りが発生する環境に適用されることが想定されており、冗長度はＰＳよりも大きくなっている。ＴＳは１本のストリームに複数のプログラムを入れることができる。パケット長は１８８バイト固定となっている。
【００３２】
ところで、ＤＶＤの規格では、ＧＯＰヘッダ３３の直後のextension_and_user_data３４にクローズドキャプションを入れる方法が規定されている。そこで、本実施の形態では、このＤＶＤの規格にのっとり、方位位置情報をクローズドキャプションとして挿入することとしている。
【００３３】
ＤＶＤの規格では、図４に示すフォーマットで、ライン２１に挿入するクローズドキャプションの情報（ライン２１データ）３５を、ＧＯＰヘッダ３３直後のextension_and_user_data３４に挿入するようになっている。ライン２１には、米国の放送においてＥＩＡ−６０８−Ｂという規格にしたがい、クローズドキャプションやコピー制御情報などが挿入されている。なお、クローズドキャプションとは、米国の文字放送で、これにより画面に字幕が出るようになる。
【００３４】
ＮＴＳＣ信号では、１枚の画像が５２５本のラインで構成されているが、最初の２１ラインはテレビの走査線を下から上に移動するための期間である。この期間はＶＢＩ（Vertical Blanking Interval：垂直帰線区間）とよばれ、映像表示の行われない期間であるため、アスペクト比やコピー制御情報などの付加情報が送信されている。米国ではライン２１が用いられ、日本ではライン２０が用いられている。
【００３５】
そして、カメラ装置１では、方位位置情報をＭＰＥＧ２ビデオストリーム３１にライン２１データ３５のフォーマットで挿入するため、前述のとおり、ＣＰＵ１２が方位位置情報をすべてテキストデータに変換する。
【００３６】
本実施の形態では、緯度および経度を０．０〜３６０．０度の範囲の０．１度単位、４桁十進数とし、識別用として経度は“ＬＯ”、緯度は“ＬＡ”の文字列をつけて表記する。すると、例えば経度が３５度で、緯度が１３９度であった場合の位置情報は“ＬＯ０３５０ＬＡ１３９０”のようになる。
【００３７】
また、高度は、マイナス１０００〜プラス８９９９ｍとし、単位はメートル（ｍ）で、実際の値に“１０００”を加算した４桁十進数とし、識別用に“ＨＩ”の文字列を付けて表記する。すると、例えば高度が６００ｍであった場合、高度の情報は“ＨＩ１６００”のようになる。
【００３８】
さらに、方位は北を０度として反時計回りの一周３６０度で表現するとし、３桁十進数で先頭に識別用に“ＤＲ”の文字列を付けて表記する。すると、方位が真北の場合、方位情報は“ＤＲ０００”となる。
【００３９】
以上の規則（以下「変換規則」という）にしたがい、ＣＰＵ１２が方位位置情報をテキスト情報に変換するとする。この場合、例えば、撮影場所が経度３５度、緯度１３９度、高度４００ｍで方角が真北であった場合、方位位置情報は“ＬＯ０３５０ＬＡ１３９０ＨＩ１４００ＤＲ０００”のようなテキストデータに変換される。こうして生成されるテキストデータをビデオエンコーダ５がクローズドキャプションとしてextension_and_user_data３４に各ＧＯＰ単位に挿入する。
【００４０】
なお、ＤＶＤ規格で定義されているクローズドキャプションは、ＥＩＡ−６０８で記述されているライン２１にデータを埋め込む規格を元にしており、１フレーム２文字しか挿入できない。
【００４１】
しかし、通常、１個のＧＯＰは０．５秒程度なので、ＭＰＥＧ２ビデオストリーム３１が毎秒６０フレーム（６０F/S）で生成されているなら、１ＧＯＰは３０フレームなので、３０×２文字で６０文字挿入することが可能である。ＧＯＰの先頭ごとに、方角付加情報を表示するような仕組みにすれば、撮影された場所の地図上の位置のような付加的な情報を映像に同期させながら表示させることができる。
【００４２】
次に、以上の構成を有するカメラ装置１の動作内容について説明する。カメラ装置１では、レンズ２によりＣＣＤ３に光学画像が結像され、ＣＣＤ３により光学画像に応じた撮像信号が生成される。生成される撮像信号はＡＤコンバータ４でデジタル形式の映像データに変換されてビデオエンコーダ５に入力される。
【００４３】
ビデオエンコーダ５では、入力された映像データをＭＰＥＧ２ビデオストリーム３１に圧縮符号化し、さらに、ＰＥＳパケットにして、そのＰＥＳパケットをＰＳマルチプレクサ６に出力する。
【００４４】
また、ビデオエンコーダ５が映像データをＭＰＥＧ２ビデオエンコーダ３１に圧縮符号化するとき、前述のようにして、ＣＰＵ１２がリアルタイムに磁気方位センサ１０から方位情報を取得するとともに、ＧＰＳ受信部１１からＧＰＳ信号を入力し、そのＧＰＳ信号から緯度、経度および高度を検出して位置情報を取得する。そして、ＣＰＵ１２は取得した方位情報および位置情報を前述の変換規則にしたがいテキストデータに変換する。さらに、ＣＰＵ１２は得られたテキストデータを図４に示したＤＶＤ規格のフォーマットに変換する。
【００４５】
そして、ビデオエンコーダ５は、ＣＰＵ１２により生成されたデータをクローズドキャプションとして、ＧＯＰヘッダ３３の直後のextension_and_user_data３４に挿入する。こうして、方位位置情報が組み込まれて一体となったＭＰＥＧ２ビデオエンコーダ３１が生成される。
【００４６】
一方、マイク７から出力される電気信号がＡＤコンバータ８によりデジタル形式の信号に変換され、オーディオエンコーダ９により、ＭＰＥＧ１Ｌａｙｅｒ３で符号化され、さらにＰＥＳパケットが生成された上でＰＳマルチプレクサ６に出力される。
【００４７】
ＰＳマルチプレクサ６では、入力されたＭＰＥＧ２ビデオストリーム３１のＰＥＳパケットと、オーディオストリームのＰＥＳパケットとを多重化し、１本のＰＳストリームとしてＰＳパケットを出力する。
【００４８】
そして、ＣＰＵ１２はＰＳパケット記録制御手段としての動作を行い、ＳＤカードコントローラ１５に指示して、ＰＳマルチプレクサ６から取得したＰＳパケットを記録媒体としてのＳＤカード２０に記録させる。
【００４９】
次に、カメラ装置１により撮影された映像を再生する映像再生装置１００について説明する。映像再生装置１００はＳＤカード２０に記録されたＰＳパケットを用いて映像信号を再生する。
【００５０】
映像再生装置１００は図５に示すように、ＳＤカードコントローラ１０１と、ＣＰＵ１０２と、メモリ１０３と、ビデオデコーダ１０４と、オーディオデコーダ１０５と、グラフィックコントローラ１０６と、コンポジタ１０７と、Ｄ／Ａコンバータ１０８，１０９とを有している。また、映像再生装置１００は、ＨＤＤコントローラ１１０と、ハードディスク１１１と、操作パネル１１２と、表示用サブマイコン１１３と、ＶＦＤ表示パネル１１４とを有している。
【００５１】
映像再生装置１００では、ＣＰＵ１０２の指示にしたがいＳＤカードコントローラ１０１がＳＤカード２０に記録されているＰＳパケットを読み出す。そして、ＣＰＵ１０２がＰＳパケットを解析してＰＥＳパケットを抽出し、ビデオストリームとオーディオストリームに分類する。前者はビデオデコーダ１０４に出力され、後者はオーディオデコーダ１０５に出力される。オーディオデコーダ１０５は入力されるＰＥＳパケットからＥＳを抽出した上で復号処理を行い、音声信号をＤ／Ａコンバータ１０９に出力する。Ｄ／Ａコンバータ１０９はアナログの音声信号を生成して出力する。
【００５２】
ビデオデコーダ１０４は復号手段であって、入力されるＰＥＳパケットからＥＳを抽出した上で、ＭＰＥＧ２の復号処理を行い、生成される映像フレームを同期データとしてのＰＴＳ(Presentation Time Stamp)で同期をとりつつコンポジタ１０７に出力する。その一方、ビデオデコーダ１０４はＧＯＰヘッダ３３の直後のextension_and_user_data３４から抽出したクローズドキャプションとしてのデータ（方位位置情報）をＰＴＳとともにメモリ１０３に記憶させる記憶制御手段としての動作を行い、ＣＰＵ１０２に割込みで通知する。
【００５３】
ＣＰＵ１０２は割込みで通知を受け取ると、メモリ１０３に書き込まれたクローズドキャプションとしてのデータを読み出すとともに、抽出手段としての動作を行い、読み出したデータを解析して、位置情報（緯度、経度および高度）と方位情報とを抽出する。
【００５４】
一方、ＣＰＵ１０２は読出手段としての動作を行い、ＨＤＤコントローラ１１０に指示して、地図情報記憶手段としてのＨＤＤ１１１に記録されている地図情報のうち、位置情報に対応する対応地図情報を読み出し、さらに地図画像生成手段としての動作を行い、読み出した対応地図情報を基に、対応地図画像を生成する。
【００５５】
また、ＣＰＵ１０２は表示制御手段としての動作を行い、グラフィックコントローラ１０６に対応地図画像の表示指示を出力する。この際、ＣＰＵ１０２は変更手段としての動作を行い、方位位置情報に基づいて、カメラ装置１の向きに対応した表示となるように対応地図画像を回転させて向きを変更するための指示も出力する。
【００５６】
グラフィックコントローラ１０６は、ＣＰＵ１０２の指示にしたがい映像データのスケーリングを行うとともに、対応地図画像を回転して図示しないフレームバッファに描画する。そして、コンポジタ１０７はビデオデコーダ１０４から出力される映像フレームに、グラフィックコントローラ１０６から出力される対応地図画像をアルファブレンドで合成してＤ／Ａコンバータ１０８に出力する。Ｄ／Ａコンバータ１０８はデジタル形式の映像データからアナログ形式の映像信号を生成して出力する。映像再生装置１００が以上のようにして作動することにより、図示しない表示装置には、出力される映像信号により、図６に示すような映像２００が表示される。
【００５７】
この映像２００は、カメラ装置１で撮影された映像に加えて、地図画像２０１が表示されているので、この地図画像２０１により、映像２００がどこで撮影されたのかを明らかにすることができる。しかも、カメラ装置１で記憶されたＰＥＳパケットから抽出した方位情報に応じて、表示される地図画像２０１の向きが変わるようになっているので、地図画像２０１の向きの変わり方を確認することにより、どのようにして撮影が行われたかも明らかにすることができる。
【００５８】
以上のように、カメラ装置１が、地図画像と同期をとって映像を再生できるよう、撮影の際、ＭＰＥＧ２ビデオストリーム３１に方位位置情報をリアルタイムに挿入している。そのため、撮影場所データを映像データと別のデータとして記録しておく必要がなく、ＭＰＥＧ２ビデオストリーム３１だけで撮影がどこでどのようにして行われたのかを明らかにできるようになっている。
【００５９】
また、生成されたＭＰＥＧ２ビデオストリーム３１について、不要部分の削除や別のシーンの追加、複数シーンの接合といった編集処理を行うと、対応する方位位置情報も合わせて編集されるので、映像データと方位位置情報との対応関係はそのまま維持される。したがって、編集後も、ＭＰＥＧ２ビデオストリーム３１を用いた再生を行うだけで、撮影場所データを別途用意しなくても、編集前のように撮影がどこでどのようにして行われたのかを明らかにできる。
【００６０】
なお、映像再生装置１００では、地図画像２０１を表示しているが、地図画像２０１のほか、地名や場所を明確にする文字や記号（例えば、東京都港区芝浦１−＊−＊）の画像を表示してもよい。これらの画像や地図画像２０１は位置を示す位置画像を構成している。このような位置画像の表示に加えて音声案内を出力してもよい。
【００６１】
また、映像再生装置１００では、ランダムアクセスによりデータの読み書きを行える外部記憶装置として、ＨＤＤ１１１を有しているが、ＨＤＤ１１１のほか、ＤＶＤ（Digital Versatile Disk）へのデータの記録を行うＤＶＤドライブを備えていてもよい。そして、ＤＶＤドライブにより、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなどの書き換え可能な記憶媒体に動画データを記憶するようにすればよい。
【００６２】
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係るカメラ装置１の主要な構成を示すブロック図である。
【図２】ビデオエンコーダ、ＣＰＵおよび磁気方位センサ，ＧＰＳ受信部により、方位位置情報をＰＳパケットに挿入するときの動作手順を示す図である。
【図３】ＭＰＥＧ２ビデオストリームの構成を示す図である。
【図４】ライン２１データのフォーマットの一例を示す図である。
【図５】本発明の実施形態に係る映像再生装置の主要な構成を示すブロック図である。
【図６】映像再生装置で再生される映像の一例を示す図である。
【符号の説明】
【００６４】
１…カメラ装置、２…レンズ、３…ＣＣＤ、５…ビデオエンコーダ、１０…磁気方位センサ、１１…ＧＰＳ受信部、１２，１０２…ＣＰＵ、１３，１０３…メモリ、１５…ＳＤカードコントローラ、２０…ＳＤカード、３１…ＭＰＥＧ２ビデオストリーム、３４，３７…extension_and_user_data、１００…映像再生装置、１０４…ビデオデコーダ、１１１…ハードディスク。
【技術分野】
【０００１】
本発明は、デジタルカメラ、ビデオカメラ等のカメラ装置およびそのカメラ装置で撮影された映像の映像信号を再生する映像再生装置に関する。
【背景技術】
【０００２】
従来、被写体の光学映像を取込み、映像データに変換して電子的に保存するカメラ装置（電子カメラ装置ともいう）が知られている。従来のカメラ装置には、静止画の撮影を主体とするデジタルカメラと、動画の撮影を主体とするビデオカメラとがある。
【０００３】
デジタルカメラ、ビデオカメラのいずれについても従来から様々なものが普及している。例えば、特許文献１には、撮影場所の地名を静止画に付加して表示するデジタルカメラが開示されている。
【特許文献１】特開２００２−２６２２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述のカメラ装置の場合、静止画を再生すると、撮影場所の地名を付加して表示することができる。
【０００５】
しかし、動画を再生したときに撮影場所の地名を付加して表示するには、撮影により得られる映像データに加えて撮影場所のデータ（以下「撮影場所データ」という）を別途、記録しておかなければならない。しかも、動画は静止画と違って撮影中にカメラの方位や傾斜角（アングル）が変化しながら撮影されることが多いため、映像データ中のシーンごとに撮影場所データを記録し、かつ映像データと撮影場所データとを対応付けておかねばならない。
【０００６】
また、撮影後、映像データ中の不要な部分の削除や別のシーンの挿入といった編集作業を行うと、それに伴い、映像データが変化することになるが、その場合、編集後の映像データと撮影場所データとを対応付けておかないと、編集後、地名等の位置を明らかにすることはできなくなってしまう。
【０００７】
そこで、本発明は上記課題を解決するためになされたもので、撮影場所データを映像データとは別に記録しておくことなく、編集後も映像がどこでどのようにして撮影されたのかを明らかにできるようにしたカメラ装置および映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、光学映像に応じた撮像信号を出力する撮像手段と、その撮像手段から出力される撮像信号を用いて光学映像に応じた映像データを生成する映像データ生成手段と、撮影場所に関する位置情報を取得する位置情報取得手段と、撮像手段の方位を特定するための方位情報を取得する方位情報取得手段と、映像データ生成手段が映像データを生成するときに、位置情報取得手段が取得した位置情報および方位情報取得手段が取得した方位情報を、映像データ生成手段により生成される映像データに挿入する挿入手段とを有するカメラ装置を特徴とする。
【０００９】
また、本発明は、圧縮符号化された映像データを復号する復号手段と、位置画像を生成するための地図情報を記憶する地図情報記憶手段と、復号手段が映像データを復号するときに、その映像データにおける付加情報を加えるためのユーザデータ領域に挿入されている付加情報を抽出し、同期用データとともに記憶手段に記憶させる記憶制御手段と、記憶手段に記憶されている付加情報から、緯度、経度および高度を含む位置情報と、方角を示す方位情報とを抽出する抽出手段と、抽出手段が抽出した位置情報のうちの緯度および経度に対応する対応地図情報を地図情報記憶手段から読み出す読出手段と、その読出手段が読み出した対応地図情報から生成した対応位置画像を表示させる表示制御手段とを有する映像再生装置を提供する。
【発明の効果】
【００１０】
以上詳述したように、本発明によれば、撮影場所データを映像データとは別に記録しておくことなく、編集後も映像がどこでどのようにして撮影されたのかを明らかにできるようにしたカメラ装置および映像再生装置が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。
（カメラ装置の構成）
【００１２】
図１は本発明の実施形態に係るカメラ装置１の主要な構成を示すブロック図である。図１に示すカメラ装置１は動画の撮影を主体とし、静止画も撮影することが可能なデジタルビデオカメラ装置である。
【００１３】
カメラ装置１はレンズ２、ＣＣＤ（Charge Coupled Device）３、ＡＤコンバータ４、８、ビデオエンコーダ５、ＰＳマルチプレクサ６、マイク７、オーディオエンコーダ９を有している。また、カメラ装置１は、磁気方位センサ１０、ＧＰＳ（(Global Positioning System)受信部１１、ＣＰＵ１２、メモリ１３、表示マイコン１４、ＳＤカードコントローラ１５、カラーＬＣＤパネル１６および操作パネル１７を有している。図１のとおり、各構成要素はバス１８に接続されている。
【００１４】
レンズ２は光学映像を取り込む映像取込手段であって、被写体の光学映像を取り込み、ＣＣＤ３に結像させる。ＣＣＤ３は、撮像手段であって、結像された光学画像に応じた撮像信号を生成してＡＤコンバータ４に出力する。ＡＤコンバータ４はＣＣＤ３から出力される撮像信号をデジタル形式の映像データに変換して出力する。ビデオエンコーダ５は入力される映像データをＭＰＥＧ２（Moving Picture Experts Group phase２）ビデオストリームに圧縮符号化し、さらにそのＭＰＥＧ２ビデオストリームからＰＥＳ（Packetized Elementary Stream）パケットを生成してＰＳマルチプレクサ６に出力する。ＡＤコンバータ４とビデオエンコーダ５とによって映像データ生成手段が構成されている。
【００１５】
マイク７は音声を取り込み電気信号に変換してＡＤコンバータ８に出力し、ＡＤコンバータ８はマイク７から出力される電気信号をデジタル形式に変換して音声データを生成する。オーディオエンコーダ９は入力される音声データをオーディオストリームに符号化し、さらにＰＥＳパケットを生成してＰＳマルチプレクサ６に出力する。ＰＳマルチプレクサ６は入力されるＰＥＳパケットを多重化してＰＳパケットを出力する。
【００１６】
そして、磁気方位センサ１０は方位検出手段であって、レンズ２およびＣＣＤ３の向いている方位を検出して方位情報を出力する。ＧＰＳ受信部１１はＧＰＳ衛星から送信されるＧＰＳ信号を受信してＣＰＵ１２に出力する。なお、以下の説明では、方位情報と位置情報をまとめて方位位置情報ともいう。
【００１７】
ＣＰＵ１２はメモリ１３に記憶されているプログラムにしたがい作動してカメラ装置１を制御する一方、後述する位置情報取得手段、方位情報取得手段、変換手段として作動する。メモリ１３にはＣＰＵ１２が実行するプログラムなどが格納されている。表示マイコン１４はカラーＬＣＤパネル１６における動画や静止画の表示を制御し、ＳＤカードコントローラ１５はＳＤカード２０に対するＰＳパケットの読み書きを制御する。カラーＬＣＤパネル１６には動画や静止画が表示される。
【００１８】
以上のような構成のカメラ装置１は風景などを撮影した際、撮影場所データを映像データとは別に記録しておくことなく撮影がどこでどのようにして行われたのかを明らかにするため、方位位置情報をＭＰＥＧ２ビデオストリーム３１に挿入するようにしている。そのための構成について以下説明する。
【００１９】
図２は、ビデオエンコーダ５、ＣＰＵ１２および磁気方位センサ１０，ＧＰＳ受信部１１により、方位位置情報をＭＰＥＧ２ビデオストリーム３１に挿入するときの動作手順を示す図である。
【００２０】
ビデオエンコーダ５は、映像データの圧縮符号化を行ってＭＰＥＧ２ビデオストリーム３１を出力するときに、ＣＰＵ１２に割込みＰ１を出力する。ＣＰＵ１２は割込みＰ１が出力されたときに、位置情報取得手段および方位情報取得手段としての動作を行い、磁気方位センサ１０およびＧＰＳ受信部１１から方位位置情報の取得Ｐ２を行う。このとき、ＣＰＵ１２はＧＰＳ受信部１１が出力するＧＰＳ信号から、カメラ装置１の置かれている位置、すなわち、撮影場所の緯度、経度および高度を検出して位置情報を取得する。
【００２１】
続いて、ＣＰＵ１２は変換手段としての動作を行い、後述する変換規則にしたがって方位位置情報の変換Ｐ３を行う。また、ＣＰＵ１２はバッファ５ａに対して方位位置情報の書込Ｐ４を行う。そして、ビデオエンコーダ５は、バッファ５ａから方位位置情報を読み出した上で挿入手段としての動作を行い、方位位置情報のＭＰＥＧ２ビデオストリーム３１への挿入Ｐ５を行い、ＭＰＥＧ２ビデオストリーム３１を生成する。
【００２２】
ここで、ＭＰＥＧ２ビデオストリーム３１は、図３に示すように、ＧＯＰ（group of pictures）３２と呼ばれる複数の画像の集合で構成されている。ＧＯＰ３２の先頭にはＧＯＰヘッダ３３があり、その後に、extension_and_user_data３４とよばれる付加情報を入れるユーザデータ領域が定義され、その後に各シーンのデータが配置されている。各シーンのデータにも、picture_header３６の後にextension_and_user_data３７が設けられている。そのほか、picture_cording_extension３８や、picture_data３９がある。
【００２３】
カメラ装置１では、こうしたＭＰＥＧ２ビデオストリーム３１の構成を踏まえビデオエンコーダ５における映像データの圧縮符号化のときに、extension_and_user_data３４やextension_and_user_data３７に方位位置情報を挿入することにより、挿入されるそれぞれの方位位置情報がどのフレームと対応するのかを再生の際、容易に判断できる点に着目し、方位位置情報をextension_and_user_data３４や、extension_and_user_data３７に挿入している。
【００２４】
こうすることにより、ＭＰＥＧ２ビデオストリーム３１は方位位置情報が組み込まれて、撮影場所データと一体不可分の構成になる。そのため、後述する映像再生装置１００では、撮影場所データを別途記録しておくことなく、ＭＰＥＧ２ビデオストリーム３１だけを用いることで対応するフレームに同期して撮影場所の地図や地名などを表示することができる。
【００２５】
なお、Ｈ．２６４の場合は、方位位置情報をＳＥＩ(Supplemental Enhancement Information)のuser_data_unregistered に挿入することができる。また、ＶＣ１では、Entry-Point Headerの直後にUser Dataとして方位位置情報を挿入することができる。
【００２６】
また、IEC13818-1で規定されているＴＳ（Transport Stream）やＰＳ（Program Stream）、ＥＳ(Elementary Stream)などに方位位置情報を挿入することもできる。現在のデジタル放送やＤＶＤによる映像データは、ＩＥＣ１３８１８−１と呼ばれる規格で定義されたＴＳかＰＳの形式で記録媒体に記録したり、放送波に重畳して伝送するのが一般的である。
【００２７】
ＩＥＣ１３８１８−１では、このＰＳやＴＳ、また、ＰＳやＴＳにする前のＥＳのレベルなどで、ビデオやオーディオなどの規格で規定されているデータ以外のデータを挿入できるように、各所にPrivate Dataの格納場所を用意している。
【００２８】
これは、ＩＥＣ１３８１８−１のAnnex−Hで記述されている。この場合、方位位置情報はＴＳパケットのStream typeのUser privateとして挿入することができ、ＴＳパケットのadaptation_fieldに挿入することもできる。また、ＰＥＳパケットのprivate_stream_１やprivate_stream_２に挿入することもできるし、program_stream_mapなどにあるdescriptorや、ＴＳのprivate sectionに挿入することもできる。以下の説明では、ＭＰＥＧ２ビデオストリーム３１のextension_and_user_data３４に方位位置情報を挿入する場合を例にとって説明する。
【００２９】
なお、ここで、ＥＳ、ＴＳ、ＰＳについて説明を補足すれば以下のとおりである。ＭＰＥＧ２で圧縮符号化されたビデオ、オーディオ等それぞれのデータをＥＳ（Elementary Stream）という。ＥＳをパケット化したものをＰＥＳ（Packetized Elementary Stream）という。映像や音声を再生するためのデータは、ビデオのＥＳやオーディオのＥＳなどから構成されたＥＳの集まりになっており、これらのＥＳはすべて同期してデコードされなければならない。ＭＰＥＧ２では、そのための方式が規定されている。多重化されたＥＳの集まりをプログラムという。これらの各ＥＳを多重化してプログラムの集まりとして１つのストリームにする場合に、ＰＳとＴＳという２種類のストリームが定義されている。
【００３０】
ＰＳは誤りの発生しない環境でのデータの伝送や蓄積に適用されることが想定されていて、ＤＶＤ等の強力な誤り訂正符号を用いた記録媒体で使用されている。ＰＳは１本のストリームに１本のプログラムしか入れることができない。また、パケット長は可変である。
【００３１】
ＴＳは放送や通信ネットワークといった伝送誤りが発生する環境に適用されることが想定されており、冗長度はＰＳよりも大きくなっている。ＴＳは１本のストリームに複数のプログラムを入れることができる。パケット長は１８８バイト固定となっている。
【００３２】
ところで、ＤＶＤの規格では、ＧＯＰヘッダ３３の直後のextension_and_user_data３４にクローズドキャプションを入れる方法が規定されている。そこで、本実施の形態では、このＤＶＤの規格にのっとり、方位位置情報をクローズドキャプションとして挿入することとしている。
【００３３】
ＤＶＤの規格では、図４に示すフォーマットで、ライン２１に挿入するクローズドキャプションの情報（ライン２１データ）３５を、ＧＯＰヘッダ３３直後のextension_and_user_data３４に挿入するようになっている。ライン２１には、米国の放送においてＥＩＡ−６０８−Ｂという規格にしたがい、クローズドキャプションやコピー制御情報などが挿入されている。なお、クローズドキャプションとは、米国の文字放送で、これにより画面に字幕が出るようになる。
【００３４】
ＮＴＳＣ信号では、１枚の画像が５２５本のラインで構成されているが、最初の２１ラインはテレビの走査線を下から上に移動するための期間である。この期間はＶＢＩ（Vertical Blanking Interval：垂直帰線区間）とよばれ、映像表示の行われない期間であるため、アスペクト比やコピー制御情報などの付加情報が送信されている。米国ではライン２１が用いられ、日本ではライン２０が用いられている。
【００３５】
そして、カメラ装置１では、方位位置情報をＭＰＥＧ２ビデオストリーム３１にライン２１データ３５のフォーマットで挿入するため、前述のとおり、ＣＰＵ１２が方位位置情報をすべてテキストデータに変換する。
【００３６】
本実施の形態では、緯度および経度を０．０〜３６０．０度の範囲の０．１度単位、４桁十進数とし、識別用として経度は“ＬＯ”、緯度は“ＬＡ”の文字列をつけて表記する。すると、例えば経度が３５度で、緯度が１３９度であった場合の位置情報は“ＬＯ０３５０ＬＡ１３９０”のようになる。
【００３７】
また、高度は、マイナス１０００〜プラス８９９９ｍとし、単位はメートル（ｍ）で、実際の値に“１０００”を加算した４桁十進数とし、識別用に“ＨＩ”の文字列を付けて表記する。すると、例えば高度が６００ｍであった場合、高度の情報は“ＨＩ１６００”のようになる。
【００３８】
さらに、方位は北を０度として反時計回りの一周３６０度で表現するとし、３桁十進数で先頭に識別用に“ＤＲ”の文字列を付けて表記する。すると、方位が真北の場合、方位情報は“ＤＲ０００”となる。
【００３９】
以上の規則（以下「変換規則」という）にしたがい、ＣＰＵ１２が方位位置情報をテキスト情報に変換するとする。この場合、例えば、撮影場所が経度３５度、緯度１３９度、高度４００ｍで方角が真北であった場合、方位位置情報は“ＬＯ０３５０ＬＡ１３９０ＨＩ１４００ＤＲ０００”のようなテキストデータに変換される。こうして生成されるテキストデータをビデオエンコーダ５がクローズドキャプションとしてextension_and_user_data３４に各ＧＯＰ単位に挿入する。
【００４０】
なお、ＤＶＤ規格で定義されているクローズドキャプションは、ＥＩＡ−６０８で記述されているライン２１にデータを埋め込む規格を元にしており、１フレーム２文字しか挿入できない。
【００４１】
しかし、通常、１個のＧＯＰは０．５秒程度なので、ＭＰＥＧ２ビデオストリーム３１が毎秒６０フレーム（６０F/S）で生成されているなら、１ＧＯＰは３０フレームなので、３０×２文字で６０文字挿入することが可能である。ＧＯＰの先頭ごとに、方角付加情報を表示するような仕組みにすれば、撮影された場所の地図上の位置のような付加的な情報を映像に同期させながら表示させることができる。
【００４２】
次に、以上の構成を有するカメラ装置１の動作内容について説明する。カメラ装置１では、レンズ２によりＣＣＤ３に光学画像が結像され、ＣＣＤ３により光学画像に応じた撮像信号が生成される。生成される撮像信号はＡＤコンバータ４でデジタル形式の映像データに変換されてビデオエンコーダ５に入力される。
【００４３】
ビデオエンコーダ５では、入力された映像データをＭＰＥＧ２ビデオストリーム３１に圧縮符号化し、さらに、ＰＥＳパケットにして、そのＰＥＳパケットをＰＳマルチプレクサ６に出力する。
【００４４】
また、ビデオエンコーダ５が映像データをＭＰＥＧ２ビデオエンコーダ３１に圧縮符号化するとき、前述のようにして、ＣＰＵ１２がリアルタイムに磁気方位センサ１０から方位情報を取得するとともに、ＧＰＳ受信部１１からＧＰＳ信号を入力し、そのＧＰＳ信号から緯度、経度および高度を検出して位置情報を取得する。そして、ＣＰＵ１２は取得した方位情報および位置情報を前述の変換規則にしたがいテキストデータに変換する。さらに、ＣＰＵ１２は得られたテキストデータを図４に示したＤＶＤ規格のフォーマットに変換する。
【００４５】
そして、ビデオエンコーダ５は、ＣＰＵ１２により生成されたデータをクローズドキャプションとして、ＧＯＰヘッダ３３の直後のextension_and_user_data３４に挿入する。こうして、方位位置情報が組み込まれて一体となったＭＰＥＧ２ビデオエンコーダ３１が生成される。
【００４６】
一方、マイク７から出力される電気信号がＡＤコンバータ８によりデジタル形式の信号に変換され、オーディオエンコーダ９により、ＭＰＥＧ１Ｌａｙｅｒ３で符号化され、さらにＰＥＳパケットが生成された上でＰＳマルチプレクサ６に出力される。
【００４７】
ＰＳマルチプレクサ６では、入力されたＭＰＥＧ２ビデオストリーム３１のＰＥＳパケットと、オーディオストリームのＰＥＳパケットとを多重化し、１本のＰＳストリームとしてＰＳパケットを出力する。
【００４８】
そして、ＣＰＵ１２はＰＳパケット記録制御手段としての動作を行い、ＳＤカードコントローラ１５に指示して、ＰＳマルチプレクサ６から取得したＰＳパケットを記録媒体としてのＳＤカード２０に記録させる。
【００４９】
次に、カメラ装置１により撮影された映像を再生する映像再生装置１００について説明する。映像再生装置１００はＳＤカード２０に記録されたＰＳパケットを用いて映像信号を再生する。
【００５０】
映像再生装置１００は図５に示すように、ＳＤカードコントローラ１０１と、ＣＰＵ１０２と、メモリ１０３と、ビデオデコーダ１０４と、オーディオデコーダ１０５と、グラフィックコントローラ１０６と、コンポジタ１０７と、Ｄ／Ａコンバータ１０８，１０９とを有している。また、映像再生装置１００は、ＨＤＤコントローラ１１０と、ハードディスク１１１と、操作パネル１１２と、表示用サブマイコン１１３と、ＶＦＤ表示パネル１１４とを有している。
【００５１】
映像再生装置１００では、ＣＰＵ１０２の指示にしたがいＳＤカードコントローラ１０１がＳＤカード２０に記録されているＰＳパケットを読み出す。そして、ＣＰＵ１０２がＰＳパケットを解析してＰＥＳパケットを抽出し、ビデオストリームとオーディオストリームに分類する。前者はビデオデコーダ１０４に出力され、後者はオーディオデコーダ１０５に出力される。オーディオデコーダ１０５は入力されるＰＥＳパケットからＥＳを抽出した上で復号処理を行い、音声信号をＤ／Ａコンバータ１０９に出力する。Ｄ／Ａコンバータ１０９はアナログの音声信号を生成して出力する。
【００５２】
ビデオデコーダ１０４は復号手段であって、入力されるＰＥＳパケットからＥＳを抽出した上で、ＭＰＥＧ２の復号処理を行い、生成される映像フレームを同期データとしてのＰＴＳ(Presentation Time Stamp)で同期をとりつつコンポジタ１０７に出力する。その一方、ビデオデコーダ１０４はＧＯＰヘッダ３３の直後のextension_and_user_data３４から抽出したクローズドキャプションとしてのデータ（方位位置情報）をＰＴＳとともにメモリ１０３に記憶させる記憶制御手段としての動作を行い、ＣＰＵ１０２に割込みで通知する。
【００５３】
ＣＰＵ１０２は割込みで通知を受け取ると、メモリ１０３に書き込まれたクローズドキャプションとしてのデータを読み出すとともに、抽出手段としての動作を行い、読み出したデータを解析して、位置情報（緯度、経度および高度）と方位情報とを抽出する。
【００５４】
一方、ＣＰＵ１０２は読出手段としての動作を行い、ＨＤＤコントローラ１１０に指示して、地図情報記憶手段としてのＨＤＤ１１１に記録されている地図情報のうち、位置情報に対応する対応地図情報を読み出し、さらに地図画像生成手段としての動作を行い、読み出した対応地図情報を基に、対応地図画像を生成する。
【００５５】
また、ＣＰＵ１０２は表示制御手段としての動作を行い、グラフィックコントローラ１０６に対応地図画像の表示指示を出力する。この際、ＣＰＵ１０２は変更手段としての動作を行い、方位位置情報に基づいて、カメラ装置１の向きに対応した表示となるように対応地図画像を回転させて向きを変更するための指示も出力する。
【００５６】
グラフィックコントローラ１０６は、ＣＰＵ１０２の指示にしたがい映像データのスケーリングを行うとともに、対応地図画像を回転して図示しないフレームバッファに描画する。そして、コンポジタ１０７はビデオデコーダ１０４から出力される映像フレームに、グラフィックコントローラ１０６から出力される対応地図画像をアルファブレンドで合成してＤ／Ａコンバータ１０８に出力する。Ｄ／Ａコンバータ１０８はデジタル形式の映像データからアナログ形式の映像信号を生成して出力する。映像再生装置１００が以上のようにして作動することにより、図示しない表示装置には、出力される映像信号により、図６に示すような映像２００が表示される。
【００５７】
この映像２００は、カメラ装置１で撮影された映像に加えて、地図画像２０１が表示されているので、この地図画像２０１により、映像２００がどこで撮影されたのかを明らかにすることができる。しかも、カメラ装置１で記憶されたＰＥＳパケットから抽出した方位情報に応じて、表示される地図画像２０１の向きが変わるようになっているので、地図画像２０１の向きの変わり方を確認することにより、どのようにして撮影が行われたかも明らかにすることができる。
【００５８】
以上のように、カメラ装置１が、地図画像と同期をとって映像を再生できるよう、撮影の際、ＭＰＥＧ２ビデオストリーム３１に方位位置情報をリアルタイムに挿入している。そのため、撮影場所データを映像データと別のデータとして記録しておく必要がなく、ＭＰＥＧ２ビデオストリーム３１だけで撮影がどこでどのようにして行われたのかを明らかにできるようになっている。
【００５９】
また、生成されたＭＰＥＧ２ビデオストリーム３１について、不要部分の削除や別のシーンの追加、複数シーンの接合といった編集処理を行うと、対応する方位位置情報も合わせて編集されるので、映像データと方位位置情報との対応関係はそのまま維持される。したがって、編集後も、ＭＰＥＧ２ビデオストリーム３１を用いた再生を行うだけで、撮影場所データを別途用意しなくても、編集前のように撮影がどこでどのようにして行われたのかを明らかにできる。
【００６０】
なお、映像再生装置１００では、地図画像２０１を表示しているが、地図画像２０１のほか、地名や場所を明確にする文字や記号（例えば、東京都港区芝浦１−＊−＊）の画像を表示してもよい。これらの画像や地図画像２０１は位置を示す位置画像を構成している。このような位置画像の表示に加えて音声案内を出力してもよい。
【００６１】
また、映像再生装置１００では、ランダムアクセスによりデータの読み書きを行える外部記憶装置として、ＨＤＤ１１１を有しているが、ＨＤＤ１１１のほか、ＤＶＤ（Digital Versatile Disk）へのデータの記録を行うＤＶＤドライブを備えていてもよい。そして、ＤＶＤドライブにより、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなどの書き換え可能な記憶媒体に動画データを記憶するようにすればよい。
【００６２】
以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係るカメラ装置１の主要な構成を示すブロック図である。
【図２】ビデオエンコーダ、ＣＰＵおよび磁気方位センサ，ＧＰＳ受信部により、方位位置情報をＰＳパケットに挿入するときの動作手順を示す図である。
【図３】ＭＰＥＧ２ビデオストリームの構成を示す図である。
【図４】ライン２１データのフォーマットの一例を示す図である。
【図５】本発明の実施形態に係る映像再生装置の主要な構成を示すブロック図である。
【図６】映像再生装置で再生される映像の一例を示す図である。
【符号の説明】
【００６４】
１…カメラ装置、２…レンズ、３…ＣＣＤ、５…ビデオエンコーダ、１０…磁気方位センサ、１１…ＧＰＳ受信部、１２，１０２…ＣＰＵ、１３，１０３…メモリ、１５…ＳＤカードコントローラ、２０…ＳＤカード、３１…ＭＰＥＧ２ビデオストリーム、３４，３７…extension_and_user_data、１００…映像再生装置、１０４…ビデオデコーダ、１１１…ハードディスク。
【特許請求の範囲】
【請求項１】
光学映像に応じた撮像信号を出力する撮像手段と、
該撮像手段から出力される前記撮像信号を用いて前記光学映像に応じた映像データを生成する映像データ生成手段と、
撮影場所に関する位置情報を取得する位置情報取得手段と、
前記撮像手段の方位を特定するための方位情報を取得する方位情報取得手段と、
前記映像データ生成手段が前記映像データを生成するときに、前記位置情報取得手段が取得した前記位置情報および前記方位情報取得手段が取得した前記方位情報を、前記映像データ生成手段により生成される前記映像データに挿入する挿入手段とを有することを特徴とするカメラ装置。
【請求項２】
前記映像データ生成手段は、前記映像データを圧縮符号化する符号化手段を有し、
前記挿入手段は、前記符号化手段により前記映像データが圧縮符号化されるときに、前記位置情報および前記方位情報を前記映像データに挿入することを特徴とする請求項１記載のカメラ装置。
【請求項３】
前記符号化手段は、前記映像データをＭＰＥＧ２またはＶＣ１若しくはＨ．２６４形式のビデオストリームに符号化し、
前記挿入手段は、前記符号化手段により符号化される前記ＭＰＥＧ２またはＶＣ１若しくはＨ．２６４形式のビデオストリームのうちの付加情報を加えるためのユーザデータ領域に前記位置情報および前記方位情報を挿入することを特徴とする請求項２記載のカメラ装置。
【請求項４】
前記位置情報を緯度、経度および高度を示すテキスト情報に変換し、前記方位情報を方角を示すテキスト情報に変換する変換手段を更に有し、
前記挿入手段は、前記ユーザデータ領域のうちのＧＯＰヘッダ直後に配置されるユーザデータ領域に、前記変換手段により変換された前記テキスト情報をクローズドキャプションとして挿入することを特徴とする請求項３記載のカメラ装置。
【請求項５】
ＧＰＳ衛星から送信されるＧＰＳ信号を受信するＧＰＳ受信手段と、
前記撮像手段の方位を検出する方位検出手段とを更に有し、
前記位置情報取得手段は前記符号化手段による前記映像データの符号化のときに前記ＧＰＳ受信手段が受信した前記ＧＰＳ信号から、前記位置情報として緯度、経度および高度を取得し、
前記方位情報取得手段は前記符号化手段による前記映像データの符号化のときに前記方位検出手段から、前記方位情報として検出された方位を取得することを特徴とする請求項２〜４のいずれか一項記載のカメラ装置。
【請求項６】
前記テキスト情報が挿入された前記ＭＰＥＧ２ビデオストリームからＭＰＥＧ２ＰＳパケットを生成するＰＳパケット生成手段を更に有する請求項４記載のカメラ装置。
【請求項７】
前記ＰＳパケット生成手段が生成した前記ＭＰＥＧ２ＰＳパケットを記録媒体に記録させるＰＳパケット記録制御手段を更に有する請求項６記載のカメラ装置。
【請求項８】
圧縮符号化された映像データを復号する復号手段と、
位置画像を生成するための地図情報を記憶する地図情報記憶手段と、
前記復号手段が前記映像データを復号するときに、該映像データにおける付加情報を加えるためのユーザデータ領域に挿入されている付加情報を抽出し、同期用データとともに記憶手段に記憶させる記憶制御手段と、
前記記憶手段に記憶されている前記付加情報から、緯度、経度および高度を含む位置情報と、方角を示す方位情報とを抽出する抽出手段と、
前記抽出手段が抽出した前記位置情報のうちの前記緯度および経度に対応する対応地図情報を前記地図情報記憶手段から読み出す読出手段と、
該読出手段が読み出した前記対応地図情報から生成した対応位置画像を表示させる表示制御手段とを有する映像再生装置。
【請求項９】
前記表示制御手段が前記対応位置画像を表示させるときに、前記抽出手段が抽出した前記方位情報に応じて、前記対応位置画像の向きを変更させる変更手段を更に有することを特徴とする請求項８記載の映像再生装置。
【請求項１０】
前記読出手段が読み出した前記対応位置画像を前記復号手段が生成した前記映像データに合成する合成手段を更に有することを特徴とする請求項８または９記載の映像再生装置。
【請求項１】
光学映像に応じた撮像信号を出力する撮像手段と、
該撮像手段から出力される前記撮像信号を用いて前記光学映像に応じた映像データを生成する映像データ生成手段と、
撮影場所に関する位置情報を取得する位置情報取得手段と、
前記撮像手段の方位を特定するための方位情報を取得する方位情報取得手段と、
前記映像データ生成手段が前記映像データを生成するときに、前記位置情報取得手段が取得した前記位置情報および前記方位情報取得手段が取得した前記方位情報を、前記映像データ生成手段により生成される前記映像データに挿入する挿入手段とを有することを特徴とするカメラ装置。
【請求項２】
前記映像データ生成手段は、前記映像データを圧縮符号化する符号化手段を有し、
前記挿入手段は、前記符号化手段により前記映像データが圧縮符号化されるときに、前記位置情報および前記方位情報を前記映像データに挿入することを特徴とする請求項１記載のカメラ装置。
【請求項３】
前記符号化手段は、前記映像データをＭＰＥＧ２またはＶＣ１若しくはＨ．２６４形式のビデオストリームに符号化し、
前記挿入手段は、前記符号化手段により符号化される前記ＭＰＥＧ２またはＶＣ１若しくはＨ．２６４形式のビデオストリームのうちの付加情報を加えるためのユーザデータ領域に前記位置情報および前記方位情報を挿入することを特徴とする請求項２記載のカメラ装置。
【請求項４】
前記位置情報を緯度、経度および高度を示すテキスト情報に変換し、前記方位情報を方角を示すテキスト情報に変換する変換手段を更に有し、
前記挿入手段は、前記ユーザデータ領域のうちのＧＯＰヘッダ直後に配置されるユーザデータ領域に、前記変換手段により変換された前記テキスト情報をクローズドキャプションとして挿入することを特徴とする請求項３記載のカメラ装置。
【請求項５】
ＧＰＳ衛星から送信されるＧＰＳ信号を受信するＧＰＳ受信手段と、
前記撮像手段の方位を検出する方位検出手段とを更に有し、
前記位置情報取得手段は前記符号化手段による前記映像データの符号化のときに前記ＧＰＳ受信手段が受信した前記ＧＰＳ信号から、前記位置情報として緯度、経度および高度を取得し、
前記方位情報取得手段は前記符号化手段による前記映像データの符号化のときに前記方位検出手段から、前記方位情報として検出された方位を取得することを特徴とする請求項２〜４のいずれか一項記載のカメラ装置。
【請求項６】
前記テキスト情報が挿入された前記ＭＰＥＧ２ビデオストリームからＭＰＥＧ２ＰＳパケットを生成するＰＳパケット生成手段を更に有する請求項４記載のカメラ装置。
【請求項７】
前記ＰＳパケット生成手段が生成した前記ＭＰＥＧ２ＰＳパケットを記録媒体に記録させるＰＳパケット記録制御手段を更に有する請求項６記載のカメラ装置。
【請求項８】
圧縮符号化された映像データを復号する復号手段と、
位置画像を生成するための地図情報を記憶する地図情報記憶手段と、
前記復号手段が前記映像データを復号するときに、該映像データにおける付加情報を加えるためのユーザデータ領域に挿入されている付加情報を抽出し、同期用データとともに記憶手段に記憶させる記憶制御手段と、
前記記憶手段に記憶されている前記付加情報から、緯度、経度および高度を含む位置情報と、方角を示す方位情報とを抽出する抽出手段と、
前記抽出手段が抽出した前記位置情報のうちの前記緯度および経度に対応する対応地図情報を前記地図情報記憶手段から読み出す読出手段と、
該読出手段が読み出した前記対応地図情報から生成した対応位置画像を表示させる表示制御手段とを有する映像再生装置。
【請求項９】
前記表示制御手段が前記対応位置画像を表示させるときに、前記抽出手段が抽出した前記方位情報に応じて、前記対応位置画像の向きを変更させる変更手段を更に有することを特徴とする請求項８記載の映像再生装置。
【請求項１０】
前記読出手段が読み出した前記対応位置画像を前記復号手段が生成した前記映像データに合成する合成手段を更に有することを特徴とする請求項８または９記載の映像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１５９２７９（Ｐ２００９−１５９２７９Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３４８２３（Ｐ２００７−３３４８２３）
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]