画像生成支援装置、画像生成支援方法、コンピュータプログラム、および、記録媒体
【課題】 インタレース方式で撮影された動画像からズレのない静止画を生成することにより、ポリゴンへの貼付画像の生成を支援する。
【解決手段】 貼付画像生成支援装置１００は、３つの機能を備えている。同期制御部１２０と、表示制御部１３０とは、ビデオ画像データと履歴データとに基づいて、撮影位置の軌跡とビデオ画像とを、ディスプレイ５０、６０に同期して表示させる。特定部１４０は、履歴データと、撮影条件と、地物の位置とに基づいて、ビデオ画像データの中から、貼付画像の生成の対象となる地物が適切に撮影されたフレームを自動的に特定する。生成部１７０は、奇数フィールド画像データの奇数ラインデータを偶数ラインに複写し、貼付画像を生成するための静止画像を生成する。
【解決手段】 貼付画像生成支援装置１００は、３つの機能を備えている。同期制御部１２０と、表示制御部１３０とは、ビデオ画像データと履歴データとに基づいて、撮影位置の軌跡とビデオ画像とを、ディスプレイ５０、６０に同期して表示させる。特定部１４０は、履歴データと、撮影条件と、地物の位置とに基づいて、ビデオ画像データの中から、貼付画像の生成の対象となる地物が適切に撮影されたフレームを自動的に特定する。生成部１７０は、奇数フィールド画像データの奇数ラインデータを偶数ラインに複写し、貼付画像を生成するための静止画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地物の画像の生成を支援する技術に関する。
【背景技術】
【０００２】
車両に搭載され、経路探索や経路誘導を行うカーナビゲーション装置が普及している。カーナビゲーション装置は、画像表示パネルを備えており、経路誘導時に、地図を表示する。このカーナビゲーション装置には、地図を表示する際に、立体交差する道路や建物などの地物をリアルに表現するために三次元画像を表示可能なものもある。この三次元画像には、コンピュータグラフィックス技術を用いたポリゴンが用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年では、地物をよりリアルに表示するために、ポリゴンに実際に撮影された静止画像から抽出した画像（貼付画像）を貼り付けることが提案されている。静止画像は、ディジタルスチルカメラを用いて地物を撮影したり、ディジタルビデオカメラを用いて撮影された動画像の一部をキャプチャしたりすることによって生成される。
【０００４】
ディジタルビデオカメラを用いる場合、例えば、ディジタルビデオカメラを車両に設置して、走行しながら複数の地物を連続的に撮影することによって、比較的短時間に画像を得ることができる。
【０００５】
ディジタルビデオカメラでは、インタレース方式のものが一般的に用いられる。インタレース方式とは、奇数番目のラインを表示する奇数フィールドと偶数番目のラインを表示する偶数フィールドとを交互に撮影することによって１つのフレーム画像を生成する方式である。
【０００６】
しかし、インタレース方式で撮影された画像では、例えば、ＮＴＳＣ方式では、偶数番目のラインの撮影時刻と奇数番目のラインの撮影時刻とに１／６０秒のずれが存在する。このため、移動しながら地物を撮影した場合、両者を単純に合成して静止画像を生成すると、ずれた画像となってしまう。
【０００７】
本発明は、上述の課題を解決するためになされたものであり、インタレース方式で撮影された動画像からズレのない静止画像の生成を支援することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の第１の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、間欠的にラインデータが記録されたフィールドデータのいずれかを入力する画像データ入力部と、
前記入力されたラインデータの複写、または、前記ラインデータ間の補間によって、データが未入力の他のラインデータを生成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
【０００９】
本発明で用いられる画像を生成するためのビデオ画像データは、先に説明したように、インタレース方式のビデオカメラを車両などに搭載して、移動しながら撮影したものである。「フィールドデータ」としては、例えば、奇数番目のライン（奇数ライン）を表示するための奇数フィールド画像データと、偶数番目のライン（偶数ライン）を表示するための偶数フィールド画像データなどが挙げられる。
【００１０】
「入力されたラインデータの複写によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、これを複写することによって、未入力の偶数ラインを表示する偶数ラインデータを生成することを意味している。また、「ラインデータ間の補間によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、ある奇数ラインデータと、隣接する奇数ラインデータとの補間（例えば、平均）によって、未入力の偶数ラインを表示するための偶数ラインデータを生成することを意味している。
【００１１】
先に説明したように、各フィールドデータは、撮影時刻が異なるので、それぞれを単純に合成して静止画像を生成すると、ずれた画像となる。本発明では、いずれかのフィールドデータを用いるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。
【００１２】
本発明の第２の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、少なくとも１つのフレーム分、入力する画像データ入力部と、
前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を補正し、該各フィールドデータを１フレーム分の画像に合成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
【００１３】
１つのフレーム分のフィールドデータとは、例えば、連続して記録された奇数フィールド画像データと偶数フィールド画像データが挙げられる。本発明によって、１つのフレームについて、フィールドデータ間の撮影タイミングのズレを補償することができるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。
【００１４】
本発明の第２の画像生成支援装置において、更に、
前記ずれ量に影響を与える所定の撮影条件を入力する撮影条件入力部を備え、
前記生成部は、前記撮影条件に基づいて、前記ずれ量を算出し、前記補正を行うようにすることができる。
【００１５】
上記構成では、生成部でフィールドデータ間の水平方向のずれ量を算出することができるので、適切な補正を行うことができる。
【００１６】
上記画像生成支援装置において、
前記撮影条件は、例えば、前記撮影時の移動速度と、カメラの画角と、撮影位置と地物との距離と、前記撮影時のカメラアングルとのうちの少なくとも１つを含むようにすることができる。
【００１７】
また、本発明の第２の画像生成支援装置において、
前記生成部は、前記ずれ量を所定のパラメータに基づいて評価しつつ、前記各フィールドデータの少なくとも一つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正するようにしてもよい。
【００１８】
こうすることによって、前記評価に基づく適切な補正を行うことができる。
【００１９】
上記画像生成支援装置において、
前記パラメータは、前記フレームについて、縦方向に配列された画素間の階調値のばらつきを表すパラメータであるものとすることができる。
【００２０】
階調値のばらつきを表すパラメータとしては、例えば、分散が挙げられる。画素間の階調値のばらつきが最も小さくなるように、各フィールドデータの少なくとも１つを相対的に水平方向に逐次ずらすことによって、ズレのない静止画像を生成することができる。
【００２１】
また、前記生成部は、前記各フィールドデータにおいて、ユーザによって指定された領域について前記ずれ量を評価するようにしてもよい。
【００２２】
１つのフレーム画像内に複数の地物が撮影されている場合には、フレーム画像全体に亘ってずれ量の評価を行うことが不適切な場合がある。例えば、フレーム画像全体の階調値の分布が広くなりすぎる場合などである。本発明によって、ユーザによって任意に指定された領域についてずれ量を評価するので、所望の地物について、適切にずれ量を評価し、補正するようにすることができる。
【００２３】
本発明の第３の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データを表示するビデオ画像表示部と、
前記ビデオ画像データの撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記履歴データに基づいて、電子地図上に、前記撮影位置の軌跡を前記ビデオ画像データと同じ時間スケールで動画表示する撮影位置表示部と、
を備えることを要旨とする。
【００２４】
ここで、「履歴データ」とは、例えば、緯度、経度などの撮影位置と、撮影時刻とが対応付けられて、時系列的に記録されたデータである。履歴データによって、撮影位置の軌跡を追跡することができる。また、「動画表示」とは、所定時間内に画面に動きがあることを意味しており、連続画像の表示であってもよいし、コマ送り画像の表示であってもよい。本発明によって、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。従って、表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
【００２５】
上記画像生成支援装置において、ビデオ画像の内容と撮影位置の軌跡との対応関係が適切になるように、ユーザがビデオ画像の表示と撮影位置の軌跡の表示のスタート時刻を合わせ、同期制御せずに、ビデオ画像の表示と撮影位置の軌跡の表示とを独立に並行して表示してもよいが、更に、前記ビデオ画像表示部と前記撮影位置表示部との同期を制御する同期制御部を備えることが好ましい。
【００２６】
同期制御部は、例えば、ビデオ画像データに撮影時刻データを含めるようにし、ビデオ画像の撮影時刻と履歴データの撮影時刻とに基づいて、両者の同期を制御することができる。こうすることによって、ビデオ画像の内容と撮影位置の軌跡との対応関係を、より正確に表示することができる。
【００２７】
本発明の第４の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備えることを要旨とする。
【００２８】
こうすることによって、上述した本発明の第１または第２の画像生成支援装置に入力するためのフィールドデータを容易に特定できる。この結果、画像の生成を支援することができる。
【００２９】
上記画像生成支援装置において、
前記所定の条件は、例えば、前記地物が前記画角のほぼ中央に存在する条件であるものとすることが好ましい。
【００３０】
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。上記構成によって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを選択することができる。
【００３１】
本発明の第４の画像生成支援装置において、
前記フレーム特定情報は、例えば、前記フレームの撮影時刻であるものとすることが好ましい。
【００３２】
こうすることによって、撮影時刻とフレームとは、互いに対応付けることができるので、多量のフレームの中から所望のフレームを容易に特定することができる。
【００３３】
本発明は、上述の画像生成支援装置としての構成の他、画像の生成を支援する方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【００３４】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成支援装置を駆動するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．貼付画像生成支援装置の構成：
Ｂ．同期表示処理：
Ｃ．フレーム特定処理：
Ｄ．静止画像データ生成処理（第１実施例）：
Ｅ．静止画像データ生成処理（第２実施例）：
Ｆ．静止画像データ生成処理（第３実施例）：
Ｇ．変形例：
【００３６】
Ａ．貼付画像生成支援装置の構成：
図１は、本発明の一実施例としての貼付画像生成支援装置１００の構成を示す説明図である。この貼付画像生成支援装置１００は、インタレース方式のディジタルビデオカメラ１０によって撮影されたビデオ画像データから静止画像データを生成し、先に説明した、ポリゴンに貼り付けるための貼付画像の生成を支援する装置である。本実施例では、ビデオ画像データは、いわゆるカーナビゲーション装置を搭載した車両に設置されたディジタルビデオカメラによって、走行しながらビルなどの地物を撮影したデータである。本実施例のビデオ画像データには、画像データとともに、各フレームの撮影時刻も記録されているものとする。貼付画像生成支援装置１００は、本発明の画像生成支援装置に相当する。
【００３７】
貼付画像生成支援装置１００は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えるコンピュータや、各種プログラムやデータを記憶するためのハードディスクを備えている。貼付画像生成支援装置１００は、また、２つのディスプレイ５０、６０や、ユーザからの指示を入力するための、図示しない操作パネルやマウスなどの入力機器も備えている。
【００３８】
貼付画像生成支援装置１００は、図示した各機能ブロックをソフトウェア的に備えている。これらをハードウェア的に備えるようにしてもよい。これらの各機能ブロックは、図示しない制御部によって制御される。
【００３９】
入力部１１０は、ディジタルビデオカメラ１０によって記録されたビデオ画像データや、撮影履歴を記録した履歴データ２０や、撮影条件データ３０や、地図データ４０を、ハードディスクなどの記録媒体から入力する。入力部１１０は、また、操作パネルやマウスなどの入力機器から、ユーザの指示を入力する。
【００４０】
図２は、履歴データ２０の一例を示す説明図である。図示するように、履歴データ２０には、ディジタルビデオカメラ１０を設置した車両の位置情報、即ち、撮影位置の緯度および経度と、撮影時刻とが対応付けて記録されている。緯度および経度は、カーナビゲーション装置が備えるＧＰＳアンテナなどの位置検出装置によって検出されたものである。
【００４１】
撮影条件データ３０には、移動しながらディジタルビデオカメラ１０で撮影したときに、偶数フィールド画像データと奇数フィールド画像データとの撮影タイミングの相違に起因する画像のずれ量に影響を与えるパラメータが含まれる。本実施例では、撮影条件データ３０として、ディジタルビデオカメラ１０の車両への設置状態（カメラアングル）と、ディジタルビデオカメラ１０の画角とを用いるものとした。これらの他に、撮影時の車両の走行速度や、撮影位置と撮影対象となる地物との距離、ディジタルビデオカメラ１０の撮像素子のサイズ、レンズの焦点距離などを含めるようにしてもよい。
【００４２】
地図データ４０は、いわゆる電子地図データであり、道路や建物などの地物の位置（緯度、経度）や、その形状に関するデータが、それらの名称などの属性データとともに記録されている。
【００４３】
貼付画像生成支援装置１００は、大きく分けて、３つの機能を有する。
【００４４】
第１の機能は、撮影位置の軌跡とビデオ画像とを、ディスプレイ５０、６０に同期して表示させる（同期表示処理）機能である。これは、主として、入力部１１０と、同期制御部１２０と、表示制御部１３０とによって実現される。同期制御部１２０は、入力部１１０に入力されたビデオ画像データに含まれる撮影時刻と、履歴データの撮影時刻とに基づいて、撮影位置の軌跡とビデオ画像とを同期させる。表示制御部１３０は、同期制御部１２０が同期させたタイミングで、ディスプレイ５０には、電子地図ｍａｐとともに撮影位置ｐを表示させ、ディスプレイ６０には、撮影位置ｐから撮影したビルＢＬＤのビデオ画像ｐｉｃを表示させる。
【００４５】
この第１の機能によって、ディスプレイ６０に表示されるビデオ画像の内容と、ディスプレイ５０に表示される撮影位置の軌跡との対応関係を正確に表示することができる。従って、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。また、ディスプレイ６０に表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
【００４６】
第２の機能は、ビデオ画像データの中から、貼付画像の生成の対象となる地物が適切に撮影されたフレームを自動的に特定する（フレーム特定処理）機能である。これは、主として、入力部１１０と、特定部１４０と、出力部１５０とによって実現される。特定部１４０は、入力部１１０に入力された履歴データと、撮影条件と、地物の位置とに基づいて、ディジタルビデオカメラ１０の画角内における地物の相対位置を特定する。この特定方法の詳細は後述する。出力部１５０は、特定部１４０が特定した地物の相対位置がディジタルビデオカメラ１０の画角の中央となるフレームの撮影時刻を算出し、記憶部１６０に出力する。記憶部１６０は、地物と撮影時刻とを対応付けて記憶する。
【００４７】
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。第２の機能において、地物がディジタルビデオカメラ１０の画角の中央に存在するフレームを特定するようにすることによって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを特定することができる。また、撮影時刻とフレームとは、互いに対応付けることができるので、特定されたフレームの撮影時刻を出力することによって、多量のフレームの中から、次に説明する第３の機能で利用する適切なフレームを容易に特定することができる。
【００４８】
第３の機能は、ビデオ画像データから貼付画像を生成するための静止画像を生成する（静止画像データ生成処理）機能である。これは、主として、入力部１１０と、生成部１７０とによって実現される。生成部１７０は、記憶部１６０から、貼付画像の生成対象となる地物がディジタルビデオカメラ１０の画角の中央となるフレームの撮影時刻を取得し、これに対応した画像データを取得する。そして、この画像データを用いて、後述する静止画像データ生成処理によって静止画像データを生成する。生成部１７０で生成された静止画像データは、静止画像データ記憶部７０に記憶される。
【００４９】
この第３の機能によって、後述するように、インタレース方式のディジタルビデオカメラ１０で撮影された動画から、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００５０】
以下、上述した３つの機能に対応した処理の流れを説明する。
【００５１】
Ｂ．同期表示処理：
図３は、同期表示処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、入力部１１０によって、ビデオ画像データを取得する（ステップＳ１００）。このビデオ画像データには、先に説明したように、撮影時刻データも記録されている。次に、履歴データ２０を取得する（ステップＳ１１０）。そして、同期制御部１２０によって、ビデオ画像データに含まれる撮影時刻と、履歴データ２０に含まれる撮影時刻とを同期させる（ステップＳ１２０）。そして、表示制御部によって、ディスプレイ５０には、電子地図ｍａｐとともに撮影位置ｐを表示させ、ディスプレイ６０には、撮影位置ｐから撮影した地物のビデオ画像を表示させる。（ステップＳ１３０）。これらの処理は、ユーザによって処理の中断または終了の指示が入力されるか、全てのビデオ画像データの表示が終了するまで行われる。
【００５２】
Ｃ．フレーム特定処理：
図４は、フレーム特定処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、入力部１１０によって、履歴データ２０を取得する（ステップＳ２００）。次に、撮影条件データ３０を取得する（ステップＳ２１０）。次に、地図データ４０から地物の位置情報を取得する（ステップＳ２２０）。そして、特定部１４０によって、ディジタルビデオカメラの画角における地物の相対位置を特定しつつ（ステップＳ２３０）、出力部１５０によって、地物がディジタルビデオカメラ１０の画角の中央に存在するフレームを検索し（ステップＳ２４０）、そのフレームの撮影時刻を出力する（ステップＳ２５０）。以上の処理を貼付画像の生成対象となる各地物について行う。
【００５３】
図５は、上述したステップＳ２３０、Ｓ２４０における、フレームの特定方法を示す説明図である。図５（ａ）の上段および下段には、時刻ｔ１におけるディスプレイ５０およびディスプレイ６０の表示例をそれぞれ示した。図５（ｂ）の上段および下段には、時刻ｔ２におけるディスプレイ５０およびディスプレイ６０の表示例をそれぞれ示した。また、図５（ａ）、（ｂ）の上段には、ビルＢＬＤの位置Ｐｂ（ＬＡＴ１，ＬＯＮ１）と、各時刻における撮影位置Ｐｃ１（ＬＡＴｘ１，ＬＯＮｙ１）、Ｐｃ２（ＬＡＴｘ２，ＬＯＮｙ２）と、撮影条件（ディジタルビデオカメラ１０のカメラアングルθｈと画角θ）と、を併せて示した。図５では、時刻ｔ１において、ビルＢＬＤがディジタルビデオカメラ１０の画角θの右寄りに位置しており、時刻ｔ２においては、左寄りに位置している様子を例示した。
【００５４】
上述した各パラメータ値は、地図データ４０、履歴データ２０、撮影条件データ３０から取得することができ、それらを用いて、ディジタルビデオカメラ１０の画角θにおけるビルＢＬＤの相対位置を所定の演算によって算出することができる。更に、ビルＢＬＤがディジタルビデオカメラ１０の画角θの中央に位置する時刻を算出することも可能である。
【００５５】
図示した例では、撮影位置Ｐの移動方向のベクトルVmと、時刻ｔ１における撮影位置Ｐｃ１からビルＢＬＤへの方向のベクトルVpc1pbと、時刻ｔ２における撮影位置Ｐｃ２からビルＢＬＤへの方向のベクトルVpc2pbは、各位置情報から求めることができる。
【００５６】
そして、ベクトルVmとベクトルVpc1pbとのなす角度θt1は、
θt1=cos-1(Vm・Vpc1pb/(|Vm|*|Vpc1pc|))
である。ここで、Vm・Vpc1pbは、ベクトルVmとベクトルVpc1pvとの内積を表しており、|Vm|および|Vpc1pb｜は、ベクトルVmおよびベクトルVpc1pbの大きさを表している。
【００５７】
また、ベクトルVmとベクトルVpc2pbとのなす角度θt2は、
θt2=cos-1(Vm・Vpc2pb/(|Vm|*|Vpc2pc|))
である。ここで、Vm・Vpc2pbは、ベクトルVmとベクトルVpc2pvとの内積を表しており、|Vm|および|Vpc2pb｜は、VmおよびVpc2pbの大きさを表している。
【００５８】
時刻ｔ１において、角度θt1は、ディジタルビデオカメラ１０のカメラアングルθｈよりも小さいから、ビルＢＬＤは、ディジタルビデオカメラ１０の画角の右寄りに位置する。また、時刻ｔ２において、角度θt2は、ディジタルビデオカメラ１０のカメラアングルθｈよりも大きいから、ビルＢＬＤは、ディジタルビデオカメラ１０の画角の左寄りに位置する。
【００５９】
ビルＢＬＤがディジタルビデオカメラの画角θの中央に位置する時刻は、ベクトルVmと、撮影位置からビルＢＬＤ方向のベクトルとのなす角度がディジタルビデオカメラ１０のカメラアングルθｈと一致する時刻であるから、この時刻を求めればよい。
【００６０】
このようなフレーム特定処理によって、後述する静止画像データ生成処理に利用するフィールドデータを容易に特定することができる。
【００６１】
Ｄ．静止画像データ生成処理（第１実施例）：
図６は、第１実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、記憶部１６０から貼付画像の生成対象の地物がディジタルビデオカメラ１０の画角の中央に存在するフレームの撮影時刻を取得する（ステップＳ３００）。次に、その撮影時刻に撮影されたフレームの画像データの奇数フィールド画像データを取得する（ステップＳ３１０）。そして、各奇数ラインデータを複写することによって偶数ラインデータを生成する（ステップＳ３２０）。そして、各ラインデータを合成し（ステップＳ３３０）、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部７０に保存する（ステップＳ３４０）。静止画像データと地物との関連付けは、ユーザが個々に行ってもよいし、地物の位置情報と関連付けてもよい。また、地図データ４０に地物の名称が含まれる場合には、地物の名称と関連付けてもよい。
【００６２】
図７は、奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。図中の各マスは、画素を示している。例えば、奇数ラインｏｄｄ１の各データを隣接する下のラインに複写することによって、偶数ラインｅｖｅｎ１のデータを生成することができる。従って、偶数ラインｅｖｅｎ１の画素ＢのＲＧＢの各階調値は、奇数ラインｏｄｄ１の画素Ａの各階調値と同じである。偶数ラインｅｖｅｎ２の画素ＤのＲＧＢの各階調値は、奇数ラインｏｄｄ２の画素Ｃの各階調値と同じである。
【００６３】
上述した例では、奇数ラインデータを複写することによって偶数ラインデータを生成したが、奇数ラインデータ間の補間によって偶数ラインデータを生成するようにしてもよい。例えば、奇数ラインデータｏｄｄ１、ｏｄｄ２の補間（例えば、平均）によって、偶数ラインデータｅｖｅｎ１のデータを生成することができる。この場合、例えば、画素Ｂの各階調値は、画素Ａの各階調値と画素Ｂの各階調値との平均値となる。
【００６４】
第１実施例の静止画像データ生成処理では、奇数フィールド画像データのみを用いて静止画像を生成するので、奇数フィールド画像データと偶数フィールド画像データとの撮影時刻の相違が静止画像データには反映されない。従って、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００６５】
Ｅ．静止画像データ生成処理（第２実施例）：
上述した第１実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて静止画像データを生成したが、第２実施例では、１フレーム分のフィールドデータを用いて静止画像データを生成する。
【００６６】
図８は、第２実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、記憶部１６０から貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する（ステップＳ４００）。次に、入力部１１０によって、その撮影時刻に撮影されたフレームの画像データを１フレーム分、取得する（ステップＳ４１０）。つまり、ステップＳ４００で取得した撮影時刻に直近の奇数フィールド画像データと偶数フィールド画像データとを取得する。次に、撮影条件を取得する（ステップＳ４２０）。
【００６７】
次に、撮影条件に基づいて、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量を算出する（ステップＳ４３０）。ディジタルビデオカメラ１０の画素数等の仕様や撮影タイミングの差は、既知であるから、ずれ量は、先に説明した撮影条件を用いることによって、所定の演算によって算出することができる。
【００６８】
図９は、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。まず、理解を容易にするために、撮影位置と撮影対象物との距離がほとんど変わらない状態で水平移動しながら撮影する場合（図９（ａ）参照）を例にして説明する。図９（ａ）の右側に拡大して示した１画素当たりのサイズがＮ（ｍｍ）のＣＣＤを備えるディジタルビデオカメラで撮影する場合を考える。ディジタルビデオカメラのレンズの焦点距離がｆ（ｍｍ）、撮影対象物までの距離をＬ（ｍｍ）とした場合、撮影対象物が水平方向にＭ（ｍｍ）移動すると、ＣＣＤにおける像は、Ｍ・（ｆ／Ｌ）（ｍｍ）移動することになる。つまり、Ｍ・（ｆ／Ｌ）／Ｎ画素移動する。
【００６９】
例えば、レンズの焦点距離が５（ｍｍ）であり、１画素当たりのサイズが０．００５（ｍｍ）のＣＣＤを備えるディジタルビデオカメラを用いて、３０（ｍ）離れたビルを、４０（ｋｍ／ｈ）で水平移動しながら撮影する場合、撮影位置は、１／６０（ｓ）間に約１８５（ｍｍ）移動する。つまり、ビルは相対的に約１８５（ｍｍ）移動する。このとき、ＣＣＤにおける像は、約０．０３（＝１８５・（５／３００００））（ｍｍ）、即ち、約６画素分移動することになる。
【００７０】
上述した例は、図９（ｂ）において、車両にディジタルビデオカメラを進行方向（ベクトルＶｍａの方向）に対して左９０度の向きに設置し、点ｐにおいて、ベクトルＶｍａの方向に移動しながら、進行方向に対して左９０度に存在するビルＢＬＤ１を撮影する場合に相当する。
【００７１】
次に、車両にディジタルビデオカメラを進行方向に対して左にθｈ度の向きに設置し、点ｐにおいて、ベクトルＶｍａの方向に移動しながら、進行方向に対して左にθｈ度に存在するビルＢＬＤ２を撮影する場合について説明する。この場合は、図９（ｂ）に示すように、ベクトルＶｍａをディジタルビデオカメラの設置方向のベクトルＶｍａ２と、ベクトルＶｍａ２に直交するベクトルＶｍａ１とに分解することによって、先に説明した場合と同様に理解することができる。つまり、ベクトルＶｍａ１の大きさが水平方向の移動速度に相当する。この移動速度から１／６０（ｓ）間の移動距離が求められるから、奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、ここでは、ベクトルＶｍａ２による撮影位置点ｐとビルＢＬＤ２との距離の変化は考慮していない。
【００７２】
このようにして奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、本実施例において、撮影位置の移動速度を入力していないが、撮影位置の移動速度は、履歴データから容易に算出することができる。また、撮影対象物までの距離は、撮影位置と撮影対象物の位置とから容易に算出することができる。
【００７３】
図８のステップＳ４３０において、ずれ量を算出すると、算出された値に従って、奇数フィールド画像データと偶数フィールド画像データの少なくとも１つを水平方向にずらすことによって、ずれ量を補正する（ステップＳ４４０）。本実施例では、偶数フィールド画像データを水平方向にずらすことによって補正を行い、補正偶数フィールド画像データを生成するものとした。このとき、補正を行うことによって、画像の枠からはみ出す画素の画像データは削除し、不足する画素の画像データには黒を表示する画像データを追加することとした。
【００７４】
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し（ステップＳ４５０）、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部７０に保存する（ステップＳ４６０）。
【００７５】
図１０は、第２実施例における静止画像データの生成の様子を模式的に示す説明図である。図中の各マスは画素を表している。図から分かるように、補正前の奇数フィールド画像データと偶数フィールド画像データとは、水平方向にずれている（左図）。生成部１７０は、偶数フィールド画像データが右に２画素分ずれていることを算出し、これを左に２画素ずらす補正を行う（右図）。なお、図１０の右図では、補正によって画像の枠からはみ出し削除された画素、不足して追加された画素も表している。
【００７６】
第２実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、撮影条件に基づいて算出することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００７７】
Ｆ．静止画像データ生成処理（第３実施例）：
上述した第２実施例の静止画像データ生成処理では、算出されたずれ量に基づいてラインデータをずらすことによって補正を行ったが、第３実施例の静止画像データ生成処理では、ラインデータを逐次ずらして、所定の評価を行いつつ、最適なずらし量を決定し、補正を行う。
【００７８】
図１１は、第３実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する（ステップＳ５００）。次に、入力部１１０によって、その撮影時刻に撮影されたフレームの画像データを１フレーム分、取得し（ステップＳ５１０）、これを合成して静止画像データを生成する（ステップＳ５２０）。
【００７９】
次に、ユーザによって指定された画像データ上の指定領域を取得する（ステップＳ５３０）。本実施例では、ステップＳ５２０で生成された画像データがディスプレイ６０に表示され、ユーザが表示画面上でマウスを用いて領域を指定し、入力するものとした。
【００８０】
次に、指定領域内の画素について、階調値のバラつきを算出する（ステップＳ５４０）。本実施例では、バラつきを表すパラメータとして、分散を用いることとした。分散以外のパラメータを用いるものとしてもよい。そして、評価値としての分散の値を一時的に記憶する（ステップＳ５４２）。次に、偶数フィールド画像データを水平方向にずらし（ステップＳ５４３）、再度合成することによって静止画像データを生成する（ステップＳ５４４）。そして、指定領域内の画素について、再度階調値のバラつきを算出する（ステップＳ５４６）。そして、評価値を一時的に記憶する（ステップＳ５４８）。次に、分散の値に極小値があるか否かを判定する（ステップＳ５５０）。極小値があった場合、この極小値が得られたときのずらし量を最適なずらし量と決定する。そして、このずらし量で偶数フィールド画像データをずらすことによって補正を行い（ステップＳ５６０）、補正偶数フィールド画像データを生成する。極小値がない場合には、ステップＳ５４３〜Ｓ５５０を繰り返す。
【００８１】
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し（ステップＳ５７０）、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部７０に保存する（ステップＳ５８０）。
【００８２】
図１２は、第３実施例における静止画像データの生成の様子を模式的に示す説明図である。図１２の上段には、逐次補正を行ったときの画像の状態を示した。図中には、指定領域Ｒを併せて破線で示した。「状態１」は、入力されたままの状態の画像を示している。「状態２」は、偶数フィールド画像データを左に１画素分ずらした画像を示している。「状態３」は、偶数フィールド画像データを２画素分ずらした画像を示している。「状態４」は、偶数フィールド画像データを３画素分ずらした画像を示している。
【００８３】
図１２の下段には、各状態における分散の値を示した。図示した例では、「状態３」において、分散が極小値をとっていることが分かる。従って、「状態１」の画像から、偶数フィールド画像データを左に３画素分ずらした「状態３」の画像を、最終的に保存する静止画像とする。
【００８４】
第３実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、分散に基づいて評価しつつ補正することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００８５】
Ｇ．変形例：
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
【００８６】
Ｇ１．変形例１：
上記第１実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて偶数ラインデータを生成するものとしたが、これに限られない。本発明は、一般に、いずれかのフィールドデータを用いて未入力のラインデータを生成し、合成することによって静止画像データを生成するものであるから、偶数フィールド画像データを用いて奇数ラインデータを生成するものとしてもよい。
【００８７】
Ｇ２．変形例２：
上記第２および第３実施例の静止画像データ生成処理では、偶数フィールド画像データを水平方向にずらすことによって補正を行ったが、これに限られない。本発明は、一般に、いずれかのフィールドデータを水平方向にずらすことによって補正を行うものであるから、例えば、奇数フィールド画像データをずらすようにしてもよいし、両者をずらすようにしてもよい。
【００８８】
また、上記第２の静止画像データ生成処理では、１フレーム分のフィールドデータを入力するものとしたが、２フレーム以上のフィールドデータを入力し、これらを利用して、フィールドデータ間の水平方向のずれ量を算出するようにしてもよい。
【００８９】
Ｇ３．変形例３：
上記第３実施例の静止画像データ生成処理では、ユーザによって指定された指定領域について、画素間の階調値のバラつきの評価を行ったが、予め決められた所定領域について、縦方向に配列された画素間の階調値のバラつきの評価を行うようにしてもよい。
【００９０】
Ｇ４．変形例４：
上記実施例では、貼付画像生成支援装置１００は、同期制御部１２０を備えているが、これを備えていなくてもよい。この場合、例えば、ユーザが、ディスプレイ６０に表示されるビデオ画像と、ディスプレイ５０に表示される撮影位置の軌跡との表示のスタート時刻を合わせ、両者を同じ時間スケールで、独立に並行して表示させるようにしてもよい。
【００９１】
Ｇ５．変形例５：
上記実施例のフレーム特定処理において、地物がディジタルビデオカメラ１０の画角の中央に存在するフレームを特定するものとしたが、これに限られない。予め定められた所定条件を満たすフレームを特定するようにすればよい。
【００９２】
Ｇ６．変形例６：
上記実施例のフレーム特定処理では、撮影された各地物をフレーム特定処理の処理対象としたが、これに限られない。例えば、ディスプレイ５０に表示された電子地図ｍａｐ上において、ユーザが処理対象となる地物を個別に指定できるようにしてもよい。指定された地物の位置情報は、地図データ４０から特定することができるから、先に図５を用いて説明したように、指定された地物が画角の中央に存在するフレームを特定することができる。処理対象となる地物をユーザが指定できるようにすることによって、ユーザが貼付画像の生成に必要な地物が撮影されたフレームだけを抽出することができるので、処理時間を短縮することができる。
【００９３】
Ｇ７．変形例７：
上記実施例では、扱うビデオ画像データをインタレース方式のディジタルビデオカメラ１０で記録されたビデオ画像データであるとしたが、これに限られない。上述した貼付画像生成支援装置１００の第１および第２の機能は、プログレッシブ方式のディジタルビデオカメラで記録されたビデオ画像データについても適用可能である。
【００９４】
Ｇ８．変形例８：
上記実施例では、貼付画像生成支援装置１００は、先に説明した３つの機能を併せ持っているが、各機能のうちの少なくとも１つを独立に備える貼付画像生成支援装置を構成するようにしてもよい。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施例としての貼付画像生成支援装置１００の構成を示す説明図である。
【図２】履歴データ２０の一例を示す説明図である。
【図３】同期表示処理の流れを示すフローチャートである。
【図４】フレーム特定処理の流れを示すフローチャートである。
【図５】フレームの特定方法を示す説明図である。
【図６】第１実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図７】奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。
【図８】第２実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図９】奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。
【図１０】第２実施例における静止画像データの生成の様子を模式的に示す説明図である。
【図１１】第３実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図１２】第３実施例における静止画像データの生成の様子を模式的に示す説明図である。
【符号の説明】
【００９６】
１０...ディジタルビデオカメラ
２０...履歴データ
３０...撮影条件データ
４０...地図データ
５０、６０...ディスプレイ
７０...静止画像データ記憶部
１００...貼付画像生成支援装置
１１０...入力部
１２０...同期制御部
１３０...表示制御部
１４０...特定部
１５０...出力部
１６０...記憶部
１７０...生成部
Ｒ...指定領域
【技術分野】
【０００１】
本発明は、地物の画像の生成を支援する技術に関する。
【背景技術】
【０００２】
車両に搭載され、経路探索や経路誘導を行うカーナビゲーション装置が普及している。カーナビゲーション装置は、画像表示パネルを備えており、経路誘導時に、地図を表示する。このカーナビゲーション装置には、地図を表示する際に、立体交差する道路や建物などの地物をリアルに表現するために三次元画像を表示可能なものもある。この三次元画像には、コンピュータグラフィックス技術を用いたポリゴンが用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年では、地物をよりリアルに表示するために、ポリゴンに実際に撮影された静止画像から抽出した画像（貼付画像）を貼り付けることが提案されている。静止画像は、ディジタルスチルカメラを用いて地物を撮影したり、ディジタルビデオカメラを用いて撮影された動画像の一部をキャプチャしたりすることによって生成される。
【０００４】
ディジタルビデオカメラを用いる場合、例えば、ディジタルビデオカメラを車両に設置して、走行しながら複数の地物を連続的に撮影することによって、比較的短時間に画像を得ることができる。
【０００５】
ディジタルビデオカメラでは、インタレース方式のものが一般的に用いられる。インタレース方式とは、奇数番目のラインを表示する奇数フィールドと偶数番目のラインを表示する偶数フィールドとを交互に撮影することによって１つのフレーム画像を生成する方式である。
【０００６】
しかし、インタレース方式で撮影された画像では、例えば、ＮＴＳＣ方式では、偶数番目のラインの撮影時刻と奇数番目のラインの撮影時刻とに１／６０秒のずれが存在する。このため、移動しながら地物を撮影した場合、両者を単純に合成して静止画像を生成すると、ずれた画像となってしまう。
【０００７】
本発明は、上述の課題を解決するためになされたものであり、インタレース方式で撮影された動画像からズレのない静止画像の生成を支援することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題の少なくとも一部を解決するため、本発明では、以下の構成を採用した。
本発明の第１の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、間欠的にラインデータが記録されたフィールドデータのいずれかを入力する画像データ入力部と、
前記入力されたラインデータの複写、または、前記ラインデータ間の補間によって、データが未入力の他のラインデータを生成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
【０００９】
本発明で用いられる画像を生成するためのビデオ画像データは、先に説明したように、インタレース方式のビデオカメラを車両などに搭載して、移動しながら撮影したものである。「フィールドデータ」としては、例えば、奇数番目のライン（奇数ライン）を表示するための奇数フィールド画像データと、偶数番目のライン（偶数ライン）を表示するための偶数フィールド画像データなどが挙げられる。
【００１０】
「入力されたラインデータの複写によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、これを複写することによって、未入力の偶数ラインを表示する偶数ラインデータを生成することを意味している。また、「ラインデータ間の補間によって、データが未入力の他のラインデータを生成する」とは、例えば、フィールドデータとして、奇数フィールド画像データを入力した場合には、ある奇数ラインデータと、隣接する奇数ラインデータとの補間（例えば、平均）によって、未入力の偶数ラインを表示するための偶数ラインデータを生成することを意味している。
【００１１】
先に説明したように、各フィールドデータは、撮影時刻が異なるので、それぞれを単純に合成して静止画像を生成すると、ずれた画像となる。本発明では、いずれかのフィールドデータを用いるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。
【００１２】
本発明の第２の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物をインタレース方式で記録したビデオ画像データから、異なる撮影タイミングで撮影され、間欠的にラインデータが記録されたフィールドデータを、少なくとも１つのフレーム分、入力する画像データ入力部と、
前記フィールドデータ同士の撮影タイミングの相違に起因する水平方向のずれ量を補正し、該各フィールドデータを１フレーム分の画像に合成することにより、前記画像を生成する生成部と、
を備えることを要旨とする。
【００１３】
１つのフレーム分のフィールドデータとは、例えば、連続して記録された奇数フィールド画像データと偶数フィールド画像データが挙げられる。本発明によって、１つのフレームについて、フィールドデータ間の撮影タイミングのズレを補償することができるので、ズレのない静止画像を生成することができる。更に、この静止画像を用いて、ズレのないポリゴンへの貼付画像を生成することができる。
【００１４】
本発明の第２の画像生成支援装置において、更に、
前記ずれ量に影響を与える所定の撮影条件を入力する撮影条件入力部を備え、
前記生成部は、前記撮影条件に基づいて、前記ずれ量を算出し、前記補正を行うようにすることができる。
【００１５】
上記構成では、生成部でフィールドデータ間の水平方向のずれ量を算出することができるので、適切な補正を行うことができる。
【００１６】
上記画像生成支援装置において、
前記撮影条件は、例えば、前記撮影時の移動速度と、カメラの画角と、撮影位置と地物との距離と、前記撮影時のカメラアングルとのうちの少なくとも１つを含むようにすることができる。
【００１７】
また、本発明の第２の画像生成支援装置において、
前記生成部は、前記ずれ量を所定のパラメータに基づいて評価しつつ、前記各フィールドデータの少なくとも一つを相対的に水平方向に逐次ずらすことによって、前記ずれ量を補正するようにしてもよい。
【００１８】
こうすることによって、前記評価に基づく適切な補正を行うことができる。
【００１９】
上記画像生成支援装置において、
前記パラメータは、前記フレームについて、縦方向に配列された画素間の階調値のばらつきを表すパラメータであるものとすることができる。
【００２０】
階調値のばらつきを表すパラメータとしては、例えば、分散が挙げられる。画素間の階調値のばらつきが最も小さくなるように、各フィールドデータの少なくとも１つを相対的に水平方向に逐次ずらすことによって、ズレのない静止画像を生成することができる。
【００２１】
また、前記生成部は、前記各フィールドデータにおいて、ユーザによって指定された領域について前記ずれ量を評価するようにしてもよい。
【００２２】
１つのフレーム画像内に複数の地物が撮影されている場合には、フレーム画像全体に亘ってずれ量の評価を行うことが不適切な場合がある。例えば、フレーム画像全体の階調値の分布が広くなりすぎる場合などである。本発明によって、ユーザによって任意に指定された領域についてずれ量を評価するので、所望の地物について、適切にずれ量を評価し、補正するようにすることができる。
【００２３】
本発明の第３の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データを表示するビデオ画像表示部と、
前記ビデオ画像データの撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記履歴データに基づいて、電子地図上に、前記撮影位置の軌跡を前記ビデオ画像データと同じ時間スケールで動画表示する撮影位置表示部と、
を備えることを要旨とする。
【００２４】
ここで、「履歴データ」とは、例えば、緯度、経度などの撮影位置と、撮影時刻とが対応付けられて、時系列的に記録されたデータである。履歴データによって、撮影位置の軌跡を追跡することができる。また、「動画表示」とは、所定時間内に画面に動きがあることを意味しており、連続画像の表示であってもよいし、コマ送り画像の表示であってもよい。本発明によって、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。従って、表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
【００２５】
上記画像生成支援装置において、ビデオ画像の内容と撮影位置の軌跡との対応関係が適切になるように、ユーザがビデオ画像の表示と撮影位置の軌跡の表示のスタート時刻を合わせ、同期制御せずに、ビデオ画像の表示と撮影位置の軌跡の表示とを独立に並行して表示してもよいが、更に、前記ビデオ画像表示部と前記撮影位置表示部との同期を制御する同期制御部を備えることが好ましい。
【００２６】
同期制御部は、例えば、ビデオ画像データに撮影時刻データを含めるようにし、ビデオ画像の撮影時刻と履歴データの撮影時刻とに基づいて、両者の同期を制御することができる。こうすることによって、ビデオ画像の内容と撮影位置の軌跡との対応関係を、より正確に表示することができる。
【００２７】
本発明の第４の画像生成支援装置は、
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを入力する履歴データ入力部と、
前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備えることを要旨とする。
【００２８】
こうすることによって、上述した本発明の第１または第２の画像生成支援装置に入力するためのフィールドデータを容易に特定できる。この結果、画像の生成を支援することができる。
【００２９】
上記画像生成支援装置において、
前記所定の条件は、例えば、前記地物が前記画角のほぼ中央に存在する条件であるものとすることが好ましい。
【００３０】
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。上記構成によって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを選択することができる。
【００３１】
本発明の第４の画像生成支援装置において、
前記フレーム特定情報は、例えば、前記フレームの撮影時刻であるものとすることが好ましい。
【００３２】
こうすることによって、撮影時刻とフレームとは、互いに対応付けることができるので、多量のフレームの中から所望のフレームを容易に特定することができる。
【００３３】
本発明は、上述の画像生成支援装置としての構成の他、画像の生成を支援する方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【００３４】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成支援装置を駆動するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．貼付画像生成支援装置の構成：
Ｂ．同期表示処理：
Ｃ．フレーム特定処理：
Ｄ．静止画像データ生成処理（第１実施例）：
Ｅ．静止画像データ生成処理（第２実施例）：
Ｆ．静止画像データ生成処理（第３実施例）：
Ｇ．変形例：
【００３６】
Ａ．貼付画像生成支援装置の構成：
図１は、本発明の一実施例としての貼付画像生成支援装置１００の構成を示す説明図である。この貼付画像生成支援装置１００は、インタレース方式のディジタルビデオカメラ１０によって撮影されたビデオ画像データから静止画像データを生成し、先に説明した、ポリゴンに貼り付けるための貼付画像の生成を支援する装置である。本実施例では、ビデオ画像データは、いわゆるカーナビゲーション装置を搭載した車両に設置されたディジタルビデオカメラによって、走行しながらビルなどの地物を撮影したデータである。本実施例のビデオ画像データには、画像データとともに、各フレームの撮影時刻も記録されているものとする。貼付画像生成支援装置１００は、本発明の画像生成支援装置に相当する。
【００３７】
貼付画像生成支援装置１００は、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えるコンピュータや、各種プログラムやデータを記憶するためのハードディスクを備えている。貼付画像生成支援装置１００は、また、２つのディスプレイ５０、６０や、ユーザからの指示を入力するための、図示しない操作パネルやマウスなどの入力機器も備えている。
【００３８】
貼付画像生成支援装置１００は、図示した各機能ブロックをソフトウェア的に備えている。これらをハードウェア的に備えるようにしてもよい。これらの各機能ブロックは、図示しない制御部によって制御される。
【００３９】
入力部１１０は、ディジタルビデオカメラ１０によって記録されたビデオ画像データや、撮影履歴を記録した履歴データ２０や、撮影条件データ３０や、地図データ４０を、ハードディスクなどの記録媒体から入力する。入力部１１０は、また、操作パネルやマウスなどの入力機器から、ユーザの指示を入力する。
【００４０】
図２は、履歴データ２０の一例を示す説明図である。図示するように、履歴データ２０には、ディジタルビデオカメラ１０を設置した車両の位置情報、即ち、撮影位置の緯度および経度と、撮影時刻とが対応付けて記録されている。緯度および経度は、カーナビゲーション装置が備えるＧＰＳアンテナなどの位置検出装置によって検出されたものである。
【００４１】
撮影条件データ３０には、移動しながらディジタルビデオカメラ１０で撮影したときに、偶数フィールド画像データと奇数フィールド画像データとの撮影タイミングの相違に起因する画像のずれ量に影響を与えるパラメータが含まれる。本実施例では、撮影条件データ３０として、ディジタルビデオカメラ１０の車両への設置状態（カメラアングル）と、ディジタルビデオカメラ１０の画角とを用いるものとした。これらの他に、撮影時の車両の走行速度や、撮影位置と撮影対象となる地物との距離、ディジタルビデオカメラ１０の撮像素子のサイズ、レンズの焦点距離などを含めるようにしてもよい。
【００４２】
地図データ４０は、いわゆる電子地図データであり、道路や建物などの地物の位置（緯度、経度）や、その形状に関するデータが、それらの名称などの属性データとともに記録されている。
【００４３】
貼付画像生成支援装置１００は、大きく分けて、３つの機能を有する。
【００４４】
第１の機能は、撮影位置の軌跡とビデオ画像とを、ディスプレイ５０、６０に同期して表示させる（同期表示処理）機能である。これは、主として、入力部１１０と、同期制御部１２０と、表示制御部１３０とによって実現される。同期制御部１２０は、入力部１１０に入力されたビデオ画像データに含まれる撮影時刻と、履歴データの撮影時刻とに基づいて、撮影位置の軌跡とビデオ画像とを同期させる。表示制御部１３０は、同期制御部１２０が同期させたタイミングで、ディスプレイ５０には、電子地図ｍａｐとともに撮影位置ｐを表示させ、ディスプレイ６０には、撮影位置ｐから撮影したビルＢＬＤのビデオ画像ｐｉｃを表示させる。
【００４５】
この第１の機能によって、ディスプレイ６０に表示されるビデオ画像の内容と、ディスプレイ５０に表示される撮影位置の軌跡との対応関係を正確に表示することができる。従って、ユーザは、表示されているビデオ画像が、いつ、どこで撮影されたものであるのかを視覚的に容易に把握することができる。また、ディスプレイ６０に表示されている地物が電子地図上のどの地物に相当するのかを容易に知ることができる。
【００４６】
第２の機能は、ビデオ画像データの中から、貼付画像の生成の対象となる地物が適切に撮影されたフレームを自動的に特定する（フレーム特定処理）機能である。これは、主として、入力部１１０と、特定部１４０と、出力部１５０とによって実現される。特定部１４０は、入力部１１０に入力された履歴データと、撮影条件と、地物の位置とに基づいて、ディジタルビデオカメラ１０の画角内における地物の相対位置を特定する。この特定方法の詳細は後述する。出力部１５０は、特定部１４０が特定した地物の相対位置がディジタルビデオカメラ１０の画角の中央となるフレームの撮影時刻を算出し、記憶部１６０に出力する。記憶部１６０は、地物と撮影時刻とを対応付けて記憶する。
【００４７】
撮影対象物がカメラの画角の中央から外れると、画像に歪が生じる場合がある。第２の機能において、地物がディジタルビデオカメラ１０の画角の中央に存在するフレームを特定するようにすることによって、撮影対象の地物が画像の枠に収まっている複数のフレームの中から、撮影時の画像の歪が小さいフレームを特定することができる。また、撮影時刻とフレームとは、互いに対応付けることができるので、特定されたフレームの撮影時刻を出力することによって、多量のフレームの中から、次に説明する第３の機能で利用する適切なフレームを容易に特定することができる。
【００４８】
第３の機能は、ビデオ画像データから貼付画像を生成するための静止画像を生成する（静止画像データ生成処理）機能である。これは、主として、入力部１１０と、生成部１７０とによって実現される。生成部１７０は、記憶部１６０から、貼付画像の生成対象となる地物がディジタルビデオカメラ１０の画角の中央となるフレームの撮影時刻を取得し、これに対応した画像データを取得する。そして、この画像データを用いて、後述する静止画像データ生成処理によって静止画像データを生成する。生成部１７０で生成された静止画像データは、静止画像データ記憶部７０に記憶される。
【００４９】
この第３の機能によって、後述するように、インタレース方式のディジタルビデオカメラ１０で撮影された動画から、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００５０】
以下、上述した３つの機能に対応した処理の流れを説明する。
【００５１】
Ｂ．同期表示処理：
図３は、同期表示処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、入力部１１０によって、ビデオ画像データを取得する（ステップＳ１００）。このビデオ画像データには、先に説明したように、撮影時刻データも記録されている。次に、履歴データ２０を取得する（ステップＳ１１０）。そして、同期制御部１２０によって、ビデオ画像データに含まれる撮影時刻と、履歴データ２０に含まれる撮影時刻とを同期させる（ステップＳ１２０）。そして、表示制御部によって、ディスプレイ５０には、電子地図ｍａｐとともに撮影位置ｐを表示させ、ディスプレイ６０には、撮影位置ｐから撮影した地物のビデオ画像を表示させる。（ステップＳ１３０）。これらの処理は、ユーザによって処理の中断または終了の指示が入力されるか、全てのビデオ画像データの表示が終了するまで行われる。
【００５２】
Ｃ．フレーム特定処理：
図４は、フレーム特定処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、入力部１１０によって、履歴データ２０を取得する（ステップＳ２００）。次に、撮影条件データ３０を取得する（ステップＳ２１０）。次に、地図データ４０から地物の位置情報を取得する（ステップＳ２２０）。そして、特定部１４０によって、ディジタルビデオカメラの画角における地物の相対位置を特定しつつ（ステップＳ２３０）、出力部１５０によって、地物がディジタルビデオカメラ１０の画角の中央に存在するフレームを検索し（ステップＳ２４０）、そのフレームの撮影時刻を出力する（ステップＳ２５０）。以上の処理を貼付画像の生成対象となる各地物について行う。
【００５３】
図５は、上述したステップＳ２３０、Ｓ２４０における、フレームの特定方法を示す説明図である。図５（ａ）の上段および下段には、時刻ｔ１におけるディスプレイ５０およびディスプレイ６０の表示例をそれぞれ示した。図５（ｂ）の上段および下段には、時刻ｔ２におけるディスプレイ５０およびディスプレイ６０の表示例をそれぞれ示した。また、図５（ａ）、（ｂ）の上段には、ビルＢＬＤの位置Ｐｂ（ＬＡＴ１，ＬＯＮ１）と、各時刻における撮影位置Ｐｃ１（ＬＡＴｘ１，ＬＯＮｙ１）、Ｐｃ２（ＬＡＴｘ２，ＬＯＮｙ２）と、撮影条件（ディジタルビデオカメラ１０のカメラアングルθｈと画角θ）と、を併せて示した。図５では、時刻ｔ１において、ビルＢＬＤがディジタルビデオカメラ１０の画角θの右寄りに位置しており、時刻ｔ２においては、左寄りに位置している様子を例示した。
【００５４】
上述した各パラメータ値は、地図データ４０、履歴データ２０、撮影条件データ３０から取得することができ、それらを用いて、ディジタルビデオカメラ１０の画角θにおけるビルＢＬＤの相対位置を所定の演算によって算出することができる。更に、ビルＢＬＤがディジタルビデオカメラ１０の画角θの中央に位置する時刻を算出することも可能である。
【００５５】
図示した例では、撮影位置Ｐの移動方向のベクトルVmと、時刻ｔ１における撮影位置Ｐｃ１からビルＢＬＤへの方向のベクトルVpc1pbと、時刻ｔ２における撮影位置Ｐｃ２からビルＢＬＤへの方向のベクトルVpc2pbは、各位置情報から求めることができる。
【００５６】
そして、ベクトルVmとベクトルVpc1pbとのなす角度θt1は、
θt1=cos-1(Vm・Vpc1pb/(|Vm|*|Vpc1pc|))
である。ここで、Vm・Vpc1pbは、ベクトルVmとベクトルVpc1pvとの内積を表しており、|Vm|および|Vpc1pb｜は、ベクトルVmおよびベクトルVpc1pbの大きさを表している。
【００５７】
また、ベクトルVmとベクトルVpc2pbとのなす角度θt2は、
θt2=cos-1(Vm・Vpc2pb/(|Vm|*|Vpc2pc|))
である。ここで、Vm・Vpc2pbは、ベクトルVmとベクトルVpc2pvとの内積を表しており、|Vm|および|Vpc2pb｜は、VmおよびVpc2pbの大きさを表している。
【００５８】
時刻ｔ１において、角度θt1は、ディジタルビデオカメラ１０のカメラアングルθｈよりも小さいから、ビルＢＬＤは、ディジタルビデオカメラ１０の画角の右寄りに位置する。また、時刻ｔ２において、角度θt2は、ディジタルビデオカメラ１０のカメラアングルθｈよりも大きいから、ビルＢＬＤは、ディジタルビデオカメラ１０の画角の左寄りに位置する。
【００５９】
ビルＢＬＤがディジタルビデオカメラの画角θの中央に位置する時刻は、ベクトルVmと、撮影位置からビルＢＬＤ方向のベクトルとのなす角度がディジタルビデオカメラ１０のカメラアングルθｈと一致する時刻であるから、この時刻を求めればよい。
【００６０】
このようなフレーム特定処理によって、後述する静止画像データ生成処理に利用するフィールドデータを容易に特定することができる。
【００６１】
Ｄ．静止画像データ生成処理（第１実施例）：
図６は、第１実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、記憶部１６０から貼付画像の生成対象の地物がディジタルビデオカメラ１０の画角の中央に存在するフレームの撮影時刻を取得する（ステップＳ３００）。次に、その撮影時刻に撮影されたフレームの画像データの奇数フィールド画像データを取得する（ステップＳ３１０）。そして、各奇数ラインデータを複写することによって偶数ラインデータを生成する（ステップＳ３２０）。そして、各ラインデータを合成し（ステップＳ３３０）、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部７０に保存する（ステップＳ３４０）。静止画像データと地物との関連付けは、ユーザが個々に行ってもよいし、地物の位置情報と関連付けてもよい。また、地図データ４０に地物の名称が含まれる場合には、地物の名称と関連付けてもよい。
【００６２】
図７は、奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。図中の各マスは、画素を示している。例えば、奇数ラインｏｄｄ１の各データを隣接する下のラインに複写することによって、偶数ラインｅｖｅｎ１のデータを生成することができる。従って、偶数ラインｅｖｅｎ１の画素ＢのＲＧＢの各階調値は、奇数ラインｏｄｄ１の画素Ａの各階調値と同じである。偶数ラインｅｖｅｎ２の画素ＤのＲＧＢの各階調値は、奇数ラインｏｄｄ２の画素Ｃの各階調値と同じである。
【００６３】
上述した例では、奇数ラインデータを複写することによって偶数ラインデータを生成したが、奇数ラインデータ間の補間によって偶数ラインデータを生成するようにしてもよい。例えば、奇数ラインデータｏｄｄ１、ｏｄｄ２の補間（例えば、平均）によって、偶数ラインデータｅｖｅｎ１のデータを生成することができる。この場合、例えば、画素Ｂの各階調値は、画素Ａの各階調値と画素Ｂの各階調値との平均値となる。
【００６４】
第１実施例の静止画像データ生成処理では、奇数フィールド画像データのみを用いて静止画像を生成するので、奇数フィールド画像データと偶数フィールド画像データとの撮影時刻の相違が静止画像データには反映されない。従って、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００６５】
Ｅ．静止画像データ生成処理（第２実施例）：
上述した第１実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて静止画像データを生成したが、第２実施例では、１フレーム分のフィールドデータを用いて静止画像データを生成する。
【００６６】
図８は、第２実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、記憶部１６０から貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する（ステップＳ４００）。次に、入力部１１０によって、その撮影時刻に撮影されたフレームの画像データを１フレーム分、取得する（ステップＳ４１０）。つまり、ステップＳ４００で取得した撮影時刻に直近の奇数フィールド画像データと偶数フィールド画像データとを取得する。次に、撮影条件を取得する（ステップＳ４２０）。
【００６７】
次に、撮影条件に基づいて、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量を算出する（ステップＳ４３０）。ディジタルビデオカメラ１０の画素数等の仕様や撮影タイミングの差は、既知であるから、ずれ量は、先に説明した撮影条件を用いることによって、所定の演算によって算出することができる。
【００６８】
図９は、奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。まず、理解を容易にするために、撮影位置と撮影対象物との距離がほとんど変わらない状態で水平移動しながら撮影する場合（図９（ａ）参照）を例にして説明する。図９（ａ）の右側に拡大して示した１画素当たりのサイズがＮ（ｍｍ）のＣＣＤを備えるディジタルビデオカメラで撮影する場合を考える。ディジタルビデオカメラのレンズの焦点距離がｆ（ｍｍ）、撮影対象物までの距離をＬ（ｍｍ）とした場合、撮影対象物が水平方向にＭ（ｍｍ）移動すると、ＣＣＤにおける像は、Ｍ・（ｆ／Ｌ）（ｍｍ）移動することになる。つまり、Ｍ・（ｆ／Ｌ）／Ｎ画素移動する。
【００６９】
例えば、レンズの焦点距離が５（ｍｍ）であり、１画素当たりのサイズが０．００５（ｍｍ）のＣＣＤを備えるディジタルビデオカメラを用いて、３０（ｍ）離れたビルを、４０（ｋｍ／ｈ）で水平移動しながら撮影する場合、撮影位置は、１／６０（ｓ）間に約１８５（ｍｍ）移動する。つまり、ビルは相対的に約１８５（ｍｍ）移動する。このとき、ＣＣＤにおける像は、約０．０３（＝１８５・（５／３００００））（ｍｍ）、即ち、約６画素分移動することになる。
【００７０】
上述した例は、図９（ｂ）において、車両にディジタルビデオカメラを進行方向（ベクトルＶｍａの方向）に対して左９０度の向きに設置し、点ｐにおいて、ベクトルＶｍａの方向に移動しながら、進行方向に対して左９０度に存在するビルＢＬＤ１を撮影する場合に相当する。
【００７１】
次に、車両にディジタルビデオカメラを進行方向に対して左にθｈ度の向きに設置し、点ｐにおいて、ベクトルＶｍａの方向に移動しながら、進行方向に対して左にθｈ度に存在するビルＢＬＤ２を撮影する場合について説明する。この場合は、図９（ｂ）に示すように、ベクトルＶｍａをディジタルビデオカメラの設置方向のベクトルＶｍａ２と、ベクトルＶｍａ２に直交するベクトルＶｍａ１とに分解することによって、先に説明した場合と同様に理解することができる。つまり、ベクトルＶｍａ１の大きさが水平方向の移動速度に相当する。この移動速度から１／６０（ｓ）間の移動距離が求められるから、奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、ここでは、ベクトルＶｍａ２による撮影位置点ｐとビルＢＬＤ２との距離の変化は考慮していない。
【００７２】
このようにして奇数フィールド画像データと偶数フィールド画像データとの水平方向のずれ量を算出することができる。なお、本実施例において、撮影位置の移動速度を入力していないが、撮影位置の移動速度は、履歴データから容易に算出することができる。また、撮影対象物までの距離は、撮影位置と撮影対象物の位置とから容易に算出することができる。
【００７３】
図８のステップＳ４３０において、ずれ量を算出すると、算出された値に従って、奇数フィールド画像データと偶数フィールド画像データの少なくとも１つを水平方向にずらすことによって、ずれ量を補正する（ステップＳ４４０）。本実施例では、偶数フィールド画像データを水平方向にずらすことによって補正を行い、補正偶数フィールド画像データを生成するものとした。このとき、補正を行うことによって、画像の枠からはみ出す画素の画像データは削除し、不足する画素の画像データには黒を表示する画像データを追加することとした。
【００７４】
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し（ステップＳ４５０）、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部７０に保存する（ステップＳ４６０）。
【００７５】
図１０は、第２実施例における静止画像データの生成の様子を模式的に示す説明図である。図中の各マスは画素を表している。図から分かるように、補正前の奇数フィールド画像データと偶数フィールド画像データとは、水平方向にずれている（左図）。生成部１７０は、偶数フィールド画像データが右に２画素分ずれていることを算出し、これを左に２画素ずらす補正を行う（右図）。なお、図１０の右図では、補正によって画像の枠からはみ出し削除された画素、不足して追加された画素も表している。
【００７６】
第２実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、撮影条件に基づいて算出することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００７７】
Ｆ．静止画像データ生成処理（第３実施例）：
上述した第２実施例の静止画像データ生成処理では、算出されたずれ量に基づいてラインデータをずらすことによって補正を行ったが、第３実施例の静止画像データ生成処理では、ラインデータを逐次ずらして、所定の評価を行いつつ、最適なずらし量を決定し、補正を行う。
【００７８】
図１１は、第３実施例の静止画像データ生成処理の流れを示すフローチャートである。貼付画像生成支援装置１００のＣＰＵが実行する処理である。まず、ＣＰＵは、貼付画像の生成対象の地物がディジタルビデオカメラの画角の中央に存在するフレームの撮影時刻を取得する（ステップＳ５００）。次に、入力部１１０によって、その撮影時刻に撮影されたフレームの画像データを１フレーム分、取得し（ステップＳ５１０）、これを合成して静止画像データを生成する（ステップＳ５２０）。
【００７９】
次に、ユーザによって指定された画像データ上の指定領域を取得する（ステップＳ５３０）。本実施例では、ステップＳ５２０で生成された画像データがディスプレイ６０に表示され、ユーザが表示画面上でマウスを用いて領域を指定し、入力するものとした。
【００８０】
次に、指定領域内の画素について、階調値のバラつきを算出する（ステップＳ５４０）。本実施例では、バラつきを表すパラメータとして、分散を用いることとした。分散以外のパラメータを用いるものとしてもよい。そして、評価値としての分散の値を一時的に記憶する（ステップＳ５４２）。次に、偶数フィールド画像データを水平方向にずらし（ステップＳ５４３）、再度合成することによって静止画像データを生成する（ステップＳ５４４）。そして、指定領域内の画素について、再度階調値のバラつきを算出する（ステップＳ５４６）。そして、評価値を一時的に記憶する（ステップＳ５４８）。次に、分散の値に極小値があるか否かを判定する（ステップＳ５５０）。極小値があった場合、この極小値が得られたときのずらし量を最適なずらし量と決定する。そして、このずらし量で偶数フィールド画像データをずらすことによって補正を行い（ステップＳ５６０）、補正偶数フィールド画像データを生成する。極小値がない場合には、ステップＳ５４３〜Ｓ５５０を繰り返す。
【００８１】
そして、奇数フィールド画像データと補正偶数フィールド画像データとを合成し（ステップＳ５７０）、静止画像データを生成する。そして、生成された静止画像データを、地物と関連付けて、静止画像データ記憶部７０に保存する（ステップＳ５８０）。
【００８２】
図１２は、第３実施例における静止画像データの生成の様子を模式的に示す説明図である。図１２の上段には、逐次補正を行ったときの画像の状態を示した。図中には、指定領域Ｒを併せて破線で示した。「状態１」は、入力されたままの状態の画像を示している。「状態２」は、偶数フィールド画像データを左に１画素分ずらした画像を示している。「状態３」は、偶数フィールド画像データを２画素分ずらした画像を示している。「状態４」は、偶数フィールド画像データを３画素分ずらした画像を示している。
【００８３】
図１２の下段には、各状態における分散の値を示した。図示した例では、「状態３」において、分散が極小値をとっていることが分かる。従って、「状態１」の画像から、偶数フィールド画像データを左に３画素分ずらした「状態３」の画像を、最終的に保存する静止画像とする。
【００８４】
第３実施例の静止画像データ生成処理では、フィールドデータ間の撮影時刻の相違に起因する水平方向のずれ量を、分散に基づいて評価しつつ補正することができるので、適切な補正を行うことができる。この結果、ズレのない静止画像を生成し、ポリゴンへの貼付画像を生成することができる。
【００８５】
Ｇ．変形例：
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例が可能である。
【００８６】
Ｇ１．変形例１：
上記第１実施例の静止画像データ生成処理では、奇数フィールド画像データを用いて偶数ラインデータを生成するものとしたが、これに限られない。本発明は、一般に、いずれかのフィールドデータを用いて未入力のラインデータを生成し、合成することによって静止画像データを生成するものであるから、偶数フィールド画像データを用いて奇数ラインデータを生成するものとしてもよい。
【００８７】
Ｇ２．変形例２：
上記第２および第３実施例の静止画像データ生成処理では、偶数フィールド画像データを水平方向にずらすことによって補正を行ったが、これに限られない。本発明は、一般に、いずれかのフィールドデータを水平方向にずらすことによって補正を行うものであるから、例えば、奇数フィールド画像データをずらすようにしてもよいし、両者をずらすようにしてもよい。
【００８８】
また、上記第２の静止画像データ生成処理では、１フレーム分のフィールドデータを入力するものとしたが、２フレーム以上のフィールドデータを入力し、これらを利用して、フィールドデータ間の水平方向のずれ量を算出するようにしてもよい。
【００８９】
Ｇ３．変形例３：
上記第３実施例の静止画像データ生成処理では、ユーザによって指定された指定領域について、画素間の階調値のバラつきの評価を行ったが、予め決められた所定領域について、縦方向に配列された画素間の階調値のバラつきの評価を行うようにしてもよい。
【００９０】
Ｇ４．変形例４：
上記実施例では、貼付画像生成支援装置１００は、同期制御部１２０を備えているが、これを備えていなくてもよい。この場合、例えば、ユーザが、ディスプレイ６０に表示されるビデオ画像と、ディスプレイ５０に表示される撮影位置の軌跡との表示のスタート時刻を合わせ、両者を同じ時間スケールで、独立に並行して表示させるようにしてもよい。
【００９１】
Ｇ５．変形例５：
上記実施例のフレーム特定処理において、地物がディジタルビデオカメラ１０の画角の中央に存在するフレームを特定するものとしたが、これに限られない。予め定められた所定条件を満たすフレームを特定するようにすればよい。
【００９２】
Ｇ６．変形例６：
上記実施例のフレーム特定処理では、撮影された各地物をフレーム特定処理の処理対象としたが、これに限られない。例えば、ディスプレイ５０に表示された電子地図ｍａｐ上において、ユーザが処理対象となる地物を個別に指定できるようにしてもよい。指定された地物の位置情報は、地図データ４０から特定することができるから、先に図５を用いて説明したように、指定された地物が画角の中央に存在するフレームを特定することができる。処理対象となる地物をユーザが指定できるようにすることによって、ユーザが貼付画像の生成に必要な地物が撮影されたフレームだけを抽出することができるので、処理時間を短縮することができる。
【００９３】
Ｇ７．変形例７：
上記実施例では、扱うビデオ画像データをインタレース方式のディジタルビデオカメラ１０で記録されたビデオ画像データであるとしたが、これに限られない。上述した貼付画像生成支援装置１００の第１および第２の機能は、プログレッシブ方式のディジタルビデオカメラで記録されたビデオ画像データについても適用可能である。
【００９４】
Ｇ８．変形例８：
上記実施例では、貼付画像生成支援装置１００は、先に説明した３つの機能を併せ持っているが、各機能のうちの少なくとも１つを独立に備える貼付画像生成支援装置を構成するようにしてもよい。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施例としての貼付画像生成支援装置１００の構成を示す説明図である。
【図２】履歴データ２０の一例を示す説明図である。
【図３】同期表示処理の流れを示すフローチャートである。
【図４】フレーム特定処理の流れを示すフローチャートである。
【図５】フレームの特定方法を示す説明図である。
【図６】第１実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図７】奇数ラインデータを複写することによって偶数ラインデータを生成する様子を模式的に示す説明図である。
【図８】第２実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図９】奇数フィールド画像データと偶数フィールド画像データの撮影タイミングの相違に起因する水平方向のずれ量の算出方法を示す説明図である。
【図１０】第２実施例における静止画像データの生成の様子を模式的に示す説明図である。
【図１１】第３実施例の静止画像データ生成処理の流れを示すフローチャートである。
【図１２】第３実施例における静止画像データの生成の様子を模式的に示す説明図である。
【符号の説明】
【００９６】
１０...ディジタルビデオカメラ
２０...履歴データ
３０...撮影条件データ
４０...地図データ
５０、６０...ディスプレイ
７０...静止画像データ記憶部
１００...貼付画像生成支援装置
１１０...入力部
１２０...同期制御部
１３０...表示制御部
１４０...特定部
１５０...出力部
１６０...記憶部
１７０...生成部
Ｒ...指定領域
【特許請求の範囲】
【請求項１】
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、第１の記録媒体から入力する履歴データ入力部と、
第２の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備える画像生成支援装置。
【請求項２】
請求項１記載の画像生成支援装置であって、
前記所定の条件は、前記地物が前記画角のほぼ中央に存在する条件である、
画像生成支援装置。
【請求項３】
請求項１記載の画像生成支援装置であって、
前記フレーム特定情報は、前記フレームの撮影時刻である、
画像生成支援装置。
【請求項４】
地物の画像の生成を支援する画像生成支援方法であって、
（ａ）移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、コンピュータが、第１の記録媒体から取得する工程と、
（ｂ）前記コンピュータが、第２の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を取得する工程と、
（ｃ）前記コンピュータが、前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する工程と、
（ｄ）前記コンピュータが、前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する工程と、
を備える画像生成支援方法。
【請求項５】
地物の画像の生成を支援する画像生成支援装置を制御するためのコンピュータプログラムであって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、第１の記録媒体から取得する機能と、
第２の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を取得する機能と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する機能と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項６】
請求項５記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
【請求項１】
地物の画像の生成を支援する画像生成支援装置であって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、第１の記録媒体から入力する履歴データ入力部と、
第２の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を入力する撮影条件入力部と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する相対位置特定部と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する出力部と、
を備える画像生成支援装置。
【請求項２】
請求項１記載の画像生成支援装置であって、
前記所定の条件は、前記地物が前記画角のほぼ中央に存在する条件である、
画像生成支援装置。
【請求項３】
請求項１記載の画像生成支援装置であって、
前記フレーム特定情報は、前記フレームの撮影時刻である、
画像生成支援装置。
【請求項４】
地物の画像の生成を支援する画像生成支援方法であって、
（ａ）移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、コンピュータが、第１の記録媒体から取得する工程と、
（ｂ）前記コンピュータが、第２の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を取得する工程と、
（ｃ）前記コンピュータが、前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する工程と、
（ｄ）前記コンピュータが、前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する工程と、
を備える画像生成支援方法。
【請求項５】
地物の画像の生成を支援する画像生成支援装置を制御するためのコンピュータプログラムであって、
移動しながら撮影した前記地物を記録したビデオ画像データについて、撮影位置を時系列的に記録した履歴データを、第１の記録媒体から取得する機能と、
第２の記録媒体から、前記撮影時のカメラアングルおよびカメラの画角を含む撮影条件を取得する機能と、
前記地物の位置と、前記履歴データと、前記撮影条件とに基づいて、前記画角内における前記地物の相対位置を特定する機能と、
前記ビデオ画像データにおいて、前記相対位置が予め設定された所定の条件を満たすフレームを特定するためのフレーム特定情報を出力する機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【請求項６】
請求項５記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−７６０８４（Ｐ２００９−７６０８４Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００８−２６７１３３（Ｐ２００８−２６７１３３）
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【分割の表示】特願２００２−３５０３０９（Ｐ２００２−３５０３０９）の分割
【原出願日】平成１４年１２月２日（２００２．１２．２）
【出願人】（５０２００２１８６）株式会社ジオ技術研究所 (23)
【出願人】（０００２０９７５１）池上通信機株式会社 (123)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【分割の表示】特願２００２−３５０３０９（Ｐ２００２−３５０３０９）の分割
【原出願日】平成１４年１２月２日（２００２．１２．２）
【出願人】（５０２００２１８６）株式会社ジオ技術研究所 (23)
【出願人】（０００２０９７５１）池上通信機株式会社 (123)
【Ｆターム（参考）】
[ Back to top ]