説明

画像合成装置

【課題】 画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる画像合成装置を提供する。
【解決手段】 カメラ2によって取得した現実映像中におけるARマーカをARオブジェクトに変換して映像中に表示する。このとき、現実画像中におけるARマーカが、緊急用や警告などを示す看板や標識である場合等には、ARオブジェクトを透明表示するとともに、ARオブジェクトに対応する現実画像をコピーして、現実画像の最前面に重畳表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像合成装置に関する。
【背景技術】
【0002】
近年のナビゲーション装置等においては、車両の周辺をカメラで撮像して得られた現実の映像などに対して、コンピュータグラフィックス(以下「CG」という)などの拡張現実(Augmented Reality、以下「AR」という)オブジェクトを重畳表示して種々の情報を乗員に提供する技術が開発されている。このように、現実の画像に対してCG画像を重畳表示する技術として、従来、実写風景を背景としてCG画像と実写の被写体を前景に合成して表示する情報処理装置が知られている(たとえば、特許文献1参照)。
【0003】
この情報処理装置では、実写風景の中から被写体画像を認識し、認識した被写体画像以外の領域に対してCG画像を合成している。こうして、実写風景における被写体以外の画像を背景として、CG画像および被写体が前景となる合成画像が生成されるというものである。かかる合成画像では、実写風景、CG画像、および被写体が自然な位置関係で表示される合成画像を得ることができるというものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−296579号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、ナビゲーション装置などで現実の映像にARオブジェクトを重畳表示させる場合、現実の映像に道路標識などの重要な情報を表示する特定対象物が含まれることがある。このとき、現実の映像にARオブジェクトを重畳表示させると、ARオブジェクトによって特定対象物が隠れてしまう可能性がある。このとき、ARオブジェクトの前景に特定対象物を表示することが考えられ、そのために、上記特許文献1に開示された技術を応用することが考えられる。
【0006】
しかし、上記特許文献1に開示された情報処理装置においては、実写風景の中に含まれる被写体としての特定対象物を認識する必要があった。被写体を認識するためには、被写体の色等に基づいて被写体を実写風景から抽出するなどの処理を施す必要があり、その分処理コストが増大してしまうという問題があった。
【0007】
そこで、本発明の課題は、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる画像合成装置を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決した本発明に係る画像合成装置は、現実の映像である現実映像を取得する現実映像取得手段と、現実映像から特定対象物を認識する特定対象物認識手段と、認識した特定対象物を現実映像から抽出し、仮想画像に変換する仮想画像変換手段と、変換した変換画像を現実映像上に重畳表示する重畳表示手段と、を備え、仮想画像が特定属性を有する特定仮想画像である場合には、重畳表示手段は、特定仮想画像に対応する現実映像をコピーした特定対象物現実画像を現実映像上に重畳表示することを特徴とする。
【0009】
本発明に係る画像合成装置は、仮想画像が特定属性を有する特定仮想画像である場合には、重畳表示手段は、特定仮想画像に対応する現実映像をコピーした特定対象物現実画像を現実映像上に重畳表示する。このため、特定属性を有する仮想画像に対応する特定対象物現実画像を表示することができるので、特定対象物を前景に表示することができる。さらに、特定対象物現実画像は、現実画像をコピーしたものであるので、現実画像から特定対象物を抽出する必要はない。したがって、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる。
【発明の効果】
【0010】
本発明に係る画像合成装置によれば、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る画像合成装置のブロック構成図である。
【図2】ARオブジェクトと優先度との関係を示すマップである。
【図3】(a)は、現実画像を示す図、(b)は、ARマーカとARオブジェクトとの関係を示す図、(c)は、現実画像にARオブジェクトを重畳表示した画像を示す図である。
【図4】ARマーカが表示された標識を示す図である。
【図5】(a)は、ARマーカが表示された看板を示す図、(b)は、ARオブジェクトが重畳表示された看板を示す図である。
【図6】本発明の実施形態に係る画像合成装置の処理手順を示すフローチャートである。
【図7】(a)は、従来の技術によるARオブジェクトを表示した現実画像を示す図、(b)は、本実施形態に係るARオブジェクトを表示した現実画像を示す図である。
【図8】ユーザから見た現実画像とARオブジェクトとの関係を模式的に示す図である。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。
【0013】
図1は、本発明の実施形態に係る画像合成装置のブロック構成図である。図1に示すように、本実施形態に係る画像合成装置は、車両に搭載される車載装置Mおよび情報通信センタに設けられるサーバSを備えている。車載装置Mは、視界支援ECU(Electrical Control Unit)1、現実映像取得手段であるカメラ2、ヘッドアップディスプレイ3、および車両側通信装置4を備えている。さらに、サーバSは、センタ側通信装置5および演算処理装置6を備えている。
【0014】
車載装置Mにおける視界支援ECU1は、画像認識部11、通信部12、AR判断部13、およびAR合成部14を備えている。さらに、サーバSにおける演算処理装置6は、情報処理部21、ARオブジェクトデータ記憶部22、および優先順位マトリクス記憶部23を備えている。
【0015】
車載装置Mにおけるカメラ2は、たとえば車両における車室内に設けられており、車両における前方の映像を撮像している。カメラ2で撮像される映像には、通常車両が走行する際に前方に現れる信号や道路標識、種々の案内や広告看板などに付与されるARマーカが含まれている。カメラ2は、撮像した映像に関する映像信号を視界支援ECU1における画像認識部11およびAR合成部14に送信する。ARマーカまたはARマーカが付与された物体が本発明の特定対象物となる。
【0016】
ヘッドアップディスプレイ3は、視界支援ECU1におけるAR合成部14から送信されるAR合成画像信号を受信することにより、車両の前方における映像を映写する。ここで、ヘッドアップディスプレイ3に映写される映像には、車両の前方の映像のほか、AR合成部14で合成されたARオブジェクトなども含まれる。ARオブジェクトは、本発明の仮想画像に相当する。また、ヘッドアップディスプレイ3は、本発明の重畳表示手段を構成する。
【0017】
車両側通信装置4は、視界支援ECU1から送信される種々の情報を情報処理センタにおけるセンタ側通信装置5に送信する。また、センタ側通信装置5から送信される種々の情報を受信する。車両側通信装置4は、受信した種々の情報を視界支援ECU1に送信する。
【0018】
センタ側通信装置5は、演算処理装置6から送信される種々の情報を車両に搭載された車載装置Mにおける車両側通信装置4に送信する。また、車両側通信装置4から送信される種々の情報を受信する。センタ側通信装置5は、受信した種々の情報を演算処理装置6に送信する。
【0019】
車載装置Mの視界支援ECU1における画像認識部11は、カメラ2から送信される映像情報に対して画像処理を施し、カメラ2で撮像した映像中から、道路標識や広告看板などに付与されたマーカを抽出する。画像認識部11は、抽出したマーカに関するマーカ情報を通信部12に出力する。また、画像認識部11は、抽出したマーカの位置に関するマーカ位置情報をカメラ2から送信された映像信号とともにAR合成部14に出力する。視界支援ECU1は、特定対象物認識手段を構成する。
【0020】
通信部12は、車両側通信装置4との間で送受信処理を行っている。通信部12では、画像認識部11から出力されたマーカ情報を車両側通信装置4に送信し、通信部12からはARオブジェクト情報が送信される。通信部12は、車両側通信装置4から送信されたARオブジェクト情報をAR判断部13に出力する。
【0021】
AR判断部13は、通信部12から出力されたARオブジェクト情報に基づいて、現実映像におけるマーカが取得された位置に表示するARオブジェクトを確認する。AR判断部13は、確認したARオブジェクトに基づいて、ヘッドアップディスプレイ3に表示するARオブジェクトの優先度を判断する。AR判断部13は、ARオブジェクトの優先度の判断結果をAR優先度信号としてAR合成部14に出力する。
【0022】
AR合成部14は、画像認識部11から出力されるマーカ位置情報およびAR判断部13から出力されたAR優先度信号に基づいて、ARマーカをヘッドアップディスプレイ3に表示するARオブジェクトに変換し、カメラ2から送信された映像信号に合成する。このときに変換されたARオブジェクトが本発明の変換画像となる。また、AR合成部14を含む視界支援ECU1が、本発明の仮想画像変換手段を構成する。
【0023】
このARオブジェクトを合成する際に、AR優先度信号に基づく優先度が参照される。また、ARオブジェクトに本発明の特定属性である透明属性が付与されている場合には、ARオブジェクトは本発明の特定仮想画像となり、このARオブジェクトを透明表示するとともに、このARオブジェクトに対応する現実画像をコピーし、ヘッドアップディスプレイ3に重畳表示する。この現実画像をコピーした画像が特定対象物現実画像となる。AR合成部14は、ARオブジェクトを合成した映像に関するAR合成映像信号をヘッドアップディスプレイ3に送信する。
【0024】
サーバSの演算処理装置6における情報処理部21は、センタ側通信装置5から送信された情報のうちのマーカ情報を受信する。情報処理部21では、受信したマーカ情報に対応するARオブジェクトデータをARオブジェクトデータ記憶部22から読み出す。また、読み出したARオブジェクトの優先順位を優先順位マトリクス記憶部23から読み出す。情報処理部21は、読み出したARオブジェクトおよびその優先順位に関するARオブジェクト情報をセンタ側通信装置5に送信する。
【0025】
ARオブジェクトデータ記憶部22は、マーカ情報に対応する複数のARオブジェクトデータを記憶している。具体的には、道路標識、交通案内、一般サービス、さらには、広告に関する情報などを記憶している。ARオブジェクトデータ記憶部22は、情報処理部21の読み出しに応じて、記憶しているARオブジェクトデータを情報処理部21に出力する。
【0026】
優先順位マトリクス記憶部23は、ARオブジェクトデータ記憶部22が記憶しているARオブジェクトデータの個々の優先度を記憶している。ここでの優先度としては、図2に示すように緊急用の情報が優先度「1」、警告に関する情報が優先度「2」、案内に関する情報が優先度「3」、一般サービスなどの情報が優先度「4」、広告が優先度「5」に設定されている。優先度は、数値が小さいほど重要なものとして規定されている。
【0027】
ここで、優先度の高いARオブジェクトデータには、透明属性が付与されている。具体的には、優先度が「1」または「2」であるARオブジェクトデータに透明属性が付与されている。また、警告に関する情報には、飛び出し注意に関する道路標識などの事故に直結する情報が含まれる。さらに、案内に関する情報には、速度に関する標識や落石注意の標識などが含まれる。
【0028】
本発明に係る画像合成装置を用いるにあたり、いわゆるマーカ型ARの考え方が基本となっている。以下、マーカ型ARの基本概念について説明する。マーカ型ARでは、たとえば図3(a)に示すように、実空間上にARマーカ30が置かれている。このとき、図4に示すように、標識31の一部に対して、ARマーカ30が表示されて実空間上に置かれていることもある。
【0029】
ARマーカ30は、画像認識技術で認識しやすい特徴的なマークである。具体的には、星型、四角型、三角型などの形状とされている。マーカ型ARでは、ARマーカ30をカメラで認識させ、ARマーカ30に紐付いているCG画像をARマーカ30が置いてある位置に合成される技術である。
【0030】
ここでは、図3(b)に示すように、ARマーカ30にはフードショップを表すハンバーガーのCG画像32が紐付けられている。このため、図3(a)に示す画像におけるARマーカ30が置いてある位置に、図3(c)に示すように、ハンバーガーのCG画像32を合成して表示する。マーカ型ARでは、マーカの大きさや場所に合わせてCG画像を合成することができるので、ARマーカ30が設けられている位置に近づけばCG画像32を大きく表示し、離れれば小さく表示するなどとすることができる。
【0031】
また、看板などの表示にマーカ型ARを用いることもできる。たとえば、図5(a)に示すように、直進方向に「安城市」、右折方向に「知立市」の行き先文字が表示された看板をカメラによって撮影したとする。ここで、ARマーカ30が看板に設けられていることにより、図5(b)に示すように、補足情報として、直進方向に「安城市」のほかに「豊田市」のCG画像を表示することができる。
【0032】
また、ARマーカ30の大きさに合わせてCG画像を合成することができるので、看板に近づいたり、看板から離れたり、あるいは看板を見る角度が変わったりした場合でも、同じ位置にCG画像AR表示することが可能となる。さらには、看板そのものを明瞭なCR画像の看板として表示することもできる。
【0033】
それでは、本実施形態に係る画像合成装置における動作について説明する。図6は、本発明の実施形態に係る画像合成装置の処理手順を示すフローチャートである。図6に示すように、本実施形態に係る画像合成装置においては、まず、車載装置Mのカメラ2によって、車両の外側における現実の映像である現実映像を撮像して取得する(S1)。
【0034】
現実映像を取得したら、画像認識部11において、現実映像中におけるARマーカを認識したか否かを判断する(S2)。その結果、ARマーカを認識していないと判断した場合には、ARオブジェクトを合成することなく、そのまま撮影した映像をヘッドアップディスプレイ3に映写する(S8)。
【0035】
一方、ARマーカを認識したと判断した場合には、認識したARマーカに関するマーカ情報をセンタのサーバSにおける演算処理装置6に送信し、ARマーカに対応するARオブジェクトを取得する(S3)。ここで、ARマーカを複数認識した場合には、認識したすべてのARマーカに対するARオブジェクトを取得する。ARオブジェクトを取得する際に、ARオブジェクトにおける優先度を合わせて取得する。
【0036】
ARオブジェクトを取得したら、取得したARオブジェクトに透明属性が付与されているか否かを判断する(S4)。その結果、透明属性が付与されていないと判断した場合には、AR合成部14は、画像認識部11から出力された画像におけるARマーカが置かれていた位置にARオブジェクトをそのまま重畳表示する(S5)。ARオブジェクトを重畳表示する際、ARオブジェクトにおける優先度を参照し、優先度が高いARオブジェクトほど手前側に表示する。
【0037】
一方、ARオブジェクトに透明属性が付与されていると判断した場合には、現実映像中におけるARマーカが置かれている部分の背景画像をコピーする(S6)。その後、AR合成を行う(S7)。ここでのAR合成では、ARオブジェクトの前景として、コピーした背景画像を重畳表示する。この場合においても、ARオブジェクトを重畳表示する際、ARオブジェクトにおける優先度を参照し、優先度が高いARオブジェクトほど手前側に表示する。
【0038】
そして、ステップS5またはステップS7においてAR合成を行ったら、AR合成画像をヘッドアップディスプレイに表示する(S8)。こうして、画像合成装置における処理を終了する。
【0039】
従来のAR合成を用いた技術では、近接する領域にARオブジェクトが混在すると、ARオブジェクト同士が重なって表示されてしまい、AR合成された映像における一部のARオブジェクトが視認しにくくなることがある。たとえば、現実画像中に、ハンバーガーの広告、速度標識、立ち入り禁止区域を示す標識に関するARマーカが置いてあった場合を想定する。
【0040】
この場合、従来のAR合成を用いた技術では、図7(a)に示すように、映像中に3つのARオブジェクトが表示される。ここでは、速度制限を示す速度標識のCG画像である第1ARオブジェクト51、ハンバーガーの画像CG画像である第2ARオブジェクト52、および関係者以外の立ち入り禁止を示す第3ARオブジェクト53が表示される。
【0041】
このとき、各ARオブジェクト51〜53は、カメラ2に近い位置にあるARマーカに関するARオブジェクトから順番に前側から表示されるこのため、手前側から順に、第2ARオブジェクト52、第1ARオブジェクト51、および第3ARオブジェクト53が表示される。
【0042】
ここで、第3ARオブジェクト53は、立ち入り禁止区域を示す重要な標識であるが、従来の技術では、第1ARオブジェクト51および第2ARオブジェクト52がその表面に表示されてしまい、ユーザが第3ARオブジェクト53を視認しにくい状況となってしまっている。
【0043】
これに対して、本実施形態に係る画像合成装置では、ARオブジェクトを表示する際に優先度の高いARオブジェクトほど手前側に表示する。第1ARオブジェクト51は優先度「3」であり、第2ARオブジェクト52は優先度「5」であり、第3ARオブジェクト53は優先度「1」である。このため、図7(b)に示すように、手前側から順に第3ARオブジェクト53、第1ARオブジェクト51、および第2ARオブジェクト52が表示される。
【0044】
さらに、第3ARオブジェクト53については、透明属性が付与されていることから、第3ARオブジェクト53を透明表示し、現実映像からARオブジェクトに対応する背景画像をコピーして前景として最前面に表示する。背景画像をコピーして前景として表示するイメージを図8に示す。
【0045】
図8に示すように、現実映像の表面に第1ARオブジェクト51および第2ARオブジェクト52が表示されるが、その表面に、透明表示される第3ARオブジェクトとともに立ち入り禁止区域を示す標識のコピー画像が表示される。このため、ユーザHは、第1ARオブジェクト51および第2ARオブジェクト52よりも前面に表示された第3ARオブジェクト53として、透明表示された第3ARオブジェクトおよび立ち入り禁止区域を示す標識のコピー画像を視認することができる。したがって、第3ARオブジェクト53に対応する立ち入り禁止区域の重要な標識を確実に視認することができる。
【0046】
また、第3ARオブジェクト53を表示するにあたり、背景画像をコピーして前景として表示している。このため、第3ARオブジェクト53は透明になっているように見える一方で、第3ARオブジェクト53に対応する現実映像をコピーして現実映像上に重畳表示する。このため、第3ARオブジェクト53に対応する現実映像のコピー画像を表示すればよいので、現実画像から第3ARオブジェクト53に対応する映像を抽出する必要はない。したがって、画像処理を施す際の処理コストの増大を防止しながら、現実の映像に含まれる特定対象物を画像の前景に表示することができる。
【0047】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、ARオブジェクトデータの個々の優先度を優先順位マトリクス記憶部23に記憶する態様としているが、ARマーカに優先度情報を付与しておく態様とすることもできる。
【0048】
また、上記実施形態では、情報通信センタに演算処理装置6を設けているが、これと同等の装置を車両に設ける態様とすることもできる。この場合には、たとえば自車のみでARオブジェクトデータを取得するほか、車車間通信を利用してARオブジェクトデータを取得する態様とすることもできる。
【0049】
さらに、上記実施形態においては、優先度に応じてARオブジェクトの表示位置を調整しているが、優先度を設定することなく、透明属性が付与されたARオブジェクトを前景に表示する態様とすることもできる。他方、上記実施形態においては、ARマーカに対して取得されたARオブジェクトに透明属性が付与されている場合には、ARオブジェクトを透明表示し、その前面に現実映像からARオブジェクトに対応する背景画像をコピーして表示するが、ARオブジェクトを透明表示することなく、背景画像のコピーを表示する態様とすることもできる。
【符号の説明】
【0050】
1…視界支援ECU、2…カメラ、3…ヘッドアップディスプレイ、4…車両側通信装置、5…センタ側通信装置、6…演算処理装置、11…画像認識部、12…通信部、13…AR判断部、14…AR合成部、22…ARオブジェクトデータ記憶部、23…優先順位マトリクス記憶部、30…ARマーカ、31…標識、32…画像、51…第1ARオブジェクト、52…第2ARオブジェクト、53…第3ARオブジェクト、H…ユーザ、M…車載装置、S…サーバ。

【特許請求の範囲】
【請求項1】
現実の映像である現実映像を取得する現実映像取得手段と、
前記現実映像から特定対象物を認識する特定対象物認識手段と、
認識した前記特定対象物を前記現実映像から抽出し、仮想画像に変換する仮想画像変換手段と、
変換した前記変換画像を前記現実映像上に重畳表示する重畳表示手段と、を備え、
前記仮想画像が特定属性を有する特定仮想画像である場合には、前記重畳表示手段は、前記特定仮想画像に対応する現実映像をコピーした特定対象物現実画像を前記現実映像上に重畳表示することを特徴とする画像合成装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−164157(P2012−164157A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−24411(P2011−24411)
【出願日】平成23年2月7日(2011.2.7)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】