画像処理判定装置
【課題】各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させる。
【解決手段】画像処理判定装置１０のエッジ画像生成部２１は、端末装置１４、ナビゲーション装置１５、撮影装置１６などの外部機器から出力される表示データに含まれる画像から複数のエッジを抽出する。そして、抽出した複数のエッジから外部機器の特性に応じた所定の選択方法により所定のエッジを選択してエッジ画像を作成する。
【解決手段】画像処理判定装置１０のエッジ画像生成部２１は、端末装置１４、ナビゲーション装置１５、撮影装置１６などの外部機器から出力される表示データに含まれる画像から複数のエッジを抽出する。そして、抽出した複数のエッジから外部機器の特性に応じた所定の選択方法により所定のエッジを選択してエッジ画像を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理判定装置に関する。
【背景技術】
【０００２】
従来、例えば道路を撮影するカメラから出力される画像データに移動体を抽出するための前処理を行なって、この前処理後の画像データを車両に送信する処理システムが知られている（例えば、特許文献１参照）。
【０００３】
この処理システムにおいて、前処理後の画像データを受信した車両は、例えば、これらの画像データ（例えば、背景差分画像、時間差分画像、エッジ画像など）を原画像に重ね合わせた表示などを行なう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４６７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記従来技術に係る処理システムにおいては、道路の交通状況を撮像するカメラから出力される画像データに基づいて、車両から死角となる移動体を運転者に認識させるための表示を行なうだけであるが、これに限らず、各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させるための表示を行なうことが望まれている。
【０００６】
本発明は上記事情に鑑みてなされたもので、各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させることが可能な画像処理判定装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決して係る目的を達成するために、本発明の請求項１に係る画像処理判定装置は、画像を有する表示データを出力する外部機器（例えば、実施の形態での端末装置１４、ナビゲーション装置１５、撮影装置１６）と、前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段（例えば、実施の形態でのエッジ画像生成部２１）と、前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部（例えば、実施の形態での第１表示器１２、第２表示器１３）と、を備え、前記エッジ選択手段は、前記外部機器の特性に応じた前記選択方法により前記所定のエッジを選択する。
【０００８】
さらに、本発明の請求項２に係る画像処理判定装置では、前記外部機器は、撮影により前記画像を生成する撮影装置（例えば、実施の形態での撮影装置１６）であって、前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像上の前記物体のうち所定量以上の移動量を有する移動体の前記エッジを選択する。
【０００９】
さらに、本発明の請求項３に係る画像処理判定装置は、文字を認識する文字判定手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）を備え、前記外部機器は、アイコンおよび文字を前記画像として有する前記表示データを出力する端末装置（例えば、実施の形態での端末装置１４）であって、前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記アイコンおよび前記文字のエッジを選択し、前記表示部は、前記文字判定手段により文字と認識された領域を他の領域に比べて拡大表示する。
【００１０】
さらに、本発明の請求項４に係る画像処理判定装置では、前記外部機器は、道路情報を有すると共に地図データを前記画像として有する前記表示データを出力するナビゲーション装置（例えば、実施の形態でのナビゲーション装置１５）であって、前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する。
【００１１】
さらに、本発明の請求項５に係る画像処理判定装置では、前記表示部は、少なくとも車両のフロントウィンドウ上に表示を行なうヘッドアップディスプレイ（例えば、実施の形態での第１表示器１２）と他の表示デバイス（例えば、実施の形態での第２表示器１３）とから成り、前記エッジ選択手段は、前記ヘッドアップディスプレイでの表示用に選択する前記所定のエッジの量を、前記他の表示デバイスでの表示用に選択する前記所定のエッジの量に比べて少なくする。
【発明の効果】
【００１２】
本発明の請求項１に係る画像処理判定装置によれば、各種の外部機器の特性に応じて異なるエッジ画像を表示部に表示することにより、適切な情報量で的確な内容の情報を表示することができる。
また、表示データに含まれる画像に比べてエッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示部での表示など）に要する負荷を低減することができる。
【００１３】
さらに、本発明の請求項２に係る画像処理判定装置によれば、所定量以上の移動量を有する移動体のエッジによるエッジ画像を表示部に表示することにより、移動体に対する適切な注意喚起を促すことができる。
【００１４】
さらに、本発明の請求項３に係る画像処理判定装置によれば、アイコンおよび文字の画像から過剰な情報を削減して得られるエッジ画像を表示部に表示することにより、視認者の視界を妨げることを抑制し、適切な情報量で的確な内容の情報を表示することができる。
また、文字と認識された領域を他の領域に比べて拡大表示することにより、文字の視認性を向上させることができる。
【００１５】
さらに、本発明の請求項４に係る画像処理判定装置によれば、地図データの画像から過剰な情報を削減して得られるエッジ画像を表示部に表示することにより、適切な情報量で的確な内容の情報を表示することができる。
【００１６】
さらに、本発明の請求項５に係る画像処理判定装置によれば、車両のフロントウィンドウ上あるいはフロントウィンドウ越しの視認者の視界を妨げることを抑制しつつ、適切な情報量で的確な内容の情報を表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る画像処理判定装置の構成図である。
【図２】本発明の実施の形態に係る画像処理判定装置により生成されるエッジ画像の例を示す図である。
【図３】本発明の実施の形態に係る画像処理判定装置の撮影装置により撮影された画像から得られるエッジ画像の例を示す図である。
【図４】本発明の実施の形態に係る画像処理判定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態に係る画像処理判定装置について添付図面を参照しながら説明する。
本実施の形態による画像処理判定装置１０は、例えば図１に示すように、処理装置１１と、第１表示器１２と、第２表示器１３と、端末装置１４と、ナビゲーション装置１５と、撮影装置１６とを備えて構成されている。
【００１９】
処理装置１１は、例えば、エッジ画像生成部２１と、オプティカルフロー比較部２２と、色変換部２３とを備えて構成されている。
【００２０】
エッジ画像生成部２１は、処理装置１１に接続される外部機器（つまり、端末装置１４とナビゲーション装置１５と撮影装置１６となど）から出力される表示データが有する画像から、画像上の物体の輪郭を線で示す複数のエッジを抽出する。そして、抽出した複数のエッジから、各外部機器の特性に応じた所定の選択方法により所定のエッジを選択し、選択した所定のエッジから成るエッジ画像を作成する。
【００２１】
例えば外部機器がアイコンおよび文字を画像として有する表示データを出力する端末装置１４である場合、エッジ画像生成部２１は、画像上のアイコンおよび文字を認識可能であって、端末装置１４から出力される表示データが有する画像のうちアイコンおよび文字のエッジを選択する。
【００２２】
また、エッジ画像生成部２１は、例えば端末装置１４の各種の機能に応じて、文字情報とアイコンとグラフィックとを画像として有する表示データが出力される場合には、端末装置１４の各種の機能に応じた所定のエッジを選択する。
【００２３】
例えば所定のアイコンが操作者により選択されることによってメッセージを表示するメッセージ表示機能の場合、エッジ画像生成部２１は、表示データから文字情報のみを抽出し、運転中の妨げにならない程度の情報量（例えば、メールの題名のみや、所定文字数の文字情報など）のエッジを選択する。
【００２４】
また、例えば音楽の出力を操作する音楽操作機能などのように各種の操作を行なう操作機能の場合、エッジ画像生成部２１は、各種の操作画面や操作用のアイコンなどを画像として有する表示データから操作用のアイコンのエッジのみを選択する。
【００２５】
また、例えば写真アルバムやフォトフレームなどのように複数の画像から適宜の画像を選択して表示する画像表示機能の場合、表示データから文字情報や操作用のアイコンなどのエッジは選択せずに、表示対象である画像のエッジのみを選択する。
【００２６】
また、例えば図２（Ａ）に示すような各種の操作メニューを表示するメニュー表示機能の場合、エッジ画像生成部２１は、例えば図２（Ｂ）に示すように、表示データからメニュー項目の内容を示す文字情報とメニュー項目のアイコンとの各エッジを選択する。
そして、例えば図２（Ｃ）に示すように、選択したエッジのうち文字情報であると認識した領域のエッジを他の領域に比べて拡大表示するように設定する。
【００２７】
また、例えば、外部機器がナビゲーション装置１５である場合、エッジ画像生成部２１は、ナビゲーション装置１５から出力される表示データが有する画像のうち道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する。
【００２８】
例えば、表示データに地図情報が含まれる場合、エッジ画像生成部２１は、地図内の自車両近傍の領域で主要な道路の線や文字のエッジのみを抽出し、抽出したエッジを太線化や大文字化などにより拡大表示するように設定する。
また、例えば表示データに交差点や建造物などの立体表示などのグラフィック画像が含まれる場合、エッジ画像生成部２１は、グラフィック画像のエッジを抽出する。
【００２９】
また、例えば表示データに実風景の静止画などの画像が含まれる場合、エッジ画像生成部２１は、画像上の各種の物体などに対して抽出される多数のエッジのうちから、エッジの強さ、太さ、連続性などに基づいて細かなエッジを除外して、所定のエッジを抽出する。
また、例えば表示データに道路標識や看板などの文字を含む画像が含まれる場合、エッジ画像生成部２１は、文字認識の処理に基づき抽出した文字のエッジを、実際よりも大文字化して拡大表示するように設定する。
【００３０】
また、例えば外部機器が車両の外界を撮影して得られる画像を含む表示データを出力する撮影装置１６である場合、エッジ画像生成部２１は、撮影装置１６から出力される表示データが有する画像上の物体のうち所定量以上の移動量を有する移動体のエッジを選択する。
【００３１】
例えば、車両の左後方の外界を撮影する撮影装置１６の場合、エッジ画像生成部２１は、図３（Ａ）に示すような画像から、図３（Ｂ）に示すような道路や他車両や歩行者などの輪郭を強調するエッジを抽出する。このとき、画像上の各種の物体などに対して抽出される多数のエッジのうちから、エッジの強さ、太さ、連続性などに基づいて細かなエッジを除外して、所定のエッジを抽出する。
【００３２】
そして、オプティカルフロー比較部２２は、例えば図３（Ｃ）に示すように、各種のセンサ（図示略）から出力される車両の速度およびヨーレートの検出結果と、撮影装置１６の撮影方向および撮影角度などの情報に基づき、画像中の消失点Ｐと、画像中の静止物に対して予測されるオプティカルフローＦａ（画像の流れ）と、画像中の移動体のオプティカルフローＦｂとを算出する。
そして、例えば図３（Ｄ）に示すように、静止物に対して予測されるオプティカルフローＦａと移動体のオプティカルフローＦｂとの差が大きい領域のエッジのみを抽出する。
【００３３】
なお、オプティカルフロー比較部２２は、例えば操作者の要求などに応じて、静止物であっても路面の情報（例えば、車線など）のエッジを表示することが指示されている場合には、例えば図３（Ｅ）に示すように、水平線よりも下方の領域においては、移動体のエッジに加えて、静止物であっても路面の情報（例えば、車線など）のエッジを表示するように設定し、水平線よりも上方の領域においては、静止物に対して予測されるオプティカルフローＦａと移動体のオプティカルフローＦｂとの差が大きい領域のエッジを表示するように設定してもよい。
【００３４】
そして、色変換部２３は、エッジ画像生成部２１またはオプティカルフロー比較部２２により抽出されたエッジの表示色を、例えば色彩の強い色などに変換する。
【００３５】
第１表示器１２は、例えば車両のフロントウィンドウ上を表示画面として表示を行なうヘッドアップディスプレイである。
また、第２表示器１３は、第１表示器１２とは異なる他の表示デバイス、例えば車両のダッシュボードの上部に表示画面が配置されたダッシュボードディスプレイや、車両のインストルメントパネルに表示画面が配置されたマルチインフォメーションディスプレイや、車両のインストルメントパネルの各種計器類付近に表示画面が配置されたディスプレイなどである。
【００３６】
そして、ヘッドアップディスプレイである第１表示器１２での表示用にエッジ画像生成部２１により選択されるエッジの量は、他の表示デバイスである第２表示器１３での表示用にエッジ画像生成部２１により選択されるエッジの量に比べて少なくされている。
【００３７】
本実施の形態による画像処理判定装置１０は上記構成を備えており、次に、画像処理判定装置１０の動作について説明する。
【００３８】
まず、例えば図４に示すステップＳ０１においては、第１表示器１２および第２表示器１３の情報を取得する。
次に、ステップＳ０２においては、処理対象がヘッドアップディスプレイである第１表示器１２であるか否かを判定する。
この判定結果が「ＮＯ」である場合、つまり処理対象がヘッドアップディスプレイではない第２表示器１３である場合には、ステップＳ０３に進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ０４に進む。
【００３９】
そして、ステップＳ０３においては、所定の第１表示処理を選択して、エンドに進む。
なお、所定の第１表示処理は、後述する所定の第２表示処理と同一であってもよいし、例えば所定のエッジ処理と、このエッジ処理により生成されたエッジ画像を表示する表示処理とからなる適宜の処理などであってもよい。
【００４０】
また、ステップＳ０４においては、所定の第２表示処理を選択する。
次に、ステップＳ０５においては、表示対象の外部機器の情報を取得する。
次に、ステップＳ０６においては、外部機器は端末装置１４であるか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ０７に進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１１に進む。
【００４１】
そして、ステップＳ０７においては、端末装置１４から出力された表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ０８においては、エッジ画像に文字のエッジが存在するか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ０９に進み、このステップＳ０９においては、生成されたエッジ画像を表示して、エンドに進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ１０に進み、このステップＳ１０においては、エッジ画像の文字のエッジを拡大して表示し、エンドに進む。
【００４２】
また、ステップＳ１１においては、外部機器はナビゲーション装置１５であるか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ１２に進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１９に進む。
【００４３】
そして、ステップＳ１２においては、ナビゲーション装置１５から出力される表示データが有する画像のうちから道路情報の画像を取得する。
次に、ステップＳ１３においては、取得した道路情報の画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ１４においては、予め操作者などにより設定されている表示設定を取得する。
【００４４】
次に、ステップＳ１５においては、取得した表示設定において表示データの道路情報の全てを表示することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ１６に進み、このステップＳ１６においては、エッジ画像を表示して、エンドに進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、エッジ画像から所定太さ以上のエッジ（例えば、所定道路幅以上の主要道路のエッジなど）のみを抽出する。
次に、ステップＳ１８においては、抽出したエッジのみを表示して、エンドに進む。
【００４５】
また、ステップＳ１９においては、外部機器は撮影装置１６であるか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ２０に進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ２２に進む。
そして、ステップＳ２０においては、撮影装置１６から出力される表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ２１においては、生成されたエッジ画像を表示して、エンドに進む。
【００４６】
また、ステップＳ２２においては、撮影装置１６から出力される表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ２３においては、エッジ画像上の移動体の移動量を検出する。
次に、ステップＳ２４においては、移動量が所定量以上の移動体が存在するか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ２５に進み、このステップＳ２５においては、エッジ画像を表示せずに、エンドに進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ２６に進み、このステップＳ２６においては、エッジ画像において移動量が所定量以上の移動体のみを表示し、エンドに進む。
【００４７】
上述したように、本実施の形態による画像処理判定装置１０によれば、各種の外部機器の特性に応じて異なるエッジ画像を表示することにより、適切な情報量で的確な内容の情報を表示することができる。
また、外部機器から出力される表示データに含まれる画像に比べて、エッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示など）に要する負荷を低減することができる。
【００４８】
さらに、所定量以上の移動量を有する移動体のエッジによるエッジ画像を表示することにより、移動体に対する適切な注意喚起を促すことができる。
さらに、アイコンおよび文字の画像から過剰な情報を削減して得られるエッジ画像を表示することにより、ヘッドアップディスプレイであっても視認者の視界を妨げることを抑制し、適切な情報量で的確な内容の情報を表示することができる。
また、文字と認識された領域を他の領域に比べて拡大表示することにより、文字の視認性を向上させることができる。
さらに、地図データの画像から過剰な情報を削減して得られるエッジ画像を表示することにより、適切な情報量で的確な内容の情報を表示することができる。
【００４９】
そして、ヘッドアップディスプレイである第１表示器１２においては、車両のフロントウィンドウ上あるいはフロントウィンドウ越しの視認者の視界を妨げることを抑制しつつ、適切な情報量で的確な内容の情報を表示することができる。
また、エッジ画像を表示する場合において、エッジ以外の部分は、例えば液晶表示画面などでは黒色表示、例えばヘッドアップディスプレイでは透明表示となり、背景となる画面、例えば車両前方の景色などを妨げることは無い。
また、エッジ部分は、例えば液晶表示画面などでは白色表示、例えばヘッドアップディスプレイでは高輝度表示となり、他車両などの物体や歩行者などの輪郭を容易に視認させることができる。
【符号の説明】
【００５０】
１０ 画像処理判定装置
１２ 第１表示器（表示部、ヘッドアップディスプレイ）
１３ 第２表示器（表示部、他の表示デバイス）
１４ 端末装置（外部機器）
１５ ナビゲーション装置（外部機器）
１６ 撮影装置（外部機器）
２１ エッジ画像生成部（エッジ抽出手段、エッジ選択手段、エッジ画像作成手段、文字判定手段）
【技術分野】
【０００１】
この発明は、画像処理判定装置に関する。
【背景技術】
【０００２】
従来、例えば道路を撮影するカメラから出力される画像データに移動体を抽出するための前処理を行なって、この前処理後の画像データを車両に送信する処理システムが知られている（例えば、特許文献１参照）。
【０００３】
この処理システムにおいて、前処理後の画像データを受信した車両は、例えば、これらの画像データ（例えば、背景差分画像、時間差分画像、エッジ画像など）を原画像に重ね合わせた表示などを行なう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４６７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記従来技術に係る処理システムにおいては、道路の交通状況を撮像するカメラから出力される画像データに基づいて、車両から死角となる移動体を運転者に認識させるための表示を行なうだけであるが、これに限らず、各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させるための表示を行なうことが望まれている。
【０００６】
本発明は上記事情に鑑みてなされたもので、各種の外部機器から出力される画像データに基づいて、各種の情報を運転者に的確に認識させることが可能な画像処理判定装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決して係る目的を達成するために、本発明の請求項１に係る画像処理判定装置は、画像を有する表示データを出力する外部機器（例えば、実施の形態での端末装置１４、ナビゲーション装置１５、撮影装置１６）と、前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段（例えば、実施の形態でのエッジ画像生成部２１）と、前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）と、前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部（例えば、実施の形態での第１表示器１２、第２表示器１３）と、を備え、前記エッジ選択手段は、前記外部機器の特性に応じた前記選択方法により前記所定のエッジを選択する。
【０００８】
さらに、本発明の請求項２に係る画像処理判定装置では、前記外部機器は、撮影により前記画像を生成する撮影装置（例えば、実施の形態での撮影装置１６）であって、前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像上の前記物体のうち所定量以上の移動量を有する移動体の前記エッジを選択する。
【０００９】
さらに、本発明の請求項３に係る画像処理判定装置は、文字を認識する文字判定手段（例えば、実施の形態でのエッジ画像生成部２１が兼ねる）を備え、前記外部機器は、アイコンおよび文字を前記画像として有する前記表示データを出力する端末装置（例えば、実施の形態での端末装置１４）であって、前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記アイコンおよび前記文字のエッジを選択し、前記表示部は、前記文字判定手段により文字と認識された領域を他の領域に比べて拡大表示する。
【００１０】
さらに、本発明の請求項４に係る画像処理判定装置では、前記外部機器は、道路情報を有すると共に地図データを前記画像として有する前記表示データを出力するナビゲーション装置（例えば、実施の形態でのナビゲーション装置１５）であって、前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する。
【００１１】
さらに、本発明の請求項５に係る画像処理判定装置では、前記表示部は、少なくとも車両のフロントウィンドウ上に表示を行なうヘッドアップディスプレイ（例えば、実施の形態での第１表示器１２）と他の表示デバイス（例えば、実施の形態での第２表示器１３）とから成り、前記エッジ選択手段は、前記ヘッドアップディスプレイでの表示用に選択する前記所定のエッジの量を、前記他の表示デバイスでの表示用に選択する前記所定のエッジの量に比べて少なくする。
【発明の効果】
【００１２】
本発明の請求項１に係る画像処理判定装置によれば、各種の外部機器の特性に応じて異なるエッジ画像を表示部に表示することにより、適切な情報量で的確な内容の情報を表示することができる。
また、表示データに含まれる画像に比べてエッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示部での表示など）に要する負荷を低減することができる。
【００１３】
さらに、本発明の請求項２に係る画像処理判定装置によれば、所定量以上の移動量を有する移動体のエッジによるエッジ画像を表示部に表示することにより、移動体に対する適切な注意喚起を促すことができる。
【００１４】
さらに、本発明の請求項３に係る画像処理判定装置によれば、アイコンおよび文字の画像から過剰な情報を削減して得られるエッジ画像を表示部に表示することにより、視認者の視界を妨げることを抑制し、適切な情報量で的確な内容の情報を表示することができる。
また、文字と認識された領域を他の領域に比べて拡大表示することにより、文字の視認性を向上させることができる。
【００１５】
さらに、本発明の請求項４に係る画像処理判定装置によれば、地図データの画像から過剰な情報を削減して得られるエッジ画像を表示部に表示することにより、適切な情報量で的確な内容の情報を表示することができる。
【００１６】
さらに、本発明の請求項５に係る画像処理判定装置によれば、車両のフロントウィンドウ上あるいはフロントウィンドウ越しの視認者の視界を妨げることを抑制しつつ、適切な情報量で的確な内容の情報を表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る画像処理判定装置の構成図である。
【図２】本発明の実施の形態に係る画像処理判定装置により生成されるエッジ画像の例を示す図である。
【図３】本発明の実施の形態に係る画像処理判定装置の撮影装置により撮影された画像から得られるエッジ画像の例を示す図である。
【図４】本発明の実施の形態に係る画像処理判定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態に係る画像処理判定装置について添付図面を参照しながら説明する。
本実施の形態による画像処理判定装置１０は、例えば図１に示すように、処理装置１１と、第１表示器１２と、第２表示器１３と、端末装置１４と、ナビゲーション装置１５と、撮影装置１６とを備えて構成されている。
【００１９】
処理装置１１は、例えば、エッジ画像生成部２１と、オプティカルフロー比較部２２と、色変換部２３とを備えて構成されている。
【００２０】
エッジ画像生成部２１は、処理装置１１に接続される外部機器（つまり、端末装置１４とナビゲーション装置１５と撮影装置１６となど）から出力される表示データが有する画像から、画像上の物体の輪郭を線で示す複数のエッジを抽出する。そして、抽出した複数のエッジから、各外部機器の特性に応じた所定の選択方法により所定のエッジを選択し、選択した所定のエッジから成るエッジ画像を作成する。
【００２１】
例えば外部機器がアイコンおよび文字を画像として有する表示データを出力する端末装置１４である場合、エッジ画像生成部２１は、画像上のアイコンおよび文字を認識可能であって、端末装置１４から出力される表示データが有する画像のうちアイコンおよび文字のエッジを選択する。
【００２２】
また、エッジ画像生成部２１は、例えば端末装置１４の各種の機能に応じて、文字情報とアイコンとグラフィックとを画像として有する表示データが出力される場合には、端末装置１４の各種の機能に応じた所定のエッジを選択する。
【００２３】
例えば所定のアイコンが操作者により選択されることによってメッセージを表示するメッセージ表示機能の場合、エッジ画像生成部２１は、表示データから文字情報のみを抽出し、運転中の妨げにならない程度の情報量（例えば、メールの題名のみや、所定文字数の文字情報など）のエッジを選択する。
【００２４】
また、例えば音楽の出力を操作する音楽操作機能などのように各種の操作を行なう操作機能の場合、エッジ画像生成部２１は、各種の操作画面や操作用のアイコンなどを画像として有する表示データから操作用のアイコンのエッジのみを選択する。
【００２５】
また、例えば写真アルバムやフォトフレームなどのように複数の画像から適宜の画像を選択して表示する画像表示機能の場合、表示データから文字情報や操作用のアイコンなどのエッジは選択せずに、表示対象である画像のエッジのみを選択する。
【００２６】
また、例えば図２（Ａ）に示すような各種の操作メニューを表示するメニュー表示機能の場合、エッジ画像生成部２１は、例えば図２（Ｂ）に示すように、表示データからメニュー項目の内容を示す文字情報とメニュー項目のアイコンとの各エッジを選択する。
そして、例えば図２（Ｃ）に示すように、選択したエッジのうち文字情報であると認識した領域のエッジを他の領域に比べて拡大表示するように設定する。
【００２７】
また、例えば、外部機器がナビゲーション装置１５である場合、エッジ画像生成部２１は、ナビゲーション装置１５から出力される表示データが有する画像のうち道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する。
【００２８】
例えば、表示データに地図情報が含まれる場合、エッジ画像生成部２１は、地図内の自車両近傍の領域で主要な道路の線や文字のエッジのみを抽出し、抽出したエッジを太線化や大文字化などにより拡大表示するように設定する。
また、例えば表示データに交差点や建造物などの立体表示などのグラフィック画像が含まれる場合、エッジ画像生成部２１は、グラフィック画像のエッジを抽出する。
【００２９】
また、例えば表示データに実風景の静止画などの画像が含まれる場合、エッジ画像生成部２１は、画像上の各種の物体などに対して抽出される多数のエッジのうちから、エッジの強さ、太さ、連続性などに基づいて細かなエッジを除外して、所定のエッジを抽出する。
また、例えば表示データに道路標識や看板などの文字を含む画像が含まれる場合、エッジ画像生成部２１は、文字認識の処理に基づき抽出した文字のエッジを、実際よりも大文字化して拡大表示するように設定する。
【００３０】
また、例えば外部機器が車両の外界を撮影して得られる画像を含む表示データを出力する撮影装置１６である場合、エッジ画像生成部２１は、撮影装置１６から出力される表示データが有する画像上の物体のうち所定量以上の移動量を有する移動体のエッジを選択する。
【００３１】
例えば、車両の左後方の外界を撮影する撮影装置１６の場合、エッジ画像生成部２１は、図３（Ａ）に示すような画像から、図３（Ｂ）に示すような道路や他車両や歩行者などの輪郭を強調するエッジを抽出する。このとき、画像上の各種の物体などに対して抽出される多数のエッジのうちから、エッジの強さ、太さ、連続性などに基づいて細かなエッジを除外して、所定のエッジを抽出する。
【００３２】
そして、オプティカルフロー比較部２２は、例えば図３（Ｃ）に示すように、各種のセンサ（図示略）から出力される車両の速度およびヨーレートの検出結果と、撮影装置１６の撮影方向および撮影角度などの情報に基づき、画像中の消失点Ｐと、画像中の静止物に対して予測されるオプティカルフローＦａ（画像の流れ）と、画像中の移動体のオプティカルフローＦｂとを算出する。
そして、例えば図３（Ｄ）に示すように、静止物に対して予測されるオプティカルフローＦａと移動体のオプティカルフローＦｂとの差が大きい領域のエッジのみを抽出する。
【００３３】
なお、オプティカルフロー比較部２２は、例えば操作者の要求などに応じて、静止物であっても路面の情報（例えば、車線など）のエッジを表示することが指示されている場合には、例えば図３（Ｅ）に示すように、水平線よりも下方の領域においては、移動体のエッジに加えて、静止物であっても路面の情報（例えば、車線など）のエッジを表示するように設定し、水平線よりも上方の領域においては、静止物に対して予測されるオプティカルフローＦａと移動体のオプティカルフローＦｂとの差が大きい領域のエッジを表示するように設定してもよい。
【００３４】
そして、色変換部２３は、エッジ画像生成部２１またはオプティカルフロー比較部２２により抽出されたエッジの表示色を、例えば色彩の強い色などに変換する。
【００３５】
第１表示器１２は、例えば車両のフロントウィンドウ上を表示画面として表示を行なうヘッドアップディスプレイである。
また、第２表示器１３は、第１表示器１２とは異なる他の表示デバイス、例えば車両のダッシュボードの上部に表示画面が配置されたダッシュボードディスプレイや、車両のインストルメントパネルに表示画面が配置されたマルチインフォメーションディスプレイや、車両のインストルメントパネルの各種計器類付近に表示画面が配置されたディスプレイなどである。
【００３６】
そして、ヘッドアップディスプレイである第１表示器１２での表示用にエッジ画像生成部２１により選択されるエッジの量は、他の表示デバイスである第２表示器１３での表示用にエッジ画像生成部２１により選択されるエッジの量に比べて少なくされている。
【００３７】
本実施の形態による画像処理判定装置１０は上記構成を備えており、次に、画像処理判定装置１０の動作について説明する。
【００３８】
まず、例えば図４に示すステップＳ０１においては、第１表示器１２および第２表示器１３の情報を取得する。
次に、ステップＳ０２においては、処理対象がヘッドアップディスプレイである第１表示器１２であるか否かを判定する。
この判定結果が「ＮＯ」である場合、つまり処理対象がヘッドアップディスプレイではない第２表示器１３である場合には、ステップＳ０３に進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ０４に進む。
【００３９】
そして、ステップＳ０３においては、所定の第１表示処理を選択して、エンドに進む。
なお、所定の第１表示処理は、後述する所定の第２表示処理と同一であってもよいし、例えば所定のエッジ処理と、このエッジ処理により生成されたエッジ画像を表示する表示処理とからなる適宜の処理などであってもよい。
【００４０】
また、ステップＳ０４においては、所定の第２表示処理を選択する。
次に、ステップＳ０５においては、表示対象の外部機器の情報を取得する。
次に、ステップＳ０６においては、外部機器は端末装置１４であるか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ０７に進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１１に進む。
【００４１】
そして、ステップＳ０７においては、端末装置１４から出力された表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ０８においては、エッジ画像に文字のエッジが存在するか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ０９に進み、このステップＳ０９においては、生成されたエッジ画像を表示して、エンドに進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ１０に進み、このステップＳ１０においては、エッジ画像の文字のエッジを拡大して表示し、エンドに進む。
【００４２】
また、ステップＳ１１においては、外部機器はナビゲーション装置１５であるか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ１２に進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１９に進む。
【００４３】
そして、ステップＳ１２においては、ナビゲーション装置１５から出力される表示データが有する画像のうちから道路情報の画像を取得する。
次に、ステップＳ１３においては、取得した道路情報の画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ１４においては、予め操作者などにより設定されている表示設定を取得する。
【００４４】
次に、ステップＳ１５においては、取得した表示設定において表示データの道路情報の全てを表示することが指示されているか否かを判定する。
この判定結果が「ＹＥＳ」である場合には、ステップＳ１６に進み、このステップＳ１６においては、エッジ画像を表示して、エンドに進む。
一方、この判定結果が「ＮＯ」である場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、エッジ画像から所定太さ以上のエッジ（例えば、所定道路幅以上の主要道路のエッジなど）のみを抽出する。
次に、ステップＳ１８においては、抽出したエッジのみを表示して、エンドに進む。
【００４５】
また、ステップＳ１９においては、外部機器は撮影装置１６であるか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ２０に進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ２２に進む。
そして、ステップＳ２０においては、撮影装置１６から出力される表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ２１においては、生成されたエッジ画像を表示して、エンドに進む。
【００４６】
また、ステップＳ２２においては、撮影装置１６から出力される表示データが有する画像からエッジを抽出するエッジ処理を行ない、エッジ画像を生成する。
次に、ステップＳ２３においては、エッジ画像上の移動体の移動量を検出する。
次に、ステップＳ２４においては、移動量が所定量以上の移動体が存在するか否かを判定する。
この判定結果が「ＮＯ」である場合には、ステップＳ２５に進み、このステップＳ２５においては、エッジ画像を表示せずに、エンドに進む。
一方、この判定結果が「ＹＥＳ」である場合には、ステップＳ２６に進み、このステップＳ２６においては、エッジ画像において移動量が所定量以上の移動体のみを表示し、エンドに進む。
【００４７】
上述したように、本実施の形態による画像処理判定装置１０によれば、各種の外部機器の特性に応じて異なるエッジ画像を表示することにより、適切な情報量で的確な内容の情報を表示することができる。
また、外部機器から出力される表示データに含まれる画像に比べて、エッジ画像のデータ量は小さいことから、エッジ画像の処理（例えば、表示など）に要する負荷を低減することができる。
【００４８】
さらに、所定量以上の移動量を有する移動体のエッジによるエッジ画像を表示することにより、移動体に対する適切な注意喚起を促すことができる。
さらに、アイコンおよび文字の画像から過剰な情報を削減して得られるエッジ画像を表示することにより、ヘッドアップディスプレイであっても視認者の視界を妨げることを抑制し、適切な情報量で的確な内容の情報を表示することができる。
また、文字と認識された領域を他の領域に比べて拡大表示することにより、文字の視認性を向上させることができる。
さらに、地図データの画像から過剰な情報を削減して得られるエッジ画像を表示することにより、適切な情報量で的確な内容の情報を表示することができる。
【００４９】
そして、ヘッドアップディスプレイである第１表示器１２においては、車両のフロントウィンドウ上あるいはフロントウィンドウ越しの視認者の視界を妨げることを抑制しつつ、適切な情報量で的確な内容の情報を表示することができる。
また、エッジ画像を表示する場合において、エッジ以外の部分は、例えば液晶表示画面などでは黒色表示、例えばヘッドアップディスプレイでは透明表示となり、背景となる画面、例えば車両前方の景色などを妨げることは無い。
また、エッジ部分は、例えば液晶表示画面などでは白色表示、例えばヘッドアップディスプレイでは高輝度表示となり、他車両などの物体や歩行者などの輪郭を容易に視認させることができる。
【符号の説明】
【００５０】
１０ 画像処理判定装置
１２ 第１表示器（表示部、ヘッドアップディスプレイ）
１３ 第２表示器（表示部、他の表示デバイス）
１４ 端末装置（外部機器）
１５ ナビゲーション装置（外部機器）
１６ 撮影装置（外部機器）
２１ エッジ画像生成部（エッジ抽出手段、エッジ選択手段、エッジ画像作成手段、文字判定手段）
【特許請求の範囲】
【請求項１】
画像を有する表示データを出力する外部機器と、
前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段と、
前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段と、
前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部と、を備え、
前記エッジ選択手段は、前記外部機器の特性に応じた前記選択方法により前記所定のエッジを選択する
ことを特徴とする画像処理判定装置。
【請求項２】
前記外部機器は、撮影により前記画像を生成する撮影装置であって、
前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像上の前記物体のうち所定量以上の移動量を有する移動体の前記エッジを選択する
ことを特徴とする請求項１に記載の画像処理判定装置。
【請求項３】
文字を認識する文字判定手段を備え、
前記外部機器は、アイコンおよび文字を前記画像として有する前記表示データを出力する端末装置であって、
前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記アイコンおよび前記文字のエッジを選択し、
前記表示部は、前記文字判定手段により文字と認識された領域を他の領域に比べて拡大表示する
ことを特徴とする請求項１に記載の画像処理判定装置。
【請求項４】
前記外部機器は、道路情報を有すると共に地図データを前記画像として有する前記表示データを出力するナビゲーション装置であって、
前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する
ことを特徴とする請求項１に記載の画像処理判定装置。
【請求項５】
前記表示部は、少なくとも車両のフロントウィンドウ上に表示を行なうヘッドアップディスプレイと他の表示デバイスとから成り、
前記エッジ選択手段は、前記ヘッドアップディスプレイでの表示用に選択する前記所定のエッジの量を、前記他の表示デバイスでの表示用に選択する前記所定のエッジの量に比べて少なくする
ことを特徴とする請求項１から請求項４の何れか１つに記載の画像処理判定装置。
【請求項１】
画像を有する表示データを出力する外部機器と、
前記外部機器から出力される前記表示データが有する前記画像上の物体の輪郭を線で示す複数のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記複数のエッジから所定の選択方法により所定のエッジを選択するエッジ選択手段と、
前記エッジ選択手段により選択された前記所定のエッジから成るエッジ画像を作成するエッジ画像作成手段と、
前記エッジ画像作成手段により作成された前記エッジ画像を表示する表示部と、を備え、
前記エッジ選択手段は、前記外部機器の特性に応じた前記選択方法により前記所定のエッジを選択する
ことを特徴とする画像処理判定装置。
【請求項２】
前記外部機器は、撮影により前記画像を生成する撮影装置であって、
前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像上の前記物体のうち所定量以上の移動量を有する移動体の前記エッジを選択する
ことを特徴とする請求項１に記載の画像処理判定装置。
【請求項３】
文字を認識する文字判定手段を備え、
前記外部機器は、アイコンおよび文字を前記画像として有する前記表示データを出力する端末装置であって、
前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記アイコンおよび前記文字のエッジを選択し、
前記表示部は、前記文字判定手段により文字と認識された領域を他の領域に比べて拡大表示する
ことを特徴とする請求項１に記載の画像処理判定装置。
【請求項４】
前記外部機器は、道路情報を有すると共に地図データを前記画像として有する前記表示データを出力するナビゲーション装置であって、
前記エッジ選択手段の前記選択方法は、前記表示データが有する前記画像のうち前記道路情報が含まれるエッジまたは該エッジの中で所定太さ以上の太い線のエッジを選択する
ことを特徴とする請求項１に記載の画像処理判定装置。
【請求項５】
前記表示部は、少なくとも車両のフロントウィンドウ上に表示を行なうヘッドアップディスプレイと他の表示デバイスとから成り、
前記エッジ選択手段は、前記ヘッドアップディスプレイでの表示用に選択する前記所定のエッジの量を、前記他の表示デバイスでの表示用に選択する前記所定のエッジの量に比べて少なくする
ことを特徴とする請求項１から請求項４の何れか１つに記載の画像処理判定装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２１２３３８（Ｐ２０１２−２１２３３８Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７７９６６（Ｐ２０１１−７７９６６）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]