視点位置検出装置、視点位置検出方法及び立体表示装置
【課題】実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して対象者の視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供する。
【解決手段】視点位置検出装置は、１つ以上の発光マーカー１２ａを備え対象者２の頭部に装着可能であるマーカー部１２と、対象者２を撮像する撮像部１１と、撮像部１１が撮像した対象者２の画像から対象者２の視点位置を検出する視点位置検出部１４と、を備える。視点位置検出部１４は、撮像部１１が撮像した対象者２の画像上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて対象者２の視点位置を検出する。
【解決手段】視点位置検出装置は、１つ以上の発光マーカー１２ａを備え対象者２の頭部に装着可能であるマーカー部１２と、対象者２を撮像する撮像部１１と、撮像部１１が撮像した対象者２の画像から対象者２の視点位置を検出する視点位置検出部１４と、を備える。視点位置検出部１４は、撮像部１１が撮像した対象者２の画像上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて対象者２の視点位置を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象者の視点位置を検出する視点位置検出装置、視点検出方法及び画像を立体的に表示可能な立体表示装置に関する。
【背景技術】
【０００２】
従来、車両のフロントガラスに立体的な画像を表示可能な車両用表示装置であるヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）としては、例えば、特許文献１に開示されるものがある。この車両用表示装置は、表示画像の元となる立体データを記憶した記憶手段と、運転者の視点位置検出手段と、視点位置に基づいて立体データから表示画像を得る画像処理手段とから構成される。そして、運転者の視点位置を検出し、その位置に基づいて立体データから表示画像データを生成し、ＨＵＤに表示する。
また、立体的に画像を表示可能な車両用表示装置としては、例えば、特許文献２に開示されるように、左目用画像及び右目用画像を時分割で液晶表示パネルに表示させるとともに、運転者の視点位置を検出し、その位置に応じて液晶表示パネルを透過する照明光の光軸を変化させるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６９６８号公報
【特許文献２】特開２０１０−１９１４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載の車両用表示装置において、運転者（対象者）の視点位置を検出する方法としては、運転者の顔を撮像した画像から運転者の目を割り出して視点位置を検出する処理がある。しかしながら、かかる方法は高度な画像認識処理が要求される為に処理が複雑になり、実装コストが高いという問題点があった。また、移動する車両内のように，周囲の明るさが常に変動している状況では、検出対象である運転者の画像も変化する為に安定して視点位置を検出することが困難であった。
【０００５】
そこで、本発明は、実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して対象者の視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の視点位置検出装置は、
１つ以上の発光マーカーを備え対象者の頭部に装着可能であるマーカー部と、前記対象者を撮像する撮像部と、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置検出部と、を備える視点位置検出装置であって、
前記視点位置検出部は、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする。
【０００７】
上記目的を達成するため、本発明の視点位置検出方法は、
対象者を撮像部で撮像し、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置方法であって、
前記撮像者は１つ以上の発光マーカーを備えるマーカー部を頭部に装着し、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする。
【０００８】
上記目的を達成するため、本発明の立体表示装置は、
立体的に視認可能な立体画像を表示する画像表示部を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記立体画像を生成する画像表示制御部と、を備えてなることを特徴とする。
【０００９】
上記目的を達成するため、本発明の立体表示装置は、
表示パネルに右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより立体的に視認可能な立体画像をミラーに反射させて表示するヘッドアップディスプレイ（ＨＵＤ）を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記ヘッドアップディスプレイを制御するＨＵＤ制御部と、を備え、
前記ＨＵＤ制御部は、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記右目用画像及び前記左目用画像を生成する及び／あるいは前記対象者の視点位置に対応するように前記ミラーの回転角を制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態の全体構成を示す全体概略図である。
【図２】同上実施形態のＨＵＤ制御部のハードウェア構成図である。
【図３】同上実施形態の表示内容制御処理を示すフローチャートである。
【図４】同上実施形態の表示例である。
【図５】同上実施形態の表示例である。
【図６】同上実施形態の表示タイミング制御処理を示すフローチャートである。
【図７】同上実施形態の視点位置検出処理を示すフローチャートである。
【図８】同上実施形態の視点位置検出処理の説明図である。
【図９】同上実施形態の視点位置検出処理における、画像上の視点位置のｘ座標とミラー角度の対応関係を示すテーブルを説明するための図である。
【図１０】同上実施形態の設定画面の説明図である。
【図１１】本発明の第２実施形態の全体構成を示す全体構成図である。
【図１２】同上実施形態のマーカー制御部のハードウェア構成図である。
【図１３】同上実施形態のマーカー点滅制御処理のフローチャートである。
【図１４】同上実施形態のマーカー点滅制御処理のタイミングチャートである。
【図１５】同上実施形態の視点位置検出処理のフローチャートである。
【図１６】同上実施形態の視点位置検出処理の説明図である。
【図１７】本発明に適用される発光マーカー付きイヤホンマイクの例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施形態を図を参照して説明する。
【００１３】
（第１実施形態）
図１（ａ）及び（ｂ）は、本発明の第１実施形態に係る車載立体表示装置１の概略構成を示す図である。本実施形態に係る車載立体表示装置１は、撮像部１１と、マーカー付き眼鏡１２と、ヘッドアップディスプレイ（ＨＵＤ）１３と、ＨＵＤ制御部１４と、から構成され、視点位置検出装置を含むものである。
【００１４】
撮像部１１は、運転者（対象者）２の顔を撮像するものであり、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の周知の撮像素子と、それを制御する周辺回路やレンズ等から構成される。撮像部１１は、マーカー付き眼鏡１２を頭部に装着した運転者２の正面に設置される。撮像部１１は、撮像した運転者２の顔の画像を、奇数フィールドと偶数フィールドからなる所謂インターレース方式でビデオ信号（出力映像信号）に変換し、出力する。インターレース方式のビデオ信号の規格としては、例えばＮＴＳＣ（National Television System Committee）方式がある。
【００１５】
マーカー付き眼鏡１２（マーカー部の一例）は、運転者２が頭部に装着可能なものである。マーカー付き眼鏡１２は、撮像部１１が運転者２の顔を撮像した際に、運転者の顔と共に撮像可能な位置に少なくとも１つ以上（本実施形態においては４つ）の発光マーカー１２ａを備える。発光マーカー１２ａは例えばＬＥＤ等の発光素子からなり、本実施形態においては電源が投入されると常時点灯するものである。なお、発光マーカー１２ａは、運転者２からは発光が認識されない赤外線ＬＥＤ等を用いても良く、また、照明光を反射する反射シールからなるものであっても良い。
【００１６】
ＨＵＤ１３は、ＨＵＤ制御部１４からの制御信号に基づいて、運転者２の左右の目にそれぞれ別々の画像をフロントガラス３に反射させて交互に投影することで、立体感のある表示を実現するものである。ＨＵＤ１３は、光源１３ａと、表示パネル１３ｂと、結像レンズ１３ｃと、ミラー１３ｄと、ミラー駆動部１３ｅとから構成される。
【００１７】
光源１３ａは、２つの光源から構成され、それぞれ運転者２の左右の目に対応して、独
立して発光可能なものである。光源１２ａは、ＨＵＤ制御部１４からの光源制御信号に基
づいて、交互に点灯する。
【００１８】
表示パネル１３ｂは、ＨＵＤ制御部１４が出力する画像情報を表示するものである。表
示パネル１３ｂは、例えばＬＣＤ（Liquid Crystal Display）から構成され、ＨＵＤ制御
部１４からの表示制御信号に基づいて、交互に左右の目に対応する画像情報を切換表示す
る。
【００１９】
結像レンズ１３ｃは、表示パネル１３ｂを通った光源１２ａからの光（画像）が運転者２の左右の目に対して結像するように投影するものである。
【００２０】
ミラー１３ｄは、画像の投影方向を制御するものである。ミラー１３ｄは、水平面内で回転可能である。ミラー１３ｄに反射した画像は、さらにフロントガラス３に反射し、最終的に運転者２の目に到達する。
【００２１】
ミラー駆動部１３ｅは、例えばステッピングモータから構成され、ミラー１３ｄの回転角を、ＨＵＤ制御部１４から送信される回転角制御信号に基づいて制御する。
【００２２】
ＨＵＤ制御部１４（視点位置検出部に相当する）は、図１（ｂ）に示すように、後述する視点位置検出処理にて検出される運転者２の視点位置に基づいて、画像が運転者２の目に到達するようにＨＵＤ１３のミラー１３ｄの回転を制御するものである。これにより、より広範囲で立体感のある表示が可能となる。また、ＨＵＤ制御部１４は、運転者２の視点位置に基づいて、画像のＨＵＤ１３の表示パネル１３ｂへの表示を制御するものである。図２に、ＨＵＤ制御部１４のハードウェア構成の一例を示す。ＨＵＤ制御部１４は、いわゆるマイクロコンピュータから構成され、図２に示すように、ＣＰＵ（Central Processing Unit）１４ａと、ＲＯＭ（Read-Only Memory)１４ｂと、汎用メモリ１４ｃと、ビデオメモリ１４ｄと、外部デバイスインターフェイス（Ｉ／Ｆ）１４ｅと、を備える。ＣＰＵ１４ａは、ＲＯＭ１４ｂ内に予め記憶された後述する表示制御処理のための所定プログラムを読み出し、及び実行する。そしてＣＰＵ１４ａは、撮像部１１からの入力画像情報、処理画像情報及び演算結果等を汎用メモリ１４ｃに一時的に記憶させる。また、ＣＰＵ１４ａは、ＲＯＭ１４ｂ内に予め記憶された例えば道路データ、標識、案内表示板といった道路情報等の３次元データから表示パネル１２ｂに表示するための２次元データである画像情報を生成し、汎用メモリ１４ｃに一時的に記憶させる。また、ＣＰＵ１４ａは、汎用メモリ１４ｃに記憶された画像情報をビデオメモリ１４ｄに転送し、表示パネル１３ｂに出力する。また、撮像部１１及びＨＵＤ１３は、外部デバイスＩ／Ｆ１４ｅを介して、ＨＵＤ制御部１４の各部と接続されている。
【００２３】
車両制御システム部１５は、車両を制御するコンピュータであり、後述する表示内容制御処理において参照される設定モード信号をＨＵＤ制御部１４に出力する。車両制御システム部１５は、外部デバイスＩ／Ｆ１４ｅを介して、ＨＵＤ制御部１４の各部と接続されている。
【００２４】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが実行する表示内容制御処理について図３を用いて説明する。表示内容制御処理は、例えばエンジンキーを差し込んで回すといった車両の始動動作によってバッテリーからＣＰＵ１４ａに電源が供給されることで開始する。
【００２５】
ＨＵＤ制御部１４は、最初に、表示タイミングを初期化する（ステップＳ１１）。例えば、表示タイミングを右目に初期化する。そして、後述する表示タイミング制御処理の周期的な呼び出しを開始する（ステップＳ１２）。次に、撮像部１１の出力画像を取り込む撮像処理を実行する（ステップＳ１３）。その後、取り込んだ画像に対して後述の視点位置検出処理を実行することにより、運転者２の視点位置と、それに対して最適なミラー１３ｄの駆動角度を得る（ステップＳ１４）。さらに、運転者２の視点位置に基づいて右目用と左目用の画像を生成する（ステップＳ１５）。図４は、右目用画像と左目用画像の一例を示すものであり、図４においては前方の道路や標識、案内板などの道路情報と車速情報とを含む。ＨＵＤ制御部１４は、ＲＯＭ１４ｂ内に予め記憶された例えば道路データ、標識、案内表示板といった道路情報等の３次元データから、運転者２の視点位置に基づいて運転者２の右目から見た場合の２次元データである右目用画像と、左目からみた場合の２次元データである左目用画像とを生成する。これにより、画像として道路情報などの運転者２の視点位置によって見え方が変化する情報を表示する場合に背景と表示画像とのズレによって生じる運転者２の違和感を低減することができ、運転者２に伝えたい情報を正確に伝達することが可能となる。次の条件分岐において、設定モードであるか否かの情報を車両制御システム部１５から取得し（ステップＳ１６）、設定モードである場合は（ステップＳ１６；Ｙｅｓ）、後述の設定情報を描画する（ステップＳ１７）。図５は設定情報を含む右目用画像と左目用画像の一例を示すものであり、設定情報として視点位置検出処理における２値化閾値が表示される。最後に、運転者２の視点位置に対する最適なミラー１３ｄの駆動角度に基づいて、ミラー駆動部１３ｅに対して制御信号を出力する（ステップＳ１８）。その後は、ステップＳ１３に戻り、以降電源がオフになるまで前述の処理を反復実行する。
【００２６】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが実行する表示タイミング制御処理について図６を用いて説明する。表示タイミング制御処理は、右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより運転者２に画像を立体的に視認させる処理であり、前述の表示内容制御処理においてＴｄミリ秒の時間間隔で周期的に呼び出される（例えばＴｄ＝３３）。
【００２７】
ＨＵＤ制御部１４は、最初に、表示タイミングの判定を行う（ステップＳ２１）。表示タイミングが右目である場合（ステップＳ２１；右目）、表示パネル１３ｂに対する右目用画像の表示更新を行う（ステップＳ２２）。ここで表示される表示パネル１３ｂに表示される画像はステップＳ１５で生成された右目用画像である。次に、右目用の光源３ａが点灯するように点灯させる光源３ａを切換える（ステップＳ２３）。そして、次回の表示タイミングを左目に切換え（ステップＳ２４）、処理を終了する。また、表示タイミングが左目である場合（ステップＳ２１；左目）、表示パネル１３ｂに対する左目用画像の表示更新を行う（ステップＳ２５）。ここで表示される表示パネル１３ｂに表示される画像はステップＳ１５で生成された左目用画像である。次に、左目用の光源３ａが点灯するように点灯させる光源３ａの切換えを行う（ステップＳ２６）。そして、次回の表示タイミングを右目に切換え（ステップＳ２７）、処理を終了する。
【００２８】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが前述の表示内容制御処理において実行する視点位置検出処理について図７及び図８を用いて説明する。
【００２９】
ＨＵＤ制御部１４は、最初に、撮像部１１にて撮像したマーカー付き眼鏡１２を装着した運転者２の画像Ｂ（図８（ａ）参照）に対して、公知の画像処理技術である２値化処理を行う（ステップＳ３１）。この処理によって、発光マーカー１２ａを示す２値画像Ｃが得られる（図８（ｂ）参照）。次に、２値画像Ｃ中の各発光マーカー１２ａの位置を、これもまた公知の画像処理技術であるラベリング処理により検出する（ステップＳ３２、図８（ｃ）参照）。次に、これら発光マーカー１２ａの位置の重心を求め（図８（ｄ）参照）、この重心を画像Ｂ上の視点位置（ｘｉ，ｙｉ）とする（ステップＳ３３）。最後に、視点位置のｘ座標ｘｉに基づいて、図９示す画像Ｂ上の視点位置のｘ座標ｘｉとミラー１３ｄの駆動角度θｉの対応関係を記述したテーブルを参照して、ミラー１３ｄの駆動角度θｉを得る（ステップＳ３４）。ＨＵＤ制御部１４は、前記表示内容制御処理において、この視点位置(ｘｉ，ｙｉ)に基づき右目用画像及び左目用画像を生成して描画処理を行い、また、ミラー１３ｄの駆動角度θｉに基づき前記投影方向制御処理でミラー１３ｄの角度制御を行う。
【００３０】
なお、前記視点位置検出処理において、図１０（ａ）〜（ｃ）に示すような設定表示をＨＵＤ１３に表示させてもよい。図１０（ａ）は、運転者２の視点位置を＋印で運転者２の顔を撮像した画像Ｂに描画した設定表示の例である。かかる表示によれば、検出可能領域を確認することができる。図１０（ｂ）は、視点位置検出結果を画像Ｂに描画した設定表示の例である。かかる表示によっても、前述の設定表示例と同様に検出可能領域を確認することができる。図１０（ｃ）は、設定情報（図中では２値化閾値）を画像Ｂに描画した設定表示の例である。かかる表示によれば、前記視点位置検出処理における２値化閾値を始めとするパラメータを調整することができる。
【００３１】
以上のように、本実施形態に係る車載立体表示装置１は、１つ以上の発光マーカー１２ａを備え運転者２の頭部に装着可能であるマーカー付き眼鏡１２と、運転者２を撮像する撮像部１１と、撮像部１１が撮像した運転者２の画像から運転者２の視点位置を検出するＨＵＤ制御部１４と、を備え、ＨＵＤ制御部１４は、撮像部１１が撮像した運転者２の画像Ｂ上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて運転者２の視点位置を検出する。そして、検出された視点位置に基づいて右目用画像及び左目用画像を生成し、また、運転者２の視点位置に対応するようにミラー１３ｄの回転角を制御する。このように運転者２の視点位置を検出する視点位置検出方法により、ＨＵＤ制御部１４は画像上で他の部分と輝度の差が大きい発光マーカー１２ａを割り出すことができれば良いため、運転者の顔から目を割り出す場合と比較して実装コストの低い画像処理で視点位置を検出することができ、また、明るさが常に変動する環境下でも安定して運転者２の視点位置を検出することが可能となる。
【００３２】
（第２実施形態）
図１１は、本発明の第２実施形態に係る車載立体表示装置１の概略構成を示す図である。第２実施形態に係る車載立体表示装置１の構成は、発光マーカー制御部１６を付加し、発光マーカー制御部１６の出力信号に従ってマーカー付き眼鏡１２の発光マーカー１２ａを点滅させる点を除いては第１実施形態と同様である。
【００３３】
図１２に、発光マーカー制御部１６のハードウェア構成の一例を示す。発光マーカー制御部１６は、いわゆるマイクロコンピュータから構成され、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、汎用メモリ１６ｃと、外部デバイスＩ／Ｆ１６ｄと、同期信号検出手段１６ｅと、を備える。ＣＰＵ１６ａは、ＲＯＭ１６ｂに予め記憶された前述した処理の所定プログラムを読み出し及び実行し、演算結果等を汎用メモリ１６ｃ内に一時的に記憶させるものである。また、同期信号検出手段１６ｅは、撮像部１１と外部デバイスＩ／Ｆ１６ｄを介して接続され、撮像部１１が出力する公知のインターレース方式のビデオ信号に含まれる垂直同期信号と画像信号である奇数／偶数フィールド信号とを検出する。また、発光マーカー１２ａは、外部デバイスＩ／Ｆ１６ｄ介して発光マーカー制御部１６の各部に接続されている。
【００３４】
次に、発光マーカー制御部１６のＣＰＵ１６ａが実行するマーカー点滅制御処理について図１３及び図１４を用いて説明する。マーカー点滅制御処理は、例えばエンジンキーを差し込んで回すといった車両の始動動作によってバッテリーからＣＰＵ１６ａに電源が供給されることで開始する。
【００３５】
発光マーカー制御部１６は、最初に、同期信号検出手段１６ｅによって垂直同期信号（図１４（ａ））の波形の立下りを検出する（ステップＳ４１）。それと同時に、奇数／偶数フィールド信号（図１４（ｂ））が奇数フィールドであることを示した場合（ステップＳ４１；Ｙｅｓ）、タイマを初期化し時刻を０にリセットしてからリスタートする。次に、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦである場合（ステップＳ４２；Ｙｅｓ）は、マーカー点滅制御信号としてマーカーＯＮ信号（図１４（ｃ））を出力して発光マーカー１２ａを点灯させる。また、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦでない場合は（ステップＳ４２；Ｎｏ）、マーカー点滅制御信号としてマーカーＯＦＦ信号（図１４（ｃ））を出力して発光マーカー１２ａを消灯する。したがって、発光マーカー１２ａ、前述のマーカーＯＮ信号とマーカーＯＦＦ信号を一定間隔で交互に入力することによって点灯と非点灯を繰り返す。すなわち、ＴＯＮとＴＯＦＦとを制御することによって、撮像部１１が奇数フィールドを撮像している期間のみ発光マーカー１２ａを点灯させる。
【００３６】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが表示内容制御処理で実行する視点位置検出処理について図１５を用いて説明する。なお、本実施形態における表示内容制御処理は、視点位置検出処理を除いては前述の第1実施形態と同様である。
【００３７】
ＨＵＤ制御部１４は、撮像部１１が出力するビデオ信号に含まれる奇数／偶数フィールド信号からインターレース方式の画像Ｄ（図１６（ａ））を入力すると、最初に、奇数フィールドと偶数フィールドの分離を行い、奇数フィールドの画像Ｅ１と偶数フィールドの画像Ｅ２と（図１６（ｂ））を得る（ステップＳ５１）。なお、奇数フィールドの画像Ｅ１は奇数フィールドの各ラインの間に新たなラインを補間した画像であり、偶数フィールドの画像Ｅ２は偶数フィールドの各ラインの間に新たなラインを補間した画像である。次に、奇数フィールドの画像Ｅ１と偶数フィールドの画像Ｅ２について、公知の画像処理技術である絶対値差分を取り、差分画像Ｆ（図１６（ｃ））を得る（ステップＳ５２）。その後、差分画像Ｆを公知の画像処理技術である２値化処理によって２値画像Ｇ（図１６（ｄ））に変換する（ステップＳ５３）。そして、前述の第１実施形態のステップＳ３２とステップＳ３３と同様に発光マーカー１２ａの位置を検出し（ステップＳ５４）、発光マーカー１２ａの位置の重心を求めて、この重心を画像Ｄ上の運転者２の視点位置（ｘｉ，ｙｉ）とする（ステップＳ５５）。そして、前述の第１実施形態のステップＳ３４と同様にして画像Ｄ上の視点位置のｘ座標ｘｉとミラー１３ｄの駆動角度θｉの対応関係を記述したテーブルを参照して、ミラー１３ｄの駆動角度θｉを得る（ステップＳ５６）。
【００３８】
以上のように、本実施形態に係る車載立体表示装置１は、撮像部１１から垂直同期信号と垂直同期信号に同期する奇数／偶数フィールド信号とを含むビデオ信号を入力し、垂直同期信号に基づいて発光マーカー１２ａを点滅させる発光マーカー制御部１６を備えるものである。ＨＵＤ制御部１４は、撮像部１１が撮像した運転者２の画像Ｄ上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて運転者２の視点位置を検出する。そして、検出された視点位置に基づいて右目用画像及び左目用画像を生成し、また、運転者２の視点位置に対応するようにミラー１３ｄの回転角を制御する。このように運転者２の視点位置を検出する視点位置検出方法により、ＨＵＤ制御部１４は奇数フィールドと偶数フィールドとにおける発光マーカー１２ａの画素の輝度が異なることを利用して発光マーカー１２ａを割り出すことができるため、運転者の顔から目を割り出す場合と比較して実装コストの低い画像処理で視点位置を検出することができ、また、明るさが常に変動する環境下でも安定して運転者２の視点位置を検出することが可能となる。
【００３９】
なお、本発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。本発明の視点位置検出装置及び視点位置検出方法は、車載立体表示装置に限らず他の立体表示装置に適用してもよい。また、立体表示装置は、右目用の画像と左目用の画像を交互に表示させる方式に限定されず、立体的に視認可能な立体画像を表示する画像表示部と、検出された対象者の視点位置に基づいて立体画像を生成する画像表示制御部と、を備える立体表示装置であれば本発明の視点位置検出装置及び視点位置検出方法を適用して同様の効果を得ることができる。また、第１及び第２実施形態では、発光マーカー１２ａはマーカー付き眼鏡１２に備えられていたが、本発明のマーカー部は対象者の頭部に装着可能な形態であれば眼鏡に限定されない。図１７に、イヤホンにマイクが一体化されたヘッドセット１７をマーカー部とした例を示す。ヘッドセット１７は，発光マーカー１７ａを備えるものである。発光マーカー１７ａは第１実施形態に適用して常時点灯させてもよく、第２実施形態に適用して点滅させてもよい。
【符号の説明】
【００４０】
１ 車載立体表示装置
１１ 撮像部
１２ マーカー付き眼鏡
１２ａ 発光マーカー
１３ ヘッドアップディスプレイ（ＨＵＤ）
１３ａ 光源
１３ｂ 表示パネル
１３ｃ 結像レンズ
１３ｄ ミラー
１３ｅ ミラー駆動部
１４ ＨＵＤ制御部
１５ 車両制御システム部
１６ 発光マーカー制御部
１７ ヘッドセット
１７ａ 発光マーカー
２ 運転者
３ フロントガラス
【技術分野】
【０００１】
本発明は、対象者の視点位置を検出する視点位置検出装置、視点検出方法及び画像を立体的に表示可能な立体表示装置に関する。
【背景技術】
【０００２】
従来、車両のフロントガラスに立体的な画像を表示可能な車両用表示装置であるヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）としては、例えば、特許文献１に開示されるものがある。この車両用表示装置は、表示画像の元となる立体データを記憶した記憶手段と、運転者の視点位置検出手段と、視点位置に基づいて立体データから表示画像を得る画像処理手段とから構成される。そして、運転者の視点位置を検出し、その位置に基づいて立体データから表示画像データを生成し、ＨＵＤに表示する。
また、立体的に画像を表示可能な車両用表示装置としては、例えば、特許文献２に開示されるように、左目用画像及び右目用画像を時分割で液晶表示パネルに表示させるとともに、運転者の視点位置を検出し、その位置に応じて液晶表示パネルを透過する照明光の光軸を変化させるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６９６８号公報
【特許文献２】特開２０１０−１９１４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載の車両用表示装置において、運転者（対象者）の視点位置を検出する方法としては、運転者の顔を撮像した画像から運転者の目を割り出して視点位置を検出する処理がある。しかしながら、かかる方法は高度な画像認識処理が要求される為に処理が複雑になり、実装コストが高いという問題点があった。また、移動する車両内のように，周囲の明るさが常に変動している状況では、検出対象である運転者の画像も変化する為に安定して視点位置を検出することが困難であった。
【０００５】
そこで、本発明は、実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して対象者の視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の視点位置検出装置は、
１つ以上の発光マーカーを備え対象者の頭部に装着可能であるマーカー部と、前記対象者を撮像する撮像部と、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置検出部と、を備える視点位置検出装置であって、
前記視点位置検出部は、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする。
【０００７】
上記目的を達成するため、本発明の視点位置検出方法は、
対象者を撮像部で撮像し、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置方法であって、
前記撮像者は１つ以上の発光マーカーを備えるマーカー部を頭部に装着し、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする。
【０００８】
上記目的を達成するため、本発明の立体表示装置は、
立体的に視認可能な立体画像を表示する画像表示部を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記立体画像を生成する画像表示制御部と、を備えてなることを特徴とする。
【０００９】
上記目的を達成するため、本発明の立体表示装置は、
表示パネルに右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより立体的に視認可能な立体画像をミラーに反射させて表示するヘッドアップディスプレイ（ＨＵＤ）を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記ヘッドアップディスプレイを制御するＨＵＤ制御部と、を備え、
前記ＨＵＤ制御部は、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記右目用画像及び前記左目用画像を生成する及び／あるいは前記対象者の視点位置に対応するように前記ミラーの回転角を制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態の全体構成を示す全体概略図である。
【図２】同上実施形態のＨＵＤ制御部のハードウェア構成図である。
【図３】同上実施形態の表示内容制御処理を示すフローチャートである。
【図４】同上実施形態の表示例である。
【図５】同上実施形態の表示例である。
【図６】同上実施形態の表示タイミング制御処理を示すフローチャートである。
【図７】同上実施形態の視点位置検出処理を示すフローチャートである。
【図８】同上実施形態の視点位置検出処理の説明図である。
【図９】同上実施形態の視点位置検出処理における、画像上の視点位置のｘ座標とミラー角度の対応関係を示すテーブルを説明するための図である。
【図１０】同上実施形態の設定画面の説明図である。
【図１１】本発明の第２実施形態の全体構成を示す全体構成図である。
【図１２】同上実施形態のマーカー制御部のハードウェア構成図である。
【図１３】同上実施形態のマーカー点滅制御処理のフローチャートである。
【図１４】同上実施形態のマーカー点滅制御処理のタイミングチャートである。
【図１５】同上実施形態の視点位置検出処理のフローチャートである。
【図１６】同上実施形態の視点位置検出処理の説明図である。
【図１７】本発明に適用される発光マーカー付きイヤホンマイクの例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施形態を図を参照して説明する。
【００１３】
（第１実施形態）
図１（ａ）及び（ｂ）は、本発明の第１実施形態に係る車載立体表示装置１の概略構成を示す図である。本実施形態に係る車載立体表示装置１は、撮像部１１と、マーカー付き眼鏡１２と、ヘッドアップディスプレイ（ＨＵＤ）１３と、ＨＵＤ制御部１４と、から構成され、視点位置検出装置を含むものである。
【００１４】
撮像部１１は、運転者（対象者）２の顔を撮像するものであり、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の周知の撮像素子と、それを制御する周辺回路やレンズ等から構成される。撮像部１１は、マーカー付き眼鏡１２を頭部に装着した運転者２の正面に設置される。撮像部１１は、撮像した運転者２の顔の画像を、奇数フィールドと偶数フィールドからなる所謂インターレース方式でビデオ信号（出力映像信号）に変換し、出力する。インターレース方式のビデオ信号の規格としては、例えばＮＴＳＣ（National Television System Committee）方式がある。
【００１５】
マーカー付き眼鏡１２（マーカー部の一例）は、運転者２が頭部に装着可能なものである。マーカー付き眼鏡１２は、撮像部１１が運転者２の顔を撮像した際に、運転者の顔と共に撮像可能な位置に少なくとも１つ以上（本実施形態においては４つ）の発光マーカー１２ａを備える。発光マーカー１２ａは例えばＬＥＤ等の発光素子からなり、本実施形態においては電源が投入されると常時点灯するものである。なお、発光マーカー１２ａは、運転者２からは発光が認識されない赤外線ＬＥＤ等を用いても良く、また、照明光を反射する反射シールからなるものであっても良い。
【００１６】
ＨＵＤ１３は、ＨＵＤ制御部１４からの制御信号に基づいて、運転者２の左右の目にそれぞれ別々の画像をフロントガラス３に反射させて交互に投影することで、立体感のある表示を実現するものである。ＨＵＤ１３は、光源１３ａと、表示パネル１３ｂと、結像レンズ１３ｃと、ミラー１３ｄと、ミラー駆動部１３ｅとから構成される。
【００１７】
光源１３ａは、２つの光源から構成され、それぞれ運転者２の左右の目に対応して、独
立して発光可能なものである。光源１２ａは、ＨＵＤ制御部１４からの光源制御信号に基
づいて、交互に点灯する。
【００１８】
表示パネル１３ｂは、ＨＵＤ制御部１４が出力する画像情報を表示するものである。表
示パネル１３ｂは、例えばＬＣＤ（Liquid Crystal Display）から構成され、ＨＵＤ制御
部１４からの表示制御信号に基づいて、交互に左右の目に対応する画像情報を切換表示す
る。
【００１９】
結像レンズ１３ｃは、表示パネル１３ｂを通った光源１２ａからの光（画像）が運転者２の左右の目に対して結像するように投影するものである。
【００２０】
ミラー１３ｄは、画像の投影方向を制御するものである。ミラー１３ｄは、水平面内で回転可能である。ミラー１３ｄに反射した画像は、さらにフロントガラス３に反射し、最終的に運転者２の目に到達する。
【００２１】
ミラー駆動部１３ｅは、例えばステッピングモータから構成され、ミラー１３ｄの回転角を、ＨＵＤ制御部１４から送信される回転角制御信号に基づいて制御する。
【００２２】
ＨＵＤ制御部１４（視点位置検出部に相当する）は、図１（ｂ）に示すように、後述する視点位置検出処理にて検出される運転者２の視点位置に基づいて、画像が運転者２の目に到達するようにＨＵＤ１３のミラー１３ｄの回転を制御するものである。これにより、より広範囲で立体感のある表示が可能となる。また、ＨＵＤ制御部１４は、運転者２の視点位置に基づいて、画像のＨＵＤ１３の表示パネル１３ｂへの表示を制御するものである。図２に、ＨＵＤ制御部１４のハードウェア構成の一例を示す。ＨＵＤ制御部１４は、いわゆるマイクロコンピュータから構成され、図２に示すように、ＣＰＵ（Central Processing Unit）１４ａと、ＲＯＭ（Read-Only Memory)１４ｂと、汎用メモリ１４ｃと、ビデオメモリ１４ｄと、外部デバイスインターフェイス（Ｉ／Ｆ）１４ｅと、を備える。ＣＰＵ１４ａは、ＲＯＭ１４ｂ内に予め記憶された後述する表示制御処理のための所定プログラムを読み出し、及び実行する。そしてＣＰＵ１４ａは、撮像部１１からの入力画像情報、処理画像情報及び演算結果等を汎用メモリ１４ｃに一時的に記憶させる。また、ＣＰＵ１４ａは、ＲＯＭ１４ｂ内に予め記憶された例えば道路データ、標識、案内表示板といった道路情報等の３次元データから表示パネル１２ｂに表示するための２次元データである画像情報を生成し、汎用メモリ１４ｃに一時的に記憶させる。また、ＣＰＵ１４ａは、汎用メモリ１４ｃに記憶された画像情報をビデオメモリ１４ｄに転送し、表示パネル１３ｂに出力する。また、撮像部１１及びＨＵＤ１３は、外部デバイスＩ／Ｆ１４ｅを介して、ＨＵＤ制御部１４の各部と接続されている。
【００２３】
車両制御システム部１５は、車両を制御するコンピュータであり、後述する表示内容制御処理において参照される設定モード信号をＨＵＤ制御部１４に出力する。車両制御システム部１５は、外部デバイスＩ／Ｆ１４ｅを介して、ＨＵＤ制御部１４の各部と接続されている。
【００２４】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが実行する表示内容制御処理について図３を用いて説明する。表示内容制御処理は、例えばエンジンキーを差し込んで回すといった車両の始動動作によってバッテリーからＣＰＵ１４ａに電源が供給されることで開始する。
【００２５】
ＨＵＤ制御部１４は、最初に、表示タイミングを初期化する（ステップＳ１１）。例えば、表示タイミングを右目に初期化する。そして、後述する表示タイミング制御処理の周期的な呼び出しを開始する（ステップＳ１２）。次に、撮像部１１の出力画像を取り込む撮像処理を実行する（ステップＳ１３）。その後、取り込んだ画像に対して後述の視点位置検出処理を実行することにより、運転者２の視点位置と、それに対して最適なミラー１３ｄの駆動角度を得る（ステップＳ１４）。さらに、運転者２の視点位置に基づいて右目用と左目用の画像を生成する（ステップＳ１５）。図４は、右目用画像と左目用画像の一例を示すものであり、図４においては前方の道路や標識、案内板などの道路情報と車速情報とを含む。ＨＵＤ制御部１４は、ＲＯＭ１４ｂ内に予め記憶された例えば道路データ、標識、案内表示板といった道路情報等の３次元データから、運転者２の視点位置に基づいて運転者２の右目から見た場合の２次元データである右目用画像と、左目からみた場合の２次元データである左目用画像とを生成する。これにより、画像として道路情報などの運転者２の視点位置によって見え方が変化する情報を表示する場合に背景と表示画像とのズレによって生じる運転者２の違和感を低減することができ、運転者２に伝えたい情報を正確に伝達することが可能となる。次の条件分岐において、設定モードであるか否かの情報を車両制御システム部１５から取得し（ステップＳ１６）、設定モードである場合は（ステップＳ１６；Ｙｅｓ）、後述の設定情報を描画する（ステップＳ１７）。図５は設定情報を含む右目用画像と左目用画像の一例を示すものであり、設定情報として視点位置検出処理における２値化閾値が表示される。最後に、運転者２の視点位置に対する最適なミラー１３ｄの駆動角度に基づいて、ミラー駆動部１３ｅに対して制御信号を出力する（ステップＳ１８）。その後は、ステップＳ１３に戻り、以降電源がオフになるまで前述の処理を反復実行する。
【００２６】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが実行する表示タイミング制御処理について図６を用いて説明する。表示タイミング制御処理は、右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより運転者２に画像を立体的に視認させる処理であり、前述の表示内容制御処理においてＴｄミリ秒の時間間隔で周期的に呼び出される（例えばＴｄ＝３３）。
【００２７】
ＨＵＤ制御部１４は、最初に、表示タイミングの判定を行う（ステップＳ２１）。表示タイミングが右目である場合（ステップＳ２１；右目）、表示パネル１３ｂに対する右目用画像の表示更新を行う（ステップＳ２２）。ここで表示される表示パネル１３ｂに表示される画像はステップＳ１５で生成された右目用画像である。次に、右目用の光源３ａが点灯するように点灯させる光源３ａを切換える（ステップＳ２３）。そして、次回の表示タイミングを左目に切換え（ステップＳ２４）、処理を終了する。また、表示タイミングが左目である場合（ステップＳ２１；左目）、表示パネル１３ｂに対する左目用画像の表示更新を行う（ステップＳ２５）。ここで表示される表示パネル１３ｂに表示される画像はステップＳ１５で生成された左目用画像である。次に、左目用の光源３ａが点灯するように点灯させる光源３ａの切換えを行う（ステップＳ２６）。そして、次回の表示タイミングを右目に切換え（ステップＳ２７）、処理を終了する。
【００２８】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが前述の表示内容制御処理において実行する視点位置検出処理について図７及び図８を用いて説明する。
【００２９】
ＨＵＤ制御部１４は、最初に、撮像部１１にて撮像したマーカー付き眼鏡１２を装着した運転者２の画像Ｂ（図８（ａ）参照）に対して、公知の画像処理技術である２値化処理を行う（ステップＳ３１）。この処理によって、発光マーカー１２ａを示す２値画像Ｃが得られる（図８（ｂ）参照）。次に、２値画像Ｃ中の各発光マーカー１２ａの位置を、これもまた公知の画像処理技術であるラベリング処理により検出する（ステップＳ３２、図８（ｃ）参照）。次に、これら発光マーカー１２ａの位置の重心を求め（図８（ｄ）参照）、この重心を画像Ｂ上の視点位置（ｘｉ，ｙｉ）とする（ステップＳ３３）。最後に、視点位置のｘ座標ｘｉに基づいて、図９示す画像Ｂ上の視点位置のｘ座標ｘｉとミラー１３ｄの駆動角度θｉの対応関係を記述したテーブルを参照して、ミラー１３ｄの駆動角度θｉを得る（ステップＳ３４）。ＨＵＤ制御部１４は、前記表示内容制御処理において、この視点位置(ｘｉ，ｙｉ)に基づき右目用画像及び左目用画像を生成して描画処理を行い、また、ミラー１３ｄの駆動角度θｉに基づき前記投影方向制御処理でミラー１３ｄの角度制御を行う。
【００３０】
なお、前記視点位置検出処理において、図１０（ａ）〜（ｃ）に示すような設定表示をＨＵＤ１３に表示させてもよい。図１０（ａ）は、運転者２の視点位置を＋印で運転者２の顔を撮像した画像Ｂに描画した設定表示の例である。かかる表示によれば、検出可能領域を確認することができる。図１０（ｂ）は、視点位置検出結果を画像Ｂに描画した設定表示の例である。かかる表示によっても、前述の設定表示例と同様に検出可能領域を確認することができる。図１０（ｃ）は、設定情報（図中では２値化閾値）を画像Ｂに描画した設定表示の例である。かかる表示によれば、前記視点位置検出処理における２値化閾値を始めとするパラメータを調整することができる。
【００３１】
以上のように、本実施形態に係る車載立体表示装置１は、１つ以上の発光マーカー１２ａを備え運転者２の頭部に装着可能であるマーカー付き眼鏡１２と、運転者２を撮像する撮像部１１と、撮像部１１が撮像した運転者２の画像から運転者２の視点位置を検出するＨＵＤ制御部１４と、を備え、ＨＵＤ制御部１４は、撮像部１１が撮像した運転者２の画像Ｂ上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて運転者２の視点位置を検出する。そして、検出された視点位置に基づいて右目用画像及び左目用画像を生成し、また、運転者２の視点位置に対応するようにミラー１３ｄの回転角を制御する。このように運転者２の視点位置を検出する視点位置検出方法により、ＨＵＤ制御部１４は画像上で他の部分と輝度の差が大きい発光マーカー１２ａを割り出すことができれば良いため、運転者の顔から目を割り出す場合と比較して実装コストの低い画像処理で視点位置を検出することができ、また、明るさが常に変動する環境下でも安定して運転者２の視点位置を検出することが可能となる。
【００３２】
（第２実施形態）
図１１は、本発明の第２実施形態に係る車載立体表示装置１の概略構成を示す図である。第２実施形態に係る車載立体表示装置１の構成は、発光マーカー制御部１６を付加し、発光マーカー制御部１６の出力信号に従ってマーカー付き眼鏡１２の発光マーカー１２ａを点滅させる点を除いては第１実施形態と同様である。
【００３３】
図１２に、発光マーカー制御部１６のハードウェア構成の一例を示す。発光マーカー制御部１６は、いわゆるマイクロコンピュータから構成され、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、汎用メモリ１６ｃと、外部デバイスＩ／Ｆ１６ｄと、同期信号検出手段１６ｅと、を備える。ＣＰＵ１６ａは、ＲＯＭ１６ｂに予め記憶された前述した処理の所定プログラムを読み出し及び実行し、演算結果等を汎用メモリ１６ｃ内に一時的に記憶させるものである。また、同期信号検出手段１６ｅは、撮像部１１と外部デバイスＩ／Ｆ１６ｄを介して接続され、撮像部１１が出力する公知のインターレース方式のビデオ信号に含まれる垂直同期信号と画像信号である奇数／偶数フィールド信号とを検出する。また、発光マーカー１２ａは、外部デバイスＩ／Ｆ１６ｄ介して発光マーカー制御部１６の各部に接続されている。
【００３４】
次に、発光マーカー制御部１６のＣＰＵ１６ａが実行するマーカー点滅制御処理について図１３及び図１４を用いて説明する。マーカー点滅制御処理は、例えばエンジンキーを差し込んで回すといった車両の始動動作によってバッテリーからＣＰＵ１６ａに電源が供給されることで開始する。
【００３５】
発光マーカー制御部１６は、最初に、同期信号検出手段１６ｅによって垂直同期信号（図１４（ａ））の波形の立下りを検出する（ステップＳ４１）。それと同時に、奇数／偶数フィールド信号（図１４（ｂ））が奇数フィールドであることを示した場合（ステップＳ４１；Ｙｅｓ）、タイマを初期化し時刻を０にリセットしてからリスタートする。次に、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦである場合（ステップＳ４２；Ｙｅｓ）は、マーカー点滅制御信号としてマーカーＯＮ信号（図１４（ｃ））を出力して発光マーカー１２ａを点灯させる。また、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦでない場合は（ステップＳ４２；Ｎｏ）、マーカー点滅制御信号としてマーカーＯＦＦ信号（図１４（ｃ））を出力して発光マーカー１２ａを消灯する。したがって、発光マーカー１２ａ、前述のマーカーＯＮ信号とマーカーＯＦＦ信号を一定間隔で交互に入力することによって点灯と非点灯を繰り返す。すなわち、ＴＯＮとＴＯＦＦとを制御することによって、撮像部１１が奇数フィールドを撮像している期間のみ発光マーカー１２ａを点灯させる。
【００３６】
次に、ＨＵＤ制御部１４のＣＰＵ１４ａが表示内容制御処理で実行する視点位置検出処理について図１５を用いて説明する。なお、本実施形態における表示内容制御処理は、視点位置検出処理を除いては前述の第1実施形態と同様である。
【００３７】
ＨＵＤ制御部１４は、撮像部１１が出力するビデオ信号に含まれる奇数／偶数フィールド信号からインターレース方式の画像Ｄ（図１６（ａ））を入力すると、最初に、奇数フィールドと偶数フィールドの分離を行い、奇数フィールドの画像Ｅ１と偶数フィールドの画像Ｅ２と（図１６（ｂ））を得る（ステップＳ５１）。なお、奇数フィールドの画像Ｅ１は奇数フィールドの各ラインの間に新たなラインを補間した画像であり、偶数フィールドの画像Ｅ２は偶数フィールドの各ラインの間に新たなラインを補間した画像である。次に、奇数フィールドの画像Ｅ１と偶数フィールドの画像Ｅ２について、公知の画像処理技術である絶対値差分を取り、差分画像Ｆ（図１６（ｃ））を得る（ステップＳ５２）。その後、差分画像Ｆを公知の画像処理技術である２値化処理によって２値画像Ｇ（図１６（ｄ））に変換する（ステップＳ５３）。そして、前述の第１実施形態のステップＳ３２とステップＳ３３と同様に発光マーカー１２ａの位置を検出し（ステップＳ５４）、発光マーカー１２ａの位置の重心を求めて、この重心を画像Ｄ上の運転者２の視点位置（ｘｉ，ｙｉ）とする（ステップＳ５５）。そして、前述の第１実施形態のステップＳ３４と同様にして画像Ｄ上の視点位置のｘ座標ｘｉとミラー１３ｄの駆動角度θｉの対応関係を記述したテーブルを参照して、ミラー１３ｄの駆動角度θｉを得る（ステップＳ５６）。
【００３８】
以上のように、本実施形態に係る車載立体表示装置１は、撮像部１１から垂直同期信号と垂直同期信号に同期する奇数／偶数フィールド信号とを含むビデオ信号を入力し、垂直同期信号に基づいて発光マーカー１２ａを点滅させる発光マーカー制御部１６を備えるものである。ＨＵＤ制御部１４は、撮像部１１が撮像した運転者２の画像Ｄ上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて運転者２の視点位置を検出する。そして、検出された視点位置に基づいて右目用画像及び左目用画像を生成し、また、運転者２の視点位置に対応するようにミラー１３ｄの回転角を制御する。このように運転者２の視点位置を検出する視点位置検出方法により、ＨＵＤ制御部１４は奇数フィールドと偶数フィールドとにおける発光マーカー１２ａの画素の輝度が異なることを利用して発光マーカー１２ａを割り出すことができるため、運転者の顔から目を割り出す場合と比較して実装コストの低い画像処理で視点位置を検出することができ、また、明るさが常に変動する環境下でも安定して運転者２の視点位置を検出することが可能となる。
【００３９】
なお、本発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。本発明の視点位置検出装置及び視点位置検出方法は、車載立体表示装置に限らず他の立体表示装置に適用してもよい。また、立体表示装置は、右目用の画像と左目用の画像を交互に表示させる方式に限定されず、立体的に視認可能な立体画像を表示する画像表示部と、検出された対象者の視点位置に基づいて立体画像を生成する画像表示制御部と、を備える立体表示装置であれば本発明の視点位置検出装置及び視点位置検出方法を適用して同様の効果を得ることができる。また、第１及び第２実施形態では、発光マーカー１２ａはマーカー付き眼鏡１２に備えられていたが、本発明のマーカー部は対象者の頭部に装着可能な形態であれば眼鏡に限定されない。図１７に、イヤホンにマイクが一体化されたヘッドセット１７をマーカー部とした例を示す。ヘッドセット１７は，発光マーカー１７ａを備えるものである。発光マーカー１７ａは第１実施形態に適用して常時点灯させてもよく、第２実施形態に適用して点滅させてもよい。
【符号の説明】
【００４０】
１ 車載立体表示装置
１１ 撮像部
１２ マーカー付き眼鏡
１２ａ 発光マーカー
１３ ヘッドアップディスプレイ（ＨＵＤ）
１３ａ 光源
１３ｂ 表示パネル
１３ｃ 結像レンズ
１３ｄ ミラー
１３ｅ ミラー駆動部
１４ ＨＵＤ制御部
１５ 車両制御システム部
１６ 発光マーカー制御部
１７ ヘッドセット
１７ａ 発光マーカー
２ 運転者
３ フロントガラス
【特許請求の範囲】
【請求項１】
１つ以上の発光マーカーを備え対象者の頭部に装着可能であるマーカー部と、前記対象者を撮像する撮像部と、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置検出部と、を備え、
前記視点位置検出部は、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする視点位置検出装置。
【請求項２】
前記撮像部から垂直同期信号と前記垂直同期信号に同期する画像信号とを含む出力映像信号を入力し、前記垂直同期信号に基づいて前記発光マーカーを点滅させる発光マーカー制御部を備えてなることを特徴とする請求項１に記載の視点位置検出装置。
【請求項３】
対象者を撮像部で撮像し、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置方法であって、
前記撮像者は１つ以上の発光マーカーを備えるマーカー部を頭部に装着し、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする視点位置検出方法。
【請求項４】
前記撮像部から垂直同期信号と前記垂直同期信号に同期する画像信号とを含む出力映像信号を入力し、前記垂直同期信号に基づいて前記発光マーカーを点滅させることを特徴とする請求項３に記載の視点位置検出方法。
【請求項５】
立体的に視認可能な立体画像を表示する画像表示部を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記立体画像を生成する画像表示制御部と、を備えてなることを特徴とする立体表示装置。
【請求項６】
前記画像表示部は、前記撮像部に撮像された前記対象者の画像または前記対象者の視点位置の検出結果の少なくとも一方を表示可能であることを特徴とする請求項５に記載の立体表示装置。
【請求項７】
表示パネルに右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより立体的に視認可能な立体画像をミラーに反射させて表示するヘッドアップディスプレイ（ＨＵＤ）を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記ヘッドアップディスプレイを制御するＨＵＤ制御部と、を備え、
前記ＨＵＤ制御部は、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記右目用画像及び前記左目用画像を生成する及び／あるいは前記対象者の視点位置に対応するように前記ミラーの回転角を制御することを特徴とする立体表示装置。
【請求項８】
前記ヘッドアップディスプレイは、前記撮像部に撮像された前記対象者の画像または前記対象者の視点位置の検出結果の少なくとも一方を表示可能であることを特徴とする請求項７に記載の立体表示装置。
【請求項１】
１つ以上の発光マーカーを備え対象者の頭部に装着可能であるマーカー部と、前記対象者を撮像する撮像部と、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置検出部と、を備え、
前記視点位置検出部は、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする視点位置検出装置。
【請求項２】
前記撮像部から垂直同期信号と前記垂直同期信号に同期する画像信号とを含む出力映像信号を入力し、前記垂直同期信号に基づいて前記発光マーカーを点滅させる発光マーカー制御部を備えてなることを特徴とする請求項１に記載の視点位置検出装置。
【請求項３】
対象者を撮像部で撮像し、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置方法であって、
前記撮像者は１つ以上の発光マーカーを備えるマーカー部を頭部に装着し、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする視点位置検出方法。
【請求項４】
前記撮像部から垂直同期信号と前記垂直同期信号に同期する画像信号とを含む出力映像信号を入力し、前記垂直同期信号に基づいて前記発光マーカーを点滅させることを特徴とする請求項３に記載の視点位置検出方法。
【請求項５】
立体的に視認可能な立体画像を表示する画像表示部を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記立体画像を生成する画像表示制御部と、を備えてなることを特徴とする立体表示装置。
【請求項６】
前記画像表示部は、前記撮像部に撮像された前記対象者の画像または前記対象者の視点位置の検出結果の少なくとも一方を表示可能であることを特徴とする請求項５に記載の立体表示装置。
【請求項７】
表示パネルに右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより立体的に視認可能な立体画像をミラーに反射させて表示するヘッドアップディスプレイ（ＨＵＤ）を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記ヘッドアップディスプレイを制御するＨＵＤ制御部と、を備え、
前記ＨＵＤ制御部は、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記右目用画像及び前記左目用画像を生成する及び／あるいは前記対象者の視点位置に対応するように前記ミラーの回転角を制御することを特徴とする立体表示装置。
【請求項８】
前記ヘッドアップディスプレイは、前記撮像部に撮像された前記対象者の画像または前記対象者の視点位置の検出結果の少なくとも一方を表示可能であることを特徴とする請求項７に記載の立体表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１４１５０２（Ｐ２０１２−１４１５０２Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−６５７（Ｐ２０１１−６５７）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
[ Back to top ]