情報機器
【課題】操作画面の劣化を抑え、なおかつ、当該操作画面を操作する手を操作画面の変化にかかわらずに安定的に表示する。
【解決手段】情報表示用ディスプレイ１１と、操作画面４０を表示する操作用ディスプレイ１２と、前記操作用ディスプレイ１２の操作画面４０を撮影し撮影像３１を出力する撮影装置１３と、を備え、前記操作用ディスプレイ１２に前記操作画面４０に代えて抽出用画面４１を間欠的に表示し、当該抽出用画面４１が写った抽出対象映像３１Ａから前記操作画面４０を操作する手９を抽出した映像であるブレンド用映像３６を生成し、前記情報表示用ディスプレイ１１に前記操作用ディスプレイ１２の操作画面４０と同じ視認用操作画面４３を表示するための映像に、前記手９を抽出した映像であるブレンド用映像３６を重ねて表示する車載情報機器１を構成した。
【解決手段】情報表示用ディスプレイ１１と、操作画面４０を表示する操作用ディスプレイ１２と、前記操作用ディスプレイ１２の操作画面４０を撮影し撮影像３１を出力する撮影装置１３と、を備え、前記操作用ディスプレイ１２に前記操作画面４０に代えて抽出用画面４１を間欠的に表示し、当該抽出用画面４１が写った抽出対象映像３１Ａから前記操作画面４０を操作する手９を抽出した映像であるブレンド用映像３６を生成し、前記情報表示用ディスプレイ１１に前記操作用ディスプレイ１２の操作画面４０と同じ視認用操作画面４３を表示するための映像に、前記手９を抽出した映像であるブレンド用映像３６を重ねて表示する車載情報機器１を構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作部を操作する手をディスプレイに表示する技術に関する。
【背景技術】
【０００２】
車両内で使用する情報量の増大に伴い、車両内に表示機器であるディスプレイを複数設置することが増えてきている。その際に、運転者に対しては車両の運転という作業とディスプレイを視認するという作業との同時並行作業を考慮するため、運転者がディスプレイを見る場合に、通常の運転状態からの視点の移動量を少なくするために、できるだけ運転者の前方にて遠い位置に各ディスプレイを設置することが通常である。この遠い位置に設置されたディスプレイは、運転者等の乗車者が通常状態ではタッチ等の操作により操作することが難しい位置に設置されることから、専ら情報表示を中心とした情報表示用ディスプレイとして使用されることが多い。
【０００３】
また、従来の車載情報機器は、運転操作中の運転者の手がある程度届く位置に設けられており、そのため、この車載情報機器の操作部は、タッチパネル、もしくは、ディスプレイの周辺部分に配設されたボタンによって構成されることから、車載情報機器のディスプレイは操作を中心とした操作用ディスプレイとなる場合が多い。ただし、操作用ディスプレイは、運転操作中の運転者の手が届く範囲にあることから、必然的に、車載情報機器を操作する際の運転者の視点は、運転操作のために車両の前方に向けられた視点位置から大きくズレることになる。
【０００４】
一方、車両の前方に情報表示用ディスプレイを設けつつ、運転操作中の運転者の手の届く位置に操作部を設けて、操作位置と表示位置とを分離し、なおかつ、操作部を操作する運転者の手をカメラで撮影し情報表示用ディスプレイに表示することで、運転者の前方に設置された情報表示用ディスプレイを見ながらも、操作部を操作している手を視認しながら操作部を操作可能とした技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３３５３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、操作部をタッチパネルのような操作画面（操作メニュー）表示機能を有した操作用ディスプレイで構成し、カメラで撮影した操作用ディスプレイの撮影像をそのまま情報表示用ディスプレイに表示すれば、この情報表示用ディスプレイに、操作用ディスプレイに表示された操作画面を含めて表示することが可能である。
しかしながら、この場合、操作用ディスプレイとカメラの設置位置の関係によっては、操作画面の映像に例えば歪み等の劣化が生じ、情報表示用ディスプレイに映し出された操作画面に視認しづらい箇所が生じてしまう、という問題がある。
【０００７】
そこで、操作用ディスプレイの操作画面と同じ画面を情報表示用ディスプレイに表示しつつ、カメラの撮影像から運転者の手の撮影像を切り出して、情報表示用ディスプレイの操作画面の上に重なるようにブレンド（合成）して表示すれば、上述の操作画面の劣化の問題は解消する。
しかしながら、操作用ディスプレイの操作画面においては、運転者の操作に応じて操作画面のメニュー表示等が変化する等して、手に対する操作画面の色調や輝度等が変動すると、カメラの映像から手の映像を切り出すに際し、手の映像だけを操作画面と区別して安定的に切り出すことができない、という問題がある。
【０００８】
本発明は、上述した事情に鑑みてなされたものであり、操作画面の劣化を抑え、なおかつ、当該操作画面を操作する手を操作画面の変化にかかわらずに安定的に表示できる情報機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、第１ディスプレイと、操作画面を表示する第２ディスプレイと、前記第２ディスプレイの操作画面を撮影し撮影像を出力する撮影手段と、を備え、前記第２ディスプレイに前記操作画面に代えて抽出用画面を間欠的に表示し、当該抽出用画面の撮影像から前記操作画面を操作する手を抽出した映像を生成し、前記第１ディスプレイに前記第２ディスプレイの操作画面と同じ操作画面を表示するための映像に、前記手を抽出した映像を重ねて表示したことを特徴とする情報機器を提供する。
【００１０】
また本発明は、上記情報機器において、前記抽出用画面の表示を、前記操作画面との間で色調の変化が少ない色の単色表示にしたことを特徴とする。
【００１１】
また本発明は、上記情報機器において、前記撮影手段によって前記第２ディスプレイの表示面に対して斜め方向から撮影された撮影像を垂直方向から前記表示面を見た俯瞰影像に変換する俯瞰処理部を備えたことを特徴とする。
【００１２】
また本発明は、上記情報機器において、車両における運転者が運転操作時に向けている視線近傍に前記第１ディスプレイを配置し、前記運転操作時に運転者の手が届く位置に前記第２ディスプレイを配置したことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、第２ディスプレイに操作画面に代えて抽出用画面を間欠的に表示し、当該抽出用画面の撮影像から操作画面を操作する手を抽出した映像を生成する構成としたため、操作に伴う操作画面の変化に左右されずに安定して手を抽出した映像が得られる。さらに、第１ディスプレイに第２ディスプレイの操作画面と同じ操作画面を表示するための映像に手を抽出した映像を重ねて表示する構成としたため、第１ディスプレイに劣化の無い操作画面を表示することができ、第１ディスプレイでの操作画面の識別性が高められる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る車載情報機器の設置態様を模式的に示す斜視図である。
【図２】車載情報機器の設置態様を模式的に示す断面図である。
【図３】車載情報機器の機能的構成を示すブロック図である。
【図４】操作用ディスプレイの操作画面と撮影像との関係を模式的に示す説明図である。
【図５】ブレンド用映像の説明図である。
【図６】情報表示用ディスプレイの操作画面視認用画面の説明図である。
【図７】操作画面視認用画面の生成処理のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
なお、以下の説明では、情報機器として車両に搭載される車載情報機器について例示するが、本発明は、これに限らず、第１ディスプレイとは別体に操作画面を表示する第２ディスプレイを備えた情報機器であれば任意の機器に適用することができる。
【００１６】
図１は本実施形態に係る車載情報機器１の設置態様を模式的に示す斜視図であり、図２は車載情報機器１の設置態様を模式的に示す断面図である。
車載情報機器１は、車両２の各種情報、或いは、例えばナビゲーションシステムやオーディオシステム等の各種アプリケーションの画面を表示する機器であり、図１及び図２に示すように、第１ディスプレイとしての情報表示用ディスプレイ１１と、この情報表示用ディスプレイ１１と別体に設けられた第２ディスプレイとしての操作用ディスプレイ１２と、操作用ディスプレイ１２の画面を撮影する撮影装置１３とを備えている。
【００１７】
情報表示用ディスプレイ１１は、上記各種情報や各種アプリケーションの画面を表示するディスプレイ（表示装置）であり、また操作用ディスプレイ１２は、操作画面４０（図４）を表示し、当該操作画面４０に対するタッチ操作可能なタッチパネルディスプレイである。これら情報表示用ディスプレイ１１、及び操作用ディスプレイ１２は、それぞれ車両２のフロントパネル３に配設されている。
すなわち、情報表示用ディスプレイ１１は、運転席５に座って車両２を運転操作する運転者７が運転操作中に向ける視線８の近傍（望ましくは運転者の視野内）であって、車両２の前方を臨む視界を阻害しない位置に配置されている。また、操作用ディスプレイ１２は、運転操作中に運転者７の手９が届く範囲に配置されている。
【００１８】
撮影装置１３は、図２に示すように、操作用ディスプレイ１２の上縁１２Ａの近傍で操作用ディスプレイ１２の設置面１４から表示画に突出した位置に固定的に配置され、操作用ディスプレイ１２の上側斜め方向から表示面１５（少なくとも表示面に表示される上記操作画面４０の領域全体）を撮影し撮影像３１（図３）を出力するものであり、例えばＣＣＤカメラを備えて構成されている。
撮影装置１３を操作用ディスプレイ１２の上縁１２Ａの近傍に配置することで、操作用ディスプレイ１２の表示面１５と撮影装置１３との間に手以外の物体が入り込み難くなることから、表示面１５と手以外の物体の撮影像３１への写り込みを防止できる。
なお、撮影装置１３の設置箇所は、少なくとも操作用ディスプレイ１２の表示面１５と、操作する手９とを撮影できる位置であれば、操作用ディスプレイ１２の上縁１２Ａの近傍に限らず、車両２の運転席５と助手席の間のシフトレバー付近、もしくは、車両２の運転席５と助手席の間の天井或いはその付近とすることもできる。
【００１９】
図３は、車載情報機器１の機能的構成を示すブロック図である。
同図に示すように、車載情報機器１は、上記情報表示用ディスプレイ１１、操作用ディスプレイ１２及び撮影装置１３の他に、機器本体１６を備え、この機器本体１６は、制御部２０と、操作画面生成部２１と、操作位置取得部２２と、撮影像処理部２３と、表示画面生成部２４とを備えている。
制御部２０は、車載情報機器１の各部を中枢的に制御するものであり、マイコン等を備えて構成されている。制御部２０は、上記撮影装置１３に撮影制御信号３０を出力して撮影動作（撮影開始・停止等）を制御し、かかる制御により、撮影装置１３が操作用ディスプレイ１２の表示面１５を撮影して撮影像３１を出力する。
【００２０】
操作画面生成部２１は、制御部２０の制御の下、操作用ディスプレイ１２に表示する画面のデータとして、操作画面４０を映像表示するための操作画面表示データ３３を生成する。
さらに詳述すると、操作用ディスプレイ１２の表示面１５には、図４（Ａ）に示すように、複数枚の操作画面４０のフレームと、この操作画面４０のフレームの間に挿入された抽出用画面４１のフレームとの一連のフレームが所定フレームレート（図示例では１フレーム／６０ｍｓｅｃ）で映像表示される。
抽出用画面４１は、表示面１５において操作画面４０と同一寸法及び同一位置に表示される画面であって、当該操作画面４０を操作する手９を画像処理により抽出するのに適した単色表示の画面である。この抽出用画面４１の表示期間ＴＡは、その抽出用画面４１の映像表示を人間が視覚し難い程度に短い時間幅（例えば１／３０ｍｓｅｃや１／６０ｍｓｅｃ以下：図示例では１／６０ｍ、すなわち１フレーム分）に設定されており、さらに、抽出用画面４１をより視覚され難くするために、抽出用画面４１は前後の操作画面４０の配色との間で色調の変化が小さくなる色で単色表示される。これにより、操作画面４０に抽出用画面４１を挿入表示したとしても、表示に違和感を与えることがなく、また、操作画面４０のちらつきも抑えられる。
【００２１】
操作画面４０は、運転者７のタッチ操作に応じて表示内容（メニューやボタン表示の位置や色）が随時に変化するように構成されており、抽出用画面４１の単色表示も、操作画面４０の表示内容の変化に合わせて制御部２０によって可変される。すなわち、制御部２０は、抽出用画面４１のフレームと、その直前及び／又は直後の操作画面４０のフレームとの間で色調の変化が少ない色を選択する。この選択した色のＲＧＢ情報は、抽出用画面指示信号３２に含められて出力される。
なお、操作画面４０の変化が少なく、ある程度固定されている場合、或いは、各抽出用画面４１のフレームについて前後の操作画面４０のフレームが予め固定されている場合には、各抽出用画面４１のフレームについて、単色表示する色を対応テーブルデータ等に予め規定して、制御部２０に格納しておく構成とすることもできる。
【００２２】
制御部２０が出力する抽出用画面指示信号３２には、抽出用画面４１のＲＧＢ情報の他に、この抽出用画面４１の表示期間ＴＡや表示タイミングが含められており、操作画面生成部２１は、この抽出用画面指示信号３２に基づいて、例えば１／６０ｍｓｅｃの表示期間ＴＡの抽出用画面４１が周期的に挿入されて表示される映像の上記操作画面表示データ３３を生成する。抽出用画面４１を表示する周期（表示タイミング）は、その周期で映像を連続表示した際に、一連の動画として認識される程度の周期であれば良く、本実施形態では周期を６０ｍｓｅｃとしている。
【００２３】
操作位置取得部２２は、操作用ディスプレイ１２の操作画面４０に対するユーザのタッチ位置（操作位置）を制御部２０に出力する。具体的には、操作用ディスプレイ１２は、上述の通り、タッチ操作入力が可能なタッチパネルディスプレイとして構成されており、タッチ位置を示す出力信号３４を操作位置取得部２２に出力する。操作位置取得部２２は、出力信号３４に基づいて操作画面４０におけるタッチ位置を特定し制御部２０にタッチ位置信号３５として出力する。制御部２０は、このタッチ位置信号３５に基づいて操作画面４０におけるタッチ操作されたボタン等を特定し、そのボタン等に割り当てられた処理を機能させる。
【００２４】
撮影像処理部２３は、撮影装置１３の撮影像３１に基づいて、操作用ディスプレイ１２の操作画面４０を操作する手９の映像を生成するものであり、撮影像取得部２５と、俯瞰処理部２６と、手抽出部２７とを備えている。
撮影像取得部２５は、制御部２０の制御の下、撮影装置１３から出力された撮影像３１を取得し俯瞰処理部２６に出力する。
俯瞰処理部２６は、撮影装置１３の撮影像３１を俯瞰処理する。すなわち、車両２にあっては、操作用ディスプレイ１２の画面を垂直方向（真上）から撮影可能な位置に撮影装置１３を配置できないことが多く、また、操作用ディスプレイ１２の表示面１５に極力近い位置から撮影をする場合には、前掲図１及び図２に示すように、撮影装置１３が表示面１５を斜め上から撮影することになる。この場合、撮影装置１３の撮影像３１は、図４（Ｂ）に示すように、矩形の操作画面４０が台形状に歪んだ映像となり、また操作画面４０を操作する手９についても、図４（Ｃ）に示すように、操作画面４０の歪みと同様に歪んだ映像となる。このような手９の映像を、そのまま情報表示用ディスプレイ１１に表示すると、歪んだ映像に違和感を覚えさせてしまう。
そこで、本実施形態では、俯瞰処理部２６が操作用ディスプレイ１２と撮影装置１３との相対位置、撮影装置１３の撮影レンズの歪み等に基づいて俯瞰処理を行い、撮影装置１３の撮影像３１を、図４（Ｄ）に示すように、操作用ディスプレイ１２の表示面１５を垂直方向から見た俯瞰映像３１Ｂに変換することとしている。
【００２５】
この俯瞰映像３１Ｂによれば、操作画面４０及び手９の歪みは解消されているものの、画像が荒くなっており、操作画面４０の表示内容を含めて荒い表示になっている。したがって、この俯瞰映像３１Ｂを、そのまま情報表示用ディスプレイ１１に表示すると、操作画面４０の表示内容（メニューやボタン等）の識別性及び可読性が悪い。
そこで、本実施形態では、操作用ディスプレイ１２の操作画面４０と同じ表示内容の視認用操作画面４３を情報表示用ディスプレイ１１にも表示することで、識別性及び可読性を良好にし、この視認用操作画面４３の上に俯瞰映像３１Ｂから抽出した手９の映像を重ねて表示することとしている。
【００２６】
ただし、撮影像３１には、図４（Ｄ）に示すように、操作画面４０のメニューやボタンなどの操作部分４０Ａと、操作画面４０の背景部分４０Ｂと、この操作画面４０の上に移っている手９との３つの部分が混在して写っており、何ら対策をしなければ、このような撮影像３１から手９のみを、操作に伴い随時変化する操作部分４０Ａや背景部分４０Ｂから安定的に抽出することは困難である。
そこで、本実施形態では、上述の通り、操作用ディスプレイ１２では、操作画面４０の映像に抽出用画面４１を挿入にして表示して、この抽出用画面４１が写っている映像部分（以下、「抽出対象映像３１Ａ」と言う）から手９を抽出することとしている。すなわち、この抽出対象映像３１Ａに写っているのは、抽出用画面４１の単色部分と、手９との２種類のみとなり、手９のみを抜き出した映像を簡単に生成することが可能になる。
【００２７】
すなわち、俯瞰処理部２６は、制御部２０が出力する抽出用画面指示信号３２に基づいて、図４（Ｄ）に示すように、抽出用画面４１の表示タイミングに同期して当該抽出用画面４１が写っている映像部分である抽出対象映像３１Ａを撮影像３１から取り出し、この抽出対象映像３１Ａを手抽出部２７に出力する。
手抽出部２７は、抽出対象映像３１Ａを、あたかも手９のみを抽出したかの映像であるブレンド用映像３６に変換して表示画面生成部２４に出力する。
すなわち、この変換処理においては、図５に示すように、抽出対象映像３１Ａのうち、抽出用画面４１に重なっている手９以外の領域を透明化してブレンド用映像３６を生成する。具体的には、制御部２０が出力する抽出用画面指示信号３２に抽出用画面４１の色のＲＧＢ情報が規定されていることから、手抽出部２７は、このＲＧＢ情報に基づいて抽出対象映像３１Ａから抽出用画面４１の色の領域を区画する画像処理を行う。これにより手９と、それ以外の領域とが区画され、手９が抽出されることとなる。
【００２８】
かかるブレンド用映像３６の生成処理についてより具体的には、手抽出部２７は、抽出用画面４１のＲＧＢ情報に対して、適当な色範囲を閾値に設定し、抽出対象映像３１Ａに含まれる各フレーム画像を２色に区別する。
例えば、Ｒ値、Ｇ値、及びＢ値のそれぞれの値の範囲が０〜２５４であり、抽出用画面４１の色のＲＧＢ情報がＲＧＢ＝（０、０、０）である場合、抽出用画面４１と認識する色範囲を、Ｒ値、Ｇ値、及びＢ値がいずれも「１０」を下回る色範囲としたときには、手抽出部２７は、抽出対象映像３１Ａに含まれるフレーム画像ごとに、各ピクセルデータの色が上記色範囲に含まれるか否かに応じて、次の処理手順により、ＲＧＢ＝（０、０、０）及びＲＧＢ＝（２５４、２５４、２５４）に２値化する。
【００２９】
Ｉｆ Ｒ＜１０ ｔｈｅｎ Ｒ＝０， ｅｌｓｅ Ｒ＝２５４
Ｉｆ Ｇ＜１０ ｔｈｅｎ Ｇ＝０， ｅｌｓｅ Ｇ＝２５４
Ｉｆ Ｂ＜１０ ｔｈｅｎ Ｂ＝０， ｅｌｓｅ Ｂ＝２５４
【００３０】
この処理手順により、抽出用画面４１の領域に対応するピクセルがＲＧＢ＝（０、０、０）、手９の領域に対応するピクセルがＲＧＢ＝（２５４、２５４、２５４）に２値化されたブレンド用映像３６が得られる。
なお、抽出対象映像３１Ａに対して輪郭抽出処理を施すことで手９の輪郭を抽出し、この輪郭に基づいて、或いは輪郭と抽出用画面４１の色の両方とに基づいて手９以外の領域を抽出しても良いことは勿論である。
【００３１】
前掲図３に戻り、表示画面生成部２４は、操作用ディスプレイ１２が表示している操作画面４０と同様の視認用操作画面４３の上に手９の抽出対象映像３１Ａを合成した操作画面視認用画面４４（図６）を情報表示用ディスプレイ１１に表示するための情報表示データ３７を生成する。
すなわち、表示画面生成部２４には、操作画面生成部２１が生成する操作画面表示データ３３が入力されており、表示画面生成部２４は、この操作画面表示データ３３に基づいて、情報表示用ディスプレイ１１の画面や表示領域に合わせて操作画面４０の大きさを可変し、情報表示用ディスプレイ１１への表示に見合った寸法、及び表示位置の視認用操作画面４３を生成する。
一方で、表示画面生成部２４は、撮影像処理部２３から出力されたブレンド用映像３６を視認用操作画面４３の上に重ねるようにブレンド処理する。
【００３２】
すなわち、ブレンド用映像３６のフレームの大きさと、情報表示用ディスプレイ１１に表示する視認用操作画面４３のフレームとの相対位置及び寸法比は固定されており、表示画面生成部２４は、この相対位置、及び寸法比に基づいて、情報表示用ディスプレイ１１の視認用操作画面４３と、ブレンド用映像３６とを縮尺及び位置を合わせて重ねる。
また、上述の通り、ブレンド用映像３６は、手９以外の領域が透明化された映像であり、このブレンド用映像３６を視認用操作画面４３の映像に重ねることで、視認用操作画面４３の手９以外の部分が透けた映像が得られる。また、視認用操作画面４３の映像にあっては、手９の表示を阻害しないように、手９に対応する領域の色が可変される。
【００３３】
このようなブレンド処理はピクセル単位で行われる。すなわち、表示画面生成部２４は、ブレンド用映像３６のピクセルの色情報がＲＧＢ（０、０、０）であった場合に、視認用操作画面４３の映像部分のピクセルをそのまま表示し、ブレンド用映像３６のピクセルの色情報がＲＧＢ（２５４、２５４、２５４）であった場合には、視認用操作画面４３の映像部分のピクセルを、そのピクセルの色情報と適当なブレンド用色情報（例えば（０、２５４、０））との平均値を取ってブレンドした色情報とする。なお、ブレンド用色情報には、手９の識別性が得られる範囲で任意の色を割り当てることができる。
これにより、視認用操作画面４３に手９を実際の位置に則して表示する操作画面視認用画面４４の情報表示データ３７が生成され、この操作画面視認用画面４４が情報表示用ディスプレイ１１に表示されることとなる。
【００３４】
次いで、車載情報機器１の動作として、撮影装置１３の撮影像３１から上記操作画面視認用画面４４を生成する処理について詳述する。
図７は、操作画面視認用画面４４の生成処理のフローチャートである。
車載情報機器１は、機器本体１６の電源投入等に連動して撮影装置１３による操作用ディスプレイ１２の撮影を開始し、この撮影装置１３の撮影像３１が撮影像処理部２３に順次取得される（ステップＳ１）。
撮影像処理部２３では、俯瞰処理部２６が撮影像３１に含まれる抽出用画面４１の抽出対象映像３１Ａを検出し（ステップＳ２）、抽出対象映像３１Ａを検出するごとに、俯瞰処理を実行する（ステップＳ３）。
【００３５】
次いで、撮影像処理部２３では、手抽出部２７が抽出用画面４１の色情報を取得し（ステップＳ４）、この色情報に基づいて俯瞰映像３１Ｂを二値化処理して、抽出用画面４１に対応する領域と手９の領域とをそれぞれ区別し、抽出用画面４１に対応する領域を透明化したブレンド用映像３６を生成する（ステップＳ５）。
【００３６】
一方、表示画面生成部２４は、操作画面生成部２１から操作画面表示データ３３を順次取得して、情報表示用ディスプレイ１１に表示する視認用操作画面４３の映像を生成する（ステップＳ６）。また表示画面生成部２４は、ブレンド用映像３６を取得すると、このブレンド用映像３６を視認用操作画面４３の映像にピクセル単位でブレンド処理して情報表示データ３７を生成する（ステップＳ７）。そして、この情報表示データ３７に基づいて情報表示用ディスプレイ１１が表示を行う。これにより、情報表示用ディスプレイ１１には、視認用操作画面４３に手９を実際の位置に則して表示した操作画面視認用画面４４が表示される（ステップＳ８）。
なお、情報表示用ディスプレイ１１において、視認用操作画面４３を表示面の全域ではなく、例えば小窓表示などのように表示面の一部の領域に表示する態様としても良いことは勿論である。
【００３７】
以上説明したように、本実施形態によれば、操作用ディスプレイ１２に操作画面４０に代えて抽出用画面４１を一定の周期で間欠的に表示し、当該抽出用画面４１の撮影像３１から操作画面４０を操作する手９を抽出した映像であるブレンド用映像３６を生成する構成としたため、操作に伴う操作画面４０の変化に左右されずに安定して手を抽出した映像が得られる。
また、情報表示用ディスプレイ１１に操作用ディスプレイ１２の操作画面４０と同じ視認用操作画面４３を表示するための映像に、手を抽出した映像であるブレンド用映像３６を重ねて表示する構成としたため、情報表示用ディスプレイ１１には劣化の無い視認用操作画面４３を表示することができ、情報表示用ディスプレイ１１での視認用操作画面４３の識別性が高められる。
【００３８】
また本実施形態によれば、車両２における運転者７が運転操作時に向けている視線８の近傍に情報表示用ディスプレイ１１を配置し、運転操作時に運転者７の手が届く位置であって助手席側に操作用ディスプレイ１２を配置することで、操作用ディスプレイ１２においては、操作画面４０を表示した状態で使用することができるために、運転者７は情報表示用ディスプレイ１１の視認用操作画面４３を見ながら操作し、また助手席では、操作用ディスプレイ１２の操作画面４０を見ながら操作するということを両立できる。さらに、この両立した状態で、かつ、情報表示用ディスプレイ１１上には、視認用操作画面４３に劣化を生じることなく、手９の映像を表示することが可能となる。
【００３９】
また、本実施形態によれば、抽出用画面４１の表示を、操作画面４０との間で色調の変化が少ない色での単色表示とした。
この構成によれば、抽出用画面４１の表示が操作画面４０との間で色調の変化が少ない色であるため、当該抽出用画面４１の表示が視覚され難くなり、画面表示に違和感を与えることがない。
さらに、抽出用画面４１を単色表示としたため、抽出用画面４１の表示タイミングで撮影した抽出対象映像３１Ａから、抽出用画面４１の色の情報に基づいて、手９と、それ以外の領域を簡単に区別して手９のみを抽出することができる。
【００４０】
特に、撮影像３１から手９の映像のみを抽出するために、手９と背景とのコントラストを大きくすべく、黒といった特定の色で抽出用画面４１を構成した場合でも、例えば黒に近い色の手袋を装着した等のように、手９の状態によっては抽出用画面４１との間でコントラストがでない場合がある。
このような場合でも、本実施形態によれば、抽出用画面４１の色の情報に基づいて、手９と、それ以外の領域を区別するため、手９と抽出用画面４１の色との間のコントラストが小さくなった場合でも安定して手９を抽出することができる。
【００４１】
また本実施形態によれば、撮影装置１３によって操作用ディスプレイ１２の表示面１５に対して斜め方向から撮影された撮影像３１を垂直方向から表示面１５を見た俯瞰影像に変換する俯瞰処理部２６を備える構成としたため、撮影装置１３を操作用ディスプレイ１２の表示面１５の真上に配置せずとも、歪みの無い手９の映像を情報表示用ディスプレイ１１に表示することができる。
【００４２】
上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形及び応用が可能である。
【００４３】
例えば、上述した実施形態において、情報表示用ディスプレイ１１を１つだけ車両２に設置した場合を例示したが、これに限らず複数の情報表示用ディスプレイ１１を設けても良い。この場合、少なくともいずれか１つの情報表示用ディスプレイ１１に、操作画面視認用画面４４が表示される。
【００４４】
また例えば、抽出用画面４１の表示期間ＴＡの抽出対象映像３１Ａを俯瞰処理部２６で抽出する構成ではなく、抽出用画面４１の表示期間ＴＡに同期して撮影像取得部２５が撮影装置１３から撮影像３１を取得し、或いは表示期間ＴＡに同期して撮影装置１３が撮影を行う構成とすることで、抽出用画面４１だけが写った撮影像３１を得る構成としても良い。
また、撮影像処理部２３は、抽出用画面４１の表示タイミングを、制御部２０が出力する信号（抽出用画面指示信号３２）に基づいて検知する構成としたが、これに限らず、取得した撮影像３１毎に、抽出用画面４１の有無を判断することが可能である場合には、撮影像処理部２３は、制御部２０が出力する信号（抽出用画面指示信号３２）に同期して動作する必要はない。
【００４５】
また例えば、操作用ディスプレイ１２には、抽出用画面４１のフレームを６０ｍｓｅｃの周期で挿入して表示する場合を例示したが、視覚の効果として、より多いフレーム枚数でも、操作用ディスプレイ１２のちらつき等が許容できる場合には、抽出用画面４１のフレーム枚数を増やし、情報表示用ディスプレイ１１において手９の映像を、よりなめらかに表示することもできる。また、走行中のように運転者７が操作の際に操作用ディスプレイ１２を視認しないときと、停車中のように運転者７が操作用ディスプレイ１２を視認しながら操作するときといった状況に合わせて、運転者７が操作用ディスプレイ１２を視認しないような状況ではフレーム枚数を増加させることも可能である。
【００４６】
また例えば、車両２に車内の明るさを検知する照度計を設け、抽出用画面４１の色を、例えば、昼や夜のように車両２内の明るさに応じて、手９との間でコントラストが大きくなるように可変する構成としても良い。
【符号の説明】
【００４７】
１ 車載情報機器（情報機器）
２ 車両
７ 運転者
８ 視線
９ 手
１１ 情報表示用ディスプレイ（第１ディスプレイ）
１２ 操作用ディスプレイ（第２ディスプレイ）
１３ 撮影装置（撮影手段）
１５ 表示面
１６ 機器本体
２０ 制御部
２１ 操作画面生成部
２３ 撮影像処理部
２４ 表示画面生成部
２５ 撮影像取得部
２６ 俯瞰処理部
２７ 手抽出部
３１ 撮影像
３１Ａ 抽出対象映像
３１Ｂ 俯瞰映像
３２ 抽出用画面指示信号
３３ 操作画面表示データ
３６ ブレンド用映像
３７ 情報表示データ
４０ 操作画面
４１ 抽出用画面
４３ 視認用操作画面
４４ 操作画面視認用画面
ＴＡ 表示期間
【技術分野】
【０００１】
本発明は、操作部を操作する手をディスプレイに表示する技術に関する。
【背景技術】
【０００２】
車両内で使用する情報量の増大に伴い、車両内に表示機器であるディスプレイを複数設置することが増えてきている。その際に、運転者に対しては車両の運転という作業とディスプレイを視認するという作業との同時並行作業を考慮するため、運転者がディスプレイを見る場合に、通常の運転状態からの視点の移動量を少なくするために、できるだけ運転者の前方にて遠い位置に各ディスプレイを設置することが通常である。この遠い位置に設置されたディスプレイは、運転者等の乗車者が通常状態ではタッチ等の操作により操作することが難しい位置に設置されることから、専ら情報表示を中心とした情報表示用ディスプレイとして使用されることが多い。
【０００３】
また、従来の車載情報機器は、運転操作中の運転者の手がある程度届く位置に設けられており、そのため、この車載情報機器の操作部は、タッチパネル、もしくは、ディスプレイの周辺部分に配設されたボタンによって構成されることから、車載情報機器のディスプレイは操作を中心とした操作用ディスプレイとなる場合が多い。ただし、操作用ディスプレイは、運転操作中の運転者の手が届く範囲にあることから、必然的に、車載情報機器を操作する際の運転者の視点は、運転操作のために車両の前方に向けられた視点位置から大きくズレることになる。
【０００４】
一方、車両の前方に情報表示用ディスプレイを設けつつ、運転操作中の運転者の手の届く位置に操作部を設けて、操作位置と表示位置とを分離し、なおかつ、操作部を操作する運転者の手をカメラで撮影し情報表示用ディスプレイに表示することで、運転者の前方に設置された情報表示用ディスプレイを見ながらも、操作部を操作している手を視認しながら操作部を操作可能とした技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３３５３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、操作部をタッチパネルのような操作画面（操作メニュー）表示機能を有した操作用ディスプレイで構成し、カメラで撮影した操作用ディスプレイの撮影像をそのまま情報表示用ディスプレイに表示すれば、この情報表示用ディスプレイに、操作用ディスプレイに表示された操作画面を含めて表示することが可能である。
しかしながら、この場合、操作用ディスプレイとカメラの設置位置の関係によっては、操作画面の映像に例えば歪み等の劣化が生じ、情報表示用ディスプレイに映し出された操作画面に視認しづらい箇所が生じてしまう、という問題がある。
【０００７】
そこで、操作用ディスプレイの操作画面と同じ画面を情報表示用ディスプレイに表示しつつ、カメラの撮影像から運転者の手の撮影像を切り出して、情報表示用ディスプレイの操作画面の上に重なるようにブレンド（合成）して表示すれば、上述の操作画面の劣化の問題は解消する。
しかしながら、操作用ディスプレイの操作画面においては、運転者の操作に応じて操作画面のメニュー表示等が変化する等して、手に対する操作画面の色調や輝度等が変動すると、カメラの映像から手の映像を切り出すに際し、手の映像だけを操作画面と区別して安定的に切り出すことができない、という問題がある。
【０００８】
本発明は、上述した事情に鑑みてなされたものであり、操作画面の劣化を抑え、なおかつ、当該操作画面を操作する手を操作画面の変化にかかわらずに安定的に表示できる情報機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、第１ディスプレイと、操作画面を表示する第２ディスプレイと、前記第２ディスプレイの操作画面を撮影し撮影像を出力する撮影手段と、を備え、前記第２ディスプレイに前記操作画面に代えて抽出用画面を間欠的に表示し、当該抽出用画面の撮影像から前記操作画面を操作する手を抽出した映像を生成し、前記第１ディスプレイに前記第２ディスプレイの操作画面と同じ操作画面を表示するための映像に、前記手を抽出した映像を重ねて表示したことを特徴とする情報機器を提供する。
【００１０】
また本発明は、上記情報機器において、前記抽出用画面の表示を、前記操作画面との間で色調の変化が少ない色の単色表示にしたことを特徴とする。
【００１１】
また本発明は、上記情報機器において、前記撮影手段によって前記第２ディスプレイの表示面に対して斜め方向から撮影された撮影像を垂直方向から前記表示面を見た俯瞰影像に変換する俯瞰処理部を備えたことを特徴とする。
【００１２】
また本発明は、上記情報機器において、車両における運転者が運転操作時に向けている視線近傍に前記第１ディスプレイを配置し、前記運転操作時に運転者の手が届く位置に前記第２ディスプレイを配置したことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、第２ディスプレイに操作画面に代えて抽出用画面を間欠的に表示し、当該抽出用画面の撮影像から操作画面を操作する手を抽出した映像を生成する構成としたため、操作に伴う操作画面の変化に左右されずに安定して手を抽出した映像が得られる。さらに、第１ディスプレイに第２ディスプレイの操作画面と同じ操作画面を表示するための映像に手を抽出した映像を重ねて表示する構成としたため、第１ディスプレイに劣化の無い操作画面を表示することができ、第１ディスプレイでの操作画面の識別性が高められる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る車載情報機器の設置態様を模式的に示す斜視図である。
【図２】車載情報機器の設置態様を模式的に示す断面図である。
【図３】車載情報機器の機能的構成を示すブロック図である。
【図４】操作用ディスプレイの操作画面と撮影像との関係を模式的に示す説明図である。
【図５】ブレンド用映像の説明図である。
【図６】情報表示用ディスプレイの操作画面視認用画面の説明図である。
【図７】操作画面視認用画面の生成処理のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
なお、以下の説明では、情報機器として車両に搭載される車載情報機器について例示するが、本発明は、これに限らず、第１ディスプレイとは別体に操作画面を表示する第２ディスプレイを備えた情報機器であれば任意の機器に適用することができる。
【００１６】
図１は本実施形態に係る車載情報機器１の設置態様を模式的に示す斜視図であり、図２は車載情報機器１の設置態様を模式的に示す断面図である。
車載情報機器１は、車両２の各種情報、或いは、例えばナビゲーションシステムやオーディオシステム等の各種アプリケーションの画面を表示する機器であり、図１及び図２に示すように、第１ディスプレイとしての情報表示用ディスプレイ１１と、この情報表示用ディスプレイ１１と別体に設けられた第２ディスプレイとしての操作用ディスプレイ１２と、操作用ディスプレイ１２の画面を撮影する撮影装置１３とを備えている。
【００１７】
情報表示用ディスプレイ１１は、上記各種情報や各種アプリケーションの画面を表示するディスプレイ（表示装置）であり、また操作用ディスプレイ１２は、操作画面４０（図４）を表示し、当該操作画面４０に対するタッチ操作可能なタッチパネルディスプレイである。これら情報表示用ディスプレイ１１、及び操作用ディスプレイ１２は、それぞれ車両２のフロントパネル３に配設されている。
すなわち、情報表示用ディスプレイ１１は、運転席５に座って車両２を運転操作する運転者７が運転操作中に向ける視線８の近傍（望ましくは運転者の視野内）であって、車両２の前方を臨む視界を阻害しない位置に配置されている。また、操作用ディスプレイ１２は、運転操作中に運転者７の手９が届く範囲に配置されている。
【００１８】
撮影装置１３は、図２に示すように、操作用ディスプレイ１２の上縁１２Ａの近傍で操作用ディスプレイ１２の設置面１４から表示画に突出した位置に固定的に配置され、操作用ディスプレイ１２の上側斜め方向から表示面１５（少なくとも表示面に表示される上記操作画面４０の領域全体）を撮影し撮影像３１（図３）を出力するものであり、例えばＣＣＤカメラを備えて構成されている。
撮影装置１３を操作用ディスプレイ１２の上縁１２Ａの近傍に配置することで、操作用ディスプレイ１２の表示面１５と撮影装置１３との間に手以外の物体が入り込み難くなることから、表示面１５と手以外の物体の撮影像３１への写り込みを防止できる。
なお、撮影装置１３の設置箇所は、少なくとも操作用ディスプレイ１２の表示面１５と、操作する手９とを撮影できる位置であれば、操作用ディスプレイ１２の上縁１２Ａの近傍に限らず、車両２の運転席５と助手席の間のシフトレバー付近、もしくは、車両２の運転席５と助手席の間の天井或いはその付近とすることもできる。
【００１９】
図３は、車載情報機器１の機能的構成を示すブロック図である。
同図に示すように、車載情報機器１は、上記情報表示用ディスプレイ１１、操作用ディスプレイ１２及び撮影装置１３の他に、機器本体１６を備え、この機器本体１６は、制御部２０と、操作画面生成部２１と、操作位置取得部２２と、撮影像処理部２３と、表示画面生成部２４とを備えている。
制御部２０は、車載情報機器１の各部を中枢的に制御するものであり、マイコン等を備えて構成されている。制御部２０は、上記撮影装置１３に撮影制御信号３０を出力して撮影動作（撮影開始・停止等）を制御し、かかる制御により、撮影装置１３が操作用ディスプレイ１２の表示面１５を撮影して撮影像３１を出力する。
【００２０】
操作画面生成部２１は、制御部２０の制御の下、操作用ディスプレイ１２に表示する画面のデータとして、操作画面４０を映像表示するための操作画面表示データ３３を生成する。
さらに詳述すると、操作用ディスプレイ１２の表示面１５には、図４（Ａ）に示すように、複数枚の操作画面４０のフレームと、この操作画面４０のフレームの間に挿入された抽出用画面４１のフレームとの一連のフレームが所定フレームレート（図示例では１フレーム／６０ｍｓｅｃ）で映像表示される。
抽出用画面４１は、表示面１５において操作画面４０と同一寸法及び同一位置に表示される画面であって、当該操作画面４０を操作する手９を画像処理により抽出するのに適した単色表示の画面である。この抽出用画面４１の表示期間ＴＡは、その抽出用画面４１の映像表示を人間が視覚し難い程度に短い時間幅（例えば１／３０ｍｓｅｃや１／６０ｍｓｅｃ以下：図示例では１／６０ｍ、すなわち１フレーム分）に設定されており、さらに、抽出用画面４１をより視覚され難くするために、抽出用画面４１は前後の操作画面４０の配色との間で色調の変化が小さくなる色で単色表示される。これにより、操作画面４０に抽出用画面４１を挿入表示したとしても、表示に違和感を与えることがなく、また、操作画面４０のちらつきも抑えられる。
【００２１】
操作画面４０は、運転者７のタッチ操作に応じて表示内容（メニューやボタン表示の位置や色）が随時に変化するように構成されており、抽出用画面４１の単色表示も、操作画面４０の表示内容の変化に合わせて制御部２０によって可変される。すなわち、制御部２０は、抽出用画面４１のフレームと、その直前及び／又は直後の操作画面４０のフレームとの間で色調の変化が少ない色を選択する。この選択した色のＲＧＢ情報は、抽出用画面指示信号３２に含められて出力される。
なお、操作画面４０の変化が少なく、ある程度固定されている場合、或いは、各抽出用画面４１のフレームについて前後の操作画面４０のフレームが予め固定されている場合には、各抽出用画面４１のフレームについて、単色表示する色を対応テーブルデータ等に予め規定して、制御部２０に格納しておく構成とすることもできる。
【００２２】
制御部２０が出力する抽出用画面指示信号３２には、抽出用画面４１のＲＧＢ情報の他に、この抽出用画面４１の表示期間ＴＡや表示タイミングが含められており、操作画面生成部２１は、この抽出用画面指示信号３２に基づいて、例えば１／６０ｍｓｅｃの表示期間ＴＡの抽出用画面４１が周期的に挿入されて表示される映像の上記操作画面表示データ３３を生成する。抽出用画面４１を表示する周期（表示タイミング）は、その周期で映像を連続表示した際に、一連の動画として認識される程度の周期であれば良く、本実施形態では周期を６０ｍｓｅｃとしている。
【００２３】
操作位置取得部２２は、操作用ディスプレイ１２の操作画面４０に対するユーザのタッチ位置（操作位置）を制御部２０に出力する。具体的には、操作用ディスプレイ１２は、上述の通り、タッチ操作入力が可能なタッチパネルディスプレイとして構成されており、タッチ位置を示す出力信号３４を操作位置取得部２２に出力する。操作位置取得部２２は、出力信号３４に基づいて操作画面４０におけるタッチ位置を特定し制御部２０にタッチ位置信号３５として出力する。制御部２０は、このタッチ位置信号３５に基づいて操作画面４０におけるタッチ操作されたボタン等を特定し、そのボタン等に割り当てられた処理を機能させる。
【００２４】
撮影像処理部２３は、撮影装置１３の撮影像３１に基づいて、操作用ディスプレイ１２の操作画面４０を操作する手９の映像を生成するものであり、撮影像取得部２５と、俯瞰処理部２６と、手抽出部２７とを備えている。
撮影像取得部２５は、制御部２０の制御の下、撮影装置１３から出力された撮影像３１を取得し俯瞰処理部２６に出力する。
俯瞰処理部２６は、撮影装置１３の撮影像３１を俯瞰処理する。すなわち、車両２にあっては、操作用ディスプレイ１２の画面を垂直方向（真上）から撮影可能な位置に撮影装置１３を配置できないことが多く、また、操作用ディスプレイ１２の表示面１５に極力近い位置から撮影をする場合には、前掲図１及び図２に示すように、撮影装置１３が表示面１５を斜め上から撮影することになる。この場合、撮影装置１３の撮影像３１は、図４（Ｂ）に示すように、矩形の操作画面４０が台形状に歪んだ映像となり、また操作画面４０を操作する手９についても、図４（Ｃ）に示すように、操作画面４０の歪みと同様に歪んだ映像となる。このような手９の映像を、そのまま情報表示用ディスプレイ１１に表示すると、歪んだ映像に違和感を覚えさせてしまう。
そこで、本実施形態では、俯瞰処理部２６が操作用ディスプレイ１２と撮影装置１３との相対位置、撮影装置１３の撮影レンズの歪み等に基づいて俯瞰処理を行い、撮影装置１３の撮影像３１を、図４（Ｄ）に示すように、操作用ディスプレイ１２の表示面１５を垂直方向から見た俯瞰映像３１Ｂに変換することとしている。
【００２５】
この俯瞰映像３１Ｂによれば、操作画面４０及び手９の歪みは解消されているものの、画像が荒くなっており、操作画面４０の表示内容を含めて荒い表示になっている。したがって、この俯瞰映像３１Ｂを、そのまま情報表示用ディスプレイ１１に表示すると、操作画面４０の表示内容（メニューやボタン等）の識別性及び可読性が悪い。
そこで、本実施形態では、操作用ディスプレイ１２の操作画面４０と同じ表示内容の視認用操作画面４３を情報表示用ディスプレイ１１にも表示することで、識別性及び可読性を良好にし、この視認用操作画面４３の上に俯瞰映像３１Ｂから抽出した手９の映像を重ねて表示することとしている。
【００２６】
ただし、撮影像３１には、図４（Ｄ）に示すように、操作画面４０のメニューやボタンなどの操作部分４０Ａと、操作画面４０の背景部分４０Ｂと、この操作画面４０の上に移っている手９との３つの部分が混在して写っており、何ら対策をしなければ、このような撮影像３１から手９のみを、操作に伴い随時変化する操作部分４０Ａや背景部分４０Ｂから安定的に抽出することは困難である。
そこで、本実施形態では、上述の通り、操作用ディスプレイ１２では、操作画面４０の映像に抽出用画面４１を挿入にして表示して、この抽出用画面４１が写っている映像部分（以下、「抽出対象映像３１Ａ」と言う）から手９を抽出することとしている。すなわち、この抽出対象映像３１Ａに写っているのは、抽出用画面４１の単色部分と、手９との２種類のみとなり、手９のみを抜き出した映像を簡単に生成することが可能になる。
【００２７】
すなわち、俯瞰処理部２６は、制御部２０が出力する抽出用画面指示信号３２に基づいて、図４（Ｄ）に示すように、抽出用画面４１の表示タイミングに同期して当該抽出用画面４１が写っている映像部分である抽出対象映像３１Ａを撮影像３１から取り出し、この抽出対象映像３１Ａを手抽出部２７に出力する。
手抽出部２７は、抽出対象映像３１Ａを、あたかも手９のみを抽出したかの映像であるブレンド用映像３６に変換して表示画面生成部２４に出力する。
すなわち、この変換処理においては、図５に示すように、抽出対象映像３１Ａのうち、抽出用画面４１に重なっている手９以外の領域を透明化してブレンド用映像３６を生成する。具体的には、制御部２０が出力する抽出用画面指示信号３２に抽出用画面４１の色のＲＧＢ情報が規定されていることから、手抽出部２７は、このＲＧＢ情報に基づいて抽出対象映像３１Ａから抽出用画面４１の色の領域を区画する画像処理を行う。これにより手９と、それ以外の領域とが区画され、手９が抽出されることとなる。
【００２８】
かかるブレンド用映像３６の生成処理についてより具体的には、手抽出部２７は、抽出用画面４１のＲＧＢ情報に対して、適当な色範囲を閾値に設定し、抽出対象映像３１Ａに含まれる各フレーム画像を２色に区別する。
例えば、Ｒ値、Ｇ値、及びＢ値のそれぞれの値の範囲が０〜２５４であり、抽出用画面４１の色のＲＧＢ情報がＲＧＢ＝（０、０、０）である場合、抽出用画面４１と認識する色範囲を、Ｒ値、Ｇ値、及びＢ値がいずれも「１０」を下回る色範囲としたときには、手抽出部２７は、抽出対象映像３１Ａに含まれるフレーム画像ごとに、各ピクセルデータの色が上記色範囲に含まれるか否かに応じて、次の処理手順により、ＲＧＢ＝（０、０、０）及びＲＧＢ＝（２５４、２５４、２５４）に２値化する。
【００２９】
Ｉｆ Ｒ＜１０ ｔｈｅｎ Ｒ＝０， ｅｌｓｅ Ｒ＝２５４
Ｉｆ Ｇ＜１０ ｔｈｅｎ Ｇ＝０， ｅｌｓｅ Ｇ＝２５４
Ｉｆ Ｂ＜１０ ｔｈｅｎ Ｂ＝０， ｅｌｓｅ Ｂ＝２５４
【００３０】
この処理手順により、抽出用画面４１の領域に対応するピクセルがＲＧＢ＝（０、０、０）、手９の領域に対応するピクセルがＲＧＢ＝（２５４、２５４、２５４）に２値化されたブレンド用映像３６が得られる。
なお、抽出対象映像３１Ａに対して輪郭抽出処理を施すことで手９の輪郭を抽出し、この輪郭に基づいて、或いは輪郭と抽出用画面４１の色の両方とに基づいて手９以外の領域を抽出しても良いことは勿論である。
【００３１】
前掲図３に戻り、表示画面生成部２４は、操作用ディスプレイ１２が表示している操作画面４０と同様の視認用操作画面４３の上に手９の抽出対象映像３１Ａを合成した操作画面視認用画面４４（図６）を情報表示用ディスプレイ１１に表示するための情報表示データ３７を生成する。
すなわち、表示画面生成部２４には、操作画面生成部２１が生成する操作画面表示データ３３が入力されており、表示画面生成部２４は、この操作画面表示データ３３に基づいて、情報表示用ディスプレイ１１の画面や表示領域に合わせて操作画面４０の大きさを可変し、情報表示用ディスプレイ１１への表示に見合った寸法、及び表示位置の視認用操作画面４３を生成する。
一方で、表示画面生成部２４は、撮影像処理部２３から出力されたブレンド用映像３６を視認用操作画面４３の上に重ねるようにブレンド処理する。
【００３２】
すなわち、ブレンド用映像３６のフレームの大きさと、情報表示用ディスプレイ１１に表示する視認用操作画面４３のフレームとの相対位置及び寸法比は固定されており、表示画面生成部２４は、この相対位置、及び寸法比に基づいて、情報表示用ディスプレイ１１の視認用操作画面４３と、ブレンド用映像３６とを縮尺及び位置を合わせて重ねる。
また、上述の通り、ブレンド用映像３６は、手９以外の領域が透明化された映像であり、このブレンド用映像３６を視認用操作画面４３の映像に重ねることで、視認用操作画面４３の手９以外の部分が透けた映像が得られる。また、視認用操作画面４３の映像にあっては、手９の表示を阻害しないように、手９に対応する領域の色が可変される。
【００３３】
このようなブレンド処理はピクセル単位で行われる。すなわち、表示画面生成部２４は、ブレンド用映像３６のピクセルの色情報がＲＧＢ（０、０、０）であった場合に、視認用操作画面４３の映像部分のピクセルをそのまま表示し、ブレンド用映像３６のピクセルの色情報がＲＧＢ（２５４、２５４、２５４）であった場合には、視認用操作画面４３の映像部分のピクセルを、そのピクセルの色情報と適当なブレンド用色情報（例えば（０、２５４、０））との平均値を取ってブレンドした色情報とする。なお、ブレンド用色情報には、手９の識別性が得られる範囲で任意の色を割り当てることができる。
これにより、視認用操作画面４３に手９を実際の位置に則して表示する操作画面視認用画面４４の情報表示データ３７が生成され、この操作画面視認用画面４４が情報表示用ディスプレイ１１に表示されることとなる。
【００３４】
次いで、車載情報機器１の動作として、撮影装置１３の撮影像３１から上記操作画面視認用画面４４を生成する処理について詳述する。
図７は、操作画面視認用画面４４の生成処理のフローチャートである。
車載情報機器１は、機器本体１６の電源投入等に連動して撮影装置１３による操作用ディスプレイ１２の撮影を開始し、この撮影装置１３の撮影像３１が撮影像処理部２３に順次取得される（ステップＳ１）。
撮影像処理部２３では、俯瞰処理部２６が撮影像３１に含まれる抽出用画面４１の抽出対象映像３１Ａを検出し（ステップＳ２）、抽出対象映像３１Ａを検出するごとに、俯瞰処理を実行する（ステップＳ３）。
【００３５】
次いで、撮影像処理部２３では、手抽出部２７が抽出用画面４１の色情報を取得し（ステップＳ４）、この色情報に基づいて俯瞰映像３１Ｂを二値化処理して、抽出用画面４１に対応する領域と手９の領域とをそれぞれ区別し、抽出用画面４１に対応する領域を透明化したブレンド用映像３６を生成する（ステップＳ５）。
【００３６】
一方、表示画面生成部２４は、操作画面生成部２１から操作画面表示データ３３を順次取得して、情報表示用ディスプレイ１１に表示する視認用操作画面４３の映像を生成する（ステップＳ６）。また表示画面生成部２４は、ブレンド用映像３６を取得すると、このブレンド用映像３６を視認用操作画面４３の映像にピクセル単位でブレンド処理して情報表示データ３７を生成する（ステップＳ７）。そして、この情報表示データ３７に基づいて情報表示用ディスプレイ１１が表示を行う。これにより、情報表示用ディスプレイ１１には、視認用操作画面４３に手９を実際の位置に則して表示した操作画面視認用画面４４が表示される（ステップＳ８）。
なお、情報表示用ディスプレイ１１において、視認用操作画面４３を表示面の全域ではなく、例えば小窓表示などのように表示面の一部の領域に表示する態様としても良いことは勿論である。
【００３７】
以上説明したように、本実施形態によれば、操作用ディスプレイ１２に操作画面４０に代えて抽出用画面４１を一定の周期で間欠的に表示し、当該抽出用画面４１の撮影像３１から操作画面４０を操作する手９を抽出した映像であるブレンド用映像３６を生成する構成としたため、操作に伴う操作画面４０の変化に左右されずに安定して手を抽出した映像が得られる。
また、情報表示用ディスプレイ１１に操作用ディスプレイ１２の操作画面４０と同じ視認用操作画面４３を表示するための映像に、手を抽出した映像であるブレンド用映像３６を重ねて表示する構成としたため、情報表示用ディスプレイ１１には劣化の無い視認用操作画面４３を表示することができ、情報表示用ディスプレイ１１での視認用操作画面４３の識別性が高められる。
【００３８】
また本実施形態によれば、車両２における運転者７が運転操作時に向けている視線８の近傍に情報表示用ディスプレイ１１を配置し、運転操作時に運転者７の手が届く位置であって助手席側に操作用ディスプレイ１２を配置することで、操作用ディスプレイ１２においては、操作画面４０を表示した状態で使用することができるために、運転者７は情報表示用ディスプレイ１１の視認用操作画面４３を見ながら操作し、また助手席では、操作用ディスプレイ１２の操作画面４０を見ながら操作するということを両立できる。さらに、この両立した状態で、かつ、情報表示用ディスプレイ１１上には、視認用操作画面４３に劣化を生じることなく、手９の映像を表示することが可能となる。
【００３９】
また、本実施形態によれば、抽出用画面４１の表示を、操作画面４０との間で色調の変化が少ない色での単色表示とした。
この構成によれば、抽出用画面４１の表示が操作画面４０との間で色調の変化が少ない色であるため、当該抽出用画面４１の表示が視覚され難くなり、画面表示に違和感を与えることがない。
さらに、抽出用画面４１を単色表示としたため、抽出用画面４１の表示タイミングで撮影した抽出対象映像３１Ａから、抽出用画面４１の色の情報に基づいて、手９と、それ以外の領域を簡単に区別して手９のみを抽出することができる。
【００４０】
特に、撮影像３１から手９の映像のみを抽出するために、手９と背景とのコントラストを大きくすべく、黒といった特定の色で抽出用画面４１を構成した場合でも、例えば黒に近い色の手袋を装着した等のように、手９の状態によっては抽出用画面４１との間でコントラストがでない場合がある。
このような場合でも、本実施形態によれば、抽出用画面４１の色の情報に基づいて、手９と、それ以外の領域を区別するため、手９と抽出用画面４１の色との間のコントラストが小さくなった場合でも安定して手９を抽出することができる。
【００４１】
また本実施形態によれば、撮影装置１３によって操作用ディスプレイ１２の表示面１５に対して斜め方向から撮影された撮影像３１を垂直方向から表示面１５を見た俯瞰影像に変換する俯瞰処理部２６を備える構成としたため、撮影装置１３を操作用ディスプレイ１２の表示面１５の真上に配置せずとも、歪みの無い手９の映像を情報表示用ディスプレイ１１に表示することができる。
【００４２】
上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形及び応用が可能である。
【００４３】
例えば、上述した実施形態において、情報表示用ディスプレイ１１を１つだけ車両２に設置した場合を例示したが、これに限らず複数の情報表示用ディスプレイ１１を設けても良い。この場合、少なくともいずれか１つの情報表示用ディスプレイ１１に、操作画面視認用画面４４が表示される。
【００４４】
また例えば、抽出用画面４１の表示期間ＴＡの抽出対象映像３１Ａを俯瞰処理部２６で抽出する構成ではなく、抽出用画面４１の表示期間ＴＡに同期して撮影像取得部２５が撮影装置１３から撮影像３１を取得し、或いは表示期間ＴＡに同期して撮影装置１３が撮影を行う構成とすることで、抽出用画面４１だけが写った撮影像３１を得る構成としても良い。
また、撮影像処理部２３は、抽出用画面４１の表示タイミングを、制御部２０が出力する信号（抽出用画面指示信号３２）に基づいて検知する構成としたが、これに限らず、取得した撮影像３１毎に、抽出用画面４１の有無を判断することが可能である場合には、撮影像処理部２３は、制御部２０が出力する信号（抽出用画面指示信号３２）に同期して動作する必要はない。
【００４５】
また例えば、操作用ディスプレイ１２には、抽出用画面４１のフレームを６０ｍｓｅｃの周期で挿入して表示する場合を例示したが、視覚の効果として、より多いフレーム枚数でも、操作用ディスプレイ１２のちらつき等が許容できる場合には、抽出用画面４１のフレーム枚数を増やし、情報表示用ディスプレイ１１において手９の映像を、よりなめらかに表示することもできる。また、走行中のように運転者７が操作の際に操作用ディスプレイ１２を視認しないときと、停車中のように運転者７が操作用ディスプレイ１２を視認しながら操作するときといった状況に合わせて、運転者７が操作用ディスプレイ１２を視認しないような状況ではフレーム枚数を増加させることも可能である。
【００４６】
また例えば、車両２に車内の明るさを検知する照度計を設け、抽出用画面４１の色を、例えば、昼や夜のように車両２内の明るさに応じて、手９との間でコントラストが大きくなるように可変する構成としても良い。
【符号の説明】
【００４７】
１ 車載情報機器（情報機器）
２ 車両
７ 運転者
８ 視線
９ 手
１１ 情報表示用ディスプレイ（第１ディスプレイ）
１２ 操作用ディスプレイ（第２ディスプレイ）
１３ 撮影装置（撮影手段）
１５ 表示面
１６ 機器本体
２０ 制御部
２１ 操作画面生成部
２３ 撮影像処理部
２４ 表示画面生成部
２５ 撮影像取得部
２６ 俯瞰処理部
２７ 手抽出部
３１ 撮影像
３１Ａ 抽出対象映像
３１Ｂ 俯瞰映像
３２ 抽出用画面指示信号
３３ 操作画面表示データ
３６ ブレンド用映像
３７ 情報表示データ
４０ 操作画面
４１ 抽出用画面
４３ 視認用操作画面
４４ 操作画面視認用画面
ＴＡ 表示期間
【特許請求の範囲】
【請求項１】
第１ディスプレイと、
操作画面を表示する第２ディスプレイと、
前記第２ディスプレイの操作画面を撮影し撮影像を出力する撮影手段と、を備え、
前記第２ディスプレイに前記操作画面に代えて抽出用画面を間欠的に表示し、当該抽出用画面の撮影像から前記操作画面を操作する手を抽出した映像を生成し、前記第１ディスプレイに前記第２ディスプレイの操作画面と同じ操作画面を表示するための映像に、前記手を抽出した映像を重ねて表示した
ことを特徴とする情報機器。
【請求項２】
前記抽出用画面の表示を、前記操作画面との間で色調の変化が少ない色の単色表示にしたことを特徴とする請求項１に記載の情報機器。
【請求項３】
前記撮影手段によって前記第２ディスプレイの表示面に対して斜め方向から撮影された撮影像を垂直方向から前記表示面を見た俯瞰影像に変換する俯瞰処理部を備えたことを特徴とする請求項１又は２に記載の情報機器。
【請求項４】
車両における運転者が運転操作時に向けている視線近傍に前記第１ディスプレイを配置し、前記運転操作時に運転者の手が届く位置に前記第２ディスプレイを配置したことを特徴とする請求項１乃至３のいずれかに記載の情報機器。
【請求項１】
第１ディスプレイと、
操作画面を表示する第２ディスプレイと、
前記第２ディスプレイの操作画面を撮影し撮影像を出力する撮影手段と、を備え、
前記第２ディスプレイに前記操作画面に代えて抽出用画面を間欠的に表示し、当該抽出用画面の撮影像から前記操作画面を操作する手を抽出した映像を生成し、前記第１ディスプレイに前記第２ディスプレイの操作画面と同じ操作画面を表示するための映像に、前記手を抽出した映像を重ねて表示した
ことを特徴とする情報機器。
【請求項２】
前記抽出用画面の表示を、前記操作画面との間で色調の変化が少ない色の単色表示にしたことを特徴とする請求項１に記載の情報機器。
【請求項３】
前記撮影手段によって前記第２ディスプレイの表示面に対して斜め方向から撮影された撮影像を垂直方向から前記表示面を見た俯瞰影像に変換する俯瞰処理部を備えたことを特徴とする請求項１又は２に記載の情報機器。
【請求項４】
車両における運転者が運転操作時に向けている視線近傍に前記第１ディスプレイを配置し、前記運転操作時に運転者の手が届く位置に前記第２ディスプレイを配置したことを特徴とする請求項１乃至３のいずれかに記載の情報機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２６２４９（Ｐ２０１２−１２６２４９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９２０４（Ｐ２０１０−２７９２０４）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]