画面表示システム、車載装置、及び、携帯機器
【課題】 携帯機器から表示画面以外の情報入力を必須とせず、当該携帯機器の表示画面情報に基づいて、選択項目画像の位置を特定する技術を提供する。
【解決手段】 携帯電話機にて、実行中のアプリケーションプログラムの画面上のボタン位置を取得し（Ｓ１００）、ボタンの個数を示す個数情報及び位置領域を特定するための領域特定情報を設定し（Ｓ１１０）、それらの情報を個数領域へ書き込む（Ｓ１２０）。また、ボタンの個数分の位置情報を設定し（Ｓ１３０，Ｓ１５０）、その情報を位置領域へ書き込む（Ｓ１４０，Ｓ１５０）。一方、ナビゲーション装置では、個数情報及び領域特定情報を読み出し、ボタン個数分の位置情報を読み出す。
【解決手段】 携帯電話機にて、実行中のアプリケーションプログラムの画面上のボタン位置を取得し（Ｓ１００）、ボタンの個数を示す個数情報及び位置領域を特定するための領域特定情報を設定し（Ｓ１１０）、それらの情報を個数領域へ書き込む（Ｓ１２０）。また、ボタンの個数分の位置情報を設定し（Ｓ１３０，Ｓ１５０）、その情報を位置領域へ書き込む（Ｓ１４０，Ｓ１５０）。一方、ナビゲーション装置では、個数情報及び領域特定情報を読み出し、ボタン個数分の位置情報を読み出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される画面表示システムに関し、特に、携帯機器の表示画面に表示される携帯側画像を車載装置が有する表示手段に表示する技術に関する。
【背景技術】
【０００２】
従来、例えばナビゲーション装置や、エアコン、オーディオ等の車載機器に対する操作を、車両に搭載される表示装置（以下「車載表示装置」という）の表示画面で指示するシステムが知られている。この表示画面は例えば液晶ディスプレイなどで構成され、液晶ディスプレイに表示されるボタン等の選択項目画像の位置が指示されることで、それに応じて車載機器が操作される。
【０００３】
このようなシステムでは、運転者の運転中の視点移動を軽減する必要性から、表示画面は、運転者前方のできるだけ上方かつ遠い位置に配置することが好ましい。一方、表示画面における位置を指示するための操作部については、運転者の手もとに配置することが好ましい。
【０００４】
そこで、表示画面と操作部とを分離した遠隔操作システムが実用化されている。このようなシステムでは、操作部の操作ノブで移動するカーソルが表示画面に表示され、このカーソルによって表示画面の位置を指示する。このとき、操作ノブに対し表示画面の表示内容に応じた反力（抵抗力やアシスト力）を加えることで、触覚的に運転者の操作をサポートし、操作性を向上させる技術が提案されている。
【０００５】
例えば、選択項目画像の近傍において、カーソルが当該選択項目画像の内部へ引き込まれるようにアシストする反力を操作ノブに加える技術が知られている（例えば、特許文献１参照）。具体的には、選択項目画像の位置に合わせ操作ノブに反力を加えるための反力マップを定義する反力情報を用意しておき、この反力情報に従って、操作ノブにアシストのための反力を加える。
【０００６】
ところで、近年、携帯機器の高機能化が進んでいる。例えば、ＧＰＳが搭載されているスマートフォンなどの携帯電話機では、車載ナビゲーション装置と同様の経路案内などが可能となっている。そこで、携帯機器を車両の内部で利用することを考えた場合、車載表示装置を用いて携帯機器を利用することが考えられる。例えば、携帯機器と車両側のＥＣＵとを接続し、携帯機器の表示画面を車載表示装置の表示画面に映し出すという具合である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−９６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のナビゲーション装置や、エアコン、オーディオ等の車載機器とは異なり、携帯機器の表示画面における選択項目画像の位置は、携帯機器側のアプリケーションプログラムによって変化するために、車両側で予め決めておくことができない。したがって、車載表示装置の表示画面に選択項目画像が映し出されたとしても、操作ノブによって、その選択項目画像を指示することはできない。また、選択項目画像の位置が分かれなければ、反力マップ等を定義する反力情報が準備できないため、選択項目画像に応じた反力を操作ノブに加えることもできない。
【０００９】
本発明は、上述した問題を解決するためになされたものであり、その目的は、携帯機器から表示画面以外の情報入力を必須とせず、当該携帯機器の表示画面情報に基づいて、選択項目画像の位置を特定する技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた請求項１に記載の画面表示システムは、携帯機器と車載装置とを有するものである。携帯機器とは、例えばスマートフォンなどの携帯電話機として具現化される。もちろん、ＰＤＡ（Personal Digital Assistant）と呼ばれる個人向けの携帯情報端末なども含まれる。
【００１１】
携帯機器と車載装置との間ではデータ通信が行われるようになっている。例えば、ＵＳＢインターフェースや無線ＬＡＮインターフェースなどを備える構成とすることが考えられる。なお、ここでいうデータ通信は、有線、無線を問わない。そして、車載装置は、携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示する。
【００１２】
ここで特に、携帯機器では、情報埋込手段が、携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、携帯側画像に表示される選択項目画像の情報を埋め込む。「情報内容が視認不能な態様」とは、数字フォントなどによって座標値を明示するような態様を除外する趣旨である。また、選択項目画像とは、ユーザ操作のための「ボタン」などと呼ばれる画像である。
【００１３】
一方、車載装置では、位置特定手段によって、携帯側画像に埋め込まれた情報に基づき、選択項目画像の表示手段における表示位置が特定される。
つまり、携帯機器の表示画面である携帯側画像が入力されることを前提に、その携帯側画像の一部に選択項目画像の情報を埋め込むようにしたのである。このようにすれば、携帯機器から表示画面以外の情報入力を必須とせず、当該携帯機器の表示画面情報に基づいて、選択項目画像の位置を特定することができる。
【００１４】
具体的には、請求項２に示すように、情報埋込手段は、携帯側画像の所定の画像領域である情報領域に、選択項目画像の情報を埋め込むことが例示される。例えば選択項目画像の個数に合わせて複数の情報領域を設定することが考えられる。このような情報領域に選択項目画像の情報を埋め込むようにすれば、位置特定手段による表示位置の特定が容易となる。
【００１５】
情報領域は、請求項３に示すように、例えば携帯側画像の縁部に設定されることが考えられる。例えば、携帯側画像の右端、左端、上端、及び、下端の少なくとも何れかに並べて設定されるという具合である。このようにすれば、情報領域が目立たなくなるため、携帯側画像に情報が埋め込まれることによる違和感が少なくなる。
【００１６】
また、情報領域は、１つの画素からなる領域でもよいが、請求項４に示すように、複数の画素からなる領域とし、情報埋込手段が、複数の画素のうち情報領域に隣接する画像領域の影響を受け難い特定画素に選択項目画像の情報を埋め込むようにするとよい。隣接する画像領域の影響を受けるとは、携帯側画像が圧縮されたりアナログ変換されたりしたときに、埋め込まれた情報が書き換わってしまうことを意味する。そこで、例えば１０×１０の画素からなる領域を情報領域とし、その中心付近の画素を特定画素とする。このようにすれば、たとえ携帯側画像が圧縮されたりアナログ変換されたりしたとしても、埋め込まれた情報が書き換わってしまうことを防止できる。
【００１７】
このような携帯側画像の圧縮やアナログ変換を考慮すると、請求項５に示すように、情報埋込手段は、特定画素の上位側のビットに選択項目画像の情報を埋め込むことが好ましい。下位側のビットになるほど変換等による誤差が生じる虞があるためである。
【００１８】
情報領域が複数の領域で構成される場合があることは既に述べたが、請求項６に示すように、情報領域が、選択項目画像の個数を示す個数情報が埋め込まれる個数領域及び、選択項目画像の位置を示す位置情報が埋め込まれる位置領域で構成されていることとしてもよい。このようにすれば、選択項目画像の個数を個数領域の個数情報から把握することができる。
【００１９】
さらにまた、請求項７に示すように、個数領域には、個数情報と共に、位置領域を特定するための領域特定情報が埋め込まれていることとしてもよい。このようにすれば、個数領域の領域特定情報から位置領域が特定されるため、位置特定手段による表示位置の特定が容易になる。
【００２０】
ところで、請求項８に示すように、車載装置が操作部を備える構成とすることが考えられる。操作部は、ユーザによる操作に応じて可動する操作ノブを有し、当該操作ノブに連動して表示手段に表示されるカーソルを用い、表示手段に表示された選択項目画像をユーザに選択指示させる。操作ノブは、スライド式であってもよいし、傾倒式であってもよい。このとき、車載装置は、操作部を介した選択項目画像の選択指示があると、当該選択指示がなされた旨を携帯機器へ出力する。このようにすれば、車載装置で、携帯機器を操作することができる。
【００２１】
また、このような構成を前提とし、請求項９に示すように、操作部が、設定される反力情報に従い、ユーザの操作に対する反力を操作ノブに加える反力発生手段を有することとしてもよい。このとき、車載装置では、反力情報設定手段が、携帯側画像に埋め込まれた情報に基づき、反力情報を設定する。反力情報は、例えば選択項目画像の表示された画像に対応する反力マップで定義される。この反力情報は、選択項目画像の位置情報から作成してもよいし、選択項目画像の情報の一つとして携帯側画像に予め埋め込むようにしてもよい。このようにすれば、選択項目画像に応じた反力を操作ノブに加えることができる。
【００２２】
以上は画面表示システムの発明として説明してきたが、画面表示システムを構成する車載装置の発明として実現することもできる。
すなわち、請求項１０に示すような、携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示可能であり、携帯機器との間でデータ通信可能に構成された車載装置であって、携帯機器は、携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、携帯側画像に表示される選択項目画像の情報を埋め込む情報埋込手段を備えており、携帯側画像に埋め込まれた情報に基づき、選択項目画像の表示手段における表示位置を特定する位置特定手段を備えていることを特徴とする車載装置である。
【００２３】
また、画面表示システムを構成する携帯機器の発明として実現することもできる。
すなわち、請求項１１に示すような、表示画面に表示される携帯側画像を車両が有する表示手段に表示可能な車載装置との間でデータ通信可能に構成された携帯機器であって、車載装置は、携帯側画像の一部に埋め込まれた情報に基づき、携帯側画像に表示される選択項目画像の表示手段における表示位置を特定する位置特定手段を備えており、携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、選択項目画像の情報を埋め込む情報埋込手段を備えていることを特徴とする携帯機器である。
【００２４】
これらの車載装置及び携帯機器についても、上述した請求項２〜９に記載の画面表示システムと同様の構成を採用することができる。
【図面の簡単な説明】
【００２５】
【図１】ナビゲーション装置の概略構成を示すブロック図である。
【図２】表示部及び操作部の車室内での配置状況を模式的に示す説明図である。
【図３】操作画面に対応する反力マップを模式的に示す説明図である。
【図４】情報埋込処理を示すフローチャートである。
【図５】情報領域を模式的に示す説明図である。
【図６】位置特定処理を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、実施形態の画面表示システムの概略構成を示すブロック図である。
実施形態の画面表示システムは、ナビゲーション装置１と、携帯電話機５０とを備えるものである。ナビゲーション装置１は、図１に示すように、表示部１０と、車両の現在地を検出する位置検出部１１と、ナビゲーションＥＣＵ１２と、記憶媒体に格納されている地図データやプログラム等の各種データを入力するデータ入力部１３と、操作者によって操作される操作部１４と、音声出力部１５と、ＵＳＢ端子４０とを備える。
【００２７】
なお、図２に示すように、自動車の車室内において、表示部１０は、運転者の前方にあるダッシュボード３０上で、運転席と助手席との中間となる位置に配置されており、運転者が表示部１０の表示面を見る際の視点移動が軽減されるようになっている。一方、操作部１４は、運転席のすぐ横にあるセンターコンソール３２の上面に配置されており、運転者が遠方へ手を伸ばしたり姿勢を変えたりすることなく容易に操作できるようになっている。
【００２８】
図１のブロック図の説明に戻る。表示部１０は、液晶ディスプレイ等の表示面１０ａを有するカラー表示装置であり、ナビゲーションＥＣＵ１２からの映像信号の入力に応じて各種画像を表示面１０ａに表示可能である。
【００２９】
操作部１４は、画面上でカーソルの移動方向や決定指示を入力するためのポインティングデバイスであり、操作者（車両のユーザ）によって動かされる操作ノブ１８を有している。この操作ノブ１８は、その軸部１８ａの軸方向と垂直な平面に沿って二次元方向（図中の記号Ｘ，Ｙで示す方向）に可動するものである。本実施形態では、上記二次元方向での操作ノブ１８の可動領域は、表示面１０ａ（一般的には長方形で構成される）の縦横比と等しい長方形の領域である。なお、操作ノブ１８は、軸部１８ａの軸方向下向き（図１の矢印Ｚの方向）にも可動し、操作者により下向きの力が加えられていない状態、すなわち押下されていない状態ではその軸方向上方の定位置に戻るようになっている。
【００３０】
また、操作部１４は、操作制御部１６と、操作ノブ１８がＺ軸方向に押下されたことを検出する押操作検出センサ２０と、操作ノブ１８のＸ軸方向及びＹ軸方向の位置座標を検出する位置検出センサ２２と、操作ノブ１８の軸部１８ａを支持すると共に操作ノブ１８に加えられるＸ軸方向及びＹ軸方向の操作力に応じた抵抗力やアシスト力といった反力を軸部１８ａに加える反力発生ユニット２４とを備える。なお、操作ノブ１８が操作者によってＸ軸方向及びＹ軸方向へ動かされる際に、反力発生ユニット２４によって常に一定の抵抗力を軸部１８ａのＸ軸方向及びＹ軸方向に加えるようにし、操作に手応えを感じるようにしてもよい。
【００３１】
操作制御部１６は、操作画面における操作対象領域（本実施形態では表示部１０の表示面１０ａの全域を想定する）の座標と、操作ノブ１８のＸ軸方向及びＹ軸方向の可動領域における座標とを一対一に対応させる。
【００３２】
そして、可動領域における操作ノブ１８の座標値はナビゲーションＥＣＵ１２へ操作データとして出力され、ナビゲーションＥＣＵ１２は、操作ノブ１８の座標に対応する表示画面上の位置に矢印状のカーソルを表示する。これにより、操作者の操作によって操作ノブ１８の位置が可動領域の任意の位置に移動すると、操作画面上のカーソルも操作対象領域内の対応する位置に移動する。なお、操作ノブ１８のＸ軸方向及びＹ軸方向の位置は、操作者によって力が加えられていない状態では、その位置に停滞するようになっている。また、操作ノブ１８をＺ軸方向に押す操作（以下、決定操作とも称する）が行われると、操作制御部１６は、カーソル位置での入力指示がなされたと判断し、その決定操作情報をナビゲーションＥＣＵ１２へ出力する。
【００３３】
また、操作制御部１６は、ナビゲーションＥＣＵ１２から入力される反力情報（詳細は後述）で定義される反力の内容に従い、反力発生ユニット２４を介し、所定の位置で操作ノブ１８に反力（抵抗力やアシスト力）を加える。
【００３４】
位置検出部１１は、ＧＰＳ（Global Positioning System ）用の人工衛星からの送信電波を受信して車両の位置座標を検出するＧＰＳ受信機、車両に加えられる回転運動の角速度に応じた検出信号を出力するジャイロスコープ、車両の速度に応じた検出信号を出力する車速センサ等から構成されている。そして、これらの各センサを互いに補完しながら使用することで車両の現在地を検出する。
【００３５】
データ入力部１３は、ＤＶＤ−ＲＯＭやハードディスクドライブといった記憶媒体に格納されている各種プログラムや、ナビゲーション処理用の地図データ等の各種データを読み出し、ナビゲーションＥＣＵ１２へ入力するための装置である。
【００３６】
音声出力部１５は、各種情報を音声でユーザに報知するための装置である。これによって、表示部１０による表示と音声出力部１５からの音声出力との両方でユーザに対して各種情報の提供を行うことができる。
【００３７】
ナビゲーションＥＣＵ１２は、上記各部を統括制御するための装置であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらを接続するバスライン等からなる周知のコンピュータを中心に構成されている。ナビゲーションＥＣＵ１２は、ＲＯＭやデータ入力部１３から読み出したプログラムに従って各種処理を実行する。
【００３８】
ＵＳＢ端子４０には、各種外部機器が接続可能となっており、ここにスマートフォン等の携帯電話機５０が接続される。ここでは、ターミナルモードでの接続が可能となっている。ターミナルモードは、携帯電話機５０の表示画面に表示される携帯側画像を、ナビゲーションＥＣＵ１２を介し、表示部１０の表示面１０ａに映し出すモードである。
【００３９】
このとき、表示面１０ａを操作画面とし、操作部１４を介した操作が可能となっている。そして、操作画面による操作によって、ＵＳＢ端子４０に接続された携帯電話機５０が動作する。以下では、ターミナルモードを前提に説明を続ける。
【００４０】
ナビゲーションＥＣＵ１２は、表示部１０の表示面１０ａに携帯電話機５０の携帯側画像を表示し、操作部１４を介して操作者からの操作を受け付ける。このとき、操作部１４にから入力される座標を操作画面内の指示位置として決定する。そして、操作画面に表示される各種ボタン上で操作部１４による決定操作がなされると、ナビゲーションＥＣＵ１２によって、ＵＳＢ端子４０を介し、携帯電話機５０へボタンの決定操作が通知される。
【００４１】
なお、ナビゲーションＥＣＵ１２は、操作部１４を介して操作者からの操作を受け付ける際、ボタンに対応する引き込み反力等の反力マップを定義する反力情報を操作部１４に対して入力する。この反力情報は、例えば、操作ノブ１８の可動領域の座標と一対一に対応するマトリクス状のデータテーブルとして設定される。
【００４２】
図３は、操作画面に対してナビゲーションＥＣＵ１２が設定する反力情報において定義される反力マップを模式的に示す図である。図３に示すように、操作画面における個々のボタンの位置及び形状に対応する範囲に引き込み反力の発生範囲（図中のグレー部分）が設けられる。この反力情報では、引き込み反力の発生範囲に該当する座標に操作ノブ１８が位置するときに、当該反力発生範囲の中心（図中の「＋」印）に向けたアシスト力を操作ノブ１８に加えるように定義する。ただし、操作画面上の各ボタンに対応する反力発生範囲は、対応するボタンのサイズよりもやや大きい範囲に設定されている。このようにすることで、カーソルがボタンの近傍まで接近した時点から引き込み反力を発生させることができ、カーソルの指示位置をボタンの位置に合わせ易くすることができる。
【００４３】
ところで、携帯電話機５０の表示画面に表示される携帯側画像は、携帯電話機５０のＣＰＵが実行するアプリケーションプログラムに依存し、携帯側画像中のボタンの位置も、アプリケーションプログラムに依存する。本実施形態では、携帯電話機５０から入力される携帯側画像に基づき、操作画面におけるボタン位置などを、ナビゲーションＥＣＵ１２が取得し、上述した反力情報を設定する。
【００４４】
そこで、携帯電話機５０では、そのＣＰＵによって、携帯側画像にボタンの情報を埋め込む情報埋込処理が実行される。図４は、情報埋込処理を示すフローチャートである。この情報埋込処理は、何らかのアプリケーションプログラムが携帯電話機５０で実行された場合に行われる。
【００４５】
最初のＳ１００では、ボタン位置を取得する。この処理は、携帯電話機５０で実行中のアプリケーションプログラムから、当該アプリケーションプログラムの画面上に表示されるボタンの位置を取得するものである。
【００４６】
続くＳ１１０では、個数情報及び領域特定情報を設定する。個数情報とは、実行中のアプリケーションプログラムの画面上のボタンの個数を示す情報である。また、領域特定情報とは、ボタンの位置情報を有する位置領域を特定する情報であり、正方形の領域である位置領域の一辺のドット数となっている。
【００４７】
次のＳ１２０では、個数情報及び領域特定情報を個数領域へ書き込む。個数領域は、１０ドット×１０ドットの領域として携帯側画像に設定される。例えば図５（ａ）に示すように、携帯側画像Ｇの右端に個数領域Ｋが設定されるという具合である。本実施形態では、図５（ｂ）に示すように、個数領域Ｋの中心の画素ＧＳに、個数情報及び領域特定情報を埋め込む。画素ＧＳは、色情報としてＲＧＢ各８ビットの計２４ビットで表現される。そこで、画素ＧＳの上位１２ビットに、個数情報及び領域特定情報を埋め込む。
【００４８】
続くＳ１３０では、位置情報を設定する。位置情報は、Ｓ１００にて取得したボタンの位置を示す情報であり、Ｘ座標及びＹ座標の座標値で示される。位置情報は、ボタンの個数分設定される。
【００４９】
次のＳ１４０では、位置情報を位置領域へ書き込む。位置領域も、上記個数領域と同様、１０ドット×１０ドットの領域として携帯側画像の右端に設定される。例えば図５（ａ）に示すように、携帯側画像Ｇの右端に、個数領域Ｋに並べて、複数の位置領域Ｉが設定されるという具合である。上述した個数情報及び領域特定情報と同様、本実施形態では、図５（ｂ）に示すように、位置領域Ｉの中心の画素ＧＳに位置情報を埋め込む。画素ＧＳがＲＧＢの計２４ビットで表現されることは既に述べたが、位置情報は、携帯側画像Ｇの解像度との関係から、例えば、画素ＧＳの上位２１ビットを用い、その２１ビットのうち１１ビットにＸ座標の値を埋め込み、残りの１０ビットにＹ座標の値を埋め込む。
【００５０】
続くＳ１５０では、ボタンの個数分の位置情報を処理したか否かを判断する。ここでボタンの個数分の位置情報を処理したと判断された場合（Ｓ１５０：ＹＥＳ）、情報埋込処理を終了する。一方、処理していない位置情報があれば（Ｓ１５０：ＮＯ）、Ｓ１３０からの処理を繰り返す。このときは、領域特定情報が示す位置領域の一辺のドット数に基づき特定される次の位置領域を対象にする。
【００５１】
このような情報埋込処理によって、携帯側画像Ｇの右端に個数領域Ｋ及び位置領域Ｉが設定される（図５（ａ）参照）。つまり、携帯側画像の右端に、個数領域及び位置領域からなる情報領域が設定される。そして、個数領域の中心画素には個数情報及び領域特定情報が埋め込まれ（図４中のＳ１１０，Ｓ１２０）、位置領域の中心画素には位置情報が埋め込まれる（Ｓ１３０，Ｓ１４０）。上述したように、携帯電話機５０から入力されるこのような携帯側画像に基づき、操作画面におけるボタン位置などを、ナビゲーションＥＣＵ１２が取得し、上述した反力情報を設定する。
【００５２】
そこで次に、ナビゲーションＥＣＵ１２が実行する位置特定処理を説明する。図６は、位置特定処理を示すフローチャートである。
最初のＳ２００では、個数情報及び領域特定情報を読み出す。この処理は、携帯側画像に設定された個数領域の中心画素の色情報を読み出すものである。これにより、携帯側画像の画面上のボタンの個数、及び、ボタン位置が埋め込まれた位置領域の一辺のドット数が分かる。
【００５３】
次のＳ２１０では、位置情報を読み出す。この処理は、個数領域に並べて配置される位置領域の中心画素の色情報を読み出すものである。これにより、ボタン位置の座標値が分かる。
【００５４】
Ｓ２２０では、ボタンの個数分の位置情報を処理したか否かを判断する。ここでボタンの個数分の位置情報を処理したと判断された場合（Ｓ２２０：ＹＥＳ）、Ｓ２３０へ移行する。一方、処理していない位置情報があれば（Ｓ２２０：ＮＯ）、Ｓ２１０からの処理を繰り返す。このときは、領域特定情報が示す位置領域の一辺のドット数に基づき特定される次の位置領域を対象にする。
【００５５】
Ｓ２３０では、ボタン位置の座標値に基づき、各ボタンへの引き込み反力を発生させるための反力マップを作成し、当該反力マップを定義する反力情報を設定する。反力情報は、操作部１４の操作制御部１６へ設定される。
【００５６】
次に、本実施形態の画面表示システムが発揮する効果を説明する。
本実施形態では、携帯電話機５０にて、実行中のアプリケーションプログラムの画面上のボタン位置を取得し（図４中のＳ１００）、ボタンの個数を示す個数情報及び位置領域を特定するための領域特定情報を設定し（Ｓ１１０）、それらの情報を個数領域へ書き込む（Ｓ１２０）。また、ボタンの個数分の位置情報を設定し（Ｓ１３０，Ｓ１５０）、その情報を位置領域へ書き込む（Ｓ１４０，Ｓ１５０）。一方、ナビゲーション装置１では、個数情報及び領域特定情報を読み出し（図６中のＳ２００）、ボタン個数分の位置情報を読み出す（Ｓ２１０，Ｓ２２０）。
【００５７】
つまり、携帯電話機５０の表示画面である携帯側画像が入力されることを前提に、その携帯側画像の一部にボタンの情報を埋め込むようにしたのである。これにより、携帯電話機５０から表示画面以外の情報入力を必須とせず、当該携帯電話機５０の表示画面情報に基づいて、ボタンの位置を特定することができる。
【００５８】
また、本実施形態では、図５（ａ）に示したように、携帯電話機５０の携帯側画像Ｇに個数領域Ｋ及び位置領域Ｉからなる情報領域を設け、この情報領域にボタンの情報を埋め込む。これにより、ナビゲーション装置１での位置特定処理が容易になる。
【００５９】
このとき、図５（ａ）に示したように、携帯側画像Ｇの右端である縁部に、情報領域を設定している。これにより、情報領域が目立たなくなるため、携帯側画像に情報が埋め込まれることによる違和感が少なくなる。
【００６０】
さらにまた、本実施形態では、図５（ｂ）に示したように、個数領域Ｋ及び位置領域Ｉは、一辺が１０ドットの正方形として設定されており、その中心画素ＧＳに、情報を埋め込むようにしている。また、画素ＧＳの上位１２ビットを用いて、個数情報及び領域特定情報を埋め込むようにした。さらに、画素ＧＳの上位２１ビットを用いて、位置情報を埋め込むようにした。これによって、たとえ携帯側画像が圧縮されたりアナログ変換されたりしたとしても、埋め込まれた情報が書き換わってしまうことを防止できる。
【００６１】
また、本実施形態では、図５（ａ）に示したように、ボタンの個数を示す個数情報が埋め込まれる個数領域Ｋ及び、ボタンの位置を示す位置情報が埋め込まれる位置領域Ｉで、情報領域を構成した。これにより、ボタンの個数を個数領域の個数情報から把握することができる。
【００６２】
さらにまた、本実施形態では、個数領域に、個数情報と共に、位置領域を特定するための領域特定情報を埋め込むようにした。これにより、個数領域の領域特定情報から位置領域が特定されるため、ナビゲーション装置１における位置特定処理が容易になる。
【００６３】
また、本実施形態では、ナビゲーション装置１が操作部１４を備え、操作部１４は、ユーザによる操作に応じて可動する操作ノブ１８を有し、当該操作ノブ１８に連動して表示面１０ａに表示されるカーソルを用い、ボタンをユーザに選択指示させる。そして、ナビゲーション装置１は、操作部１４を介したボタンの選択指示があると、当該選択指示がなされた旨を携帯電話機５０へ出力する。これにより、ナビゲーション装置１で携帯電話機５０を操作することができる。
【００６４】
しかも、ナビゲーション装置１では、特定したボタンの位置から、当該ボタンへの引き込み反力を付与するための反力マップを生成し、反力マップを定義する反力情報を設定する（図６中のＳ２３０）。これにより、ボタンに応じた反力を操作ノブ１８に加えることができる。
【００６５】
なお、本実施形態におけるナビゲーション装置１及び携帯電話機５０が「画面表示システム」を構成し、ナビゲーション装置１が「車載装置」に相当し、携帯電話機５０が「携帯機器」に相当する。
【００６６】
また、操作ノブ１８が「操作ノブ」に相当し、操作部１４が「操作部」に相当し、反力発生ユニット２４が「反力発生手段」に相当する。
さらにまた、表示部１０が「表示手段」に相当し、携帯電話機５０のＣＰＵが「情報埋込手段」に相当し、ナビゲーション装置１のナビゲーションＥＣＵ１２が「位置特定手段」及び「反力情報設定手段」に相当する。
【００６７】
また、図４の情報埋込処理が「情報埋込手段」の機能としての処理に相当し、図６中のＳ２００〜Ｓ２２０の処理が「位置特定手段」の機能としての処理に相当し、Ｓ２３０の処理が「反力情報設定手段」の機能としての処理に相当する。
【００６８】
以上、本発明は、上記実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる形態で実施可能である。
（イ）上記実施形態では、図５（ｂ）に示したように、個数領域Ｋ及び位置領域Ｉの中心画素ＧＳを特定画素として、画素ＧＳに情報を埋め込むようにしていた。これに対し、特定画素は、中心付近の画素でなくてもよい。ただし、圧縮やアナログ変換などにより隣接する画像領域の影響を受け難い画素を特定画素として採用することが好ましい。また、図５（ｃ）に示すように、複数の画素ＧＳを特定画素として採用してもよい。
【００６９】
（ロ）上記実施形態では個数情報と共に領域特定情報を埋め込んでいるが、例えば位置領域が予め定められた大きさである場合など、領域特定情報の埋め込みを行わない構成としてもよい。
【００７０】
（ハ）上記実施形態では個数領域及び位置領域から情報領域を構成していたが、領域の設定の仕方は特に限定されない。例えば、区別のない一つの領域を設定し、情報を埋め込む画素を予め定めておくようにしてもよい。
【００７１】
この意味では、例えばＱＲコードなどの２次元コードなどを画面の縁部に埋め込むようにしてもよい。また、例えば「電子透かし」などと呼ばれるような技術を用い、携帯側画像にボタンの情報を埋め込むことも考えられる。
【符号の説明】
【００７２】
１…ナビゲーション装置、１０…表示部、１０ａ…表示面、１１…位置検出部、１２…ナビゲーションＥＣＵ、１３…データ入力部、１４…操作部、１６…操作制御部、１８ａ…操作ノブ、２０…押操作検出センサ、２２…位置検出センサ、２４…反力発生ユニット、３０…ダッシュボード、３２…センターコンソール、４０…ＵＳＢ端子、５０…携帯電話機。
【技術分野】
【０００１】
本発明は、車両に搭載される画面表示システムに関し、特に、携帯機器の表示画面に表示される携帯側画像を車載装置が有する表示手段に表示する技術に関する。
【背景技術】
【０００２】
従来、例えばナビゲーション装置や、エアコン、オーディオ等の車載機器に対する操作を、車両に搭載される表示装置（以下「車載表示装置」という）の表示画面で指示するシステムが知られている。この表示画面は例えば液晶ディスプレイなどで構成され、液晶ディスプレイに表示されるボタン等の選択項目画像の位置が指示されることで、それに応じて車載機器が操作される。
【０００３】
このようなシステムでは、運転者の運転中の視点移動を軽減する必要性から、表示画面は、運転者前方のできるだけ上方かつ遠い位置に配置することが好ましい。一方、表示画面における位置を指示するための操作部については、運転者の手もとに配置することが好ましい。
【０００４】
そこで、表示画面と操作部とを分離した遠隔操作システムが実用化されている。このようなシステムでは、操作部の操作ノブで移動するカーソルが表示画面に表示され、このカーソルによって表示画面の位置を指示する。このとき、操作ノブに対し表示画面の表示内容に応じた反力（抵抗力やアシスト力）を加えることで、触覚的に運転者の操作をサポートし、操作性を向上させる技術が提案されている。
【０００５】
例えば、選択項目画像の近傍において、カーソルが当該選択項目画像の内部へ引き込まれるようにアシストする反力を操作ノブに加える技術が知られている（例えば、特許文献１参照）。具体的には、選択項目画像の位置に合わせ操作ノブに反力を加えるための反力マップを定義する反力情報を用意しておき、この反力情報に従って、操作ノブにアシストのための反力を加える。
【０００６】
ところで、近年、携帯機器の高機能化が進んでいる。例えば、ＧＰＳが搭載されているスマートフォンなどの携帯電話機では、車載ナビゲーション装置と同様の経路案内などが可能となっている。そこで、携帯機器を車両の内部で利用することを考えた場合、車載表示装置を用いて携帯機器を利用することが考えられる。例えば、携帯機器と車両側のＥＣＵとを接続し、携帯機器の表示画面を車載表示装置の表示画面に映し出すという具合である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−９６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のナビゲーション装置や、エアコン、オーディオ等の車載機器とは異なり、携帯機器の表示画面における選択項目画像の位置は、携帯機器側のアプリケーションプログラムによって変化するために、車両側で予め決めておくことができない。したがって、車載表示装置の表示画面に選択項目画像が映し出されたとしても、操作ノブによって、その選択項目画像を指示することはできない。また、選択項目画像の位置が分かれなければ、反力マップ等を定義する反力情報が準備できないため、選択項目画像に応じた反力を操作ノブに加えることもできない。
【０００９】
本発明は、上述した問題を解決するためになされたものであり、その目的は、携帯機器から表示画面以外の情報入力を必須とせず、当該携帯機器の表示画面情報に基づいて、選択項目画像の位置を特定する技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた請求項１に記載の画面表示システムは、携帯機器と車載装置とを有するものである。携帯機器とは、例えばスマートフォンなどの携帯電話機として具現化される。もちろん、ＰＤＡ（Personal Digital Assistant）と呼ばれる個人向けの携帯情報端末なども含まれる。
【００１１】
携帯機器と車載装置との間ではデータ通信が行われるようになっている。例えば、ＵＳＢインターフェースや無線ＬＡＮインターフェースなどを備える構成とすることが考えられる。なお、ここでいうデータ通信は、有線、無線を問わない。そして、車載装置は、携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示する。
【００１２】
ここで特に、携帯機器では、情報埋込手段が、携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、携帯側画像に表示される選択項目画像の情報を埋め込む。「情報内容が視認不能な態様」とは、数字フォントなどによって座標値を明示するような態様を除外する趣旨である。また、選択項目画像とは、ユーザ操作のための「ボタン」などと呼ばれる画像である。
【００１３】
一方、車載装置では、位置特定手段によって、携帯側画像に埋め込まれた情報に基づき、選択項目画像の表示手段における表示位置が特定される。
つまり、携帯機器の表示画面である携帯側画像が入力されることを前提に、その携帯側画像の一部に選択項目画像の情報を埋め込むようにしたのである。このようにすれば、携帯機器から表示画面以外の情報入力を必須とせず、当該携帯機器の表示画面情報に基づいて、選択項目画像の位置を特定することができる。
【００１４】
具体的には、請求項２に示すように、情報埋込手段は、携帯側画像の所定の画像領域である情報領域に、選択項目画像の情報を埋め込むことが例示される。例えば選択項目画像の個数に合わせて複数の情報領域を設定することが考えられる。このような情報領域に選択項目画像の情報を埋め込むようにすれば、位置特定手段による表示位置の特定が容易となる。
【００１５】
情報領域は、請求項３に示すように、例えば携帯側画像の縁部に設定されることが考えられる。例えば、携帯側画像の右端、左端、上端、及び、下端の少なくとも何れかに並べて設定されるという具合である。このようにすれば、情報領域が目立たなくなるため、携帯側画像に情報が埋め込まれることによる違和感が少なくなる。
【００１６】
また、情報領域は、１つの画素からなる領域でもよいが、請求項４に示すように、複数の画素からなる領域とし、情報埋込手段が、複数の画素のうち情報領域に隣接する画像領域の影響を受け難い特定画素に選択項目画像の情報を埋め込むようにするとよい。隣接する画像領域の影響を受けるとは、携帯側画像が圧縮されたりアナログ変換されたりしたときに、埋め込まれた情報が書き換わってしまうことを意味する。そこで、例えば１０×１０の画素からなる領域を情報領域とし、その中心付近の画素を特定画素とする。このようにすれば、たとえ携帯側画像が圧縮されたりアナログ変換されたりしたとしても、埋め込まれた情報が書き換わってしまうことを防止できる。
【００１７】
このような携帯側画像の圧縮やアナログ変換を考慮すると、請求項５に示すように、情報埋込手段は、特定画素の上位側のビットに選択項目画像の情報を埋め込むことが好ましい。下位側のビットになるほど変換等による誤差が生じる虞があるためである。
【００１８】
情報領域が複数の領域で構成される場合があることは既に述べたが、請求項６に示すように、情報領域が、選択項目画像の個数を示す個数情報が埋め込まれる個数領域及び、選択項目画像の位置を示す位置情報が埋め込まれる位置領域で構成されていることとしてもよい。このようにすれば、選択項目画像の個数を個数領域の個数情報から把握することができる。
【００１９】
さらにまた、請求項７に示すように、個数領域には、個数情報と共に、位置領域を特定するための領域特定情報が埋め込まれていることとしてもよい。このようにすれば、個数領域の領域特定情報から位置領域が特定されるため、位置特定手段による表示位置の特定が容易になる。
【００２０】
ところで、請求項８に示すように、車載装置が操作部を備える構成とすることが考えられる。操作部は、ユーザによる操作に応じて可動する操作ノブを有し、当該操作ノブに連動して表示手段に表示されるカーソルを用い、表示手段に表示された選択項目画像をユーザに選択指示させる。操作ノブは、スライド式であってもよいし、傾倒式であってもよい。このとき、車載装置は、操作部を介した選択項目画像の選択指示があると、当該選択指示がなされた旨を携帯機器へ出力する。このようにすれば、車載装置で、携帯機器を操作することができる。
【００２１】
また、このような構成を前提とし、請求項９に示すように、操作部が、設定される反力情報に従い、ユーザの操作に対する反力を操作ノブに加える反力発生手段を有することとしてもよい。このとき、車載装置では、反力情報設定手段が、携帯側画像に埋め込まれた情報に基づき、反力情報を設定する。反力情報は、例えば選択項目画像の表示された画像に対応する反力マップで定義される。この反力情報は、選択項目画像の位置情報から作成してもよいし、選択項目画像の情報の一つとして携帯側画像に予め埋め込むようにしてもよい。このようにすれば、選択項目画像に応じた反力を操作ノブに加えることができる。
【００２２】
以上は画面表示システムの発明として説明してきたが、画面表示システムを構成する車載装置の発明として実現することもできる。
すなわち、請求項１０に示すような、携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示可能であり、携帯機器との間でデータ通信可能に構成された車載装置であって、携帯機器は、携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、携帯側画像に表示される選択項目画像の情報を埋め込む情報埋込手段を備えており、携帯側画像に埋め込まれた情報に基づき、選択項目画像の表示手段における表示位置を特定する位置特定手段を備えていることを特徴とする車載装置である。
【００２３】
また、画面表示システムを構成する携帯機器の発明として実現することもできる。
すなわち、請求項１１に示すような、表示画面に表示される携帯側画像を車両が有する表示手段に表示可能な車載装置との間でデータ通信可能に構成された携帯機器であって、車載装置は、携帯側画像の一部に埋め込まれた情報に基づき、携帯側画像に表示される選択項目画像の表示手段における表示位置を特定する位置特定手段を備えており、携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、選択項目画像の情報を埋め込む情報埋込手段を備えていることを特徴とする携帯機器である。
【００２４】
これらの車載装置及び携帯機器についても、上述した請求項２〜９に記載の画面表示システムと同様の構成を採用することができる。
【図面の簡単な説明】
【００２５】
【図１】ナビゲーション装置の概略構成を示すブロック図である。
【図２】表示部及び操作部の車室内での配置状況を模式的に示す説明図である。
【図３】操作画面に対応する反力マップを模式的に示す説明図である。
【図４】情報埋込処理を示すフローチャートである。
【図５】情報領域を模式的に示す説明図である。
【図６】位置特定処理を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、実施形態の画面表示システムの概略構成を示すブロック図である。
実施形態の画面表示システムは、ナビゲーション装置１と、携帯電話機５０とを備えるものである。ナビゲーション装置１は、図１に示すように、表示部１０と、車両の現在地を検出する位置検出部１１と、ナビゲーションＥＣＵ１２と、記憶媒体に格納されている地図データやプログラム等の各種データを入力するデータ入力部１３と、操作者によって操作される操作部１４と、音声出力部１５と、ＵＳＢ端子４０とを備える。
【００２７】
なお、図２に示すように、自動車の車室内において、表示部１０は、運転者の前方にあるダッシュボード３０上で、運転席と助手席との中間となる位置に配置されており、運転者が表示部１０の表示面を見る際の視点移動が軽減されるようになっている。一方、操作部１４は、運転席のすぐ横にあるセンターコンソール３２の上面に配置されており、運転者が遠方へ手を伸ばしたり姿勢を変えたりすることなく容易に操作できるようになっている。
【００２８】
図１のブロック図の説明に戻る。表示部１０は、液晶ディスプレイ等の表示面１０ａを有するカラー表示装置であり、ナビゲーションＥＣＵ１２からの映像信号の入力に応じて各種画像を表示面１０ａに表示可能である。
【００２９】
操作部１４は、画面上でカーソルの移動方向や決定指示を入力するためのポインティングデバイスであり、操作者（車両のユーザ）によって動かされる操作ノブ１８を有している。この操作ノブ１８は、その軸部１８ａの軸方向と垂直な平面に沿って二次元方向（図中の記号Ｘ，Ｙで示す方向）に可動するものである。本実施形態では、上記二次元方向での操作ノブ１８の可動領域は、表示面１０ａ（一般的には長方形で構成される）の縦横比と等しい長方形の領域である。なお、操作ノブ１８は、軸部１８ａの軸方向下向き（図１の矢印Ｚの方向）にも可動し、操作者により下向きの力が加えられていない状態、すなわち押下されていない状態ではその軸方向上方の定位置に戻るようになっている。
【００３０】
また、操作部１４は、操作制御部１６と、操作ノブ１８がＺ軸方向に押下されたことを検出する押操作検出センサ２０と、操作ノブ１８のＸ軸方向及びＹ軸方向の位置座標を検出する位置検出センサ２２と、操作ノブ１８の軸部１８ａを支持すると共に操作ノブ１８に加えられるＸ軸方向及びＹ軸方向の操作力に応じた抵抗力やアシスト力といった反力を軸部１８ａに加える反力発生ユニット２４とを備える。なお、操作ノブ１８が操作者によってＸ軸方向及びＹ軸方向へ動かされる際に、反力発生ユニット２４によって常に一定の抵抗力を軸部１８ａのＸ軸方向及びＹ軸方向に加えるようにし、操作に手応えを感じるようにしてもよい。
【００３１】
操作制御部１６は、操作画面における操作対象領域（本実施形態では表示部１０の表示面１０ａの全域を想定する）の座標と、操作ノブ１８のＸ軸方向及びＹ軸方向の可動領域における座標とを一対一に対応させる。
【００３２】
そして、可動領域における操作ノブ１８の座標値はナビゲーションＥＣＵ１２へ操作データとして出力され、ナビゲーションＥＣＵ１２は、操作ノブ１８の座標に対応する表示画面上の位置に矢印状のカーソルを表示する。これにより、操作者の操作によって操作ノブ１８の位置が可動領域の任意の位置に移動すると、操作画面上のカーソルも操作対象領域内の対応する位置に移動する。なお、操作ノブ１８のＸ軸方向及びＹ軸方向の位置は、操作者によって力が加えられていない状態では、その位置に停滞するようになっている。また、操作ノブ１８をＺ軸方向に押す操作（以下、決定操作とも称する）が行われると、操作制御部１６は、カーソル位置での入力指示がなされたと判断し、その決定操作情報をナビゲーションＥＣＵ１２へ出力する。
【００３３】
また、操作制御部１６は、ナビゲーションＥＣＵ１２から入力される反力情報（詳細は後述）で定義される反力の内容に従い、反力発生ユニット２４を介し、所定の位置で操作ノブ１８に反力（抵抗力やアシスト力）を加える。
【００３４】
位置検出部１１は、ＧＰＳ（Global Positioning System ）用の人工衛星からの送信電波を受信して車両の位置座標を検出するＧＰＳ受信機、車両に加えられる回転運動の角速度に応じた検出信号を出力するジャイロスコープ、車両の速度に応じた検出信号を出力する車速センサ等から構成されている。そして、これらの各センサを互いに補完しながら使用することで車両の現在地を検出する。
【００３５】
データ入力部１３は、ＤＶＤ−ＲＯＭやハードディスクドライブといった記憶媒体に格納されている各種プログラムや、ナビゲーション処理用の地図データ等の各種データを読み出し、ナビゲーションＥＣＵ１２へ入力するための装置である。
【００３６】
音声出力部１５は、各種情報を音声でユーザに報知するための装置である。これによって、表示部１０による表示と音声出力部１５からの音声出力との両方でユーザに対して各種情報の提供を行うことができる。
【００３７】
ナビゲーションＥＣＵ１２は、上記各部を統括制御するための装置であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらを接続するバスライン等からなる周知のコンピュータを中心に構成されている。ナビゲーションＥＣＵ１２は、ＲＯＭやデータ入力部１３から読み出したプログラムに従って各種処理を実行する。
【００３８】
ＵＳＢ端子４０には、各種外部機器が接続可能となっており、ここにスマートフォン等の携帯電話機５０が接続される。ここでは、ターミナルモードでの接続が可能となっている。ターミナルモードは、携帯電話機５０の表示画面に表示される携帯側画像を、ナビゲーションＥＣＵ１２を介し、表示部１０の表示面１０ａに映し出すモードである。
【００３９】
このとき、表示面１０ａを操作画面とし、操作部１４を介した操作が可能となっている。そして、操作画面による操作によって、ＵＳＢ端子４０に接続された携帯電話機５０が動作する。以下では、ターミナルモードを前提に説明を続ける。
【００４０】
ナビゲーションＥＣＵ１２は、表示部１０の表示面１０ａに携帯電話機５０の携帯側画像を表示し、操作部１４を介して操作者からの操作を受け付ける。このとき、操作部１４にから入力される座標を操作画面内の指示位置として決定する。そして、操作画面に表示される各種ボタン上で操作部１４による決定操作がなされると、ナビゲーションＥＣＵ１２によって、ＵＳＢ端子４０を介し、携帯電話機５０へボタンの決定操作が通知される。
【００４１】
なお、ナビゲーションＥＣＵ１２は、操作部１４を介して操作者からの操作を受け付ける際、ボタンに対応する引き込み反力等の反力マップを定義する反力情報を操作部１４に対して入力する。この反力情報は、例えば、操作ノブ１８の可動領域の座標と一対一に対応するマトリクス状のデータテーブルとして設定される。
【００４２】
図３は、操作画面に対してナビゲーションＥＣＵ１２が設定する反力情報において定義される反力マップを模式的に示す図である。図３に示すように、操作画面における個々のボタンの位置及び形状に対応する範囲に引き込み反力の発生範囲（図中のグレー部分）が設けられる。この反力情報では、引き込み反力の発生範囲に該当する座標に操作ノブ１８が位置するときに、当該反力発生範囲の中心（図中の「＋」印）に向けたアシスト力を操作ノブ１８に加えるように定義する。ただし、操作画面上の各ボタンに対応する反力発生範囲は、対応するボタンのサイズよりもやや大きい範囲に設定されている。このようにすることで、カーソルがボタンの近傍まで接近した時点から引き込み反力を発生させることができ、カーソルの指示位置をボタンの位置に合わせ易くすることができる。
【００４３】
ところで、携帯電話機５０の表示画面に表示される携帯側画像は、携帯電話機５０のＣＰＵが実行するアプリケーションプログラムに依存し、携帯側画像中のボタンの位置も、アプリケーションプログラムに依存する。本実施形態では、携帯電話機５０から入力される携帯側画像に基づき、操作画面におけるボタン位置などを、ナビゲーションＥＣＵ１２が取得し、上述した反力情報を設定する。
【００４４】
そこで、携帯電話機５０では、そのＣＰＵによって、携帯側画像にボタンの情報を埋め込む情報埋込処理が実行される。図４は、情報埋込処理を示すフローチャートである。この情報埋込処理は、何らかのアプリケーションプログラムが携帯電話機５０で実行された場合に行われる。
【００４５】
最初のＳ１００では、ボタン位置を取得する。この処理は、携帯電話機５０で実行中のアプリケーションプログラムから、当該アプリケーションプログラムの画面上に表示されるボタンの位置を取得するものである。
【００４６】
続くＳ１１０では、個数情報及び領域特定情報を設定する。個数情報とは、実行中のアプリケーションプログラムの画面上のボタンの個数を示す情報である。また、領域特定情報とは、ボタンの位置情報を有する位置領域を特定する情報であり、正方形の領域である位置領域の一辺のドット数となっている。
【００４７】
次のＳ１２０では、個数情報及び領域特定情報を個数領域へ書き込む。個数領域は、１０ドット×１０ドットの領域として携帯側画像に設定される。例えば図５（ａ）に示すように、携帯側画像Ｇの右端に個数領域Ｋが設定されるという具合である。本実施形態では、図５（ｂ）に示すように、個数領域Ｋの中心の画素ＧＳに、個数情報及び領域特定情報を埋め込む。画素ＧＳは、色情報としてＲＧＢ各８ビットの計２４ビットで表現される。そこで、画素ＧＳの上位１２ビットに、個数情報及び領域特定情報を埋め込む。
【００４８】
続くＳ１３０では、位置情報を設定する。位置情報は、Ｓ１００にて取得したボタンの位置を示す情報であり、Ｘ座標及びＹ座標の座標値で示される。位置情報は、ボタンの個数分設定される。
【００４９】
次のＳ１４０では、位置情報を位置領域へ書き込む。位置領域も、上記個数領域と同様、１０ドット×１０ドットの領域として携帯側画像の右端に設定される。例えば図５（ａ）に示すように、携帯側画像Ｇの右端に、個数領域Ｋに並べて、複数の位置領域Ｉが設定されるという具合である。上述した個数情報及び領域特定情報と同様、本実施形態では、図５（ｂ）に示すように、位置領域Ｉの中心の画素ＧＳに位置情報を埋め込む。画素ＧＳがＲＧＢの計２４ビットで表現されることは既に述べたが、位置情報は、携帯側画像Ｇの解像度との関係から、例えば、画素ＧＳの上位２１ビットを用い、その２１ビットのうち１１ビットにＸ座標の値を埋め込み、残りの１０ビットにＹ座標の値を埋め込む。
【００５０】
続くＳ１５０では、ボタンの個数分の位置情報を処理したか否かを判断する。ここでボタンの個数分の位置情報を処理したと判断された場合（Ｓ１５０：ＹＥＳ）、情報埋込処理を終了する。一方、処理していない位置情報があれば（Ｓ１５０：ＮＯ）、Ｓ１３０からの処理を繰り返す。このときは、領域特定情報が示す位置領域の一辺のドット数に基づき特定される次の位置領域を対象にする。
【００５１】
このような情報埋込処理によって、携帯側画像Ｇの右端に個数領域Ｋ及び位置領域Ｉが設定される（図５（ａ）参照）。つまり、携帯側画像の右端に、個数領域及び位置領域からなる情報領域が設定される。そして、個数領域の中心画素には個数情報及び領域特定情報が埋め込まれ（図４中のＳ１１０，Ｓ１２０）、位置領域の中心画素には位置情報が埋め込まれる（Ｓ１３０，Ｓ１４０）。上述したように、携帯電話機５０から入力されるこのような携帯側画像に基づき、操作画面におけるボタン位置などを、ナビゲーションＥＣＵ１２が取得し、上述した反力情報を設定する。
【００５２】
そこで次に、ナビゲーションＥＣＵ１２が実行する位置特定処理を説明する。図６は、位置特定処理を示すフローチャートである。
最初のＳ２００では、個数情報及び領域特定情報を読み出す。この処理は、携帯側画像に設定された個数領域の中心画素の色情報を読み出すものである。これにより、携帯側画像の画面上のボタンの個数、及び、ボタン位置が埋め込まれた位置領域の一辺のドット数が分かる。
【００５３】
次のＳ２１０では、位置情報を読み出す。この処理は、個数領域に並べて配置される位置領域の中心画素の色情報を読み出すものである。これにより、ボタン位置の座標値が分かる。
【００５４】
Ｓ２２０では、ボタンの個数分の位置情報を処理したか否かを判断する。ここでボタンの個数分の位置情報を処理したと判断された場合（Ｓ２２０：ＹＥＳ）、Ｓ２３０へ移行する。一方、処理していない位置情報があれば（Ｓ２２０：ＮＯ）、Ｓ２１０からの処理を繰り返す。このときは、領域特定情報が示す位置領域の一辺のドット数に基づき特定される次の位置領域を対象にする。
【００５５】
Ｓ２３０では、ボタン位置の座標値に基づき、各ボタンへの引き込み反力を発生させるための反力マップを作成し、当該反力マップを定義する反力情報を設定する。反力情報は、操作部１４の操作制御部１６へ設定される。
【００５６】
次に、本実施形態の画面表示システムが発揮する効果を説明する。
本実施形態では、携帯電話機５０にて、実行中のアプリケーションプログラムの画面上のボタン位置を取得し（図４中のＳ１００）、ボタンの個数を示す個数情報及び位置領域を特定するための領域特定情報を設定し（Ｓ１１０）、それらの情報を個数領域へ書き込む（Ｓ１２０）。また、ボタンの個数分の位置情報を設定し（Ｓ１３０，Ｓ１５０）、その情報を位置領域へ書き込む（Ｓ１４０，Ｓ１５０）。一方、ナビゲーション装置１では、個数情報及び領域特定情報を読み出し（図６中のＳ２００）、ボタン個数分の位置情報を読み出す（Ｓ２１０，Ｓ２２０）。
【００５７】
つまり、携帯電話機５０の表示画面である携帯側画像が入力されることを前提に、その携帯側画像の一部にボタンの情報を埋め込むようにしたのである。これにより、携帯電話機５０から表示画面以外の情報入力を必須とせず、当該携帯電話機５０の表示画面情報に基づいて、ボタンの位置を特定することができる。
【００５８】
また、本実施形態では、図５（ａ）に示したように、携帯電話機５０の携帯側画像Ｇに個数領域Ｋ及び位置領域Ｉからなる情報領域を設け、この情報領域にボタンの情報を埋め込む。これにより、ナビゲーション装置１での位置特定処理が容易になる。
【００５９】
このとき、図５（ａ）に示したように、携帯側画像Ｇの右端である縁部に、情報領域を設定している。これにより、情報領域が目立たなくなるため、携帯側画像に情報が埋め込まれることによる違和感が少なくなる。
【００６０】
さらにまた、本実施形態では、図５（ｂ）に示したように、個数領域Ｋ及び位置領域Ｉは、一辺が１０ドットの正方形として設定されており、その中心画素ＧＳに、情報を埋め込むようにしている。また、画素ＧＳの上位１２ビットを用いて、個数情報及び領域特定情報を埋め込むようにした。さらに、画素ＧＳの上位２１ビットを用いて、位置情報を埋め込むようにした。これによって、たとえ携帯側画像が圧縮されたりアナログ変換されたりしたとしても、埋め込まれた情報が書き換わってしまうことを防止できる。
【００６１】
また、本実施形態では、図５（ａ）に示したように、ボタンの個数を示す個数情報が埋め込まれる個数領域Ｋ及び、ボタンの位置を示す位置情報が埋め込まれる位置領域Ｉで、情報領域を構成した。これにより、ボタンの個数を個数領域の個数情報から把握することができる。
【００６２】
さらにまた、本実施形態では、個数領域に、個数情報と共に、位置領域を特定するための領域特定情報を埋め込むようにした。これにより、個数領域の領域特定情報から位置領域が特定されるため、ナビゲーション装置１における位置特定処理が容易になる。
【００６３】
また、本実施形態では、ナビゲーション装置１が操作部１４を備え、操作部１４は、ユーザによる操作に応じて可動する操作ノブ１８を有し、当該操作ノブ１８に連動して表示面１０ａに表示されるカーソルを用い、ボタンをユーザに選択指示させる。そして、ナビゲーション装置１は、操作部１４を介したボタンの選択指示があると、当該選択指示がなされた旨を携帯電話機５０へ出力する。これにより、ナビゲーション装置１で携帯電話機５０を操作することができる。
【００６４】
しかも、ナビゲーション装置１では、特定したボタンの位置から、当該ボタンへの引き込み反力を付与するための反力マップを生成し、反力マップを定義する反力情報を設定する（図６中のＳ２３０）。これにより、ボタンに応じた反力を操作ノブ１８に加えることができる。
【００６５】
なお、本実施形態におけるナビゲーション装置１及び携帯電話機５０が「画面表示システム」を構成し、ナビゲーション装置１が「車載装置」に相当し、携帯電話機５０が「携帯機器」に相当する。
【００６６】
また、操作ノブ１８が「操作ノブ」に相当し、操作部１４が「操作部」に相当し、反力発生ユニット２４が「反力発生手段」に相当する。
さらにまた、表示部１０が「表示手段」に相当し、携帯電話機５０のＣＰＵが「情報埋込手段」に相当し、ナビゲーション装置１のナビゲーションＥＣＵ１２が「位置特定手段」及び「反力情報設定手段」に相当する。
【００６７】
また、図４の情報埋込処理が「情報埋込手段」の機能としての処理に相当し、図６中のＳ２００〜Ｓ２２０の処理が「位置特定手段」の機能としての処理に相当し、Ｓ２３０の処理が「反力情報設定手段」の機能としての処理に相当する。
【００６８】
以上、本発明は、上記実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる形態で実施可能である。
（イ）上記実施形態では、図５（ｂ）に示したように、個数領域Ｋ及び位置領域Ｉの中心画素ＧＳを特定画素として、画素ＧＳに情報を埋め込むようにしていた。これに対し、特定画素は、中心付近の画素でなくてもよい。ただし、圧縮やアナログ変換などにより隣接する画像領域の影響を受け難い画素を特定画素として採用することが好ましい。また、図５（ｃ）に示すように、複数の画素ＧＳを特定画素として採用してもよい。
【００６９】
（ロ）上記実施形態では個数情報と共に領域特定情報を埋め込んでいるが、例えば位置領域が予め定められた大きさである場合など、領域特定情報の埋め込みを行わない構成としてもよい。
【００７０】
（ハ）上記実施形態では個数領域及び位置領域から情報領域を構成していたが、領域の設定の仕方は特に限定されない。例えば、区別のない一つの領域を設定し、情報を埋め込む画素を予め定めておくようにしてもよい。
【００７１】
この意味では、例えばＱＲコードなどの２次元コードなどを画面の縁部に埋め込むようにしてもよい。また、例えば「電子透かし」などと呼ばれるような技術を用い、携帯側画像にボタンの情報を埋め込むことも考えられる。
【符号の説明】
【００７２】
１…ナビゲーション装置、１０…表示部、１０ａ…表示面、１１…位置検出部、１２…ナビゲーションＥＣＵ、１３…データ入力部、１４…操作部、１６…操作制御部、１８ａ…操作ノブ、２０…押操作検出センサ、２２…位置検出センサ、２４…反力発生ユニット、３０…ダッシュボード、３２…センターコンソール、４０…ＵＳＢ端子、５０…携帯電話機。
【特許請求の範囲】
【請求項１】
携帯機器と当該携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示可能な車載装置とを備え、前記携帯機器と前記車載装置との間でデータ通信可能に構成された画面表示システムであって、
前記携帯機器は、前記携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、前記携帯側画像に表示される選択項目画像の情報を埋め込む情報埋込手段を有し、
前記車載装置は、前記携帯側画像に埋め込まれた前記情報に基づき、前記選択項目画像の前記表示手段における表示位置を特定する位置特定手段を有していること
を特徴とする画面表示システム。
【請求項２】
請求項１に記載の画面表示システムにおいて、
前記情報埋込手段は、前記携帯側画像の所定の画像領域である情報領域に、前記選択項目画像の情報を埋め込むこと
を特徴とする画面表示システム。
【請求項３】
請求項２に記載の画面表示システムにおいて、
前記情報領域は、前記携帯側画像の縁部に設定されること
を特徴とする画面表示システム。
【請求項４】
請求項２又は３に記載の画面表示システムにおいて、
前記情報領域は、複数の画素からなる領域であり、
前記情報埋込手段は、前記複数の画素のうち前記情報領域に隣接する画像領域の影響を受け難い特定画素に前記選択項目画像の情報を埋め込むこと
を特徴とする画面表示システム。
【請求項５】
請求項４に記載の画面表示システムにおいて、
前記情報埋込手段は、前記特定画素の上位側のビットに前記選択項目画像の情報を埋め込むこと
を特徴とする画面表示システム。
【請求項６】
請求項２〜５の何れか一項に記載の画面表示システムにおいて、
前記情報領域は、前記選択項目画像の個数を示す個数情報が埋め込まれる個数領域及び、前記選択項目画像の位置を示す位置情報が埋め込まれる位置領域で構成されていること
を特徴とする画面表示システム。
【請求項７】
請求項６に記載の画面表示システムにおいて、
前記個数領域には、前記個数情報と共に、前記位置領域を特定するための領域特定情報が埋め込まれていること
を特徴とする画面表示システム。
【請求項８】
請求項１〜７の何れか一項に記載の画面表示システムにおいて、
前記車載装置は、
ユーザによる操作に応じて可動する操作ノブを有し、当該操作ノブに連動して前記表示手段に表示されるカーソルを用い、前記表示手段に表示された前記選択項目画像をユーザに選択指示させることが可能な操作部を備え、
前記操作部を介した前記選択項目画像の選択指示があると、当該選択指示がなされた旨を、前記携帯機器へ出力すること
を特徴とする画面表示システム。
【請求項９】
請求項８に記載の画面表示システムにおいて、
前記操作部は、設定される反力情報に従い、ユーザの操作に対する反力を前記操作ノブに加える反力発生手段を有しており、
前記車載装置は、前記携帯側画像に埋め込まれた前記情報に基づき、前記反力情報を設定する反力情報設定手段を備えていること
を特徴とする画面表示システム。
【請求項１０】
携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示可能であり、前記携帯機器との間でデータ通信可能に構成された車載装置であって、
前記携帯機器は、前記携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、前記携帯側画像に表示される選択項目画像の情報を埋め込む情報埋込手段を備えており、
前記携帯側画像に埋め込まれた前記情報に基づき、前記選択項目画像の前記表示手段における表示位置を特定する位置特定手段を備えていること
を特徴とする車載装置。
【請求項１１】
表示画面に表示される携帯側画像を車両が有する表示手段に表示可能な車載装置との間でデータ通信可能に構成された携帯機器であって、
前記車載装置は、前記携帯側画像の一部に埋め込まれた情報に基づき、前記携帯側画像に表示される選択項目画像の前記表示手段における表示位置を特定する位置特定手段を備えており、
前記携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、前記選択項目画像の情報を埋め込む情報埋込手段を備えていること
を特徴とする携帯機器。
【請求項１】
携帯機器と当該携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示可能な車載装置とを備え、前記携帯機器と前記車載装置との間でデータ通信可能に構成された画面表示システムであって、
前記携帯機器は、前記携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、前記携帯側画像に表示される選択項目画像の情報を埋め込む情報埋込手段を有し、
前記車載装置は、前記携帯側画像に埋め込まれた前記情報に基づき、前記選択項目画像の前記表示手段における表示位置を特定する位置特定手段を有していること
を特徴とする画面表示システム。
【請求項２】
請求項１に記載の画面表示システムにおいて、
前記情報埋込手段は、前記携帯側画像の所定の画像領域である情報領域に、前記選択項目画像の情報を埋め込むこと
を特徴とする画面表示システム。
【請求項３】
請求項２に記載の画面表示システムにおいて、
前記情報領域は、前記携帯側画像の縁部に設定されること
を特徴とする画面表示システム。
【請求項４】
請求項２又は３に記載の画面表示システムにおいて、
前記情報領域は、複数の画素からなる領域であり、
前記情報埋込手段は、前記複数の画素のうち前記情報領域に隣接する画像領域の影響を受け難い特定画素に前記選択項目画像の情報を埋め込むこと
を特徴とする画面表示システム。
【請求項５】
請求項４に記載の画面表示システムにおいて、
前記情報埋込手段は、前記特定画素の上位側のビットに前記選択項目画像の情報を埋め込むこと
を特徴とする画面表示システム。
【請求項６】
請求項２〜５の何れか一項に記載の画面表示システムにおいて、
前記情報領域は、前記選択項目画像の個数を示す個数情報が埋め込まれる個数領域及び、前記選択項目画像の位置を示す位置情報が埋め込まれる位置領域で構成されていること
を特徴とする画面表示システム。
【請求項７】
請求項６に記載の画面表示システムにおいて、
前記個数領域には、前記個数情報と共に、前記位置領域を特定するための領域特定情報が埋め込まれていること
を特徴とする画面表示システム。
【請求項８】
請求項１〜７の何れか一項に記載の画面表示システムにおいて、
前記車載装置は、
ユーザによる操作に応じて可動する操作ノブを有し、当該操作ノブに連動して前記表示手段に表示されるカーソルを用い、前記表示手段に表示された前記選択項目画像をユーザに選択指示させることが可能な操作部を備え、
前記操作部を介した前記選択項目画像の選択指示があると、当該選択指示がなされた旨を、前記携帯機器へ出力すること
を特徴とする画面表示システム。
【請求項９】
請求項８に記載の画面表示システムにおいて、
前記操作部は、設定される反力情報に従い、ユーザの操作に対する反力を前記操作ノブに加える反力発生手段を有しており、
前記車載装置は、前記携帯側画像に埋め込まれた前記情報に基づき、前記反力情報を設定する反力情報設定手段を備えていること
を特徴とする画面表示システム。
【請求項１０】
携帯機器の表示画面に表示される携帯側画像を車両が有する表示手段に表示可能であり、前記携帯機器との間でデータ通信可能に構成された車載装置であって、
前記携帯機器は、前記携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、前記携帯側画像に表示される選択項目画像の情報を埋め込む情報埋込手段を備えており、
前記携帯側画像に埋め込まれた前記情報に基づき、前記選択項目画像の前記表示手段における表示位置を特定する位置特定手段を備えていること
を特徴とする車載装置。
【請求項１１】
表示画面に表示される携帯側画像を車両が有する表示手段に表示可能な車載装置との間でデータ通信可能に構成された携帯機器であって、
前記車載装置は、前記携帯側画像の一部に埋め込まれた情報に基づき、前記携帯側画像に表示される選択項目画像の前記表示手段における表示位置を特定する位置特定手段を備えており、
前記携帯側画像の一部に、ユーザにとって情報内容が視認不能な態様で、前記選択項目画像の情報を埋め込む情報埋込手段を備えていること
を特徴とする携帯機器。
【図１】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【公開番号】特開２０１２−１３７８６７（Ｐ２０１２−１３７８６７Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８８６３９（Ｐ２０１０−２８８６３９）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]