説明

携帯機器と連携し、該携帯機器に対して可能な入力操作を実現する車載機器

【課題】携帯機器に対しては受け付けられるが車載機器に対しては受け付けられない入力操作についても、該車載機器に対して実現可能なようにする。
【解決手段】車両に搭載され、表示装置に接続されると共に、情報処理機能を備える携帯機器と通信する通信手段を有する車載機器を備えるシステムは、該車載機器に接続され、ユーザによる入力操作を受け付ける入力装置と、携帯機器上に備えられた入力部を介して実現される該携帯機器が認識可能な入力操作のうち、車載機器の入力装置を介して実現される該車載機器が認識可能な入力操作とは異なる入力操作が存在する。該異なる入力操作については、車載機器の入力装置に対して所定の入力操作が行われたことに応じて、該行われた入力操作に対応する前記携帯機器が認識可能な入力操作を識別し、該識別した入力操作を表す信号を、前記携帯機器に送る手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、携帯機器と連携して動作可能な車載機器に関し、より具体的には、該車載機器上で、該携帯機器に対して可能な入力操作を実現することのできる車載機器に関する。
【背景技術】
【0002】
従来より、情報処理装置のユーザ・インターフェースについて、ユーザの利便性をさらに向上するため、様々な手法が提案されている。下記の特許文献1には、ユーザの手元にタッチパッドが設置され、ユーザが、GUI部品を選択するためにタッチパッド上に手を載せると、タッチパッドから出力された接触位置データから手形状モデルの画像が作成されてディスプレイ上に表示される入力装置が記載されている。これにより、機器に対する命令や情報の入力を、遠方の画面を見ながら手元で簡便に誤操作なく行えるようにしている。
【0003】
また、下記の特許文献2には、メニューの選択により表示を切り換える構成において、タッチパネルを用いた指によるジェスチャーにより表示の切り替えを受け付ける車載装置が記載されている。これにより、ナビゲーション機能、コンテンツの再生機能を有する車載装置に対するユーザの使い勝手を向上する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−72854号公報
【特許文献2】特開2005−339420号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
最近における、携帯機器における高機能化や低価格な車載機器のニーズの高まりを受け、携帯機器を車載機器と連携させて利用するシステムが検討されている。このようなシステムによれば、各種情報処理に必要な機能は携帯機器が提供するため、携帯機器側のアプリケーションを追加ないし更新することで、システム全体の機能を向上させていくことができる。一方、車載機器側では、比較的大型で扱いやすい表示装置や入力装置を備えることで、携帯機器をそのまま用いた場合の、見えにくさや操作しにくさといった課題を解決しつつ、携帯機器側の処理機能によって実現されるサービスを、車両内のユーザに安価に提供することができる。
【0006】
しかしながら、携帯機器上のアプリケーションは、一般に、その携帯機器が備える操作機構および表示機構を用いて動作するよう開発されており、その汎用性が確保されていないことがある。たとえば、最近の高機能の携帯機器は、高性能のタッチパネルと組み合わされ、複数の指で操作可能なマルチタッチ式のユーザ・インターフェースを備えるものがあり、車載機器側の操作および表示機構では、そのようなユーザインターフェースと同等の機能を実現できない場合がある。
【0007】
上記の従来技術は、このような高性能のユーザ・インタフェースに対応するものではなく、また、2つの操作機器の上記のような操作ないし表示機構の仕様差を考慮するものとはなっていない。
【0008】
したがって、携帯機器と連携して動作する車載機器において、該携帯機器に対して可能な入力操作を実現することができるユーザ・インターフェースを提供することが望まれている。
【課題を解決するための手段】
【0009】
この発明の一つの側面によると、車両に搭載され、表示装置に接続されると共に、情報処理機能を備える携帯機器と通信する通信手段を有する車載機器を備えるシステムは、前記車載機器に接続され、ユーザによる入力操作を受け付ける入力装置と、前記携帯機器上に備えられた入力部を介して実現される該携帯機器が認識可能な入力操作のうち、前記車載機器の入力装置を介して実現される該車載機器が認識可能な入力操作とは異なる入力操作が存在する場合、該異なる入力操作については、前記車載機器の入力装置に対して所定の入力操作が行われたことに応じて、該行われた入力操作に対応する前記携帯機器が認識可能な入力操作を識別し、該識別した入力操作を表す信号を、前記携帯機器に送る手段と、を備える。
【0010】
この発明によれば、携帯機器に対しては受け付けられるが車載機器に対しては受け付けられない入力操作が、車載機器に対して行われた場合には、該行われた入力操作を、携帯機器が認識可能な入力操作に修正した上で、その信号を携帯機器に送信する。たとえば、フリックというような入力操作が、携帯機器では受け付けられるが車載機器では受け付けられない場合、車載機器上で所定の入力操作を行えば、それが、フリック操作と識別されて、該フリック操作を表す信号が携帯機器に送られる。したがって、携帯機器に対する入力操作と同等の効果が実現されるよう、車載機器に対して入力操作を行うことができる。よって、ユーザは、携帯機器と連携する車載機器上で、該携帯機器を操作するのと同様の感覚で、該車載機器を操作することができる。これにより、携帯機器を車載機器に連携して、たとえば携帯機器の様々なアプリケーションを、車両内で操作することができる。
【0011】
この発明の一実施形態によると、上記の異なる入力操作について、前記入力装置上に、該異なる入力操作に対応付けられた入力操作項目を表示する表示手段を備える。該入力操作項目がユーザによって選択されたことに応じて、該選択された入力操作項目に対応する前記携帯機器が認識可能な入力操作を識別する。
【0012】
この発明によれば、携帯機器に対しては受け付けられるが車載機器に対しては受け付けられない入力操作については、入力操作項目として表示されるので、該入力操作項目を選択することにより、携帯機器が認識可能な入力操作を、車載機器上で実現することができる。
【0013】
この発明の一実施形態によると、前記携帯機器の前記入力部は、該携帯機器のディスプレイに構成されたタッチパネルを含み、該タッチパネルは、複数の位置における同時のタッチ操作を検知可能なよう構成されており、前記異なる入力操作には、前記携帯機器のタッチパネル上で実現可能なマルチタッチ入力操作が含まれる。また、この発明の一実施形態によると、該異なる入力操作には、前記携帯機器のタッチパネル上で実現可能な、該携帯機器のディスプレイに表示された対象物の動きを特定するジェスチャ入力操作が含まれる。こうして、これらの実施形態によれば、携帯機器のタッチパネルに対して可能なマルチタッチ操作やジェスチャ操作を、車載機器に対して実現することができる。
【0014】
この発明の一実施形態によると、前記入力装置は、前記車載機器の表示装置のディスプレイに構成されたタッチパネルを含み、前記表示手段は、さらに、前記入力操作項目が選択されると共に、前記車載機器の表示装置のタッチパネル上で位置がユーザによって選択されることに応じて、該選択された位置に、該選択された入力操作項目に対応する図形を表示する。該表示された図形に対し、ユーザによって所定の操作が行われることに応じて、前記ジェスチャ入力操作の操作方向および操作量を識別する。こうして、ユーザは、表示された該図形に対して、たとえばドラッグ操作等を行うことにより、対象物を動かす方向および大きさを入力することができる。
【0015】
この発明の一実施形態によると、前記入力装置に対して行われた前記入力操作の操作量を、前記携帯機器の入力部に対して該入力操作を行った場合の操作量に修正する手段を備え、前記入力操作を表す信号に、該修正した操作量を示すデータを含めて、前記携帯機器に送る。
【0016】
携帯機器によっては、入力操作の操作量を、該携帯機器の画面サイズに対する相対量として捉え、該相対量に応じて、画面内の対象物を移動させることがある。このような場合、車載機器の表示画面の画面サイズは、携帯機器の画面サイズとは異なるため、携帯機器に対して操作する感覚で車載機器側を操作すると、ユーザは、意図した情報を入力することができないおそれがある。この発明によれば、携帯機器と同等の操作量で車載機器を操作すれば、意図する情報を入力することができる。したがって、携帯機器を扱うのと同様の感覚で、車載機器を操作することができる。
【0017】
この発明の一実施形態によると、前記異なる入力操作が存在する場合には、ユーザに、入力操作に制限が生じることを、車載機器を介して通知する。
【0018】
携帯機器と車載機器に表示される内容は、実質的に同一であり、両者の表示画面が共にタッチパネルで構成されることも多い。そのため、ユーザは、携帯機器と同様に車載機器も操作できると考えるおそれがある。そこで、上記のような異なる入力操作が存在する場合にはユーザに警告することで、意図した通りに操作できないわずらわしさをユーザが感じるのを回避することができる。
【0019】
この発明の一実施形態によると、前記異なる入力操作が所定の条件を満たさないときには、該車載機器は、該入力操作を受け付けないことを判定する。
【0020】
入力操作の種類によっては、車載機器上で再現が困難な場合や、車両内では行わないようにするのが望ましいと判断するものがある。したがって、このような入力操作については、車載機器が受け付けないようにすることができる。
【0021】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【0022】
【図1】この発明の一実施例に従う、携帯機器と車載機器とが接続された車載処理システムの一形態を示す図。
【図2】この発明の一実施例に従う、車両内における表示装置と携帯機器の設置の一形態を示す図。
【図3】この発明の一実施例に従う、携帯機器および車載機器を連携して動作させ、該携帯機器からの情報処理の結果を車載機器上に出力する形態における、携帯機器および車載機器の機能ブロック図。
【図4】この発明の一実施例に従う、タッチパネルに対する入力操作の一例を示す図。
【図5】この発明の一実施例に従う、携帯機器および車載機器を連携して動作させ、車載機器に対する入力操作を携帯機器に送る形態における、携帯機器および車載機器の機能ブロック図。
【図6】この発明の一実施例に従う、(a1)携帯機器のタッチパネルの画面、(a2)携帯機器のタッチパネルに対する入力操作、(b1)車載機器の表示装置のタッチパネルの画面、および(b2)車載機器のタッチパネルに対する、(a2)に対応する入力操作、の一例を示す図。
【図7】この発明の一実施例に従う、入力操作項目表示プロセスのフローチャート。
【図8】この発明の一実施例に従う、入力操作再現プロセスのフローチャート。
【発明を実施するための形態】
【0023】
次に図面を参照してこの発明の実施の形態を説明する。図1は、本発明の一実施形態に従う、携帯機器と連携可能なように動作する車載機器を備えた車載処理システムを概略的に示す。
【0024】
携帯機器10は、携帯電話、携帯情報端末(PDA)、およびスマートフォンのような、携帯可能であり、かつ情報処理機能および通信機能を備えた端末である。当然ながら、さらに音声通話機能を備えたものでもよい。
【0025】
携帯機器10は、データを表示するディスプレイ(表示画面)11、音および音声(以下、単に音声と呼ぶ)を出力するスピーカ12、および、携帯機器10に備えられたキー(ボタン)のように、ユーザが携帯機器10に何らかのデータ(信号)を入力するための入力操作部13を備えている。
【0026】
また、この実施形態では、ディスプレイ11は、タッチパネルディスプレイを構成しており、該タッチパネルに対して所定のタッチ操作を行うことにより、携帯機器10にデータ(信号)を入力可能なようになっている。入力操作部13には、該タッチパネルも含まれるものとする。
【0027】
携帯機器10は、中央処理装置(CPU)とメモリを有するコンピュータとしての情報処理機能を備えており、図には、それぞれ処理部14および記憶部15として示されている。たとえば、入力操作部13によって入力されたデータに応じて、記憶部15に記憶されたプログラムが処理部14によって実行され、その情報処理の結果が、ディスプレイ11上に表示され、および(または)スピーカ12を介して音声出力される。
【0028】
また、携帯機器10は、通信機能を備えており、図には、通信部16および車内通信部17として示されている。通信部16は、アンテナを介して外部のネットワーク31に接続し、音声通話またはデータ通信のための信号を送受信する機能を備えている。図には、外部のネットワーク31としてインターネットが示されており、通信部16は、該インターネットを経由して外部のサーバ32に接続し、外部のサーバ32とデータ通信を行うことができる。
【0029】
また、車内通信部17は、車両に搭載される車載機器20の車内通信部27と、外部接続端子18を介して接続し、該車載機器20とデータ通信のための信号を送受信する機能を備えている。
【0030】
携帯機器10には、種々のアプリケーション(適用業務)が実装されており、各アプリケーションは、記憶部15に記憶された1または複数のプログラムを実行することによって実現される。この実施形態では、該アプリケーションの一つとして、ナビゲーションが実装されている。したがって、通信部16には、アンテナを介して、GPS(Global Positioning System)衛星から送信される信号(GPS信号)を受信する機能も備えられている。
【0031】
ここで、外部のサーバ32を、ナビゲーションのサービスを提供するサーバ(ナビサーバ)とすると、処理部14は、該ナビゲーションのプログラムの実行を介して、受信したGPS信号から現在位置を検出すると共に、該現在位置を示すデータを、通信部16を介してサーバ32に送信することができる。これに応じて、該サーバ32は、該現在位置周辺の地図データを携帯機器10に送信する。処理部14は、通信部16を介して該地図データを受信し、該地図データ上に該現在位置を重畳して、ディスプレイ11上に表示することができる。また、入力操作部13を介して目的地を示すデータが入力されたことに応じて、処理部14は、該目的地を通信部16を介して該サーバ32に送信することができる。これに応じて、該サーバ32は、該現在位置から目的地までの最適な経路(ルート)を検索して携帯機器10に送信する。処理部14は、通信部16を介して受信した該最適な経路を、地図データ上に重畳してディスプレイ11上に表示することができる。なお、最近のナビゲーション機能には、交通情報の提供や近傍の施設検索等の様々な機能が付加されており、この実施形態においても、所望のものを含めることができる。
【0032】
車載機器20は、データを表示する表示画面を有する表示装置21、音および音声を出力するスピーカ22、および、ユーザが該車載機器に何らかのデータ(信号)を入力するための入力装置23を備えている。ここで、入力装置23には、表示装置21の表示画面上に構成されるタッチパネル(タッチパネルディスプレイ)および該車載機器20に備えられた所定のボタンやキーなどが含まれる。表示装置21は、図2に示すように、運転者が視認しかつ操作可能なように、たとえば車両のダッシュボード36に該タッチパネルディスプレイ37とボタンやキー等の操作部38が組み込まれるように設置されることができる。なお、入力装置23には、マイクロホン(図示せず)を含めることができ、音声データを該マイクロホンを介して入力できるようにしてもよい。
【0033】
車載機器20は、中央処理装置(CPU)とメモリを有するコンピュータである電子制御装置(ECU)を備えており、これらが、図には、それぞれ処理部24および記憶部25として示されている。たとえば、入力装置23によって入力されたデータに応じて、記憶部25に記憶されたプログラムが処理部24によって実行され、その情報処理の結果が、表示装置21上に表示され、および(または)スピーカ22を介して音声出力される。
【0034】
携帯機器10に設けられた前述の車内通信部17および外部接続端子18に対応して、車載機器20には、車内通信部27および外部接続端子28が設けられている。外部接続端子18と外部接続端子28が互いに接続されることにより、携帯機器10の車内通信部17と車載機器20の車内通信部27は、互いに、所定のプロトコルに従って通信可能なように接続される。
【0035】
たとえば、携帯機器10の外部接続端子18と、車載機器20の外部接続端子28とを、USB(Universal Serial Bus)接続によって接続することにより、車内通信部17および27は互いに通信可能となる。たとえば、図2に示すように、車両のダッシュボード36に所定の挿入口39を設け、該挿入口39の底部に外部接続端子28を設ける。携帯機器10を該挿入口39に設置することにより、外部接続端子18と28とが互いに接続され、これにより、携帯機器10と車載機器20とは通信可能な状態となる。こうして、携帯機器10を、車載機器20と連携して動作可能なように、車載処理システムに一体的に組み込むことができる。
【0036】
代替的に、携帯機器10と車載機器20とを、ブルートゥース(Bluetooth)のような所定の無線通信を介して接続するようにしてもよい。
【0037】
車載機器20には、車両の走行状態を検出するためのセンサ29が接続されている。この実施形態では、該センサ29は、車速を検出するためのセンサであり、たとえば、車速センサ、加速度センサ、車輪速センサ等によって実現されることができる。センサ29によって検出された車速は、処理部24に渡される。なお、車両が停止しているか否かを検出するときには、上記の車速を検出するセンサに代えて、パーキングブレーキが作動しているか否かを検出するパーキングブレーキセンサを、センサ29として用いてもよい。
【0038】
図3は、図1に示す、携帯機器10と連携した車載機器20を備えるシステムによって実現される基本的な通信形態を説明するために、携帯機器10の処理部14および車載機器10の処理部24を機能ブロックで表したものである。これらの機能は、CPUによって実行される。また、データ処理に用いるメモリ115、211が示されており、これらは、記憶部15および25にそれぞれ実現される。なお、外部接続端子18、28は省略されている。
【0039】
携帯機器10には、種々のアプリケーション(適用業務)が実装されている。アプリケーション実行部111は、たとえばユーザによる何らかの入力操作に応じて所望のアプリケーションを実行する際、対応するプログラムを、たとえば記憶部15の不揮発性メモリ(図示せず)から読み出したり、外部のネットワークから取得することにより、実行する。該プログラムによって処理された結果、出力されるべき表示画面のデータおよび(または)音声のデータが生成される。
【0040】
表示画面は、典型的には、テキスト(文字)および画像などのコンテンツと、ウィンドウ、ダイアログボックス、タスクバー、ボタン、チェックボックス、テキストフィールド等のGUI(グラフィカル・ユーザ・インターフェース)部品とから構成される。プログラム内で、所望のテキストデータを指定する(テキストデータ自体を記述してもよいし、該テキストデータのファイルを記述してもよい)ことにより、該テキストデータを描画することができる。画像データ(たとえば、JPEGのような画像データ)についても同様である。また、各種のGUI部品は、たとえば該携帯機器10に搭載されるOS(オペレーティング・システム)によって予めライブラリとして提供されて記憶部15に記憶されており、プログラム内で所望のGUI部品を指定することによって、該GUI部品を描画することができる。たとえば、Javaのプログラムにおいては、Buttonクラスをプログラムで定義することにより、ボタンというGUI部品を描画することができる。さらに、プログラム内で音声データのファイルを指定することにより、該音声データの再生を実行することができる。
【0041】
アプリケーション実行部111は、プログラムを実行したとき、該プログラム内で、指定されたテキストおよび画像のデータを描画する命令があれば、それらの描画命令を表示制御部113に出力する。この命令に応じて、表示制御部113は、該指定されたテキストおよび画像のデータを、たとえば記憶部15や外部のネットワークを介して取得し、これを、VRAMのような表示画面用のメモリ115に出力(描画)する。また、アプリケーション実行部111は、プログラムを実行したとき、該プログラム内に指定されたGUI部品があれば、その描画命令を表示制御部113に出力する。これに応じて、表示制御部113は、指定されたGUI部品を記憶部15から読み込み、これを、メモリ115に出力(描画)する。さらに、アプリケーション実行部111は、プログラムを実行したとき、該プログラム内で指定された音声データがあれば、該音声データの再生命令を音声制御部114に出力する。音声制御部114は、指定された音声データのファイルを、たとえば記憶部15や外部のネットワークを介して取得する。
【0042】
送受信制御部117は、携帯機器10のアプリケーションに対し、車載機器20というデバイスのドライバとしての役割を果たすように設けられており、その機能はソフトウェアプログラムによって実現されることができる。より具体的には、送受信制御部117は、メモリ115に格納された一画面分のデータから、車載機器20の表示装置21の画面解像度と同じ解像度を有するビットマップデータ(画面データと呼ぶ)を該メモリ115から切り出すと共に、音声制御部114によって取得された音声データのファイルを受け取り、該画面データおよび音声データのファイルを、車内通信部17を介して車載機器20に送信する。
【0043】
好ましくは、送受信制御部117は、画面データ(表示画面)に関する属性情報を表示制御部113から取得し、これを、該画面データと共に、車内通信部17を介して車載機器20に送信する。属性情報は、車載機器20の表示装置21に画面データを出力するに際して、後述する出力制御部213によって使用される情報である。属性情報には、たとえば、アプリケーション(プログラム)の種類、要求される入力操作の数および種類、表示項目の数、表示項目の色、表示される文字数等を含めることができる。表示制御部113は、前述したように、プログラムを実行することにより出力される描画命令に従って、表示画面を構成するコンテンツやGUI部品をメモリ115に出力するので、送受信制御部117は、表示画面の該属性情報を、表示制御部113からの情報に基づいて取得することができる。
【0044】
こうして、画面データとその属性情報、および音声データが、送受信制御部117から、車内通信部17を介して車載機器20に送信される。車載機器20の車内通信部27は、これらを受け取り、画面データおよび音声データを、一時的にメモリ211に記憶すると共に、属性情報を、出力制御部213に渡す。
【0045】
出力制御部213は、受け取った属性情報と、センサ29により検出された車両の走行状態とに基づいて、受け取った画面データおよび音声データの表示装置21およびスピーカ22への出力形態を制御する。この制御は、たとえば、安全性の観点から行われることができる。たとえば、出力制御部213は、属性情報に基づいて、受け取った画面データが、安全性の観点から決められた所定の条件を満たすかどうかを判断する。該所定の条件を満たすならば、該受け取った画面データを、メモリ211から読み出して、加工することなく、そのまま表示装置21上に出力する。該所定の条件を満たさなければ、該受け取った画面データを、メモリ211から読み出して、該所定の条件を満たす程度にまで加工処理を施し、該加工処理が施された画面データを、表示装置21上に出力する。該所定の条件を満たす程度にまで加工処理を施すことができないと判断した場合には、該画面データの表示装置21上への出力を禁止する。
【0046】
また、出力制御部213は、音声出力が、該所定の条件を満たすかどうかを判断する。該所定の条件を満たすならば、受け取った音声データを、メモリ211から読み出し、そのまま再生して、スピーカ22を介して出力する。該所定の条件を満たさなければ、該所定の条件を満たす時点まで該出力を時間的に遅延させる。該所定の条件を満たすのが困難と判断した場合には、該音声データのスピーカ22を介しての出力を禁止する。
【0047】
該所定の条件には、たとえば、(1)車両の走行状態(センサ29から得られた車速等)に基づく条件、(2)アプリケーション(プログラム)の処理内容(アプリケーションの種類等)に基づく条件、(3)表示内容(項目数、色等)に基づく条件、(4)音声に基づく条件(音声出力のタイミング等)、を含めることができる。このように、出力制御部213を設けることにより、携帯機器のアプリケーションによって提供されるサービスを、車内のユーザはより安心して享受することができる。
【0048】
たとえば、携帯機器10でナビゲーションのアプリケーションを実行すると、前述したように、携帯機器10は、現在の位置を検出して、該現在位置周辺の地図データを取得する。該地図データに現在位置が重畳された画面データは、メモリ115に格納される。ここで、該メモリ115に記憶される画面データの解像度は十分に大きい。送受信制御部117によって、該メモリから、車載機器21の表示装置21と同じ解像度の画面データが切り出され、その属性情報と共に車載機器20に送られる。こうして、車載機器20の表示装置21上に、自車両周辺の地図データを表示することができる。同様に、携帯機器10のナビゲーションの機能によって目的地までの経路が算出されたならば、車載機器20の表示装置21上に、該目的地までの経路が重畳された地図データを表示させることができる。これらの表示は、出力制御部213によって、たとえば車両の安全性を確保するための所定の条件を満たした状態で行われるため、車両の運転者は、安心して、該ナビゲーションの機能によって提供される表示画面を表示装置21上で視認することができる。このように、専用のナビゲーション装置を車両に設置していない場合でも、携帯機器のナビゲーション機能を、車両用のナビゲーションとして利用することができる。
【0049】
車載機器20の表示装置21に上記のようにして表示された画面データには、たとえばキー入力やボタン選択などの入力操作を受け付ける部分が含まれていることがある。この場合、表示装置21のタッチパネルや所定のキー等の入力装置23を介して、ユーザは、入力操作を行うことができる。該入力操作に応じた信号は、車内通信部27を介して携帯機器10に送信される。携帯機器10の送受信制御部117は、車内通信部17を介して該信号(データ)を受け取り、必要であればアプリケーション実行部111が解釈可能な形態の信号に変換して、該アプリケーション実行部111に渡す。アプリケーション実行部111は、現在実行中のプログラムに従って、該受け取った信号に応じた処理を行う。その結果、新たな表示画面を出力する場合には、前述したような処理を経て、画面データが、その属性情報と共に、再び送受信制御部117から車載機器20へと送信される。
【0050】
このように、アプリケーションのプログラム実行は、携帯機器10で行われるが、その結果として生成される表示画面および音声のデータは、車載機器20の表示装置21およびスピーカ22を介して出力される。このとき、携帯機器10のディスプレイ11およびスピーカ12に対する該表示画面および音声の出力については、禁止するようにしてもよい。たとえば、携帯機器10の処理部14は、車載機器20が接続されたことを検知することにより、表示制御部113および音声制御部114に対し、ディスプレイ11およびスピーカ12への出力を禁止する信号を出力することができる。
【0051】
上記では、携帯機器10と車載機器20の間のデータ通信に関して説明したが、携帯機器10の音声通話機能にも、車載機器20を利用することができる。たとえば、携帯機器10は、車載機器20と接続されたことを検知して、音声通話を行うための音声データの入出力先を、車載機器20に切り換える。そして、携帯機器10によって外部と音声通話の接続がなされたとき、携帯機器10が受信した音声データは、車載機器20に伝えられてスピーカ22を介して出力され、車載機器20の入力装置23に備えられたマイクロホンを介して入力された音声データは、携帯機器10に伝えられて外部に送信される。こうして、車両の乗員は、ハンズフリーで音声通話を行うことができる。なお、音声通話についても、出力制御部213による制御を介してもよい。
【0052】
以上のように、この実施形態では、携帯機器と車載機器が一体的なシステムを構成し、互いに通信可能なようになっているが、携帯機器の入力に関するユーザ・インターフェースと、車載機器の入力に関するユーザ・インターフェースとが異なる場合がある。
【0053】
典型的な例として、携帯機器のディスプレイ上に構成されるタッチパネルについては、静電容量方式が多く用いられ、車載の表示装置の表示画面上に構成されるタッチパネルについては、抵抗膜方式が多く用いられている。
【0054】
静電容量方式は、タッチパネルの表面全体に電界を形成し、タッチした部分の表面電荷の変化を捉えることにより位置の検出を行う。押さえるものは、指や指と同等の静電的な導電性のものが必要とされる。静電容量方式のうち、特に投影型と呼ばれるものでは、多点検出が可能なことが特徴となっている。静電容量方式は、検出精度は高いが、大型化が困難という面もある。
【0055】
他方、抵抗膜方式は、ガラスやフィルム面に電圧を加え、タッチ部が押圧されたことによる導通位置で、操作された位置の検出を行う。静電容量方式より価格が安く、大型化しやすい。手袋等をしていても操作が可能であり、車載の表示装置に利用されている実績が長い。
【0056】
上記に示したように、たとえば携帯機器が静電容量方式(投影型)のタッチパネルを採用しており、車載機器の表示装置が抵抗膜方式のタッチパネルを採用している場合、前者では、多点検出すなわち複数の位置に対する同時のタッチ操作の検出が可能であるが、後者では、該多点検出は、基本的に困難である。多点検出が可能なことにより、静電容量方式のタッチパネルを採用している携帯機器では、いわゆるマルチタッチ入力やジェスチャ入力と呼ばれる入力を受け付けるよう構成されていることが多い。マルチタッチ入力は、複数の位置に同時に触れることにより、対象物(オブジェクト)を操作する入力方式である。ジェスチャ入力は、単に位置を特定するだけでなく、方向および(または)大きさ(量)を含めて、対象物の動きを操作する入力方式である。マルチタッチ入力が可能となることで、シングルタッチ入力に比べて、様々なジェスチャ入力が可能となっている。
【0057】
たとえば、図4の(a)には、たとえば静電容量方式のような多点検出が可能なタッチパネルに対して操作可能となっているマルチタッチ操作の一例として、フリック操作、2本の指でタップする操作、つまむ操作、ひろげる操作が示されている。
【0058】
フリック操作は、文字入力やスクロールにおいて画面を指先ではじく(はらう)操作であり、指先ではじいた方向に、はじいた量に応じて、画面内の対象物をスクロールするため、ジェスチャ操作ともいえる。2本の指でタップする操作は、2本の指を同時にタップ(1回押し)する操作であり、たとえば、タップした位置を中心として、所定の操作(たとえば、再表示等)を指示することができる。つまむ操作は、2本の指で画面をつまむ操作であり、2本の指で触れた所の間の対象物を、つまんだ方向に、つまんだ量に応じて縮小するジェスチャ操作である。ひろげる操作は、2本の指で画面を広げる操作であり、2本の指で触れた所の間の対象物を、広げた方向に、広げた量に応じて拡大するジェスチャ操作である。
【0059】
他方、図4の(b)に示されるように、タップ(1回押し)操作、ダブルタップ(2回押し)操作、ドラッグ(画面上で指をずらす)操作は、基本的に、静電容量方式および抵抗膜方式の両方で操作可能な入力操作である。
【0060】
このように、入力に関するユーザ・インターフェースが、携帯機器と車載機器との間で異なると、携帯機器を車載機器に接続したユーザは、携帯機器で操作可能であったものが、車載機器で操作可能とはならず、よって、携帯機器のアプリケーションを起動させても、車載機器の入力装置を介して該アプリケーションを十分に操作することができない、ということが生じうる。
【0061】
そこで、本願発明は、携帯機器と車載機器の間のユーザ・インターフェースの違いを補償すべく、携帯機器に対して可能な入力操作を、車載機器に対しても実現可能なようにする手法を提案するものである。この具体的な手法を、以下、説明する。
【0062】
図5は、この発明の一実施形態に従う、図1〜図3を参照して説明した構成を利用して、上記のユーザ・インターフェースの違いを補償するためのシステムについて、携帯機器10の処理部14、および車載機器20の処理部24を、機能ブロックで表したものである。図1および図3と同じブロックには、同じ符号が付されている。なお、図3を参照して説明した、ドライバとしての役割を果たす送受信制御部117は、ここでは、携帯機器10と車載機器20との間でデータ(信号)を通信する際に、必要なデータ形式の変換等を行う。
【0063】
たとえば携帯機器10が車載機器20に接続されたことに応じて、もしくは携帯機器10でアプリケーションが起動したことに応じて、入力操作相違抽出部51は、携帯機器10が認識可能な入力操作(の種類)と、車載機器20が認識可能な入力操作(の種類)との相違(差)を抽出する。この実施形態では、相違として抽出される入力操作として、少なくとも、タッチパネルに対する入力操作が含まれる。したがって、入力操作相違抽出部51は、少なくとも、携帯機器10のタッチパネルディスプレイ11が認識可能な入力操作の種類と、車載機器20の表示装置21のタッチパネルディスプレイ37が認識可能な入力操作の種類との差を見極める。なお、相違として抽出される入力操作として、該タッチパネルに対する入力操作以外の操作(たとえば、キーボードやボタン等に対する操作や、携帯機器自体を傾けたり、振らしたりする動作)を含めてもよい。
【0064】
この差の抽出は、任意の適切な手法で行うことができる。一実施形態では、接続された携帯機器10の機種を検知する。この検知は、たとえば、携帯機器10が該機種を示す信号を車載機器20に送信することにより、実現されることができる。
【0065】
通常、携帯機器の機種によって、該携帯機器が受付可能な入力操作は決まっているので、該機種を検知することにより、該携帯機器が認識可能な入力操作を判断することができる。代替的に、このような判断を行うことが可能であれば、製品名や製品番号等を、機種に代えて、もしくは機種に追加して用いてもよい。
【0066】
車載機器20の記憶部25(図5には図示せず)には、携帯機器の機種毎に、該携帯機器が認識可能な入力操作を予め規定して記憶しておくことができる。相違抽出部51は、該検知した携帯機器の機種に基づいて該記憶部25を参照し、対応する入力操作を取得する。
【0067】
他方、車載機器20の表示装置21のタッチパネルディスプレイ37が認識可能な入力操作は、予め決まっている。したがって、相違抽出部51は、該取得した携帯機器10の入力操作と、該車載機器20の入力操作とを比較し、両者の差(相違)、より具体的には、携帯機器10の入力操作のうち、車載機器20の入力操作に含まれない入力操作を抽出する。
【0068】
たとえば、図4に示すように、携帯機器10が、(a)および(b)に示される入力操作を認識可能であり、車載機器20が、(b)に示される入力操作を認識可能な場合、相違抽出部51によって、(a)に示される入力操作が、該差として求められることとなる。
【0069】
代替的に、タッチパネル方式(静電容量方式の投影型か、それとも抵抗膜方式か、等)の相違から、上記入力操作の相違を抽出してもよい。たとえば、相違抽出部51は、該携帯機器10から、該携帯機器10のディスプレイ11のタッチパネル方式を示すデータを取得する。あるいは、携帯機器の機種毎に、タッチパネルの方式を予め記憶部25に記憶し、上記のように取得した該携帯機器10の機種から、対応するタッチパネル方式を求めてもよい。相違抽出部51は、該携帯機器10のタッチパネル方式と、車載機器20のタッチパネル方式とが異なる場合、携帯機器10のタッチパネル方式に関連づけて予め決められた入力操作のうち、車載機器20のタッチパネル方式に関連づけて予め決められた入力操作に含まれない入力操作を抽出することができる。
【0070】
好ましくは、再現判定部52が設けられる。再現判定部52は、上記相違として抽出された入力操作のうち、車載機器20上では再現が困難なものがあるかどうかを判断し、困難と判断した入力操作については再現を禁止し、困難と判断されなかった入力操作については、再現を許可する。
【0071】
所定の基準に従って、該再現性の判断を行うことができる。たとえば、前述したように、携帯機器自体を、左右に振らすことで画面をスクロールしたり、傾けたりすることで画面内の映像を様々な角度から見たりするという入力操作を採用している携帯機器もある。このような、携帯機器自体を空間的に動かす入力操作(とりわけ、該携帯機器を空間的に動かす量に応じて画面内の対象物を動かす入力操作)は、車載機器20上で再現するのが困難なことが多い。したがって、再現判定部52は、上記相違として抽出された入力操作のうち、このような入力操作が存在すれば、これらについて、再現を禁止することができる。
【0072】
また、たとえば、該相違として抽出された入力操作が所定数以上ある場合には、車載機器20で再現する入力操作数が多すぎるため、該所定数以下になるよう、再現する入力操作数を制限するようにしてもよい。たとえば、所定の基準に従って、ユーザが利用する頻度が高いと想定される入力操作を所定数選択し、これらについては再現を許可し、他の入力操作については再現を禁止することができる。
【0073】
再現判定部52によって、再現が許可された入力操作があれば、入力操作項目表示部53は、該許可された入力操作のそれぞれに対応する入力操作項目を、表示装置21の表示画面上に表示する。ここで、前述したように、携帯機器の機種によって該携帯機器が認識可能な入力操作は予め決まっており、また、再現禁止とすべき入力操作も予め所定の基準に従って決めることができるので、再現許可となる入力操作を予め想定することができる。したがって、該再現許可となりうる入力操作のそれぞれに対応して、入力操作項目のGUI部品を予め用意して記憶部25に記憶することができる。入力操作項目表示部53は、今回の判定で再現を許可された入力操作に対応する入力操作項目のGUI部品を記憶部25から読み出し、表示画面上に表示する。
【0074】
ここで、図6を参照して、入力操作項目のGUI部品の一例について説明する。(a1)は、車載機器20に接続された携帯機器10のディスプレイ11を示し、この例では、携帯機器10のナビゲーションのアプリケーションを起動することによって取得された地図データが表示されている(前述したように、車載機器20に接続された時点で、ディスプレイ11の出力を禁止してもよい)。この携帯機器のディスプレイ11のタッチパネルは、多点検出が可能な静電容量方式を採用している。よって、図4の(a)に示すようなマルチタッチ操作およびジェスチャ操作が可能となっており、これらが、(a2)にそれぞれ示されている。フリック操作は、1本の指で画面上の所望の位置をタップした後、該位置をはじく操作である。これにより、指ではじかれた位置の画像は、該指ではじいた方向に、はじいた量(強さ)に応じたスクロール量だけ移動する。つまむ操作は、2本の指で画面上の所望の位置をタップした後、該2本の指の間の間隔をつまむ(狭める)ように指を動かす操作である。これにより、2本の指の間の画像は、該つまんだ方向に、つまんだ量に応じて縮小される。広げる操作は、2本の指で画面上の所望の位置をタップした後、該2本の指の間の間隔を広げるように指を動かす操作である。これにより、2本の指の間の画像は、該広げた方向に、広げた量に応じて拡大される。2本の指でタップする操作は、2本の指を同時にタップ(1回押し)する操作であり、ここでは、タップした位置を中心として、地図データを再表示する。
【0075】
(b1)は、車載機器20の表示装置21のタッチパネルディスプレイ37を示し、これは、多点検出が不可能な抵抗膜方式を採用している。この例では、該ディスプレイ37に、(a1)と同様の地図データが表示されている。図3を参照して説明したように、該表示されている地図データは、携帯機器10のナビゲーションのアプリケーションを起動することによって車載機器20に送信された地図データ(画面データ)である。(b2)は、(a2)に示すそれぞれの入力操作に対応して、車載機器20上でどのようにこれらの入力操作を再現するかについて示している。
【0076】
この例においては、携帯機器10のアプリケーションから出力されたデータを表示することに応じて、車載機器20は、タッチパネルディスプレイ37の所定の領域71に、該携帯機器のアプリケーションからのデータであることをユーザに通知するため、符号72に示すように、「ケータイアプリ」という表示を行っている。その後、相違抽出部51により抽出されて、再現判定部52により再現許可と判定された入力操作が、(a2)に示す、フリック操作、つまむ操作、ひろげる操作、2本の指でタップする操作であるとする。該再現許可の判定に応じて、入力操作項目表示部53は、これらの操作のそれぞれに対応するGUI部品を抽出して、図の符号73〜76にそれぞれ示すように、該所定の領域71に、「はじく」、「つまむ」、「ひろげる」「2本指」というGUI部品すなわち入力操作項目を表示する。これらの入力操作項目は、いずれも、1本の指によるタップ操作によって選択可能なように構成されている。
【0077】
図5の入力操作識別部54は、これらの入力操作項目のいずれかが選択されて、該選択された入力操作項目に沿った操作がユーザによって車載機器20のタッチパネル37上で行われたならば、該操作の種別、該操作の位置、および、ジェスチャ操作の場合には該操作の方向および量(大きさ)を識別する。
【0078】
この点について、図6の例を参照して具体的に説明すると、ユーザは、画面に表示されている画像(地図データ)を、左方向に画面幅の半分程度をスクロールすることを所望すると仮定する。携帯機器10では、このような操作は、ユーザは、たとえば画面上の任意の位置を起点として、左方向へ、該半分程度のスクロール量に応じた強さで指ではじく、というフリック操作を行うことにより実現されることができる。しかしながら、車載機器上のタッチパネル37では、フリック操作自体が認識されない。
【0079】
そのため、ユーザは、まず、「はじく」という入力操作項目73を選択(タップ)してから、はじく起点とする位置を画面上でタップする。入力操作識別部54は、このユーザ操作に応じて、操作の種類として、「はじく」という入力操作項目に対応するフリック操作を識別し、かつ「はじく」操作の位置を識別する。入力操作識別部54は、図6の(b2)の上段に示されるように、「はじく」操作に対応して予め用意された十字型の矢印81を、該画面上でタップされた位置に表示する。
【0080】
これに応じて、ユーザは、はじこうとする方向の矢印を選択し、該選択した矢印上において、十字の中心から、はじこうとする量に応じた距離だけドラッグする(代替的に、該距離の所をタップするのでもよい)。このユーザ操作に応じて、入力操作識別部54は、「はじく」操作の方向と量(大きさ)を識別する。この例では、ユーザは、左方向の矢印82を選択し、十字の中心から、該矢印82の中点あたりまでをドラッグ操作する様子が示されている。そのため、入力操作識別部54により、はじく操作の方向は左と識別され、また、十字の中心から、ドラッグないしタップされた位置までの距離xが、はじく操作の量として識別される。
【0081】
他の操作についても、同様の識別処理が行われる。たとえば、ユーザが、画面に表示されている画像(地図データ)の或る領域を、上下方向に縮小することを所望すると仮定する。携帯機器10では、このような操作は、ユーザが、画面上の該領域を2本の指でつまみ、上下方向へ、縮小したいと望む大きさに応じた量だけ指の間の間隔をせばめる、という「つまむ操作」を行うことにより実現されることができる。しかしながら、車載機器20上のタッチパネル37では、このようなつまむ操作自体が認識されない。
【0082】
そのため、ユーザは、「つまむ」という入力操作項目74を選択(タップ)してから、縮小したいと望む領域の一端を起点として選択(タップ)し、該起点から、縮小したいと望む方向へ、該縮小したいと望む領域の他端まで、指をドラッグさせる。ここで、図6の(b)の中段に示されるように、入力操作識別部54は、起点をタップしたことに応じて、符号85に示すような丸印を表示し、ドラッグされるにつれて、その方向に矢印86を表示する。この例では、ユーザは、起点85から、距離xだけ、下方向にドラッグしている。入力操作識別部54は、このユーザ操作に応じて、操作の種類として、「つまむ」という入力操作項目に対応するつまむ操作を識別し、かつ、タップされた起点、ドラッグした方向、およびドラッグした距離xを、それぞれ、つまむ操作の位置、方向および量として識別する。
【0083】
ひろげる操作についても同様のことが行われ、ユーザは、「ひろげる」という入力操作項目75を選択(タップ)してから、拡大したいと望む領域の一端を起点として選択し、該起点から、拡大したいと望む方向へ、該拡大したいと望む領域の他端まで、指をドラッグさせる。ここで、入力操作識別部54は、起点をタップしたことに応じて、符号85に示すような丸印を表示し、ドラッグされるにつれて、その方向に矢印86を表示する。入力操作識別部54は、このユーザ操作に応じて、操作の種類として、「ひろげる」という入力操作項目に対応するひろげる操作を識別し、かつ、タップされた起点、ドラッグした方向、およびドラッグした距離xを、それぞれ、ひろげる操作の位置、方向および量として識別する。
【0084】
また、たとえば、ユーザが、画面に表示されている画像(地図データ)の或る地点を中心に、地図データを再表示することを所望すると仮定する。携帯機器10では、このような操作は、ユーザが、画面上の該地点を2本の指でタップすることにより実現されることができる。しかしながら、車載機器上のタッチパネルでは、2本の指でタップする操作自体が認識されない。
【0085】
そのため、ユーザは、まず、「2本指」という入力操作項目を選択(タップ)してから、タッチパネル37上の該地点をタップする。入力操作識別54は、図6の(b2)の下段に示されるように、「2本指」操作に対応して予め用意された2本指マーク88を、所定時間の間、該タッチパネル37上でタップされた位置に表示する。この表示は、ユーザに、2本指タップと認識されたことを知らせるためのものである。入力操作識別部54は、操作の種類として、「2本指」という入力操作項目に対応する2本指でタップする操作を識別し、かつ2本指でタップする操作の位置を識別する(この操作は、ジェスチャ操作ではないので、操作量と操作方向は識別されない)。
【0086】
こうして、携帯機器に対して認識可能な入力操作を擬似的に模すことにより、ユーザは、車載機器に対しても、該携帯機器に対する入力操作と同様の感覚で操作することができる。また、各入力操作項目に応じて、符号81〜88に示すような図形が表示されるので、ユーザは、自身が意図する操作が車載機器20によって認識されていることを確認することができる。
【0087】
図5に戻り、操作量修正部55が、必要に応じて設けられ、これは、携帯機器10が、ディスプレイ11に対する入力操作の操作量を、ディスプレイ11の大きさに対して相対量として処理する場合に、識別部54によって識別された操作量を、該相対量に修正するよう動作する。
【0088】
具体的に説明すると、フリック操作のようなジェスチャ操作では、指を動かした量(指の操作量)に応じて、画面内の対象物の移動量が決められる。たとえば、フリック操作でスクロールを行う場合、指ではじいた量(はじいた速度)に応じて、対象物のスクロール量が決められる。
【0089】
対象物の移動量の決め方には、大別して二通りある。ディスプレイの大きさに依存せずに、指の操作量(絶対量)に応じて対象物の移動量が決められる場合と、指の操作量のディスプレイの大きさに対する相対量(割合)に応じて対象物の移動量が決められる場合とである。
【0090】
前者の場合には、車載機器20のタッチパネル37上での操作量は、携帯機器10のタッチパネル11上での操作量の絶対量を表すものとして用いることができる。したがって、上記のような操作量修正部55は必要とされず、識別部54」によって求められた操作量を、そのまま携帯機器10に送信することができる。
【0091】
後者の場合、識別部54によって算出された操作量(絶対量を示す)を、該車載機器20のタッチパネル37の大きさ(左右方向への操作ならば、タッチパネルの該左右方向の長さ)に対する相対量に換算して携帯機器10に送信すると、ユーザが所望する量だけ対象物を移動できないおそれがある。すなわち、この実施形態にあるように、車載機器20のタッチパネル37の大きさが、携帯機器10のタッチパネル11の大きさより大きい場合に、携帯機器10のタッチパネル11を操作する感覚で車載機器20のタッチパネル37を操作すると、相対量としての操作量は小さいものとなってしまう。結果として、携帯機器10では、一画面分をスクロールできた操作の感覚で車載機器20のタッチパネル37を操作すると、半画面分しかスクロールできないという現象が生じうる。
【0092】
携帯機器10を操作する感覚となるべく同じような感覚で車載機器20を操作できるようにするため、操作量修正部55は、上記の後者の場合には、識別部54によって算出された絶対量としての操作量を、携帯機器10のタッチパネル11の大きさに対する相対量に換算する。たとえば、図6の(b2)のフリック操作に示されるように、識別部54によって、左方向に、距離xだけ操作されたと判別されたならば、該xの、携帯機器10のタッチパネル11の左右方向(図では、横方向)の長さに対する割合を、携帯機器10に送るべき操作量として算出する。
【0093】
絶対量として操作量を捉える前者の場合と、相対量として操作量を捉える後者の場合と、どちらが適用されるかについての判断については、たとえば、携帯機器の機種毎に予め決まっていれば、前述したように入力操作相違抽出部51によって該機種を検知する際に、該判断を行うことができる。あるいは、相違抽出部51によって両者の入力操作の相違を抽出する際に、該抽出した入力操作毎に、携帯機器10から、操作量が絶対量なのか相対量なのかに関する情報を取得してもよい。
【0094】
伝達部56は、識別部54によって識別された、操作の種類、操作の位置、操作の方向、および操作の量から成るデータを、入力操作データとして生成し、該入力操作データを、携帯機器10に送信する。なお、ジェスチャ操作でない場合には、操作の方向および量は識別されず、よって、入力操作データに含めなくてよい。
【0095】
たとえば、上記の図6の「はじく」という入力操作項目が選択された例では、操作の種類としてフリック操作が識別され、操作の位置として、タッチパネル37でタップされた位置が識別され、操作の方向および量として、左方向、および十字の中心からドラッグした距離の値xが識別されたので、これらが、入力操作データとして携帯機器10に送信される。前述したように、操作量修正部55によって操作量の絶対量が相対量に換算された場合には、該相対量が、代わりに入力操作データに含められて送信される。
【0096】
携帯機器10で受信された該入力操作データは、送受信制御部117によってアプリケーション実行部111に渡される。アプリケーション実行部111は、プログラムを介して、受信した入力操作データの内容に従って、画面内の対象物を操作する。たとえば、上記の「はじく」という入力操作項目が選択された例では、入力操作データに含まれる「操作の位置」から、左方向に、「操作の量」に応じた量だけ、現在の表示画面(地図データ)をスクロールした画面を生成し、前述したように、表示制御部113を介してメモリ115に記憶し、これが、送受信制御部117によって切り出されて、車載機器20に送られ、表示装置21上に表示される。
【0097】
こうして、携帯機器10は認識可能であるが車載機器20は認識できない入力操作についても、該車載機器20上で実現することができる。したがって、両者のユーザ・インターフェースに違いがあっても、携帯機器10のアプリケーションを、車両内で操作することができる。当然ながら、携帯機器10および車載機器20の両方で認識可能な入力操作(たとえば、図4の(b)に示されるような入力操作)については、前述したように、車載機器20の表示装置21のタッチパネル37により認識されて、その内容が携帯機器10に渡されるため、図6に示すような入力操作項目を選択する等の操作は必要とされない。
【0098】
好ましくは、警告部57が設けられる。警告部57は、再現判定部52によって再現が許可された入力操作がある場合には、ユーザ(乗員)に、操作に制限が生じることを知らせる。携帯機器および車載機器の両方とも、見た目が似ているタッチパネルディスプレイを備えているため、ユーザによっては、携帯機器と全く同じように車載機器を操作できると誤って認識するおそれがある。このような警告を与えることで、ユーザに、入力操作によっては、携帯機器と同じようには操作できないことを知らせることができる。
【0099】
該警告は、任意の形態で行うことができ、表示装置21への表示を介して、および(または)スピーカ22への音声出力を介して知らせることができる。たとえば、図6の(b1)の符号78に示すように、「操作制限中」という趣旨の表示を行うことにより、ユーザに警告することができる。また、再現判定部52によって再現が禁止された入力操作があれば、該禁止された入力操作についての情報を、ユーザに知らせるようにしてもよい。
【0100】
なお、図6の(b1)の符号79は、「表示回転」という、タップ操作によって選択可能な項目である。携帯機器10によっては、ディスプレイに表示すべき内容を、縦方向に表示するのか、それとも横方向に表示するのかを、所定の入力操作(たとえば、携帯機器自体を傾ける操作)によって指定することができるものがある。このような携帯機器10では、表示する内容の方向を自在に変更することができる。これを、車載機器20でも使用可能なように、「表示回転」という選択項目を表示している。「表示回転」項目を選択するたびに、縦方向の表示と横方向の表示とを切り換えることができる。なお、上記のように、入力操作相違抽出部51によって、このような表示切り替えの入力操作が相違として抽出された場合に、入力操作項目表示部53によって「表示回転」項目を表示するようにしてもよい。
【0101】
代替の実施形態では、操作量修正部55を、携帯機器10に設けるようにしてもよく、たとえば、送受信制御部117が、該操作量修正部55の処理を実現してもよい。たとえば、送受信制御部117は、携帯機器10が、操作量を絶対量として認識する場合には、識別部54によって識別されて車載機器20から送られてきた操作量(絶対量)を、そのままアプリケーション実行部111に渡し、携帯機器10が、操作量を相対量として認識する場合には、該送られてきた操作量を該相対量に換算した上でアプリケーション実行部111に渡す。このような構成を取ることにより、車載機器20側で、携帯機器10が、操作量を絶対量として認識するか相対量として認識するかを識別する必要がなくなる。また、入力操作の種類に応じて、絶対量を用いるか相対量を用いるかが異なる場合でも、携帯機器10側で判断することにより、対応が容易になる。
【0102】
さらなる代替の形態では、図5に示すような、入力操作相違抽出部51〜操作量修正部55および警告部57を、携帯機器10側に設けてもよい。この場合、相違抽出部51は、車載機器20から、車載機器20のタッチパネル37が認識可能な入力操作を取得し、これと、携帯機器10のタッチパネル11が認識可能な入力操作とを比較して、相違を抽出すればよい。再現判定部52によって、前述したように、該抽出された入力操作のうち、所定の条件を満たすものは再現許可と判定され、該条件を満たさないものは再現禁止と判定される。再現許可と判定された入力操作があれば、該入力操作に対応する入力操作項目のGUI部品を、車載機器20に送信する。代替的に、該入力操作に対応する入力操作項目の情報を車載機器20に送信し、車載機器20が、記憶部25から対応するGUI部品を読み出して、図6の(b1)に示すように表示してもよい。また、警告部57は、操作が制限される趣旨の表示を行うよう車載機器20に指示することができ、これに応じて、車載機器20が、符号78で示すような表示を表示装置21上に行うことができる。
【0103】
いずれかの入力操作項目が選択されて、タッチパネル37上で位置が選択されたならば、該選択された入力操作項目と選択された位置を示す信号が携帯機器10に送信される。入力操作識別部54は、この信号に応じて、前述したように、対応する図形を表示するよう車載機器20に指示する。たとえば、「はじく」という項目が選択されたならば、十字型の矢印81を表示するよう車載機器20に指示し、これに応じて、車載機器20は、該十字型の矢印81を表示する。
【0104】
ジェスチャ操作の場合には、こうして表示された図形に対し、さらに、ユーザ操作が行われ、たとえば、前述したようなドラッグ操作が行われる。ドラッグ操作が行われた方向および距離を示すデータが、携帯機器10に送信され、これに応じて、識別部54は、操作方向および操作量を識別する。前述したように、必要に応じて、該識別された操作量(絶対量)は、相対量に換算される。こうして、車載機器20のタッチパネル37上で行われた操作の種類、操作の位置、操作の方向および量が、携帯機器10側で判断され、これらがアプリケーション実行部111に渡される。
【0105】
上記に述べた入力操作の種類は、限定されるものではなく、様々な入力操作に、本願発明を適用することができる。
【0106】
また、上記では、相違として抽出した入力操作のそれぞれについて、対応する入力操作項目を表示し、該項目が選択されたことに応じて、携帯機器の対応する入力操作の種類を識別した。代替的に、該入力操作の種類の識別を、自動的に行うようにしてもよい。該相違として抽出された入力操作については、車載機器のタッチパネルは基本的に認識不可能であるが、ユーザの操作の仕方によっては、該認識不可能な入力操作のいずれかを行っていることを推定することができる。
【0107】
たとえば、この実施形態では、フリック操作は、車載機器20のタッチパネル37では認識することができない。しかしながら、ユーザが、タッチパネル37に対して、はじくような動作をしていると推定されるとき、操作の種類をフリック操作と判断し、該判断に応じて、前述したような十字型の矢印81を表示して、はじく方向および量を入力させるようにしてもよい。たとえば、所定回数以上、短時間のタップ操作が、ほぼ同じ位置に対して行われたとき、フリック操作と推定することができる。
【0108】
代替的に、車載機器20のタッチパネル37で認識不可能な入力操作をしていると推定される場合に、上記のような入力操作項目を表示するようにしてもよい。たとえば、上で述べたように、所定回数以上、短時間のタップ操作が、ほぼ同じ位置に対して行われたとき、フリック操作をしていると推定されるため、「はじく」という入力操作項目を表示して、改めて、ユーザに、フリック操作に相当する入力操作(前述したように、はじくという項目を選択し、画面上の位置を選択し、はじく方向および量を選択する)を行うよう促してもよい。
【0109】
図7は、図5の実施形態に従う、入力操作項目の表示プロセスのフローチャートを示す。該プロセスは、たとえば所定の時間間隔で、たとえば車載機器20のCPUによって、より具体的には、入力操作相違抽出部51、再現判定部52、入力操作項目表示部53および警告部57によって実行されることができる。
【0110】
ステップS11において、携帯機器10のアプリケーションが起動されたかどうかを判断する。アプリケーションが起動されていなければ、車載機器20の表示装置21上に、該アプリケーションからの出力は表示されないため、当該プロセスを抜ける。アプリケーションが起動されたならば、ステップS12において、前述したように、携帯機器10の機種を検知する。ステップS13において、該機種に基づいて、携帯機器10が認識可能な入力操作を判定し、該入力操作と、車載機器20が認識可能な入力操作との差を抽出する。ここでの差は、携帯機器10では認識可能であるが、車載機器20では認識可能でない入力操作を示している。
【0111】
ステップS14において、差として抽出された入力操作のそれぞれについて、前述したように、所定の条件を用い、車載機器20上で再現を許可するか否かを判定する。ステップS15において、再現を許可する入力操作がなければ、車載機器20上で擬似的に模する入力操作は存在しないため、ステップS18において操作再現フラグにゼロを設定してから、当該プロセスを抜ける。
【0112】
再現を許可する入力操作があれば、図6の(b1)の所定領域71に示すように、ステップS16において、操作が制限されることに関する警告を、表示装置21および(または)スピーカ22を介してユーザに出力すると共に、該入力操作のそれぞれに対応する入力操作項目を表示装置21上に表示する。ステップS17において、操作再現フラグに値1を設定する。
【0113】
図8は、図5の実施形態に従う、入力操作を再現するプロセスのフローチャートを示す。該プロセスは、たとえば車載機器20のCPUによって、より具体的には、入力操作識別部54、操作量修正部55および伝達部56によって、繰り返し実行されることができる。
【0114】
ステップS21において、操作再現フラグの値が1かどうかを判断する。この判断がNoであれば、図7に示すような、車載機器20で操作を再現するための事前処理が行われていないため、当該プロセスを抜ける。該フラグの値が1ならば、ステップS22において、いずれかの入力操作項目が選択されるのを待つ。選択されたならば、ステップS23において、車載機器20の表示装置21のタッチパネル37上でユーザによって位置が選択(タップ)されるのを待つ。位置が選択されたならば、ステップS24において、該選択された位置に、ステップS22で選択された入力操作項目に対応する図形を表示する。こうして、操作の種類および操作の位置が、識別される。たとえば、前述したように、図6の(b1)の「はじく」という入力操作項目が選択された例では、タッチパネル37上で位置が選択されたならば、該選択された位置に、図6の(b2)に示すような十字型の図形81が表示される。
【0115】
ステップS25は、ジェスチャ操作の場合に実行され、ステップS24で表示された図形に対して、ドラッグ操作等の所定の操作が行われるのを待つ。前述したように、図6の(b1)の「はじく」という入力操作項目が選択された例では、前述したように、ユーザは、図6の(b2)に示すように、図形81の中心からドラッグ操作を行うことにより該操作の方向と量を入力する。これにより、操作の方向および量が識別される。なお、選択された入力操作項目に対応する入力操作がジェスチャ操作でない場合には、ステップS25はスキップされる。
【0116】
ステップS26において、タッチパネル37に対して行われた操作の種類、操作の位置、およびジェスチャ操作の場合にはさらに操作の方向および操作の量を示すデータから成る入力操作データを生成する。この時、前述したように、必要に応じて、操作の量(絶対量)は、相対量に換算されて、入力操作データに含められる。ステップS27において、該生成した入力操作データを、携帯機器10に送信する。
【0117】
なお、図7のプロセスは、車載機器20に接続された携帯機器10でアプリケーションが起動されるたびに1回実行されるようにしてもよく、あるいは、携帯機器10が車載機器20に接続されたときに1回実行されるようにしてもよい。この場合、操作再現フラグは、携帯機器10でアプリケーションが終了した場合、もしくは携帯機器10が車載機器20に対して接続解除された場合には、ゼロにリセットされる。
【0118】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【0119】
10 携帯機器
11 ディスプレイ(タッチパネル)
13 入力操作部
20 車載機器
21 表示装置
22 スピーカ
23 入力装置
37 タッチパネルディスプレイ

【特許請求の範囲】
【請求項1】
車両に搭載され、表示装置に接続されると共に、情報処理機能を備える携帯機器と通信する通信手段を有する車載機器を備えるシステムであって、
前記車載機器に接続され、ユーザによる入力操作を受け付ける入力装置と、
前記携帯機器上に備えられた入力部を介して実現される該携帯機器が認識可能な入力操作のうち、前記車載機器の入力装置を介して実現される該車載機器が認識可能な入力操作とは異なる入力操作が存在する場合、該異なる入力操作については、前記車載機器の入力装置に対して所定の入力操作が行われたことに応じて、該行われた入力操作に対応する前記携帯機器が認識可能な入力操作を識別し、該識別した入力操作を表す信号を、前記携帯機器に送る操作識別送信手段と、
を備える、システム。
【請求項2】
前記異なる入力操作について、前記入力装置上に、該異なる入力操作に対応付けられた入力操作項目を表示する表示手段を備え、
前記操作識別送信手段は、該入力操作項目がユーザによって選択されたことに応じて、該選択された入力操作項目に対応する前記携帯機器が認識可能な入力操作を識別する、
請求項1に記載のシステム。
【請求項3】
前記携帯機器の前記入力部は、該携帯機器のディスプレイに構成されたタッチパネルを含み、該タッチパネルは、複数の位置における同時のタッチ操作を検知可能なよう構成されており、
前記異なる入力操作には、前記携帯機器のタッチパネル上で実現可能なマルチタッチ入力操作が含まれる、
請求項1または2に記載のシステム。
【請求項4】
前記異なる入力操作には、前記携帯機器のタッチパネル上で実現可能な、該携帯機器のディスプレイに表示された対象物の動きを特定するジェスチャ入力操作が含まれる、
請求項3に記載のシステム。
【請求項5】
前記入力装置は、前記車載機器の前記表示装置のディスプレイに構成されたタッチパネルを含み、
前記表示手段は、さらに、前記入力操作項目が選択されると共に、前記車載機器の表示装置のタッチパネル上で位置がユーザによって選択されることに応じて、該選択された位置に、該選択された入力操作項目に対応する図形を表示し、
前記操作識別送信手段は、該表示された図形に対し、ユーザによって所定の操作が行われることに応じて、前記ジェスチャ入力操作の操作方向および操作量を識別する、
請求項4に記載のシステム。
【請求項6】
前記入力装置に対して行われた前記入力操作の操作量を、前記携帯機器の入力部に対して該入力操作を行った場合の操作量に修正する手段を備え、
前記操作識別送信手段は、前記入力操作を表す信号に、該修正した操作量を示すデータを含めて、前記携帯機器に送る、
請求項1から5のいずれかに記載のシステム。
【請求項7】
前記異なる入力操作が存在する場合には、ユーザに、入力操作に制限が生じることを、前記車載機器を介して通知する、
請求項1から6のいずれかに記載のシステム。
【請求項8】
前記異なる入力操作が所定の条件を満たさないときには、該車載機器は、該入力操作を受け付けないことを判定する、
請求項1から7のいずれかに記載システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−8968(P2012−8968A)
【公開日】平成24年1月12日(2012.1.12)
【国際特許分類】
【出願番号】特願2010−146802(P2010−146802)
【出願日】平成22年6月28日(2010.6.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
2.JAVA
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】