電子装置、出力制御方法および出力制御プログラム
【課題】 携帯型情報端末の割り込み事象の発生に対応して出力を制御する「電子装置、出力制御方法および出力制御プログラム」を提供する。
【解決手段】 本発明の電子装置130は、情報端末110と接続されたとき、情報端末110において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能である。電子装置130は、情報端末から受信された音声データに付与された識別情報を検出する識別情報検出部410と、検出された識別情報に基づき情報端末側の割り込み事象の有無を判定する割り込み判定部420と、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を情報端末110に送信する出力制御部430とを有する。
【解決手段】 本発明の電子装置130は、情報端末110と接続されたとき、情報端末110において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能である。電子装置130は、情報端末から受信された音声データに付与された識別情報を検出する識別情報検出部410と、検出された識別情報に基づき情報端末側の割り込み事象の有無を判定する割り込み判定部420と、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を情報端末110に送信する出力制御部430とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯型情報端末から転送される画像情報や音声情報を出力可能な電子装置に関し、特に、携帯型情報端末において発生された割り込みに対応した表示画面の制御に関する。
【背景技術】
【0002】
近年、スマートフォンなどに代表される多機能型のポータブル装置の利用が増加している。このようなポータブル装置が車内に持ち込まれたとき、ポータブル装置を、車両に搭載された電子機器(以下、車載器という)に接続し、車載器においてポータブル装置に搭載された機能を利用することが可能になっている。例えば、ポータブル装置と車載器とがUSBケーブル等の接続手段により接続されると、ポータブル装置のディスプレイに表示されているアプリケーションの画像データおよび音声データが車載器へ転送され、転送された音声および画像が車載器側から出力される(特許文献1)。
【0003】
ポータブル装置から転送される音声データや画像データを車載器側で出力させているとき、ポータブル装置で生じた割り込み発生要因を車載器側で検出しなければならない場合がある。例えば、ポータブル装置がナビゲーション機能を実行しているとき、交差点案内などの事象を割り込み通知しなければならない。また、電話着信や電子メールの受信があった場合にも同様である。ポータブル装置に電話着信や電子メール受信などの割り込み事象が発生した場合に、ユーザの意向に添った報知態様を得ることが特許文献2に開示されている。
【0004】
従来の割り込み事象の検出方法として、図1(A)、(B)に示す技術が存在する。図1(A)は、割り込み信号専用線を用いたハードウェアによる割り込み検出の方法である。同図に示すように、ポータブル装置10と車載器20は、音声および画像信号の通信を行うための音声/画像信号線30と、割り込み信号を通信するための割り込み信号線32とによって接続される。割り込み要因が発生すると、ポータブル装置10が割り込み信号線32の電圧レベルをハイまたはローレベルに変化させることにより、車載器20において割り込みの開始および終了を検出する。
【0005】
図1(B)は、割り込み用通信プロトコルを用いたソフトウェアによる割り込み検出の方法である。ポータブル装置10と車載器20とは、音声/画像信号線30により接続され、当該音声/画像信号線30を介して音声転送プロトコル、画像転送プロトコル、割り込みプロトコルに従う信号を通信する。割り込み要因が発生すると、ポータブル装置10が割り込みプロトコルに従い割り込み信号を車載器20へ転送することにより、車載器20において割り込みの開始および終了を検出する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−2811991号公報
【特許文献2】特開2003−319020号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
スマートフォンのような多機能型情報端末であるポータブル装置が車載器に接続されたとき、ポータブル装置で起動されたアプリケーションに関する画面データおよび音声データを車載器へ転送させ、当該画面データおよび音声データを車載器から出力させる、いわゆるターミナルモードがある。
【0008】
多機能型情報端末であるポータブル装置は、複数のアプリケーションを同時に起動することができ、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションを同時に実行させることができる。この場合、ポータブル装置は、一方のアプリケーションの画面を前面(フォアグランド画面)、他方のアプリケーションの画面を背面(バックグランド画面)で処理する。ターミナルモードでは、ポータブル装置の前面の画面情報が車載器に転送される仕様になっているため、仮に、ポータブル装置において、音楽再生画面が前面であり、ナビゲーション画面が背面であれば、車載器には、音楽再生画面が表示される。また、ポータブル装置からは、音楽再生による音声データが転送され、車載器のスピーカから音楽が出力される。図2(A)は、車載器20のディスプレイ22に音楽再生画面が表示されている例を示している。
【0009】
もし、ポータブル装置10で実行しているナビゲーションにおいて、交差点案内等の割り込みが発生すると、ポータブル装置は、音楽再生のための音声データの出力を中断し、交差点案内の音声データに出力を切り替えるため、車載器側も音楽再生の音声出力から交差点案内の音声出力に切り替えられる。しかし、ポータブル装置の音楽再生画面は前面のままであり、従って、車載器には音楽再生画面が表示され、交差点案内画面を表示することができないという不具合が生じる。図2(B)は、このような交差点案内の割り込みが発生したときの車載器のディスプレイ22の表示画面と出力音声の関係を示している。
【0010】
また、図1(A)に示す割り込み検出を用いる場合には、ポータブル装置10と車載器20の双方にハードウェア資源が必要であるため、コスト増の問題がある。図1(B)に示す割り込み検出を用いる場合には、割り込み用に特別なプロトコルを実装する必要があり、ソフトウェア開発のコストが増加する問題がある。さらに、図1(A)および図1(B)に共通の課題として、音声データ/画像データと割り込み情報が異なる信号線や独立した通信プロトコルで伝送するため、音声や画像と完全に同期した割り込みの実現が困難である。さらに、ポータブル装置から車載器へ一方的に割り込み要求を行うため、車載器側で必要に応じた音声/画像を出力することが困難である。
【0011】
本発明は、上記のような従来の課題を解決するものであり、携帯型情報端末の割り込み事象の発生に対応して画像データおよび/または音声データの出力を制御する電子装置、出力制御方法および出力制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能なものであって、携帯型情報端末から転送された画像データおよび音声データを受け取る受信手段と、前記受信手段により受信された画像データおよび音声データを出力する出力手段と、前記受信手段により受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、前記判定手段により割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信する制御手段とを有する。
【0013】
好ましくは前記判定手段は、音声データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する。好ましくは前記制御手段は、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する。好ましくは前記出力手段は、前記第1の制御信号の送信から前記第2の制御信号の送信までの期間に応答して、割り込み事象が生じたアプリケーションに関する画像データを出力する。好ましくは前記制御手段はさらに、割り込み事象が競合したときの優先順位を決定する優先順位決定手段を含み、前記制御手段は、前記優先順位決定手段の優先順位に従い、前記受信手段から受信された画像データおよび音声データのうち優先順位が高いとされた画像データおよび音声データを前記出力手段から出力させる。好ましくは前記識別情報は、アプリケーションに含まれる割り込み事象を識別する。好ましくは前記制御信号、前記第1および第2の制御信号は、携帯型情報端末に対してアプリケーションの起動を要求する信号である。
【0014】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能なものであって、携帯型情報端末から転送された画像データを受け取る受信手段と、アプリケーションを実行する実行手段と、前記受信手段により受信された画像データおよび前記実行手段により実行されたアプリケーションに関する画像データの一方を選択的に出力可能な出力手段と、前記受信手段により受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、前記判定手段により割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データが出力されるように前記出力手段を制御する制御手段とを有する。
【0015】
好ましくは前記判定手段は、画像データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する。好ましくは前記制御手段は、割り込み事象が発生したと判定されたとき、バックグランドで処理されている画像データがフォアグランドで処理されるように、また、割り込み事象が終了したと判定されたとき、フォアグランドで処理されている画像データがバックグランドで処理されるように、前記出力手段による画像データの選択を制御する。好ましくは前記出力手段が、前記受信手段により受信した画像データをバックグラウンドで処理し、前記実行手段により実行されたアプリケーションに関連する画像データをフォアグランドで処理しているとき、前記制御手段は、割り込み事象が発生したと判定されたとき、前記受信手段により受信した画像データをフォアグランドで処理させ、前記実行手段により実行されたアプリケーションに関連する画像データをバックグラウンドで処理させる。
【0016】
本発明に係る電子システムは、上記特徴を備えた電子装置と、当該電子装置に接続された携帯型情報端末とを有し、携帯型情報端末は、複数のアプリケーションを実行しているとき、選択されたアプリケーションに関する画像データおよび音声データをフォアグランドで処理し、他のアプリケーションに関する画像データおよび音声データをバックグランドで処理する処理手段と、フォアグランドで処理されている画像データおよび音声データを電子装置に出力する出力手段と、前記出力手段から出力された少なくとも音声データに識別情報を付与する付与手段とを有し、前記出力手段は、前記他のアプリケーションにおいて割り込み事象が生じたとき、割り込み事象を識別可能な識別情報が付与された音声データを電子装置に出力する。好ましくは前記出力手段は、電子装置から前記制御信号を受信したとき、前記他のアプリケーションに関する画像データをフォアグランドで処理する。
【0017】
さらに本発明に係る電子システムは、上記特徴を備えた電子装置と、当該電子装置に接続された携帯型情報端末とを有し、携帯型情報端末は、実行されたアプリケーションに関する画像データおよび音声データを電子装置に出力する出力手段と、前記出力手段から出力される画像データに少なくとも割り込み事象を識別可能な識別情報を付与する付与手段とを有する。
【0018】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置の出力制御方法は、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび音声データを出力するステップと、前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップとを有する。
【0019】
さらに本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置の出力制御方法は、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップとを有する。
【0020】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置が実行する出力制御プログラムは、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび音声データを出力するステップと、前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップとを有する。
【0021】
さらに本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置が実行する出力制御プログラムは、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップとを有する。
【発明の効果】
【0022】
本発明によれば、音声データおよび/または画像データに付与された識別情報に基づき割り込み事象を判定するようにしたので、割り込み事象に関連した画像データを適切に表示させることができる。また、従来の割り込み検出に比べて、ハードウェアやソフトウェア開発によるコストを低減することができる。
【図面の簡単な説明】
【0023】
【図1】図1(A)は、従来の割り込み信号線を用いたハードウェアによる割り込み検出の方法を示し、図1(B)は、従来の割り込み用通信プロトコルを用いたソフトウェアによる割り込み検出を示す。
【図2】従来のポータブル装置に割り込みが発生したときの車載器の表示画面の例を示す図である。
【図3】本発明の実施例に係る電子システムの構成を示す図である。
【図4】本発明の実施例に係る画像データおよび音声データに付与される識別情報の一例を示す図である。
【図5】図3に示す情報端末の典型的な構成を示すブロック図である。
【図6】図3に示す電子装置の典型的な構成を示すブロック図である。
【図7】本発明の実施例による電子装置の出力制御プログラムの機能ブロック図である。
【図8】本発明の実施例の電子システムにおいてターミナルモードへの移行を説明するフローチャートである。
【図9】本発明の第1の実施例において情報端末側に割り込み事象が発生したときの電子装置の出力制御動作のシーケンスを示す図である。
【図10】本発明の第1の実施例における割り込み事象が発生したときの電子装置の表示画面の遷移例を示す図である。
【図11】本発明の第2の実施例において割り込みが事象発生したときの電子装置の出力制御動作のシーケンスを示す図である。
【図12】本発明の第3の実施例における割り込み事象が競合したときの電子装置の出力動作を説明する図である。
【図13】第3の実施例の変形例に係る電子装置の出力例を示す図である。
【発明を実施するための形態】
【0024】
次に、本発明の実施の形態について図面を参照して説明する。本発明の好ましい実施の形態は、移動体としての自動車に搭載された電子装置に携帯型情報端末(以下、情報端末という)が接続された電子システムを例示する。情報端末は、情報を処理することができるポータブルな装置であり、好ましくは、通信機能を備えた多機能型の端末であり、例えば、携帯電話機、スマートフォン、パームトップ型パーソナルコンピュータ、ラップトップ型コンピュータ、ノート型コンピュータなどである。情報端末は、外部ネットワーク接続したり、音声通話をしたり、オーディオデータやビデオデータを記憶したり、搭載したアプリケーションにより種々の機能を実行することができる。
【0025】
一方、車両に搭載された電子装置は、オーディオ/ビデオ再生機能、テレビ/ラジオ放送受信機能、ナビゲーション機能などを含むことができる。電子装置は、有線または無線によるデータ通信手段によって情報端末に接続され、両装置間において必要なデータが送受される。データ通信手段は、特に制限されるものではないが、例えばUSBケーブルによる接続、ブルートゥース(登録商標)等の近距離無線接続、無線LAN、WiFiなどを用いることができる。
【0026】
好ましい態様では、電子装置は、情報端末と接続されたとき、情報端末を遠隔操作することができる動作モードを有する。情報端末は、遠隔操作により起動されたアプリケーションに関するオーディオ信号やビデオ信号を電子装置へ送信し、電子装置は、受信したオーディオ信号を音声出力し、ビデオ信号を画面に表示する。
【実施例】
【0027】
図3は、本発明の実施例に係る電子システムの構成を示す図である。本実施例の電子システム100は、情報端末110と、情報端末110に接続手段120を介して接続された電子装置130とを含んで構成される。好ましくは、情報端末110として、通信機能を備えた多機能型のスマートフォンが用いられる。電子装置130は、例えば、テレビ受信機能、CDやDVD等のメディア再生機能を備え、さらに車内空間にディスプレイやスピーカを備える。
【0028】
本実施例では、接続手段120は、USB(Universal Serial Bus)ケーブルを用いるが、これに加えてまたはこれに代えて、ブルーツース(登録商標)等の他の無線通信を用いてもよい。接続手段120は、情報端末110から電子装置130へ画像データを送信する信号線と、音声データを送信する信号線と、情報端末110と電子装置130間で制御データを送受する信号線とを含んでいる。情報端末110および電子装置130の各々は、画像データ、音声データおよび制御データをターミナルモードの仕様で通信制御するための通信プロトコルをサポートし、電子装置130が情報端末110を遠隔操作することができるターミナルモードで動作することを可能にする。
【0029】
好ましくは、音声データは、RTP(Real Time Protocol)により通信制御され、画像データは、RFB(Remote Transport Protocol)を用いて通信制御される。これらの通信制御は、プロトコルの拡張が可能であり、音声データおよび画像データに拡張情報を付加することが可能である。本実施例のターミナルモードでは、音声データおよび画像データの拡張情報として、情報端末110が実行するアプリケーションを識別するためのアプリケーション識別情報やそこに含まれる動作態様を識別する識別情報、および全般的な動作のカテゴリーを識別する識別情報が付与されている。こうした音声データおよび画像データの全般的なまたは詳細な種別/意味を表す識別情報は、音声転送プロトコルおよび画像転送プロトコルに含められる。
【0030】
図4(A)は、音声データおよび画像データに付加される識別情報の例を示している。ここでは、音声データおよび画像データには、同じ識別情報が付加されている。図に示すように、音声データおよび画像データには、メニュー、ナビゲーション(通常)、交差点案内、電話着信、電話発信、メディア再生などをそれぞれ識別するための識別情報0001、0002、0003、0004、0005、0006が割り当てられる。情報端末110は、ターミナルモードにおいて、音声データおよび画像データを電子装置130へ転送するとき、音声/画像プロトコルに識別情報を含める。図4(B)は、音声データおよび画像データに識別情報が付加された態様を示している。電子装置130は、情報端末110から受信した音声/画像プロトコルに含まれた識別情報を検出し、識別情報に基づき音声データや画面データの出力制御を行う。
【0031】
図5は、情報端末の典型的な構成を示すブロック図である。情報端末110は、ユーザからの入力を受け取る入力部200、接続手段120により電子装置130との接続を可能にする通信接続部210、ディスプレイに種々の画像を表示する表示部220、音声を出力する音声出力部230、外部のネットワークとのデータ通信、および公衆無線回線網を介しての電話機との通話等を可能にする通信部240、制御部250、情報端末110が保有するアプリケーション、プログラム等を格納するプログラムメモリ260、音声データ、画像データ、道路地図データなど種々のデータを記憶するデータメモリ270、各部を接続するバス280とを備えている。
【0032】
プログラムメモリ260には、種々のアプリケーションソフトウエアやプログラムが格納され、制御部250は、プログラムメモリ260に格納されたアプリケーションやプログラムを実行する。プログラムメモリ260には、例えば、データメモリ270に格納された音声データや画像データを再生するアプリケーション、ゲームを実行するアプリケーション、ナビゲーションを実行するアプリケーション、音声通話を可能にするアプリケーション、通信部240を介してインターネット上の情報をブラウズするためのアプリケーションなどが格納される。
【0033】
さらにプログラムメモリ260には、情報端末110が接続手段120を介して電子装置130に接続されたとき、ターミナルモードを制御する拡張プログラムが格納される。拡張プログラムは、電子装置130からユーザ操作による入力操作情報やその他のコマンド情報を受け取り、それに応答して情報端末側のアプリケーションを起動させたり、あるいはアプリケーションを終了させる。さらに拡張プログラムは、起動されたアプリケーションに関する画像データおよび音声データに上記の識別情報を、上記の音声転送プロトコルおよび画像転送プロトコルに従い電子装置130に転送し、その際、転送される画像データおよび音声データに、図4(A)に示すようなアプリケーションの識別情報および/またはアプリケーションの詳細な種別や意味を表す識別情報を付加する。
【0034】
また、制御部250は、情報端末において複数のアプリケーションが実行されているとき、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションが実行されているとき、一方のアプリケーションに関する画像データをフォアグランド処理して表示部220に表示させ、他方のアプリケーションに関する画像データをバックグランド処理して非表示にする。例えば、表示部220には、音楽再生画面が表示され、自車位置周辺の道路地図等を表したナビゲーション画面がバックグランド処理により非表示にされる。音声出力部230からは、音楽再生された楽曲が出力される。ターミナルモードでは、フォアグランドの画像データおよび音声データが電子装置130へ転送される。また、制御部250は、電子装置130から通信接続部210を介してアプリケーションの起動を要求する信号を受信すると、当該アプリケーションをフォアグランド処理し、その画像データを表示させることができる。アプリケーションの起動を要求は、例えば、ユーザが電子装置のディスプレイに表示されたアイコンを選択することによって行うことができ、さらに本実施例では、後述するように、情報端末側の割り込み事象が発生したと判定されたとき、電子装置側が自動的にアプリケーションの起動を要求する信号が出力される。
【0035】
図6は、電子装置の典型的な構成を示すブロック図である。同図に示すように、電子装置130は、ユーザからの入力を受け取る入力部300、接続手段120により情報端末110との接続を可能にする通信接続部310、ディスプレイに画像データを表示させる表示制御部320、スピーカから音声を出力させる音声出力部330、種々のメディアの再生等を実行するマルチメディア部340、制御部350、アプリケーション等を実行するための種々のプログラムを格納するプログラムメモリ360、オーディオデータ、ビデオデータ、地図データなどのデータを記憶するデータメモリ370、各部を接続するバス380とを備えている。
【0036】
マルチメディア部240は、CD、DVD、ブルーレイディスク、メモリ媒体、データメモリ270などに記録された音声データや画像データを再生する機能、テレビ放送やラジオ放送を受信・再生する機能などを有する。プログラムメモリ360には、ナビゲーションに関するアプリケーションやマルチメディア部240を制御するプログラムに加え、情報端末110が接続されたときのターミナルモードを制御するプログラムなどが記憶される。プログラムメモリ360のプログラムやアプリケーションは制御部350によって実行される。なお、電子装置130は、ナビゲーション動作に必要なGPS測位情報、車速情報、方位情報などを受け取ることができる。
【0037】
さらにプログラムメモリ360は、ターミナルモードにおいて、情報端末110から転送される音声データおよび/または画像データの出力を制御する出力制御プログラムを備える。図7は、出力制御プログラムの機能ブロック図である。出力制御プログラム400は、通信接続部310を介して情報端末110から受信された音声データおよび画像データに付与された識別情報を検出する識別情報検出部410と、識別情報検出部410で検出された識別情報に基づき情報端末側に割り込み事象が発生したか否かを判定する割り込み判定部420と、割り込み判定部420の判定結果に基づき情報端末110に対しアプリケーションの起動を要求する信号を出力する出力制御部430とを有する。また、ある実施例では、出力制御部430は、電子装置側の表示制御部320の表示画面の制御および音声出力部330の音声出力の制御を行う。
【0038】
次に、電子装置130のターミナルモードへの移行を図8のフローチャートを参照して説明する。ターミナルモードは、電子装置130が情報端末110を遠隔操作し、かつ情報端末110から転送される音声データおよび映像データを出力することができる動作モードである。情報端末110が、例えばUSBケーブルを介して電子装置130に接続されると(S101)、USBプラグ・アンド・プレイにより相互に機器認識が行われる。次いで、電子装置130は、情報端末110に対し当該情報端末がターミナルモードをサポートしているか否かを問い合わせる(S102)。電子装置130は、情報端末110からターミナルモードに対応している旨の返信を受けると(S103)、ターミナルモードで動作を開始する(S104)。同時に、情報端末110もターミナルモードでの動作が可能になる。なお、USB接続が有効であるとき、情報端末110は、電子装置130からの電力供給を受けることができ、バッテリーの充電が可能となる。
【0039】
ターミナルモードに移行されると、情報端末110のディスプレイの表示画面である画像データが電子装置130へ転送され、それと同じ表示画面が電子装置130のディスプレイに出力される。ディスプレイには、電子装置130から遠隔操作が可能な情報端末110のアプリケーションのアイコンやメニューなどが表示される。ディスプレイがタッチパネル入力に対応している場合には、タッチパネルを介してユーザの入力操作(座標情報)が情報端末110へ伝えられ、入力操作に応じた処理が情報端末110において実行される。マウスやリモコンなどの他の入力インターフェースからの入力操作も同様である。
【0040】
次に、ターミナルモード時における電子装置の割り込み発生時の画像データの出力制御について説明する。図9は、情報端末110が同時に複数のアプリケーション、ここでは2つのアプリケーションを実行しているときに情報端末側に割り込み事象が発生したときの動作シーケンスを示している。
【0041】
情報端末110において、ナビゲーションのアプリケーションと音楽再生のアプリケーションが同時に実行され、音楽再生のアプリケーションに関する音楽再生画面がフォアグランド画面として表示され、ナビゲーション画面がバックグランド画面として非表示であるとする(S201)。情報端末110は、例えば、ユーザによって最後に起動されたアプリケーションをフォアグランド処理する。ターミナルモードでは、情報端末110は、フォアグランド画面である音楽再生画面の画像データと、音楽再生された音声データとを電子装置130へ転送する。また、画像データおよび音声データには、メディア再生のアプリケーションであることを示す識別情報(0006:メディア再生)が付加される。一方、電子装置130において、情報端末110から転送された音楽再生画面がディスプレイに表示され、スピーカからは音楽再生された音声データが出力される(S301)。図10(A)は、電子装置130のディスプレイ322において音楽再生画面が表示された例を示している。
【0042】
ナビゲーションにおいて、目的地までのルート設定がされているとき、自車または情報端末110の移動に伴い、あるタイミングで交差点案内の割り込み事象が発生する。このとき、情報端末110は、交差点案内の音声出力の割り込みを行う(S202)。これにより、情報端末110からの音楽再生の音声データの転送が中止され、割り込み処理された交差点案内の音声データが電子装置130へ転送される。この際、交差点案内の音声データには、それを識別するための識別情報(0003:交差点案内)が付与される。
【0043】
電子装置側の識別情報検出部410(図7)は、音声データに付与された識別情報を検出し、これを割り込み判定部420へ提供する。割り込み判定部420は、識別情報に変化があったこと、すなわち、識別情報が「0006」から「0003」に変化があったことから情報端末側に割り込み事象が発生したと判定する。この判定結果は出力制御部430へ伝えられ、出力制御部430は、情報端末110に対し、ナビゲーションの起動を要求する信号を出力する。こうして、電子装置側は、割り込みモードに突入される(S302)。
【0044】
情報端末110は、通信接続部210を介してナビゲーションの起動信号を受信すると、この起動信号に応答して、フォアグランド画面とバックグランド画面の切換えを行いナビゲーション画面がフォアグランドとなり、音楽再生画面がバックグランドになる(S203)。これにより、情報端末110からは、フォアグランドのナビゲーション画面が電子装置130へ転送される。このとき、フォアグランド画面として転送される画像データには、交差点案内を示す識別情報が付加される。
【0045】
電子装置130は、情報端末110から転送されたナビゲーション画面を受信し、これをディスプレイに表示させる(S303)。こうして、交差点案内の音声データの検出に応答して、電子装置側の表示画面を交差点案内を含むナビゲーション画面に変更させることができる。図10(B)は、電子装置のディスプレイ322の表示画面が、音楽再生画面からナビゲーション画面に遷移した例を示している。
【0046】
その後、交差点案内の割り込み事象が終了すると(S204)、情報端末110は、再び、音楽再生による音声データを電子装置130に出力する。音声データには、メディア再生である識別情報「0006」が付加される。
【0047】
電子装置側の識別情報検出部410は、音声データに付加されたメディア再生である識別情報を検出し、割り込み判定部420は、識別情報が「0003」から「0006」に変化したことにより、割り込み事象が終了したと判定する。この判定結果に基づき、出力制御部430は、割り込みモードを解除するため、情報端末110に対し、音楽再生のアプリケーションを起動する信号を出力する(S304)。
【0048】
情報端末110は、音楽再生のアプリケーションの起動信号を受信すると、音楽再生画面をフォアグランドに、ナビゲーションをバックグラウンドに変更する(S205)。これにより、情報端末110からは、音楽再生画面の画像データ、および音楽再生された音声データが電子装置130へ出力され、電子装置130のディスプレイの表示画面は、音楽再生画面に遷移される(S305)。
【0049】
上記実施例では、電子装置側の出力制御部430は、情報端末110から転送される音声データの識別情報が変化されたことをトリガーに、情報端末側の表示画面の切換えを要求する信号を出力するようにしたが、画像データに付加される識別情報に基づき割り込みを判定するようにしてもよい。但し、画像データの識別情報を検出するには、当該画像データが情報端末においてフォアグランド処理されている必要があるため、必ずしも、確実に割り込み事象の発生を判定することができない点に留意すべきである。
【0050】
さらに、上記実施例では、ナビゲーションの1つの動作態様である交差点案内に識別情報を付与することによって、割り込み事象の発生を判定したが、これ以外にも、アプリケーションに付与された識別情報の変化によって割り込み事象の発生を判定してもよい。例えば、音楽再生のアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、メニューのアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、ナビゲーションのアプリケーションの識別情報から電話着信や発信の通話を行うためのアプリケーションの識別情報に変更されたときのように、音声データに付与された識別情報がアプリケーション単位で変化されたときに、携帯端末側に割り込み事象が発生したと判定することも可能である。
【0051】
さらに、割り込み事象が発生したと判定したとき、電子装置側から情報端末に対してアプリケーションの起動を要求する信号を出力するようにしたが、これは一例であり、情報端末側の仕様に応じた信号とすることができる。要は、割り込み事象が発生したと判定されたアプリケーションに関する画像データが情報端末側でフォアグランド処理されて電子装置に転送されるような制御信号または選択信号であればよい。
【0052】
次に、本発明の第2の実施例について図11を参照して説明する。図11は、情報端末110からの画像データの識別情報をトリガーにして電子装置側のフォアグランド画面とバックグランド画面の切換えを行うものである。ここでは、ターミナルモードにおいて、情報端末110がナビゲーションのアプリケーションを実行しているものとする。情報端末110は、車内に持ち込まれ、自車位置を検出し、自車位置周辺の道路地図を含むナビゲーション画面を表示する(S401)。そして、ナビゲーションに関する画像データおよび音声データは、情報端末110から電子装置130へ転送される。
【0053】
一方、電子装置130において、マルチメディア部240が動作され、例えば、CD、DVD等のメディアが再生され、電子装置130のディスプレイには、フォアグランド画面として音楽再生画面が表示され、情報端末110からのナビゲーション画面がバックグランド処理により非表示にされる(S501)。
【0054】
情報端末110において、交差点案内の割り込みが発生すると(S402)、交差点案内の画像データおよびその音声データが電子装置130へ転送される。この画像データには、交差点案内を示す識別情報(図4の「0003」)が付加される。電子装置側の識別情報検出部410は、画像データに含まれる交差点案内の識別情報を検出し、割り込み判定部420は、画像データの識別情報が変化したことにより(「0002」から「0003」)、割り込み事象が発生したと判定し、割り込みモードに突入する(S502)。
【0055】
出力制御部430は、情報端末110に対してアプリケーションの起動を要求する信号を出力するのではなく、電子装置側の表示制御部320の表示画面の切換えを制御する。すなわち、ナビゲーション画面がフォアグランド画面として表示され、音楽再生画面がバックグランド画面として非表示となるように制御する(S503)。その後、情報端末側の交差点案内が終了し、通常のナビゲーション画面に切り替わると(S403)、画像データに付加された識別情報が通常のナビゲーション「0002」に変更される。電子装置側において、通常のナビゲーションの識別情報「0002」が検出され、割り込み判定部420は、割り込み事象が終了したと判定し、割り込みモードを解除する(S504)。これにより、出力制御部430は、音楽再生画面をフォアグランド画面にし、ナビゲーション画面をバックグランド画面に切替える(S505)。
【0056】
このように、第2の実施例によれば、画像データの識別情報が変化したことに応答して電子装置側の表示画面の切換えを行うことで、遅滞なく割り込み画像を表示させることができ、割り込み画像と割り込み音声とを同期させることができる。なお、第2の実施例においても、第1の実施例と同様に、情報端末110からの音声データの識別情報の変化をトリガーにして、電子装置側の表示画面の切換えを行うことも可能である。
【0057】
さらに第1および第2の実施例では、音声データおよび/または画像データの識別情報の変化が生じたときに割り込み事象の発生および終了を判定したが、識別情報が割り込み事象であることを認識することができる場合には、必ずしも識別情報の変化により割り込み事象の発生を判定することを要しない。例えば、電子装置側において、識別情報と割り込み事象との関係を規定した判定テーブルなどをメモリ等に用意しておき、識別情報「0003」が検出された場合には、判定テーブルを参照し、判定テーブルに識別情報「0003」が含まれていれば、割り込み事象が発生したと判定するようにしてもよい。
【0058】
次に、本発明の第3の実施例について説明する。第3の実施例では、割り込み事象が競合したときの音声および画像データの出力制御に関する。好ましくは、出力制御部430は、割り込み事象が競合したとき、優先的に出力させるアプリケーションを予め規定した優先順位情報をメモリ等に格納する。この優先順位情報は、ユーザによって変更することが可能である。図12は、割り込みモード時に、電子装置側で交差点案内による交差点拡大図を表示中に、情報端末から他の割り込みとしての着信を受信したときの出力例を示している。
【0059】
図12(A)は、画像が電話優先、音声が電話優先とされている例である。図12(A)の左図に示すように、電子装置130のディスプレイには、自車位置周辺の道路地図画像500上に交差点案内画像510が割り込み表示されている。これらの画像データは、情報端末110から転送されるものであって、割り込み判定部420により割り込み事象が発生したと判定されたことに応答して表示される。ここで、情報端末110に電話の着信があると、情報端末110は、着信の割り込み処理を行い、着信画面および着信音を割り込み出力する。これにより、情報端末110から転送される音声データおよび画像データには、電話着信の識別情報「0004」が付加され、この識別情報が電子装置130において検出される。
【0060】
電子装置側の割り込み判定部420は、検出した識別情報に基づき割り込み事象が発生したと判定し、その判定結果を出力制御部430へ提供する。出力制御部430は、優先順位情報に従い電子装置側の音声出力および画像出力を制御する。図12(A)の例は、音声および画像ともに電話着信を優先されるため、交差点案内画像510もしくは道路地図画像500上に、着信があったことを示す着信画像520が割り込み表示される。着信画像520は、発信者の電話番号等の表示を含む。また、情報端末110からの着信音530が電子装置側のスピーカから出力され、交差点案内の音声データは音声出力部330によりフィルタリングされ出力されない。
【0061】
図12(B)は、画像が着信を優先させ、音声がナビゲーションを優先させる例である。この場合には、着信画面520は割り込み表示されるが、着信音の音声データは音声出力部33によりフィルタリングされ出力されず、交差点案内音声540が電子装置側のスピーカから出力される。
【0062】
図12(C)は、画像が電話着信を優先し、音声がナビゲーションを優先させる例である。この場合には、情報端末110から転送された着信画像の画像データは、表示制御部320によりフィルタリング処理され非表示となる。一方、着信音530が音声出力され、交差点案内の音声データがフィルタリングされ、出力されない。
【0063】
図12(D)は、画像および音声ともにナビゲーションを優先する例である。この場合には、電話着信の割り込み事象が発生すると判定されても、着信画面の画像データおよび着信音の音声データは、それぞれフィルタリング処理され、電子装置側から出力されない。この場合、着信画像を保存しておき、ナビゲーションの交差点拡大図表示が終了した時点で、保存しておいた着信画像や、着信があったことを伝える独自に生成された画像を表示することも可能である。図13(A)は、交差点案内画像510および交差点案内音声540を出力した状態を示し、図13(B)は、交差点の割り込み終了後に、電子装置側で用意された独自の「着信あり」の着信画面522を、音声再生画面550上に表示している例である。
【0064】
第3の実施例によれば、画像データおよび音声データに付与された識別情報に基づき、画像および音声の割り込み出力をそれぞれ制御することができる。
【0065】
このように本実施例によれば、従来の割り込み処理と比較して、ソフトウェア/ハードウェアの開発工期、コストの削減をすることが可能になる。また、電子装置側で、必要に応じて自由に音声再生や画面切り替えを行うことが可能となり、製品仕様の自由度が向上されるため、ユーザにとってより魅力的な製品を提供することができる。さらに、電子装置において音声および画像に同期した割り込みの実現が可能となる。さらに、走行制限時などに、識別情報から音声データおよび画像データを識別することで、ユーザに見せたくない画面、聞かせたくない音声を電子装置側で遮断することが可能になる。
【0066】
なお、上記実施例では、主に、アプリケーションとして、音声再生、ナビゲーション、電話着信などが実行される例を示したが、これらは一例であって、他のアプリケーションにも適用することができる。さらに、音声転送プロトコルと画像転送プロトコル両方に識別情報を付加する必要はなく、どちらかに一方に識別情報を入れて対応することも可能である。例えば、ナビゲーションの割り込み音声は、割り込み画像とほぼ同期しているため、音声転送プロトコルの識別情報だけでも従来の精度と同等の割り込みを実現することができる。
【0067】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0068】
100:電子システム 110:携帯型情報端末
120:接続手段 130:電子装置
410:識別情報検出部 420:割り込み判定部
430:出力制御部 500:道路地図画像
510:交差点案内画像 520、522:着信画像
530:着信音 540:交差点案内音声
550:音声再生画面
【技術分野】
【0001】
本発明は、携帯型情報端末から転送される画像情報や音声情報を出力可能な電子装置に関し、特に、携帯型情報端末において発生された割り込みに対応した表示画面の制御に関する。
【背景技術】
【0002】
近年、スマートフォンなどに代表される多機能型のポータブル装置の利用が増加している。このようなポータブル装置が車内に持ち込まれたとき、ポータブル装置を、車両に搭載された電子機器(以下、車載器という)に接続し、車載器においてポータブル装置に搭載された機能を利用することが可能になっている。例えば、ポータブル装置と車載器とがUSBケーブル等の接続手段により接続されると、ポータブル装置のディスプレイに表示されているアプリケーションの画像データおよび音声データが車載器へ転送され、転送された音声および画像が車載器側から出力される(特許文献1)。
【0003】
ポータブル装置から転送される音声データや画像データを車載器側で出力させているとき、ポータブル装置で生じた割り込み発生要因を車載器側で検出しなければならない場合がある。例えば、ポータブル装置がナビゲーション機能を実行しているとき、交差点案内などの事象を割り込み通知しなければならない。また、電話着信や電子メールの受信があった場合にも同様である。ポータブル装置に電話着信や電子メール受信などの割り込み事象が発生した場合に、ユーザの意向に添った報知態様を得ることが特許文献2に開示されている。
【0004】
従来の割り込み事象の検出方法として、図1(A)、(B)に示す技術が存在する。図1(A)は、割り込み信号専用線を用いたハードウェアによる割り込み検出の方法である。同図に示すように、ポータブル装置10と車載器20は、音声および画像信号の通信を行うための音声/画像信号線30と、割り込み信号を通信するための割り込み信号線32とによって接続される。割り込み要因が発生すると、ポータブル装置10が割り込み信号線32の電圧レベルをハイまたはローレベルに変化させることにより、車載器20において割り込みの開始および終了を検出する。
【0005】
図1(B)は、割り込み用通信プロトコルを用いたソフトウェアによる割り込み検出の方法である。ポータブル装置10と車載器20とは、音声/画像信号線30により接続され、当該音声/画像信号線30を介して音声転送プロトコル、画像転送プロトコル、割り込みプロトコルに従う信号を通信する。割り込み要因が発生すると、ポータブル装置10が割り込みプロトコルに従い割り込み信号を車載器20へ転送することにより、車載器20において割り込みの開始および終了を検出する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−2811991号公報
【特許文献2】特開2003−319020号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
スマートフォンのような多機能型情報端末であるポータブル装置が車載器に接続されたとき、ポータブル装置で起動されたアプリケーションに関する画面データおよび音声データを車載器へ転送させ、当該画面データおよび音声データを車載器から出力させる、いわゆるターミナルモードがある。
【0008】
多機能型情報端末であるポータブル装置は、複数のアプリケーションを同時に起動することができ、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションを同時に実行させることができる。この場合、ポータブル装置は、一方のアプリケーションの画面を前面(フォアグランド画面)、他方のアプリケーションの画面を背面(バックグランド画面)で処理する。ターミナルモードでは、ポータブル装置の前面の画面情報が車載器に転送される仕様になっているため、仮に、ポータブル装置において、音楽再生画面が前面であり、ナビゲーション画面が背面であれば、車載器には、音楽再生画面が表示される。また、ポータブル装置からは、音楽再生による音声データが転送され、車載器のスピーカから音楽が出力される。図2(A)は、車載器20のディスプレイ22に音楽再生画面が表示されている例を示している。
【0009】
もし、ポータブル装置10で実行しているナビゲーションにおいて、交差点案内等の割り込みが発生すると、ポータブル装置は、音楽再生のための音声データの出力を中断し、交差点案内の音声データに出力を切り替えるため、車載器側も音楽再生の音声出力から交差点案内の音声出力に切り替えられる。しかし、ポータブル装置の音楽再生画面は前面のままであり、従って、車載器には音楽再生画面が表示され、交差点案内画面を表示することができないという不具合が生じる。図2(B)は、このような交差点案内の割り込みが発生したときの車載器のディスプレイ22の表示画面と出力音声の関係を示している。
【0010】
また、図1(A)に示す割り込み検出を用いる場合には、ポータブル装置10と車載器20の双方にハードウェア資源が必要であるため、コスト増の問題がある。図1(B)に示す割り込み検出を用いる場合には、割り込み用に特別なプロトコルを実装する必要があり、ソフトウェア開発のコストが増加する問題がある。さらに、図1(A)および図1(B)に共通の課題として、音声データ/画像データと割り込み情報が異なる信号線や独立した通信プロトコルで伝送するため、音声や画像と完全に同期した割り込みの実現が困難である。さらに、ポータブル装置から車載器へ一方的に割り込み要求を行うため、車載器側で必要に応じた音声/画像を出力することが困難である。
【0011】
本発明は、上記のような従来の課題を解決するものであり、携帯型情報端末の割り込み事象の発生に対応して画像データおよび/または音声データの出力を制御する電子装置、出力制御方法および出力制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能なものであって、携帯型情報端末から転送された画像データおよび音声データを受け取る受信手段と、前記受信手段により受信された画像データおよび音声データを出力する出力手段と、前記受信手段により受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、前記判定手段により割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信する制御手段とを有する。
【0013】
好ましくは前記判定手段は、音声データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する。好ましくは前記制御手段は、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する。好ましくは前記出力手段は、前記第1の制御信号の送信から前記第2の制御信号の送信までの期間に応答して、割り込み事象が生じたアプリケーションに関する画像データを出力する。好ましくは前記制御手段はさらに、割り込み事象が競合したときの優先順位を決定する優先順位決定手段を含み、前記制御手段は、前記優先順位決定手段の優先順位に従い、前記受信手段から受信された画像データおよび音声データのうち優先順位が高いとされた画像データおよび音声データを前記出力手段から出力させる。好ましくは前記識別情報は、アプリケーションに含まれる割り込み事象を識別する。好ましくは前記制御信号、前記第1および第2の制御信号は、携帯型情報端末に対してアプリケーションの起動を要求する信号である。
【0014】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能なものであって、携帯型情報端末から転送された画像データを受け取る受信手段と、アプリケーションを実行する実行手段と、前記受信手段により受信された画像データおよび前記実行手段により実行されたアプリケーションに関する画像データの一方を選択的に出力可能な出力手段と、前記受信手段により受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、前記判定手段により割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データが出力されるように前記出力手段を制御する制御手段とを有する。
【0015】
好ましくは前記判定手段は、画像データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する。好ましくは前記制御手段は、割り込み事象が発生したと判定されたとき、バックグランドで処理されている画像データがフォアグランドで処理されるように、また、割り込み事象が終了したと判定されたとき、フォアグランドで処理されている画像データがバックグランドで処理されるように、前記出力手段による画像データの選択を制御する。好ましくは前記出力手段が、前記受信手段により受信した画像データをバックグラウンドで処理し、前記実行手段により実行されたアプリケーションに関連する画像データをフォアグランドで処理しているとき、前記制御手段は、割り込み事象が発生したと判定されたとき、前記受信手段により受信した画像データをフォアグランドで処理させ、前記実行手段により実行されたアプリケーションに関連する画像データをバックグラウンドで処理させる。
【0016】
本発明に係る電子システムは、上記特徴を備えた電子装置と、当該電子装置に接続された携帯型情報端末とを有し、携帯型情報端末は、複数のアプリケーションを実行しているとき、選択されたアプリケーションに関する画像データおよび音声データをフォアグランドで処理し、他のアプリケーションに関する画像データおよび音声データをバックグランドで処理する処理手段と、フォアグランドで処理されている画像データおよび音声データを電子装置に出力する出力手段と、前記出力手段から出力された少なくとも音声データに識別情報を付与する付与手段とを有し、前記出力手段は、前記他のアプリケーションにおいて割り込み事象が生じたとき、割り込み事象を識別可能な識別情報が付与された音声データを電子装置に出力する。好ましくは前記出力手段は、電子装置から前記制御信号を受信したとき、前記他のアプリケーションに関する画像データをフォアグランドで処理する。
【0017】
さらに本発明に係る電子システムは、上記特徴を備えた電子装置と、当該電子装置に接続された携帯型情報端末とを有し、携帯型情報端末は、実行されたアプリケーションに関する画像データおよび音声データを電子装置に出力する出力手段と、前記出力手段から出力される画像データに少なくとも割り込み事象を識別可能な識別情報を付与する付与手段とを有する。
【0018】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置の出力制御方法は、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび音声データを出力するステップと、前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップとを有する。
【0019】
さらに本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置の出力制御方法は、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップとを有する。
【0020】
本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置が実行する出力制御プログラムは、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび音声データを出力するステップと、前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップとを有する。
【0021】
さらに本発明に係る電子装置は、携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能であり、当該電子装置が実行する出力制御プログラムは、携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップとを有する。
【発明の効果】
【0022】
本発明によれば、音声データおよび/または画像データに付与された識別情報に基づき割り込み事象を判定するようにしたので、割り込み事象に関連した画像データを適切に表示させることができる。また、従来の割り込み検出に比べて、ハードウェアやソフトウェア開発によるコストを低減することができる。
【図面の簡単な説明】
【0023】
【図1】図1(A)は、従来の割り込み信号線を用いたハードウェアによる割り込み検出の方法を示し、図1(B)は、従来の割り込み用通信プロトコルを用いたソフトウェアによる割り込み検出を示す。
【図2】従来のポータブル装置に割り込みが発生したときの車載器の表示画面の例を示す図である。
【図3】本発明の実施例に係る電子システムの構成を示す図である。
【図4】本発明の実施例に係る画像データおよび音声データに付与される識別情報の一例を示す図である。
【図5】図3に示す情報端末の典型的な構成を示すブロック図である。
【図6】図3に示す電子装置の典型的な構成を示すブロック図である。
【図7】本発明の実施例による電子装置の出力制御プログラムの機能ブロック図である。
【図8】本発明の実施例の電子システムにおいてターミナルモードへの移行を説明するフローチャートである。
【図9】本発明の第1の実施例において情報端末側に割り込み事象が発生したときの電子装置の出力制御動作のシーケンスを示す図である。
【図10】本発明の第1の実施例における割り込み事象が発生したときの電子装置の表示画面の遷移例を示す図である。
【図11】本発明の第2の実施例において割り込みが事象発生したときの電子装置の出力制御動作のシーケンスを示す図である。
【図12】本発明の第3の実施例における割り込み事象が競合したときの電子装置の出力動作を説明する図である。
【図13】第3の実施例の変形例に係る電子装置の出力例を示す図である。
【発明を実施するための形態】
【0024】
次に、本発明の実施の形態について図面を参照して説明する。本発明の好ましい実施の形態は、移動体としての自動車に搭載された電子装置に携帯型情報端末(以下、情報端末という)が接続された電子システムを例示する。情報端末は、情報を処理することができるポータブルな装置であり、好ましくは、通信機能を備えた多機能型の端末であり、例えば、携帯電話機、スマートフォン、パームトップ型パーソナルコンピュータ、ラップトップ型コンピュータ、ノート型コンピュータなどである。情報端末は、外部ネットワーク接続したり、音声通話をしたり、オーディオデータやビデオデータを記憶したり、搭載したアプリケーションにより種々の機能を実行することができる。
【0025】
一方、車両に搭載された電子装置は、オーディオ/ビデオ再生機能、テレビ/ラジオ放送受信機能、ナビゲーション機能などを含むことができる。電子装置は、有線または無線によるデータ通信手段によって情報端末に接続され、両装置間において必要なデータが送受される。データ通信手段は、特に制限されるものではないが、例えばUSBケーブルによる接続、ブルートゥース(登録商標)等の近距離無線接続、無線LAN、WiFiなどを用いることができる。
【0026】
好ましい態様では、電子装置は、情報端末と接続されたとき、情報端末を遠隔操作することができる動作モードを有する。情報端末は、遠隔操作により起動されたアプリケーションに関するオーディオ信号やビデオ信号を電子装置へ送信し、電子装置は、受信したオーディオ信号を音声出力し、ビデオ信号を画面に表示する。
【実施例】
【0027】
図3は、本発明の実施例に係る電子システムの構成を示す図である。本実施例の電子システム100は、情報端末110と、情報端末110に接続手段120を介して接続された電子装置130とを含んで構成される。好ましくは、情報端末110として、通信機能を備えた多機能型のスマートフォンが用いられる。電子装置130は、例えば、テレビ受信機能、CDやDVD等のメディア再生機能を備え、さらに車内空間にディスプレイやスピーカを備える。
【0028】
本実施例では、接続手段120は、USB(Universal Serial Bus)ケーブルを用いるが、これに加えてまたはこれに代えて、ブルーツース(登録商標)等の他の無線通信を用いてもよい。接続手段120は、情報端末110から電子装置130へ画像データを送信する信号線と、音声データを送信する信号線と、情報端末110と電子装置130間で制御データを送受する信号線とを含んでいる。情報端末110および電子装置130の各々は、画像データ、音声データおよび制御データをターミナルモードの仕様で通信制御するための通信プロトコルをサポートし、電子装置130が情報端末110を遠隔操作することができるターミナルモードで動作することを可能にする。
【0029】
好ましくは、音声データは、RTP(Real Time Protocol)により通信制御され、画像データは、RFB(Remote Transport Protocol)を用いて通信制御される。これらの通信制御は、プロトコルの拡張が可能であり、音声データおよび画像データに拡張情報を付加することが可能である。本実施例のターミナルモードでは、音声データおよび画像データの拡張情報として、情報端末110が実行するアプリケーションを識別するためのアプリケーション識別情報やそこに含まれる動作態様を識別する識別情報、および全般的な動作のカテゴリーを識別する識別情報が付与されている。こうした音声データおよび画像データの全般的なまたは詳細な種別/意味を表す識別情報は、音声転送プロトコルおよび画像転送プロトコルに含められる。
【0030】
図4(A)は、音声データおよび画像データに付加される識別情報の例を示している。ここでは、音声データおよび画像データには、同じ識別情報が付加されている。図に示すように、音声データおよび画像データには、メニュー、ナビゲーション(通常)、交差点案内、電話着信、電話発信、メディア再生などをそれぞれ識別するための識別情報0001、0002、0003、0004、0005、0006が割り当てられる。情報端末110は、ターミナルモードにおいて、音声データおよび画像データを電子装置130へ転送するとき、音声/画像プロトコルに識別情報を含める。図4(B)は、音声データおよび画像データに識別情報が付加された態様を示している。電子装置130は、情報端末110から受信した音声/画像プロトコルに含まれた識別情報を検出し、識別情報に基づき音声データや画面データの出力制御を行う。
【0031】
図5は、情報端末の典型的な構成を示すブロック図である。情報端末110は、ユーザからの入力を受け取る入力部200、接続手段120により電子装置130との接続を可能にする通信接続部210、ディスプレイに種々の画像を表示する表示部220、音声を出力する音声出力部230、外部のネットワークとのデータ通信、および公衆無線回線網を介しての電話機との通話等を可能にする通信部240、制御部250、情報端末110が保有するアプリケーション、プログラム等を格納するプログラムメモリ260、音声データ、画像データ、道路地図データなど種々のデータを記憶するデータメモリ270、各部を接続するバス280とを備えている。
【0032】
プログラムメモリ260には、種々のアプリケーションソフトウエアやプログラムが格納され、制御部250は、プログラムメモリ260に格納されたアプリケーションやプログラムを実行する。プログラムメモリ260には、例えば、データメモリ270に格納された音声データや画像データを再生するアプリケーション、ゲームを実行するアプリケーション、ナビゲーションを実行するアプリケーション、音声通話を可能にするアプリケーション、通信部240を介してインターネット上の情報をブラウズするためのアプリケーションなどが格納される。
【0033】
さらにプログラムメモリ260には、情報端末110が接続手段120を介して電子装置130に接続されたとき、ターミナルモードを制御する拡張プログラムが格納される。拡張プログラムは、電子装置130からユーザ操作による入力操作情報やその他のコマンド情報を受け取り、それに応答して情報端末側のアプリケーションを起動させたり、あるいはアプリケーションを終了させる。さらに拡張プログラムは、起動されたアプリケーションに関する画像データおよび音声データに上記の識別情報を、上記の音声転送プロトコルおよび画像転送プロトコルに従い電子装置130に転送し、その際、転送される画像データおよび音声データに、図4(A)に示すようなアプリケーションの識別情報および/またはアプリケーションの詳細な種別や意味を表す識別情報を付加する。
【0034】
また、制御部250は、情報端末において複数のアプリケーションが実行されているとき、例えば、音楽再生のアプリケーションとナビゲーションのアプリケーションが実行されているとき、一方のアプリケーションに関する画像データをフォアグランド処理して表示部220に表示させ、他方のアプリケーションに関する画像データをバックグランド処理して非表示にする。例えば、表示部220には、音楽再生画面が表示され、自車位置周辺の道路地図等を表したナビゲーション画面がバックグランド処理により非表示にされる。音声出力部230からは、音楽再生された楽曲が出力される。ターミナルモードでは、フォアグランドの画像データおよび音声データが電子装置130へ転送される。また、制御部250は、電子装置130から通信接続部210を介してアプリケーションの起動を要求する信号を受信すると、当該アプリケーションをフォアグランド処理し、その画像データを表示させることができる。アプリケーションの起動を要求は、例えば、ユーザが電子装置のディスプレイに表示されたアイコンを選択することによって行うことができ、さらに本実施例では、後述するように、情報端末側の割り込み事象が発生したと判定されたとき、電子装置側が自動的にアプリケーションの起動を要求する信号が出力される。
【0035】
図6は、電子装置の典型的な構成を示すブロック図である。同図に示すように、電子装置130は、ユーザからの入力を受け取る入力部300、接続手段120により情報端末110との接続を可能にする通信接続部310、ディスプレイに画像データを表示させる表示制御部320、スピーカから音声を出力させる音声出力部330、種々のメディアの再生等を実行するマルチメディア部340、制御部350、アプリケーション等を実行するための種々のプログラムを格納するプログラムメモリ360、オーディオデータ、ビデオデータ、地図データなどのデータを記憶するデータメモリ370、各部を接続するバス380とを備えている。
【0036】
マルチメディア部240は、CD、DVD、ブルーレイディスク、メモリ媒体、データメモリ270などに記録された音声データや画像データを再生する機能、テレビ放送やラジオ放送を受信・再生する機能などを有する。プログラムメモリ360には、ナビゲーションに関するアプリケーションやマルチメディア部240を制御するプログラムに加え、情報端末110が接続されたときのターミナルモードを制御するプログラムなどが記憶される。プログラムメモリ360のプログラムやアプリケーションは制御部350によって実行される。なお、電子装置130は、ナビゲーション動作に必要なGPS測位情報、車速情報、方位情報などを受け取ることができる。
【0037】
さらにプログラムメモリ360は、ターミナルモードにおいて、情報端末110から転送される音声データおよび/または画像データの出力を制御する出力制御プログラムを備える。図7は、出力制御プログラムの機能ブロック図である。出力制御プログラム400は、通信接続部310を介して情報端末110から受信された音声データおよび画像データに付与された識別情報を検出する識別情報検出部410と、識別情報検出部410で検出された識別情報に基づき情報端末側に割り込み事象が発生したか否かを判定する割り込み判定部420と、割り込み判定部420の判定結果に基づき情報端末110に対しアプリケーションの起動を要求する信号を出力する出力制御部430とを有する。また、ある実施例では、出力制御部430は、電子装置側の表示制御部320の表示画面の制御および音声出力部330の音声出力の制御を行う。
【0038】
次に、電子装置130のターミナルモードへの移行を図8のフローチャートを参照して説明する。ターミナルモードは、電子装置130が情報端末110を遠隔操作し、かつ情報端末110から転送される音声データおよび映像データを出力することができる動作モードである。情報端末110が、例えばUSBケーブルを介して電子装置130に接続されると(S101)、USBプラグ・アンド・プレイにより相互に機器認識が行われる。次いで、電子装置130は、情報端末110に対し当該情報端末がターミナルモードをサポートしているか否かを問い合わせる(S102)。電子装置130は、情報端末110からターミナルモードに対応している旨の返信を受けると(S103)、ターミナルモードで動作を開始する(S104)。同時に、情報端末110もターミナルモードでの動作が可能になる。なお、USB接続が有効であるとき、情報端末110は、電子装置130からの電力供給を受けることができ、バッテリーの充電が可能となる。
【0039】
ターミナルモードに移行されると、情報端末110のディスプレイの表示画面である画像データが電子装置130へ転送され、それと同じ表示画面が電子装置130のディスプレイに出力される。ディスプレイには、電子装置130から遠隔操作が可能な情報端末110のアプリケーションのアイコンやメニューなどが表示される。ディスプレイがタッチパネル入力に対応している場合には、タッチパネルを介してユーザの入力操作(座標情報)が情報端末110へ伝えられ、入力操作に応じた処理が情報端末110において実行される。マウスやリモコンなどの他の入力インターフェースからの入力操作も同様である。
【0040】
次に、ターミナルモード時における電子装置の割り込み発生時の画像データの出力制御について説明する。図9は、情報端末110が同時に複数のアプリケーション、ここでは2つのアプリケーションを実行しているときに情報端末側に割り込み事象が発生したときの動作シーケンスを示している。
【0041】
情報端末110において、ナビゲーションのアプリケーションと音楽再生のアプリケーションが同時に実行され、音楽再生のアプリケーションに関する音楽再生画面がフォアグランド画面として表示され、ナビゲーション画面がバックグランド画面として非表示であるとする(S201)。情報端末110は、例えば、ユーザによって最後に起動されたアプリケーションをフォアグランド処理する。ターミナルモードでは、情報端末110は、フォアグランド画面である音楽再生画面の画像データと、音楽再生された音声データとを電子装置130へ転送する。また、画像データおよび音声データには、メディア再生のアプリケーションであることを示す識別情報(0006:メディア再生)が付加される。一方、電子装置130において、情報端末110から転送された音楽再生画面がディスプレイに表示され、スピーカからは音楽再生された音声データが出力される(S301)。図10(A)は、電子装置130のディスプレイ322において音楽再生画面が表示された例を示している。
【0042】
ナビゲーションにおいて、目的地までのルート設定がされているとき、自車または情報端末110の移動に伴い、あるタイミングで交差点案内の割り込み事象が発生する。このとき、情報端末110は、交差点案内の音声出力の割り込みを行う(S202)。これにより、情報端末110からの音楽再生の音声データの転送が中止され、割り込み処理された交差点案内の音声データが電子装置130へ転送される。この際、交差点案内の音声データには、それを識別するための識別情報(0003:交差点案内)が付与される。
【0043】
電子装置側の識別情報検出部410(図7)は、音声データに付与された識別情報を検出し、これを割り込み判定部420へ提供する。割り込み判定部420は、識別情報に変化があったこと、すなわち、識別情報が「0006」から「0003」に変化があったことから情報端末側に割り込み事象が発生したと判定する。この判定結果は出力制御部430へ伝えられ、出力制御部430は、情報端末110に対し、ナビゲーションの起動を要求する信号を出力する。こうして、電子装置側は、割り込みモードに突入される(S302)。
【0044】
情報端末110は、通信接続部210を介してナビゲーションの起動信号を受信すると、この起動信号に応答して、フォアグランド画面とバックグランド画面の切換えを行いナビゲーション画面がフォアグランドとなり、音楽再生画面がバックグランドになる(S203)。これにより、情報端末110からは、フォアグランドのナビゲーション画面が電子装置130へ転送される。このとき、フォアグランド画面として転送される画像データには、交差点案内を示す識別情報が付加される。
【0045】
電子装置130は、情報端末110から転送されたナビゲーション画面を受信し、これをディスプレイに表示させる(S303)。こうして、交差点案内の音声データの検出に応答して、電子装置側の表示画面を交差点案内を含むナビゲーション画面に変更させることができる。図10(B)は、電子装置のディスプレイ322の表示画面が、音楽再生画面からナビゲーション画面に遷移した例を示している。
【0046】
その後、交差点案内の割り込み事象が終了すると(S204)、情報端末110は、再び、音楽再生による音声データを電子装置130に出力する。音声データには、メディア再生である識別情報「0006」が付加される。
【0047】
電子装置側の識別情報検出部410は、音声データに付加されたメディア再生である識別情報を検出し、割り込み判定部420は、識別情報が「0003」から「0006」に変化したことにより、割り込み事象が終了したと判定する。この判定結果に基づき、出力制御部430は、割り込みモードを解除するため、情報端末110に対し、音楽再生のアプリケーションを起動する信号を出力する(S304)。
【0048】
情報端末110は、音楽再生のアプリケーションの起動信号を受信すると、音楽再生画面をフォアグランドに、ナビゲーションをバックグラウンドに変更する(S205)。これにより、情報端末110からは、音楽再生画面の画像データ、および音楽再生された音声データが電子装置130へ出力され、電子装置130のディスプレイの表示画面は、音楽再生画面に遷移される(S305)。
【0049】
上記実施例では、電子装置側の出力制御部430は、情報端末110から転送される音声データの識別情報が変化されたことをトリガーに、情報端末側の表示画面の切換えを要求する信号を出力するようにしたが、画像データに付加される識別情報に基づき割り込みを判定するようにしてもよい。但し、画像データの識別情報を検出するには、当該画像データが情報端末においてフォアグランド処理されている必要があるため、必ずしも、確実に割り込み事象の発生を判定することができない点に留意すべきである。
【0050】
さらに、上記実施例では、ナビゲーションの1つの動作態様である交差点案内に識別情報を付与することによって、割り込み事象の発生を判定したが、これ以外にも、アプリケーションに付与された識別情報の変化によって割り込み事象の発生を判定してもよい。例えば、音楽再生のアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、メニューのアプリケーションの識別情報からナビゲーションのアプリケーションの識別情報に変更されたとき、ナビゲーションのアプリケーションの識別情報から電話着信や発信の通話を行うためのアプリケーションの識別情報に変更されたときのように、音声データに付与された識別情報がアプリケーション単位で変化されたときに、携帯端末側に割り込み事象が発生したと判定することも可能である。
【0051】
さらに、割り込み事象が発生したと判定したとき、電子装置側から情報端末に対してアプリケーションの起動を要求する信号を出力するようにしたが、これは一例であり、情報端末側の仕様に応じた信号とすることができる。要は、割り込み事象が発生したと判定されたアプリケーションに関する画像データが情報端末側でフォアグランド処理されて電子装置に転送されるような制御信号または選択信号であればよい。
【0052】
次に、本発明の第2の実施例について図11を参照して説明する。図11は、情報端末110からの画像データの識別情報をトリガーにして電子装置側のフォアグランド画面とバックグランド画面の切換えを行うものである。ここでは、ターミナルモードにおいて、情報端末110がナビゲーションのアプリケーションを実行しているものとする。情報端末110は、車内に持ち込まれ、自車位置を検出し、自車位置周辺の道路地図を含むナビゲーション画面を表示する(S401)。そして、ナビゲーションに関する画像データおよび音声データは、情報端末110から電子装置130へ転送される。
【0053】
一方、電子装置130において、マルチメディア部240が動作され、例えば、CD、DVD等のメディアが再生され、電子装置130のディスプレイには、フォアグランド画面として音楽再生画面が表示され、情報端末110からのナビゲーション画面がバックグランド処理により非表示にされる(S501)。
【0054】
情報端末110において、交差点案内の割り込みが発生すると(S402)、交差点案内の画像データおよびその音声データが電子装置130へ転送される。この画像データには、交差点案内を示す識別情報(図4の「0003」)が付加される。電子装置側の識別情報検出部410は、画像データに含まれる交差点案内の識別情報を検出し、割り込み判定部420は、画像データの識別情報が変化したことにより(「0002」から「0003」)、割り込み事象が発生したと判定し、割り込みモードに突入する(S502)。
【0055】
出力制御部430は、情報端末110に対してアプリケーションの起動を要求する信号を出力するのではなく、電子装置側の表示制御部320の表示画面の切換えを制御する。すなわち、ナビゲーション画面がフォアグランド画面として表示され、音楽再生画面がバックグランド画面として非表示となるように制御する(S503)。その後、情報端末側の交差点案内が終了し、通常のナビゲーション画面に切り替わると(S403)、画像データに付加された識別情報が通常のナビゲーション「0002」に変更される。電子装置側において、通常のナビゲーションの識別情報「0002」が検出され、割り込み判定部420は、割り込み事象が終了したと判定し、割り込みモードを解除する(S504)。これにより、出力制御部430は、音楽再生画面をフォアグランド画面にし、ナビゲーション画面をバックグランド画面に切替える(S505)。
【0056】
このように、第2の実施例によれば、画像データの識別情報が変化したことに応答して電子装置側の表示画面の切換えを行うことで、遅滞なく割り込み画像を表示させることができ、割り込み画像と割り込み音声とを同期させることができる。なお、第2の実施例においても、第1の実施例と同様に、情報端末110からの音声データの識別情報の変化をトリガーにして、電子装置側の表示画面の切換えを行うことも可能である。
【0057】
さらに第1および第2の実施例では、音声データおよび/または画像データの識別情報の変化が生じたときに割り込み事象の発生および終了を判定したが、識別情報が割り込み事象であることを認識することができる場合には、必ずしも識別情報の変化により割り込み事象の発生を判定することを要しない。例えば、電子装置側において、識別情報と割り込み事象との関係を規定した判定テーブルなどをメモリ等に用意しておき、識別情報「0003」が検出された場合には、判定テーブルを参照し、判定テーブルに識別情報「0003」が含まれていれば、割り込み事象が発生したと判定するようにしてもよい。
【0058】
次に、本発明の第3の実施例について説明する。第3の実施例では、割り込み事象が競合したときの音声および画像データの出力制御に関する。好ましくは、出力制御部430は、割り込み事象が競合したとき、優先的に出力させるアプリケーションを予め規定した優先順位情報をメモリ等に格納する。この優先順位情報は、ユーザによって変更することが可能である。図12は、割り込みモード時に、電子装置側で交差点案内による交差点拡大図を表示中に、情報端末から他の割り込みとしての着信を受信したときの出力例を示している。
【0059】
図12(A)は、画像が電話優先、音声が電話優先とされている例である。図12(A)の左図に示すように、電子装置130のディスプレイには、自車位置周辺の道路地図画像500上に交差点案内画像510が割り込み表示されている。これらの画像データは、情報端末110から転送されるものであって、割り込み判定部420により割り込み事象が発生したと判定されたことに応答して表示される。ここで、情報端末110に電話の着信があると、情報端末110は、着信の割り込み処理を行い、着信画面および着信音を割り込み出力する。これにより、情報端末110から転送される音声データおよび画像データには、電話着信の識別情報「0004」が付加され、この識別情報が電子装置130において検出される。
【0060】
電子装置側の割り込み判定部420は、検出した識別情報に基づき割り込み事象が発生したと判定し、その判定結果を出力制御部430へ提供する。出力制御部430は、優先順位情報に従い電子装置側の音声出力および画像出力を制御する。図12(A)の例は、音声および画像ともに電話着信を優先されるため、交差点案内画像510もしくは道路地図画像500上に、着信があったことを示す着信画像520が割り込み表示される。着信画像520は、発信者の電話番号等の表示を含む。また、情報端末110からの着信音530が電子装置側のスピーカから出力され、交差点案内の音声データは音声出力部330によりフィルタリングされ出力されない。
【0061】
図12(B)は、画像が着信を優先させ、音声がナビゲーションを優先させる例である。この場合には、着信画面520は割り込み表示されるが、着信音の音声データは音声出力部33によりフィルタリングされ出力されず、交差点案内音声540が電子装置側のスピーカから出力される。
【0062】
図12(C)は、画像が電話着信を優先し、音声がナビゲーションを優先させる例である。この場合には、情報端末110から転送された着信画像の画像データは、表示制御部320によりフィルタリング処理され非表示となる。一方、着信音530が音声出力され、交差点案内の音声データがフィルタリングされ、出力されない。
【0063】
図12(D)は、画像および音声ともにナビゲーションを優先する例である。この場合には、電話着信の割り込み事象が発生すると判定されても、着信画面の画像データおよび着信音の音声データは、それぞれフィルタリング処理され、電子装置側から出力されない。この場合、着信画像を保存しておき、ナビゲーションの交差点拡大図表示が終了した時点で、保存しておいた着信画像や、着信があったことを伝える独自に生成された画像を表示することも可能である。図13(A)は、交差点案内画像510および交差点案内音声540を出力した状態を示し、図13(B)は、交差点の割り込み終了後に、電子装置側で用意された独自の「着信あり」の着信画面522を、音声再生画面550上に表示している例である。
【0064】
第3の実施例によれば、画像データおよび音声データに付与された識別情報に基づき、画像および音声の割り込み出力をそれぞれ制御することができる。
【0065】
このように本実施例によれば、従来の割り込み処理と比較して、ソフトウェア/ハードウェアの開発工期、コストの削減をすることが可能になる。また、電子装置側で、必要に応じて自由に音声再生や画面切り替えを行うことが可能となり、製品仕様の自由度が向上されるため、ユーザにとってより魅力的な製品を提供することができる。さらに、電子装置において音声および画像に同期した割り込みの実現が可能となる。さらに、走行制限時などに、識別情報から音声データおよび画像データを識別することで、ユーザに見せたくない画面、聞かせたくない音声を電子装置側で遮断することが可能になる。
【0066】
なお、上記実施例では、主に、アプリケーションとして、音声再生、ナビゲーション、電話着信などが実行される例を示したが、これらは一例であって、他のアプリケーションにも適用することができる。さらに、音声転送プロトコルと画像転送プロトコル両方に識別情報を付加する必要はなく、どちらかに一方に識別情報を入れて対応することも可能である。例えば、ナビゲーションの割り込み音声は、割り込み画像とほぼ同期しているため、音声転送プロトコルの識別情報だけでも従来の精度と同等の割り込みを実現することができる。
【0067】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0068】
100:電子システム 110:携帯型情報端末
120:接続手段 130:電子装置
410:識別情報検出部 420:割り込み判定部
430:出力制御部 500:道路地図画像
510:交差点案内画像 520、522:着信画像
530:着信音 540:交差点案内音声
550:音声再生画面
【特許請求の範囲】
【請求項1】
携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置であって、
携帯型情報端末から転送された画像データおよび音声データを受け取る受信手段と、
前記受信手段により受信された画像データおよび音声データを出力する出力手段と、
前記受信手段により受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、
前記判定手段により割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信する制御手段と、
を有する電子装置。
【請求項2】
前記判定手段は、音声データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する、請求項1に記載の電子装置。
【請求項3】
前記制御手段は、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する、請求項1または2に記載の電子装置。
【請求項4】
前記出力手段は、前記第1の制御信号の送信から前記第2の制御信号の送信までの期間に応答して、割り込み事象が生じたアプリケーションに関する画像データを出力する、請求項3に記載の電子装置。
【請求項5】
前記制御手段はさらに、割り込み事象が競合したときの優先順位を決定する優先順位決定手段を含み、
前記制御手段は、前記優先順位決定手段の優先順位に従い、前記受信手段から受信された画像データおよび音声データのうち優先順位が高いとされた画像データおよび音声データを前記出力手段から出力させる、請求項1ないし4いずれか1つに記載の電子装置。
【請求項6】
前記識別情報は、アプリケーションに含まれる割り込み事象を識別する、請求項1ないし5いずれか1つに記載の電子装置。
【請求項7】
前記制御信号、前記第1および第2の制御信号は、携帯型情報端末に対してアプリケーションの起動を要求する信号である、請求項1ないし6いずれか1つに記載の電子装置。
【請求項8】
携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置であって、
携帯型情報端末から転送された画像データを受け取る受信手段と、
アプリケーションを実行する実行手段と、
前記受信手段により受信された画像データおよび前記実行手段により実行されたアプリケーションに関する画像データの一方を選択的に出力可能な出力手段と、
前記受信手段により受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、
前記判定手段により割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データが出力されるように前記出力手段を制御する制御手段と、
を有する電子装置。
【請求項9】
前記判定手段は、画像データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する、請求項8に記載の電子装置。
【請求項10】
前記制御手段は、割り込み事象が発生したと判定されたとき、バックグランドで処理されている画像データがフォアグランドで処理されるように、また、割り込み事象が終了したと判定されたとき、フォアグランドで処理されている画像データがバックグランドで処理されるように、前記出力手段による画像データの選択を制御する、請求項8または9に記載の電子装置。
【請求項11】
前記出力手段が、前記受信手段により受信した画像データをバックグラウンドで処理し、前記実行手段により実行されたアプリケーションに関連する画像データをフォアグランドで処理しているとき、前記制御手段は、割り込み事象が発生したと判定されたとき、前記受信手段により受信した画像データをフォアグランドで処理させ、前記実行手段により実行されたアプリケーションに関連する画像データをバックグラウンドで処理させる、請求項10に記載の電子装置。
【請求項12】
請求項1ないし7いずれか1つに記載の電子装置と、当該電子装置に接続された携帯型情報端末とを有する電子システム。
【請求項13】
携帯型情報端末は、
複数のアプリケーションを実行しているとき、選択されたアプリケーションに関する画像データおよび音声データをフォアグランドで処理し、他のアプリケーションに関する画像データおよび音声データをバックグランドで処理する処理手段と、
フォアグランドで処理されている画像データおよび音声データを電子装置に出力する出力手段と、
前記出力手段から出力された少なくとも音声データに識別情報を付与する付与手段とを有し、
前記出力手段は、前記他のアプリケーションにおいて割り込み事象が生じたとき、割り込み事象を識別可能な識別情報が付与された音声データを電子装置に出力する、請求項12に記載の電子システム。
【請求項14】
前記出力手段は、電子装置から前記制御信号を受信したとき、前記他のアプリケーションに関する画像データをフォアグランドで処理する、請求項13に記載の電子システム。
【請求項15】
請求項8ないし11いずれか1つに記載の電子装置と、当該電子装置に接続された携帯型情報端末とを有する電子システムであって、
携帯型情報端末は、
実行されたアプリケーションに関する画像データおよび音声データを電子装置に出力する出力手段と、
前記出力手段から出力される画像データに少なくとも割り込み事象を識別可能な識別情報を付与する付与手段と、
を有する電子システム。
【請求項16】
携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置の出力制御方法であって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび音声データを出力するステップと、
前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップと、
を有する出力制御方法。
【請求項17】
前記判定するステップは、音声データに付与された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定し、
前記送信するステップは、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する、請求項16に記載の出力制御方法。
【請求項18】
携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置の出力制御方法であって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、
前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップと、
を有する出力制御方法。
【請求項19】
携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置が実行する出力制御プログラムであって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび音声データを出力するステップと、
前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップと、
を有する出力制御プログラム。
【請求項20】
前記判定するステップは、音声データに付与された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定し、
前記送信するステップは、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する、請求項19に記載の出力制御プログラム。
【請求項21】
携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置が実行する出力制御プログラムであって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、
前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップと、
を有する出力制御プログラム。
【請求項1】
携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置であって、
携帯型情報端末から転送された画像データおよび音声データを受け取る受信手段と、
前記受信手段により受信された画像データおよび音声データを出力する出力手段と、
前記受信手段により受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、
前記判定手段により割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信する制御手段と、
を有する電子装置。
【請求項2】
前記判定手段は、音声データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する、請求項1に記載の電子装置。
【請求項3】
前記制御手段は、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する、請求項1または2に記載の電子装置。
【請求項4】
前記出力手段は、前記第1の制御信号の送信から前記第2の制御信号の送信までの期間に応答して、割り込み事象が生じたアプリケーションに関する画像データを出力する、請求項3に記載の電子装置。
【請求項5】
前記制御手段はさらに、割り込み事象が競合したときの優先順位を決定する優先順位決定手段を含み、
前記制御手段は、前記優先順位決定手段の優先順位に従い、前記受信手段から受信された画像データおよび音声データのうち優先順位が高いとされた画像データおよび音声データを前記出力手段から出力させる、請求項1ないし4いずれか1つに記載の電子装置。
【請求項6】
前記識別情報は、アプリケーションに含まれる割り込み事象を識別する、請求項1ないし5いずれか1つに記載の電子装置。
【請求項7】
前記制御信号、前記第1および第2の制御信号は、携帯型情報端末に対してアプリケーションの起動を要求する信号である、請求項1ないし6いずれか1つに記載の電子装置。
【請求項8】
携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置であって、
携帯型情報端末から転送された画像データを受け取る受信手段と、
アプリケーションを実行する実行手段と、
前記受信手段により受信された画像データおよび前記実行手段により実行されたアプリケーションに関する画像データの一方を選択的に出力可能な出力手段と、
前記受信手段により受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定する判定手段と、
前記判定手段により割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データが出力されるように前記出力手段を制御する制御手段と、
を有する電子装置。
【請求項9】
前記判定手段は、画像データに付与された識別情報を検出する検出手段を含み、前記検出手段により検出された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定する、請求項8に記載の電子装置。
【請求項10】
前記制御手段は、割り込み事象が発生したと判定されたとき、バックグランドで処理されている画像データがフォアグランドで処理されるように、また、割り込み事象が終了したと判定されたとき、フォアグランドで処理されている画像データがバックグランドで処理されるように、前記出力手段による画像データの選択を制御する、請求項8または9に記載の電子装置。
【請求項11】
前記出力手段が、前記受信手段により受信した画像データをバックグラウンドで処理し、前記実行手段により実行されたアプリケーションに関連する画像データをフォアグランドで処理しているとき、前記制御手段は、割り込み事象が発生したと判定されたとき、前記受信手段により受信した画像データをフォアグランドで処理させ、前記実行手段により実行されたアプリケーションに関連する画像データをバックグラウンドで処理させる、請求項10に記載の電子装置。
【請求項12】
請求項1ないし7いずれか1つに記載の電子装置と、当該電子装置に接続された携帯型情報端末とを有する電子システム。
【請求項13】
携帯型情報端末は、
複数のアプリケーションを実行しているとき、選択されたアプリケーションに関する画像データおよび音声データをフォアグランドで処理し、他のアプリケーションに関する画像データおよび音声データをバックグランドで処理する処理手段と、
フォアグランドで処理されている画像データおよび音声データを電子装置に出力する出力手段と、
前記出力手段から出力された少なくとも音声データに識別情報を付与する付与手段とを有し、
前記出力手段は、前記他のアプリケーションにおいて割り込み事象が生じたとき、割り込み事象を識別可能な識別情報が付与された音声データを電子装置に出力する、請求項12に記載の電子システム。
【請求項14】
前記出力手段は、電子装置から前記制御信号を受信したとき、前記他のアプリケーションに関する画像データをフォアグランドで処理する、請求項13に記載の電子システム。
【請求項15】
請求項8ないし11いずれか1つに記載の電子装置と、当該電子装置に接続された携帯型情報端末とを有する電子システムであって、
携帯型情報端末は、
実行されたアプリケーションに関する画像データおよび音声データを電子装置に出力する出力手段と、
前記出力手段から出力される画像データに少なくとも割り込み事象を識別可能な識別情報を付与する付与手段と、
を有する電子システム。
【請求項16】
携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置の出力制御方法であって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび音声データを出力するステップと、
前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップと、
を有する出力制御方法。
【請求項17】
前記判定するステップは、音声データに付与された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定し、
前記送信するステップは、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する、請求項16に記載の出力制御方法。
【請求項18】
携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置の出力制御方法であって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、
前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップと、
を有する出力制御方法。
【請求項19】
携帯型情報端末と接続されたとき、携帯型情報端末において実行されるアプリケーションに関する画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置が実行する出力制御プログラムであって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび音声データを出力するステップと、
前記受信された音声データに付与された識別情報に基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、割り込み事象が生じたアプリケーションに関する画像データを転送させるための制御信号を携帯型情報端末に送信するステップと、
を有する出力制御プログラム。
【請求項20】
前記判定するステップは、音声データに付与された識別情報が第1の識別情報から第2の識別情報に変化したとき、割り込み事象が発生したと判定し、識別情報が第2の識別情報から第1の識別情報に変化したとき、割り込み事象が終了したと判定し、
前記送信するステップは、割り込み事象が発生したと判定されたとき、割り込み事象が生じたアプリケーションに関する画像データを転送させるための第1の制御信号を送信し、割り込み事象が終了したと判定されたとき、元のアプリケーションに関する画像データを転送させるための第2の制御信号を送信する、請求項19に記載の出力制御プログラム。
【請求項21】
携帯型情報端末と接続されたとき、携帯型情報端末から転送された画像データおよび音声データを受け取り、当該画像データおよび音声データを出力可能な電子装置が実行する出力制御プログラムであって、
携帯型情報端末から転送された画像データおよび音声データを受け取るステップと、
前記受信された画像データおよび電子装置において実行されたアプリケーションに関する画像データの一方を選択的に出力するステップと、
前記受信された画像データに付与される識別情報を基づき携帯型情報端末側の割り込み事象の有無を判定するステップと、
割り込み事象があると判定された場合に、前記割り込み事象が生じた画像データを出力させるステップと、
を有する出力制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−83607(P2013−83607A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−225076(P2011−225076)
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000101732)アルパイン株式会社 (2,424)
【Fターム(参考)】
[ Back to top ]