情報端末装置及び翻訳システム
【課題】 植物、動物などの生物の状態をその生物に重畳させて表示することにより、観察対象とその観察対象の状態との乖離感を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えること。
【解決手段】 画像表示部50と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示するコンバイナー60とを備え、コンバイナー60を介した実視野中に、観察対象が存在する場合に、観察対象が発した音声に基づいて、観察対象の状態を解析し、解析結果に応じた表示内容を画像表示部に表示させる。
【解決手段】 画像表示部50と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示するコンバイナー60とを備え、コンバイナー60を介した実視野中に、観察対象が存在する場合に、観察対象が発した音声に基づいて、観察対象の状態を解析し、解析結果に応じた表示内容を画像表示部に表示させる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、植物、動物などの生物が発した音声からその生物の状態を解析し、その生物とともにその生物の状態を表示させる情報端末装置に関するものである。
【背景技術】
【0002】
従来、赤ん坊、ペット、又は家畜などの動物の感情を人間が理解できるように翻訳し、この翻訳内容を文字や音声によりユーザに通知する翻訳装置が知られている。
例えば、特開2002−278583号公報(特許文献1)には、犬の鳴き方の違いによる犬の感情を音声又は画像として出力することにより、犬とのコミュニケーションを図ることのできる技術が開示されている。
上記特許文献1には、飼い犬の首輪に取り付けられた犬側ケースから送信された犬の鳴き声をユーザが保有する飼い主側ケースにて受信し、受信した犬の鳴き声に基づいて犬の感情を解析し、この犬の感情を文字や音声により飼い主へ伝える技術が開示されている。
【特許文献1】特開2002−278583号公報(第1−3頁、第1−4図)
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記特許文献1に示される技術によれば、犬の感情が、犬と乖離された状態で飼い主に通知されるため、犬の感情を把握しづらいという問題があった。
【0004】
この発明は上述した事情に鑑みてなされたものであって、植物、動物などの生物の状態をその生物に重畳させて表示することにより、観察対象とその観察対象の状態との乖離感を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、画像表示部と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、観察対象の音声を取得する音声取得部と、前記半透過光学素子を通して視認される実視野中に存在する前記観察対象を検出する検出部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部とを備える情報端末装置を提供する。
【0006】
上記構成によれば、画像表示部に表示された情報は、半透過光学素子により、半透過光学素子を透過して視認される実視野中に、光学的に虚像として重畳的に表示される。半透過光学素子を介した実視野中に存在する動物や植物などの観察対象は、検出部により検出され、この検出結果に基づいて、実視野中に観察対象が存在するか否かが判定部により判定される。この結果、実視野中に観察対象が存在していた場合には、その観察対象が発した音声が音声取得部により取得され、取得された音声に基づいて、その観察対象の状態が状態解析部により解析される。状態解析部の解析結果は、画像制御部により、画像表示部に表示されることとなる。
これにより、動物や植物などの観察対象の状態は、半透過光学素子により、実視野中に存在する観察対象に重畳的に表示される。これにより、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。
【0007】
本発明の情報端末装置において、前記検出部が、前記実視野の方向を撮像する撮像部を備え、前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。
【0008】
上記構成によれば、実視野の方向の風景が撮像部により撮像され、撮像された風景の画像に、予め登録されている観察対象の画像情報、例えば、輪郭画像が含まれているか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。これにより、高い精度で、且つ、容易に判定を行うことが可能となる。
【0009】
本発明の情報端末装置において、前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の送信機及び受信機を備え、前記判定部が、前記送信機から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。
【0010】
上記構成によれば、検出部が備える一対の発振器及び受信機は、一方が観察対象の近傍に設置され、他方が当該本体に設置される。そして、上記発振機から発せられた信号が、受信機により受信されたか否かが判定部により判定されることによって、観察対象が実視野中に存在するか否かが判定される。これにより、非常に容易に判定を行うことが可能となる。
【0011】
本発明の情報端末装置において、前記検出部が、位置及び方向を特定する方位情報測定部を備え、前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。
【0012】
上記構成によれば、実視野の位置及び方向が方位情報測定部により特定され、特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象が属するか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。
これにより、植物などのように、一定の場所に固定されているような場合には、非常に容易に、且つ、高い精度で判定を行うことが可能となる。
【0013】
本発明の情報端末装置において、前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させても良い。
【0014】
上記構成によれば、観察対象が実視野に存在しない場合であって、音声取得部により観察対象の音声が取得された場合には、観察対象が実視野中に存在する場合とは異なる表示内容が画像表示制御部によって画像表示部に表示される。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、半透過光学素子により、何らかの内容が実視野中に虚像として重畳されて表示されるので、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となる。
【0015】
本発明の情報端末装置において、前記状態解析部が、前記音声と観察対象の状態とが対応付けられたデータベースと、前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部とを備えていても良い。
【0016】
上記構成によれば、データベースには、音声と観察対象の状態とが対応付けられて格納されている。そして、音声取得部により音声が取得された場合には、その取得された音声に対応する観察対象の状態が抽出部によりデータベースから抽出される。これにより、非常に容易に、且つ、速やかに生物の状態を解析することが可能となる。
例えば、植物や動物などの観察対象の状態は、音声の大小や周波数パターン等と、その状態とが対応付けられて、データベースに登録されている。
【0017】
本発明の情報端末装置において、前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動しても良い。
【0018】
上記構成によれば、実視野中に観察対象が存在する場合に限って、音声取得部が起動するので、電力の消費を抑えることが可能となる。なお、音声取得部だけでなく、状態解析部、画像表示部、半透過光学素子についても同様とすることにより、電力消費を更に抑えることが可能となる。
【0019】
本発明は、少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備えり情報端末装置と、前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、前記観察対象の音声を取得する音声取得部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システムを提供する。
【発明の効果】
【0020】
本発明の情報端末装置又は翻訳システムによれば、半透過光学素子を通して視認される実視野中に存在する観察対象に対して、その観察対象の状態を重畳的に表示させるので、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。
【発明を実施するための最良の形態】
【0021】
以下に、本発明にかかる情報端末装置の一実施形態について、〔第1の実施形態〕、〔第2の実施形態〕の順に、図面を参照して説明する。
〔第1の実施形態〕
図1及び図2は、本発明の第1の実施形態に係る情報端末装置の構成例を示す外観斜視図である。図1は、使用状態における外観斜視図、図2は格納状態における外観斜視図を示している。
図1、図2に示すように、本実施形態に係る情報端末装置10は、後述する各種制御機構及び制御基板等を内蔵した筐体(本体)20の外部に、表示装置30及び撮像装置(撮像部)40を備えている。
上記表示装置30は、画像表示部50及びコンバイナー60を備えている。これら画像表示部50及びコンバイナー60は、格納状態で、筐体20を貫通する開口部21の空間部に収納され(図2参照)、それぞれが矩形状とした短辺側の一辺を筐体20に軸支されて揺動による開閉動作が可能とされる。
【0022】
画像表示部50は、例えば、液晶表示パネル(LCD)や有機EL表示パネル等のいわゆる薄型ディスプレイ(以下「表示面」という。)51を備え、後述する画像表示制御部75(図4参照)により選定された画像を表示面51に表示する。この画像表示部50は、例えば、筐体20に軸支されている支持部材52に固定され、その表示面51は、後述するコンバイナー60と格納状態で対向する面に、換言すれば、筐体20の内側に向けられている。
【0023】
コンバイナー60は、画像表示部50からの光、すなわち画像表示部50の表示面51に表示された情報の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すると、コンバイナー60は、実視野となる外界像を透過するとともに、画像表示部50の表示面51に表示された情報(例えば、画像や文字)を光学的に虚像として、実視野中の実像に重畳的に表示する半透過型光学素子である。
このコンバイナー60としては、例えば、少なくとも1面に自由曲面(3次元非球面)を有する光学素子、ハーフミラー、ホログラムなどが挙げられる。
本実施形態において、コンバイナー60は、例えば、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であり、その片面側に金属膜等の反射層が形成されている。この反射層の表面が、画像表示部50から入射した光を表面で反射させる反射面61となる。
【0024】
コンバイナー60は、図2に示すように、格納状態では、画像表示部50の表示面51と凹曲面状の反射面61とが対向するように配置される。
使用状態では、図1に示すように、この反射面61と表示面51とが略対向し、かつ、筐体20とともに略Z字状を形成するように開かれ、図3に示すように、筐体20の後端部側となる側面22が使用者の側頭部に押し当てられるように保持される。この状態において、画像表示部50の表示面51に表示された情報の光は、開口部21を通じて斜め前方へ向けて出射され、反射面61によって筐体20の後端部側へ向けて反射される。これにより、使用者には、コンバイナー60の前方に、すなわち、使用者から見てコンバイナー60よりも遠方に、画像表示部50に表示された情報が虚像として視認される。
【0025】
撮像装置40は、コンバイナー60を介した実視野中に存在する観察対象を検出する検出部として主に機能する。このため、撮像装置40は、図3に示すように、上述した使用状態において、使用者の視線方向に広がるコンバイナー60を介した実視野の風景を撮像可能な位置に設けられている。撮像装置40は、使用状態において、使用者の視線方向の風景を撮像し、取得した画像を後述する処理部72(図4参照)へ出力する。
撮像装置40としては、例えば、感光フィルム等の感光体を用いたアナログ式撮像装置を用いてもよく、またCCD素子等の撮像素子を用いたデジタル式撮像装置を用いてもよい。本実施形態では、撮像装置40として、デジタル式撮像装置が用いられている。
【0026】
次に、上述した筐体20に内蔵される電気的構成について、図4を参照して説明する。
図4は、本実施形態に係る情報端末装置の電気的構成の概略を示したブロック図である。この図において、図1乃至図3と同様の構成要素には、同一の符号を付している。
図4に示すように、筐体20には、通信部71、各種処理を実行する処理部72、第1のデータベース73、第2のデータベース74、及び画像表示部75などが内蔵されている。これら各部は、いずれも処理部72と電気的に接続されている。
通信部71は、外部に設置された通信装置101と通信を行うことにより、観察対象が発した音声信号を取得する音声取得部として、主に機能する。例えば、本実施形態において、図5に示すように、観察対象である観葉植物200の近傍には、観察対象が発した音を検出するマイク100、及びマイク100に接続される通信装置101が設置されている。
ここで、マイク100は、観察対象が発した音声を取得し、取得した音声を電気信号(以下、変換後の音声を「音声信号」という。)に変換して出力するものである。例えば、観察対象が植物であれば、その植物の幹或いは根元などに設置され、植物が水を吸い上げる音などを取得する。また、観察対象が犬などの動物である場合には、動物の首輪などに設置されることにより、動物の鳴き声などを取得する。
通信装置101は、マイク100から出力された音声信号を通信部71へ送信するものである。通信部101と通信部71との間の通信は、例えば、無線により行われる。また、観察対象が複数存在する場合には、観察対象毎に通信チャネルを設定し、通信チャネル毎に音声信号を受信できるような構成にしても良い。
通信部71は、通信装置101から受信した音声信号を処理部72に出力する。
【0027】
処理部72は、撮像装置40により取得された画像に基づいて、コンバイナー60を介した実視野中に、観察対象が存在するか否かを判定する判定機能(判定部)、通信部71から入力された音声信号に基づいて、観察対象の状態を解析する状態解析機能(状態解析部)などの各種機能を実現させる。例えば、処理部72は、図示しないCPU(中央演算装置)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成されている。上述の各種機能を実現するための一連の処理手順は、プログラムの形式でROM等に記録されており、このプログラムをCPUがRAM等に読み出して、情報の加工・演算処理を実行することにより、上記各種機能が実現される。
【0028】
処理部72は、第1のデータベース73を参照することにより、上記判定機能を実現させる。第1のデータベース73には、観察対象の画像が登録されている。なお、この観察対象の画像登録の詳細については、後述する。
【0029】
また、処理部72は、第2のデータベース74を参照することにより、上記状態解析機能を実現させる。
第2のデータベース74には、図6に示すように、観察対象の種別(例えば、犬、猫、観葉植物など)毎に、複数の音声テーブル300が対応付けられて格納されている。音声テーブル300は、音声信号の各種パラメータの状態に応じて、観察対象の状態を表す表示内容がそれぞれ対応付けられたテーブルである。
例えば、観察対象が植物である場合は、水を吸い上げる音が大きいほど、水やりが十分なされており、植物が水分を多く吸い上げている状態であると判断できる。この音量の大小は、音声信号の振幅により判断できる。従って、「振幅」をパラメータにした音声テーブルが第2のデータベース74に登録されている。
【0030】
この音声テーブルには、図7に示すように、「振幅」を数段階のレベルに分け、レベル毎に、植物の状態を表す表示内容が設定されている。例えば、「振幅」が最小レベルである「レベル1」には、水分の吸い上げが行われていない状態にあるため、「のどがかわいたようー!」、「水がほしいなあ。」などの表示内容が登録される。また、「振幅」が最大レベルである「レベル5」には、「水を飲みすぎちゃった。」、「もう飲めないよ」などの表示内容が登録されている。
【0031】
また、音声信号の周波数パターンなどにより、植物の状態をより詳細に解析することが可能となる。例えば、風により葉がそよいでいるときの音声信号の周波数パターンや、落葉の周波数パターンなどに対応して、それぞれ表示内容が設定された音声テーブルを登録する。例えば、図8に示すように、風が強く、木の幹や葉が大きく揺れている場合の周波数パターン、例えば、「周波数パターン5」には、「風が強くて大変だよー!」、「助けてー。」などの表示内容が登録され、葉が適度に当たっている状態での周波数パターン、例えば、「周波数パターン1」には、「風が気持ちいいよ。」などの表示内容が登録される。
このように、周波数パターンをパラメータとした音声テーブルが登録されていることにより、風が当たることによる植物の状態や、落葉の状態などを解析することが可能となる。
また、猫や犬、或いはその他の種別などにおいても、観察対象となる生物などが発する音に着目した音声テーブルが第2のデータベース74(図4参照)にそれぞれ格納されている。
【0032】
画像表示制御部75は、処理部72から出力される表示内容を画像表示部50に表示させる。これにより、画像表示部50に表示された表示内容は、図1に示すコンバイナー60により、虚像として、実視野中の実像に重畳されることとなる。
【0033】
このように構成された本実施形態に係る情報端末装置1の作用について、以下に説明する。なお、以下においては、一例として、図5に示すように、観葉植物200を観察対象とする場合について説明する。
【0034】
〔初期登録について〕
以下、観葉植物200を観察対象として登録するための初期登録処理について説明する。
初期登録においては、図5に示すように、例えば、使用者は、使用状態の情報端末装置10の筐体20の側部22を側頭部に押し当てるように保持する。次に、コンバイナー60を介した実視野中に、観葉植物200を確認できる状態において、筐体20の側面に設けられた図示しないシャッタスイッチを押す。これにより、シャッタスイッチが押下された旨の電気信号が、筐体20に内蔵されている処理部72(図5参照)に入力される。
処理部72は、シャッタスイッチが押下された旨の電気信号を取得すると、現時点において、撮像装置40により撮像されている画像を取り込む。これにより、使用者の視線方向の風景、つまり、観葉植物200が存在する風景が撮像装置40により撮像されて、画像として処理部72に取り込まれる。
【0035】
次に、処理部72は、取り込まれた画像を画像表示制御部75に出力することによって、画像表示部50に表示させる。これにより、使用者に対して、取り込まれた画像を確認させることが可能となる。
使用者は、例えば、画像表示部50の表示面51を直接的に確認することにより、観察対象とした観葉植物200が画像として確実に取り込まれたかを確認すると、図示しない登録ボタンを押下する。これにより、登録ボタンが押下された旨の電気信号が処理部72に入力される。処理部72は、登録ボタンが押下された旨の電気信号を取得すると、先ほどの画像を第1のデータベース73に書き込む。これにより、当該観葉植物200が観察対象として登録されることとなる。
【0036】
〔登録後について〕
次に、登録後における情報端末装置10の通常時における作用について、図9を参照して説明する。
図5に示すように、使用状態にされた情報端末装置10が使用者の側頭部に保持された状態において、撮像装置40は、使用者の視野方向の風景を撮像し、取得した画像を処理部72に出力する。
処理部72は、撮像装置40から画像を取得すると(図9のステップSA1)、コンバイナー60を介した実視野中に観察対象、つまり観葉植物200が存在するか否かを判定する(ステップSA2;判定機能)。
具体的には、撮像装置40により取得された使用者の視線方向の風景画像と、第1のデータベース73に登録されている観葉植物200の画像とのパターンマッチングを行う。そして、撮像装置40により取得された風景画像に、観葉植物200の画像とマッチングする輪郭が認識できた場合には、コンバイナー60を介した実視野中に観葉植物200が存在すると判定する。
【0037】
実視野中に観葉植物200が存在すると判定した場合(ステップSA2において「YES」)、処理部72は、通信部71を起動させる(ステップSA3)。これにより、通信部71は、外部に設置された通信装置101との通信が可能となる。この状態において、観葉植物200が発する音声、例えば、水を吸い上げる音や風に葉がそよぐ音が、観葉植物200に設置されているマイク100により取得され、電気信号へ変換される。電気信号に変換された音声信号は、マイク100から通信装置101へ出力され、通信装置101により、通信部71へ送信される。
通信部71は、通信装置101から音声信号を受信すると、受信した音声信号を処理部72へ出力する。処理部72は、通信部71から音声信号を取得すると(ステップSA4)、この音声信号に基づいて、観察対象の状態を解析し(ステップSA5)、その解析結果に応じた表示内容を抽出して(ステップSA6)、これを画像表示制御部75へ出力する(ステップSA7)。なお、上記ステップSA4からステップSA7の処理においては、処理部71が予め保有している状態解析プログラムを実行することにより実現される。
【0038】
より具体的には、処理部72は、通信部71から入力された音声信号について、各種パラメータ(振幅、周波数パターンなど)を解析する。続いて、第2のデータベース74内に格納されている植物に対応する複数の音声テーブルを参照することにより、上記音声信号に対応する表示内容を音声テーブル300(図6乃至図8参照)から抽出する。
例えば、音声信号の振幅を解析し(例えば、平均値を算出する)、解析した振幅のレベルに応じた表示内容を「振幅」をパラメータとした音声テーブルから抽出する。また、音声信号の周波数パターンを解析し、解析した周波数パターンに該当する表示内容を「周波数パターン」をパラメータとして音声テーブルから抽出する。
このようにして、音声信号に対応する表示内容を抽出すると、この抽出した表示内容を画像表示制御部75へ出力する。
画像表示制御部75は、処理部72から入力された表示内容を画像表示部50に表示させる。これにより、図10に示すように、観葉植物200の状態を示す内容500が、コンバイナー60により、実視野中に存在する観葉植物200に重畳的に表示されることとなる。
【0039】
以上説明してきたように、本実施形態に係る情報端末装置によれば、動物や植物などの観察対象の状態は、コンバイナー60により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。これにより、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。
【0040】
〔第2の実施形態〕
次に、本発明の第2の実施形態に係る情報端末装置について説明する。なお、機械的な構造及び電気的な構造は、第1の実施形態に係る情報端末装置10と同様である。
本実施形態においては、処理部72が行う処理の内容が上述した第1の実施形態におけるものとは異なる。つまり、上述した第1の実施形態においては、実視野中に観葉植物200が存在する場合に限って、通信部71を起動させ、音声信号を取得することにより、観葉植物200の状態に応じた内容を虚像として投影させていた。
本実施形態では、観葉植物200が実視野中に存在するか否かに拘わらず、常に、通信部71を起動させておき、観葉植物200が発した音声信号を受信可能な状態とする。
更に、第2のデータベース74には、実視野中に観葉植物200が存在する場合と存在しない場合とに分けて、それぞれ音声テーブルを登録する。これにより、実視野中に観葉植物200が存在しない場合であっても、観葉植物の状態に応じた所定の表示内容を画像表示部50に表示可能な構成とする。このように、実視野中に観葉植物200が存在する場合と存在しない場合とに応じて、音声テーブルをそれぞれ設け、表示内容を異ならせることにより、違和感のない内容を使用者に対して提供することができる。
【0041】
例えば、観葉植物200が実視野中に存在しない場合には、客観的に観葉植物の状態を示す内容を表示するようにする。例えば、観葉植物200が実視野中に存在する場合では、「水がほしいよ。」と表示されるような場合において、観葉植物200が実視野中に存在しない場合には、「観葉植物が呼んでいます。」などの表示内容を表示するような構成とする。
【0042】
以上説明してきたように、本実施形態に係る情報端末装置によれば、観察対象が実視野に存在しない場合であって、通信部71を介して音声信号が処理部72に入力された場合には、観察対象が実視野中に存在する場合とは異なる表示内容を画像表示部50に表示させる。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、コンバイナー60により、音声に応じた内容が実視野中に虚像として重畳されて表示されることとなる。
これにより、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となるとともに、特に、観葉植物200などの観察対象が好ましくない状態にある場合に、使用者に注意を促すことができるので、観葉植物200の状態を良好に保つことが可能となる。
【0043】
以上、本実施形態に係る情報端末装置について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第1に、上述した実施形態においては、撮像装置40により取得された画像と予め登録されている観察対象の画像とをパターンマッチングすることにより、実視野中に観察対象が存在するか否かを判定していたが、このような態様に限らず、例えば、以下のような第1の他の態様、第2の他の態様などによっても判定を行うことが可能である。
【0044】
第1の他の態様としては、例えば、撮像装置40に代わって、位置及び方向を特定する方位情報測定部を備えるとともに、第1のデータベース73には、観察対象の画像に代わって、観察対象の配置位置、例えば、緯度及び経度からなる位置情報を登録する。
そして、処理部が備える判定機能において、方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象の配置位置が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する。
【0045】
第2の他の態様としては、例えば、観察対象の近傍に指向性の高い発振器を設置するとともに、情報端末装置10の使用時における筐体20の前方(例えば、撮像装置40が設置されている付近)に、受信機を設ける。そして、処理部が備える判定機能において、発振器から発せられた信号が、受信機により受信されたか否かを判定することにより、観察対象が実視野中に存在するか否かを判定する。
上述したような、第1の他の態様、第2の他の態様によれば、パターンマッチングなどの煩雑な処理を行うことなく、判定を行うことが可能となる。
【0046】
第2に、上述した実施形態においては、通信部71は、通信装置101から受信した音声信号をそのままの状態で処理部72に出力していたが、例えば、通信部71が音声信号から雑音などを除去するためのフィルタを備えており、フィルタによってノイズが除去された後の音声信号を処理部72に出力するような構成としても良い。
更に、観察対象が発する音声を直接的に取得するマイク100に加えて、周囲の音声を取得する第2のマイクを観察対象の近傍に配置し、マイク100により取得された音声信号と第2のマイクにより取得された音声信号との差分を最終的な音声信号として使用するようにしても良い。このように、音声信号の差分を用いることにより、マイク100により取得された音声信号から雑音を除去することが可能となるので、より正確な音声信号に基づいて、観察対象の状態を解析することが可能となる。
【0047】
第3に、上述した実施形態においては、通信部71がマイク100に接続された通信装置101から音声信号を受信することにより、観察対象が発した音声を取得していた。つまり、上述した実施形態では、通信部71が、音声を取得する音声取得部として機能している。
これに代わって、例えば、音声取得部をマイクにより構成することにより、図5に示したように、マイク100、通信装置101を介すことなく、情報端末装置が備えるマイクなどの音声取得部により、直接的に音声を取得するような構成としても良い。
【0048】
第4に、上述した実施形態においては、観察対象を観葉植物としたが、これに限られず、動物などの生物であっても良い。また、生物に限られることなく、観察対象は、機械などのように、人工的に作成されたものでも良い。例えば、機械などであれば、動作の音などを取得することにより、その機械が正常に動作しているか否かなどを表示内容として使用者に提供することが可能である。
第5に、上述した実施形態においては、処理部72がソフトウェアによる処理を実行することにより、判定機能、状態解析機能を実現させていたが、この構成例に限られず、アナログ回路などにより、判定機能、状態解析機能を実現するようにしても良い。
【0049】
次に、本発明にかかる翻訳システムの一実施形態について、図面を参照して説明する。
図11は、本実施形態に係る翻訳システムの電気的構成の概略を示したブロック図である。この図において、図4と同様の構成要素には、同一の符号を付し、詳細な説明を省略する。
【0050】
図11に示すように、翻訳システムは、情報端末装置1、サーバ2、及び観察対象に配置される音声取得装置3を備えて構成されている。
上記情報端末装置1は、機械構造的には、図1に示した第1の実施形態に係る情報端末装置10と同じであるが、筐体20に内蔵されている電気的構成要素が異なっている。
具体的には、情報端末装置1は、撮像装置40、画像表示部50、半透過型光学素子60、通信部71、画像表示制御部75、及び処理部721を備えている。
【0051】
サーバ2は、通信部6、処理部722、第1のデータベース73、及び第2のデータベース74を備えている。
音声取得装置3は、マイク100、通信装置101を備えている。
【0052】
以下、上記構成からなる翻訳システムの作用について、簡単に説明する。なお、以下の説明において、観葉植物200(図5参照)を観察対象とする。
まず、撮像装置40は、使用者の視野方向の風景を撮像し、取得した画像を処理部721に出力する。処理部721は、撮像装置40から入力された画像を通信部71を介してサーバ2へ送信する。
情報端末装置1から送信された画像は、サーバ2内の通信部6により受信され、処理部722に出力される。処理部722は、通信部6を介して当該画像を取得すると、この画像と、第1のデータベース73に登録されている観葉植物200の画像とのパターンマッチングを行い、コンバイナー60を介した実視野中に観葉植物200が存在するか否かを判定する。
【0053】
この結果、実視野中に観察植物200が存在すると判定した場合には、処理部722は、観葉植物200の音声信号を音声取得装置3から通信部6を介して取得する。処理部722は、通信部6を介して取得した観葉植物200の音声信号に基づいて観葉植物200の状態を解析し、この解析結果に応じた表示内容を第2のデータベース74から抽出する。そして、抽出した表示内容を通信部6を介して情報端末装置1へ送信する。
【0054】
サーバ2から送信された表示内容は、情報端末装置1の通信部71により受信され、処理部721に出力される。処理部721は、取得した表示内容を画像表示制御部75に出力する。画像表示制御部75は、処理部721から入力された表示内容を画像表示部50に表示させる。これにより、例えば、図10に示したように、観葉植物200の状態を示す内容500が、コンバイナー60により、実視野中に存在する慣用直物200に重畳的に表示されることとなる。
【0055】
以上、説明してきたように、本実施形態に係る翻訳システムによれば、上述した本発明の第1の実施形態に係る情報端末装置10が備えていた構成要素の一部をサーバ2に設けることにより、情報端末装置10の処理負担の軽減、筐体20の省スペース化、軽量化などを図ることができる。
【0056】
以上、本実施形態に係る翻訳システムについて図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第1に、上述した実施形態において、サーバ2が備える各構成要素や処理部722が実現させる各種機能は、一例であり、これらの一部が情報端末装置1に備えられていても良い。例えば、コンバイナー60を介した実視野中に観察対象が存在するか否かを判定する判定機能、及び、観察対象が発した音声信号に基づいて観察対象の状態を解析し、この解析結果に応じ他表意内容を第2のデータベース74から抽出する状態解析機能、又は、これらのいずれか一方が、情報端末装置1に備えられていても良い。
【0057】
第2に、第1のデータベース73又は第2のデータベース74は、処理部721及び722が実現させる機能に応じて、情報端末装置1に備えられていても良い。また、音声取得部3は、情報端末装置1に備えられていても良い。
第3に、上述した通信部71、通信部6、及び通信装置101の間で行われるデータ通信の規格は、特に限定されるものではなく、例えば、ブルーツースなどの無線インターフェースにより直接的に行われても良い。また、各通信部及び通信装置間の通信経路についても適宜選択することができる。
【図面の簡単な説明】
【0058】
【図1】本発明の第1の実施形態に係る情報端末装置の構成例を示す外観斜視図である。
【図2】本発明の第1の実施形態に係る情報端末装置の構成例を示す外観斜視図である。
【図3】図1に示した画像表示部、コンバイナーの作用を説明するための図である。
【図4】本発明の第1の実施形態に係る情報端末装置の電気的構成例を示すブロック図である。
【図5】図1に示した情報端末装置の使用時の状態を示す斜視図である。
【図6】図4に示した第2のデータベースに格納されている情報について説明するための図である。
【図7】図4に示した第2のデータベースに格納されている音声テーブルの一例を示す図である。
【図8】図4に示した第2のデータベースに格納されている音声テーブルの一例を示す図である。
【図9】本発明の第1の実施形態に係る情報端末装置の作用を示すフローチャートである。
【図10】実視野中に観察対象が存在した場合に、使用者により、コンバイナーを介して視認される画像の一例を示した図である。
【図11】本発明の一実施形態に係る翻訳システムの概略構成を示すブロック図である。
【符号の説明】
【0059】
1、10 情報端末装置
2 サーバ
3 音声取得装置
20 筐体
30 表示装置
40 撮像装置
50 画像表示部
60 コンバイナー
6、71 通信部
72、721、722 処理部
73 第1のデータベース
74 第2のデータベース
75 画像表示制御部
100 マイク
101 通信装置
【技術分野】
【0001】
この発明は、植物、動物などの生物が発した音声からその生物の状態を解析し、その生物とともにその生物の状態を表示させる情報端末装置に関するものである。
【背景技術】
【0002】
従来、赤ん坊、ペット、又は家畜などの動物の感情を人間が理解できるように翻訳し、この翻訳内容を文字や音声によりユーザに通知する翻訳装置が知られている。
例えば、特開2002−278583号公報(特許文献1)には、犬の鳴き方の違いによる犬の感情を音声又は画像として出力することにより、犬とのコミュニケーションを図ることのできる技術が開示されている。
上記特許文献1には、飼い犬の首輪に取り付けられた犬側ケースから送信された犬の鳴き声をユーザが保有する飼い主側ケースにて受信し、受信した犬の鳴き声に基づいて犬の感情を解析し、この犬の感情を文字や音声により飼い主へ伝える技術が開示されている。
【特許文献1】特開2002−278583号公報(第1−3頁、第1−4図)
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、上記特許文献1に示される技術によれば、犬の感情が、犬と乖離された状態で飼い主に通知されるため、犬の感情を把握しづらいという問題があった。
【0004】
この発明は上述した事情に鑑みてなされたものであって、植物、動物などの生物の状態をその生物に重畳させて表示することにより、観察対象とその観察対象の状態との乖離感を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、画像表示部と、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、観察対象の音声を取得する音声取得部と、前記半透過光学素子を通して視認される実視野中に存在する前記観察対象を検出する検出部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部とを備える情報端末装置を提供する。
【0006】
上記構成によれば、画像表示部に表示された情報は、半透過光学素子により、半透過光学素子を透過して視認される実視野中に、光学的に虚像として重畳的に表示される。半透過光学素子を介した実視野中に存在する動物や植物などの観察対象は、検出部により検出され、この検出結果に基づいて、実視野中に観察対象が存在するか否かが判定部により判定される。この結果、実視野中に観察対象が存在していた場合には、その観察対象が発した音声が音声取得部により取得され、取得された音声に基づいて、その観察対象の状態が状態解析部により解析される。状態解析部の解析結果は、画像制御部により、画像表示部に表示されることとなる。
これにより、動物や植物などの観察対象の状態は、半透過光学素子により、実視野中に存在する観察対象に重畳的に表示される。これにより、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。
【0007】
本発明の情報端末装置において、前記検出部が、前記実視野の方向を撮像する撮像部を備え、前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。
【0008】
上記構成によれば、実視野の方向の風景が撮像部により撮像され、撮像された風景の画像に、予め登録されている観察対象の画像情報、例えば、輪郭画像が含まれているか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。これにより、高い精度で、且つ、容易に判定を行うことが可能となる。
【0009】
本発明の情報端末装置において、前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の送信機及び受信機を備え、前記判定部が、前記送信機から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。
【0010】
上記構成によれば、検出部が備える一対の発振器及び受信機は、一方が観察対象の近傍に設置され、他方が当該本体に設置される。そして、上記発振機から発せられた信号が、受信機により受信されたか否かが判定部により判定されることによって、観察対象が実視野中に存在するか否かが判定される。これにより、非常に容易に判定を行うことが可能となる。
【0011】
本発明の情報端末装置において、前記検出部が、位置及び方向を特定する方位情報測定部を備え、前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定しても良い。
【0012】
上記構成によれば、実視野の位置及び方向が方位情報測定部により特定され、特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象が属するか否かが判定部により判定されることによって、実視野中に観察対象が存在するか否かが判定される。
これにより、植物などのように、一定の場所に固定されているような場合には、非常に容易に、且つ、高い精度で判定を行うことが可能となる。
【0013】
本発明の情報端末装置において、前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させても良い。
【0014】
上記構成によれば、観察対象が実視野に存在しない場合であって、音声取得部により観察対象の音声が取得された場合には、観察対象が実視野中に存在する場合とは異なる表示内容が画像表示制御部によって画像表示部に表示される。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、半透過光学素子により、何らかの内容が実視野中に虚像として重畳されて表示されるので、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となる。
【0015】
本発明の情報端末装置において、前記状態解析部が、前記音声と観察対象の状態とが対応付けられたデータベースと、前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部とを備えていても良い。
【0016】
上記構成によれば、データベースには、音声と観察対象の状態とが対応付けられて格納されている。そして、音声取得部により音声が取得された場合には、その取得された音声に対応する観察対象の状態が抽出部によりデータベースから抽出される。これにより、非常に容易に、且つ、速やかに生物の状態を解析することが可能となる。
例えば、植物や動物などの観察対象の状態は、音声の大小や周波数パターン等と、その状態とが対応付けられて、データベースに登録されている。
【0017】
本発明の情報端末装置において、前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動しても良い。
【0018】
上記構成によれば、実視野中に観察対象が存在する場合に限って、音声取得部が起動するので、電力の消費を抑えることが可能となる。なお、音声取得部だけでなく、状態解析部、画像表示部、半透過光学素子についても同様とすることにより、電力消費を更に抑えることが可能となる。
【0019】
本発明は、少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備えり情報端末装置と、前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、前記観察対象の音声を取得する音声取得部と、前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システムを提供する。
【発明の効果】
【0020】
本発明の情報端末装置又は翻訳システムによれば、半透過光学素子を通して視認される実視野中に存在する観察対象に対して、その観察対象の状態を重畳的に表示させるので、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。
【発明を実施するための最良の形態】
【0021】
以下に、本発明にかかる情報端末装置の一実施形態について、〔第1の実施形態〕、〔第2の実施形態〕の順に、図面を参照して説明する。
〔第1の実施形態〕
図1及び図2は、本発明の第1の実施形態に係る情報端末装置の構成例を示す外観斜視図である。図1は、使用状態における外観斜視図、図2は格納状態における外観斜視図を示している。
図1、図2に示すように、本実施形態に係る情報端末装置10は、後述する各種制御機構及び制御基板等を内蔵した筐体(本体)20の外部に、表示装置30及び撮像装置(撮像部)40を備えている。
上記表示装置30は、画像表示部50及びコンバイナー60を備えている。これら画像表示部50及びコンバイナー60は、格納状態で、筐体20を貫通する開口部21の空間部に収納され(図2参照)、それぞれが矩形状とした短辺側の一辺を筐体20に軸支されて揺動による開閉動作が可能とされる。
【0022】
画像表示部50は、例えば、液晶表示パネル(LCD)や有機EL表示パネル等のいわゆる薄型ディスプレイ(以下「表示面」という。)51を備え、後述する画像表示制御部75(図4参照)により選定された画像を表示面51に表示する。この画像表示部50は、例えば、筐体20に軸支されている支持部材52に固定され、その表示面51は、後述するコンバイナー60と格納状態で対向する面に、換言すれば、筐体20の内側に向けられている。
【0023】
コンバイナー60は、画像表示部50からの光、すなわち画像表示部50の表示面51に表示された情報の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すると、コンバイナー60は、実視野となる外界像を透過するとともに、画像表示部50の表示面51に表示された情報(例えば、画像や文字)を光学的に虚像として、実視野中の実像に重畳的に表示する半透過型光学素子である。
このコンバイナー60としては、例えば、少なくとも1面に自由曲面(3次元非球面)を有する光学素子、ハーフミラー、ホログラムなどが挙げられる。
本実施形態において、コンバイナー60は、例えば、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であり、その片面側に金属膜等の反射層が形成されている。この反射層の表面が、画像表示部50から入射した光を表面で反射させる反射面61となる。
【0024】
コンバイナー60は、図2に示すように、格納状態では、画像表示部50の表示面51と凹曲面状の反射面61とが対向するように配置される。
使用状態では、図1に示すように、この反射面61と表示面51とが略対向し、かつ、筐体20とともに略Z字状を形成するように開かれ、図3に示すように、筐体20の後端部側となる側面22が使用者の側頭部に押し当てられるように保持される。この状態において、画像表示部50の表示面51に表示された情報の光は、開口部21を通じて斜め前方へ向けて出射され、反射面61によって筐体20の後端部側へ向けて反射される。これにより、使用者には、コンバイナー60の前方に、すなわち、使用者から見てコンバイナー60よりも遠方に、画像表示部50に表示された情報が虚像として視認される。
【0025】
撮像装置40は、コンバイナー60を介した実視野中に存在する観察対象を検出する検出部として主に機能する。このため、撮像装置40は、図3に示すように、上述した使用状態において、使用者の視線方向に広がるコンバイナー60を介した実視野の風景を撮像可能な位置に設けられている。撮像装置40は、使用状態において、使用者の視線方向の風景を撮像し、取得した画像を後述する処理部72(図4参照)へ出力する。
撮像装置40としては、例えば、感光フィルム等の感光体を用いたアナログ式撮像装置を用いてもよく、またCCD素子等の撮像素子を用いたデジタル式撮像装置を用いてもよい。本実施形態では、撮像装置40として、デジタル式撮像装置が用いられている。
【0026】
次に、上述した筐体20に内蔵される電気的構成について、図4を参照して説明する。
図4は、本実施形態に係る情報端末装置の電気的構成の概略を示したブロック図である。この図において、図1乃至図3と同様の構成要素には、同一の符号を付している。
図4に示すように、筐体20には、通信部71、各種処理を実行する処理部72、第1のデータベース73、第2のデータベース74、及び画像表示部75などが内蔵されている。これら各部は、いずれも処理部72と電気的に接続されている。
通信部71は、外部に設置された通信装置101と通信を行うことにより、観察対象が発した音声信号を取得する音声取得部として、主に機能する。例えば、本実施形態において、図5に示すように、観察対象である観葉植物200の近傍には、観察対象が発した音を検出するマイク100、及びマイク100に接続される通信装置101が設置されている。
ここで、マイク100は、観察対象が発した音声を取得し、取得した音声を電気信号(以下、変換後の音声を「音声信号」という。)に変換して出力するものである。例えば、観察対象が植物であれば、その植物の幹或いは根元などに設置され、植物が水を吸い上げる音などを取得する。また、観察対象が犬などの動物である場合には、動物の首輪などに設置されることにより、動物の鳴き声などを取得する。
通信装置101は、マイク100から出力された音声信号を通信部71へ送信するものである。通信部101と通信部71との間の通信は、例えば、無線により行われる。また、観察対象が複数存在する場合には、観察対象毎に通信チャネルを設定し、通信チャネル毎に音声信号を受信できるような構成にしても良い。
通信部71は、通信装置101から受信した音声信号を処理部72に出力する。
【0027】
処理部72は、撮像装置40により取得された画像に基づいて、コンバイナー60を介した実視野中に、観察対象が存在するか否かを判定する判定機能(判定部)、通信部71から入力された音声信号に基づいて、観察対象の状態を解析する状態解析機能(状態解析部)などの各種機能を実現させる。例えば、処理部72は、図示しないCPU(中央演算装置)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成されている。上述の各種機能を実現するための一連の処理手順は、プログラムの形式でROM等に記録されており、このプログラムをCPUがRAM等に読み出して、情報の加工・演算処理を実行することにより、上記各種機能が実現される。
【0028】
処理部72は、第1のデータベース73を参照することにより、上記判定機能を実現させる。第1のデータベース73には、観察対象の画像が登録されている。なお、この観察対象の画像登録の詳細については、後述する。
【0029】
また、処理部72は、第2のデータベース74を参照することにより、上記状態解析機能を実現させる。
第2のデータベース74には、図6に示すように、観察対象の種別(例えば、犬、猫、観葉植物など)毎に、複数の音声テーブル300が対応付けられて格納されている。音声テーブル300は、音声信号の各種パラメータの状態に応じて、観察対象の状態を表す表示内容がそれぞれ対応付けられたテーブルである。
例えば、観察対象が植物である場合は、水を吸い上げる音が大きいほど、水やりが十分なされており、植物が水分を多く吸い上げている状態であると判断できる。この音量の大小は、音声信号の振幅により判断できる。従って、「振幅」をパラメータにした音声テーブルが第2のデータベース74に登録されている。
【0030】
この音声テーブルには、図7に示すように、「振幅」を数段階のレベルに分け、レベル毎に、植物の状態を表す表示内容が設定されている。例えば、「振幅」が最小レベルである「レベル1」には、水分の吸い上げが行われていない状態にあるため、「のどがかわいたようー!」、「水がほしいなあ。」などの表示内容が登録される。また、「振幅」が最大レベルである「レベル5」には、「水を飲みすぎちゃった。」、「もう飲めないよ」などの表示内容が登録されている。
【0031】
また、音声信号の周波数パターンなどにより、植物の状態をより詳細に解析することが可能となる。例えば、風により葉がそよいでいるときの音声信号の周波数パターンや、落葉の周波数パターンなどに対応して、それぞれ表示内容が設定された音声テーブルを登録する。例えば、図8に示すように、風が強く、木の幹や葉が大きく揺れている場合の周波数パターン、例えば、「周波数パターン5」には、「風が強くて大変だよー!」、「助けてー。」などの表示内容が登録され、葉が適度に当たっている状態での周波数パターン、例えば、「周波数パターン1」には、「風が気持ちいいよ。」などの表示内容が登録される。
このように、周波数パターンをパラメータとした音声テーブルが登録されていることにより、風が当たることによる植物の状態や、落葉の状態などを解析することが可能となる。
また、猫や犬、或いはその他の種別などにおいても、観察対象となる生物などが発する音に着目した音声テーブルが第2のデータベース74(図4参照)にそれぞれ格納されている。
【0032】
画像表示制御部75は、処理部72から出力される表示内容を画像表示部50に表示させる。これにより、画像表示部50に表示された表示内容は、図1に示すコンバイナー60により、虚像として、実視野中の実像に重畳されることとなる。
【0033】
このように構成された本実施形態に係る情報端末装置1の作用について、以下に説明する。なお、以下においては、一例として、図5に示すように、観葉植物200を観察対象とする場合について説明する。
【0034】
〔初期登録について〕
以下、観葉植物200を観察対象として登録するための初期登録処理について説明する。
初期登録においては、図5に示すように、例えば、使用者は、使用状態の情報端末装置10の筐体20の側部22を側頭部に押し当てるように保持する。次に、コンバイナー60を介した実視野中に、観葉植物200を確認できる状態において、筐体20の側面に設けられた図示しないシャッタスイッチを押す。これにより、シャッタスイッチが押下された旨の電気信号が、筐体20に内蔵されている処理部72(図5参照)に入力される。
処理部72は、シャッタスイッチが押下された旨の電気信号を取得すると、現時点において、撮像装置40により撮像されている画像を取り込む。これにより、使用者の視線方向の風景、つまり、観葉植物200が存在する風景が撮像装置40により撮像されて、画像として処理部72に取り込まれる。
【0035】
次に、処理部72は、取り込まれた画像を画像表示制御部75に出力することによって、画像表示部50に表示させる。これにより、使用者に対して、取り込まれた画像を確認させることが可能となる。
使用者は、例えば、画像表示部50の表示面51を直接的に確認することにより、観察対象とした観葉植物200が画像として確実に取り込まれたかを確認すると、図示しない登録ボタンを押下する。これにより、登録ボタンが押下された旨の電気信号が処理部72に入力される。処理部72は、登録ボタンが押下された旨の電気信号を取得すると、先ほどの画像を第1のデータベース73に書き込む。これにより、当該観葉植物200が観察対象として登録されることとなる。
【0036】
〔登録後について〕
次に、登録後における情報端末装置10の通常時における作用について、図9を参照して説明する。
図5に示すように、使用状態にされた情報端末装置10が使用者の側頭部に保持された状態において、撮像装置40は、使用者の視野方向の風景を撮像し、取得した画像を処理部72に出力する。
処理部72は、撮像装置40から画像を取得すると(図9のステップSA1)、コンバイナー60を介した実視野中に観察対象、つまり観葉植物200が存在するか否かを判定する(ステップSA2;判定機能)。
具体的には、撮像装置40により取得された使用者の視線方向の風景画像と、第1のデータベース73に登録されている観葉植物200の画像とのパターンマッチングを行う。そして、撮像装置40により取得された風景画像に、観葉植物200の画像とマッチングする輪郭が認識できた場合には、コンバイナー60を介した実視野中に観葉植物200が存在すると判定する。
【0037】
実視野中に観葉植物200が存在すると判定した場合(ステップSA2において「YES」)、処理部72は、通信部71を起動させる(ステップSA3)。これにより、通信部71は、外部に設置された通信装置101との通信が可能となる。この状態において、観葉植物200が発する音声、例えば、水を吸い上げる音や風に葉がそよぐ音が、観葉植物200に設置されているマイク100により取得され、電気信号へ変換される。電気信号に変換された音声信号は、マイク100から通信装置101へ出力され、通信装置101により、通信部71へ送信される。
通信部71は、通信装置101から音声信号を受信すると、受信した音声信号を処理部72へ出力する。処理部72は、通信部71から音声信号を取得すると(ステップSA4)、この音声信号に基づいて、観察対象の状態を解析し(ステップSA5)、その解析結果に応じた表示内容を抽出して(ステップSA6)、これを画像表示制御部75へ出力する(ステップSA7)。なお、上記ステップSA4からステップSA7の処理においては、処理部71が予め保有している状態解析プログラムを実行することにより実現される。
【0038】
より具体的には、処理部72は、通信部71から入力された音声信号について、各種パラメータ(振幅、周波数パターンなど)を解析する。続いて、第2のデータベース74内に格納されている植物に対応する複数の音声テーブルを参照することにより、上記音声信号に対応する表示内容を音声テーブル300(図6乃至図8参照)から抽出する。
例えば、音声信号の振幅を解析し(例えば、平均値を算出する)、解析した振幅のレベルに応じた表示内容を「振幅」をパラメータとした音声テーブルから抽出する。また、音声信号の周波数パターンを解析し、解析した周波数パターンに該当する表示内容を「周波数パターン」をパラメータとして音声テーブルから抽出する。
このようにして、音声信号に対応する表示内容を抽出すると、この抽出した表示内容を画像表示制御部75へ出力する。
画像表示制御部75は、処理部72から入力された表示内容を画像表示部50に表示させる。これにより、図10に示すように、観葉植物200の状態を示す内容500が、コンバイナー60により、実視野中に存在する観葉植物200に重畳的に表示されることとなる。
【0039】
以上説明してきたように、本実施形態に係る情報端末装置によれば、動物や植物などの観察対象の状態は、コンバイナー60により、実視野中に存在する観察対象に重畳的に表示されるので、植物、動物などの観察対象と、その観察対象の状態とを、一体性をもたせた形で表示させることができる。これにより、観察対象とその観察対象の状態との乖離を解消し、ユーザに対して、観察対象の状態をわかりやすく伝えることができるという効果を奏する。
【0040】
〔第2の実施形態〕
次に、本発明の第2の実施形態に係る情報端末装置について説明する。なお、機械的な構造及び電気的な構造は、第1の実施形態に係る情報端末装置10と同様である。
本実施形態においては、処理部72が行う処理の内容が上述した第1の実施形態におけるものとは異なる。つまり、上述した第1の実施形態においては、実視野中に観葉植物200が存在する場合に限って、通信部71を起動させ、音声信号を取得することにより、観葉植物200の状態に応じた内容を虚像として投影させていた。
本実施形態では、観葉植物200が実視野中に存在するか否かに拘わらず、常に、通信部71を起動させておき、観葉植物200が発した音声信号を受信可能な状態とする。
更に、第2のデータベース74には、実視野中に観葉植物200が存在する場合と存在しない場合とに分けて、それぞれ音声テーブルを登録する。これにより、実視野中に観葉植物200が存在しない場合であっても、観葉植物の状態に応じた所定の表示内容を画像表示部50に表示可能な構成とする。このように、実視野中に観葉植物200が存在する場合と存在しない場合とに応じて、音声テーブルをそれぞれ設け、表示内容を異ならせることにより、違和感のない内容を使用者に対して提供することができる。
【0041】
例えば、観葉植物200が実視野中に存在しない場合には、客観的に観葉植物の状態を示す内容を表示するようにする。例えば、観葉植物200が実視野中に存在する場合では、「水がほしいよ。」と表示されるような場合において、観葉植物200が実視野中に存在しない場合には、「観葉植物が呼んでいます。」などの表示内容を表示するような構成とする。
【0042】
以上説明してきたように、本実施形態に係る情報端末装置によれば、観察対象が実視野に存在しない場合であって、通信部71を介して音声信号が処理部72に入力された場合には、観察対象が実視野中に存在する場合とは異なる表示内容を画像表示部50に表示させる。これにより、観察対象が実視野中に存在しない場合であっても、観察対象が音声を発した場合には、コンバイナー60により、音声に応じた内容が実視野中に虚像として重畳されて表示されることとなる。
これにより、ユーザと生物との間でのコミュニケーションをより一層図ることが可能となるとともに、特に、観葉植物200などの観察対象が好ましくない状態にある場合に、使用者に注意を促すことができるので、観葉植物200の状態を良好に保つことが可能となる。
【0043】
以上、本実施形態に係る情報端末装置について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第1に、上述した実施形態においては、撮像装置40により取得された画像と予め登録されている観察対象の画像とをパターンマッチングすることにより、実視野中に観察対象が存在するか否かを判定していたが、このような態様に限らず、例えば、以下のような第1の他の態様、第2の他の態様などによっても判定を行うことが可能である。
【0044】
第1の他の態様としては、例えば、撮像装置40に代わって、位置及び方向を特定する方位情報測定部を備えるとともに、第1のデータベース73には、観察対象の画像に代わって、観察対象の配置位置、例えば、緯度及び経度からなる位置情報を登録する。
そして、処理部が備える判定機能において、方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内、例えば、方位情報測定部により特定された位置を中心として、方位情報測定部により特定された方向に描かれる扇状の範囲内に、予め登録されている観察対象の配置位置が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する。
【0045】
第2の他の態様としては、例えば、観察対象の近傍に指向性の高い発振器を設置するとともに、情報端末装置10の使用時における筐体20の前方(例えば、撮像装置40が設置されている付近)に、受信機を設ける。そして、処理部が備える判定機能において、発振器から発せられた信号が、受信機により受信されたか否かを判定することにより、観察対象が実視野中に存在するか否かを判定する。
上述したような、第1の他の態様、第2の他の態様によれば、パターンマッチングなどの煩雑な処理を行うことなく、判定を行うことが可能となる。
【0046】
第2に、上述した実施形態においては、通信部71は、通信装置101から受信した音声信号をそのままの状態で処理部72に出力していたが、例えば、通信部71が音声信号から雑音などを除去するためのフィルタを備えており、フィルタによってノイズが除去された後の音声信号を処理部72に出力するような構成としても良い。
更に、観察対象が発する音声を直接的に取得するマイク100に加えて、周囲の音声を取得する第2のマイクを観察対象の近傍に配置し、マイク100により取得された音声信号と第2のマイクにより取得された音声信号との差分を最終的な音声信号として使用するようにしても良い。このように、音声信号の差分を用いることにより、マイク100により取得された音声信号から雑音を除去することが可能となるので、より正確な音声信号に基づいて、観察対象の状態を解析することが可能となる。
【0047】
第3に、上述した実施形態においては、通信部71がマイク100に接続された通信装置101から音声信号を受信することにより、観察対象が発した音声を取得していた。つまり、上述した実施形態では、通信部71が、音声を取得する音声取得部として機能している。
これに代わって、例えば、音声取得部をマイクにより構成することにより、図5に示したように、マイク100、通信装置101を介すことなく、情報端末装置が備えるマイクなどの音声取得部により、直接的に音声を取得するような構成としても良い。
【0048】
第4に、上述した実施形態においては、観察対象を観葉植物としたが、これに限られず、動物などの生物であっても良い。また、生物に限られることなく、観察対象は、機械などのように、人工的に作成されたものでも良い。例えば、機械などであれば、動作の音などを取得することにより、その機械が正常に動作しているか否かなどを表示内容として使用者に提供することが可能である。
第5に、上述した実施形態においては、処理部72がソフトウェアによる処理を実行することにより、判定機能、状態解析機能を実現させていたが、この構成例に限られず、アナログ回路などにより、判定機能、状態解析機能を実現するようにしても良い。
【0049】
次に、本発明にかかる翻訳システムの一実施形態について、図面を参照して説明する。
図11は、本実施形態に係る翻訳システムの電気的構成の概略を示したブロック図である。この図において、図4と同様の構成要素には、同一の符号を付し、詳細な説明を省略する。
【0050】
図11に示すように、翻訳システムは、情報端末装置1、サーバ2、及び観察対象に配置される音声取得装置3を備えて構成されている。
上記情報端末装置1は、機械構造的には、図1に示した第1の実施形態に係る情報端末装置10と同じであるが、筐体20に内蔵されている電気的構成要素が異なっている。
具体的には、情報端末装置1は、撮像装置40、画像表示部50、半透過型光学素子60、通信部71、画像表示制御部75、及び処理部721を備えている。
【0051】
サーバ2は、通信部6、処理部722、第1のデータベース73、及び第2のデータベース74を備えている。
音声取得装置3は、マイク100、通信装置101を備えている。
【0052】
以下、上記構成からなる翻訳システムの作用について、簡単に説明する。なお、以下の説明において、観葉植物200(図5参照)を観察対象とする。
まず、撮像装置40は、使用者の視野方向の風景を撮像し、取得した画像を処理部721に出力する。処理部721は、撮像装置40から入力された画像を通信部71を介してサーバ2へ送信する。
情報端末装置1から送信された画像は、サーバ2内の通信部6により受信され、処理部722に出力される。処理部722は、通信部6を介して当該画像を取得すると、この画像と、第1のデータベース73に登録されている観葉植物200の画像とのパターンマッチングを行い、コンバイナー60を介した実視野中に観葉植物200が存在するか否かを判定する。
【0053】
この結果、実視野中に観察植物200が存在すると判定した場合には、処理部722は、観葉植物200の音声信号を音声取得装置3から通信部6を介して取得する。処理部722は、通信部6を介して取得した観葉植物200の音声信号に基づいて観葉植物200の状態を解析し、この解析結果に応じた表示内容を第2のデータベース74から抽出する。そして、抽出した表示内容を通信部6を介して情報端末装置1へ送信する。
【0054】
サーバ2から送信された表示内容は、情報端末装置1の通信部71により受信され、処理部721に出力される。処理部721は、取得した表示内容を画像表示制御部75に出力する。画像表示制御部75は、処理部721から入力された表示内容を画像表示部50に表示させる。これにより、例えば、図10に示したように、観葉植物200の状態を示す内容500が、コンバイナー60により、実視野中に存在する慣用直物200に重畳的に表示されることとなる。
【0055】
以上、説明してきたように、本実施形態に係る翻訳システムによれば、上述した本発明の第1の実施形態に係る情報端末装置10が備えていた構成要素の一部をサーバ2に設けることにより、情報端末装置10の処理負担の軽減、筐体20の省スペース化、軽量化などを図ることができる。
【0056】
以上、本実施形態に係る翻訳システムについて図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
第1に、上述した実施形態において、サーバ2が備える各構成要素や処理部722が実現させる各種機能は、一例であり、これらの一部が情報端末装置1に備えられていても良い。例えば、コンバイナー60を介した実視野中に観察対象が存在するか否かを判定する判定機能、及び、観察対象が発した音声信号に基づいて観察対象の状態を解析し、この解析結果に応じ他表意内容を第2のデータベース74から抽出する状態解析機能、又は、これらのいずれか一方が、情報端末装置1に備えられていても良い。
【0057】
第2に、第1のデータベース73又は第2のデータベース74は、処理部721及び722が実現させる機能に応じて、情報端末装置1に備えられていても良い。また、音声取得部3は、情報端末装置1に備えられていても良い。
第3に、上述した通信部71、通信部6、及び通信装置101の間で行われるデータ通信の規格は、特に限定されるものではなく、例えば、ブルーツースなどの無線インターフェースにより直接的に行われても良い。また、各通信部及び通信装置間の通信経路についても適宜選択することができる。
【図面の簡単な説明】
【0058】
【図1】本発明の第1の実施形態に係る情報端末装置の構成例を示す外観斜視図である。
【図2】本発明の第1の実施形態に係る情報端末装置の構成例を示す外観斜視図である。
【図3】図1に示した画像表示部、コンバイナーの作用を説明するための図である。
【図4】本発明の第1の実施形態に係る情報端末装置の電気的構成例を示すブロック図である。
【図5】図1に示した情報端末装置の使用時の状態を示す斜視図である。
【図6】図4に示した第2のデータベースに格納されている情報について説明するための図である。
【図7】図4に示した第2のデータベースに格納されている音声テーブルの一例を示す図である。
【図8】図4に示した第2のデータベースに格納されている音声テーブルの一例を示す図である。
【図9】本発明の第1の実施形態に係る情報端末装置の作用を示すフローチャートである。
【図10】実視野中に観察対象が存在した場合に、使用者により、コンバイナーを介して視認される画像の一例を示した図である。
【図11】本発明の一実施形態に係る翻訳システムの概略構成を示すブロック図である。
【符号の説明】
【0059】
1、10 情報端末装置
2 サーバ
3 音声取得装置
20 筐体
30 表示装置
40 撮像装置
50 画像表示部
60 コンバイナー
6、71 通信部
72、721、722 処理部
73 第1のデータベース
74 第2のデータベース
75 画像表示制御部
100 マイク
101 通信装置
【特許請求の範囲】
【請求項1】
画像表示部と、
使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、
観察対象の音声を取得する音声取得部と、
前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、
前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部と
を備える情報端末装置。
【請求項2】
前記検出部が、前記実視野の方向を撮像する撮像部を備え、
前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項1に記載の情報端末装置。
【請求項3】
前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の発振器及び受信機を備え、
前記判定部が、前記発振器から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項1に記載の情報端末装置。
【請求項4】
前記検出部が、位置及び方向を特定する方位情報測定部を備え、
前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項1に記載の情報端末装置。
【請求項5】
前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させる請求項1から請求項4のいずれかの項に記載の情報端末装置。
【請求項6】
前記状態解析部が、
前記音声と観察対象の状態とが対応付けられたデータベースと、
前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部と
を具備する請求項1から請求項5のいずれかの項に記載の情報端末装置。
【請求項7】
前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動する請求項1から請求項4のいずれかの項に記載の情報端末装置。
【請求項8】
少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備える情報端末装置と、
前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
前記観察対象の音声を取得する音声取得部と、
前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、
前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システム。
【請求項1】
画像表示部と、
使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子と、
観察対象の音声を取得する音声取得部と、
前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部と、
前記状態解析部の解析結果を前記画像表示部に表示させる画像表示制御部と
を備える情報端末装置。
【請求項2】
前記検出部が、前記実視野の方向を撮像する撮像部を備え、
前記判定部が、前記撮像部から出力される画像情報と予め登録されている観察対象の画像情報とを照合することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項1に記載の情報端末装置。
【請求項3】
前記検出部が、当該本体及び前記観察対象の近傍に設置された一対の発振器及び受信機を備え、
前記判定部が、前記発振器から発せられた信号が前記受信機により受信されたか否かにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項1に記載の情報端末装置。
【請求項4】
前記検出部が、位置及び方向を特定する方位情報測定部を備え、
前記判定部が、前記方位情報測定部により特定された位置及び方向に基づいて決定される所定の範囲内に、予め登録されている観察対象が存在するか否かを判定することにより、前記観察対象が前記実視野中に存在するか否かを判定する請求項1に記載の情報端末装置。
【請求項5】
前記観察対象が前記実視野中に存在しない場合であって、前記音声取得部により前記観察対象の音声が取得された場合には、前記画像表示制御部は、前記観察対象が前記実視野中に存在する場合と異なる表示内容を前記画像表示部に表示させる請求項1から請求項4のいずれかの項に記載の情報端末装置。
【請求項6】
前記状態解析部が、
前記音声と観察対象の状態とが対応付けられたデータベースと、
前記音声取得部により取得された音声に対応する前記観察対象の状態を前記データベースから抽出する抽出部と
を具備する請求項1から請求項5のいずれかの項に記載の情報端末装置。
【請求項7】
前記判定部により、前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部が起動する請求項1から請求項4のいずれかの項に記載の情報端末装置。
【請求項8】
少なくとも画像表示部、使用者の視線方向の実視野からの光を透過するとともに前記画像表示部に表示された情報を光学的に虚像として前記実視野中に重畳的に表示する半透過光学素子を備える情報端末装置と、
前記半透過光学素子を介した実視野中に存在する前記観察対象を検出する検出部と、
前記観察対象の音声を取得する音声取得部と、
前記検出部の検出結果に基づいて、前記観察対象が前記実視野中に存在するか否かを判定する判定部と、
前記判定部によって前記観察対象が前記実視野中に存在すると判定された場合に、前記音声取得部により取得された前記音声に基づいて、前記観察対象の状態を解析する状態解析部とを備え、
前記状態解析部の解析結果を前記情報端末装置の前記画像表示部に表示させる翻訳システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2006−154101(P2006−154101A)
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願番号】特願2004−342513(P2004−342513)
【出願日】平成16年11月26日(2004.11.26)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成18年6月15日(2006.6.15)
【国際特許分類】
【出願日】平成16年11月26日(2004.11.26)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]