説明

情報処理装置およびプログラム

【課題】複数の言語で設定されたガイダンス情報から、利用者の理解可能な言語に合わせたガイダンス情報を特別な選択操作をさせることなく選択可能とする。
【解決手段】情報処理装置は、複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、各言語を切り替えながらガイダンス情報を出力している際に、ガイダンス情報に対する応答を検出する応答検出手段と、ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理装置およびプログラムに関する。
【背景技術】
【0002】
従来、ユーザと対面した状態で、案内、宣伝、勧誘、応答などを2ヶ国語以上の言語で行う情報端末が知られている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、複数の言語に対応可能な情報端末では、使用する言語を選択したうえで、その選択した言語で案内、宣伝、勧誘、応答を開始する。すなわち、このような情報端末において、言語の選択を音声入力で行おうとする場合には、例えば、現在設定されている英語から日本語に言語を変更する場合には、英語を発声することによって日本語に変更することになる。
【0004】
ところで、このような場合、英語の話せない顧客は言語を英語から日本語に変更することができなくなる。また、顧客の発音が明瞭でない場合には、入力音声を誤認識する可能性が高くなり、言語を変更できないという問題がある。
【課題を解決するための手段】
【0005】
実施形態の情報処理装置は、複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、を備える。
【0006】
実施形態のプログラムは、コンピュータを、複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、として機能させる。
【図面の簡単な説明】
【0007】
【図1】図1は、実施形態にかかる情報処理装置の外観を示す斜視図である。
【図2】図2は、情報提供装置の電装系の構成を示すブロック図である。
【図3】図3は、アシスト装置の構成を機能的に示すブロック図である。
【図4】図4は、人物判別部の構成を機能的に示すブロック図である。
【図5】図5は、音声ガイダンスの一例を示す模式図である。
【図6】図6は、属性にあわせた声色や言い回しの設定の一例を示す模式図である。
【図7】図7は、情報処理装置の言語切替処理を示す模式図である。
【図8】図8は、言語切替処理における機能構成を示す機能ブロック図である。
【図9】図9は、言語切替処理の流れを示すフローチャートである。
【図10】図10は、属性にあわせた宣伝コンテンツの設定の一例を示す模式図である。
【発明を実施するための形態】
【0008】
図1は、実施形態にかかる情報処理装置1の外観を示す斜視図である。この情報処理装置1は、ショッピングセンターなどで利用されるものであって、顧客と対面した状態で、案内、宣伝、勧誘、応答などを2ヶ国語以上の言語で行う情報端末(サイネージ)である。このような情報処理装置1は、顧客に対する種々の情報の提供を簡易な操作で可能にした情報提供装置2と、当該情報提供装置2に対する顧客の操作をアシスト(支援)するアシスト(支援)装置3と、を備えている。
【0009】
まず、情報提供装置2について説明する。情報提供装置2は、例えばポイントサービス装置として機能する。図1に示すように、情報提供装置2は、筐体4の上面にアシスト装置3を載置している。なお、情報提供装置2の筐体4の上面には、アシスト装置3を充電するための充電ステーション(図示せず)が設けられている。
【0010】
また、情報提供装置2は、筐体4に、所定の情報をカラー画像で表示可能なLCD(Liquid Crystal Display:液晶ディスプレイ)や有機ELディスプレイなどで構成された表示装置5、この表示装置5の表示面に重ねて配置されるものであって例えば抵抗膜式のタッチパネル6、非接触型無線ICカードである会員カードや携帯電話との間でデータの授受を行うカードリーダライタ7、後述する割引券や景品引換券等を発行するための発行口8等を備えている。カードリーダライタ7は、非接触ICカードや携帯電話と無線通信を確立し、非接触ICカードや携帯電話に対して情報を読み書きする。非接触ICカードや携帯電話は、一例として現金と等価な価値を有する電子マネーや会員番号を記憶保存することが可能である。図1中、カードリーダライタ7の内部に図示しないアンテナが内蔵され、このアンテナを介して非接触ICカードや携帯電話との間の無線通信が確立される。
【0011】
このような情報提供装置2の電装系は図2に示すように構成されている。ここで、図2は情報提供装置2の電装系の構成を示すブロック図である。
【0012】
図2に示すように、情報提供装置2は、CPU(Central Processing Unit)、制御プログラムを格納するROM(Read Only Memory)、RAM(Random Access Memory)等で構成されるコンピュータ構成の情報提供制御部11と、不揮発性ROMやHDD(Hard Disk Drive)等で構成されるメモリ部12とを保有し、バス13を介して接続された通信部14を介してアシスト装置3との間で相互にオンライン通信を実行し得るように構成されている。
【0013】
また、情報提供制御部11には、バス13及びI/O機器制御部15を介して、前述した表示装置5、タッチパネル6、カードリーダライタ7が接続され、さらに、プリンタ9が接続されている。このプリンタ9は筐体4に内蔵され、情報提供制御部11の制御によって、例えば割引券や景品引換券等を印刷し発行口8から発行する。表示装置5は、情報提供制御部11の制御によって、ユーザに対する可視的なガイダンス情報として画像やメッセージを表示する。
【0014】
そして、情報提供制御部11は、CPUがROMの制御プログラムに従って動作することにより、顧客によりカードリーダライタ7にかざされた非接触ICカードや携帯電話から会員番号を取得すると、ポイント加算処理を実行する。ポイント加算処理は、一般的なポイントサービスに加え、商品の買上げに関係なく顧客が来店するだけで所定のポイントを顧客に付与する来店ポイントサービスも含む。通常、来店ポイントサービスは、来店した顧客が一日一回だけ受けられるサービスである。また、ポイント加算処理は、抽選、例えばスロットゲーム等を実行して抽選結果に応じた来店ポイントを顧客に付与することも可能である。そして、情報提供制御部11は、ポイント加算処理の結果として一定のポイント数に達した場合には、割引券や景品引換券等を発行する。
【0015】
続いて、アシスト装置3について説明する。ここで、図3はアシスト装置3の構成を機能的に示すブロック図である。図1及び図3に示すように、アシスト装置3は、主に、自身の外郭を形成する筐体21と、駆動源となるバッテリ22等とを備えている。ここで、アシスト装置3は、外部から電源を供給するための配線を持たず、上記バッテリ22で動作する。つまり、アシスト装置3は、情報提供装置2の筐体4の上面に設置された充電ステーション(図示せず)の充電用の電極に対し、自身のバッテリ22を接触させることで、自動充電を行うように構成されている。
【0016】
さらに、アシスト装置3は、図1及び図3に示すように、筐体21の外側部分に、カメラ部23と、マイク24と、スピーカ25と、通信部26と、操作部27とを備え、筐体21の内部に、画像処理部28と、人物判別部29と、音声認識部30と、動作制御部31と、記憶部32と、これらのハードウェアを統括的に制御する統括制御部33とを備える。統括制御部33は、CPU、制御プログラムを格納するROM、RAM等で構成されるコンピュータ構成となっている。
【0017】
なお、アシスト装置3は、ROMにプログラムが記憶された状態にて販売や譲渡がなされても良いし、記憶媒体に記憶された状態や通信回線を介した通信により販売または譲渡されたプログラムが任意にアシスト装置3にインストールされても良い。なお、上記の記憶媒体としては、磁気ディスク、光磁気ディスク、光ディスク、あるいは半導体メモリなどのあらゆる種類のものを利用できる。
【0018】
カメラ部23は、CCDセンサなどの撮像素子を有したものであって、アシスト装置3の周囲の状況を撮像する。画像処理部28は、カメラ部23によって撮像された映像を画像処理してデジタル画像に変換する。
【0019】
人物判別部29は、属性判別手段として機能するものであって、画像処理部28によって処理された画像から情報処理装置1の前に立つ人物の年齢及び性別を判別する。人物の年齢及び性別の判別手法としては、例えば特開2005−165447号公報に開示された技術を用いることができる。概略的には、図4に示すように、人物判別部29は、顔領域検出部51、顔特徴抽出部52、個人顔特徴作成部53、顔特徴保持部54、照合演算部55、判別部56、結果出力部57を有している。なお、人物判別部29は、統括制御部33のCPUがプログラムに従って実行することによって実現されるものであっても良い。
【0020】
顔領域検出部51は、画像処理部28により入力された画像から人物の顔領域を検出する。顔特徴抽出部52は、顔領域検出部51により検出された顔領域内の顔の特徴情報を抽出する。
【0021】
個人顔特徴作成部53は、あらかじめ男女別の幅広い年齢層の人物から個人の顔の特徴情報を作成する。顔特徴保持部54は、個人顔特徴作成部53により作成された複数の個人顔特徴情報を、当該個人顔特徴情報を取得した人物の年齢情報および性別情報と対応させて記憶(保持)している。
【0022】
照合演算部55は、顔特徴抽出部52により抽出された顔特徴情報と顔特徴保持部54に保持された複数の個人顔特徴情報とを照合することにより両情報の類似度を求め、この求めた類似度のうち所定値以上の類似度および当該所定値以上の類似度が得られた個人顔特徴情報に対応させて顔特徴保持部54に保持されている年齢情報および性別情報を出力する。
【0023】
判別部56は、照合演算部55から出力された類似度および年齢、性別情報から当該人物の年齢および性別を判別する。そして、結果出力部57は、判別部56の判別結果を出力する。
【0024】
また、図1及び図3に示すように、アシスト装置3の筐体21の一部に動作機構40が形成されており、動作制御部31は、動作機構40の駆動を制御する。ここで、動作機構40は、例えば羽形状の構造体であって、動作制御部31の制御によって上下方向に羽ばたく動作を実行することが可能である。
【0025】
スピーカ25は、ユーザに対し音声によるメッセージや報知音等を出力する。通信部26は、情報提供制御部11との間で相互に情報のやり取りを行うために設けられている。マイク24は、アシスト装置3の周囲の音や人物の発する声を集音する。操作部27は、スピーカ25より出力される情報などに基づいて、ユーザがキー操作により情報を入力するためのものである。
【0026】
音声認識部30は、マイク24を介して入力された音声信号を入力として、集音された人物の音声と対応する文字や単語列の音声認識結果を生成する。音声認識部30は、マイク24を介して入力された音声信号に対して言語辞書との比較を行うことにより利用者の発話内容を認識する。なお、音声認識部30は、日本語、英語、中国語の3カ国語にそれぞれ対応して、言語毎の辞書(日本語辞書、英語辞書および中国語辞書)を記憶する辞書メモリを備える。
【0027】
記憶部32には、情報提供装置2の操作をアシストするための情報を記憶する音声ガイダンス60やコンテンツ70が記憶されている。図5は、音声ガイダンス60の一例を示す模式図である。図5に示すように、音声ガイダンス60は、各種処理を実行するためのユーザ操作をアシストするためのものであってガイダンス番号がそれぞれ付与された一つの音声ガイダンス情報について日本語、英語、中国語の3カ国語を設定している。例えば、日本語で「こんにちは。ICカードをタッチするとクーポンが出るよ!」という音声ガイダンス情報に対して、英語および中国語に翻訳した音声ガイダンス情報も設定されている。同様に、コンテンツ70は、ユーザに対して宣伝するためのものであってコンテンツ番号がそれぞれ付与された一つの宣伝コンテンツ情報について日本語、英語、中国語の3カ国語を設定している。なお、音声ガイダンス情報や宣伝コンテンツ情報は、テキスト情報を音声信号に変換する音声合成処理を施すものであっても良いし、予め用意した音声信号を再生するものであっても良い。なお、音声合成の技術は、すでに確立しており、そのソフトウェアも市販されているので、その説明は省略する。
【0028】
なお、音声合成処理にあたっては、判別部56で判別されて結果出力部57から出力された人物の年齢および性別(人物の属性)にあわせて、口跡(声色や言い回しなど)を変えるようにしても良い。音声合成処理によれば、声色に合わせた言い回しを容易に設定・変更できる。例えば、男性には女性の声、女性には子供の声で話しかけることでより注目度をあげ、親和性の高いものにする。図6に、人物の年齢および性別(人物の属性)にあわせた声色や言い回しの設定の一例を示す。
【0029】
このように人物の年齢および性別(人物の属性)にあわせて、音声ガイダンス情報や宣伝コンテンツ情報の声色や言い回しを変えるのは、音声合成処理に限らず録音音声でもできるが、作業およびデータが膨大になる。
【0030】
次に、情報処理装置1が実行する機能について説明する。前述したように、この情報処理装置1は、顧客と対面した状態で、案内、宣伝、勧誘、応答などを3ヶ国語の言語で行う情報端末(サイネージ)である。従来、複数の言語に対応可能な情報処理装置1では、使用する言語を選択したうえで、その選択した言語で案内、宣伝、勧誘、応答を開始する。すなわち、このような情報処理装置1において、言語の選択を音声入力で行おうとする場合には、例えば、現在設定されている英語から日本語に言語を変更する場合には、英語を発声することによって日本語に変更することになる。
【0031】
ところで、このような場合、英語の話せない顧客は言語を英語から日本語に変更することができなくなる。また、顧客の発音が明瞭でない場合には、入力音声を誤認識する可能性が高くなり、言語を変更できないという問題がある。
【0032】
そこで、情報処理装置1は、図7に示すように、一定の待ち時間を含むインターバルで言語(例えば、日本語、英語、中国語の3カ国語)を切替え、利用者が反応したときの最後の言語を使用してその後の案内、応答を行うようにしたものである。
【0033】
ここで、図8は言語切替処理における機能構成を示す機能ブロック図、図9は言語切替処理の流れを示すフローチャートである。
【0034】
アシスト装置3の統括制御部33のCPUで実行されるプログラムは、図8に示すような各部(情報出力手段81、応答検出手段82、処理言語確定手段83、切替受付手段84)を含むモジュール構成となっており、実際のハードウェアとしてはCPUがROMからプログラムを読み出して実行することにより上記各部がRAM上にロードされ、情報出力手段81、応答検出手段82、処理言語確定手段83、切替受付手段84がRAM上に生成されるようになっている。
【0035】
図9のフローチャートに示すように、情報出力手段81は、人物判別部29が人物を判別した場合や操作部27からユーザのキー操作を受け付けた場合などにより、音声ガイダンスの開始を判断すると(ステップS1のYes)、所定のガイダンス番号(開始時は、“1”)が付与された音声ガイダンス情報を音声ガイダンス60から取得する(ステップS2)。
【0036】
その後、情報出力手段81は、音声ガイダンス情報中の日本語、英語、中国語の3カ国語のガイダンスを一定のインターバル時間間隔で切り替えてスピーカ25から出力するとともに、3カ国語の音声ガイダンスの切替えに合わせて音声認識部30の辞書(日本語辞書、英語辞書および中国語辞書)を切り替える(ステップS3〜S14)。ここで、言語を切り替える一定の待ち時間を含むインターバルは、約10秒に設定する。このようにインターバルに一定の待ち時間を含めるのは、音声ガイダンスによる案内後の所定時間を利用者のための応答時間として確保するためである。
【0037】
なお、インターバル時間は、操作部27からユーザのインターバル時間設定ボタンのキー操作を受け付けることなどにより、変更可能である。例えば、英語はあまり話せないが語学学習的な意味合いで英語による応答したような場合には、応答のタイミング長くするようにインターバル時間を長くすることができる。
【0038】
応答検出手段82は、上述したような一定の待ち時間を含むインターバルで言語を切替えている際に、利用者が音声ガイダンスに反応して当該音声ガイダンスの言語に応じた応答を返すことによって音声認識部30で音声が認識されたと判断した場合には(ステップS5のYes、ステップS9のYes、ステップS13のYes)、当該音声認識された言語を利用者が理解可能な言語であると判断する。
【0039】
そして、処理言語確定手段83は、応答のあった言語に応じた音声認識部30の辞書(日本語辞書、英語辞書または中国語辞書)を設定し、当該言語を使用して処理(例えば、案内や応答など)を実行する(ステップS15)。例えば、処理言語確定手段83は、応答した音声ガイダンス以後のガイダンス番号が付与された音声ガイダンス情報を順次取得して出力する。
【0040】
ところで、ステップS15における言語を使用した処理には、宣伝も含まれる。このような宣伝においては、人物の年齢および性別(人物の属性)にあわせて、声色や言い回しを変えるとともに宣伝コンテンツを変えるのが効果的である。そこで、実施形態の情報処理装置1においては、判別部56で判別されて結果出力部57から出力された人物の年齢および性別(人物の属性)にあわせて宣伝コンテンツを選択し、選択した宣伝コンテンツのテキストに基づく音声を音声合成処理によって生成する。例えば、若い女性には流行ファッションの宣伝、年配の男性には定番ブランドスーツの専門店の宣伝など、需要見込みがあるものを宣伝する。図10に、人物の年齢および性別(人物の属性)にあわせた宣伝コンテンツの設定の一例を示す。
【0041】
ステップS15の処理は、ガイダンスや宣伝の終了指示があるまで(ステップS16のYes)または言語切り替えの指示があるまで(ステップS17のYes)、繰り返される。統括制御部33のCPUは、ガイダンスや宣伝の終了指示があると、ステップS1の音声ガイダンスの開始の待ち受けに戻る。ガイダンスや宣伝の終了指示は、一定時間応答が無くなった場合でも良いし、カメラ部23で撮像した画像から人物判別部29で人物の判別ができなくなった場合でも良いし、操作部27からユーザの応答終了ボタンのキー操作を受け付けた場合でも良いし、音声認識部30がキーワード(「バイバイ」など)を認識した場合でも良い。
【0042】
また、ガイダンスや宣伝の終了指示がある前に(ステップS16のNo)、切替受付手段84が操作部27からユーザの言語切り替えボタンのキー操作を受け付けた場合などには(ステップS17のYes)、情報出力手段81は、切り替え指示の際に出力されていた音声ガイダンスに対応する音声ガイダンス情報や宣伝コンテンツに対応する宣伝コンテンツ情報を取得し(ステップS18)、日本語、英語、中国語の3カ国語のガイダンスや宣伝コンテンツを一定のインターバル時間間隔で切り替えてスピーカ25から出力するとともに、3カ国語の音声ガイダンスや宣伝コンテンツの切替えに合わせて音声認識部30の辞書(日本語辞書、英語辞書および中国語辞書)を切り替える(ステップS3〜S14)。
【0043】
なお、実施形態の情報処理装置1においては、情報提供装置2の操作をアシストするためのガイダンスや宣伝コンテンツを日本語、英語、中国語の3カ国語の音声で提示するようにしたが、これに限るものではなく、情報提供装置2の操作をアシストするためのガイダンスや宣伝コンテンツを日本語、英語、中国語の3カ国語のテキストで例えば表示装置5に表示するようにしても良い。このように情報提供装置2の操作をアシストするためのガイダンスや宣伝コンテンツをテキストで表示装置5に表示するような場合には、利用者はタッチパネル6や音声応答で情報のリクエストをすることができる。また、情報提供装置2の操作をアシストするためのガイダンスや宣伝コンテンツをテキストで表示装置5に表示するような場合には、確保されたインターバル時間の間だけタッチパネル6上にボタンを表示したり、色を変えて表示したりするなどして、そのときの言語の音声認識を動作させる。
【0044】
また、情報提供装置2の操作をアシストするためのガイダンスや宣伝コンテンツについて、音声での提示とテキストでの表示とを併用するようにしても良い。また、音声での提示とテキストでの表示とを併用する場合には、音声での提示とテキストでの表示との間で言語を変えるようにしても良い。例えば、日本語によってガイダンスや宣伝コンテンツを音声提示し、英語によってガイダンスや宣伝コンテンツをテキスト表示する。
【0045】
また、実施形態の情報処理装置1においては、判別部56で判別されて結果出力部57から出力された人物の年齢および性別(人物の属性)にあわせて、音声ガイダンスや宣伝コンテンツの声色や言い回しを変えるとともに、宣伝コンテンツを選択するようにしたが、これに限るものではない。例えば、情報出力手段81は、判別部56で判別されて結果出力部57から出力された人物の年齢および性別(人物の属性)にあわせてアシスト装置3の筐体21の一部に形成された動作機構40の動作を動作制御部31を制御することで変えるようにしても良い。このように人物の属性に応じて動きによる演出効果を行うことで、来店者誘導と集客力の向上を図ることができる。
【0046】
このように本実施形態によれば、各種処理を実行するためのユーザ操作をアシストするために、複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段81と、各言語を切り替えながらガイダンス情報を出力している際に、ガイダンス情報に対する応答を検出する応答検出手段82と、ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段83と、を備えることにより、日本語、英語、中国語の3ヶ国語の音声ガイダンスから、利用者の理解可能な言語に合わせた音声ガイダンスを特別な選択操作をさせることなく選択することができる。
【0047】
また、本実施形態によれば、情報処理装置1の周囲の状況を撮像した画像から当該情報処理装置1に対面する人物の属性を判別する属性判別手段29と、各種処理を実行するためのユーザ操作をアシストするための音声によるガイダンス情報を、属性判別手段29によって判別された人物の属性に応じて口跡を変化させて出力する情報出力手段81と、を備えることにより、人物の年齢および性別(人物の属性)を認識して音声や動きによる演出効果を行うことで、来店者誘導と集客UPが行えるので、効果的な情報提示を行うことができる。
【符号の説明】
【0048】
1 情報処理装置
29 属性判別手段
40 動作機構
81 情報出力手段
82 応答検出手段
83 処理言語確定手段
84 切替受付手段
【先行技術文献】
【特許文献】
【0049】
【特許文献1】特開2001−83991号公報

【特許請求の範囲】
【請求項1】
複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、
前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、
前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、
を備える情報処理装置。
【請求項2】
前記応答検出手段は、前記ガイダンス情報に対する応答を、言語辞書を用いた音声認識によって検出し、
前記処理言語確定手段は、前記応答を検出した言語に応じて前記言語辞書を切り替える、
請求項1記載の情報処理装置。
【請求項3】
前記応答検出手段は、前記ガイダンス情報に対する応答を、ユーザ操作に応じて検出する、
請求項1記載の情報処理装置。
【請求項4】
前記情報出力手段は、前記各言語を切り替える時間間隔を任意に設定可能である、
請求項1記載の情報処理装置。
【請求項5】
前記処理言語確定手段による前記言語の確定後に、前記言語の切り替え指示を受け付ける切替受付手段を更に備え、
前記情報出力手段は、前記処理言語確定手段による前記言語の確定後に、前記切替受付手段により前記言語の切り替え指示を受け付けた場合、切り替え指示の際に出力されていた前記ガイダンス情報について、一定の時間間隔で前記各言語を切り替えながら出力する、
請求項1記載の情報処理装置。
【請求項6】
コンピュータを、
複数の言語で設定されたガイダンス情報を一定の時間間隔で各言語を切り替えて出力する情報出力手段と、
前記各言語を切り替えながら前記ガイダンス情報を出力している際に、前記ガイダンス情報に対する応答を検出する応答検出手段と、
前記ガイダンス情報に対する応答を検出した言語を、処理を実行する言語として確定する処理言語確定手段と、
として機能させるプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate