利用者支援システム、プログラム及び情報記録媒体
【課題】カラオケの利用者の楽曲選択を支援するシステム。
【解決手段】クライアント部１１２より利用者を撮像した画像データがサーバ部１１１へ送信される。利用者検索部１５５で、その画像データより抽出した画像識別用データとテーブル１５２内の登録済み利用者の画像識別用データとの類似比較によって利用者を検索する。検索成功の場合、情報取得部１５６はテーブル１５３内の当該利用者によって以前選択された楽曲のリストを読み出してクライアント部１１２へ送信し、楽曲タイトルを表示させる。検索失敗の場合、最も類似した登録済み利用者の属性に応じてテーブル１５４よりお薦め楽曲のリストを読み出してクライアント部１１２へ送信し、その楽曲のタイトルを表示させる。
【解決手段】クライアント部１１２より利用者を撮像した画像データがサーバ部１１１へ送信される。利用者検索部１５５で、その画像データより抽出した画像識別用データとテーブル１５２内の登録済み利用者の画像識別用データとの類似比較によって利用者を検索する。検索成功の場合、情報取得部１５６はテーブル１５３内の当該利用者によって以前選択された楽曲のリストを読み出してクライアント部１１２へ送信し、楽曲タイトルを表示させる。検索失敗の場合、最も類似した登録済み利用者の属性に応じてテーブル１５４よりお薦め楽曲のリストを読み出してクライアント部１１２へ送信し、その楽曲のタイトルを表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置や番組配信可能なデジタルテレビジョン受像機などの利用者を支援するための利用者支援システムに関する。
【背景技術】
【０００２】
特許文献１に、歌唱者を歌唱中にビデオカメラで撮影し、撮影した歌唱者画像と歌唱者の氏名などの歌唱者情報を対応付けて記憶し、氏名をキーとして、その歌唱者画像及び歌唱者情報を検索しモニタに表示することができ、また、記憶されている歌唱者画像及び歌唱者情報を順にモニタに表示させることができるカラオケ装置が記載されている。
【０００３】
特許文献２には、歌唱者をビデオカメラで撮影し、その画像と基準画像との比較により、歌唱者の曲に合わせたポーズや動きを採点するカラオケ装置が記載されている。
【０００４】
【特許文献１】特開平１０−２２２１８３号公報
【特許文献２】特開２０００−２９４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
カラオケ装置の利用者が希望する楽曲の歌唱を楽しむためには、楽曲集などから楽曲コードを探す必要がある。通信回線経由で楽曲データを受信する通信カラオケ装置などでは演奏可能な楽曲数が極めて多いため、楽曲集などは分厚いものとなったり多部数に分冊されるため、利用者が希望する楽曲の楽曲コードを探す作業は煩わしく時間がかかる。また、近年のカラオケ装置はカラオケ演奏のキー（音の高低）を調節可能であり、利用者は標準以外のキーを希望する場合にはキーを調整することになるが、利用者は歌唱経験のある楽曲であっても自分に適したキーを必ずしも記憶しているわけではないので、歌い出しでキーの上げ下げに煩わされることが少なくない。また、歌唱の採点機能を備えるカラオケ装置の利用者は、高得点を獲得したことのある楽曲を得意曲として繰り返し歌唱したがるものである。しかし、数ある楽曲の中で、どの楽曲で高得点を獲得したかは利用者が覚えていない限り分からない。
【０００６】
また、番組配信可能なデジタルテレビジョン受像機の利用者が番組を視聴するためには、番組表などから番組コードを探す必要があるが、視聴可能な番組数が増加するにしたがって、その作業は煩わしく時間もかかる。また、番組を視聴する際の画質や解像度を選択可能な場合には、利用者は必要に応じて画質又は解像度を指定しなければならない。
【０００７】
本発明は、以上に鑑み、カラオケ装置やデジタルテレビジョン受像機などの利用者の負担を軽減し、また、そのような装置の使い勝手を改善するための利用者支援システムを提供することにある。
【０００８】
なお、本発明の利用者支援システムはカラオケ装置や番組配信可能なデジタルテレビジョン受像機の利用者を支援する目的に好適であるが、本発明の利用者支援システムは、他の各種装置の利用者を支援する目的にも広く適用し得るものである。
【課題を解決するための手段】
【０００９】
請求項１の発明は、特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の利用履歴情報を含む利用者情報を保持している第２の情報保持手段、 利用履歴情報の代替情報を保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システムである。
【００１０】
請求項２の発明は、特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の属性情報と利用履歴情報からなる利用者情報を保持している第２の情報保持手段、
利用履歴情報の代替情報を、利用者の属性に対応付けて保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには該読み出した利用者情報中の属性情報に対応した代替情報を前記第３の情報保持手段より読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システムである。
【００１１】
請求項３の発明は、請求項１又は２の発明に係る利用者支援システムであって、前記情報取得手段は、前記利用者検索手段によって検索が成功と判定された場合に、前記第２の情報保持手段より読み出した利用者情報中の利用履歴情報に利用の履歴が含まれていないときには、前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力することを特徴とする利用者支援システムである。
【００１２】
請求項４の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置はカラオケ装置であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、前記表示手段は利用者支援情報に含まれる楽曲のタイトルを表示することを特徴する利用者支援システムである。
【００１３】
請求項５の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置はカラオケ装置であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲とその楽曲の歌唱に対する採点の最高得点に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、前記表示手段は利用者支援情報に含まれる楽曲のタイトルを該利用者支援情報に含まれる採点の最高得点の高い楽曲順に表示することを特徴する利用者支援システムである。
【００１４】
請求項６の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置はカラオケ装置であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲と、その楽曲の歌唱時のキーに関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、前記表示手段は利用者支援情報に含まれる楽曲のタイトル及びキーを表示することを特徴する利用者支援システムである。
請求項７の発明は、請求項４又は５の発明に係る利用者支援システムであって、前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲のカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする利用者支援システムである。
【００１５】
請求項８の発明は、請求項６の発明に係る利用者支援システムであって、前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲の、該タイトルとともに表示されているキーでのカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする利用者支援システムである。
【００１６】
請求項９の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、前記表示手段は利用者支援情報に含まれる番組のタイトルを表示することを特徴する利用者支援システムである。
【００１７】
請求項１０の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の画質に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、前記表示手段は利用者支援情報に含まれる番組のタイトル及び画質を表示することを特徴する利用者支援システムである。
【００１８】
請求項１１の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の解像度に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、前記表示手段は利用者支援情報に含まれる番組のタイトル及び解像度を表示することを特徴する利用者支援システムである。
【００１９】
請求項１２の発明は、請求項９の発明に係る利用者支援システムであって、前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする利用者支援システムである。
【００２０】
請求項１３の発明は、請求項１０の発明に係る利用者支援システムであって、前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている画質での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする利用者支援システムである。
【００２１】
請求項１４の発明は、請求項１１の発明に係る利用者支援システムであって、前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている解像度での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする利用者支援システムである。
【００２２】
請求項１５の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記画像入力手段と前記表示手段は一体化されることを特徴とする利用者支援システムである。
【００２３】
請求項１６の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記利用者識別用データは画像データをウェーブレット変換して得られるウェーブレット係数データであることを特徴とする利用者支援システムである。
【００２４】
請求項１７の発明は、請求項１，２又は３の発明に係る利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラムである。
【００２５】
請求項１８の発明は、請求項１，２又は３の発明に係る利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００２６】
本発明の利用者支援システムが適用される装置としてカラオケ装置を例に挙げると、利用者は比較的限られた好みの楽曲や得意の楽曲を繰り返し歌唱する傾向がある。したがって、利用者が以前どのような楽曲を選択する操作を行ったか（利用履歴）が利用者に自動的に提示されるならば、利用者は選曲操作が容易になるであろう。
【００２７】
このような利用履歴を利用者に提示するためには利用者を識別する必要がある。本発明では利用者の識別に画像識別技術を利用するが、識別を誤る可能性を完全に排除することは現実的には難しい。また、利用者が未登録である可能性もある。利用者が登録済みであったとしても、１曲も選曲したことがなく（利用履歴がなく）、初めて選曲しようとするようなケースもある。このような利用者の識別を誤った場合や、利用者が未登録であった場合や、利用者の利用履歴がない場合に、全く情報も提示しないよりは、利用者の楽曲選択に役立つ何らかの代替情報、例えば、流行中の楽曲のタイトル、利用者と同じ年代・性別の人が好んで歌唱する楽曲のタイトルなどを提示するほうが親切であろう。
【００２８】
請求項１，２，３，１５，１６の発明によれば、以上のような点を考慮した利用者支援を行うことができ、装置の使い勝手も向上する。すなわち、利用者検索が成功したときには、その利用者に対応した利用者情報中の利用履歴情報を利用者支援情報として、その少なくとも一部の内容を利用者に提示することができる。検索が不成功のとき、又は、検索は成功したが、その利用者の利用履歴情報に利用履歴が含まれないときには、利用履歴の代替情報を利用者支援情報とし、その少なくとも一部の内容を利用者に提示することができる。また、請求項３の発明によれば、利用者情報中の属性情報（例えば年齢・性別）に応じた代替情報を利用者支援情報とし、その少なくとも一部の内容を利用者に提示することができる。また、請求項１５の発明の構成は、利用者の撮影と利用者への情報提示に都合がよい。また、請求項１７の発明に係るプログラム、又は、請求項１８の発明に係る情報記録媒体によれば、コンピュータを利用し、請求項１，２，３の発明に係る利用者支援システムを容易に実現することができる。
【００２９】
請求項１，２，３の発明は対象装置を特に限定しないものであるが、請求項４〜８の発明はカラオケ装置の利用者を支援することも目的とするものである。すなわち、請求項４〜８の発明によれば、カラオケ装置の利用者の検索が成功したときには、その利用者の利用履歴情報を利用者支援情報とし、利用者が以前選択した楽曲のタイトルを利用者に提示することができる。このように以前選択した楽曲のタイトルが提示されるならば、利用者は以前選択したことのある楽曲を繰り返し歌唱する傾向があるので利用者の楽曲選択の負担を軽減できるであろう。また、利用者検索が不成功のとき、又は、検索は成功したが、その利用者の利用履歴情報に利用履歴が含まれない（以前選択した楽曲が含まれていない）ときには、利用履歴の代替情報を利用者支援情報とし、お薦め楽曲のタイトルを利用者に提示することができる。お薦め楽曲とは、例えば流行中の楽曲やカラオケ定番曲というような楽曲であり、利用者が選択する可能性が高いため、そのタイトルが提示されるならば利用者の選曲の負担を軽減できるであろう。また、請求項５の発明によれば、利用者の検索が成功したときには、その利用者が以前選択した楽曲のタイトルを、その歌唱の際に獲得した採点の最高得点の高い順に利用者に提示することができる。このように提示するならば、利用者は高得点を獲得した楽曲を得意曲として繰り返し選択する可能性が高いので、利用者の選曲の負担が軽減されるであろう。請求項６の発明によれば、利用者の検索が成功した場合には、その利用者が以前選択した楽曲のタイトルと、その楽曲を以前歌唱した時のキーが利用者に提示されるため、利用者は提示されたいずれかの楽曲を選択した時に、キーを上げ下げすることなく直ちに自分に適したキーに設定することができる。請求項７の発明によれば、利用者が提示された楽曲のいずれかを選択するだけで、その楽曲のカラオケ演奏を自動的に開始させることができる。さらに、請求項８の発明によれば、利用者が提示された楽曲のいずれかを選択するだけで、その楽曲のカラオケ演奏を、利用者が以前歌唱した時のキーで自動的に開始させることができる。
【００３０】
請求項９〜１４の発明は番組配信可能なデジタルテレビジョン受像機の利用者を支援することも目的とするものである。すなわち、請求項９〜１４の発明によれば、デジタルテレビジョン受像機の利用者の検索が成功したときには、その利用者の利用履歴情報を利用者支援情報とし、利用者が以前選択した番組のタイトルを利用者に提示することができる。このように以前選択した番組のタイトルが提示されるならば、利用者は以前選択したことのある番組を繰り返し選択し視聴する傾向があるので利用者の番組選択の負担を軽減できるであろう。また、利用者検索が不成功のとき、又は、検索は成功したが、その利用者の利用履歴情報に利用履歴が含まれない（以前選択した楽曲が含まれていない）ときには、利用履歴の代替情報を利用者支援情報とし、お薦め番組のタイトルを利用者に提示することができる。お薦め番組とは、例えば人気もしくは注目度の高い番組などであり、利用者が選択する可能性が高いため、そのタイトルを提示するならば利用者の番組選択の負担を軽減できるであろう。また、請求項１０，１１の発明によれば、利用者の検索が成功したときには、その利用者が以前選択した番組のタイトルに加え、その番組を以前視聴した際の画質又は解像度が利用者に提示されるため、利用者は提示されたいずれかの番組を選択した時に、以前視聴時と同じ画質又は解像度に設定することができる。請求項１２の発明によれば、利用者が提示された番組のいずれかを選択するだけで、自動的にその番組を視聴することができる。さらに、請求項１３，１４８の発明によれば、利用者が提示された番組のいずれかを選択するだけで、自動的にその番組を以前視聴時と同じ画質又は解像度で視聴することができる。
【発明を実施するための最良の形態】
【００３１】
以下、カラオケ装置と番組配信可能なデジタルテレビジョン受像機を例に、本発明の実施形態について説明する。
［実施形態１］
図１は本発明の一実施形態を説明するためのブロック図である。本実施形態はカラオケ装置の利用者を支援するものである。図１において１００はカラオケ装置である。このカラオケ装置１００は、利用者により選ばれた楽曲のカラオケ演奏データ等を通信回線１０４を通じて取り込み、マイクロフォン１０３により入力される利用者の歌唱音声とともにカラオケ演奏をスピーカ１０２より出力し、また、その楽曲に関連した映像をモニタ１０１に表示する機能、利用者の歌唱を音程やリズム等の観点から採点する採点機能などを持つ。また、カラオケ装置１００は、選曲、歌唱音声やカラオケ演奏の音量調整、カラオケ演奏のキー（音の高低）の調整、利用者に関する情報の入力などの機能と、そのための操作部などを備える。このようなカラオケ装置１００は既に一般的であるので、その具体的構成の説明を省略する。
【００３２】
図１において１１０は本発明に係る利用者支援システムであり、本実施形態にあっては、カラオケ装置１００に組み込まれ、あるいは外付けされるサーバ部１１１、これと無線（電波、赤外光など）で接続されたクライアント部１１２（リモートコントローラ）とから構成される。ただし、クライアント部１１２をサーバ部１１１とケーブルで接続する態様も本実施形態に含まれる。
【００３３】
図２にクライアント部１１２の外観構造の一例を模式化して示す。クライアント部１１２は、その正面側に利用者を撮影するためのＣＣＤイメージセンサのような撮像素子１２０、サーバ部１１１より受信した利用者支援情報の内容を表示するための液晶パネルやＥＬパネルのような表示パネル１２１、利用者が選曲操作などを行うための操作部１２２が設けられている。図２に示す例にあっては、操作部１２２として、表示パネル１２１上のカーソル１２３を上下に移動させ又は表示内容を上下にスクロールさせるためのスライドレバー１２４と、カーソル位置の楽曲の選曲を指示するためのボタン１２５が設けられている。
【００３４】
また、図１に示すように、クライアント部１１２は、サーバ部１１１と情報を送受信する送受信部１３０、撮像素子１２０によって利用者の画像（本実施形態では顔の画像）を撮影し、その画像データを入力する画像入力部１３１、表示パネル１２１に利用者支援情報の内容を表示する表示部１３２、上記各部の制御や情報の送受信の制御を行う制御部１３３から構成される。操作部１２２に備えられたスライドレバー１２４とボタン１２５の操作は制御部１３３に伝達される。
【００３５】
次にサーバ部１１１の構成について説明する。サーバ部１１１は、クライアント部１１２と情報を送受信するための送受信部１５１、登録済み利用者についての画像識別用データの保持手段である画像識別テーブル１５２、登録済み利用者に関する属性情報及び利用履歴情報の保持手段である利用者情報テーブル１５３、利用履歴情報の代替情報である楽曲データリストを利用者の属性と対応付けて保持する楽曲テーブル１５４、クライアント部１１２より受信された画像データより画像識別用データを抽出するとともに、抽出された画像識別用データと画像識別テーブル１５２に格納されている登録済み利用者の画像識別用データとの類似比較を行い、最も類似した登録済み利用者を検索する利用者検索部１５５、利用者検索部１５５で検索された登録済み利用者に関する情報を利用者情報テーブル１５３より読み込み、また、読み込んだ利用者情報中の属性情報に基づいて楽曲テーブル１５４より楽曲データリストを読み込むことにより、クライアント部１１２へ送信すべき利用者支援情報を取得し出力する情報取得部１５６、各テーブル１５２，１５３，１５４の管理やカラオケ装置１００に関連した制御などを行う制御部１５７から構成されている。
【００３６】
本実施形態では、利用者検索部１５５は、画像データの２次元ウェーブレット変換を行うことにより、画像識別用データとしてのウェーブレット係数データを抽出する。このウェーブレット変換として、例えばＪＰＥＧ２０００で規定されている５×３変換又は９×７変換が用いられるが、ＨａａｒやＧａｂｏｒなど他のウェーブレット変換を用いてもよい。ウェーブレット変換は例えばデコンポジション２まで行われ、デコンポジションレベル１，２のＨＬ，ＬＨ，ＨＨサブバンドの係数データ、デコンポジションレベル２のＬＬサブバンドの係数データが抽出される。
【００３７】
したがって、本実施形態においては、画像識別テーブル１５２には、図３に示すように、登録済み利用者の名前と対応付けた形で、画像識別用データとしてのウェーブレット係数データが格納されている。
【００３８】
図４は利用者情報テーブルの一例を示す。この例では、登録済み利用者の属性情報である名前、年齢、性別と、利用履歴情報である楽曲データリストが利用者情報として格納されている。楽曲データリストは、図５に示すように利用者が以前選択した楽曲の情報（タイトルと楽曲コード）を選択された順に並べたリストである。
【００３９】
なお、利用者情報のうち、属性情報である名前、年齢、性別は、利用者の新規登録時にカラオケ装置本体１００の操作部より入力され、この名前、年齢、性別が制御部１５７によって利用者情報テーブル１５３に追加登録される。この際、クライアント部１２１の画像入力部１３１より入力された利用者の画像データがサーバ部１１１へ送信され、利用者検索部１５５によって、その画像データより画像識別用データが抽出される。この画像識別用データは利用者の名前とともに、制御部１５７により画像識別テーブル１５２に追加登録される。
【００４０】
図６に楽曲テーブル１５４の一例を示す。この例では、年代別（２０歳代、３０歳代、４０歳代以上）及び男女別に、お薦めの楽曲の情報（タイトルと楽曲コード）を並べた楽曲データリストが格納されている。
【００４１】
次に、利用者が楽曲を選んで歌唱する場合の一連の動作について説明する。まず利用者は、クライアント部１２１を手で持ち、撮像素子１２０を自分の顔に向ける。
【００４２】
クライアント部１２１の画像入力部１３１より利用者の画像データが入力され、これが制御部１３３の制御により送受信部１３０を介して送信される。この画像データはサーバ部１１１の送受信部１５１で受信されて利用者検索部１５５に入力される。
【００４３】
この時の利用者検索部１５５の動作フローを図７に示す。利用者検索部１５５において、変数summinを最大値MAXに初期設定する（ｓｔｅｐ１）。入力した画像データに対する正規化処理を行う（ｓｔｅｐ２）。この正規化処理について後述する。
【００４４】
正規化後の画像データに対し２次元ウェーブレット変換を行い、デコンポジションレベル１，２のＬＨ，ＨＬ，ＨＨサブバンド及びデコンポジションレベル２のＬＬサブバンドの係数データを画像識別用データとして抽出する（ｓｔｅｐ３）。
【００４５】
この画像識別用データと画像識別テーブル１５２に格納されている画像識別用データとの距離計算により、最も距離の小さい（類似度の最も高い）利用者を検索する（ｓｔｅｐ４〜ｓｔｅｐ１２）。まず画像識別テーブル１５２の先頭の１名分の画像識別用データを読み出し（ｓｔｅｐ４）、その画像識別用データと入力画像データより抽出された画像識別用データの対応した係数値の差の絶対値の総和sumを、両データ間の距離として算出する（ｓｔｅｐ５）。このsumとsumminの比較判定を行い（ｓｔｅｐ６）、sum＜summinならば（ｓｔｅｐ６，Ｙｅｓ）、summinにsumの値を設定し、また、当該利用者の画像識別テーブル１５２上のエントリー番号を変数entnumに設定する（ｓｔｅｐ７）。なお、同じ利用者の画像識別テーブル１５２上のエントリー番号と利用者情報テーブル１５６上のエントリー番号は対応している。画像識別テーブル１５２より次の１名分の名前と画像識別用データを読み出し（ｓｔｅｐ９）、ｓｔｅｐ５以降の処理を実行する。
【００４６】
画像識別テーブル１５２の最後の利用者のデータまで処理されると（ｓｔｅｐ８，Ｙｅｓ）、summinと所定の閾値thとの比較判定を行う（ｓｔｅｐ１０）。summin＜thならば（ｓｔｅｐ１０）、類似の程度は十分であるとして検索成功と判定し、検索成功の旨とentnumの値を検索結果として出力する（ｓｔｅｐ１１）。summin≧thならば（ｓｔｅｐ１０，Ｎｏ）、類似の程度は不十分であるとして検索不成功と判定し、検索不成功の旨とentnumの値を検索結果として出力する（ｓｔｅｐ１２）。このような検索結果は、情報取得部１５６及び制御部１５７に入力される。
【００４７】
図７はｓｔｅｐ２における正規化処理の一例を示すフローチャートである。画像の正規化には回転、位置、サイズの３つの要素があるが、クライアント部１１２に設けられた撮像素子１２０で顔を撮影するため、画像にはさほど大きな回転はないと想定される。そこで、ここに示す例では、位置とサイズについてのみ正規化を行う。
【００４８】
まず、画像中の顔領域を抽出する（ｓｔｅｐ２１）。より具体的には、最初に各画素について肌色であるか否かの判定を行う。画像データがＲ，Ｇ，Ｂの３コンポーネントからなり、各コンポーネントの値ｒ，ｇ，ｂが８ビットで表され０から２５５までの値をとるものとすると、例えば、画素のｒ，ｇ，ｂ値がｒ＜ｇ＜ｂの条件を満たし、かつ、”３０＜ｂ＜１５０”の条件を満たし、かつ、”ｂ×1.1＜ｇ＜ｂ×1.4”の条件を満たし、かつ、”ｇ＋ｂ×1.1＜ｒ＜ｇ＋ｂ×1.4＋１５”の条件を満たすときに、当該画素を肌色画素と判定する。次に、例えば、連続した（相互に接続した、もしくは、相互の距離が一定値以下の）肌色画素の塊に外接する矩形を作成し、作成された外接矩形の中で最大の外接矩形の内部の領域を顔領域として抽出する。
【００４９】
このようにして抽出された顔領域の重心を抽出し（ｓｔｅｐ２２）、その重心と画像の中心とのずれが所定値以下であるか判定する（ｓｔｅｐ２３）。ずれが所定値を越えるときには、顔領域の重心を画像の中心に移動させる処理を行う（ｓｔｅｐ２４）。例えば画像を拡大した後、顔領域の重心と画像の中心が一致するように拡大画像のトリミングを行う。次に、顔領域のサイズと基準サイズの差が所定値以下であるは判定し（ｓｔｅｐ２５）、その差が所定値を越えているならば、顔領域のサイズが基準サイズとなるように画像の変倍を行う（ｓｔｅｐ２６）。ただし、最終的な画像サイズは一定とする。
【００５０】
利用者検索部１５５より検索結果を入力された時の情報取得部１５６の動作フローを図９に示す。情報取得部１５６は、利用者情報テーブル１５３より、検索結果として渡されたentnumで示されるエントリー番号の利用者情報を読み込む（ｓｔｅｐ３１）。そして、検索結果が検索成功であり、かつ、読み込んだ利用者情報中の楽曲データリストに１以上の楽曲の情報が含まれているならば（ｓｔｅｐ３２，Ｙｅｓかつｓｔｅｐ３３，Ｙｅｓ）、その楽曲データリストの内容（すなわち、当該利用者が以前選択した楽曲のタイトルと楽曲コード）を利用者支援情報として送受信部１５１を通じクライアント部１１２へ送信する（ｓｔｅｐ３４）。
【００５１】
一方、検索結果が検索不成功であるとき、つまり当該利用者が登録済み利用者の中に見つからなかったとき、又は、当該利用者は見つかったが、読み出した利用者情報中の楽曲データリストに楽曲の情報が含まれていないときには（ｓｔｅｐ３２，Ｎｏ又はｓｔｅｐ３３，Ｎｏ）、読み出した利用者情報中の属性情報である年齢と性別に基づいて、その属性に対応した楽曲データリスト（推奨曲のタイトルと楽曲コード）を楽曲テーブル１５４より読み込み、その楽曲データリストの内容を利用者支援情報として送受信部１５１を通じクライアント部１１２へ送信する（ｓｔｅｐ３５）。ここでは楽曲テーブル１５４は図６に示したような内容であるため、例えば、利用者情報中の属性情報で示される年齢が２５歳、性別が女性ならば、２０歳代・女性に対応した楽曲データリストが読み出されて送信される。
【００５２】
クライアント部１１２においては、サーバ部１１１より送信された楽曲データリストを送受信部１３０により受信し、制御部１３３は、その楽曲データリスト中の楽曲タイトルを表示部１３２へ送り表示パネル１２１に表示させる。例えば図２に示すように、楽曲のタイトルが縦方向に並べて表示される。利用者は、スライドレバー１２４を操作することにより、カーソル１２３を希望する楽曲のタイトルに合わせることができる。制御部１３３は、スライドレバー１２４の操作信号に応じて、カーソル１２３を上下に移動させ、又は楽曲タイトルを上下にスクロールさせるように表示部１３２を制御する。利用者は、希望する楽曲のタイトルにカーソル１３２を合わせた後、ボタン１２５を操作することにより、その楽曲を選択することができる。制御部１３３は、ボタン１２５の操作信号が入力すると、受信し記憶している楽曲データリストより、選択された楽曲のタイトルと楽曲コードを読み出して送受信部１３０を通じてサーバ部１１１へ送信する。
【００５３】
なお、表示されたタイトル中に利用者が希望する楽曲のタイトルが見つからない場合には、楽曲コードを指定することにより任意の楽曲を選択することも可能である。この楽曲コードの指定は、例えばクライアント部１１２に設けられたテンキー（図２には不図示）の操作によって行うことも、カラオケ装置本体１００に設けられている操作部の操作によって行うことができる。ここでは前者の場合を想定する。制御部１３３は、テンキーで指定された楽曲コードを取り込み、ボタン１２５の操作信号に応答して、その楽曲コードをサーバ部１１１へ送信する。
【００５４】
クライアント部１１２より楽曲コードを受信したサーバ部１１１の制御部１５７の動作フローを図１０に示す。制御部１５７は、カラオケ装置本体１００に対し、受信した楽曲コードを送り、当該楽曲のカラオケ演奏及び関連映像の表示の開始を指示する（ｓｔｅｐ４１）。次に制御部１５７は、検索結果が検索成功（ｓｔｅｐ４２，Ｙｅｓ）の場合、クライアント部１１２より楽曲コードのみを受信し楽曲のタイトルを受信しなかったならば、当該楽曲の情報は当該利用者の楽曲データリストには含まれていないと判断し（ｓｔｅｐ４３，Ｙｅｓ）、当該楽曲のタイトルをカラオケ装置本体１１０より取得し、登録利用者情報管理テーブル１５３の検索結果のentnumで示されるエントリーの楽曲データリストに当該楽曲のタイトル及び楽曲コードを追加する処理を行う（ｓｔｅｐ４４）。例えば、図５のようにｎ個の楽曲情報が楽曲データリストに含まれている場合には、図１１に示すように最後のｎ番目の楽曲情報の次に、新たに選択された楽曲の情報がn+1番目の楽曲情報として追加される。楽曲情報の追加により楽曲データリストに登録された楽曲数が最大数を超える場合には、１番目の楽曲情報が削除される。なお、カラオケ装置本体１００の操作部の操作により選曲が行われた場合には、選択された楽曲のタイトルと楽曲コードがカラオケ装置本体１００より制御部１５７へ送られ、制御部１５７は当該楽曲のタイトルと楽曲コードの追加処理（ｓｔｅｐ４４）を行う。
【００５５】
利用者情報テーブル１５３に格納される楽曲データリストの別の例を図１２に示す。この楽曲データリストには、利用者が以前選択した楽曲の情報（タイトル及び楽曲コード）に加え、それら各楽曲についての利用者の歌唱に対する採点の最高得点と、その時に利用者が選択したキーの情報が含まれる。
【００５６】
このような楽曲データリストの構成とした場合、サーバ部１１１において、利用者検索が成功したときに楽曲のタイトル、楽曲コード、最高得点及びキーの情報をクライアント部１１２へ送信し（図９，ｓｔｅｐ３４）、クライアント部１１２において、最高得点の高い順に楽曲のタイトルを表示させたり、タイトルとキーを表示させるようなことが可能である。そして、楽曲が選択された時に、そのタイトル、楽曲コード及びキーをサーバ部１１１へ送信し、サーバ部１１１の制御部１５７よりカラオケ装置本体１００へ、受信した楽曲コードとともにキーを送ることにより（図１０，ｓｔｅｐ４１）、当該楽曲のカラオケ演奏を当該キーで再生させることができる。このような態様も本実施形態に包含される。なお、この態様では、利用者の今回の歌唱の採点が制御部１５７へ通知され、制御部１５７において当該採点と楽曲データリストに格納されている当該楽曲の最高得点とを比較し、前者が後者より高いときには、最高得点を書き換える処理を行う。また、楽曲データリストに含まれていない楽曲が選択されたときには、図１３に示すように当該楽曲の情報が楽曲データリストに追加されることになる（図１０，ｓｔｅｐ４４）。
【００５７】
また、利用者検索を成功した場合に、情報取得部１５６において、利用者情報テーブル１５３より読み出した利用者の年齢・性別に対応した楽曲データリストを楽曲テーブル１５４より読み出し、この楽曲データリストより、利用者情報テーブル１５３より読み出した楽曲データリストに含まれている楽曲と同じ楽曲の情報を削除する処理を行い、この削除処理後の楽曲データリストをクライアント部１１２へ送信するようにしてもよく、このような態様も本実施形態に包含される。かかる態様における情報取得部１５６の動作フローの一例を図１４に示す。
【００５８】
図１４において、登録利用者情報管理テーブル１５３より、利用者検索結果のentnumで示されるエントリーの利用者情報が読み出される（ｓｔｅｐ５１）。この利用者情報中の年齢・性別に対応した楽曲データリストが楽曲テーブル１５４より読み出される（ｓｔｅｐ５２）。そして、検索結果が検索成功ならば（ｓｔｅｐ５３，Ｙｅｓ）、ｓｔｅｐ５２で読み出された楽曲データリストより、ｓｔｅｐ５１で読み出された楽曲データリストに含まれる楽曲情報を削除した楽曲データリストが作成され、これがクライアント部１１２へ送信される（ｓｔｅｐ５４）。検索結果が検索不成功ならば（ｓｔｅｐ５３，Ｎｏ）、ｓｔｅｐ５２で読み出された楽曲データリストがそのままクライアント部１１２へ送信される（ｓｔｅｐ５５）。
【００５９】
また、図９に示したような処理方法と図１４に示したような処理方法を利用者が選択できるようにしてもよい。この場合、例えば図１５に示すように、クライアント部１１２の操作部１２２に、その方法の選択のためのボタン１２６，１２７を設けることができる。ボタン１２６又はボタン１２７の操作情報は制御部１３３により送受信部１３０を通じてサーバ部１１１へ送信される。サーバ部１１１において、情報取得部１５６は、送受信部１５１で受信されたボタン１２６又は１２７の操作情報に応じて図９又は図１４に示した処理方法を選択する。このような態様も本実施形態に包含される。
【００６０】
なお、利用者情報に、名前、年齢、性別に加えて、住所や職業、体格・身長・人相などの身体的特徴を追加することも可能であり、追加した情報を楽曲テーブル１５４から読み出す楽曲データリストの選択に利用するように構成することも可能である。
［実施形態２］
図１６は本発明の他の実施形態を説明するためのブロック図である。本実施形態は、番組配信可能なデジタルテレビジョン受像機の利用者を支援するもので、図１６において１１００はデジタルテレビジョン受像機である。このデジタルテレビジョン受像機１１００は、利用者により選ばれた番組を通信回線１１０４を通じて受信して再生する機能、番組映像の画質や解像度を切り換える機能などを持つ。このようなデジタルテレビジョン受像機１１００は既に知られているので、その具体的構成の説明を省略する。
【００６１】
図１６において１１１０は本発明に係る利用者支援システムであり、本実施形態にあっては、デジタルテレビジョン受像機１１００に組み込まれるか外付けされるサーバ部１１１１、これと無線（電波、赤外光など）で接続されたクライアント部１１１２（リモートコントローラ）とから構成される。ただし、クライアント部１１１２をケーブルでサーバ部１１１１と接続する態様も本実施形態に含まれる。
【００６２】
図１７にクライアント部１１１２の外観構造の一例を模式化して示す。クライアント部１１１２は、その正面側に利用者を撮影するためのＣＣＤイメージセンサのような撮像素子１１２０、サーバ部１１１１より受信した利用者支援情報の内容を表示するための液晶パネルやＥＬパネルのような表示パネル１１２１、利用者が番組選択操作などを行うための操作部１１２２が設けられている。図１７に示す例にあっては、操作部１１２２として、表示パネル１１２１上のカーソル１１２３を上下に移動させたり表示内容を上下にスクロールさせるためのスライドレバー１１２４と、カーソル位置の番組の選択を指示するためのボタン１１２５、支援情報として表示させる内容を選択するためのボタン１１２６，１１２７が設けられている。
【００６３】
また、図１６に示すように、クライアント部１１１２は、サーバ部１１１１と情報を送受信する送受信部１１３０、撮像素子１１２０によって利用者の画像（本実施形態では顔の画像）を撮影し、その画像データを入力する画像入力部１１３１、表示パネル１１２１に利用者支援情報の内容を表示する表示部１１３２、上記各部の制御や情報の送受信の制御を行う制御部１１３３から構成される。操作部１１２２に備えられたスライドレバー１１２４やボタン１１２５，１１２６，１１２７の操作は制御部１１３３に伝達される。
【００６４】
次にサーバ部１１１１の構成について説明する。サーバ部１１１１は、クライアント部１１１２と情報を送受信するための送受信部１１５１、登録済み利用者についての画像識別用データの保持手段である画像識別テーブル１１５２、登録済み利用者に関する属性情報及び利用履歴情報の保持手段である利用者情報テーブル１１５３、利用履歴情報の代替情報であるお薦め番組のリストである番組データリストを利用者の属性と対応付けて保持する番組テーブル１１５４、クライアント部１１１２より受信された画像データより画像識別用データを抽出するとともに、抽出された画像識別用データと画像識別テーブル１１５２に格納されている登録済み利用者の画像識別用データとの類似比較を行い、最も類似した登録済み利用者を検索する利用者検索部１１５５、利用者検索部１１５５で検索された登録済み利用者に関する情報を利用者情報テーブル１１５３より読み込み、また、読み込んだ利用者情報中の属性情報に基づいて番組テーブル１１５４より番組データリストを読み込むことにより、クライアント部１１１２へ送信すべき利用者支援情報を取得し出力する情報取得部１１５６、各テーブル１１５２，１１５３，１１５４の管理や、デジタルテレビジョン受像機１１００に関連した制御などを行う制御部１１５７から構成されている。
【００６５】
本実施形態では、利用者検索部１１５５は、画像データの２次元ウェーブレット変換を行うことにより、画像識別用データとしてのウェーブレット係数データを抽出する。このウェーブレット変換として、例えばＪＰＥＧ２０００で規定されている５×３変換又は９×７変換が用いられるが、ＨａａｒやＧａｂｏｒなど他のウェーブレット変換を用いてもよい。ウェーブレット変換は例えばデコンポジション２まで行われ、デコンポジションレベル１，２のＨＬ，ＬＨ，ＨＨサブバンドの係数データ、デコンポジションレベル２のＬＬサブバンドの係数データが抽出される。
【００６６】
したがって、本実施形態においては、画像識別テーブル１１５２には、図３に示したように、登録済み利用者の名前と対応付けた形で、画像識別用データとしてのウェーブレット係数データが格納されている。
【００６７】
図１８は利用者情報テーブルの一例を示す。この例では、登録済み利用者の属性情報である名前、年齢、性別と、利用履歴情報である番組データリストが利用者情報として格納されている。楽曲データリストは、図１９に示すように利用者が以前選択した番組の情報（タイトルと番組コード）を選択された順に並べたリストである。
【００６８】
なお、利用者情報のうち、属性情報である名前、年齢、性別は、利用者の新規登録時にデジタルテレビジョン受像機１１００の操作部より入力され、この名前、年齢、性別が制御部１１５７によって利用者情報テーブル１１５３に追加登録される。この際、クライアント部１１２１の画像入力部１１３１より入力された利用者の画像データがサーバ部１１１１へ送信され、利用者検索部１１５５によって、その画像データより画像識別用データが抽出される。この画像識別用データは利用者の名前とともに、制御部１１５７により画像識別テーブル１１５２に追加登録される。
【００６９】
図２０に番組テーブル１１５４の一例を示す。この例では、年代別（２０歳代、３０歳代、４０歳代以上）かつ男女別に、お薦め番組の情報（タイトルと番組コード）を並べた番組データリストが格納されている。
【００７０】
次に、利用者が番組を選んで視聴する場合の一連の動作について説明する。利用者は、クライアント部１１２１を手で持ち、撮像素子１１２０を自分の顔に向ける。また、ボタン１１２６又はボタン１１２７を操作する。
【００７１】
クライアント部１１２１の画像入力部１１３１より利用者の画像データが入力され、これが制御部１１３３の制御により送受信部１１３０を介して送信される。また、ボタン１１２６とボタン１１２７のどちらが選択されたかの情報が、制御部１１１３により送受信部１１３０を通じてサーバ部１１１１へ送信される。これらの送信データはサーバ部１１１１の送受信部１１５１で受信され、画像データは利用者検索部１１５５に入力され、ボタン１１２６，１１２７の選択情報は情報取得部１１５６に入力される。
【００７２】
この時の利用者検索部１１５５の動作は図７に示す通りであるので、その説明は繰り返さない。利用者検索部１１５５は、検索結果として、検索成功又は検索不成功の旨と、距離が最小となった登録済み利用者の画像識別テーブル１１５２上のエントリー番号entnumを出力する。このような検索結果は、情報取得部１１５６及び制御部１１５７に入力される。なお、同じ利用者の画像識別テーブル１１５２上のエントリー番号と利用者情報テーブル１１５６上のエントリー番号は対応している。
【００７３】
利用者検索部１１５５より検索結果を入力された時の情報取得部１１５６の動作フローを図２１に示す。情報取得部１１５６は、利用者情報テーブル１１５３より、検索結果として渡されたentnumで示されるエントリー番号の利用者情報を読み出す（ｓｔｅｐ１００）。クライアント部１１１２でボタン１１２６が選択されていて（ｓｔｅｐ１０１，Ｙｅｓ）、かつ、検索結果が検索成功であり（ｓｔｅｐ１０２，Ｙｅｓ）、かつ、読み出した利用者情報中の番組データリストに１以上の番組の情報が含まれている（ｓｔｅｐ１０３，Ｙｅｓ）ならば、その番組データリストの内容（すなわち、当該利用者が以前選択した番組のタイトルと番組コード）を送受信部１１５１を通じてクライアント部１１１２へ送信する（ｓｔｅｐ１０４）。
【００７４】
一方、クライアント部１１１２でボタン１１２７が選択されているとき（ｓｔｅｐ１０１，Ｎｏ）、検索結果が検索不成功であるとき、つまり当該利用者が登録済み利用者の中に見つからなかったとき（ｓｔｅｐ１０２，Ｎｏ）、又は、当該利用者は見つかったが、読み出した利用者情報中の番組データリストに番組の情報が含まれていないとき（ｓｔｅｐ１０３，Ｎｏ）には、読み出した利用者情報の中の属性情報である年齢及び性別に基づいて、番組テーブル１１５４より、番組データリスト（推奨番組のタイトルと番組コード）を読み出し、その番組データリストの内容を送受信部１１５１を通じてクライアント部１１１２へ送信する（ｓｔｅｐ１０５）。ここでは番組テーブル１１５４は図２０に示したような内容であるため、例えば、利用者情報で示される年齢が２５歳、性別が女性ならば、２０歳代・女性に対応した番組データリストが読み出されて送信される。
【００７５】
クライアント部１１１２においては、サーバ部１１１１より送信された番組データリストを送受信部１１３０により受信し、制御部１１３３は、その番組データリスト中の番組のタイトルを表示部１１３２へ送り表示パネル１１２１に表示させる。例えば図１７に示すように、番組のタイトルが縦方向に並べて表示される。利用者は、スライドレバー１１２４を操作することにより、カーソル１１２３を希望する番組のタイトルに合わせることができる。制御部１１３３は、スライドレバー１１２４の操作信号に応じて、カーソル１１２３を上下に移動させ、又は番組タイトルを上下にスクロールさせるように表示部１１３２を制御する。利用者は、希望する番組のタイトルにカーソル１１３２を合わせた後、ボタン１１２５を操作することにより、その番組を選択することができる。制御部１１３３は、ボタン１１２５の操作信号が入力すると、受信し記憶している番組データリストより、選択された番組のタイトルと番組コードを読み出して送受信部１１３０を通じてサーバ部１１１１へ送信する。
【００７６】
なお、表示されたタイトル中に利用者が希望する番組のタイトルが見つからない場合には、番組コードを指定することにより任意の楽曲を選択することも可能である。この番組コードの指定は、例えばクライアント部１１１２に設けられたテンキー（図１７には不図示）の操作によって行うことも、デジタルテレビジョン受像機１１００に設けられている操作部の操作によって行うことができる。ここでは前者の場合を想定する。制御部１１３３は、テンキーで指定された番組コードを取り込み、ボタン１１２５の操作信号に応答して、その番組コードをサーバ部１１１１へ送信する。
【００７７】
サーバ部１１１１において、クライアント部１１１２より受信した番組コードが入力された制御部１１５７は図２２に示すような動作をする。制御部１１５７は、デジタルテレビジョン受像機１１００に対し、受信した番組コードを送り、当該番組の受信を指示する（ｓｔｅｐ１１０）。次に制御部１１５７は、検索結果が検索成功の場合（ｓｔｅｐ１１１，Ｙｅｓ）、クライアント部１１１２より番組コードのみを受信し番組のタイトルを受信しなかったならば、当該番組の情報は当該利用者の番組データリストには含まれていないと判断し（ｓｔｅｐ１１２，Ｙｅｓ）、当該番組のタイトルをデジタルテレビジョン受像機１１００より取得し、登録利用者情報管理テーブル１１５３の検索結果のentnumで示されるエントリーの番組データリストに当該番組のタイトル及び番組コードを追加する処理を行う（ｓｔｅｐ１１３）。例えば、図１９のようにｎ個の番組情報が番組データリストに含まれている場合には、図２３に示すように最後のｎ番目の番組情報の次に、新たに選択された番組のタイトルと番組コードがn+1番目の番組情報として追加される。番組情報の追加により番組データリストに登録された番組数が最大数を超える場合には、１番目の番組情報が削除される。なお、デジタルテレビジョン受像機１１００の操作部の操作により番組選択が行われた場合には、選択された番組のタイトルと番組コードがデジタルテレビジョン受像機１１００より制御部１１５７へ送られ、制御部１１５７は当該番組のタイトルと番組コードの追加処理（ｓｔｅｐ１１３）を行う。
【００７８】
利用者情報テーブル１１５３に格納される番組データリストの別の例を図２４に示す。この番組データリストには、利用者が以前選択した番組の情報（タイトル及び番組コード）に加え、その番組を視聴した時の画質及び解像度の情報も追加される。このような番組データリストの構成とした場合、サーバ部１１１１において、利用者検索が成功したときに番組のタイトル、番組コード、画質及び解像度の情報をクライアント部１１１２へ送信し（図２１，ｓｔｅｐ１０４）、クライアント部１１１２において、画質や解像度の高い順に番組のタイトルを表示させたり、解像度や解像度をタイトルとともに表示させるようなことが可能である。そして、番組曲が選択された時に、そのタイトル、番組コード、画質及び解像度をサーバ部１１１１へ送信し、サーバ部１１１１の制御部１１５７よりデジタルテレビジョン受像機１１００へ、受信した番組コードとともに画質及び解像度の情報を送ることにより（図２２，ｓｔｅｐ１１０）、その画質及び解像度で当該番組の映像を再生させることができる。このような態様も本実施形態に包含される。また、番組データリストに含まれていない番組が選択されたときには、図２５に示すように、当該番組のデータが番組データリストの最後に追加されることになる（図２２，ｓｔｅｐ１１３）。
【００７９】
また、利用者検索を成功した場合に、情報取得部１１５６において、利用者情報テーブル１１５３より読み出した利用者の年齢・性別に対応した番組データリストを番組テーブル１１５４より読み出し、この番組データリストより、利用者情報テーブル１１５３より読み出した番組データリストに含まれている番組と同じ番組の情報を削除する処理を行い、この削除処理後の番組データリストをクライアント部１１１２へ送信するようにしてもよく、このような態様も本実施形態に包含される。かかる態様における情報取得部１１５６の動作フローの一例を図２６に示す。
【００８０】
図２６において、利用者情報テーブル１１５３より、利用者検索結果のentnumで示されるエントリーの利用者情報が読み出される（ｓｔｅｐ１２０）。この利用者情報中の年齢・性別に対応した番組データリストが番組テーブル１１５４より読み出される（ｓｔｅｐ１２１）。そして、検索結果が検索成功ならば（ｓｔｅｐ１２２，Ｙｅｓ）、ｓｔｅｐ１２１で読み出された番組データリストより、ｓｔｅｐ１２０で読み出された番組データリストに含まれる番組情報を削除した番組データリストが作成され、これがクライアント部１１１２へ送信される（ｓｔｅｐ１２３）。検索結果が検索不成功ならば（ｓｔｅｐ１２２，Ｎｏ）、ｓｔｅｐ１２１で読み出された番組データリストがそのままクライアント部１１１２へ送信される（ｓｔｅｐ１２４）。
【００８１】
また、図２１に示したような処理方法と図２６に示したような処理方法を利用者が選択できるようにしてもよい。この場合、クライアント部１１１２に、その選択のためのボタンを追加することができる。この追加したボタンの操作情報も制御部１１３３により送受信部１１３０を通じてサーバ部１１１１へ送信される。サーバ部１１１１において、情報取得部１１５６は、送受信部１１５１で受信された当該追加ボタンの操作情報に応じて図２１又は図２６に示した処理方法を選択する。このような態様も本実施形態に包含されるものである。
【００８２】
なお、利用者情報に、名前、年齢、性別のほか、住所や職業、さらには体格・身長・人相などを追加することも可能であり、追加した情報を番組テーブル１１５４から読み出す番組データリストの選択に利用するような構成とすることも可能である。
【００８３】
なお、図１に示したサーバ部１１１又は図１６に示したサーバ部１１１１を、ＣＰＵ、メモリ、通信インターフェースなどを備えるコンピュータを利用し実現することも容易である。すなわち、サーバ部１１１，１１１１の各部としてコンピュータを機能させるプログラムをコンピュータのメモリにロードし、ＣＰＵに実行させることにより、コンピュータをサーバ部１１１，１１１１として動作させることができる。このようなプログラム、及び、同プログラムが記録された半導体素子、磁気ディスク、光ディスク、光磁気ディスクなどのコンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含される。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態１を説明するためのブロック図である。
【図２】クライアント部の外観を模式的に示す図である。
【図３】画像識別テーブルの説明図である。
【図４】利用者情報テーブルの説明図である。
【図５】楽曲データリストの説明図である。
【図６】楽曲テーブルの説明図である。
【図７】利用者検索部の動作を説明するためのフローチャートである。
【図８】画像正規化処理の一例を説明するためのフローチャートである。
【図９】情報取得部の動作を説明するためのフローチャートである。
【図１０】サーバ部の制御部の動作を説明するたのフローチャートである。
【図１１】利用者情報中の楽曲データリストへの楽曲追加の説明図である。
【図１２】楽曲データリストの説明図である。
【図１３】利用者情報中の楽曲データリストへの楽曲追加の説明図である。
【図１４】情報取得部の動作を説明するためのフローチャートである。
【図１５】クライアント部の外観を模式的に示す図である。
【図１６】本発明の実施形態２を説明するためのブロック図である。
【図１７】クライアント部の外観を模式的に示す図である。
【図１８】利用者情報テーブルの説明図である。
【図１９】利用者情報中の番組データリストの説明図である。
【図２０】番組テーブルの説明図である。
【図２１】情報取得部の動作を説明するためのフローチャートである。
【図２２】サーバ部の制御部の動作を説明するためのフローチャートである。
【図２３】利用者情報中の番組データリストへの番組追加の説明図である。
【図２４】番組データリストの説明図である。
【図２５】利用者情報中の番組データリストへの番組追加の説明図である。
【図２６】情報取得部の動作を説明するためのフローチャートである。
【符号の説明】
【００８５】
１００ カラオケ装置本体
１１０ 利用者支援システム
１１１ サーバ部
１１２ クライアント部（リモートコントローラ）
１２２ 操作部
１３０ 送受信部
１３１ 画像入力部
１３２ 表示部
１３３ 制御部
１５１ 送受信部
１５２ 画像識別テーブル
１５３ 利用者情報テーブル
１５４ 楽曲テーブル
１５５ 利用者検索部
１５６ 情報取得部
１５７ 制御部
１１００ デジタルテレビジョン受像機本体
１１１０ 利用者支援システム
１１１１ サーバ部
１１１２ クライアント部（リモートコントローラ）
１１２２ 操作部
１１３０ 送受信部
１１３１ 画像入力部
１１３２ 表示部
１１３３ 制御部
１１５１ 送受信部
１１５２ 画像識別テーブル
１１５３ 利用者情報テーブル
１１５４ 番組テーブル
１１５５ 利用者検索部
１１５６ 情報取得部
１１５７ 制御部
【技術分野】
【０００１】
本発明は、カラオケ装置や番組配信可能なデジタルテレビジョン受像機などの利用者を支援するための利用者支援システムに関する。
【背景技術】
【０００２】
特許文献１に、歌唱者を歌唱中にビデオカメラで撮影し、撮影した歌唱者画像と歌唱者の氏名などの歌唱者情報を対応付けて記憶し、氏名をキーとして、その歌唱者画像及び歌唱者情報を検索しモニタに表示することができ、また、記憶されている歌唱者画像及び歌唱者情報を順にモニタに表示させることができるカラオケ装置が記載されている。
【０００３】
特許文献２には、歌唱者をビデオカメラで撮影し、その画像と基準画像との比較により、歌唱者の曲に合わせたポーズや動きを採点するカラオケ装置が記載されている。
【０００４】
【特許文献１】特開平１０−２２２１８３号公報
【特許文献２】特開２０００−２９４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
カラオケ装置の利用者が希望する楽曲の歌唱を楽しむためには、楽曲集などから楽曲コードを探す必要がある。通信回線経由で楽曲データを受信する通信カラオケ装置などでは演奏可能な楽曲数が極めて多いため、楽曲集などは分厚いものとなったり多部数に分冊されるため、利用者が希望する楽曲の楽曲コードを探す作業は煩わしく時間がかかる。また、近年のカラオケ装置はカラオケ演奏のキー（音の高低）を調節可能であり、利用者は標準以外のキーを希望する場合にはキーを調整することになるが、利用者は歌唱経験のある楽曲であっても自分に適したキーを必ずしも記憶しているわけではないので、歌い出しでキーの上げ下げに煩わされることが少なくない。また、歌唱の採点機能を備えるカラオケ装置の利用者は、高得点を獲得したことのある楽曲を得意曲として繰り返し歌唱したがるものである。しかし、数ある楽曲の中で、どの楽曲で高得点を獲得したかは利用者が覚えていない限り分からない。
【０００６】
また、番組配信可能なデジタルテレビジョン受像機の利用者が番組を視聴するためには、番組表などから番組コードを探す必要があるが、視聴可能な番組数が増加するにしたがって、その作業は煩わしく時間もかかる。また、番組を視聴する際の画質や解像度を選択可能な場合には、利用者は必要に応じて画質又は解像度を指定しなければならない。
【０００７】
本発明は、以上に鑑み、カラオケ装置やデジタルテレビジョン受像機などの利用者の負担を軽減し、また、そのような装置の使い勝手を改善するための利用者支援システムを提供することにある。
【０００８】
なお、本発明の利用者支援システムはカラオケ装置や番組配信可能なデジタルテレビジョン受像機の利用者を支援する目的に好適であるが、本発明の利用者支援システムは、他の各種装置の利用者を支援する目的にも広く適用し得るものである。
【課題を解決するための手段】
【０００９】
請求項１の発明は、特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の利用履歴情報を含む利用者情報を保持している第２の情報保持手段、 利用履歴情報の代替情報を保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システムである。
【００１０】
請求項２の発明は、特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の属性情報と利用履歴情報からなる利用者情報を保持している第２の情報保持手段、
利用履歴情報の代替情報を、利用者の属性に対応付けて保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには該読み出した利用者情報中の属性情報に対応した代替情報を前記第３の情報保持手段より読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システムである。
【００１１】
請求項３の発明は、請求項１又は２の発明に係る利用者支援システムであって、前記情報取得手段は、前記利用者検索手段によって検索が成功と判定された場合に、前記第２の情報保持手段より読み出した利用者情報中の利用履歴情報に利用の履歴が含まれていないときには、前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力することを特徴とする利用者支援システムである。
【００１２】
請求項４の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置はカラオケ装置であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、前記表示手段は利用者支援情報に含まれる楽曲のタイトルを表示することを特徴する利用者支援システムである。
【００１３】
請求項５の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置はカラオケ装置であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲とその楽曲の歌唱に対する採点の最高得点に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、前記表示手段は利用者支援情報に含まれる楽曲のタイトルを該利用者支援情報に含まれる採点の最高得点の高い楽曲順に表示することを特徴する利用者支援システムである。
【００１４】
請求項６の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置はカラオケ装置であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲と、その楽曲の歌唱時のキーに関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、前記表示手段は利用者支援情報に含まれる楽曲のタイトル及びキーを表示することを特徴する利用者支援システムである。
請求項７の発明は、請求項４又は５の発明に係る利用者支援システムであって、前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲のカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする利用者支援システムである。
【００１５】
請求項８の発明は、請求項６の発明に係る利用者支援システムであって、前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲の、該タイトルとともに表示されているキーでのカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする利用者支援システムである。
【００１６】
請求項９の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、前記表示手段は利用者支援情報に含まれる番組のタイトルを表示することを特徴する利用者支援システムである。
【００１７】
請求項１０の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の画質に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、前記表示手段は利用者支援情報に含まれる番組のタイトル及び画質を表示することを特徴する利用者支援システムである。
【００１８】
請求項１１の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の解像度に関する情報であり、前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、前記表示手段は利用者支援情報に含まれる番組のタイトル及び解像度を表示することを特徴する利用者支援システムである。
【００１９】
請求項１２の発明は、請求項９の発明に係る利用者支援システムであって、前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする利用者支援システムである。
【００２０】
請求項１３の発明は、請求項１０の発明に係る利用者支援システムであって、前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている画質での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする利用者支援システムである。
【００２１】
請求項１４の発明は、請求項１１の発明に係る利用者支援システムであって、前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている解像度での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする利用者支援システムである。
【００２２】
請求項１５の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記画像入力手段と前記表示手段は一体化されることを特徴とする利用者支援システムである。
【００２３】
請求項１６の発明は、請求項１，２又は３の発明に係る利用者支援システムであって、前記利用者識別用データは画像データをウェーブレット変換して得られるウェーブレット係数データであることを特徴とする利用者支援システムである。
【００２４】
請求項１７の発明は、請求項１，２又は３の発明に係る利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラムである。
【００２５】
請求項１８の発明は、請求項１，２又は３の発明に係る利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００２６】
本発明の利用者支援システムが適用される装置としてカラオケ装置を例に挙げると、利用者は比較的限られた好みの楽曲や得意の楽曲を繰り返し歌唱する傾向がある。したがって、利用者が以前どのような楽曲を選択する操作を行ったか（利用履歴）が利用者に自動的に提示されるならば、利用者は選曲操作が容易になるであろう。
【００２７】
このような利用履歴を利用者に提示するためには利用者を識別する必要がある。本発明では利用者の識別に画像識別技術を利用するが、識別を誤る可能性を完全に排除することは現実的には難しい。また、利用者が未登録である可能性もある。利用者が登録済みであったとしても、１曲も選曲したことがなく（利用履歴がなく）、初めて選曲しようとするようなケースもある。このような利用者の識別を誤った場合や、利用者が未登録であった場合や、利用者の利用履歴がない場合に、全く情報も提示しないよりは、利用者の楽曲選択に役立つ何らかの代替情報、例えば、流行中の楽曲のタイトル、利用者と同じ年代・性別の人が好んで歌唱する楽曲のタイトルなどを提示するほうが親切であろう。
【００２８】
請求項１，２，３，１５，１６の発明によれば、以上のような点を考慮した利用者支援を行うことができ、装置の使い勝手も向上する。すなわち、利用者検索が成功したときには、その利用者に対応した利用者情報中の利用履歴情報を利用者支援情報として、その少なくとも一部の内容を利用者に提示することができる。検索が不成功のとき、又は、検索は成功したが、その利用者の利用履歴情報に利用履歴が含まれないときには、利用履歴の代替情報を利用者支援情報とし、その少なくとも一部の内容を利用者に提示することができる。また、請求項３の発明によれば、利用者情報中の属性情報（例えば年齢・性別）に応じた代替情報を利用者支援情報とし、その少なくとも一部の内容を利用者に提示することができる。また、請求項１５の発明の構成は、利用者の撮影と利用者への情報提示に都合がよい。また、請求項１７の発明に係るプログラム、又は、請求項１８の発明に係る情報記録媒体によれば、コンピュータを利用し、請求項１，２，３の発明に係る利用者支援システムを容易に実現することができる。
【００２９】
請求項１，２，３の発明は対象装置を特に限定しないものであるが、請求項４〜８の発明はカラオケ装置の利用者を支援することも目的とするものである。すなわち、請求項４〜８の発明によれば、カラオケ装置の利用者の検索が成功したときには、その利用者の利用履歴情報を利用者支援情報とし、利用者が以前選択した楽曲のタイトルを利用者に提示することができる。このように以前選択した楽曲のタイトルが提示されるならば、利用者は以前選択したことのある楽曲を繰り返し歌唱する傾向があるので利用者の楽曲選択の負担を軽減できるであろう。また、利用者検索が不成功のとき、又は、検索は成功したが、その利用者の利用履歴情報に利用履歴が含まれない（以前選択した楽曲が含まれていない）ときには、利用履歴の代替情報を利用者支援情報とし、お薦め楽曲のタイトルを利用者に提示することができる。お薦め楽曲とは、例えば流行中の楽曲やカラオケ定番曲というような楽曲であり、利用者が選択する可能性が高いため、そのタイトルが提示されるならば利用者の選曲の負担を軽減できるであろう。また、請求項５の発明によれば、利用者の検索が成功したときには、その利用者が以前選択した楽曲のタイトルを、その歌唱の際に獲得した採点の最高得点の高い順に利用者に提示することができる。このように提示するならば、利用者は高得点を獲得した楽曲を得意曲として繰り返し選択する可能性が高いので、利用者の選曲の負担が軽減されるであろう。請求項６の発明によれば、利用者の検索が成功した場合には、その利用者が以前選択した楽曲のタイトルと、その楽曲を以前歌唱した時のキーが利用者に提示されるため、利用者は提示されたいずれかの楽曲を選択した時に、キーを上げ下げすることなく直ちに自分に適したキーに設定することができる。請求項７の発明によれば、利用者が提示された楽曲のいずれかを選択するだけで、その楽曲のカラオケ演奏を自動的に開始させることができる。さらに、請求項８の発明によれば、利用者が提示された楽曲のいずれかを選択するだけで、その楽曲のカラオケ演奏を、利用者が以前歌唱した時のキーで自動的に開始させることができる。
【００３０】
請求項９〜１４の発明は番組配信可能なデジタルテレビジョン受像機の利用者を支援することも目的とするものである。すなわち、請求項９〜１４の発明によれば、デジタルテレビジョン受像機の利用者の検索が成功したときには、その利用者の利用履歴情報を利用者支援情報とし、利用者が以前選択した番組のタイトルを利用者に提示することができる。このように以前選択した番組のタイトルが提示されるならば、利用者は以前選択したことのある番組を繰り返し選択し視聴する傾向があるので利用者の番組選択の負担を軽減できるであろう。また、利用者検索が不成功のとき、又は、検索は成功したが、その利用者の利用履歴情報に利用履歴が含まれない（以前選択した楽曲が含まれていない）ときには、利用履歴の代替情報を利用者支援情報とし、お薦め番組のタイトルを利用者に提示することができる。お薦め番組とは、例えば人気もしくは注目度の高い番組などであり、利用者が選択する可能性が高いため、そのタイトルを提示するならば利用者の番組選択の負担を軽減できるであろう。また、請求項１０，１１の発明によれば、利用者の検索が成功したときには、その利用者が以前選択した番組のタイトルに加え、その番組を以前視聴した際の画質又は解像度が利用者に提示されるため、利用者は提示されたいずれかの番組を選択した時に、以前視聴時と同じ画質又は解像度に設定することができる。請求項１２の発明によれば、利用者が提示された番組のいずれかを選択するだけで、自動的にその番組を視聴することができる。さらに、請求項１３，１４８の発明によれば、利用者が提示された番組のいずれかを選択するだけで、自動的にその番組を以前視聴時と同じ画質又は解像度で視聴することができる。
【発明を実施するための最良の形態】
【００３１】
以下、カラオケ装置と番組配信可能なデジタルテレビジョン受像機を例に、本発明の実施形態について説明する。
［実施形態１］
図１は本発明の一実施形態を説明するためのブロック図である。本実施形態はカラオケ装置の利用者を支援するものである。図１において１００はカラオケ装置である。このカラオケ装置１００は、利用者により選ばれた楽曲のカラオケ演奏データ等を通信回線１０４を通じて取り込み、マイクロフォン１０３により入力される利用者の歌唱音声とともにカラオケ演奏をスピーカ１０２より出力し、また、その楽曲に関連した映像をモニタ１０１に表示する機能、利用者の歌唱を音程やリズム等の観点から採点する採点機能などを持つ。また、カラオケ装置１００は、選曲、歌唱音声やカラオケ演奏の音量調整、カラオケ演奏のキー（音の高低）の調整、利用者に関する情報の入力などの機能と、そのための操作部などを備える。このようなカラオケ装置１００は既に一般的であるので、その具体的構成の説明を省略する。
【００３２】
図１において１１０は本発明に係る利用者支援システムであり、本実施形態にあっては、カラオケ装置１００に組み込まれ、あるいは外付けされるサーバ部１１１、これと無線（電波、赤外光など）で接続されたクライアント部１１２（リモートコントローラ）とから構成される。ただし、クライアント部１１２をサーバ部１１１とケーブルで接続する態様も本実施形態に含まれる。
【００３３】
図２にクライアント部１１２の外観構造の一例を模式化して示す。クライアント部１１２は、その正面側に利用者を撮影するためのＣＣＤイメージセンサのような撮像素子１２０、サーバ部１１１より受信した利用者支援情報の内容を表示するための液晶パネルやＥＬパネルのような表示パネル１２１、利用者が選曲操作などを行うための操作部１２２が設けられている。図２に示す例にあっては、操作部１２２として、表示パネル１２１上のカーソル１２３を上下に移動させ又は表示内容を上下にスクロールさせるためのスライドレバー１２４と、カーソル位置の楽曲の選曲を指示するためのボタン１２５が設けられている。
【００３４】
また、図１に示すように、クライアント部１１２は、サーバ部１１１と情報を送受信する送受信部１３０、撮像素子１２０によって利用者の画像（本実施形態では顔の画像）を撮影し、その画像データを入力する画像入力部１３１、表示パネル１２１に利用者支援情報の内容を表示する表示部１３２、上記各部の制御や情報の送受信の制御を行う制御部１３３から構成される。操作部１２２に備えられたスライドレバー１２４とボタン１２５の操作は制御部１３３に伝達される。
【００３５】
次にサーバ部１１１の構成について説明する。サーバ部１１１は、クライアント部１１２と情報を送受信するための送受信部１５１、登録済み利用者についての画像識別用データの保持手段である画像識別テーブル１５２、登録済み利用者に関する属性情報及び利用履歴情報の保持手段である利用者情報テーブル１５３、利用履歴情報の代替情報である楽曲データリストを利用者の属性と対応付けて保持する楽曲テーブル１５４、クライアント部１１２より受信された画像データより画像識別用データを抽出するとともに、抽出された画像識別用データと画像識別テーブル１５２に格納されている登録済み利用者の画像識別用データとの類似比較を行い、最も類似した登録済み利用者を検索する利用者検索部１５５、利用者検索部１５５で検索された登録済み利用者に関する情報を利用者情報テーブル１５３より読み込み、また、読み込んだ利用者情報中の属性情報に基づいて楽曲テーブル１５４より楽曲データリストを読み込むことにより、クライアント部１１２へ送信すべき利用者支援情報を取得し出力する情報取得部１５６、各テーブル１５２，１５３，１５４の管理やカラオケ装置１００に関連した制御などを行う制御部１５７から構成されている。
【００３６】
本実施形態では、利用者検索部１５５は、画像データの２次元ウェーブレット変換を行うことにより、画像識別用データとしてのウェーブレット係数データを抽出する。このウェーブレット変換として、例えばＪＰＥＧ２０００で規定されている５×３変換又は９×７変換が用いられるが、ＨａａｒやＧａｂｏｒなど他のウェーブレット変換を用いてもよい。ウェーブレット変換は例えばデコンポジション２まで行われ、デコンポジションレベル１，２のＨＬ，ＬＨ，ＨＨサブバンドの係数データ、デコンポジションレベル２のＬＬサブバンドの係数データが抽出される。
【００３７】
したがって、本実施形態においては、画像識別テーブル１５２には、図３に示すように、登録済み利用者の名前と対応付けた形で、画像識別用データとしてのウェーブレット係数データが格納されている。
【００３８】
図４は利用者情報テーブルの一例を示す。この例では、登録済み利用者の属性情報である名前、年齢、性別と、利用履歴情報である楽曲データリストが利用者情報として格納されている。楽曲データリストは、図５に示すように利用者が以前選択した楽曲の情報（タイトルと楽曲コード）を選択された順に並べたリストである。
【００３９】
なお、利用者情報のうち、属性情報である名前、年齢、性別は、利用者の新規登録時にカラオケ装置本体１００の操作部より入力され、この名前、年齢、性別が制御部１５７によって利用者情報テーブル１５３に追加登録される。この際、クライアント部１２１の画像入力部１３１より入力された利用者の画像データがサーバ部１１１へ送信され、利用者検索部１５５によって、その画像データより画像識別用データが抽出される。この画像識別用データは利用者の名前とともに、制御部１５７により画像識別テーブル１５２に追加登録される。
【００４０】
図６に楽曲テーブル１５４の一例を示す。この例では、年代別（２０歳代、３０歳代、４０歳代以上）及び男女別に、お薦めの楽曲の情報（タイトルと楽曲コード）を並べた楽曲データリストが格納されている。
【００４１】
次に、利用者が楽曲を選んで歌唱する場合の一連の動作について説明する。まず利用者は、クライアント部１２１を手で持ち、撮像素子１２０を自分の顔に向ける。
【００４２】
クライアント部１２１の画像入力部１３１より利用者の画像データが入力され、これが制御部１３３の制御により送受信部１３０を介して送信される。この画像データはサーバ部１１１の送受信部１５１で受信されて利用者検索部１５５に入力される。
【００４３】
この時の利用者検索部１５５の動作フローを図７に示す。利用者検索部１５５において、変数summinを最大値MAXに初期設定する（ｓｔｅｐ１）。入力した画像データに対する正規化処理を行う（ｓｔｅｐ２）。この正規化処理について後述する。
【００４４】
正規化後の画像データに対し２次元ウェーブレット変換を行い、デコンポジションレベル１，２のＬＨ，ＨＬ，ＨＨサブバンド及びデコンポジションレベル２のＬＬサブバンドの係数データを画像識別用データとして抽出する（ｓｔｅｐ３）。
【００４５】
この画像識別用データと画像識別テーブル１５２に格納されている画像識別用データとの距離計算により、最も距離の小さい（類似度の最も高い）利用者を検索する（ｓｔｅｐ４〜ｓｔｅｐ１２）。まず画像識別テーブル１５２の先頭の１名分の画像識別用データを読み出し（ｓｔｅｐ４）、その画像識別用データと入力画像データより抽出された画像識別用データの対応した係数値の差の絶対値の総和sumを、両データ間の距離として算出する（ｓｔｅｐ５）。このsumとsumminの比較判定を行い（ｓｔｅｐ６）、sum＜summinならば（ｓｔｅｐ６，Ｙｅｓ）、summinにsumの値を設定し、また、当該利用者の画像識別テーブル１５２上のエントリー番号を変数entnumに設定する（ｓｔｅｐ７）。なお、同じ利用者の画像識別テーブル１５２上のエントリー番号と利用者情報テーブル１５６上のエントリー番号は対応している。画像識別テーブル１５２より次の１名分の名前と画像識別用データを読み出し（ｓｔｅｐ９）、ｓｔｅｐ５以降の処理を実行する。
【００４６】
画像識別テーブル１５２の最後の利用者のデータまで処理されると（ｓｔｅｐ８，Ｙｅｓ）、summinと所定の閾値thとの比較判定を行う（ｓｔｅｐ１０）。summin＜thならば（ｓｔｅｐ１０）、類似の程度は十分であるとして検索成功と判定し、検索成功の旨とentnumの値を検索結果として出力する（ｓｔｅｐ１１）。summin≧thならば（ｓｔｅｐ１０，Ｎｏ）、類似の程度は不十分であるとして検索不成功と判定し、検索不成功の旨とentnumの値を検索結果として出力する（ｓｔｅｐ１２）。このような検索結果は、情報取得部１５６及び制御部１５７に入力される。
【００４７】
図７はｓｔｅｐ２における正規化処理の一例を示すフローチャートである。画像の正規化には回転、位置、サイズの３つの要素があるが、クライアント部１１２に設けられた撮像素子１２０で顔を撮影するため、画像にはさほど大きな回転はないと想定される。そこで、ここに示す例では、位置とサイズについてのみ正規化を行う。
【００４８】
まず、画像中の顔領域を抽出する（ｓｔｅｐ２１）。より具体的には、最初に各画素について肌色であるか否かの判定を行う。画像データがＲ，Ｇ，Ｂの３コンポーネントからなり、各コンポーネントの値ｒ，ｇ，ｂが８ビットで表され０から２５５までの値をとるものとすると、例えば、画素のｒ，ｇ，ｂ値がｒ＜ｇ＜ｂの条件を満たし、かつ、”３０＜ｂ＜１５０”の条件を満たし、かつ、”ｂ×1.1＜ｇ＜ｂ×1.4”の条件を満たし、かつ、”ｇ＋ｂ×1.1＜ｒ＜ｇ＋ｂ×1.4＋１５”の条件を満たすときに、当該画素を肌色画素と判定する。次に、例えば、連続した（相互に接続した、もしくは、相互の距離が一定値以下の）肌色画素の塊に外接する矩形を作成し、作成された外接矩形の中で最大の外接矩形の内部の領域を顔領域として抽出する。
【００４９】
このようにして抽出された顔領域の重心を抽出し（ｓｔｅｐ２２）、その重心と画像の中心とのずれが所定値以下であるか判定する（ｓｔｅｐ２３）。ずれが所定値を越えるときには、顔領域の重心を画像の中心に移動させる処理を行う（ｓｔｅｐ２４）。例えば画像を拡大した後、顔領域の重心と画像の中心が一致するように拡大画像のトリミングを行う。次に、顔領域のサイズと基準サイズの差が所定値以下であるは判定し（ｓｔｅｐ２５）、その差が所定値を越えているならば、顔領域のサイズが基準サイズとなるように画像の変倍を行う（ｓｔｅｐ２６）。ただし、最終的な画像サイズは一定とする。
【００５０】
利用者検索部１５５より検索結果を入力された時の情報取得部１５６の動作フローを図９に示す。情報取得部１５６は、利用者情報テーブル１５３より、検索結果として渡されたentnumで示されるエントリー番号の利用者情報を読み込む（ｓｔｅｐ３１）。そして、検索結果が検索成功であり、かつ、読み込んだ利用者情報中の楽曲データリストに１以上の楽曲の情報が含まれているならば（ｓｔｅｐ３２，Ｙｅｓかつｓｔｅｐ３３，Ｙｅｓ）、その楽曲データリストの内容（すなわち、当該利用者が以前選択した楽曲のタイトルと楽曲コード）を利用者支援情報として送受信部１５１を通じクライアント部１１２へ送信する（ｓｔｅｐ３４）。
【００５１】
一方、検索結果が検索不成功であるとき、つまり当該利用者が登録済み利用者の中に見つからなかったとき、又は、当該利用者は見つかったが、読み出した利用者情報中の楽曲データリストに楽曲の情報が含まれていないときには（ｓｔｅｐ３２，Ｎｏ又はｓｔｅｐ３３，Ｎｏ）、読み出した利用者情報中の属性情報である年齢と性別に基づいて、その属性に対応した楽曲データリスト（推奨曲のタイトルと楽曲コード）を楽曲テーブル１５４より読み込み、その楽曲データリストの内容を利用者支援情報として送受信部１５１を通じクライアント部１１２へ送信する（ｓｔｅｐ３５）。ここでは楽曲テーブル１５４は図６に示したような内容であるため、例えば、利用者情報中の属性情報で示される年齢が２５歳、性別が女性ならば、２０歳代・女性に対応した楽曲データリストが読み出されて送信される。
【００５２】
クライアント部１１２においては、サーバ部１１１より送信された楽曲データリストを送受信部１３０により受信し、制御部１３３は、その楽曲データリスト中の楽曲タイトルを表示部１３２へ送り表示パネル１２１に表示させる。例えば図２に示すように、楽曲のタイトルが縦方向に並べて表示される。利用者は、スライドレバー１２４を操作することにより、カーソル１２３を希望する楽曲のタイトルに合わせることができる。制御部１３３は、スライドレバー１２４の操作信号に応じて、カーソル１２３を上下に移動させ、又は楽曲タイトルを上下にスクロールさせるように表示部１３２を制御する。利用者は、希望する楽曲のタイトルにカーソル１３２を合わせた後、ボタン１２５を操作することにより、その楽曲を選択することができる。制御部１３３は、ボタン１２５の操作信号が入力すると、受信し記憶している楽曲データリストより、選択された楽曲のタイトルと楽曲コードを読み出して送受信部１３０を通じてサーバ部１１１へ送信する。
【００５３】
なお、表示されたタイトル中に利用者が希望する楽曲のタイトルが見つからない場合には、楽曲コードを指定することにより任意の楽曲を選択することも可能である。この楽曲コードの指定は、例えばクライアント部１１２に設けられたテンキー（図２には不図示）の操作によって行うことも、カラオケ装置本体１００に設けられている操作部の操作によって行うことができる。ここでは前者の場合を想定する。制御部１３３は、テンキーで指定された楽曲コードを取り込み、ボタン１２５の操作信号に応答して、その楽曲コードをサーバ部１１１へ送信する。
【００５４】
クライアント部１１２より楽曲コードを受信したサーバ部１１１の制御部１５７の動作フローを図１０に示す。制御部１５７は、カラオケ装置本体１００に対し、受信した楽曲コードを送り、当該楽曲のカラオケ演奏及び関連映像の表示の開始を指示する（ｓｔｅｐ４１）。次に制御部１５７は、検索結果が検索成功（ｓｔｅｐ４２，Ｙｅｓ）の場合、クライアント部１１２より楽曲コードのみを受信し楽曲のタイトルを受信しなかったならば、当該楽曲の情報は当該利用者の楽曲データリストには含まれていないと判断し（ｓｔｅｐ４３，Ｙｅｓ）、当該楽曲のタイトルをカラオケ装置本体１１０より取得し、登録利用者情報管理テーブル１５３の検索結果のentnumで示されるエントリーの楽曲データリストに当該楽曲のタイトル及び楽曲コードを追加する処理を行う（ｓｔｅｐ４４）。例えば、図５のようにｎ個の楽曲情報が楽曲データリストに含まれている場合には、図１１に示すように最後のｎ番目の楽曲情報の次に、新たに選択された楽曲の情報がn+1番目の楽曲情報として追加される。楽曲情報の追加により楽曲データリストに登録された楽曲数が最大数を超える場合には、１番目の楽曲情報が削除される。なお、カラオケ装置本体１００の操作部の操作により選曲が行われた場合には、選択された楽曲のタイトルと楽曲コードがカラオケ装置本体１００より制御部１５７へ送られ、制御部１５７は当該楽曲のタイトルと楽曲コードの追加処理（ｓｔｅｐ４４）を行う。
【００５５】
利用者情報テーブル１５３に格納される楽曲データリストの別の例を図１２に示す。この楽曲データリストには、利用者が以前選択した楽曲の情報（タイトル及び楽曲コード）に加え、それら各楽曲についての利用者の歌唱に対する採点の最高得点と、その時に利用者が選択したキーの情報が含まれる。
【００５６】
このような楽曲データリストの構成とした場合、サーバ部１１１において、利用者検索が成功したときに楽曲のタイトル、楽曲コード、最高得点及びキーの情報をクライアント部１１２へ送信し（図９，ｓｔｅｐ３４）、クライアント部１１２において、最高得点の高い順に楽曲のタイトルを表示させたり、タイトルとキーを表示させるようなことが可能である。そして、楽曲が選択された時に、そのタイトル、楽曲コード及びキーをサーバ部１１１へ送信し、サーバ部１１１の制御部１５７よりカラオケ装置本体１００へ、受信した楽曲コードとともにキーを送ることにより（図１０，ｓｔｅｐ４１）、当該楽曲のカラオケ演奏を当該キーで再生させることができる。このような態様も本実施形態に包含される。なお、この態様では、利用者の今回の歌唱の採点が制御部１５７へ通知され、制御部１５７において当該採点と楽曲データリストに格納されている当該楽曲の最高得点とを比較し、前者が後者より高いときには、最高得点を書き換える処理を行う。また、楽曲データリストに含まれていない楽曲が選択されたときには、図１３に示すように当該楽曲の情報が楽曲データリストに追加されることになる（図１０，ｓｔｅｐ４４）。
【００５７】
また、利用者検索を成功した場合に、情報取得部１５６において、利用者情報テーブル１５３より読み出した利用者の年齢・性別に対応した楽曲データリストを楽曲テーブル１５４より読み出し、この楽曲データリストより、利用者情報テーブル１５３より読み出した楽曲データリストに含まれている楽曲と同じ楽曲の情報を削除する処理を行い、この削除処理後の楽曲データリストをクライアント部１１２へ送信するようにしてもよく、このような態様も本実施形態に包含される。かかる態様における情報取得部１５６の動作フローの一例を図１４に示す。
【００５８】
図１４において、登録利用者情報管理テーブル１５３より、利用者検索結果のentnumで示されるエントリーの利用者情報が読み出される（ｓｔｅｐ５１）。この利用者情報中の年齢・性別に対応した楽曲データリストが楽曲テーブル１５４より読み出される（ｓｔｅｐ５２）。そして、検索結果が検索成功ならば（ｓｔｅｐ５３，Ｙｅｓ）、ｓｔｅｐ５２で読み出された楽曲データリストより、ｓｔｅｐ５１で読み出された楽曲データリストに含まれる楽曲情報を削除した楽曲データリストが作成され、これがクライアント部１１２へ送信される（ｓｔｅｐ５４）。検索結果が検索不成功ならば（ｓｔｅｐ５３，Ｎｏ）、ｓｔｅｐ５２で読み出された楽曲データリストがそのままクライアント部１１２へ送信される（ｓｔｅｐ５５）。
【００５９】
また、図９に示したような処理方法と図１４に示したような処理方法を利用者が選択できるようにしてもよい。この場合、例えば図１５に示すように、クライアント部１１２の操作部１２２に、その方法の選択のためのボタン１２６，１２７を設けることができる。ボタン１２６又はボタン１２７の操作情報は制御部１３３により送受信部１３０を通じてサーバ部１１１へ送信される。サーバ部１１１において、情報取得部１５６は、送受信部１５１で受信されたボタン１２６又は１２７の操作情報に応じて図９又は図１４に示した処理方法を選択する。このような態様も本実施形態に包含される。
【００６０】
なお、利用者情報に、名前、年齢、性別に加えて、住所や職業、体格・身長・人相などの身体的特徴を追加することも可能であり、追加した情報を楽曲テーブル１５４から読み出す楽曲データリストの選択に利用するように構成することも可能である。
［実施形態２］
図１６は本発明の他の実施形態を説明するためのブロック図である。本実施形態は、番組配信可能なデジタルテレビジョン受像機の利用者を支援するもので、図１６において１１００はデジタルテレビジョン受像機である。このデジタルテレビジョン受像機１１００は、利用者により選ばれた番組を通信回線１１０４を通じて受信して再生する機能、番組映像の画質や解像度を切り換える機能などを持つ。このようなデジタルテレビジョン受像機１１００は既に知られているので、その具体的構成の説明を省略する。
【００６１】
図１６において１１１０は本発明に係る利用者支援システムであり、本実施形態にあっては、デジタルテレビジョン受像機１１００に組み込まれるか外付けされるサーバ部１１１１、これと無線（電波、赤外光など）で接続されたクライアント部１１１２（リモートコントローラ）とから構成される。ただし、クライアント部１１１２をケーブルでサーバ部１１１１と接続する態様も本実施形態に含まれる。
【００６２】
図１７にクライアント部１１１２の外観構造の一例を模式化して示す。クライアント部１１１２は、その正面側に利用者を撮影するためのＣＣＤイメージセンサのような撮像素子１１２０、サーバ部１１１１より受信した利用者支援情報の内容を表示するための液晶パネルやＥＬパネルのような表示パネル１１２１、利用者が番組選択操作などを行うための操作部１１２２が設けられている。図１７に示す例にあっては、操作部１１２２として、表示パネル１１２１上のカーソル１１２３を上下に移動させたり表示内容を上下にスクロールさせるためのスライドレバー１１２４と、カーソル位置の番組の選択を指示するためのボタン１１２５、支援情報として表示させる内容を選択するためのボタン１１２６，１１２７が設けられている。
【００６３】
また、図１６に示すように、クライアント部１１１２は、サーバ部１１１１と情報を送受信する送受信部１１３０、撮像素子１１２０によって利用者の画像（本実施形態では顔の画像）を撮影し、その画像データを入力する画像入力部１１３１、表示パネル１１２１に利用者支援情報の内容を表示する表示部１１３２、上記各部の制御や情報の送受信の制御を行う制御部１１３３から構成される。操作部１１２２に備えられたスライドレバー１１２４やボタン１１２５，１１２６，１１２７の操作は制御部１１３３に伝達される。
【００６４】
次にサーバ部１１１１の構成について説明する。サーバ部１１１１は、クライアント部１１１２と情報を送受信するための送受信部１１５１、登録済み利用者についての画像識別用データの保持手段である画像識別テーブル１１５２、登録済み利用者に関する属性情報及び利用履歴情報の保持手段である利用者情報テーブル１１５３、利用履歴情報の代替情報であるお薦め番組のリストである番組データリストを利用者の属性と対応付けて保持する番組テーブル１１５４、クライアント部１１１２より受信された画像データより画像識別用データを抽出するとともに、抽出された画像識別用データと画像識別テーブル１１５２に格納されている登録済み利用者の画像識別用データとの類似比較を行い、最も類似した登録済み利用者を検索する利用者検索部１１５５、利用者検索部１１５５で検索された登録済み利用者に関する情報を利用者情報テーブル１１５３より読み込み、また、読み込んだ利用者情報中の属性情報に基づいて番組テーブル１１５４より番組データリストを読み込むことにより、クライアント部１１１２へ送信すべき利用者支援情報を取得し出力する情報取得部１１５６、各テーブル１１５２，１１５３，１１５４の管理や、デジタルテレビジョン受像機１１００に関連した制御などを行う制御部１１５７から構成されている。
【００６５】
本実施形態では、利用者検索部１１５５は、画像データの２次元ウェーブレット変換を行うことにより、画像識別用データとしてのウェーブレット係数データを抽出する。このウェーブレット変換として、例えばＪＰＥＧ２０００で規定されている５×３変換又は９×７変換が用いられるが、ＨａａｒやＧａｂｏｒなど他のウェーブレット変換を用いてもよい。ウェーブレット変換は例えばデコンポジション２まで行われ、デコンポジションレベル１，２のＨＬ，ＬＨ，ＨＨサブバンドの係数データ、デコンポジションレベル２のＬＬサブバンドの係数データが抽出される。
【００６６】
したがって、本実施形態においては、画像識別テーブル１１５２には、図３に示したように、登録済み利用者の名前と対応付けた形で、画像識別用データとしてのウェーブレット係数データが格納されている。
【００６７】
図１８は利用者情報テーブルの一例を示す。この例では、登録済み利用者の属性情報である名前、年齢、性別と、利用履歴情報である番組データリストが利用者情報として格納されている。楽曲データリストは、図１９に示すように利用者が以前選択した番組の情報（タイトルと番組コード）を選択された順に並べたリストである。
【００６８】
なお、利用者情報のうち、属性情報である名前、年齢、性別は、利用者の新規登録時にデジタルテレビジョン受像機１１００の操作部より入力され、この名前、年齢、性別が制御部１１５７によって利用者情報テーブル１１５３に追加登録される。この際、クライアント部１１２１の画像入力部１１３１より入力された利用者の画像データがサーバ部１１１１へ送信され、利用者検索部１１５５によって、その画像データより画像識別用データが抽出される。この画像識別用データは利用者の名前とともに、制御部１１５７により画像識別テーブル１１５２に追加登録される。
【００６９】
図２０に番組テーブル１１５４の一例を示す。この例では、年代別（２０歳代、３０歳代、４０歳代以上）かつ男女別に、お薦め番組の情報（タイトルと番組コード）を並べた番組データリストが格納されている。
【００７０】
次に、利用者が番組を選んで視聴する場合の一連の動作について説明する。利用者は、クライアント部１１２１を手で持ち、撮像素子１１２０を自分の顔に向ける。また、ボタン１１２６又はボタン１１２７を操作する。
【００７１】
クライアント部１１２１の画像入力部１１３１より利用者の画像データが入力され、これが制御部１１３３の制御により送受信部１１３０を介して送信される。また、ボタン１１２６とボタン１１２７のどちらが選択されたかの情報が、制御部１１１３により送受信部１１３０を通じてサーバ部１１１１へ送信される。これらの送信データはサーバ部１１１１の送受信部１１５１で受信され、画像データは利用者検索部１１５５に入力され、ボタン１１２６，１１２７の選択情報は情報取得部１１５６に入力される。
【００７２】
この時の利用者検索部１１５５の動作は図７に示す通りであるので、その説明は繰り返さない。利用者検索部１１５５は、検索結果として、検索成功又は検索不成功の旨と、距離が最小となった登録済み利用者の画像識別テーブル１１５２上のエントリー番号entnumを出力する。このような検索結果は、情報取得部１１５６及び制御部１１５７に入力される。なお、同じ利用者の画像識別テーブル１１５２上のエントリー番号と利用者情報テーブル１１５６上のエントリー番号は対応している。
【００７３】
利用者検索部１１５５より検索結果を入力された時の情報取得部１１５６の動作フローを図２１に示す。情報取得部１１５６は、利用者情報テーブル１１５３より、検索結果として渡されたentnumで示されるエントリー番号の利用者情報を読み出す（ｓｔｅｐ１００）。クライアント部１１１２でボタン１１２６が選択されていて（ｓｔｅｐ１０１，Ｙｅｓ）、かつ、検索結果が検索成功であり（ｓｔｅｐ１０２，Ｙｅｓ）、かつ、読み出した利用者情報中の番組データリストに１以上の番組の情報が含まれている（ｓｔｅｐ１０３，Ｙｅｓ）ならば、その番組データリストの内容（すなわち、当該利用者が以前選択した番組のタイトルと番組コード）を送受信部１１５１を通じてクライアント部１１１２へ送信する（ｓｔｅｐ１０４）。
【００７４】
一方、クライアント部１１１２でボタン１１２７が選択されているとき（ｓｔｅｐ１０１，Ｎｏ）、検索結果が検索不成功であるとき、つまり当該利用者が登録済み利用者の中に見つからなかったとき（ｓｔｅｐ１０２，Ｎｏ）、又は、当該利用者は見つかったが、読み出した利用者情報中の番組データリストに番組の情報が含まれていないとき（ｓｔｅｐ１０３，Ｎｏ）には、読み出した利用者情報の中の属性情報である年齢及び性別に基づいて、番組テーブル１１５４より、番組データリスト（推奨番組のタイトルと番組コード）を読み出し、その番組データリストの内容を送受信部１１５１を通じてクライアント部１１１２へ送信する（ｓｔｅｐ１０５）。ここでは番組テーブル１１５４は図２０に示したような内容であるため、例えば、利用者情報で示される年齢が２５歳、性別が女性ならば、２０歳代・女性に対応した番組データリストが読み出されて送信される。
【００７５】
クライアント部１１１２においては、サーバ部１１１１より送信された番組データリストを送受信部１１３０により受信し、制御部１１３３は、その番組データリスト中の番組のタイトルを表示部１１３２へ送り表示パネル１１２１に表示させる。例えば図１７に示すように、番組のタイトルが縦方向に並べて表示される。利用者は、スライドレバー１１２４を操作することにより、カーソル１１２３を希望する番組のタイトルに合わせることができる。制御部１１３３は、スライドレバー１１２４の操作信号に応じて、カーソル１１２３を上下に移動させ、又は番組タイトルを上下にスクロールさせるように表示部１１３２を制御する。利用者は、希望する番組のタイトルにカーソル１１３２を合わせた後、ボタン１１２５を操作することにより、その番組を選択することができる。制御部１１３３は、ボタン１１２５の操作信号が入力すると、受信し記憶している番組データリストより、選択された番組のタイトルと番組コードを読み出して送受信部１１３０を通じてサーバ部１１１１へ送信する。
【００７６】
なお、表示されたタイトル中に利用者が希望する番組のタイトルが見つからない場合には、番組コードを指定することにより任意の楽曲を選択することも可能である。この番組コードの指定は、例えばクライアント部１１１２に設けられたテンキー（図１７には不図示）の操作によって行うことも、デジタルテレビジョン受像機１１００に設けられている操作部の操作によって行うことができる。ここでは前者の場合を想定する。制御部１１３３は、テンキーで指定された番組コードを取り込み、ボタン１１２５の操作信号に応答して、その番組コードをサーバ部１１１１へ送信する。
【００７７】
サーバ部１１１１において、クライアント部１１１２より受信した番組コードが入力された制御部１１５７は図２２に示すような動作をする。制御部１１５７は、デジタルテレビジョン受像機１１００に対し、受信した番組コードを送り、当該番組の受信を指示する（ｓｔｅｐ１１０）。次に制御部１１５７は、検索結果が検索成功の場合（ｓｔｅｐ１１１，Ｙｅｓ）、クライアント部１１１２より番組コードのみを受信し番組のタイトルを受信しなかったならば、当該番組の情報は当該利用者の番組データリストには含まれていないと判断し（ｓｔｅｐ１１２，Ｙｅｓ）、当該番組のタイトルをデジタルテレビジョン受像機１１００より取得し、登録利用者情報管理テーブル１１５３の検索結果のentnumで示されるエントリーの番組データリストに当該番組のタイトル及び番組コードを追加する処理を行う（ｓｔｅｐ１１３）。例えば、図１９のようにｎ個の番組情報が番組データリストに含まれている場合には、図２３に示すように最後のｎ番目の番組情報の次に、新たに選択された番組のタイトルと番組コードがn+1番目の番組情報として追加される。番組情報の追加により番組データリストに登録された番組数が最大数を超える場合には、１番目の番組情報が削除される。なお、デジタルテレビジョン受像機１１００の操作部の操作により番組選択が行われた場合には、選択された番組のタイトルと番組コードがデジタルテレビジョン受像機１１００より制御部１１５７へ送られ、制御部１１５７は当該番組のタイトルと番組コードの追加処理（ｓｔｅｐ１１３）を行う。
【００７８】
利用者情報テーブル１１５３に格納される番組データリストの別の例を図２４に示す。この番組データリストには、利用者が以前選択した番組の情報（タイトル及び番組コード）に加え、その番組を視聴した時の画質及び解像度の情報も追加される。このような番組データリストの構成とした場合、サーバ部１１１１において、利用者検索が成功したときに番組のタイトル、番組コード、画質及び解像度の情報をクライアント部１１１２へ送信し（図２１，ｓｔｅｐ１０４）、クライアント部１１１２において、画質や解像度の高い順に番組のタイトルを表示させたり、解像度や解像度をタイトルとともに表示させるようなことが可能である。そして、番組曲が選択された時に、そのタイトル、番組コード、画質及び解像度をサーバ部１１１１へ送信し、サーバ部１１１１の制御部１１５７よりデジタルテレビジョン受像機１１００へ、受信した番組コードとともに画質及び解像度の情報を送ることにより（図２２，ｓｔｅｐ１１０）、その画質及び解像度で当該番組の映像を再生させることができる。このような態様も本実施形態に包含される。また、番組データリストに含まれていない番組が選択されたときには、図２５に示すように、当該番組のデータが番組データリストの最後に追加されることになる（図２２，ｓｔｅｐ１１３）。
【００７９】
また、利用者検索を成功した場合に、情報取得部１１５６において、利用者情報テーブル１１５３より読み出した利用者の年齢・性別に対応した番組データリストを番組テーブル１１５４より読み出し、この番組データリストより、利用者情報テーブル１１５３より読み出した番組データリストに含まれている番組と同じ番組の情報を削除する処理を行い、この削除処理後の番組データリストをクライアント部１１１２へ送信するようにしてもよく、このような態様も本実施形態に包含される。かかる態様における情報取得部１１５６の動作フローの一例を図２６に示す。
【００８０】
図２６において、利用者情報テーブル１１５３より、利用者検索結果のentnumで示されるエントリーの利用者情報が読み出される（ｓｔｅｐ１２０）。この利用者情報中の年齢・性別に対応した番組データリストが番組テーブル１１５４より読み出される（ｓｔｅｐ１２１）。そして、検索結果が検索成功ならば（ｓｔｅｐ１２２，Ｙｅｓ）、ｓｔｅｐ１２１で読み出された番組データリストより、ｓｔｅｐ１２０で読み出された番組データリストに含まれる番組情報を削除した番組データリストが作成され、これがクライアント部１１１２へ送信される（ｓｔｅｐ１２３）。検索結果が検索不成功ならば（ｓｔｅｐ１２２，Ｎｏ）、ｓｔｅｐ１２１で読み出された番組データリストがそのままクライアント部１１１２へ送信される（ｓｔｅｐ１２４）。
【００８１】
また、図２１に示したような処理方法と図２６に示したような処理方法を利用者が選択できるようにしてもよい。この場合、クライアント部１１１２に、その選択のためのボタンを追加することができる。この追加したボタンの操作情報も制御部１１３３により送受信部１１３０を通じてサーバ部１１１１へ送信される。サーバ部１１１１において、情報取得部１１５６は、送受信部１１５１で受信された当該追加ボタンの操作情報に応じて図２１又は図２６に示した処理方法を選択する。このような態様も本実施形態に包含されるものである。
【００８２】
なお、利用者情報に、名前、年齢、性別のほか、住所や職業、さらには体格・身長・人相などを追加することも可能であり、追加した情報を番組テーブル１１５４から読み出す番組データリストの選択に利用するような構成とすることも可能である。
【００８３】
なお、図１に示したサーバ部１１１又は図１６に示したサーバ部１１１１を、ＣＰＵ、メモリ、通信インターフェースなどを備えるコンピュータを利用し実現することも容易である。すなわち、サーバ部１１１，１１１１の各部としてコンピュータを機能させるプログラムをコンピュータのメモリにロードし、ＣＰＵに実行させることにより、コンピュータをサーバ部１１１，１１１１として動作させることができる。このようなプログラム、及び、同プログラムが記録された半導体素子、磁気ディスク、光ディスク、光磁気ディスクなどのコンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含される。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態１を説明するためのブロック図である。
【図２】クライアント部の外観を模式的に示す図である。
【図３】画像識別テーブルの説明図である。
【図４】利用者情報テーブルの説明図である。
【図５】楽曲データリストの説明図である。
【図６】楽曲テーブルの説明図である。
【図７】利用者検索部の動作を説明するためのフローチャートである。
【図８】画像正規化処理の一例を説明するためのフローチャートである。
【図９】情報取得部の動作を説明するためのフローチャートである。
【図１０】サーバ部の制御部の動作を説明するたのフローチャートである。
【図１１】利用者情報中の楽曲データリストへの楽曲追加の説明図である。
【図１２】楽曲データリストの説明図である。
【図１３】利用者情報中の楽曲データリストへの楽曲追加の説明図である。
【図１４】情報取得部の動作を説明するためのフローチャートである。
【図１５】クライアント部の外観を模式的に示す図である。
【図１６】本発明の実施形態２を説明するためのブロック図である。
【図１７】クライアント部の外観を模式的に示す図である。
【図１８】利用者情報テーブルの説明図である。
【図１９】利用者情報中の番組データリストの説明図である。
【図２０】番組テーブルの説明図である。
【図２１】情報取得部の動作を説明するためのフローチャートである。
【図２２】サーバ部の制御部の動作を説明するためのフローチャートである。
【図２３】利用者情報中の番組データリストへの番組追加の説明図である。
【図２４】番組データリストの説明図である。
【図２５】利用者情報中の番組データリストへの番組追加の説明図である。
【図２６】情報取得部の動作を説明するためのフローチャートである。
【符号の説明】
【００８５】
１００ カラオケ装置本体
１１０ 利用者支援システム
１１１ サーバ部
１１２ クライアント部（リモートコントローラ）
１２２ 操作部
１３０ 送受信部
１３１ 画像入力部
１３２ 表示部
１３３ 制御部
１５１ 送受信部
１５２ 画像識別テーブル
１５３ 利用者情報テーブル
１５４ 楽曲テーブル
１５５ 利用者検索部
１５６ 情報取得部
１５７ 制御部
１１００ デジタルテレビジョン受像機本体
１１１０ 利用者支援システム
１１１１ サーバ部
１１１２ クライアント部（リモートコントローラ）
１１２２ 操作部
１１３０ 送受信部
１１３１ 画像入力部
１１３２ 表示部
１１３３ 制御部
１１５１ 送受信部
１１５２ 画像識別テーブル
１１５３ 利用者情報テーブル
１１５４ 番組テーブル
１１５５ 利用者検索部
１１５６ 情報取得部
１１５７ 制御部
【特許請求の範囲】
【請求項１】
特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の利用履歴情報を含む利用者情報を保持している第２の情報保持手段、
利用履歴情報の代替情報を保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システム。
【請求項２】
特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の属性情報と利用履歴情報からなる利用者情報を保持している第２の情報保持手段、
利用履歴情報の代替情報を、利用者の属性に対応付けて保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには該読み出した利用者情報中の属性情報に対応した代替情報を前記第３の情報保持手段より読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システム。
【請求項３】
前記情報取得手段は、前記利用者検索手段によって検索が成功と判定された場合に、前記第２の情報保持手段より読み出した利用者情報中の利用履歴情報に利用の履歴が含まれていないときには、前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力することを特徴とする請求項１又は２記載の利用者支援システム。
【請求項４】
前記特定の装置はカラオケ装置であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、
前記表示手段は利用者支援情報に含まれる楽曲のタイトルを表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項５】
前記特定の装置はカラオケ装置であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲とその楽曲の歌唱に対する採点の最高得点に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、
前記表示手段は利用者支援情報に含まれる楽曲のタイトルを該利用者支援情報に含まれる採点の最高得点の高い楽曲順に表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項６】
前記特定の装置はカラオケ装置であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲と、その楽曲の歌唱時のキーに関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、
前記表示手段は利用者支援情報に含まれる楽曲のタイトル及びキーを表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項７】
前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲のカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする請求項４又は５記載の利用者支援システム。
【請求項８】
前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲の、該タイトルとともに表示されているキーでのカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする請求項６記載の利用者支援システム。
【請求項９】
前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、
前記表示手段は利用者支援情報に含まれる番組のタイトルを表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項１０】
前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の画質に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、
前記表示手段は利用者支援情報に含まれる番組のタイトル及び画質を表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項１１】
前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の解像度に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、
前記表示手段は利用者支援情報に含まれる番組のタイトル及び解像度を表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項１２】
前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする請求項９記載の利用者支援システム。
【請求項１３】
前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている画質での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする請求項１０記載の利用者支援システム。
【請求項１４】
前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている解像度での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする請求項１１記載の利用者支援システム。
【請求項１５】
前記画像入力手段と前記表示手段は一体化されることを特徴とする請求項１，２又は３記載の利用者支援システム。
【請求項１６】
前記利用者識別用データは画像データをウェーブレット変換して得られるウェーブレット係数データであることを特徴とする請求項１，２又は３記載の利用者支援システム。
【請求項１７】
請求項１，２又は３記載の利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラム。
【請求項１８】
請求項１，２又は３記載の利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【請求項１】
特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の利用履歴情報を含む利用者情報を保持している第２の情報保持手段、
利用履歴情報の代替情報を保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システム。
【請求項２】
特定の装置を利用する利用者を支援するための利用者支援システムであって、
登録済み利用者の画像識別用データを保持している第１の情報保持手段、
登録済み利用者の属性情報と利用履歴情報からなる利用者情報を保持している第２の情報保持手段、
利用履歴情報の代替情報を、利用者の属性に対応付けて保持している第３の情報保持手段、
利用者を撮影し、その画像データを入力する画像入力手段、
前記画像入力手段により入力された画像データから画像識別用データを抽出し、その画像識別用データと前記第１の情報保持手段に保持されている画像識別用データとの類似比較を行うことにより、最も類似した登録済み利用者を検索するとともに、その類似の程度に応じて検索の成功・不成功を判定する利用者検索手段、
前記利用者検索手段によって検索された登録済み利用者の利用者情報を前記第２の情報保持手段より読み出し、前記利用者検索手段により検索が成功と判定されたときには該読み出した利用者情報中の利用履歴情報を利用者支援情報として出力し、前記利用者検索手段により検索が不成功と判定されたときには該読み出した利用者情報中の属性情報に対応した代替情報を前記第３の情報保持手段より読み出し、それを利用者支援情報として出力する情報取得手段、
前記情報取得手段より出力された利用者支援情報の少なくとも一部の内容を利用者に対し表示する表示手段を有することを特徴とする利用者支援システム。
【請求項３】
前記情報取得手段は、前記利用者検索手段によって検索が成功と判定された場合に、前記第２の情報保持手段より読み出した利用者情報中の利用履歴情報に利用の履歴が含まれていないときには、前記第３の情報保持手段より代替情報を読み出し、それを利用者支援情報として出力することを特徴とする請求項１又は２記載の利用者支援システム。
【請求項４】
前記特定の装置はカラオケ装置であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、
前記表示手段は利用者支援情報に含まれる楽曲のタイトルを表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項５】
前記特定の装置はカラオケ装置であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲とその楽曲の歌唱に対する採点の最高得点に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、
前記表示手段は利用者支援情報に含まれる楽曲のタイトルを該利用者支援情報に含まれる採点の最高得点の高い楽曲順に表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項６】
前記特定の装置はカラオケ装置であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した楽曲と、その楽曲の歌唱時のキーに関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの楽曲に関する情報であり、
前記表示手段は利用者支援情報に含まれる楽曲のタイトル及びキーを表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項７】
前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲のカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする請求項４又は５記載の利用者支援システム。
【請求項８】
前記表示手段により表示された楽曲のタイトルの中から任意の楽曲のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの楽曲の、該タイトルとともに表示されているキーでのカラオケ演奏をカラオケ装置に指示する手段とを有することを特徴とする請求項６記載の利用者支援システム。
【請求項９】
前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、
前記表示手段は利用者支援情報に含まれる番組のタイトルを表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項１０】
前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の画質に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、
前記表示手段は利用者支援情報に含まれる番組のタイトル及び画質を表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項１１】
前記特定の装置は番組配信可能なデジタルテレビジョン受像機であり、
前記第２の情報保持手段に保持されている登録済み利用者の利用履歴情報は、該利用者が以前に選択した番組及びその視聴時の解像度に関する情報であり、
前記第３の情報保持手段に保持されている代替情報は、お薦めの番組に関する情報であり、
前記表示手段は利用者支援情報に含まれる番組のタイトル及び解像度を表示することを特徴する請求項１，２又は３記載の利用者支援システム。
【請求項１２】
前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする請求項９記載の利用者支援システム。
【請求項１３】
前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている画質での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする請求項１０記載の利用者支援システム。
【請求項１４】
前記表示手段により表示された番組のタイトルの中から任意の番組のタイトルを利用者が選択するための手段と、該手段により選択されたタイトルの番組の、該タイトルとともに表示されている解像度での視聴をデジタルテレビジョン受像機に指示する手段とを有することを特徴とする請求項１１記載の利用者支援システム。
【請求項１５】
前記画像入力手段と前記表示手段は一体化されることを特徴とする請求項１，２又は３記載の利用者支援システム。
【請求項１６】
前記利用者識別用データは画像データをウェーブレット変換して得られるウェーブレット係数データであることを特徴とする請求項１，２又は３記載の利用者支援システム。
【請求項１７】
請求項１，２又は３記載の利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラム。
【請求項１８】
請求項１，２又は３記載の利用者支援システムの第１の情報保持手段、第２の情報保持手段、第３の情報保持手段、利用者検索手段、情報取得手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００７−１８１１６（Ｐ２００７−１８１１６Ａ）
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願番号】特願２００５−１９６９７８（Ｐ２００５−１９６９７８）
【出願日】平成１７年７月６日（２００５．７．６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願日】平成１７年７月６日（２００５．７．６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]