歌唱者画像撮影機能を有するカラオケシステム
【課題】 選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影することが可能なカラオケシステムを提供する。
【解決手段】 利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段２３により撮影が行われている場合に、歌唱者撮影エリアにいる歌唱者の撮影顔画像データ４３ｂと、予め、当該利用者ＩＤに紐付けして記憶された当該利用者の登録顔画像データとを比較する顔画像比較手段５０と、両顔画像データが一致している場合には、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の撮影顔画像位置に一致させる被写体追従手段５４と、を備える。
【解決手段】 利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段２３により撮影が行われている場合に、歌唱者撮影エリアにいる歌唱者の撮影顔画像データ４３ｂと、予め、当該利用者ＩＤに紐付けして記憶された当該利用者の登録顔画像データとを比較する顔画像比較手段５０と、両顔画像データが一致している場合には、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の撮影顔画像位置に一致させる被写体追従手段５４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱者を撮影する機能を有するカラオケシステムであって、選曲予約を行った歌唱者の動きに追従して当該歌唱者を撮影することを可能としたカラオケシステムに関するものである。
【背景技術】
【０００２】
現在のカラオケシステムでは、カラオケ演奏装置を用いて歌唱を行っている歌唱者の映像を録画し、これをウェブサイトで公開するサービスが実用化されている。このサービスは、歌唱者の映像を撮影してサーバに記録し、インターネット接続したパーソナルコンピュータや携帯電話を用いて当該映像を視聴できるものである。このサービスにより、カラオケ演奏装置を用いた歌唱姿態を、歌唱者自らが楽しんだり、友人等に見せたりすることができ、カラオケ演奏装置を用いた歌唱の楽しさにバリエーションを持たせることができる。
【０００３】
カラオケルームのステージのように、歌唱者が歌唱を行う位置が決まっている場合には、その歌唱位置に向けて撮影装置を設置して歌唱者の映像を撮影すればよい。しかし、歌唱者が常にステージの中央で歌唱するとは限らず、ステージの隅で歌唱を行ったり、ステージ上を移動しながら歌唱を行ったりすることがある。このような状況において、撮影位置を固定した撮影装置によっては歌唱者の映像を適切に録画することはできない。
【０００４】
従来、ビデオカメラ等の撮影装置における被写体追尾装置が種々提案されている（特許文献１、特許文献２参照）。
特許文献１に記載された技術は、ビデオカメラなどの撮像手段と、撮像手段で撮影された画像面から特定の被写体像を検出する被写体認識手段と、被写体認識手段が検出した被写体像が画像の所定位置に収まるように撮像手段の撮像方向を変更する撮像方向変更手段とを備えている。そして、撮像方向変更手段は、可動範囲が狭く比較的高速で追従する第１の撮像方向変更手段と、可動範囲が広く比較的低速で追従する第２の撮像方向変更手段と、第１の撮像方向変更手段と第２の撮像方向変更手段とが協調して動作するように働く協調手段と、を備えている。これにより、追尾範囲が広く応答追従性に優れた被写体追尾装置を実現することができるとしている。
【０００５】
また、特許文献２に記載された技術は、撮影視野内の画像を取り込み、その画像の特徴抽出を行う画像検出手段と、画像検出手段の特徴抽出結果に基づいて、撮影視野内において主被写体となる可能性のある候補領域を認識する画像認識手段と、画像認識手段が認識した候補領域を表示する表示手段と、表示手段により表示された候補領域の中から、主被写体が存在する主被写体領域として少なくとも１つを選択する主被写体領域選択手段と、主被写体領域手段により選択された主被写体領域の画像について画像検出手段が抽出した特徴を特徴基準として記憶する主被写体領域記憶手段とを備えている。これにより、記憶した特徴基準を用いれば、主被写体が移動しても、主被写体の移動に追従することができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２１５４２２号公報
【特許文献２】特開２０００−２８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、撮影機能を有するカラオケ演奏装置の本来の目的は、撮影を所望して選曲予約を行った歌唱者の映像を録画することにある。すなわち、カラオケルーム内に集合している利用者の中から選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画しなければならない。
【０００８】
しかしながら、上述した従来の技術では、撮影開始時にビデオカメラが向けられていた被写体を追尾することができるが、必ずしもその被写体が選曲予約を行った歌唱者であるとは限らない。例えば、カラオケ楽曲の演奏が開始された時点において、ビデオカメラ等の撮影装置がステージに向けられており、ステージ上の人物を捕捉していたとする。この場合に、ステージ上に司会者が立っており、演奏が開始されたカラオケ楽曲及び歌唱者の紹介を行った後にステージから去り、その後、ステージ上に歌唱者が立った場合には、演奏開始時点に合焦していた被写体である司会者の動きに追従して撮影が行われることになる。これでは、撮影を所望して選曲予約を行った歌唱者の映像を録画するという、本来の目的を達成することができない。また、ある程度、歌唱者撮影エリアが広く、歌唱者が歌唱者撮影エリア内を移動しながら歌唱を行った場合には、バランスの良い歌唱姿態の映像を得ることができない。
【０００９】
本発明は、上述した事情に鑑み提案されたもので、選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影することが可能なカラオケシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の歌唱者画像撮影機能を有するカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の歌唱者画像撮影機能を有するカラオケシステムは、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、撮影機能制御手段と、報知制御手段と、被写体追従手段と、を備えている。
【００１１】
撮影手段は、パン・チルト機構を有するとともに、任意のカラオケ楽曲の演奏中に歌唱者の顔画像を撮影するための手段である。顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶するための手段である。利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録するための手段である。顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段により撮影が行われている場合に、撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較するための手段である。被写体追従手段は、撮影顔画像データと登録顔画像データとが一致している場合には、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の撮影顔画像位置に一致させるための手段である。
【００１２】
このような構成からなる歌唱者画像撮影機能を有するカラオケシステムでは、利用者顔画像登録手段の機能により、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに格納しておく。そして、利用者ＩＤに紐付して選曲予約されたカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、顔画像比較手段の機能により、現に撮影手段により撮影している撮影顔画像データと、選曲予約を行った利用者の登録顔画像データとを比較する。
【００１３】
ここで、撮影顔画像データと登録顔画像データとが一致している場合、すなわち、選曲予約を行った歌唱者が被写体となっている場合には、被写体追従手段の機能により、歌唱者の移動に追従してパン・チルト機構を作動させることにより、選曲予約を行った歌唱者の顔画像位置に撮影手段の撮影方向を一致させ、当該歌唱者を撮影する。
【発明の効果】
【００１４】
本発明の歌唱者画像撮影機能を有するカラオケシステムによれば、選曲予約を行った利用者が被写体となっている場合には、撮影手段の撮影方向を当該利用者の移動に追従させる。したがって、撮影を所望して選曲予約を行った適正な歌唱者の画像を、その移動に追従させて撮影することにより、バランスの良い歌唱姿態の映像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムを適用するカラオケ演奏装置のブロック図。
【図２】本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を示すフローチャート。
【図３】表示装置の表示画面に表示される警告メッセージの一例を示す模式図。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の歌唱者画像撮影機能を有するカラオケシステムの実施形態を説明する。本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムは歌唱者を撮影するためのカラオケシステムであって、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、被写体追従手段と、を備えている。また、撮影機能制御手段と、報知制御手段と、を含ませることが可能である。図１に、本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムを適用するカラオケ演奏装置の構成を示す。
【００１７】
＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケ演奏装置１１は、図１に示すように、カラオケ本体２１、カラオケリモコン装置２２、撮影手段２３、マイクロホン２４、スピーカ２５、ミキシングアンプ２６、表示装置２７を備えている。
【００１８】
＜カラオケリモコン装置＞
カラオケリモコン装置２２は、ユーザインタフェース機能を備えており、カラオケ本体２１の送受信手段４５に対して有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置２２は、楽曲検索手段２２ａとして機能するプログラム、楽曲索引データベース２２ｂ、利用者ＩＤ取得手段２２ｃとして機能する回路基板及びプログラム、データの送受信を行うための回路基板及びプログラム、フラッシュメモリ等からなる記憶手段（図示せず）を備えている。このカラオケリモコン装置２２に付帯するスイッチ類や、入出力表示部（図示せず）に表示される各種のアイコン等を操作することにより、選曲操作、撮影指示操作等が行われる。
【００１９】
＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２２ａは、利用者の指示に基づき、楽曲索引データベース２２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２２ｂは、カラオケ演奏装置１１で演奏に供されるカラオケ楽曲についての属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。
【００２０】
＜利用者ＩＤ取得手段＞
利用者ＩＤ取得手段２２ｃは、利用者がカラオケ演奏装置１１を利用する際に、利用者が所持するＩＤ媒体３１から利用者ＩＤを取得するための電子回路及びプログラムからなる。利用者ＩＤ取得手段２２ｃで取得した利用者ＩＤは、ＲＡＭ４３に一時的に記憶され、ログイン利用者管理手段４７で管理される。ＩＤ媒体３１は、例えば、非接触型のＩＤカード、携帯電話、携帯情報端末等からなり、利用者ＩＤを記憶して、利用者ＩＤ取得手段２２ｃとの間でデータの送受信を行うことができるようになっている。
【００２１】
＜撮影手段＞
撮影手段２３は、歌唱者を撮影するための手段で、例えば、主たる構成要素であるビデオカメラと、その付帯装置から構成される。ビデオカメラは、撮像レンズ２３ａ、撮像素子２３ｂ、フォーカシング機構２３ｃ、ズーミング機構２３ｄを備えており、付帯装置としてパン・チルト機構２３ｅを備えている。本実施形態の撮像レンズ２３ａは、複数のレンズ群から構成されるズームレンズからなり、この撮像レンズ２３ａにより、被写体からの光線を撮像素子２３ｂ上に結像させてビデオ信号に変換する。このビデオ信号は、カラオケ本体２１に送信される。
【００２２】
フォーカシング機構２３ｃは、被写体像を撮像素子２３ｂ上に合焦して結像させるための機構であり、オートフォーカス機構を備えていることが好ましい。オートフォーカス機構としては、例えば、適宜な間隔を隔てて設置した２つのセパレートレンズを用いて被写体を撮影し、被写体像を撮像素子２３ｂ上に結像させ、両画像の位相差に基づいて物体距離を検知する方式や、被写体上に赤外光を照射して、被写体からの拡散反射光をレンズで集光し、その結像位置に基づいて物体距離を検知する方式や、撮像素子２３ｂから被写体のコントラスト情報を抽出し、結像状態を直接判定する方式等が知られている。なお、被写界深度の深いレンズからなる固定焦点の撮像レンズ２３ａを用いることによりフォーカシング機構２３ｃを省略してもよい。
【００２３】
ズーミング機構２３ｄは、ビデオカメラの画角を変更するための機構で、広角端から望遠端に至る所定の範囲で連続的に画角を変更できるようになっており、画角の変更を行うために、ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構を備えている。ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構は、例えば、レンズを光軸に沿って移動可能に支持する支持機構、及びレンズを光軸に沿って移動させるアクチュエータ等からなる。本実施形態のズーミング機構２３ｄは、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるように自動的に画角調整を行う。なお、歌唱者が移動した場合であっても、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるような環境に撮影手段２３が設置されている場合には、ズーミング機構２３ｄを省略することができる。さらに、利用者の所望に応じて画角調整を行うようにしてもよい。
【００２４】
パン・チルト機構２３ｅは、ビデオカメラをパン及びチルトさせるための機構であり、互いに直交する２軸方向にそれぞれ回転するパンテーブル及びチルトテーブルと、このパンテーブル及びチルトテーブルを互いに直交する２軸方向にそれぞれ回転駆動するステッピングモータと、ステッピングモータの駆動制御装置とを備えている。
【００２５】
＜カラオケ本体＞
カラオケ本体２１は、中央制御手段４１、ＲＯＭ４２、ＲＡＭ４３、ＨＤＤ４４、送受信手段４５、予約管理手段４６、ログイン利用者管理手段４７、顔画像識別記憶手段４８、利用者顔画像登録手段４９、顔画像比較手段５０、撮影機能制御手段５１、撮像データ受信手段５２、撮影データ記憶手段５３、被写体追従手段５４、報知制御手段５５、Ａ／Ｄコンバータ５６、音楽再生制御手段５７、映像再生制御手段５８を備えている。
【００２６】
＜中央制御手段＞
中央制御手段４１は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ４２等に記憶されたアプリケーションプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
【００２７】
＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ４２は、カラオケ本体２１を構成する各機器を制御するためのアプリケーションプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ４３は、アプリケーションプログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりＲＡＭ４３を構成するのではなく、ハードディスク記憶装置等を用いて仮想的なＲＡＭ４３を構成してもよい。本実施形態では、ＲＡＭ４３に、予約待ち行列４３ａ、撮影顔画像データ４３ｂ、撮影データ４３ｃが記憶されるようになっている。
【００２８】
＜ＨＤＤ＞
ＨＤＤ４４は、大容量記憶装置として機能するもので、楽曲データベース４４ａ、映像データベース４４ｂ、利用者顔画像データベース４４ｃ、警告メッセージ４４ｄが格納されている。なお、ＨＤＤ４４に替えて、あるいはＨＤＤ４４とともに、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。
【００２９】
楽曲データベース４４ａは、演奏データ（ＭＩＤＩ（登録商標）データ）及び歌詞テロップデータが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けてそれぞれ格納したデータベースである。演奏データは各楽曲の演奏データをデジタル化したものであり、歌詞テロップデータは演奏データに同期されたカラオケ楽曲の歌詞文字データである。なお、歌詞文字データには、歌詞文字の表示色データ、色変わりデータ等が含まれている。映像データベース４４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。
【００３０】
利用者顔画像データベース４４ｃは、利用者顔画像登録手段４９の機能により、利用者ＩＤに紐付けされた利用者の顔画像データを複数格納したデータベースである。この利用者顔画像データベース４４ｃに格納された登録顔画像データは、顔画像比較手段５０において、撮影顔画像データとの比較に用いられる。警告メッセージ４４ｄは、報知制御手段５５の機能により報知制御を行う際に、表示装置２７に表示する警告メッセージを作成するためのデータである。
【００３１】
＜送受信手段＞
送受信手段４５は、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信が行われる。
【００３２】
＜予約管理手段＞
予約管理手段４６は、利用者により楽曲検索手段２２ａの機能を用いて選曲され、送受信手段４５を介して受信した当該選曲者の利用者情報（例えば利用者ＩＤ）及び選曲された楽曲ＩＤを対応付けて予約待ち行列４３ａとしてＲＡＭ４３に格納し、管理するためのプログラムである。なお、楽曲選択の表示や予約待ち行列４３ａの表示は、カラオケリモコン装置２２の入出力表示部（図示せず）及び表示装置２７のいずれか一方、あるいは双方で行うことができる。
【００３３】
＜ログイン利用者管理手段＞
ログイン利用者管理手段４７は、現に当該カラオケ演奏装置１１にログインしている利用者を、利用者ＩＤに基づき特定して管理するためのプログラムからなる。すなわち、ログイン利用者管理手段４７では、利用者ＩＤ取得手段２２ｃにより利用者ＩＤが取得された場合に、この利用者ＩＤに基づいてカラオケ演奏装置１１にログインしている利用者を特定して管理する。取得した利用者ＩＤは、選曲予約や顔画像データの比較を行う際に利用される。
【００３４】
＜顔画像識別記憶手段＞
顔画像識別記憶手段４８は、歌唱者撮影エリア（例えば、ステージ）にいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データ４３ｂとしてＲＡＭ４３に記憶するためのプログラムからなる。歌唱者の顔画像データを識別するためには、例えば、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出する。そして、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を顔画像領域として認識する。続いて、顔画像領域内で、その輪郭、目、鼻、口の位置を利用して、被写体の顔画像の特徴を認識することにより、撮影した顔画像データを識別する。
【００３５】
＜利用者顔画像登録手段＞
利用者顔画像登録手段４９は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベース４４ｃに登録するためのプログラムからなる。利用者の顔画像データは、例えば、撮影手段２３の機能により取得することができる。撮影手段２３の機能により取得された利用者の顔画像データは、利用者顔画像登録手段４９の機能により、利用者ＩＤに紐付けされて利用者顔画像データベース４４ｃに登録される。なお、利用者ＩＤは、利用者ＩＤ取得手段２２ｃの機能により、ＩＤ媒体３１から取得することができる。
【００３６】
＜顔画像比較手段＞
顔画像比較手段５０は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段２３により撮影が行われている場合に、撮影顔画像データ４３ｂと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較するためのプログラムからなる。例えば、撮影を所望して選曲予約されたカラオケ楽曲が演奏されると、予約待ち行列４３ａに記録された利用者ＩＤに基づいて、利用者顔画像データベース４４ｃに登録された当該利用者の顔画像データを登録顔画像データとして取得する。そして、撮影手段２３の機能により撮影されて、顔画像識別記憶手段４８により識別された歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、利用者顔画像データベース４４ｃから取得した登録顔画像データとを比較し、両者の一致・不一致を判別する。両者の比較は、顔画像領域内における顔の輪郭、目、鼻、口の位置に基づいて行われる。具体的には、撮影顔画像データ４３ｂと、登録顔画像データとにおいて、顔画像領域内における顔の輪郭、目、鼻、口の位置を比較してその一致度を数値化し、一致度数が所定の閾値以下の場合に、両者は異なるデータであると判断する。一方、一致度数が所定の閾値を超えていれば、両者は同一のデータであると判断する。
【００３７】
＜撮影機能制御手段＞
撮影機能制御手段５１は、現に撮影対象となっている歌唱者の顔画像データと選曲予約を行った利用者の顔画像データとが一致しない場合には、撮影手段２３の機能を停止させるためのプログラムからなる。すなわち、選曲予約を行った利用者が被写体となっていない場合には、撮影機能制御手段５１の機能により、撮影手段２３の機能が停止させられ、歌唱者画像の録画は行われない。
【００３８】
＜報知制御手段＞
報知制御手段５５は、現に撮影対象となっている歌唱者の顔画像データと選曲予約を行った利用者の顔画像データとが一致せずに、撮影手段２３の機能を停止させる旨の報知制御を行うためのプログラムからなる。この報知制御手段５５における報知制御処理では、例えば、表示装置２７の表示画面に警告を表示したり、カラオケ楽曲の演奏を中止したり、録音や録画を中止したりすることにより、選曲予約を行った利用者が被写体となっていない旨を報知する（図３参照）。
【００３９】
＜被写体追従手段＞
被写体追従手段５４は、撮影顔画像データ４３ｂと登録顔画像データとが一致している場合には、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の撮影顔画像位置に一致させるためのプログラムからなる。なお、本実施形態では、撮影手段２３がズーミング機構２３ｄを備えているため、被写体追従手段５４による被写体追従処理において、パン・チルト機構２３ｅだけではなく、ズーミング機構２３ｄも制御して、ビデオカメラの撮像レンズ２３ａを被写体に向けるとともに、画角を一定に保つことが好ましい。
【００４０】
この被写体追従手段５４は、例えば、特開平１１−２１５４２２号公報（特許文献１）、特開２０００−２８３３号公報（特許文献２）に記載されている技術を用いることができる。すなわち、特開平１１−２１５４２２号公報（特許文献１）に記載されているように、予め撮影対象となる被写体を認識して記憶し、この被写体が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。また、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、画像の輪郭を抽出し、抽出結果に基づいて、撮影視野内において被写体となる可能性のある領域、例えば、輪郭で囲まれた領域のうち顔領域として設定された面積を有する領域を顔画像領域として認識する。そして、認識した顔画像領域が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。
【００４１】
＜撮像データ受信手段／撮影データ記憶手段＞
撮像データ受信手段５２は、撮影手段２３からのビデオ信号を受信するための回路基板及びプログラムからなる。また、撮影データ記憶手段５３は、撮影手段２３により撮影され、撮像データ受信手段５２により受信したビデオ信号と、マイクロホン２４から入力された音声入力信号と、音楽再生制御手段５７によりデジタル再生される演奏とを同期させて撮影データ４３ｃを作成し、ＲＡＭ４３に記憶させるためのプログラムからなる。
【００４２】
ＲＡＭ４３に記憶された撮影データ４３ｃは、ＤＶＤドライブ等の記録装置及び書込ソフトウェアを用いてＤＶＤ等の記憶媒体に記憶したり、インターネット回線を介してサーバに蓄積させることによりウェブ配信したりすることができる。なお、このような撮影サービスは、カラオケ演奏装置１１を利用したカラオケ楽曲の歌唱という基本サービスに付加するサービスであるため、一般的に有料となっていることが多い。そこで、撮影データ記憶手段５３による撮影データ４３ｃの作成及び記憶は、利用者の指示があった場合のみに行う構成とすることが好ましい。すなわち、利用者がカラオケリモコン装置２２を操作することにより撮影データ４３ｃの作成及び記憶を指示した場合に、撮影データ記憶手段５３の機能により、撮影データ４３ｃの作成及び記憶が行われる。
【００４３】
＜音楽再生制御手段＞
音楽再生制御手段５７は、楽曲ＩＤに基づいて楽曲データベース４４ａから抽出された演奏データをデジタル再生するとともにアナログ変換してミキシングアンプ２６に出力するための電子回路である。ミキシングアンプ２６は、マイクロホン２４から入力された歌唱者の歌唱音声信号と、音楽再生制御手段５７から送出される演奏音声信号とをミキシングするとともに、アンプ機能により増幅してスピーカ２５より出力させるための装置である。なお、本実施形態では、撮影データ記憶手段５３において歌唱音声信号を利用するため、マイクロホン２４からの歌唱音声信号がＡ／Ｄコンバータ５６へ入力されている。
【００４４】
＜映像再生制御手段＞
映像再生制御手段５８は、カラオケ楽曲の演奏中に、映像データベース４４ｂから抽出した映像データ及び楽曲データベース４４ａから抽出した楽曲データのうちの歌詞テロップデータ（歌詞文字データ）を、当該カラオケ楽曲の演奏データに同期させて表示装置２７に出力するための電子回路である。この際、カラオケ楽曲の演奏進行に従って、歌詞文字が色変わりして表示される。
【００４５】
＜表示装置＞
表示装置２７は、カラオケ演奏時の映像、歌詞テロップ、警告メッセージ等を表示するための装置で、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ等により構成される。
【００４６】
＜歌唱者追従制御処理＞
図２及び図３を参照して、本実施形態の歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を説明する。図２は、本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を示すフローチャートである。また、図３は、表示装置の表示画面に表示される警告メッセージの一例を示す模式図である。
【００４７】
歌唱者追従制御処理では、予め利用者顔画像登録手段４９の機能により、利用者ＩＤに紐付けされた利用者の顔画像データ（登録顔画像データ）が、利用者顔画像データベース４４ｃに格納されているものとする。
【００４８】
本実施形態の歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理は、図２に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し（Ｓ１）、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段２３の機能により撮影が開始される（Ｓ２）。撮影開始時におけるビデオカメラは、ステージ等のデフォルト位置に存在する被写体を撮影するように、その向き及び画角が調整されている。なお、撮影開始時に、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、歌唱者撮影エリアにいる歌唱者を探し出して、以降の処理を行ってもよい。
【００４９】
続いて、顔画像比較手段５０の機能により、現に撮影手段２３により撮影している歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、選曲予約を行った利用者の顔画像データ（登録顔画像データ）とを比較する（Ｓ３）。ところで、撮影開始直後には、ビデオカメラのデフォルト撮影位置であるステージ上に歌唱者がいるとは限らず、自らが選曲予約したカラオケ楽曲の演奏が開始されたことを認知した後にステージに上がったり、司会者に促されてステージに上がったりするため、撮影開始時（カラオケ楽曲の演奏開始時）には、歌唱者の顔画像データを取得することができない場合がある。そこで、撮影開始直後に顔画像データの比較を行うのではなく、所定時間経過後（例えば３０秒経過後）に顔画像データの比較を行うことが好ましい。
【００５０】
ここで、撮影顔画像データ４３ｂと登録顔画像データの一致を確認し（Ｓ４）、撮影顔画像データ４３ｂと利用者の顔画像データとが一致している場合には、被写体追従手段５４の機能により、撮影対象となる歌唱者の移動に追従するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、選曲予約を行った歌唱者の顔画像位置に撮影手段２３の撮影方向を一致させるとともに、画角を一定に保つ（Ｓ５）。そして、カラオケ楽曲の演奏が終了したか否かを判断し（Ｓ６）、カラオケ楽曲の演奏が終了するまでの間、上述した追従処理（Ｓ５）を実行する。
【００５１】
一方、撮影顔画像データ４３ｂと登録顔画像データとが一致しない場合、すなわち、選曲予約を行った歌唱者が被写体となっていない場合には、報知制御手段５５の機能により、その旨の報知を行うとともに（Ｓ７）、撮影機能制御手段５１の機能により撮影手段２３の機能を停止させて、撮影を中止する（Ｓ８）。なお、報知処理（Ｓ７）及び撮影中止処理（Ｓ８）は必須の処理ではなく、付随的な処理である。
【００５２】
このように、本実施形態の歌唱者画像撮影機能を有するカラオケシステムでは、撮影を所望して選曲予約を行った歌唱者の適正な画像を録画することができる。すなわち、歌唱者がデフォルト位置から移動した場合であっても、その移動に追従して撮影手段２３の撮影方向を変更することができるので、撮影した画像内の適正位置に歌唱者が存在し、撮影を所望した歌唱者の要求を十分に満足させることができる。
【００５３】
＜他の実施形態＞
本発明の歌唱者画像撮影機能を有するカラオケシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。
【００５４】
＜ネットワークカラオケシステム＞
また、上述した実施形態は、カラオケ演奏装置１１をスタンドアロンで使用した例を示しているが、各カラオケ店舗等に設置されたカラオケ演奏装置１１を端末装置とし、インターネット回線等を用いて、端末装置とホスト装置とをネットワーク接続した構成とすることもできる。この場合には、ホスト装置において、利用者ＩＤや、これに紐付けされた利用者の顔画像データ等を集中管理することにより、ネットワーク接続された各カラオケ演奏装置１１において同様のサービスを提供することができる。
【符号の説明】
【００５５】
１１ カラオケ演奏装置
２１ カラオケ本体
２２ カラオケリモコン装置
２２ａ 楽曲検索手段
２２ｂ 楽曲索引データベース
２２ｃ 利用者ＩＤ取得手段
２３ 撮影手段
２３ａ 撮像レンズ
２３ｂ 撮像素子
２３ｃ フォーカシング機構
２３ｄ ズーミング機構
２３ｅ パン・チルト機構
２４ マイクロホン
２５ スピーカ
２６ ミキシングアンプ
２７ 表示装置
３１ ＩＤ媒体
４１ 中央制御手段
４２ ＲＯＭ
４３ ＲＡＭ
４３ａ 予約待ち行列
４３ｂ 撮影顔画像データ
４３ｃ 撮影データ
４４ ＨＤＤ
４４ａ 楽曲データベース
４４ｂ 映像データベース
４４ｃ 利用者顔画像データベース
４４ｄ 警告メッセージ
４５ 送受信手段
４６ 予約管理手段
４７ ログイン利用者管理手段
４８ 顔画像識別記憶手段
４９ 利用者顔画像登録手段
５０ 顔画像比較手段
５１ 撮影機能制御手段
５２ 撮像データ受信手段
５３ 撮影データ記憶手段
５４ 被写体追従手段
５５ 報知制御手段
５６ Ａ／Ｄコンバータ
５７ 音楽再生制御手段
５８ 映像再生制御手段
【技術分野】
【０００１】
本発明は、歌唱者を撮影する機能を有するカラオケシステムであって、選曲予約を行った歌唱者の動きに追従して当該歌唱者を撮影することを可能としたカラオケシステムに関するものである。
【背景技術】
【０００２】
現在のカラオケシステムでは、カラオケ演奏装置を用いて歌唱を行っている歌唱者の映像を録画し、これをウェブサイトで公開するサービスが実用化されている。このサービスは、歌唱者の映像を撮影してサーバに記録し、インターネット接続したパーソナルコンピュータや携帯電話を用いて当該映像を視聴できるものである。このサービスにより、カラオケ演奏装置を用いた歌唱姿態を、歌唱者自らが楽しんだり、友人等に見せたりすることができ、カラオケ演奏装置を用いた歌唱の楽しさにバリエーションを持たせることができる。
【０００３】
カラオケルームのステージのように、歌唱者が歌唱を行う位置が決まっている場合には、その歌唱位置に向けて撮影装置を設置して歌唱者の映像を撮影すればよい。しかし、歌唱者が常にステージの中央で歌唱するとは限らず、ステージの隅で歌唱を行ったり、ステージ上を移動しながら歌唱を行ったりすることがある。このような状況において、撮影位置を固定した撮影装置によっては歌唱者の映像を適切に録画することはできない。
【０００４】
従来、ビデオカメラ等の撮影装置における被写体追尾装置が種々提案されている（特許文献１、特許文献２参照）。
特許文献１に記載された技術は、ビデオカメラなどの撮像手段と、撮像手段で撮影された画像面から特定の被写体像を検出する被写体認識手段と、被写体認識手段が検出した被写体像が画像の所定位置に収まるように撮像手段の撮像方向を変更する撮像方向変更手段とを備えている。そして、撮像方向変更手段は、可動範囲が狭く比較的高速で追従する第１の撮像方向変更手段と、可動範囲が広く比較的低速で追従する第２の撮像方向変更手段と、第１の撮像方向変更手段と第２の撮像方向変更手段とが協調して動作するように働く協調手段と、を備えている。これにより、追尾範囲が広く応答追従性に優れた被写体追尾装置を実現することができるとしている。
【０００５】
また、特許文献２に記載された技術は、撮影視野内の画像を取り込み、その画像の特徴抽出を行う画像検出手段と、画像検出手段の特徴抽出結果に基づいて、撮影視野内において主被写体となる可能性のある候補領域を認識する画像認識手段と、画像認識手段が認識した候補領域を表示する表示手段と、表示手段により表示された候補領域の中から、主被写体が存在する主被写体領域として少なくとも１つを選択する主被写体領域選択手段と、主被写体領域手段により選択された主被写体領域の画像について画像検出手段が抽出した特徴を特徴基準として記憶する主被写体領域記憶手段とを備えている。これにより、記憶した特徴基準を用いれば、主被写体が移動しても、主被写体の移動に追従することができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２１５４２２号公報
【特許文献２】特開２０００−２８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、撮影機能を有するカラオケ演奏装置の本来の目的は、撮影を所望して選曲予約を行った歌唱者の映像を録画することにある。すなわち、カラオケルーム内に集合している利用者の中から選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画しなければならない。
【０００８】
しかしながら、上述した従来の技術では、撮影開始時にビデオカメラが向けられていた被写体を追尾することができるが、必ずしもその被写体が選曲予約を行った歌唱者であるとは限らない。例えば、カラオケ楽曲の演奏が開始された時点において、ビデオカメラ等の撮影装置がステージに向けられており、ステージ上の人物を捕捉していたとする。この場合に、ステージ上に司会者が立っており、演奏が開始されたカラオケ楽曲及び歌唱者の紹介を行った後にステージから去り、その後、ステージ上に歌唱者が立った場合には、演奏開始時点に合焦していた被写体である司会者の動きに追従して撮影が行われることになる。これでは、撮影を所望して選曲予約を行った歌唱者の映像を録画するという、本来の目的を達成することができない。また、ある程度、歌唱者撮影エリアが広く、歌唱者が歌唱者撮影エリア内を移動しながら歌唱を行った場合には、バランスの良い歌唱姿態の映像を得ることができない。
【０００９】
本発明は、上述した事情に鑑み提案されたもので、選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影することが可能なカラオケシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の歌唱者画像撮影機能を有するカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の歌唱者画像撮影機能を有するカラオケシステムは、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、撮影機能制御手段と、報知制御手段と、被写体追従手段と、を備えている。
【００１１】
撮影手段は、パン・チルト機構を有するとともに、任意のカラオケ楽曲の演奏中に歌唱者の顔画像を撮影するための手段である。顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶するための手段である。利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録するための手段である。顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段により撮影が行われている場合に、撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較するための手段である。被写体追従手段は、撮影顔画像データと登録顔画像データとが一致している場合には、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の撮影顔画像位置に一致させるための手段である。
【００１２】
このような構成からなる歌唱者画像撮影機能を有するカラオケシステムでは、利用者顔画像登録手段の機能により、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに格納しておく。そして、利用者ＩＤに紐付して選曲予約されたカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、顔画像比較手段の機能により、現に撮影手段により撮影している撮影顔画像データと、選曲予約を行った利用者の登録顔画像データとを比較する。
【００１３】
ここで、撮影顔画像データと登録顔画像データとが一致している場合、すなわち、選曲予約を行った歌唱者が被写体となっている場合には、被写体追従手段の機能により、歌唱者の移動に追従してパン・チルト機構を作動させることにより、選曲予約を行った歌唱者の顔画像位置に撮影手段の撮影方向を一致させ、当該歌唱者を撮影する。
【発明の効果】
【００１４】
本発明の歌唱者画像撮影機能を有するカラオケシステムによれば、選曲予約を行った利用者が被写体となっている場合には、撮影手段の撮影方向を当該利用者の移動に追従させる。したがって、撮影を所望して選曲予約を行った適正な歌唱者の画像を、その移動に追従させて撮影することにより、バランスの良い歌唱姿態の映像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムを適用するカラオケ演奏装置のブロック図。
【図２】本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を示すフローチャート。
【図３】表示装置の表示画面に表示される警告メッセージの一例を示す模式図。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の歌唱者画像撮影機能を有するカラオケシステムの実施形態を説明する。本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムは歌唱者を撮影するためのカラオケシステムであって、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、被写体追従手段と、を備えている。また、撮影機能制御手段と、報知制御手段と、を含ませることが可能である。図１に、本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムを適用するカラオケ演奏装置の構成を示す。
【００１７】
＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケ演奏装置１１は、図１に示すように、カラオケ本体２１、カラオケリモコン装置２２、撮影手段２３、マイクロホン２４、スピーカ２５、ミキシングアンプ２６、表示装置２７を備えている。
【００１８】
＜カラオケリモコン装置＞
カラオケリモコン装置２２は、ユーザインタフェース機能を備えており、カラオケ本体２１の送受信手段４５に対して有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置２２は、楽曲検索手段２２ａとして機能するプログラム、楽曲索引データベース２２ｂ、利用者ＩＤ取得手段２２ｃとして機能する回路基板及びプログラム、データの送受信を行うための回路基板及びプログラム、フラッシュメモリ等からなる記憶手段（図示せず）を備えている。このカラオケリモコン装置２２に付帯するスイッチ類や、入出力表示部（図示せず）に表示される各種のアイコン等を操作することにより、選曲操作、撮影指示操作等が行われる。
【００１９】
＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２２ａは、利用者の指示に基づき、楽曲索引データベース２２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２２ｂは、カラオケ演奏装置１１で演奏に供されるカラオケ楽曲についての属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。
【００２０】
＜利用者ＩＤ取得手段＞
利用者ＩＤ取得手段２２ｃは、利用者がカラオケ演奏装置１１を利用する際に、利用者が所持するＩＤ媒体３１から利用者ＩＤを取得するための電子回路及びプログラムからなる。利用者ＩＤ取得手段２２ｃで取得した利用者ＩＤは、ＲＡＭ４３に一時的に記憶され、ログイン利用者管理手段４７で管理される。ＩＤ媒体３１は、例えば、非接触型のＩＤカード、携帯電話、携帯情報端末等からなり、利用者ＩＤを記憶して、利用者ＩＤ取得手段２２ｃとの間でデータの送受信を行うことができるようになっている。
【００２１】
＜撮影手段＞
撮影手段２３は、歌唱者を撮影するための手段で、例えば、主たる構成要素であるビデオカメラと、その付帯装置から構成される。ビデオカメラは、撮像レンズ２３ａ、撮像素子２３ｂ、フォーカシング機構２３ｃ、ズーミング機構２３ｄを備えており、付帯装置としてパン・チルト機構２３ｅを備えている。本実施形態の撮像レンズ２３ａは、複数のレンズ群から構成されるズームレンズからなり、この撮像レンズ２３ａにより、被写体からの光線を撮像素子２３ｂ上に結像させてビデオ信号に変換する。このビデオ信号は、カラオケ本体２１に送信される。
【００２２】
フォーカシング機構２３ｃは、被写体像を撮像素子２３ｂ上に合焦して結像させるための機構であり、オートフォーカス機構を備えていることが好ましい。オートフォーカス機構としては、例えば、適宜な間隔を隔てて設置した２つのセパレートレンズを用いて被写体を撮影し、被写体像を撮像素子２３ｂ上に結像させ、両画像の位相差に基づいて物体距離を検知する方式や、被写体上に赤外光を照射して、被写体からの拡散反射光をレンズで集光し、その結像位置に基づいて物体距離を検知する方式や、撮像素子２３ｂから被写体のコントラスト情報を抽出し、結像状態を直接判定する方式等が知られている。なお、被写界深度の深いレンズからなる固定焦点の撮像レンズ２３ａを用いることによりフォーカシング機構２３ｃを省略してもよい。
【００２３】
ズーミング機構２３ｄは、ビデオカメラの画角を変更するための機構で、広角端から望遠端に至る所定の範囲で連続的に画角を変更できるようになっており、画角の変更を行うために、ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構を備えている。ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構は、例えば、レンズを光軸に沿って移動可能に支持する支持機構、及びレンズを光軸に沿って移動させるアクチュエータ等からなる。本実施形態のズーミング機構２３ｄは、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるように自動的に画角調整を行う。なお、歌唱者が移動した場合であっても、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるような環境に撮影手段２３が設置されている場合には、ズーミング機構２３ｄを省略することができる。さらに、利用者の所望に応じて画角調整を行うようにしてもよい。
【００２４】
パン・チルト機構２３ｅは、ビデオカメラをパン及びチルトさせるための機構であり、互いに直交する２軸方向にそれぞれ回転するパンテーブル及びチルトテーブルと、このパンテーブル及びチルトテーブルを互いに直交する２軸方向にそれぞれ回転駆動するステッピングモータと、ステッピングモータの駆動制御装置とを備えている。
【００２５】
＜カラオケ本体＞
カラオケ本体２１は、中央制御手段４１、ＲＯＭ４２、ＲＡＭ４３、ＨＤＤ４４、送受信手段４５、予約管理手段４６、ログイン利用者管理手段４７、顔画像識別記憶手段４８、利用者顔画像登録手段４９、顔画像比較手段５０、撮影機能制御手段５１、撮像データ受信手段５２、撮影データ記憶手段５３、被写体追従手段５４、報知制御手段５５、Ａ／Ｄコンバータ５６、音楽再生制御手段５７、映像再生制御手段５８を備えている。
【００２６】
＜中央制御手段＞
中央制御手段４１は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ４２等に記憶されたアプリケーションプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
【００２７】
＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ４２は、カラオケ本体２１を構成する各機器を制御するためのアプリケーションプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ４３は、アプリケーションプログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりＲＡＭ４３を構成するのではなく、ハードディスク記憶装置等を用いて仮想的なＲＡＭ４３を構成してもよい。本実施形態では、ＲＡＭ４３に、予約待ち行列４３ａ、撮影顔画像データ４３ｂ、撮影データ４３ｃが記憶されるようになっている。
【００２８】
＜ＨＤＤ＞
ＨＤＤ４４は、大容量記憶装置として機能するもので、楽曲データベース４４ａ、映像データベース４４ｂ、利用者顔画像データベース４４ｃ、警告メッセージ４４ｄが格納されている。なお、ＨＤＤ４４に替えて、あるいはＨＤＤ４４とともに、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。
【００２９】
楽曲データベース４４ａは、演奏データ（ＭＩＤＩ（登録商標）データ）及び歌詞テロップデータが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けてそれぞれ格納したデータベースである。演奏データは各楽曲の演奏データをデジタル化したものであり、歌詞テロップデータは演奏データに同期されたカラオケ楽曲の歌詞文字データである。なお、歌詞文字データには、歌詞文字の表示色データ、色変わりデータ等が含まれている。映像データベース４４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。
【００３０】
利用者顔画像データベース４４ｃは、利用者顔画像登録手段４９の機能により、利用者ＩＤに紐付けされた利用者の顔画像データを複数格納したデータベースである。この利用者顔画像データベース４４ｃに格納された登録顔画像データは、顔画像比較手段５０において、撮影顔画像データとの比較に用いられる。警告メッセージ４４ｄは、報知制御手段５５の機能により報知制御を行う際に、表示装置２７に表示する警告メッセージを作成するためのデータである。
【００３１】
＜送受信手段＞
送受信手段４５は、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信が行われる。
【００３２】
＜予約管理手段＞
予約管理手段４６は、利用者により楽曲検索手段２２ａの機能を用いて選曲され、送受信手段４５を介して受信した当該選曲者の利用者情報（例えば利用者ＩＤ）及び選曲された楽曲ＩＤを対応付けて予約待ち行列４３ａとしてＲＡＭ４３に格納し、管理するためのプログラムである。なお、楽曲選択の表示や予約待ち行列４３ａの表示は、カラオケリモコン装置２２の入出力表示部（図示せず）及び表示装置２７のいずれか一方、あるいは双方で行うことができる。
【００３３】
＜ログイン利用者管理手段＞
ログイン利用者管理手段４７は、現に当該カラオケ演奏装置１１にログインしている利用者を、利用者ＩＤに基づき特定して管理するためのプログラムからなる。すなわち、ログイン利用者管理手段４７では、利用者ＩＤ取得手段２２ｃにより利用者ＩＤが取得された場合に、この利用者ＩＤに基づいてカラオケ演奏装置１１にログインしている利用者を特定して管理する。取得した利用者ＩＤは、選曲予約や顔画像データの比較を行う際に利用される。
【００３４】
＜顔画像識別記憶手段＞
顔画像識別記憶手段４８は、歌唱者撮影エリア（例えば、ステージ）にいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データ４３ｂとしてＲＡＭ４３に記憶するためのプログラムからなる。歌唱者の顔画像データを識別するためには、例えば、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出する。そして、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を顔画像領域として認識する。続いて、顔画像領域内で、その輪郭、目、鼻、口の位置を利用して、被写体の顔画像の特徴を認識することにより、撮影した顔画像データを識別する。
【００３５】
＜利用者顔画像登録手段＞
利用者顔画像登録手段４９は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベース４４ｃに登録するためのプログラムからなる。利用者の顔画像データは、例えば、撮影手段２３の機能により取得することができる。撮影手段２３の機能により取得された利用者の顔画像データは、利用者顔画像登録手段４９の機能により、利用者ＩＤに紐付けされて利用者顔画像データベース４４ｃに登録される。なお、利用者ＩＤは、利用者ＩＤ取得手段２２ｃの機能により、ＩＤ媒体３１から取得することができる。
【００３６】
＜顔画像比較手段＞
顔画像比較手段５０は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段２３により撮影が行われている場合に、撮影顔画像データ４３ｂと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較するためのプログラムからなる。例えば、撮影を所望して選曲予約されたカラオケ楽曲が演奏されると、予約待ち行列４３ａに記録された利用者ＩＤに基づいて、利用者顔画像データベース４４ｃに登録された当該利用者の顔画像データを登録顔画像データとして取得する。そして、撮影手段２３の機能により撮影されて、顔画像識別記憶手段４８により識別された歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、利用者顔画像データベース４４ｃから取得した登録顔画像データとを比較し、両者の一致・不一致を判別する。両者の比較は、顔画像領域内における顔の輪郭、目、鼻、口の位置に基づいて行われる。具体的には、撮影顔画像データ４３ｂと、登録顔画像データとにおいて、顔画像領域内における顔の輪郭、目、鼻、口の位置を比較してその一致度を数値化し、一致度数が所定の閾値以下の場合に、両者は異なるデータであると判断する。一方、一致度数が所定の閾値を超えていれば、両者は同一のデータであると判断する。
【００３７】
＜撮影機能制御手段＞
撮影機能制御手段５１は、現に撮影対象となっている歌唱者の顔画像データと選曲予約を行った利用者の顔画像データとが一致しない場合には、撮影手段２３の機能を停止させるためのプログラムからなる。すなわち、選曲予約を行った利用者が被写体となっていない場合には、撮影機能制御手段５１の機能により、撮影手段２３の機能が停止させられ、歌唱者画像の録画は行われない。
【００３８】
＜報知制御手段＞
報知制御手段５５は、現に撮影対象となっている歌唱者の顔画像データと選曲予約を行った利用者の顔画像データとが一致せずに、撮影手段２３の機能を停止させる旨の報知制御を行うためのプログラムからなる。この報知制御手段５５における報知制御処理では、例えば、表示装置２７の表示画面に警告を表示したり、カラオケ楽曲の演奏を中止したり、録音や録画を中止したりすることにより、選曲予約を行った利用者が被写体となっていない旨を報知する（図３参照）。
【００３９】
＜被写体追従手段＞
被写体追従手段５４は、撮影顔画像データ４３ｂと登録顔画像データとが一致している場合には、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の撮影顔画像位置に一致させるためのプログラムからなる。なお、本実施形態では、撮影手段２３がズーミング機構２３ｄを備えているため、被写体追従手段５４による被写体追従処理において、パン・チルト機構２３ｅだけではなく、ズーミング機構２３ｄも制御して、ビデオカメラの撮像レンズ２３ａを被写体に向けるとともに、画角を一定に保つことが好ましい。
【００４０】
この被写体追従手段５４は、例えば、特開平１１−２１５４２２号公報（特許文献１）、特開２０００−２８３３号公報（特許文献２）に記載されている技術を用いることができる。すなわち、特開平１１−２１５４２２号公報（特許文献１）に記載されているように、予め撮影対象となる被写体を認識して記憶し、この被写体が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。また、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、画像の輪郭を抽出し、抽出結果に基づいて、撮影視野内において被写体となる可能性のある領域、例えば、輪郭で囲まれた領域のうち顔領域として設定された面積を有する領域を顔画像領域として認識する。そして、認識した顔画像領域が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。
【００４１】
＜撮像データ受信手段／撮影データ記憶手段＞
撮像データ受信手段５２は、撮影手段２３からのビデオ信号を受信するための回路基板及びプログラムからなる。また、撮影データ記憶手段５３は、撮影手段２３により撮影され、撮像データ受信手段５２により受信したビデオ信号と、マイクロホン２４から入力された音声入力信号と、音楽再生制御手段５７によりデジタル再生される演奏とを同期させて撮影データ４３ｃを作成し、ＲＡＭ４３に記憶させるためのプログラムからなる。
【００４２】
ＲＡＭ４３に記憶された撮影データ４３ｃは、ＤＶＤドライブ等の記録装置及び書込ソフトウェアを用いてＤＶＤ等の記憶媒体に記憶したり、インターネット回線を介してサーバに蓄積させることによりウェブ配信したりすることができる。なお、このような撮影サービスは、カラオケ演奏装置１１を利用したカラオケ楽曲の歌唱という基本サービスに付加するサービスであるため、一般的に有料となっていることが多い。そこで、撮影データ記憶手段５３による撮影データ４３ｃの作成及び記憶は、利用者の指示があった場合のみに行う構成とすることが好ましい。すなわち、利用者がカラオケリモコン装置２２を操作することにより撮影データ４３ｃの作成及び記憶を指示した場合に、撮影データ記憶手段５３の機能により、撮影データ４３ｃの作成及び記憶が行われる。
【００４３】
＜音楽再生制御手段＞
音楽再生制御手段５７は、楽曲ＩＤに基づいて楽曲データベース４４ａから抽出された演奏データをデジタル再生するとともにアナログ変換してミキシングアンプ２６に出力するための電子回路である。ミキシングアンプ２６は、マイクロホン２４から入力された歌唱者の歌唱音声信号と、音楽再生制御手段５７から送出される演奏音声信号とをミキシングするとともに、アンプ機能により増幅してスピーカ２５より出力させるための装置である。なお、本実施形態では、撮影データ記憶手段５３において歌唱音声信号を利用するため、マイクロホン２４からの歌唱音声信号がＡ／Ｄコンバータ５６へ入力されている。
【００４４】
＜映像再生制御手段＞
映像再生制御手段５８は、カラオケ楽曲の演奏中に、映像データベース４４ｂから抽出した映像データ及び楽曲データベース４４ａから抽出した楽曲データのうちの歌詞テロップデータ（歌詞文字データ）を、当該カラオケ楽曲の演奏データに同期させて表示装置２７に出力するための電子回路である。この際、カラオケ楽曲の演奏進行に従って、歌詞文字が色変わりして表示される。
【００４５】
＜表示装置＞
表示装置２７は、カラオケ演奏時の映像、歌詞テロップ、警告メッセージ等を表示するための装置で、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ等により構成される。
【００４６】
＜歌唱者追従制御処理＞
図２及び図３を参照して、本実施形態の歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を説明する。図２は、本発明の実施形態に係る歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理を示すフローチャートである。また、図３は、表示装置の表示画面に表示される警告メッセージの一例を示す模式図である。
【００４７】
歌唱者追従制御処理では、予め利用者顔画像登録手段４９の機能により、利用者ＩＤに紐付けされた利用者の顔画像データ（登録顔画像データ）が、利用者顔画像データベース４４ｃに格納されているものとする。
【００４８】
本実施形態の歌唱者画像撮影機能を有するカラオケシステムにおける歌唱者追従制御処理は、図２に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し（Ｓ１）、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段２３の機能により撮影が開始される（Ｓ２）。撮影開始時におけるビデオカメラは、ステージ等のデフォルト位置に存在する被写体を撮影するように、その向き及び画角が調整されている。なお、撮影開始時に、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、歌唱者撮影エリアにいる歌唱者を探し出して、以降の処理を行ってもよい。
【００４９】
続いて、顔画像比較手段５０の機能により、現に撮影手段２３により撮影している歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、選曲予約を行った利用者の顔画像データ（登録顔画像データ）とを比較する（Ｓ３）。ところで、撮影開始直後には、ビデオカメラのデフォルト撮影位置であるステージ上に歌唱者がいるとは限らず、自らが選曲予約したカラオケ楽曲の演奏が開始されたことを認知した後にステージに上がったり、司会者に促されてステージに上がったりするため、撮影開始時（カラオケ楽曲の演奏開始時）には、歌唱者の顔画像データを取得することができない場合がある。そこで、撮影開始直後に顔画像データの比較を行うのではなく、所定時間経過後（例えば３０秒経過後）に顔画像データの比較を行うことが好ましい。
【００５０】
ここで、撮影顔画像データ４３ｂと登録顔画像データの一致を確認し（Ｓ４）、撮影顔画像データ４３ｂと利用者の顔画像データとが一致している場合には、被写体追従手段５４の機能により、撮影対象となる歌唱者の移動に追従するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、選曲予約を行った歌唱者の顔画像位置に撮影手段２３の撮影方向を一致させるとともに、画角を一定に保つ（Ｓ５）。そして、カラオケ楽曲の演奏が終了したか否かを判断し（Ｓ６）、カラオケ楽曲の演奏が終了するまでの間、上述した追従処理（Ｓ５）を実行する。
【００５１】
一方、撮影顔画像データ４３ｂと登録顔画像データとが一致しない場合、すなわち、選曲予約を行った歌唱者が被写体となっていない場合には、報知制御手段５５の機能により、その旨の報知を行うとともに（Ｓ７）、撮影機能制御手段５１の機能により撮影手段２３の機能を停止させて、撮影を中止する（Ｓ８）。なお、報知処理（Ｓ７）及び撮影中止処理（Ｓ８）は必須の処理ではなく、付随的な処理である。
【００５２】
このように、本実施形態の歌唱者画像撮影機能を有するカラオケシステムでは、撮影を所望して選曲予約を行った歌唱者の適正な画像を録画することができる。すなわち、歌唱者がデフォルト位置から移動した場合であっても、その移動に追従して撮影手段２３の撮影方向を変更することができるので、撮影した画像内の適正位置に歌唱者が存在し、撮影を所望した歌唱者の要求を十分に満足させることができる。
【００５３】
＜他の実施形態＞
本発明の歌唱者画像撮影機能を有するカラオケシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。
【００５４】
＜ネットワークカラオケシステム＞
また、上述した実施形態は、カラオケ演奏装置１１をスタンドアロンで使用した例を示しているが、各カラオケ店舗等に設置されたカラオケ演奏装置１１を端末装置とし、インターネット回線等を用いて、端末装置とホスト装置とをネットワーク接続した構成とすることもできる。この場合には、ホスト装置において、利用者ＩＤや、これに紐付けされた利用者の顔画像データ等を集中管理することにより、ネットワーク接続された各カラオケ演奏装置１１において同様のサービスを提供することができる。
【符号の説明】
【００５５】
１１ カラオケ演奏装置
２１ カラオケ本体
２２ カラオケリモコン装置
２２ａ 楽曲検索手段
２２ｂ 楽曲索引データベース
２２ｃ 利用者ＩＤ取得手段
２３ 撮影手段
２３ａ 撮像レンズ
２３ｂ 撮像素子
２３ｃ フォーカシング機構
２３ｄ ズーミング機構
２３ｅ パン・チルト機構
２４ マイクロホン
２５ スピーカ
２６ ミキシングアンプ
２７ 表示装置
３１ ＩＤ媒体
４１ 中央制御手段
４２ ＲＯＭ
４３ ＲＡＭ
４３ａ 予約待ち行列
４３ｂ 撮影顔画像データ
４３ｃ 撮影データ
４４ ＨＤＤ
４４ａ 楽曲データベース
４４ｂ 映像データベース
４４ｃ 利用者顔画像データベース
４４ｄ 警告メッセージ
４５ 送受信手段
４６ 予約管理手段
４７ ログイン利用者管理手段
４８ 顔画像識別記憶手段
４９ 利用者顔画像登録手段
５０ 顔画像比較手段
５１ 撮影機能制御手段
５２ 撮像データ受信手段
５３ 撮影データ記憶手段
５４ 被写体追従手段
５５ 報知制御手段
５６ Ａ／Ｄコンバータ
５７ 音楽再生制御手段
５８ 映像再生制御手段
【特許請求の範囲】
【請求項１】
歌唱者を撮影するためのカラオケシステムであって、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、被写体追従手段と、を備え、
前記撮影手段は、パン・チルト機構を有するとともに、任意のカラオケ楽曲の演奏中に歌唱者の顔画像を撮影し、
前記顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶し、
前記利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録し、
前記顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、前記撮影手段により撮影が行われている場合に、前記撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較し、
前記被写体追従手段は、前記撮影顔画像データと前記登録顔画像データとが一致している場合には、歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の撮影顔画像位置に一致させる、
ことを特徴とする歌唱者画像撮影機能を有するカラオケシステム。
【請求項１】
歌唱者を撮影するためのカラオケシステムであって、撮影手段と、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、被写体追従手段と、を備え、
前記撮影手段は、パン・チルト機構を有するとともに、任意のカラオケ楽曲の演奏中に歌唱者の顔画像を撮影し、
前記顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶し、
前記利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録し、
前記顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、前記撮影手段により撮影が行われている場合に、前記撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較し、
前記被写体追従手段は、前記撮影顔画像データと前記登録顔画像データとが一致している場合には、歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の撮影顔画像位置に一致させる、
ことを特徴とする歌唱者画像撮影機能を有するカラオケシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−２５６６４２（Ｐ２０１０−２５６６４２Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０７２４０（Ｐ２００９−１０７２４０）
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]