不適切行為の撮影排除機能を有するカラオケシステム
【課題】 選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影するとともに、当該歌唱者による不適切行為を識別して排除することが可能なカラオケシステムを提供する。
【解決手段】 撮影が指示された任意のカラオケ楽曲が演奏された場合に、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させる被写体追従手段５５と、歌唱者撮影エリアにいる歌唱者の体表温度を検知する被写体温度検知手段５６と、歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断する不適切行為判断手段４５と、不適切行為が行われていると判断された場合には、撮影手段２３の機能を停止させる撮影機能制御手段４６と、を備える。
【解決手段】 撮影が指示された任意のカラオケ楽曲が演奏された場合に、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させる被写体追従手段５５と、歌唱者撮影エリアにいる歌唱者の体表温度を検知する被写体温度検知手段５６と、歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断する不適切行為判断手段４５と、不適切行為が行われていると判断された場合には、撮影手段２３の機能を停止させる撮影機能制御手段４６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱者を撮影する機能を有するカラオケシステムにおいて、歌唱者の不適切行為を識別して、その撮影を排除することを可能としたカラオケシステムに関するものである。
【背景技術】
【０００２】
現在のカラオケシステムでは、カラオケ演奏装置を用いて歌唱を行っている歌唱者の映像を録画し、これをウェブサイトで公開するサービスが実用化されている。このサービスは、歌唱者の映像を撮影してサーバに記録し、インターネット接続したパーソナルコンピュータや携帯電話を用いて当該映像を視聴できるものである。このサービスにより、カラオケ演奏装置を用いた歌唱姿態を、歌唱者自らが楽しんだり、友人等に見せたりすることができ、カラオケ演奏装置を用いた歌唱の楽しさにバリエーションを持たせることができる。
【０００３】
ところで、上述したサービスにおいて撮影を行う場所が、個室のカラオケルーム等である場合には、酔客等により善良の風俗に反する姿態が撮影されるおそれがある。このような映像が公開されることは好ましくないため、カラオケ業者は録画映像を公開する前にチェックしている。しかし、公開を望む録画映像の数は膨大であるため、そのチェックには多くの人手と労力を必要とする。現在のカラオケシステムでは、歌唱者による不適切行為を自動的に把握する仕組みはなく、その対応に苦慮しているのが現状である。
【０００４】
また、撮影機能を有するカラオケ演奏装置の本来の目的は、撮影を所望して選曲予約を行った歌唱者の映像を録画することにある。すなわち、カラオケルーム内に集合している利用者の中から選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画しなければならない。
【０００５】
さらに、上述したサービスを利用するには、利用者の事前登録が必要である。このため、カラオケ業者にとってみれば、登録者の経歴情報を把握しており、仮に不適切行為を含む録画映像が撮影されたことが判明した場合には、当該利用者の登録を抹消する等の対処が可能である。一方、利用者にとってみれば、カラオケ業者に経歴情報を知られているため、これが抑止効果となって、ある程度は不適切行為の撮影及び録画を排除することができる。
【０００６】
現在普及しているカラオケ演奏装置は、選曲予約を行う際に、楽曲ＩＤに利用者ＩＤを付帯させて予約待ち行列に登録している。すなわち、選曲予約されたカラオケ楽曲は、当該選曲予約を行った利用者により歌唱されるのが一般的である。通常の場合、良識ある利用者は、自らの利用者ＩＤを用いて選曲予約を行ったカラオケ楽曲について、その歌唱姿態を録画して公開することを想定すると、上述した抑止効果により、不適切行為を行うことは稀であると考えられる。このため、適切な歌唱を行っている歌唱者を追尾して、その姿態を撮影することが効果的である。
【０００７】
従来、ビデオカメラ等の撮影装置における被写体追尾装置が種々提案されている（特許文献１、特許文献２参照）。
特許文献１に記載された技術は、ビデオカメラなどの撮像手段と、撮像手段で撮影された画像面から特定の被写体像を検出する被写体認識手段と、被写体認識手段が検出した被写体像が画像の所定位置に収まるように撮像手段の撮像方向を変更する撮像方向変更手段とを具備している。そして、撮像方向変更手段は、可動範囲が狭く比較的高速で追従する第１の撮像方向変更手段と、可動範囲が広く比較的低速で追従する第２の撮像方向変更手段と、第１の撮像方向変更手段と第２の撮像方向変更手段とが協調して動作するように働く協調手段と、を備えている。これにより、追尾範囲が広く応答追従性に優れた被写体追尾装置を実現することができるとしている。
【０００８】
また、特許文献２に記載された技術は、撮影視野内の画像を取り込み、その画像の特徴抽出を行う画像検出手段と、画像検出手段の特徴抽出結果に基づいて、撮影視野内において主被写体となる可能性のある候補領域を認識する画像認識手段と、画像認識手段が認識した候補領域を表示する表示手段と、表示手段により表示された候補領域の中から、主被写体が存在する主被写体領域として少なくとも１つを選択する主被写体領域選択手段と、主被写体領域手段により選択された主被写体領域の画像について画像検出手段が抽出した特徴を特徴基準として記憶する主被写体領域記憶手段とを備えている。これにより、記憶した特徴基準を用いれば、主被写体が移動しても、主被写体の移動に追従することができるとしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−２１５４２２号公報
【特許文献２】特開２０００−２８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したように、現在のカラオケシステムでは、歌唱者による不適切行為を自動的に把握する仕組みはないため、発明者は鋭意研究を重ねた結果、被写体となっている歌唱者の体表体温を検知することにより、少なくとも、裸体をさらけ出すという不適切行為の撮影を排除することができることに想到した。すなわち、着衣状態の歌唱者と、衣服を脱いでしまった歌唱者の体表温度を比較すると、衣服を脱いでしまった歌唱者の体表温度の方が高いため、裸体であることを検知することができる。
【００１１】
また、選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画するのが、撮影機能を有するカラオケ演奏装置の本来の目的である。
しかしながら、上述した従来の技術では、撮影開始時にビデオカメラ等の撮影装置が向けられていた被写体を追尾することができるが、必ずしもその被写体が選曲予約を行った歌唱者であるとは限らない。例えば、カラオケ楽曲の演奏が開始された時点において、ビデオカメラ等の撮影装置がステージに向けられており、ステージ上の人物を捕捉していたとする。この場合に、ステージ上に選曲予約を行った利用者以外の他の利用者が立ってしまう場合には、演奏開始時点に合焦していた被写体である他の利用者の動きに追従して撮影が行われることになる。これでは、選曲予約を行った利用者の移動に追従してビデオカメラ等の撮影方向を変更することができない。
【００１２】
また、選曲予約を行った利用者と、実際に歌唱を行っている歌唱者との異動を判断し、選曲予約を行った利用者のみに、その歌唱姿態の撮影を許可することにより、上述した不適切行為の抑止効果はより一層顕著なものとなる。
【００１３】
本発明は、上述した事情に鑑み提案されたもので、歌唱者による不適切行為を識別して、その撮影を排除することが可能なカラオケシステムを提供することを目的とする。また、本発明は、選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影することが可能なカラオケシステムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の不適切行為の撮影排除機能を有するカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の不適切行為の撮影排除機能を有するカラオケシステムは、撮影手段と、被写体追従手段と、被写体温度検知手段と、不適切行為判断手段と、撮影機能制御手段と、を備えている。
【００１５】
撮影手段は、少なくともパン・チルト機構を有している。被写体追従手段は、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の移動位置に一致させるための手段である。被写体温度検知手段は、任意のカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、歌唱者撮影エリアにいる歌唱者の体表温度を検知するための手段である。不適切行為判断手段は、歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断するための手段である。撮影機能制御手段は、不適切行為が行われていると判断された場合には、撮影手段の機能を停止させるための手段である。
【００１６】
このような構成からなる不適切行為の撮影排除機能を有するカラオケシステムでは、撮影が指示された任意のカラオケ楽曲が演奏されると、被写体追従手段の機能により、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の移動位置に一致させ、当該歌唱者の画像を撮影する。また、赤外線サーモグラフィカメラ等からなる被写体温度検知手段の機能により、歌唱者撮影エリアにいる歌唱者の撮像体表面の平均体表温度を検知する。
【００１７】
そして、不適切行為判断手段の機能により、歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断する。例えば、歌唱者の撮像体表面における生体温度（３６℃乃至３７℃）の割合が７０％以上であるか否かを判断基準として、このような状態である場合に、歌唱者が裸になっていると判断する。歌唱者が裸になっているという不適切行為が撮影されている場合には、撮影機能制御手段の機能により、撮影手段の機能を停止させる。
【００１８】
また、本発明の不適切行為の撮影排除機能を有するカラオケシステムは、上述した構成に加えて、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、をさらに備えることが可能である。
【００１９】
顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶するための手段である。利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録するための手段である。顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段により撮影が行われている場合に、撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較して歌唱者を特定するための手段である。
【００２０】
このような構成からなる不適切行為の撮影排除機能を有するカラオケシステムでは、利用者顔画像登録手段の機能により、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに格納しておく。そして、利用者ＩＤに紐付して選曲予約されたカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、顔画像比較手段の機能により、現に撮影手段により撮影している撮影顔画像データと、選曲予約を行った利用者の登録顔画像データとを比較して歌唱者を特定する。
【００２１】
そして、被写体追従手段の機能により、特定された歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を前記歌唱者の移動位置に一致させる。
【発明の効果】
【００２２】
本発明の不適切行為の撮影排除機能を有するカラオケシステムによれば、撮影手段の撮影方向を当該利用者の移動に追従させる。そして、歌唱者撮影エリアにいる歌唱者が裸になり、その撮像体表面における生体温度の割合が所定の基準値を超えた場合には、不適切行為が行われていると判断し、撮影手段の機能を停止させる。したがって、歌唱者の動きに追従させて、常に撮像フレーム内に撮像体表面を欠損なく保持することで、動きのある歌唱者に対しても、撮像体表面の生体温度を適切に検知することができる。これにより、歌唱者の不適切行為を効率的に識別して排除することが可能となる。
【００２３】
また、カラオケ楽曲の選曲予約を行った歌唱者以外の利用者が歌唱者撮影エリアにいた場合であっても、カラオケ楽曲の選曲予約を行った歌唱者を識別して追従できるので、その歌唱姿態を適切に撮影することが可能となる。
さらに、カラオケ業者に対して経歴情報が明らかになっている選曲者は、その利用者ＩＤを用いたカラオケ楽曲の演奏において、自らの公序良俗違反の行為を公にしたくないという心理状態を利用して、より一層、不適切行為の排除効果を高めることが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る不適切行為の撮影排除機能を有するカラオケシステムを適用するカラオケ演奏装置のブロック図。
【図２】不適切行為の撮影排除処理の第１の実施形態を示すフローチャート。
【図３】不適切行為の撮影排除処理の第２の実施形態を示すフローチャート。
【図４】表示装置の表示画面に表示される警告メッセージの一例を示す模式図。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本発明の不適切行為の撮影排除機能を有するカラオケシステムの実施形態を説明する。本発明の実施形態に係る不適切行為の撮影排除機能を有するカラオケシステムは、主な構成要素として、撮影手段と、被写体追従手段と、被写体温度検知手段と、不適切行為判断手段と、撮影機能制御手段と、を備えている。さらに、被顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段とを備えることが可能である。なお、以下に示す実施形態は、すべての構成要素を含んだものである。図１に、本発明の実施形態に係る不適切行為の撮影排除機能を有するカラオケシステムを適用するカラオケ演奏装置の構成を示す。
【００２６】
＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケ演奏装置１１は、図１に示すように、カラオケ本体２１、カラオケリモコン装置２２、撮影手段２３、マイクロホン２４、スピーカ２５、ミキシングアンプ２６、表示装置２７を備えている。
【００２７】
＜カラオケリモコン装置＞
カラオケリモコン装置２２は、ユーザインタフェース機能を備えており、カラオケ本体２１の送受信手段４７に対して有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置２２は、楽曲検索手段２２ａとして機能するプログラム、楽曲索引データベース２２ｂ、利用者ＩＤ取得手段２２ｃとして機能する回路基板及びプログラム、データの送受信を行うための回路基板及びプログラム、フラッシュメモリ等からなる記憶手段（図示せず）を備えている。このカラオケリモコン装置２２に付帯するスイッチ類や、入出力表示部（図示せず）に表示される各種のアイコン等を操作することにより、選曲操作、撮影指示操作等が行われる。
【００２８】
＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２２ａは、利用者の指示に基づき、楽曲索引データベース２２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２２ｂは、カラオケ演奏装置１１で演奏に供されるカラオケ楽曲についての属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。
【００２９】
＜利用者ＩＤ取得手段＞
利用者ＩＤ取得手段２２ｃは、利用者がカラオケ演奏装置１１を利用する際に、利用者が所持するＩＤ媒体３１から利用者ＩＤを取得するための電子回路及びプログラムからなる。利用者ＩＤ取得手段２２ｃで取得した利用者ＩＤは、ＲＡＭに一時的に記憶され、ログイン利用者管理手段４９で管理される。ＩＤ媒体３１は、例えば、非接触型のＩＤカード、携帯電話、携帯情報端末等からなり、利用者ＩＤを記憶して、利用者ＩＤ取得手段２２ｃとの間でデータの送受信を行うことができるようになっている。
【００３０】
＜撮影手段＞
撮影手段２３は、歌唱者の画像を撮影するための手段で、例えば、主たる構成要素であるビデオカメラと、その付帯装置から構成される。ビデオカメラは、撮像レンズ２３ａ、撮像素子２３ｂ、フォーカシング機構２３ｃ、ズーミング機構２３ｄを備えており、付帯装置としてパン・チルト機構２３ｅ、赤外線検出センサ２３ｆを備えている。本実施形態の撮像レンズ２３ａは、複数のレンズ群から構成されるズームレンズからなり、この撮像レンズ２３ａにより、被写体からの光線を撮像素子２３ｂ上に結像させてビデオ信号に変換する。このビデオ信号、及び赤外線検出センサ２３ｆにより検知した歌唱者の体表温度データは、カラオケ本体２１に送信される。
【００３１】
フォーカシング機構２３ｃは、被写体像を撮像素子２３ｂ上に合焦して結像させるための機構であり、オートフォーカス機構を備えていることが好ましい。オートフォーカス機構としては、例えば、適宜な間隔を隔てて設置した２つのセパレートレンズを用いて被写体を撮影し、被写体像を撮像素子２３ｂ上に結像させ、両画像の位相差に基づいて物体距離を検知する方式や、被写体上に赤外光を照射して、被写体からの拡散反射光をレンズで集光し、その結像位置に基づいて物体距離を検知する方式や、撮像素子２３ｂから被写体のコントラスト情報を抽出し、結像状態を直接判定する方式等が知られている。なお、被写界深度の深いレンズからなる固定焦点の撮像レンズ２３ａを用いることによりフォーカシング機構２３ｃを省略してもよい。
【００３２】
ズーミング機構２３ｄは、ビデオカメラの画角を変更するための機構で、広角端から望遠端に至る所定の範囲で連続的に画角を変更できるようになっており、画角の変更を行うために、ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構を備えている。ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構は、例えば、レンズを光軸に沿って移動可能に支持する支持機構、及びレンズを光軸に沿って移動させるアクチュエータ等からなる。本実施形態のズーミング機構２３ｄは、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるように自動的に画角調整を行う。なお、歌唱者が移動した場合であっても、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるような環境に撮影手段２３が設置されている場合には、ズーミング機構２３ｄを省略することができる。さらに、利用者の所望に応じて画角調整を行うようにしてもよい。
【００３３】
パン・チルト機構２３ｅは、ビデオカメラをパン及びチルトさせるための機構であり、互いに直交する２軸方向にそれぞれ回転するパンテーブル及びチルトテーブルと、このパンテーブル及びチルトテーブルを互いに直交する２軸方向にそれぞれ回転駆動するステッピングモータと、ステッピングモータの駆動制御装置とを備えている。
【００３４】
さらに、本実施形態の撮影手段２３は、被写体温度検知手段５６の一部として機能する赤外線検出センサ２３ｆを備えている。具体的には、撮影手段２３を構成するビデオカメラに赤外線検出センサ２３ｆを組み込むことにより、被写体温度を検知することができる。この赤外線検出センサ２３ｆは、被写体から放出されている赤外線放射エネルギーを検出するためのセンサであり、被写体温度検知手段５６は、この赤外線検出センサ２３ｆの検出出力に基づいて見かけの温度を演算する。この場合、撮像レンズ２３ａに入射する被写体からの光線の一部を、ハーフミラーやプリズムにより、撮像素子２３ｂへの光路と分離して赤外線検出センサ２３ｆへの光路へ導き、この光路上の赤外線結像位置に、赤外線検出センサ２３ｆを配置すればよい。なお、可視光線と赤外線とは結像位置が異なるため、撮像素子２３ｂと赤外線検出センサ２３ｆとでは、撮像レンズ２３ａからの光路長が異なっている。
【００３５】
本実施形態では、撮影手段２３に赤外線検出センサ２３ｆを組み込んでいるが、撮影手段２３とは別個に、赤外線撮像手段を設けてもよい。この場合には、撮影手段２３のパン・チルト機構２３ｅにより、あるいはこのパン・チルト機構２３ｅに連動する他のパン・チルト機構により、撮影手段２３の撮影方向と赤外線検出センサ２３ｆの温度検知方向とを一致させる必要がある。
【００３６】
＜カラオケ本体＞
カラオケ本体２１は、中央制御手段４１、ＲＯＭ４２、ＲＡＭ４３、ＨＤＤ４４、不適切行為判断手段４５、撮影機能制御手段４６、送受信手段４７、予約管理手段４８、ログイン利用者管理手段４９、顔画像識別記憶手段５０、利用者顔画像登録手段５１、顔画像比較手段５２、撮像データ受信手段５３、撮影データ記憶手段５４、被写体追従手段５５、被写体温度検知手段５６、報知制御手段５７、Ａ／Ｄコンバータ５８、音楽再生制御手段５９、映像再生制御手段６０を備えている。
【００３７】
＜中央制御手段＞
中央制御手段４１は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ４２等に記憶されたアプリケーションプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
【００３８】
＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ４２は、カラオケ本体２１を構成する各機器を制御するためのアプリケーションプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ４３は、アプリケーションプログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりＲＡＭ４３を構成するのではなく、ハードディスク記憶装置等を用いて仮想的なＲＡＭ４３を構成してもよい。本実施形態では、ＲＡＭ４３に、予約待ち行列４３ａ、撮影顔画像データ４３ｂ、撮影データ４３ｃが記憶されるようになっている。
【００３９】
＜ＨＤＤ＞
ＨＤＤ４４は、大容量記憶装置として機能するもので、楽曲データベース４４ａ、映像データベース４４ｂ、利用者顔画像データベース４４ｃ、判断基準値４４ｄ、警告メッセージ４４ｅが格納されている。なお、ＨＤＤ４４に替えて、あるいはＨＤＤ４４とともに、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。
【００４０】
楽曲データベース４４ａは、演奏データ（ＭＩＤＩ（登録商標）データ）及び歌詞テロップデータが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けてそれぞれ格納したデータベースである。演奏データは各楽曲の演奏データをデジタル化したものであり、歌詞テロップデータは演奏データに同期されたカラオケ楽曲の歌詞文字データである。なお、歌詞文字データには、歌詞文字の表示色データ、色変わりデータ等が含まれている。映像データベース４４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。
【００４１】
利用者顔画像データベース４４ｃは、利用者顔画像登録手段５１の機能により、利用者ＩＤに紐付けされた利用者の顔画像データを複数格納したデータベースである。この利用者顔画像データベース４４ｃに格納された登録顔画像データは、顔画像比較手段５２において、撮影顔画像データとの比較に用いられる。判断基準値は、不適切行為判断手段４５において判断基準となるデータである。警告メッセージ４４ｅは、報知制御手段５７の機能により報知制御を行う際に、表示装置２７に表示する警告メッセージを作成するためのデータである。
【００４２】
＜被写体温度検知手段＞
被写体温度検知手段５６は、任意のカラオケ楽曲が演奏されるとともに、撮影手段２３による撮影が行われると、歌唱者撮影エリアにいる歌唱者の体表温度を検知するための赤外線サーモグラフィ機構からなる。具体的には、撮影手段２３に組み込まれた赤外線検出センサ２３ｆからの検出出力に基づいて、被写体温度を検知することができる。この被写体温度検知手段５６は、赤外線検出センサ２３ｆにより検出した被写体から放出されている赤外線放射エネルギーを、見かけの温度に変換する。この際、撮像視野内に存在する歌唱者領域を識別するために、例えば、特開２０００−２８３３号公報（特許文献２）に記載されている技術を用いることができる。すなわち、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出し、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を歌唱者領域として認識する。
【００４３】
＜不適切行為判断手段＞
不適切行為判断手段４５は、歌唱者撮影エリアにいる歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断するためのプログラムからなる。例えば、不適切行為判断手段４５では、歌唱者の撮像体表面における生体温度（３６℃乃至３７℃）の割合が７０％以上であるか否かを判断基準として、このような状態である場合に、歌唱者が裸になっていると判断する。不適切行為判断手段４５で利用する判断基準値４４ｄは、ＨＤＤ４４に格納されている。なお、基準となる生体温度や撮像体表面の割合は、カラオケ演奏装置１１が設置された環境等に応じて適宜変更して実施することができる。
【００４４】
＜撮影機能制御手段＞
撮影機能制御手段４６は、不適切行為が行われていると判断された場合には、撮影手段２３の機能を停止させるためのプログラムからなる。すなわち、歌唱者撮影エリアにいる歌唱者が裸になっているという不適切行為が撮影されている場合には、撮影機能制御手段４６の機能により、撮影手段２３の機能が停止させられ、当該歌唱者の撮影は行われない。
【００４５】
また、撮影機能制御手段４６の機能として、上述した機能に加えて、歌唱者撮影エリアにいる歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と選曲予約を行った利用者の顔画像データ（登録顔画像データ）とが一致しない場合には、撮影手段２３の機能を停止させることもできる。すなわち、選曲予約を行った利用者が被写体となっていない場合には、撮影機能制御手段４６の機能により、撮影手段２３の機能が停止させられ、当該歌唱者の撮影は行われない。
【００４６】
＜報知制御手段＞
報知制御手段５７は、撮影手段２３の機能が停止させられた旨の報知制御を行うためのプログラムからなる。すなわち、歌唱者が裸になっているという不適切行為が撮影され、撮影機能制御手段４６の機能により、撮影手段２３の機能が停止させられた場合や、選曲予約を行った利用者が被写体となっていない場合に、その旨の報知制御処理が行われる。この報知制御手段５７における報知制御処理では、例えば、表示装置２７の表示画面に警告を表示することにより、不適切行為が行われている旨（図４参照）、あるいは選曲予約を行った利用者が被写体となっていない旨を報知する。
【００４７】
＜被写体追従手段＞
被写体追従手段５５は、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させるためのプログラムからなる。なお、本実施形態では、撮影手段２３がズーミング機構２３ｄを備えているため、被写体追従手段５５による被写体追従処理において、パン・チルト機構２３ｅだけではなく、ズーミング機構２３ｄも制御して、ビデオカメラの撮像レンズ２３ａを被写体に向けるとともに、画角を一定に保つことが好ましい。
【００４８】
また、被写体追従手段５５の機能として、後述するように、顔画像比較手段５２の機能により選曲予約を行った歌唱者が特定された場合に、当該歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させることができる。
【００４９】
この被写体追従手段５５は、例えば、特開平１１−２１５４２２号公報（特許文献１）、特開２０００−２８３３号公報（特許文献２）に記載されている技術を用いることができる。すなわち、特開平１１−２１５４２２号公報（特許文献１）に記載されているように、予め撮影対象となる被写体を認識して記憶し、この被写体が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。また、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、画像の輪郭を抽出し、抽出結果に基づいて、撮影視野内において被写体となる可能性のある領域、例えば、輪郭で囲まれた領域のうち顔領域として設定された面積を有する領域を顔画像領域として認識する。そして、認識した顔画像領域が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。
【００５０】
＜送受信手段＞
送受信手段４７は、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信が行われる。
【００５１】
＜予約管理手段＞
予約管理手段４８は、利用者により楽曲検索手段２２ａの機能を用いて選曲され、送受信手段４７を介して受信した当該選曲者の利用者情報（例えば利用者ＩＤ）及び選曲された楽曲ＩＤを対応付けて予約待ち行列４３ａとしてＲＡＭ４３に格納し、管理するためのプログラムである。なお、楽曲選択の表示や予約待ち行列４３ａの表示は、カラオケリモコン装置２２の入出力表示部（図示せず）及び表示装置２７のいずれか一方、あるいは双方で行うことができる。
【００５２】
＜ログイン利用者管理手段＞
ログイン利用者管理手段４９は、現に当該カラオケ演奏装置１１にログインしている利用者を、利用者ＩＤに基づき特定して管理するためのプログラムからなる。すなわち、ログイン利用者管理手段４９では、利用者ＩＤ取得手段２２ｃにより利用者ＩＤが取得された場合に、この利用者ＩＤに基づいてカラオケ演奏装置１１にログインしている利用者を特定して管理する。取得した利用者ＩＤは、選曲予約や顔画像データの比較を行う際に利用される。
【００５３】
＜顔画像識別記憶手段＞
顔画像識別記憶手段５０は、歌唱者撮影エリア（例えば、ステージ）にいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データ４３ｂとしてＲＡＭ４３に記憶するためのプログラムからなる。歌唱者の顔画像データを識別するためには、例えば、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出する。そして、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を顔画像領域として認識する。続いて、顔画像領域内で、その輪郭、目、鼻、口の位置を利用して、被写体の顔画像の特徴を認識することにより、撮影した顔画像データを識別する。
【００５４】
＜利用者顔画像登録手段＞
利用者顔画像登録手段５１は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベース４４ｃに登録するためのプログラムからなる。利用者の顔画像データは、例えば、撮影手段２３の機能により取得することができる。撮影手段２３の機能により取得された利用者の顔画像データは、利用者顔画像登録手段５１の機能により、利用者ＩＤに紐付けされて利用者顔画像データベース４４ｃに登録される。なお、利用者ＩＤは、利用者ＩＤ取得手段２２ｃの機能により、ＩＤ媒体３１から取得することができる。
【００５５】
＜顔画像比較手段＞
顔画像比較手段５２は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段２３により撮影が行われている場合に、撮影顔画像データ４３ｂと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較して歌唱者を特定するためのプログラムからなる。例えば、撮影を所望して選曲予約されたカラオケ楽曲が演奏されると、予約待ち行列４３ａに記録された利用者ＩＤに基づいて、利用者顔画像データベース４４ｃに登録された当該利用者の顔画像データを登録顔画像データとして取得する。そして、撮影手段２３の機能により撮影されて、顔画像識別記憶手段５０により識別された歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、利用者顔画像データベース４４ｃから取得した登録顔画像データとを比較し、両者の一致・不一致を判断して、歌唱者を特定する。両者の比較は、顔画像領域内における顔の輪郭、目、鼻、口の位置に基づいて行われる。具体的には、撮影顔画像データ４３ｂと、登録顔画像データとにおいて、顔画像領域内における顔の輪郭、目、鼻、口の位置を比較してその一致度を数値化し、一致度数が所定の閾値以下の場合に、両者は異なるデータであると判断する。一方、一致度数が所定の閾値を超えていれば、両者は同一のデータであると判断する。
【００５６】
この場合には、被写体追従手段５５の機能により、特定された歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させる
【００５７】
＜撮像データ受信手段／撮影データ記憶手段＞
撮像データ受信手段５３は、撮影手段２３からのビデオ信号を受信するための回路基板及びプログラムからなる。また、撮影データ記憶手段５４は、撮影手段２３により撮影され、撮像データ受信手段５３により受信したビデオ信号と、マイクロホン２４から入力された音声入力信号と、音楽再生制御手段５９によりデジタル再生される演奏とを同期させて撮影データ４３ｃを作成し、ＲＡＭ４３に記憶させるためのプログラムからなる。
【００５８】
ＲＡＭ４３に記憶された撮影データ４３ｃは、ＤＶＤドライブ等の記録装置及び書込ソフトウェアを用いてＤＶＤ等の記憶媒体に記憶したり、インターネット回線を介してサーバに蓄積させることによりウェブ配信したりすることができる。なお、このような撮影サービスは、カラオケ演奏装置１１を利用したカラオケ楽曲の歌唱という基本サービスに付加するサービスであるため、一般的に有料となっていることが多い。そこで、撮影データ記憶手段５４による撮影データ４３ｃの作成及び記憶は、利用者の指示があった場合のみに行う構成とすることが好ましい。すなわち、利用者がカラオケリモコン装置２２を操作することにより撮影データ４３ｃの作成及び記憶を指示した場合に、撮影データ記憶手段５４の機能により、撮影データ４３ｃの作成及び記憶が行われる。
【００５９】
＜音楽再生制御手段＞
音楽再生制御手段５９は、楽曲ＩＤに基づいて楽曲データベース４４ａから抽出された演奏データをデジタル再生するとともにアナログ変換してミキシングアンプ２６に出力するための電子回路である。ミキシングアンプ２６は、マイクロホン２４から入力された歌唱者の歌唱音声信号と、音楽再生制御手段５９から送出される演奏音声信号とをミキシングするとともに、アンプ機能により増幅してスピーカ２５より出力させるための装置である。なお、本実施形態では、撮影データ記憶手段５４において歌唱音声信号を利用するため、マイクロホン２４からの歌唱音声信号がＡ／Ｄコンバータ５８へ入力されている。
【００６０】
＜映像再生制御手段＞
映像再生制御手段６０は、カラオケ楽曲の演奏中に、映像データベース４４ｂから抽出した映像データ及び楽曲データベース４４ａから抽出した楽曲データのうちの歌詞テロップデータ（歌詞文字データ）を、当該カラオケ楽曲の演奏データに同期させて表示装置２７に出力するための電子回路である。この際、カラオケ楽曲の演奏進行に従って、歌詞文字が色変わりして表示される。
【００６１】
＜表示装置＞
表示装置２７は、カラオケ演奏時の映像、歌詞テロップ等を表示するための装置で、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ等により構成される。
【００６２】
＜不適切行為の撮影排除処理／第１の実施形態＞
図２〜図４を参照して、本実施形態の不適切行為の撮影排除機能を有するカラオケシステムにおける不適切行為の撮影排除処理を説明する。図２は、不適切行為の撮影排除処理の第１の実施形態を示すフローチャート、図３は、不適切行為の撮影排除処理の第２の実施形態を示すフローチャートである。また、図４は、表示装置の表示画面に表示される警告メッセージの一例を示す模式図である。
【００６３】
第１の実施形態に係る不適切行為の撮影排除処理では、予め利用者顔画像登録手段５１の機能により、利用者ＩＤに紐付けされた利用者の顔画像データが、利用者顔画像データベース４４ｃに格納されているものとする（第２の実施形態においても同様）。
【００６４】
第１の実施形態に係る不適切行為の撮影排除処理は、図２に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し（Ｓ１）、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段２３の機能により撮影を開始する（Ｓ２）。なお、撮影開始時におけるビデオカメラは、ステージ等のデフォルト位置に存在する被写体を撮影するように、その向き及び画角が調整されている。また、撮影開始時に、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、歌唱者撮影エリアにいる歌唱者を探し出して、以降の処理を行ってもよい（第２の実施形態においても同様）。
【００６５】
続いて、被写体追従手段５５の機能により、撮影対象となる歌唱者の移動に追従するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、選曲予約を行った歌唱者の移動位置に撮影手段２３の撮影方向を一致させるとともに、画角を一定に保つ（Ｓ３）。そして、不適切行為判断手段４５の機能により、現に撮影対象となっている歌唱者の撮像体表面における生体温度の割合と基準値とを比較し（Ｓ４）、歌唱者の撮像体表面における生体温度の割合が基準値より小さいか否かを判断する（Ｓ５）。ここで、歌唱者の撮像体表面における生体温度の割合が基準値を超えている場合、すなわち、歌唱者が不適切行為を行っていると判断した場合には、撮影機能制御手段４６の機能により撮影手段２３の機能を停止させて、報知制御手段５７の機能により、例えば図４に示すような報知を行うとともに（Ｓ６）、撮影を中止する（Ｓ７）。
【００６６】
一方、歌唱者の撮像体表面における生体温度の割合が基準値より小さく、歌唱者が不適切行為を行っていないと判断した場合には、カラオケ楽曲の演奏が終了したか否かを判断し（Ｓ８）、カラオケ楽曲の演奏が終了するまでの間、上述した歌唱者追従処理（Ｓ３）以降の処理を繰り返し実行する。そして、カラオケ楽曲の演奏が終了すると、撮影を終了する（Ｓ９）。
【００６７】
＜不適切行為の撮影排除処理／第２の実施形態＞
第２の実施形態に係る不適切行為の撮影排除処理は、図３に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し（Ｓ１１）、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段２３の機能により撮影を開始する（Ｓ１２）。
【００６８】
続いて、顔画像比較手段５２の機能により、現に撮影手段２３により撮影している歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、選曲予約を行った利用者の顔画像データ（登録顔画像データ）とを比較する（Ｓ１３）。ところで、撮影開始直後には、ビデオカメラのデフォルト撮影位置であるステージ上に歌唱者がいるとは限らず、自らが選曲予約したカラオケ楽曲の演奏が開始されたことを認知した後にステージに上がったり、司会者に促されてステージに上がったりするため、撮影開始時（カラオケ楽曲の演奏開始時）には、歌唱者の顔画像データを取得することができない場合がある。そこで、撮影開始直後に顔画像データの比較を行うのではなく、所定時間経過後（例えば３０秒経過後）に顔画像データの比較を行うことが好ましい。
【００６９】
ここで、撮影顔画像データ４３ｂと登録顔画像データの一致を確認し（Ｓ１４）、撮影顔画像データ４３ｂと登録顔画像データとが一致しない場合、すなわち、選曲予約を行った歌唱者が被写体となっていない場合には、報知制御手段５７の機能により、その旨の報知を行うとともに（Ｓ１５）、撮影機能制御手段４６の機能により撮影手段２３の機能を停止させて、撮影を中止する（Ｓ２２）。
【００７０】
一方、撮影顔画像データ４３ｂと登録顔画像データとが一致している場合には、被写体追従手段５５の機能により、撮影対象（選曲予約者）として特定された歌唱者の移動に追従するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、歌唱者の移動位置に撮影手段２３の撮影方向を一致させるとともに、画角を一定に保つ（Ｓ１６）。そして、現に撮影対象となっている歌唱者の撮像体表面における生体温度の割合と基準値とを比較し（Ｓ１７）、歌唱者の撮像体表面における生体温度の割合が基準値より小さいか否かを判断する（Ｓ１８）。ここで、歌唱者の撮像体表面における生体温度の割合が基準値を超えている場合、すなわち、歌唱者が不適切行為を行っていると判断した場合には、撮影機能制御手段４６の機能により撮影手段２３の機能を停止させて、報知制御手段５７の機能により、例えば図４に示すような報知を行うとともに（Ｓ２１）、撮影を中止する（Ｓ２２）。
【００７１】
一方、歌唱者の撮像体表面における生体温度の割合が基準値より小さく、歌唱者が不適切行為を行っていないと判断した場合には、カラオケ楽曲の演奏が終了したか否かを判断し（Ｓ１９）、カラオケ楽曲の演奏が終了するまでの間、上述した歌唱者追従処理（Ｓ１６）以降の処理を繰り返し実行する。そして、カラオケ楽曲の演奏が終了すると、撮影を終了する（Ｓ２０）。
【００７２】
このように、本実施形態の不適切行為の撮影排除機能を有するカラオケシステムでは、歌唱者がデフォルト位置から移動した場合であっても、その移動に追従して撮影手段２３の撮影方向を変更するので、動きのある歌唱者に対しても、撮像体表面の体表温度を適切に検知して、不適切行為の撮影を効果的に排除することができる。また、撮影を所望して選曲予約を行った歌唱者が適切に歌唱を行っている場合のみに、その歌唱姿態の画像を録画することができるので、撮影を所望した歌唱者の要求を十分に満足させることができる。
【００７３】
＜他の実施形態＞
本発明の不適切行為の撮影排除機能を有するカラオケシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。
【００７４】
＜ネットワークカラオケシステム＞
また、上述した実施形態は、カラオケ演奏装置１１をスタンドアロンで使用した例を示しているが、各カラオケ店舗等に設置されたカラオケ演奏装置１１を端末装置とし、インターネット回線等を用いて、端末装置とホスト装置とをネットワーク接続した構成とすることもできる。この場合には、ホスト装置において、利用者ＩＤや、これに紐付けされた利用者の顔画像データ等を集中管理することにより、ネットワーク接続された各カラオケ演奏装置１１において同様のサービスを提供することができる。
【符号の説明】
【００７５】
１１ カラオケ演奏装置
２１ カラオケ本体
２２ カラオケリモコン装置
２２ａ 楽曲検索手段
２２ｂ 楽曲索引データベース
２２ｃ 利用者ＩＤ取得手段
２３ 撮影手段
２３ａ 撮像レンズ
２３ｂ 撮像素子
２３ｃ フォーカシング機構
２３ｄ ズーミング機構
２３ｅ パン・チルト機構
２３ｆ 赤外線検出センサ
２４ マイクロホン
２５ スピーカ
２６ ミキシングアンプ
２７ 表示装置
３１ ＩＤ媒体
４１ 中央制御手段
４２ ＲＯＭ
４３ ＲＡＭ
４３ａ 予約待ち行列
４３ｂ 撮影顔画像データ
４３ｃ 撮影データ
４４ ＨＤＤ
４４ａ 楽曲データベース
４４ｂ 映像データベース
４４ｃ 利用者顔画像データベース
４４ｄ 判断基準値
４４ｅ 警告メッセージ
４５ 不適切行為判断手段
４６ 撮影機能制御手段
４７ 送受信手段
４８ 予約管理手段
４９ ログイン利用者管理手段
５０ 顔画像識別記憶手段
５１ 利用者顔画像登録手段
５２ 顔画像比較手段
５３ 撮像データ受信手段
５４ 撮影データ記憶手段
５５ 被写体追従手段
５６ 被写体温度検知手段
５７ 報知制御手段
５８ Ａ／Ｄコンバータ
５９ 音楽再生制御手段
６０ 映像再生制御手段
【技術分野】
【０００１】
本発明は、歌唱者を撮影する機能を有するカラオケシステムにおいて、歌唱者の不適切行為を識別して、その撮影を排除することを可能としたカラオケシステムに関するものである。
【背景技術】
【０００２】
現在のカラオケシステムでは、カラオケ演奏装置を用いて歌唱を行っている歌唱者の映像を録画し、これをウェブサイトで公開するサービスが実用化されている。このサービスは、歌唱者の映像を撮影してサーバに記録し、インターネット接続したパーソナルコンピュータや携帯電話を用いて当該映像を視聴できるものである。このサービスにより、カラオケ演奏装置を用いた歌唱姿態を、歌唱者自らが楽しんだり、友人等に見せたりすることができ、カラオケ演奏装置を用いた歌唱の楽しさにバリエーションを持たせることができる。
【０００３】
ところで、上述したサービスにおいて撮影を行う場所が、個室のカラオケルーム等である場合には、酔客等により善良の風俗に反する姿態が撮影されるおそれがある。このような映像が公開されることは好ましくないため、カラオケ業者は録画映像を公開する前にチェックしている。しかし、公開を望む録画映像の数は膨大であるため、そのチェックには多くの人手と労力を必要とする。現在のカラオケシステムでは、歌唱者による不適切行為を自動的に把握する仕組みはなく、その対応に苦慮しているのが現状である。
【０００４】
また、撮影機能を有するカラオケ演奏装置の本来の目的は、撮影を所望して選曲予約を行った歌唱者の映像を録画することにある。すなわち、カラオケルーム内に集合している利用者の中から選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画しなければならない。
【０００５】
さらに、上述したサービスを利用するには、利用者の事前登録が必要である。このため、カラオケ業者にとってみれば、登録者の経歴情報を把握しており、仮に不適切行為を含む録画映像が撮影されたことが判明した場合には、当該利用者の登録を抹消する等の対処が可能である。一方、利用者にとってみれば、カラオケ業者に経歴情報を知られているため、これが抑止効果となって、ある程度は不適切行為の撮影及び録画を排除することができる。
【０００６】
現在普及しているカラオケ演奏装置は、選曲予約を行う際に、楽曲ＩＤに利用者ＩＤを付帯させて予約待ち行列に登録している。すなわち、選曲予約されたカラオケ楽曲は、当該選曲予約を行った利用者により歌唱されるのが一般的である。通常の場合、良識ある利用者は、自らの利用者ＩＤを用いて選曲予約を行ったカラオケ楽曲について、その歌唱姿態を録画して公開することを想定すると、上述した抑止効果により、不適切行為を行うことは稀であると考えられる。このため、適切な歌唱を行っている歌唱者を追尾して、その姿態を撮影することが効果的である。
【０００７】
従来、ビデオカメラ等の撮影装置における被写体追尾装置が種々提案されている（特許文献１、特許文献２参照）。
特許文献１に記載された技術は、ビデオカメラなどの撮像手段と、撮像手段で撮影された画像面から特定の被写体像を検出する被写体認識手段と、被写体認識手段が検出した被写体像が画像の所定位置に収まるように撮像手段の撮像方向を変更する撮像方向変更手段とを具備している。そして、撮像方向変更手段は、可動範囲が狭く比較的高速で追従する第１の撮像方向変更手段と、可動範囲が広く比較的低速で追従する第２の撮像方向変更手段と、第１の撮像方向変更手段と第２の撮像方向変更手段とが協調して動作するように働く協調手段と、を備えている。これにより、追尾範囲が広く応答追従性に優れた被写体追尾装置を実現することができるとしている。
【０００８】
また、特許文献２に記載された技術は、撮影視野内の画像を取り込み、その画像の特徴抽出を行う画像検出手段と、画像検出手段の特徴抽出結果に基づいて、撮影視野内において主被写体となる可能性のある候補領域を認識する画像認識手段と、画像認識手段が認識した候補領域を表示する表示手段と、表示手段により表示された候補領域の中から、主被写体が存在する主被写体領域として少なくとも１つを選択する主被写体領域選択手段と、主被写体領域手段により選択された主被写体領域の画像について画像検出手段が抽出した特徴を特徴基準として記憶する主被写体領域記憶手段とを備えている。これにより、記憶した特徴基準を用いれば、主被写体が移動しても、主被写体の移動に追従することができるとしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−２１５４２２号公報
【特許文献２】特開２０００−２８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したように、現在のカラオケシステムでは、歌唱者による不適切行為を自動的に把握する仕組みはないため、発明者は鋭意研究を重ねた結果、被写体となっている歌唱者の体表体温を検知することにより、少なくとも、裸体をさらけ出すという不適切行為の撮影を排除することができることに想到した。すなわち、着衣状態の歌唱者と、衣服を脱いでしまった歌唱者の体表温度を比較すると、衣服を脱いでしまった歌唱者の体表温度の方が高いため、裸体であることを検知することができる。
【００１１】
また、選曲予約を行った歌唱者を特定して、当該歌唱者の映像を録画するのが、撮影機能を有するカラオケ演奏装置の本来の目的である。
しかしながら、上述した従来の技術では、撮影開始時にビデオカメラ等の撮影装置が向けられていた被写体を追尾することができるが、必ずしもその被写体が選曲予約を行った歌唱者であるとは限らない。例えば、カラオケ楽曲の演奏が開始された時点において、ビデオカメラ等の撮影装置がステージに向けられており、ステージ上の人物を捕捉していたとする。この場合に、ステージ上に選曲予約を行った利用者以外の他の利用者が立ってしまう場合には、演奏開始時点に合焦していた被写体である他の利用者の動きに追従して撮影が行われることになる。これでは、選曲予約を行った利用者の移動に追従してビデオカメラ等の撮影方向を変更することができない。
【００１２】
また、選曲予約を行った利用者と、実際に歌唱を行っている歌唱者との異動を判断し、選曲予約を行った利用者のみに、その歌唱姿態の撮影を許可することにより、上述した不適切行為の抑止効果はより一層顕著なものとなる。
【００１３】
本発明は、上述した事情に鑑み提案されたもので、歌唱者による不適切行為を識別して、その撮影を排除することが可能なカラオケシステムを提供することを目的とする。また、本発明は、選曲予約を行った歌唱者の動きに追従して、当該歌唱者を撮影することが可能なカラオケシステムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の不適切行為の撮影排除機能を有するカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の不適切行為の撮影排除機能を有するカラオケシステムは、撮影手段と、被写体追従手段と、被写体温度検知手段と、不適切行為判断手段と、撮影機能制御手段と、を備えている。
【００１５】
撮影手段は、少なくともパン・チルト機構を有している。被写体追従手段は、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の移動位置に一致させるための手段である。被写体温度検知手段は、任意のカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、歌唱者撮影エリアにいる歌唱者の体表温度を検知するための手段である。不適切行為判断手段は、歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断するための手段である。撮影機能制御手段は、不適切行為が行われていると判断された場合には、撮影手段の機能を停止させるための手段である。
【００１６】
このような構成からなる不適切行為の撮影排除機能を有するカラオケシステムでは、撮影が指示された任意のカラオケ楽曲が演奏されると、被写体追従手段の機能により、歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を歌唱者の移動位置に一致させ、当該歌唱者の画像を撮影する。また、赤外線サーモグラフィカメラ等からなる被写体温度検知手段の機能により、歌唱者撮影エリアにいる歌唱者の撮像体表面の平均体表温度を検知する。
【００１７】
そして、不適切行為判断手段の機能により、歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断する。例えば、歌唱者の撮像体表面における生体温度（３６℃乃至３７℃）の割合が７０％以上であるか否かを判断基準として、このような状態である場合に、歌唱者が裸になっていると判断する。歌唱者が裸になっているという不適切行為が撮影されている場合には、撮影機能制御手段の機能により、撮影手段の機能を停止させる。
【００１８】
また、本発明の不適切行為の撮影排除機能を有するカラオケシステムは、上述した構成に加えて、顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、をさらに備えることが可能である。
【００１９】
顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶するための手段である。利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録するための手段である。顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段により撮影が行われている場合に、撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較して歌唱者を特定するための手段である。
【００２０】
このような構成からなる不適切行為の撮影排除機能を有するカラオケシステムでは、利用者顔画像登録手段の機能により、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに格納しておく。そして、利用者ＩＤに紐付して選曲予約されたカラオケ楽曲が演奏されるとともに、撮影手段による撮影が行われると、顔画像比較手段の機能により、現に撮影手段により撮影している撮影顔画像データと、選曲予約を行った利用者の登録顔画像データとを比較して歌唱者を特定する。
【００２１】
そして、被写体追従手段の機能により、特定された歌唱者の移動に追従してパン・チルト機構を作動させて、撮影手段の撮影方向を前記歌唱者の移動位置に一致させる。
【発明の効果】
【００２２】
本発明の不適切行為の撮影排除機能を有するカラオケシステムによれば、撮影手段の撮影方向を当該利用者の移動に追従させる。そして、歌唱者撮影エリアにいる歌唱者が裸になり、その撮像体表面における生体温度の割合が所定の基準値を超えた場合には、不適切行為が行われていると判断し、撮影手段の機能を停止させる。したがって、歌唱者の動きに追従させて、常に撮像フレーム内に撮像体表面を欠損なく保持することで、動きのある歌唱者に対しても、撮像体表面の生体温度を適切に検知することができる。これにより、歌唱者の不適切行為を効率的に識別して排除することが可能となる。
【００２３】
また、カラオケ楽曲の選曲予約を行った歌唱者以外の利用者が歌唱者撮影エリアにいた場合であっても、カラオケ楽曲の選曲予約を行った歌唱者を識別して追従できるので、その歌唱姿態を適切に撮影することが可能となる。
さらに、カラオケ業者に対して経歴情報が明らかになっている選曲者は、その利用者ＩＤを用いたカラオケ楽曲の演奏において、自らの公序良俗違反の行為を公にしたくないという心理状態を利用して、より一層、不適切行為の排除効果を高めることが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る不適切行為の撮影排除機能を有するカラオケシステムを適用するカラオケ演奏装置のブロック図。
【図２】不適切行為の撮影排除処理の第１の実施形態を示すフローチャート。
【図３】不適切行為の撮影排除処理の第２の実施形態を示すフローチャート。
【図４】表示装置の表示画面に表示される警告メッセージの一例を示す模式図。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本発明の不適切行為の撮影排除機能を有するカラオケシステムの実施形態を説明する。本発明の実施形態に係る不適切行為の撮影排除機能を有するカラオケシステムは、主な構成要素として、撮影手段と、被写体追従手段と、被写体温度検知手段と、不適切行為判断手段と、撮影機能制御手段と、を備えている。さらに、被顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段とを備えることが可能である。なお、以下に示す実施形態は、すべての構成要素を含んだものである。図１に、本発明の実施形態に係る不適切行為の撮影排除機能を有するカラオケシステムを適用するカラオケ演奏装置の構成を示す。
【００２６】
＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケ演奏装置１１は、図１に示すように、カラオケ本体２１、カラオケリモコン装置２２、撮影手段２３、マイクロホン２４、スピーカ２５、ミキシングアンプ２６、表示装置２７を備えている。
【００２７】
＜カラオケリモコン装置＞
カラオケリモコン装置２２は、ユーザインタフェース機能を備えており、カラオケ本体２１の送受信手段４７に対して有線方式又は無線方式によりデータの送受信を行うようになっている。このカラオケリモコン装置２２は、楽曲検索手段２２ａとして機能するプログラム、楽曲索引データベース２２ｂ、利用者ＩＤ取得手段２２ｃとして機能する回路基板及びプログラム、データの送受信を行うための回路基板及びプログラム、フラッシュメモリ等からなる記憶手段（図示せず）を備えている。このカラオケリモコン装置２２に付帯するスイッチ類や、入出力表示部（図示せず）に表示される各種のアイコン等を操作することにより、選曲操作、撮影指示操作等が行われる。
【００２８】
＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段２２ａは、利用者の指示に基づき、楽曲索引データベース２２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース２２ｂは、カラオケ演奏装置１１で演奏に供されるカラオケ楽曲についての属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・歌手名・歌い出し部分の歌詞・流行時期・音楽ジャンル区分・デュエット曲か否かなど、種々の属性情報がこれに含まれている。
【００２９】
＜利用者ＩＤ取得手段＞
利用者ＩＤ取得手段２２ｃは、利用者がカラオケ演奏装置１１を利用する際に、利用者が所持するＩＤ媒体３１から利用者ＩＤを取得するための電子回路及びプログラムからなる。利用者ＩＤ取得手段２２ｃで取得した利用者ＩＤは、ＲＡＭに一時的に記憶され、ログイン利用者管理手段４９で管理される。ＩＤ媒体３１は、例えば、非接触型のＩＤカード、携帯電話、携帯情報端末等からなり、利用者ＩＤを記憶して、利用者ＩＤ取得手段２２ｃとの間でデータの送受信を行うことができるようになっている。
【００３０】
＜撮影手段＞
撮影手段２３は、歌唱者の画像を撮影するための手段で、例えば、主たる構成要素であるビデオカメラと、その付帯装置から構成される。ビデオカメラは、撮像レンズ２３ａ、撮像素子２３ｂ、フォーカシング機構２３ｃ、ズーミング機構２３ｄを備えており、付帯装置としてパン・チルト機構２３ｅ、赤外線検出センサ２３ｆを備えている。本実施形態の撮像レンズ２３ａは、複数のレンズ群から構成されるズームレンズからなり、この撮像レンズ２３ａにより、被写体からの光線を撮像素子２３ｂ上に結像させてビデオ信号に変換する。このビデオ信号、及び赤外線検出センサ２３ｆにより検知した歌唱者の体表温度データは、カラオケ本体２１に送信される。
【００３１】
フォーカシング機構２３ｃは、被写体像を撮像素子２３ｂ上に合焦して結像させるための機構であり、オートフォーカス機構を備えていることが好ましい。オートフォーカス機構としては、例えば、適宜な間隔を隔てて設置した２つのセパレートレンズを用いて被写体を撮影し、被写体像を撮像素子２３ｂ上に結像させ、両画像の位相差に基づいて物体距離を検知する方式や、被写体上に赤外光を照射して、被写体からの拡散反射光をレンズで集光し、その結像位置に基づいて物体距離を検知する方式や、撮像素子２３ｂから被写体のコントラスト情報を抽出し、結像状態を直接判定する方式等が知られている。なお、被写界深度の深いレンズからなる固定焦点の撮像レンズ２３ａを用いることによりフォーカシング機構２３ｃを省略してもよい。
【００３２】
ズーミング機構２３ｄは、ビデオカメラの画角を変更するための機構で、広角端から望遠端に至る所定の範囲で連続的に画角を変更できるようになっており、画角の変更を行うために、ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構を備えている。ズームレンズ群を構成する各レンズを光軸に沿って移動させるための機構は、例えば、レンズを光軸に沿って移動可能に支持する支持機構、及びレンズを光軸に沿って移動させるアクチュエータ等からなる。本実施形態のズーミング機構２３ｄは、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるように自動的に画角調整を行う。なお、歌唱者が移動した場合であっても、歌唱者の顔領域の大きさが予め設定した面積とほぼ等しくなるような環境に撮影手段２３が設置されている場合には、ズーミング機構２３ｄを省略することができる。さらに、利用者の所望に応じて画角調整を行うようにしてもよい。
【００３３】
パン・チルト機構２３ｅは、ビデオカメラをパン及びチルトさせるための機構であり、互いに直交する２軸方向にそれぞれ回転するパンテーブル及びチルトテーブルと、このパンテーブル及びチルトテーブルを互いに直交する２軸方向にそれぞれ回転駆動するステッピングモータと、ステッピングモータの駆動制御装置とを備えている。
【００３４】
さらに、本実施形態の撮影手段２３は、被写体温度検知手段５６の一部として機能する赤外線検出センサ２３ｆを備えている。具体的には、撮影手段２３を構成するビデオカメラに赤外線検出センサ２３ｆを組み込むことにより、被写体温度を検知することができる。この赤外線検出センサ２３ｆは、被写体から放出されている赤外線放射エネルギーを検出するためのセンサであり、被写体温度検知手段５６は、この赤外線検出センサ２３ｆの検出出力に基づいて見かけの温度を演算する。この場合、撮像レンズ２３ａに入射する被写体からの光線の一部を、ハーフミラーやプリズムにより、撮像素子２３ｂへの光路と分離して赤外線検出センサ２３ｆへの光路へ導き、この光路上の赤外線結像位置に、赤外線検出センサ２３ｆを配置すればよい。なお、可視光線と赤外線とは結像位置が異なるため、撮像素子２３ｂと赤外線検出センサ２３ｆとでは、撮像レンズ２３ａからの光路長が異なっている。
【００３５】
本実施形態では、撮影手段２３に赤外線検出センサ２３ｆを組み込んでいるが、撮影手段２３とは別個に、赤外線撮像手段を設けてもよい。この場合には、撮影手段２３のパン・チルト機構２３ｅにより、あるいはこのパン・チルト機構２３ｅに連動する他のパン・チルト機構により、撮影手段２３の撮影方向と赤外線検出センサ２３ｆの温度検知方向とを一致させる必要がある。
【００３６】
＜カラオケ本体＞
カラオケ本体２１は、中央制御手段４１、ＲＯＭ４２、ＲＡＭ４３、ＨＤＤ４４、不適切行為判断手段４５、撮影機能制御手段４６、送受信手段４７、予約管理手段４８、ログイン利用者管理手段４９、顔画像識別記憶手段５０、利用者顔画像登録手段５１、顔画像比較手段５２、撮像データ受信手段５３、撮影データ記憶手段５４、被写体追従手段５５、被写体温度検知手段５６、報知制御手段５７、Ａ／Ｄコンバータ５８、音楽再生制御手段５９、映像再生制御手段６０を備えている。
【００３７】
＜中央制御手段＞
中央制御手段４１は、カラオケ本体２１を総合的に制御するための手段であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ４２等に記憶されたアプリケーションプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
【００３８】
＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ４２は、カラオケ本体２１を構成する各機器を制御するためのアプリケーションプログラムデータや数値データを記憶するための機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ４３は、アプリケーションプログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。なお、物理的な半導体メモリによりＲＡＭ４３を構成するのではなく、ハードディスク記憶装置等を用いて仮想的なＲＡＭ４３を構成してもよい。本実施形態では、ＲＡＭ４３に、予約待ち行列４３ａ、撮影顔画像データ４３ｂ、撮影データ４３ｃが記憶されるようになっている。
【００３９】
＜ＨＤＤ＞
ＨＤＤ４４は、大容量記憶装置として機能するもので、楽曲データベース４４ａ、映像データベース４４ｂ、利用者顔画像データベース４４ｃ、判断基準値４４ｄ、警告メッセージ４４ｅが格納されている。なお、ＨＤＤ４４に替えて、あるいはＨＤＤ４４とともに、データを書き替え可能なＤＶＤ等の大容量記憶装置を用いてもよい。
【００４０】
楽曲データベース４４ａは、演奏データ（ＭＩＤＩ（登録商標）データ）及び歌詞テロップデータが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けてそれぞれ格納したデータベースである。演奏データは各楽曲の演奏データをデジタル化したものであり、歌詞テロップデータは演奏データに同期されたカラオケ楽曲の歌詞文字データである。なお、歌詞文字データには、歌詞文字の表示色データ、色変わりデータ等が含まれている。映像データベース４４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた映像ファイルとして所定数格納したデータベースである。
【００４１】
利用者顔画像データベース４４ｃは、利用者顔画像登録手段５１の機能により、利用者ＩＤに紐付けされた利用者の顔画像データを複数格納したデータベースである。この利用者顔画像データベース４４ｃに格納された登録顔画像データは、顔画像比較手段５２において、撮影顔画像データとの比較に用いられる。判断基準値は、不適切行為判断手段４５において判断基準となるデータである。警告メッセージ４４ｅは、報知制御手段５７の機能により報知制御を行う際に、表示装置２７に表示する警告メッセージを作成するためのデータである。
【００４２】
＜被写体温度検知手段＞
被写体温度検知手段５６は、任意のカラオケ楽曲が演奏されるとともに、撮影手段２３による撮影が行われると、歌唱者撮影エリアにいる歌唱者の体表温度を検知するための赤外線サーモグラフィ機構からなる。具体的には、撮影手段２３に組み込まれた赤外線検出センサ２３ｆからの検出出力に基づいて、被写体温度を検知することができる。この被写体温度検知手段５６は、赤外線検出センサ２３ｆにより検出した被写体から放出されている赤外線放射エネルギーを、見かけの温度に変換する。この際、撮像視野内に存在する歌唱者領域を識別するために、例えば、特開２０００−２８３３号公報（特許文献２）に記載されている技術を用いることができる。すなわち、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出し、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を歌唱者領域として認識する。
【００４３】
＜不適切行為判断手段＞
不適切行為判断手段４５は、歌唱者撮影エリアにいる歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断するためのプログラムからなる。例えば、不適切行為判断手段４５では、歌唱者の撮像体表面における生体温度（３６℃乃至３７℃）の割合が７０％以上であるか否かを判断基準として、このような状態である場合に、歌唱者が裸になっていると判断する。不適切行為判断手段４５で利用する判断基準値４４ｄは、ＨＤＤ４４に格納されている。なお、基準となる生体温度や撮像体表面の割合は、カラオケ演奏装置１１が設置された環境等に応じて適宜変更して実施することができる。
【００４４】
＜撮影機能制御手段＞
撮影機能制御手段４６は、不適切行為が行われていると判断された場合には、撮影手段２３の機能を停止させるためのプログラムからなる。すなわち、歌唱者撮影エリアにいる歌唱者が裸になっているという不適切行為が撮影されている場合には、撮影機能制御手段４６の機能により、撮影手段２３の機能が停止させられ、当該歌唱者の撮影は行われない。
【００４５】
また、撮影機能制御手段４６の機能として、上述した機能に加えて、歌唱者撮影エリアにいる歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と選曲予約を行った利用者の顔画像データ（登録顔画像データ）とが一致しない場合には、撮影手段２３の機能を停止させることもできる。すなわち、選曲予約を行った利用者が被写体となっていない場合には、撮影機能制御手段４６の機能により、撮影手段２３の機能が停止させられ、当該歌唱者の撮影は行われない。
【００４６】
＜報知制御手段＞
報知制御手段５７は、撮影手段２３の機能が停止させられた旨の報知制御を行うためのプログラムからなる。すなわち、歌唱者が裸になっているという不適切行為が撮影され、撮影機能制御手段４６の機能により、撮影手段２３の機能が停止させられた場合や、選曲予約を行った利用者が被写体となっていない場合に、その旨の報知制御処理が行われる。この報知制御手段５７における報知制御処理では、例えば、表示装置２７の表示画面に警告を表示することにより、不適切行為が行われている旨（図４参照）、あるいは選曲予約を行った利用者が被写体となっていない旨を報知する。
【００４７】
＜被写体追従手段＞
被写体追従手段５５は、歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させるためのプログラムからなる。なお、本実施形態では、撮影手段２３がズーミング機構２３ｄを備えているため、被写体追従手段５５による被写体追従処理において、パン・チルト機構２３ｅだけではなく、ズーミング機構２３ｄも制御して、ビデオカメラの撮像レンズ２３ａを被写体に向けるとともに、画角を一定に保つことが好ましい。
【００４８】
また、被写体追従手段５５の機能として、後述するように、顔画像比較手段５２の機能により選曲予約を行った歌唱者が特定された場合に、当該歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させることができる。
【００４９】
この被写体追従手段５５は、例えば、特開平１１−２１５４２２号公報（特許文献１）、特開２０００−２８３３号公報（特許文献２）に記載されている技術を用いることができる。すなわち、特開平１１−２１５４２２号公報（特許文献１）に記載されているように、予め撮影対象となる被写体を認識して記憶し、この被写体が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。また、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、画像の輪郭を抽出し、抽出結果に基づいて、撮影視野内において被写体となる可能性のある領域、例えば、輪郭で囲まれた領域のうち顔領域として設定された面積を有する領域を顔画像領域として認識する。そして、認識した顔画像領域が撮像画面中に常に存在するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを制御することにより被写体を追尾すればよい。
【００５０】
＜送受信手段＞
送受信手段４７は、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信を行うための電子回路及びプログラムからなる。本実施形態では、赤外線通信により、カラオケ本体２１とカラオケリモコン装置２２との間で、データの送受信が行われる。
【００５１】
＜予約管理手段＞
予約管理手段４８は、利用者により楽曲検索手段２２ａの機能を用いて選曲され、送受信手段４７を介して受信した当該選曲者の利用者情報（例えば利用者ＩＤ）及び選曲された楽曲ＩＤを対応付けて予約待ち行列４３ａとしてＲＡＭ４３に格納し、管理するためのプログラムである。なお、楽曲選択の表示や予約待ち行列４３ａの表示は、カラオケリモコン装置２２の入出力表示部（図示せず）及び表示装置２７のいずれか一方、あるいは双方で行うことができる。
【００５２】
＜ログイン利用者管理手段＞
ログイン利用者管理手段４９は、現に当該カラオケ演奏装置１１にログインしている利用者を、利用者ＩＤに基づき特定して管理するためのプログラムからなる。すなわち、ログイン利用者管理手段４９では、利用者ＩＤ取得手段２２ｃにより利用者ＩＤが取得された場合に、この利用者ＩＤに基づいてカラオケ演奏装置１１にログインしている利用者を特定して管理する。取得した利用者ＩＤは、選曲予約や顔画像データの比較を行う際に利用される。
【００５３】
＜顔画像識別記憶手段＞
顔画像識別記憶手段５０は、歌唱者撮影エリア（例えば、ステージ）にいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データ４３ｂとしてＲＡＭ４３に記憶するためのプログラムからなる。歌唱者の顔画像データを識別するためには、例えば、特開２０００−２８３３号公報（特許文献２）に記載されているように、エッジ検出により、撮影視野内に存在する画像の輪郭を抽出する。そして、輪郭で囲まれた領域のうち所定の大きさの面積を有する領域を顔画像領域として認識する。続いて、顔画像領域内で、その輪郭、目、鼻、口の位置を利用して、被写体の顔画像の特徴を認識することにより、撮影した顔画像データを識別する。
【００５４】
＜利用者顔画像登録手段＞
利用者顔画像登録手段５１は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベース４４ｃに登録するためのプログラムからなる。利用者の顔画像データは、例えば、撮影手段２３の機能により取得することができる。撮影手段２３の機能により取得された利用者の顔画像データは、利用者顔画像登録手段５１の機能により、利用者ＩＤに紐付けされて利用者顔画像データベース４４ｃに登録される。なお、利用者ＩＤは、利用者ＩＤ取得手段２２ｃの機能により、ＩＤ媒体３１から取得することができる。
【００５５】
＜顔画像比較手段＞
顔画像比較手段５２は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、撮影手段２３により撮影が行われている場合に、撮影顔画像データ４３ｂと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較して歌唱者を特定するためのプログラムからなる。例えば、撮影を所望して選曲予約されたカラオケ楽曲が演奏されると、予約待ち行列４３ａに記録された利用者ＩＤに基づいて、利用者顔画像データベース４４ｃに登録された当該利用者の顔画像データを登録顔画像データとして取得する。そして、撮影手段２３の機能により撮影されて、顔画像識別記憶手段５０により識別された歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、利用者顔画像データベース４４ｃから取得した登録顔画像データとを比較し、両者の一致・不一致を判断して、歌唱者を特定する。両者の比較は、顔画像領域内における顔の輪郭、目、鼻、口の位置に基づいて行われる。具体的には、撮影顔画像データ４３ｂと、登録顔画像データとにおいて、顔画像領域内における顔の輪郭、目、鼻、口の位置を比較してその一致度を数値化し、一致度数が所定の閾値以下の場合に、両者は異なるデータであると判断する。一方、一致度数が所定の閾値を超えていれば、両者は同一のデータであると判断する。
【００５６】
この場合には、被写体追従手段５５の機能により、特定された歌唱者の移動に追従してパン・チルト機構２３ｅを作動させて、撮影手段２３の撮影方向を歌唱者の移動位置に一致させる
【００５７】
＜撮像データ受信手段／撮影データ記憶手段＞
撮像データ受信手段５３は、撮影手段２３からのビデオ信号を受信するための回路基板及びプログラムからなる。また、撮影データ記憶手段５４は、撮影手段２３により撮影され、撮像データ受信手段５３により受信したビデオ信号と、マイクロホン２４から入力された音声入力信号と、音楽再生制御手段５９によりデジタル再生される演奏とを同期させて撮影データ４３ｃを作成し、ＲＡＭ４３に記憶させるためのプログラムからなる。
【００５８】
ＲＡＭ４３に記憶された撮影データ４３ｃは、ＤＶＤドライブ等の記録装置及び書込ソフトウェアを用いてＤＶＤ等の記憶媒体に記憶したり、インターネット回線を介してサーバに蓄積させることによりウェブ配信したりすることができる。なお、このような撮影サービスは、カラオケ演奏装置１１を利用したカラオケ楽曲の歌唱という基本サービスに付加するサービスであるため、一般的に有料となっていることが多い。そこで、撮影データ記憶手段５４による撮影データ４３ｃの作成及び記憶は、利用者の指示があった場合のみに行う構成とすることが好ましい。すなわち、利用者がカラオケリモコン装置２２を操作することにより撮影データ４３ｃの作成及び記憶を指示した場合に、撮影データ記憶手段５４の機能により、撮影データ４３ｃの作成及び記憶が行われる。
【００５９】
＜音楽再生制御手段＞
音楽再生制御手段５９は、楽曲ＩＤに基づいて楽曲データベース４４ａから抽出された演奏データをデジタル再生するとともにアナログ変換してミキシングアンプ２６に出力するための電子回路である。ミキシングアンプ２６は、マイクロホン２４から入力された歌唱者の歌唱音声信号と、音楽再生制御手段５９から送出される演奏音声信号とをミキシングするとともに、アンプ機能により増幅してスピーカ２５より出力させるための装置である。なお、本実施形態では、撮影データ記憶手段５４において歌唱音声信号を利用するため、マイクロホン２４からの歌唱音声信号がＡ／Ｄコンバータ５８へ入力されている。
【００６０】
＜映像再生制御手段＞
映像再生制御手段６０は、カラオケ楽曲の演奏中に、映像データベース４４ｂから抽出した映像データ及び楽曲データベース４４ａから抽出した楽曲データのうちの歌詞テロップデータ（歌詞文字データ）を、当該カラオケ楽曲の演奏データに同期させて表示装置２７に出力するための電子回路である。この際、カラオケ楽曲の演奏進行に従って、歌詞文字が色変わりして表示される。
【００６１】
＜表示装置＞
表示装置２７は、カラオケ演奏時の映像、歌詞テロップ等を表示するための装置で、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイ等により構成される。
【００６２】
＜不適切行為の撮影排除処理／第１の実施形態＞
図２〜図４を参照して、本実施形態の不適切行為の撮影排除機能を有するカラオケシステムにおける不適切行為の撮影排除処理を説明する。図２は、不適切行為の撮影排除処理の第１の実施形態を示すフローチャート、図３は、不適切行為の撮影排除処理の第２の実施形態を示すフローチャートである。また、図４は、表示装置の表示画面に表示される警告メッセージの一例を示す模式図である。
【００６３】
第１の実施形態に係る不適切行為の撮影排除処理では、予め利用者顔画像登録手段５１の機能により、利用者ＩＤに紐付けされた利用者の顔画像データが、利用者顔画像データベース４４ｃに格納されているものとする（第２の実施形態においても同様）。
【００６４】
第１の実施形態に係る不適切行為の撮影排除処理は、図２に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し（Ｓ１）、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段２３の機能により撮影を開始する（Ｓ２）。なお、撮影開始時におけるビデオカメラは、ステージ等のデフォルト位置に存在する被写体を撮影するように、その向き及び画角が調整されている。また、撮影開始時に、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、歌唱者撮影エリアにいる歌唱者を探し出して、以降の処理を行ってもよい（第２の実施形態においても同様）。
【００６５】
続いて、被写体追従手段５５の機能により、撮影対象となる歌唱者の移動に追従するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、選曲予約を行った歌唱者の移動位置に撮影手段２３の撮影方向を一致させるとともに、画角を一定に保つ（Ｓ３）。そして、不適切行為判断手段４５の機能により、現に撮影対象となっている歌唱者の撮像体表面における生体温度の割合と基準値とを比較し（Ｓ４）、歌唱者の撮像体表面における生体温度の割合が基準値より小さいか否かを判断する（Ｓ５）。ここで、歌唱者の撮像体表面における生体温度の割合が基準値を超えている場合、すなわち、歌唱者が不適切行為を行っていると判断した場合には、撮影機能制御手段４６の機能により撮影手段２３の機能を停止させて、報知制御手段５７の機能により、例えば図４に示すような報知を行うとともに（Ｓ６）、撮影を中止する（Ｓ７）。
【００６６】
一方、歌唱者の撮像体表面における生体温度の割合が基準値より小さく、歌唱者が不適切行為を行っていないと判断した場合には、カラオケ楽曲の演奏が終了したか否かを判断し（Ｓ８）、カラオケ楽曲の演奏が終了するまでの間、上述した歌唱者追従処理（Ｓ３）以降の処理を繰り返し実行する。そして、カラオケ楽曲の演奏が終了すると、撮影を終了する（Ｓ９）。
【００６７】
＜不適切行為の撮影排除処理／第２の実施形態＞
第２の実施形態に係る不適切行為の撮影排除処理は、図３に示すように、まず、撮影が指示されたカラオケ楽曲の演奏が開始されたか否かを判断し（Ｓ１１）、撮影が指示されたカラオケ楽曲の演奏が開始された場合には、撮影手段２３の機能により撮影を開始する（Ｓ１２）。
【００６８】
続いて、顔画像比較手段５２の機能により、現に撮影手段２３により撮影している歌唱者の顔画像データ（撮影顔画像データ４３ｂ）と、選曲予約を行った利用者の顔画像データ（登録顔画像データ）とを比較する（Ｓ１３）。ところで、撮影開始直後には、ビデオカメラのデフォルト撮影位置であるステージ上に歌唱者がいるとは限らず、自らが選曲予約したカラオケ楽曲の演奏が開始されたことを認知した後にステージに上がったり、司会者に促されてステージに上がったりするため、撮影開始時（カラオケ楽曲の演奏開始時）には、歌唱者の顔画像データを取得することができない場合がある。そこで、撮影開始直後に顔画像データの比較を行うのではなく、所定時間経過後（例えば３０秒経過後）に顔画像データの比較を行うことが好ましい。
【００６９】
ここで、撮影顔画像データ４３ｂと登録顔画像データの一致を確認し（Ｓ１４）、撮影顔画像データ４３ｂと登録顔画像データとが一致しない場合、すなわち、選曲予約を行った歌唱者が被写体となっていない場合には、報知制御手段５７の機能により、その旨の報知を行うとともに（Ｓ１５）、撮影機能制御手段４６の機能により撮影手段２３の機能を停止させて、撮影を中止する（Ｓ２２）。
【００７０】
一方、撮影顔画像データ４３ｂと登録顔画像データとが一致している場合には、被写体追従手段５５の機能により、撮影対象（選曲予約者）として特定された歌唱者の移動に追従するように、パン・チルト機構２３ｅ及びズーミング機構２３ｄを作動させて、歌唱者の移動位置に撮影手段２３の撮影方向を一致させるとともに、画角を一定に保つ（Ｓ１６）。そして、現に撮影対象となっている歌唱者の撮像体表面における生体温度の割合と基準値とを比較し（Ｓ１７）、歌唱者の撮像体表面における生体温度の割合が基準値より小さいか否かを判断する（Ｓ１８）。ここで、歌唱者の撮像体表面における生体温度の割合が基準値を超えている場合、すなわち、歌唱者が不適切行為を行っていると判断した場合には、撮影機能制御手段４６の機能により撮影手段２３の機能を停止させて、報知制御手段５７の機能により、例えば図４に示すような報知を行うとともに（Ｓ２１）、撮影を中止する（Ｓ２２）。
【００７１】
一方、歌唱者の撮像体表面における生体温度の割合が基準値より小さく、歌唱者が不適切行為を行っていないと判断した場合には、カラオケ楽曲の演奏が終了したか否かを判断し（Ｓ１９）、カラオケ楽曲の演奏が終了するまでの間、上述した歌唱者追従処理（Ｓ１６）以降の処理を繰り返し実行する。そして、カラオケ楽曲の演奏が終了すると、撮影を終了する（Ｓ２０）。
【００７２】
このように、本実施形態の不適切行為の撮影排除機能を有するカラオケシステムでは、歌唱者がデフォルト位置から移動した場合であっても、その移動に追従して撮影手段２３の撮影方向を変更するので、動きのある歌唱者に対しても、撮像体表面の体表温度を適切に検知して、不適切行為の撮影を効果的に排除することができる。また、撮影を所望して選曲予約を行った歌唱者が適切に歌唱を行っている場合のみに、その歌唱姿態の画像を録画することができるので、撮影を所望した歌唱者の要求を十分に満足させることができる。
【００７３】
＜他の実施形態＞
本発明の不適切行為の撮影排除機能を有するカラオケシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。
【００７４】
＜ネットワークカラオケシステム＞
また、上述した実施形態は、カラオケ演奏装置１１をスタンドアロンで使用した例を示しているが、各カラオケ店舗等に設置されたカラオケ演奏装置１１を端末装置とし、インターネット回線等を用いて、端末装置とホスト装置とをネットワーク接続した構成とすることもできる。この場合には、ホスト装置において、利用者ＩＤや、これに紐付けされた利用者の顔画像データ等を集中管理することにより、ネットワーク接続された各カラオケ演奏装置１１において同様のサービスを提供することができる。
【符号の説明】
【００７５】
１１ カラオケ演奏装置
２１ カラオケ本体
２２ カラオケリモコン装置
２２ａ 楽曲検索手段
２２ｂ 楽曲索引データベース
２２ｃ 利用者ＩＤ取得手段
２３ 撮影手段
２３ａ 撮像レンズ
２３ｂ 撮像素子
２３ｃ フォーカシング機構
２３ｄ ズーミング機構
２３ｅ パン・チルト機構
２３ｆ 赤外線検出センサ
２４ マイクロホン
２５ スピーカ
２６ ミキシングアンプ
２７ 表示装置
３１ ＩＤ媒体
４１ 中央制御手段
４２ ＲＯＭ
４３ ＲＡＭ
４３ａ 予約待ち行列
４３ｂ 撮影顔画像データ
４３ｃ 撮影データ
４４ ＨＤＤ
４４ａ 楽曲データベース
４４ｂ 映像データベース
４４ｃ 利用者顔画像データベース
４４ｄ 判断基準値
４４ｅ 警告メッセージ
４５ 不適切行為判断手段
４６ 撮影機能制御手段
４７ 送受信手段
４８ 予約管理手段
４９ ログイン利用者管理手段
５０ 顔画像識別記憶手段
５１ 利用者顔画像登録手段
５２ 顔画像比較手段
５３ 撮像データ受信手段
５４ 撮影データ記憶手段
５５ 被写体追従手段
５６ 被写体温度検知手段
５７ 報知制御手段
５８ Ａ／Ｄコンバータ
５９ 音楽再生制御手段
６０ 映像再生制御手段
【特許請求の範囲】
【請求項１】
歌唱者の不適切行為を識別して、その撮影を排除するためのカラオケシステムであって、撮影手段と、被写体追従手段と、被写体温度検知手段と、不適切行為判断手段と、撮影機能制御手段と、を備え、
前記撮影手段は、少なくともパン・チルト機構を有し、
前記被写体追従手段は、歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の移動位置に一致させ、
前記被写体温度検知手段は、任意のカラオケ楽曲が演奏されるとともに、前記撮影手段による撮影が行われると、歌唱者撮影エリアにいる歌唱者の体表温度を検知し、
前記不適切行為判断手段は、前記歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断し、
前記撮影機能制御手段は、不適切行為が行われていると判断された場合には、前記撮影手段の機能を停止させる、
ことを特徴とする不適切行為の撮影排除機能を有するカラオケシステム。
【請求項２】
顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、をさらに備え、
前記顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶し、
前記利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録し、
前記顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、前記撮影手段により撮影が行われている場合に、前記撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較して歌唱者を特定し、
前記被写体追従手段は、前記特定された歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の移動位置に一致させる、
ことを特徴とする請求項１に記載の不適切行為の撮影排除機能を有するカラオケシステム。
【請求項１】
歌唱者の不適切行為を識別して、その撮影を排除するためのカラオケシステムであって、撮影手段と、被写体追従手段と、被写体温度検知手段と、不適切行為判断手段と、撮影機能制御手段と、を備え、
前記撮影手段は、少なくともパン・チルト機構を有し、
前記被写体追従手段は、歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の移動位置に一致させ、
前記被写体温度検知手段は、任意のカラオケ楽曲が演奏されるとともに、前記撮影手段による撮影が行われると、歌唱者撮影エリアにいる歌唱者の体表温度を検知し、
前記不適切行為判断手段は、前記歌唱者の撮像体表面における生体温度の割合が所定の基準値を超えた場合に、不適切行為が行われていると判断し、
前記撮影機能制御手段は、不適切行為が行われていると判断された場合には、前記撮影手段の機能を停止させる、
ことを特徴とする不適切行為の撮影排除機能を有するカラオケシステム。
【請求項２】
顔画像識別記憶手段と、利用者顔画像登録手段と、顔画像比較手段と、をさらに備え、
前記顔画像識別記憶手段は、歌唱者撮影エリアにいる歌唱者の顔画像を識別するとともに、撮影された当該顔画像を撮影顔画像データとして所定の記憶部に記憶し、
前記利用者顔画像登録手段は、予め、利用者毎の顔画像データを利用者ＩＤに紐付けして利用者顔画像データベースに登録し、
前記顔画像比較手段は、利用者ＩＤに紐付けして選曲予約されたカラオケ楽曲が演奏されているとともに、前記撮影手段により撮影が行われている場合に、前記撮影顔画像データと、当該利用者ＩＤに紐付けされた登録顔画像データとを比較して歌唱者を特定し、
前記被写体追従手段は、前記特定された歌唱者の移動に追従して前記パン・チルト機構を作動させて、前記撮影手段の撮影方向を前記歌唱者の移動位置に一致させる、
ことを特徴とする請求項１に記載の不適切行為の撮影排除機能を有するカラオケシステム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−２５６６４３（Ｐ２０１０−２５６６４３Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０７２４１（Ｐ２００９−１０７２４１）
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]