情報記録再生装置およびビデオカメラ
【課題】カメラ本体だけで音声認識による字幕つきのディスク作成し、かつ顔認識により人別に表示できるようなメニューを生成することで、ユーザにとって使い勝手の良い情報記録再生装置を提供する。
【解決手段】複数の記録媒体に対応したドライブ装置を複数搭載し、前記記録媒体に応じた規格に準拠した記録再生を行なうことが可能な情報記録再生装置において、前記情報記録再生装置内に入力された映像信号から顔や人を認識する顔及び人物認識装置と、入力された音声信号から人の声を認識する音声認識装置と、前記顔及び人物認識装置と前記音声認識装置からの認識された結果を管理する認識制御部と、前記音声認識装置で認識された言葉をテキスト化する音声テキスト化装置と、複数の媒体同士でのデータのやり取りを管理するダビング管理装置とから構成されており、ダビング時に音声から字幕を生成する。
【解決手段】複数の記録媒体に対応したドライブ装置を複数搭載し、前記記録媒体に応じた規格に準拠した記録再生を行なうことが可能な情報記録再生装置において、前記情報記録再生装置内に入力された映像信号から顔や人を認識する顔及び人物認識装置と、入力された音声信号から人の声を認識する音声認識装置と、前記顔及び人物認識装置と前記音声認識装置からの認識された結果を管理する認識制御部と、前記音声認識装置で認識された言葉をテキスト化する音声テキスト化装置と、複数の媒体同士でのデータのやり取りを管理するダビング管理装置とから構成されており、ダビング時に音声から字幕を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＢＤやＨＤＤなど複数の媒体を搭載したディスク記録再生装置に関するものである。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開2007-027990（特許文献１）がある。該公報には「［課題］吹き出しや字幕スーパーの作成、編集を容易化する。［解決手段］動画データは顔検出手段１０３に入力されて顔特徴量と顔位置が検出され、音声識別手段１０４に入力されて音声特徴量が検出される。検出された各特徴量は話者特定手段１０７に送られ、音声・顔対応データ記憶手段１０６に登録されている話者の特徴量と比較されて特定話者の位置が特定される。特定された話者の音声は、音声認識手段１０５によりテキスト化される。話者の位置とテキストデータにより吹き出し作成手段１１２により吹き出しが作成され、動画像作成手段１１４により動画データと音声データと吹き出しデータとをまとめて新たな動画データが作成される。」と記載されている（要約参照）。
【０００３】
また、本技術分野の背景技術として、例えば、特開2007-266793（特許文献２）がある。該公報には「［課題］画像中の適正位置に音に対応する表示データを合成する。［解決手段］動画再生時に音声があるか否かを判断し（ステップＳ３２５）、ある場合には、口が存在するか否かを判断する（ステップＳ３２６）。口が存在する場合には、複数の口が存在するか否かを判断する（ステップＳ３２８）。この判断がＮＯであって単一の口のみが写っている場合には、吹き出し合成処理を実行する（ステップＳ３３２）。また、複数の口が存在する場合には、動いている口があるか否か（ステップＳ３２９）、及び動いている口は１つであるか否かを判断し（ステップＳ３３０）、動いている口が１つである場合には、吹き出し合成処理を実行する（ステップＳ３３２）。この吹き出し合成処理により、吹き出し内にテキストデータを合成した吹き出しテキストデータを、前記単一の口又は動いていると判断された口の近傍であって背景に合成する。」と記載されている（要約参照）。
【０００４】
【特許文献１】特開2007-027990
【特許文献２】特開2007-266793
【発明の開示】
【発明が解決しようとする課題】
【０００５】
昨今、ビデオカメラの市場では、上書きの心配がないことや映像の検索の容易さなどから、記録媒体はテープからディスクへと移行してきている。また、記録媒体はＤＶＤだけでなく、ＨＤＤ（Hard Disc Drive）や半導体メモリを搭載する製品も登場してきている。更に最近では大容量化と高画質化を実現すべく、Blu-ray Disc Association（ＢＤＡ）で策定された次世代光ディスク規格Ｂｌｕ−ｒａｙＤｉｓｃ（ＢＤ）を採用した記録機も登場してきている。HDDやBDとの組み合わせのハイブリッド型のビデオカメラも存在し、データのやり取りなども容易に行なうことが可能となっている。しかし、媒体の大容量化に伴い、撮影はしたものの、そのコンテンツを観ないというユーザも多くなっている。更に目的の映像を探すのに時間がかかるという問題も多くなっていくはずである。今後もこのような傾向は続いていくと考えられる。
【０００６】
また一方で、デジタルカメラの市場では、顔認識によるアプリケーションがトレンドとなっている。例えば、顔の位置を検出して顔に合わせた露光制御やフォーカス制御を行うものがある。最近では、ビデオカメラにも顔認識を応用したアプリケーションが応用されてきている。例えば、顔検出露光制御やフォーカス制御だけでなく、画像の認識により撮影をアシスト（パンが早すぎる、とか暗いとか）するようなビデオカメラまで登場している。このようにビデオカメラの世界でも認識技術が差別化技術としてトレンドになってきていることがわかる。また、今後は、映像だけでなく音声認識も応用されていくと予想する。実際に携帯の世界では音声をテキスト化するようなアプリケーションなども応用されている。また、他にもTVの番組などでは被写体の会話などが字幕として現れるのは一般的であり観ていて楽しい。
【０００７】
上記説明したように、記憶容量の大容量化に伴った問題が増加していくと思われるが、それを解決する為には、いかに撮影した映像に興味を持たせるかがポイントである。もう一度観たいと思うような映像を作成できれば何度も映像を楽しみたいと思うはずである。現状でもPC上で映像を編集することが可能であるが、やはり手間がかかり、それなりの経験や知識がないとなかなか何度も観たくなる映像を編集することはむずかしい。
【０００８】
そこで手軽にカメラ本体で楽しめるような映像を作成することを提案する。具体的には、HDDとBDを媒体としたカメラの場合で、撮影中は特に意識なくHDDに撮影してもらい、BDへのダビング時に撮影された会話や話声をテキスト化し、その情報を元に字幕付きの映像を作成する。この字幕はBDの規格に準拠させておくことで、汎用のプレーヤでも字幕付きの映像が楽しめる。TVなどのプログラムではお馴染みの字幕表示付きの映像を手軽にカメラ本体で実現できればユーザはいつでも楽しい映像を楽しむことができる。また、顔認識なども組み合わせることで登場した人の識別が可能となる。その情報を利用して人別に表示するようなメニューを生成できれば、映像の探索の際の検索性向上も狙える。
【０００９】
本発明では、例えば、上記説明したように、カメラ本体だけで音声認識による字幕つきのディスク作成し、かつ顔認識により人別に表示できるようなメニューを生成することで、ユーザにとって使い勝手の良い情報記録再生装置を提供する。
【課題を解決するための手段】
【００１０】
上記装置を実現する為に、特許請求の範囲に記載の構成を採用する。
【００１１】
例えば、複数の記録媒体に対応したドライブ装置を複数搭載し、前記記録媒体に応じた規格に準拠した記録再生を行なうことが可能な情報記録再生装置において、前記情報記録装置内に入力された映像信号から顔や人を認識する顔及び人物認識装置と、入力された音声信号から人の声を認識する音声認識装置と、前記顔及び人物認識装置と前記音声認識装置からの認識された結果を管理する認識制御部と前記音声認識装置で認識された言葉をテキスト化する音声テキスト化装置と複数の媒体同士でのデータのやり取りを管理するダビング管理装置とから構成されており、ダビング時に音声から字幕を生成することが可能な装置を提供する。
【発明の効果】
【００１２】
本発明によれば、使い勝手を向上した情報記録再生装置を提供できる。例えば、手間をかけずにカメラ本体だけで音声認識により字幕付きのディスクを作成できるので、汎用のプレーヤで字幕付きの映像が楽しめる。また、顔認識された情報により人別に表示できるようなメニューを生成することで、映像の検索性能が上がる。その為コンテンツの中の登場人物をすぐに検索できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の第一の実施形態について説明する。
【００１４】
図１はカメラ一体型記録装置のブロック図である。
図１において、１００は、ユーザが操作する操作部であり、認識を行なう為のキーであり、録画／停止キーやズームキー、記録モードの選択キーなども含む。
１０１はシステム制御部であり、多重／分離処理や各種フォーマット制御、媒体へのリードライトの制御、その他各部を統括して制御する。１１０は被写体の像を結像するための光学レンズと結像した光を電気信号に変換するための光電変換手段であるＣＣＤセンサもしくはＣＭＯＳセンサ、１１１は映像の電気信号をデジタル信号に変換するＡ／Ｄ変換器、１１２はデジタル信号に変換された画像情報を映像信号に変換するための処理を行う信号処理部、１１３は映像信号をＭＰＥＧ２やＨ．２６４のような所定の符号化方式に従って圧縮及び伸張処理する映像圧縮伸張部である。１１４は、映像を表示する表示部である。尚、この表示部１１４ファインダ内の表示部と、ビデオカメラの筐体の外側に設けられた可動式の表示部とに分けてもよい。また、１２０は集音した音声を電気的な音声信号に変換するマイク、１２４は音声を発生するスピーカ、１２１は音声信号を増幅するアンプ、１２２は音声の電気信号をデジタル信号に変換するＡ／Ｄ変換器（Ｄ／Ａ変換器）、１２３は、デジタル音声を、ＤｏｌｂｙＤｉｇｉｔａｌやＭｐｅｇのような所定の符号化方式に従って圧縮及び伸張処理する音声圧縮伸張部、１３１は映像圧縮伸張部１１３で生成された動画圧縮ストリーム、及び音声圧縮伸張部１２３で生成された音声圧縮ストリームとを多重化する多重化部、１３０は映像圧縮伸張部１１３が圧縮処理した画像データ、及び音声圧縮伸張部１２３により圧縮処理された音声データ、及びこれらの多重化されたデータを一時的に記憶する大容量のメモリであり、緩衝用のバッファとして使用する。また、ＡＴＡＰＩ／ＡＴＡ部１３２は特定の規格に従ったインターフェース部、１４１は光ディスク、例えばＢＤであり、ＤＶＤ等である。また、１４２はＨＤＤ（ハードディスク）等の記録媒体である。媒体Ｒ／Ｗ制御部１３３は、記録媒体１４１や１４２に記録再生するための動画像のデータファイルを、所定のファイル形式でリードライトする為の制御を行う。
【００１５】
１５０は、信号処理部からの映像信号を取りこみ、顔や人物を認識する顔人物認識部、１５１は、音声圧縮伸張部１２３の入力、もしくは出力のPCMデータから音声の認識を行なう音声認識部である。１６０は人物認識部１５０と音声認識部１５１の認識結果を管理する管理部、１７０はダビングを管理する管理部、１８０はテキストを生成するテキスト生成部、１９０は規格に準拠したメニューを生成するメニュー生成部である。
【００１６】
１３４は、ＭＭＣ制御部であり、ＳＤカードのようなＭＭＣインターフェースをもつ媒体１４３に記録する場合に使用される。通常は静止画の記録を行なうが、多重／分離部の結果を所定のフォーマットに変換してから動画データを記録しても良い。特にAVCHDの記録を行う。
【００１７】
ここで、映像圧縮伸張部１１３、音声圧縮伸張部１２３、多重／分離部１３１、フォーマット制御部１５０、及びシステム制御部１００の各機能は、好ましくはマイクロプロセッサでプログラムが実行されることにより実現されるが、それらの一部又は全部がハードウェアで構成されてもよい。また、図１では制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成ユニットが相互に接続されていると考えてよい。
【００１８】
図２は記録時における顔や人物を認識した時のシーンと管理情報の対応を示した図である。一回の記録の単位をシーンと呼び、２００はシーン１であり、２０１と２０２はそれぞれ２シーン目と３シーン目を表している。また、２０３は1シーン目で顔や人物認識により取得された管理情報を示す。２０４と２０５は、それぞれ２シーン目と３シーン目の管理情報を示している。ここでは１シーン目のAフレームからBフレームまでの間に１人、登録名が”ひとみ”が認識されている状態を示している。また２シーン目は顔や人物が認識されていないシーンである。３シーン目は、顔や人物が登場している部分が２ヶ所存在している状態である。一つは”佐藤と田中”であり、もう一つが”ゆりこ”を認識しているシーンである。
【００１９】
次に、記録時の認識動作について図１と図２を用いて説明する。
【００２０】
図1の操作部１００の操作によって動画撮影モードが選択された場合、システム制御部１００はその選択を認識してシステム全体が以下のように制御する。ＣＣＤもしくはＣＭＯＳセンサ１１０は駆動部（図示せず）により動画信号発生モードに駆動される。そして、光学レンズによって結像された像は、ＣＣＤもしくはＣＭＯＳセンサ１１０で電気信号に変換され、Ａ／Ｄ変換器１１１でデジタル信号に変換された後、信号処理部１１２で映像データに変換処理されて、その後、映像データは映像圧縮伸張部１１３で圧縮処理されるが、この圧縮処理はメモリ１３０と映像圧縮伸張部１１３との間で圧縮行程中の映像データをやりとりしながら、順次動画圧縮ストリームに変換処理する。圧縮と同時に信号処理部１１２からの映像信号から人物顔認識部１５０にて画像の中から顔や人物を検出する。この時の画像は1フレーム単位の映像であり、認識に必要なサイズにリサイズしてから認識を行なっても良い。認識された結果は、認識管理部１６０に送られ、シーン毎に管理される。例えば、１シーン目で一箇所顔や人物の認識が行なわれた場合、その管理情報は、図２の２０３の情報となる。認識が行なわれたかどうかの情報を１（有）、０（無）で管理し、また、認識された区間の最初と最後の映像のフレーム情報を記録しておき、事前に登録した顔と一致した場合にはその名前を記録しておく。ここでは認識が行なわれ、認識区間がAからBフレーム（これはストリーム中の時間情報でもかまわない）であり、その認識された顔、もしくは人物は”ひとみ”ということであることがわかる。２０４は２シーン目の情報であり、認識しなかったので全て無しとなっている。２０５は３シーン目の管理情報であるが、この時には、認識された顔もしくは人物が登場している部分は２ヶ所であり、その一つはCからDフレームの間に”佐藤と田中”が認識されているシーンであり、もう一つはEからFフレームの間に”ゆりこ”だけが認識されている状態を示している。記録時には図２のような管理情報を記録しておく。
【００２１】
一方、マイク１２０で集音された音声は、ＡＭＰ１２１とＡ／Ｄ変換器１２２を通して音声圧縮伸張部１２３で圧縮処理され、メモリ１３０に一時記憶される。その後、メモリ１３０に記憶されている映像圧縮伸張部１１３で生成された動画圧縮ストリームと音声圧縮伸張部１２３で生成された音声圧縮ストリームは多重／分離部１３１で多重化処理され、その多重処理データはメモリ１３０に一時記憶される。この時、フォーマット制御部が規格に準拠したフォーマットを構築して、最終的に、多重処理データはメモリ１３０から出力され、媒体Ｒ／Ｗ制御部１３３及びＡＴＡＰＩ／ＡＴＡ部１３２を介して、所定の記録フォーマットで記録媒体１４１、及び１４２に記録される。本実施例では、HDDに記録しておくとする。
【００２２】
次に、記録時の管理情報を元にして、ダビング時に字幕を付加したディスクを作成する動作について図１と図３を用いて説明する。
【００２３】
図３は、ダビング時のテキスト化について説明した図である。
３００はシーン１であり、３０１と３０２はそれぞれ２シーン目と３シーン目を表している。また、３０３は1シーン目で顔や人物認識により取得された期間に音声認識を行ない、その結果をテキストとしている状態を示す。３０４と３０５は、それぞれ２シーン目と３シーン目の音声認識とそのテキスト化について示している。
【００２４】
ダビングは、ＨＤＤ上にあるコンテンツを光ディスク、及びＳＤカードにコピー、もしくはムーブ（移動）動作する機能である。更に詳しく言うとＨＤＤ上のデータを一旦読み出し、映像や音声などに分離する、その後、ダビング先のフォーマットに合わせて再度圧縮、多重化することでダビングを実現する。この分離したデータを伸張したタイミングで音声認識を行い、テキスト化を実行、その結果を再多重化の際に映像と音声に多重化する。多重化とは再生時間などの情報を付加してパケットの構成にすることである。またこの多重化方法は、ＢＤならBlu-ray Disc Association（ＢＤＡ）の規格に準拠した方法で行なうことにより汎用のプレーヤで字幕の表示が可能となるので、規格に準拠させることが必須である。例えば、ＤＶＤ，ＳＤカードでは、それぞれＡＶＣＨＤなどの規格に準拠した記録を行なう必要がある。もしシステムパフォーマンスに余裕があれば、記録時に管理情報取得と同時に音声認識を行なっても良い。
【００２５】
具体的にＨＤＤ１４２から光ディスク１４１にダビングする動作を図１と図３で説明する。図１の操作部１００でダビングの支持をうけたら、システム制御部１０１は、ダビング管理部１７０にどのようなディスクに記録するか知らせる。指示は操作部だけでなく、プルダウンメニューのような指示の仕方でもかまわない。ダビング管理部１７０は、ダビング先がＢＤであればＢＤの規格に準拠するように多重化の準備（必要なライブラリを準備するなど）をする。その後、ＨＤＤ１４２からコンテンツが媒体Ｒ／Ｗ制御部１３３の指示によりＡＴＡＰＩ／ＡＴＡ部１３２を通して多重/分離部１３１に送られる。ここで一旦映像と音声が分離されるが、分離された情報は、一旦大容量メモリに格納される。また、映像と音声のレートを変換したい場合などは、一旦映像圧縮伸張部１１３や音声圧縮伸張部１２３により必要なレートに再圧縮すればよい。ここでシステム制御部１０１は、認識管理部１６０が記録時に作成した管理情報を参照して顔や人物がシーン中のどのあたりのフレームに存在するかの情報を得る。例えば図３の音声認識区間３０３がこれに相当する。このフレーム部分の分離を行なっている時に、多重分離部１３１で分離された音声圧縮ストリームを大容量メモリを介して音声圧縮伸張部でＰＣＭ（無圧縮データ）に変換する。この変換されたＰＣＭデータに対して音声認識部１５１で音声認識を行ない喋っている言葉を認識する。この認識情報は、認識管理部１６０で一旦管理してその後テキスト生成部１８０で喋っている言葉をテキスト化する。ここでは、うまく認識できなかった言葉などをはじいてもかまわない。その後多重／分離部がテキスト化された言葉を字幕化して映像と音声に多重化する。ＢＤの場合では、ＴＳ（トランスポートストリーム）の形式で多重化され、字幕についてはＰｒｅｓｅｎｔａｔｉｏｎ Ｇｒａｐｈｉｃ（ＰＧ） Ｓｔｒｅａｍとして多重化すれば良い。同様に図３の音声認識区間の３０４、３０５に対してテキスト化の３０７と３０８が対応して生成され、再多重化の際に使用される。ＤＶＤの時も規格に準拠した字幕の生成を行なうことで対応することができるはず。
【００２６】
次に、生成された字幕付きのディスク効果について図４に示す。
図４は、字幕再生をしている例を示した図である。４００は、規格に準拠した汎用のプレーヤで再生した画面であり、４０１はプレーヤの字幕再生機能を入れて字幕を表示している図である。
【００２７】
図４に示すように、規格に準拠した汎用のプレーヤであれば、プレーヤに付いている字幕再生機能を入れることで字幕を確認することができる。これは図２の管理情報２０５の（佐藤、田中）の二人を想定しているものだが、会話が字幕になっていることがわかる。今回タイミングに関しては特に触れないが、リップシンクと合わせて会話と字幕のタイミングを厳密に管理しても良い。
【００２８】
上記説明したように、記録中に生成した管理情報を元にダビング時に所望の期間の音声解析とテキスト化を行ない、そのテキスト情報を字幕として再多重化することで汎用プレーヤで楽しめる字幕付きのディスクが生成できる。会話が字幕となるので観ていて楽しい。
【００２９】
以下、図１と図５と図６を参照して本発明の第二の実施形態について説明する。
図５は、顔や人に合わせたメニューを生成する時のダビング元とダビング先の関係を示している図である。５００は、ダビング元の1シーン目である。５０１と５０２は、それぞれダビング元の2シーン目と3シーン目を示している。５０３は、ダビング先の1シーン目を表しており、”ひとみ”が登場している部分を1シーン目としている。同様に５０３と５０４は、”佐藤と田中”と”ゆりこ”をダビング先の2シーン目と3シーン目としていることを表示している図である。
【００３０】
図６は、ＢＤやＤＶＤの規格に準拠したメニューの画面である。このメニューは規格に準拠している為汎用のプレーヤで表示が可能である。
６００は、メニュー全体を示しており、６０１は、図５の５０３に相当するシーンのサムネール、同様に６０２と６０３は、図５の５０４と５０５に相当するシーンのサムネールである。６０５はメニューのコマンドを示している。
【００３１】
図１の操作部１００にてメニュー生成の支持があった場合には、システム制御部１０１からメニュー生成部１９０に指示がされ必要なサムネールや背景などを準備し多重／分離部にて規格に準拠した多重化をしつつディスクにメニューデータを記録していく。
【００３２】
一般的なメニューでは、撮影したシーン毎にサムネールが表示されるが、今回は、それだけでなく顔や人が登場しているところを集めたメニューを生成できる。具体的には図５の５０３、５０４、５０５のように人が登場している部分を新たなシーンとして認識、例えばダビング元の５００から記録時の管理情報から顔、人の登場部分を分割、抜き出する。同様にして５０４と５０５を準備する。この新たなシーンを第一の実施例で示したようにダビングを行う。この場合は字幕をつけてもつけなくても良い。その後ダビング先の新たなシーンに対して、規格に準拠したメニューを生成することで、人や顔だけをあつめたメニューを生成することが可能となる。
【００３３】
規格に準拠したメニューの生成方法については特に言及しないが、最終的に規格に準拠できれば良いので特に方法についてはこだわらない。
上記を実現して生成したのが、図６であり、サムネールの下の表示も作成の仕方はこだわらないが、メニュー生成時に”ちゃん”や”さん”を追加したものである。
【００３４】
上記説明したように、顔と人が登場している部分のメニューを生成できるところから、ユーザは汎用のプレーヤでお目当ての被写体をすぐに見つけることが可能となる。
【図面の簡単な説明】
【００３５】
【図１】本システムの構成図である。
【図２】記録時の動作を示した図。
【図３】ダビングの動作を示した図。
【図４】字幕付きのコンテンツを再生していることを示す図。
【図５】ダビング元とダビング先の関係を示した図。
【図６】規格に準拠したメニューを示した図。
【符号の説明】
【００３６】
１００・・・操作部
１０１・・・システム制御部
１１０・・・映像入力部
１１１・・・ＡＤ／ＤＡ
１１２・・・信号処理部
１１３・・・映像圧縮伸張部
１１４・・・表示部
１２０・・・マイク
１２１・・・ＡＭＰ
１２２・・・ＡＤ／ＤＡ
１２３・・・音声圧縮伸張部
１２４・・・スピーカ
１３０・・・大容量メモリ
１３１・・・多重分離部
１３２・・・ＡＴＡＰＩ／ＡＴＡ部
１３３・・・媒体Ｒ／Ｗ制御部
１３４・・・ＭＭＣ制御部
１４１・・・ＤＶＤ／ＢＤ
１４２・・・ＨＤＤ
１４３・・・ＳＤカード
１５０・・・人物顔認識部
１５１・・・音声認識部
１６０・・・認識管理部
１７０・・・ダビング管理部
１８０・・・テキスト生成部
１９０・・・メニュー生成部
２００・・・１シーン目
２０１・・・２シーン目
２０２・・・３シーン目
２０３・・・１シーン目の管理情報
２０４・・・２シーン目の管理情報
２０５・・・３シーン目の管理情報
３００・・・１シーン目
３０１・・・２シーン目
３０２・・・３シーン目
３０３・・・１シーン目の音声認識期間
３０４・・・２シーン目の音声認識期間
３０５・・・３シーン目の音声認識期間
３０６・・・１シーン目のテキスト化
３０７・・・２シーン目のテキスト化
３０８・・・３シーン目のテキスト化
４００・・・字幕付き表示
４０１・・・字幕
５００・・・ダビング元１シーン目
５０１・・・ダビング元２シーン目
５０２・・・ダビング元３シーン目
５０３・・・ダビング先１シーン目
５０４・・・ダビング先２シーン目
５０５・・・ダビング先３シーン目
６００・・・メニュー
６０１・・・１シーン目のサムネール
６０２・・・２シーン目のサムネール
６０３・・・３シーン目のサムネール
６０４・・・表示バー
６０５・・・コマンドメニュー
【技術分野】
【０００１】
本発明は、ＢＤやＨＤＤなど複数の媒体を搭載したディスク記録再生装置に関するものである。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開2007-027990（特許文献１）がある。該公報には「［課題］吹き出しや字幕スーパーの作成、編集を容易化する。［解決手段］動画データは顔検出手段１０３に入力されて顔特徴量と顔位置が検出され、音声識別手段１０４に入力されて音声特徴量が検出される。検出された各特徴量は話者特定手段１０７に送られ、音声・顔対応データ記憶手段１０６に登録されている話者の特徴量と比較されて特定話者の位置が特定される。特定された話者の音声は、音声認識手段１０５によりテキスト化される。話者の位置とテキストデータにより吹き出し作成手段１１２により吹き出しが作成され、動画像作成手段１１４により動画データと音声データと吹き出しデータとをまとめて新たな動画データが作成される。」と記載されている（要約参照）。
【０００３】
また、本技術分野の背景技術として、例えば、特開2007-266793（特許文献２）がある。該公報には「［課題］画像中の適正位置に音に対応する表示データを合成する。［解決手段］動画再生時に音声があるか否かを判断し（ステップＳ３２５）、ある場合には、口が存在するか否かを判断する（ステップＳ３２６）。口が存在する場合には、複数の口が存在するか否かを判断する（ステップＳ３２８）。この判断がＮＯであって単一の口のみが写っている場合には、吹き出し合成処理を実行する（ステップＳ３３２）。また、複数の口が存在する場合には、動いている口があるか否か（ステップＳ３２９）、及び動いている口は１つであるか否かを判断し（ステップＳ３３０）、動いている口が１つである場合には、吹き出し合成処理を実行する（ステップＳ３３２）。この吹き出し合成処理により、吹き出し内にテキストデータを合成した吹き出しテキストデータを、前記単一の口又は動いていると判断された口の近傍であって背景に合成する。」と記載されている（要約参照）。
【０００４】
【特許文献１】特開2007-027990
【特許文献２】特開2007-266793
【発明の開示】
【発明が解決しようとする課題】
【０００５】
昨今、ビデオカメラの市場では、上書きの心配がないことや映像の検索の容易さなどから、記録媒体はテープからディスクへと移行してきている。また、記録媒体はＤＶＤだけでなく、ＨＤＤ（Hard Disc Drive）や半導体メモリを搭載する製品も登場してきている。更に最近では大容量化と高画質化を実現すべく、Blu-ray Disc Association（ＢＤＡ）で策定された次世代光ディスク規格Ｂｌｕ−ｒａｙＤｉｓｃ（ＢＤ）を採用した記録機も登場してきている。HDDやBDとの組み合わせのハイブリッド型のビデオカメラも存在し、データのやり取りなども容易に行なうことが可能となっている。しかし、媒体の大容量化に伴い、撮影はしたものの、そのコンテンツを観ないというユーザも多くなっている。更に目的の映像を探すのに時間がかかるという問題も多くなっていくはずである。今後もこのような傾向は続いていくと考えられる。
【０００６】
また一方で、デジタルカメラの市場では、顔認識によるアプリケーションがトレンドとなっている。例えば、顔の位置を検出して顔に合わせた露光制御やフォーカス制御を行うものがある。最近では、ビデオカメラにも顔認識を応用したアプリケーションが応用されてきている。例えば、顔検出露光制御やフォーカス制御だけでなく、画像の認識により撮影をアシスト（パンが早すぎる、とか暗いとか）するようなビデオカメラまで登場している。このようにビデオカメラの世界でも認識技術が差別化技術としてトレンドになってきていることがわかる。また、今後は、映像だけでなく音声認識も応用されていくと予想する。実際に携帯の世界では音声をテキスト化するようなアプリケーションなども応用されている。また、他にもTVの番組などでは被写体の会話などが字幕として現れるのは一般的であり観ていて楽しい。
【０００７】
上記説明したように、記憶容量の大容量化に伴った問題が増加していくと思われるが、それを解決する為には、いかに撮影した映像に興味を持たせるかがポイントである。もう一度観たいと思うような映像を作成できれば何度も映像を楽しみたいと思うはずである。現状でもPC上で映像を編集することが可能であるが、やはり手間がかかり、それなりの経験や知識がないとなかなか何度も観たくなる映像を編集することはむずかしい。
【０００８】
そこで手軽にカメラ本体で楽しめるような映像を作成することを提案する。具体的には、HDDとBDを媒体としたカメラの場合で、撮影中は特に意識なくHDDに撮影してもらい、BDへのダビング時に撮影された会話や話声をテキスト化し、その情報を元に字幕付きの映像を作成する。この字幕はBDの規格に準拠させておくことで、汎用のプレーヤでも字幕付きの映像が楽しめる。TVなどのプログラムではお馴染みの字幕表示付きの映像を手軽にカメラ本体で実現できればユーザはいつでも楽しい映像を楽しむことができる。また、顔認識なども組み合わせることで登場した人の識別が可能となる。その情報を利用して人別に表示するようなメニューを生成できれば、映像の探索の際の検索性向上も狙える。
【０００９】
本発明では、例えば、上記説明したように、カメラ本体だけで音声認識による字幕つきのディスク作成し、かつ顔認識により人別に表示できるようなメニューを生成することで、ユーザにとって使い勝手の良い情報記録再生装置を提供する。
【課題を解決するための手段】
【００１０】
上記装置を実現する為に、特許請求の範囲に記載の構成を採用する。
【００１１】
例えば、複数の記録媒体に対応したドライブ装置を複数搭載し、前記記録媒体に応じた規格に準拠した記録再生を行なうことが可能な情報記録再生装置において、前記情報記録装置内に入力された映像信号から顔や人を認識する顔及び人物認識装置と、入力された音声信号から人の声を認識する音声認識装置と、前記顔及び人物認識装置と前記音声認識装置からの認識された結果を管理する認識制御部と前記音声認識装置で認識された言葉をテキスト化する音声テキスト化装置と複数の媒体同士でのデータのやり取りを管理するダビング管理装置とから構成されており、ダビング時に音声から字幕を生成することが可能な装置を提供する。
【発明の効果】
【００１２】
本発明によれば、使い勝手を向上した情報記録再生装置を提供できる。例えば、手間をかけずにカメラ本体だけで音声認識により字幕付きのディスクを作成できるので、汎用のプレーヤで字幕付きの映像が楽しめる。また、顔認識された情報により人別に表示できるようなメニューを生成することで、映像の検索性能が上がる。その為コンテンツの中の登場人物をすぐに検索できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の第一の実施形態について説明する。
【００１４】
図１はカメラ一体型記録装置のブロック図である。
図１において、１００は、ユーザが操作する操作部であり、認識を行なう為のキーであり、録画／停止キーやズームキー、記録モードの選択キーなども含む。
１０１はシステム制御部であり、多重／分離処理や各種フォーマット制御、媒体へのリードライトの制御、その他各部を統括して制御する。１１０は被写体の像を結像するための光学レンズと結像した光を電気信号に変換するための光電変換手段であるＣＣＤセンサもしくはＣＭＯＳセンサ、１１１は映像の電気信号をデジタル信号に変換するＡ／Ｄ変換器、１１２はデジタル信号に変換された画像情報を映像信号に変換するための処理を行う信号処理部、１１３は映像信号をＭＰＥＧ２やＨ．２６４のような所定の符号化方式に従って圧縮及び伸張処理する映像圧縮伸張部である。１１４は、映像を表示する表示部である。尚、この表示部１１４ファインダ内の表示部と、ビデオカメラの筐体の外側に設けられた可動式の表示部とに分けてもよい。また、１２０は集音した音声を電気的な音声信号に変換するマイク、１２４は音声を発生するスピーカ、１２１は音声信号を増幅するアンプ、１２２は音声の電気信号をデジタル信号に変換するＡ／Ｄ変換器（Ｄ／Ａ変換器）、１２３は、デジタル音声を、ＤｏｌｂｙＤｉｇｉｔａｌやＭｐｅｇのような所定の符号化方式に従って圧縮及び伸張処理する音声圧縮伸張部、１３１は映像圧縮伸張部１１３で生成された動画圧縮ストリーム、及び音声圧縮伸張部１２３で生成された音声圧縮ストリームとを多重化する多重化部、１３０は映像圧縮伸張部１１３が圧縮処理した画像データ、及び音声圧縮伸張部１２３により圧縮処理された音声データ、及びこれらの多重化されたデータを一時的に記憶する大容量のメモリであり、緩衝用のバッファとして使用する。また、ＡＴＡＰＩ／ＡＴＡ部１３２は特定の規格に従ったインターフェース部、１４１は光ディスク、例えばＢＤであり、ＤＶＤ等である。また、１４２はＨＤＤ（ハードディスク）等の記録媒体である。媒体Ｒ／Ｗ制御部１３３は、記録媒体１４１や１４２に記録再生するための動画像のデータファイルを、所定のファイル形式でリードライトする為の制御を行う。
【００１５】
１５０は、信号処理部からの映像信号を取りこみ、顔や人物を認識する顔人物認識部、１５１は、音声圧縮伸張部１２３の入力、もしくは出力のPCMデータから音声の認識を行なう音声認識部である。１６０は人物認識部１５０と音声認識部１５１の認識結果を管理する管理部、１７０はダビングを管理する管理部、１８０はテキストを生成するテキスト生成部、１９０は規格に準拠したメニューを生成するメニュー生成部である。
【００１６】
１３４は、ＭＭＣ制御部であり、ＳＤカードのようなＭＭＣインターフェースをもつ媒体１４３に記録する場合に使用される。通常は静止画の記録を行なうが、多重／分離部の結果を所定のフォーマットに変換してから動画データを記録しても良い。特にAVCHDの記録を行う。
【００１７】
ここで、映像圧縮伸張部１１３、音声圧縮伸張部１２３、多重／分離部１３１、フォーマット制御部１５０、及びシステム制御部１００の各機能は、好ましくはマイクロプロセッサでプログラムが実行されることにより実現されるが、それらの一部又は全部がハードウェアで構成されてもよい。また、図１では制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成ユニットが相互に接続されていると考えてよい。
【００１８】
図２は記録時における顔や人物を認識した時のシーンと管理情報の対応を示した図である。一回の記録の単位をシーンと呼び、２００はシーン１であり、２０１と２０２はそれぞれ２シーン目と３シーン目を表している。また、２０３は1シーン目で顔や人物認識により取得された管理情報を示す。２０４と２０５は、それぞれ２シーン目と３シーン目の管理情報を示している。ここでは１シーン目のAフレームからBフレームまでの間に１人、登録名が”ひとみ”が認識されている状態を示している。また２シーン目は顔や人物が認識されていないシーンである。３シーン目は、顔や人物が登場している部分が２ヶ所存在している状態である。一つは”佐藤と田中”であり、もう一つが”ゆりこ”を認識しているシーンである。
【００１９】
次に、記録時の認識動作について図１と図２を用いて説明する。
【００２０】
図1の操作部１００の操作によって動画撮影モードが選択された場合、システム制御部１００はその選択を認識してシステム全体が以下のように制御する。ＣＣＤもしくはＣＭＯＳセンサ１１０は駆動部（図示せず）により動画信号発生モードに駆動される。そして、光学レンズによって結像された像は、ＣＣＤもしくはＣＭＯＳセンサ１１０で電気信号に変換され、Ａ／Ｄ変換器１１１でデジタル信号に変換された後、信号処理部１１２で映像データに変換処理されて、その後、映像データは映像圧縮伸張部１１３で圧縮処理されるが、この圧縮処理はメモリ１３０と映像圧縮伸張部１１３との間で圧縮行程中の映像データをやりとりしながら、順次動画圧縮ストリームに変換処理する。圧縮と同時に信号処理部１１２からの映像信号から人物顔認識部１５０にて画像の中から顔や人物を検出する。この時の画像は1フレーム単位の映像であり、認識に必要なサイズにリサイズしてから認識を行なっても良い。認識された結果は、認識管理部１６０に送られ、シーン毎に管理される。例えば、１シーン目で一箇所顔や人物の認識が行なわれた場合、その管理情報は、図２の２０３の情報となる。認識が行なわれたかどうかの情報を１（有）、０（無）で管理し、また、認識された区間の最初と最後の映像のフレーム情報を記録しておき、事前に登録した顔と一致した場合にはその名前を記録しておく。ここでは認識が行なわれ、認識区間がAからBフレーム（これはストリーム中の時間情報でもかまわない）であり、その認識された顔、もしくは人物は”ひとみ”ということであることがわかる。２０４は２シーン目の情報であり、認識しなかったので全て無しとなっている。２０５は３シーン目の管理情報であるが、この時には、認識された顔もしくは人物が登場している部分は２ヶ所であり、その一つはCからDフレームの間に”佐藤と田中”が認識されているシーンであり、もう一つはEからFフレームの間に”ゆりこ”だけが認識されている状態を示している。記録時には図２のような管理情報を記録しておく。
【００２１】
一方、マイク１２０で集音された音声は、ＡＭＰ１２１とＡ／Ｄ変換器１２２を通して音声圧縮伸張部１２３で圧縮処理され、メモリ１３０に一時記憶される。その後、メモリ１３０に記憶されている映像圧縮伸張部１１３で生成された動画圧縮ストリームと音声圧縮伸張部１２３で生成された音声圧縮ストリームは多重／分離部１３１で多重化処理され、その多重処理データはメモリ１３０に一時記憶される。この時、フォーマット制御部が規格に準拠したフォーマットを構築して、最終的に、多重処理データはメモリ１３０から出力され、媒体Ｒ／Ｗ制御部１３３及びＡＴＡＰＩ／ＡＴＡ部１３２を介して、所定の記録フォーマットで記録媒体１４１、及び１４２に記録される。本実施例では、HDDに記録しておくとする。
【００２２】
次に、記録時の管理情報を元にして、ダビング時に字幕を付加したディスクを作成する動作について図１と図３を用いて説明する。
【００２３】
図３は、ダビング時のテキスト化について説明した図である。
３００はシーン１であり、３０１と３０２はそれぞれ２シーン目と３シーン目を表している。また、３０３は1シーン目で顔や人物認識により取得された期間に音声認識を行ない、その結果をテキストとしている状態を示す。３０４と３０５は、それぞれ２シーン目と３シーン目の音声認識とそのテキスト化について示している。
【００２４】
ダビングは、ＨＤＤ上にあるコンテンツを光ディスク、及びＳＤカードにコピー、もしくはムーブ（移動）動作する機能である。更に詳しく言うとＨＤＤ上のデータを一旦読み出し、映像や音声などに分離する、その後、ダビング先のフォーマットに合わせて再度圧縮、多重化することでダビングを実現する。この分離したデータを伸張したタイミングで音声認識を行い、テキスト化を実行、その結果を再多重化の際に映像と音声に多重化する。多重化とは再生時間などの情報を付加してパケットの構成にすることである。またこの多重化方法は、ＢＤならBlu-ray Disc Association（ＢＤＡ）の規格に準拠した方法で行なうことにより汎用のプレーヤで字幕の表示が可能となるので、規格に準拠させることが必須である。例えば、ＤＶＤ，ＳＤカードでは、それぞれＡＶＣＨＤなどの規格に準拠した記録を行なう必要がある。もしシステムパフォーマンスに余裕があれば、記録時に管理情報取得と同時に音声認識を行なっても良い。
【００２５】
具体的にＨＤＤ１４２から光ディスク１４１にダビングする動作を図１と図３で説明する。図１の操作部１００でダビングの支持をうけたら、システム制御部１０１は、ダビング管理部１７０にどのようなディスクに記録するか知らせる。指示は操作部だけでなく、プルダウンメニューのような指示の仕方でもかまわない。ダビング管理部１７０は、ダビング先がＢＤであればＢＤの規格に準拠するように多重化の準備（必要なライブラリを準備するなど）をする。その後、ＨＤＤ１４２からコンテンツが媒体Ｒ／Ｗ制御部１３３の指示によりＡＴＡＰＩ／ＡＴＡ部１３２を通して多重/分離部１３１に送られる。ここで一旦映像と音声が分離されるが、分離された情報は、一旦大容量メモリに格納される。また、映像と音声のレートを変換したい場合などは、一旦映像圧縮伸張部１１３や音声圧縮伸張部１２３により必要なレートに再圧縮すればよい。ここでシステム制御部１０１は、認識管理部１６０が記録時に作成した管理情報を参照して顔や人物がシーン中のどのあたりのフレームに存在するかの情報を得る。例えば図３の音声認識区間３０３がこれに相当する。このフレーム部分の分離を行なっている時に、多重分離部１３１で分離された音声圧縮ストリームを大容量メモリを介して音声圧縮伸張部でＰＣＭ（無圧縮データ）に変換する。この変換されたＰＣＭデータに対して音声認識部１５１で音声認識を行ない喋っている言葉を認識する。この認識情報は、認識管理部１６０で一旦管理してその後テキスト生成部１８０で喋っている言葉をテキスト化する。ここでは、うまく認識できなかった言葉などをはじいてもかまわない。その後多重／分離部がテキスト化された言葉を字幕化して映像と音声に多重化する。ＢＤの場合では、ＴＳ（トランスポートストリーム）の形式で多重化され、字幕についてはＰｒｅｓｅｎｔａｔｉｏｎ Ｇｒａｐｈｉｃ（ＰＧ） Ｓｔｒｅａｍとして多重化すれば良い。同様に図３の音声認識区間の３０４、３０５に対してテキスト化の３０７と３０８が対応して生成され、再多重化の際に使用される。ＤＶＤの時も規格に準拠した字幕の生成を行なうことで対応することができるはず。
【００２６】
次に、生成された字幕付きのディスク効果について図４に示す。
図４は、字幕再生をしている例を示した図である。４００は、規格に準拠した汎用のプレーヤで再生した画面であり、４０１はプレーヤの字幕再生機能を入れて字幕を表示している図である。
【００２７】
図４に示すように、規格に準拠した汎用のプレーヤであれば、プレーヤに付いている字幕再生機能を入れることで字幕を確認することができる。これは図２の管理情報２０５の（佐藤、田中）の二人を想定しているものだが、会話が字幕になっていることがわかる。今回タイミングに関しては特に触れないが、リップシンクと合わせて会話と字幕のタイミングを厳密に管理しても良い。
【００２８】
上記説明したように、記録中に生成した管理情報を元にダビング時に所望の期間の音声解析とテキスト化を行ない、そのテキスト情報を字幕として再多重化することで汎用プレーヤで楽しめる字幕付きのディスクが生成できる。会話が字幕となるので観ていて楽しい。
【００２９】
以下、図１と図５と図６を参照して本発明の第二の実施形態について説明する。
図５は、顔や人に合わせたメニューを生成する時のダビング元とダビング先の関係を示している図である。５００は、ダビング元の1シーン目である。５０１と５０２は、それぞれダビング元の2シーン目と3シーン目を示している。５０３は、ダビング先の1シーン目を表しており、”ひとみ”が登場している部分を1シーン目としている。同様に５０３と５０４は、”佐藤と田中”と”ゆりこ”をダビング先の2シーン目と3シーン目としていることを表示している図である。
【００３０】
図６は、ＢＤやＤＶＤの規格に準拠したメニューの画面である。このメニューは規格に準拠している為汎用のプレーヤで表示が可能である。
６００は、メニュー全体を示しており、６０１は、図５の５０３に相当するシーンのサムネール、同様に６０２と６０３は、図５の５０４と５０５に相当するシーンのサムネールである。６０５はメニューのコマンドを示している。
【００３１】
図１の操作部１００にてメニュー生成の支持があった場合には、システム制御部１０１からメニュー生成部１９０に指示がされ必要なサムネールや背景などを準備し多重／分離部にて規格に準拠した多重化をしつつディスクにメニューデータを記録していく。
【００３２】
一般的なメニューでは、撮影したシーン毎にサムネールが表示されるが、今回は、それだけでなく顔や人が登場しているところを集めたメニューを生成できる。具体的には図５の５０３、５０４、５０５のように人が登場している部分を新たなシーンとして認識、例えばダビング元の５００から記録時の管理情報から顔、人の登場部分を分割、抜き出する。同様にして５０４と５０５を準備する。この新たなシーンを第一の実施例で示したようにダビングを行う。この場合は字幕をつけてもつけなくても良い。その後ダビング先の新たなシーンに対して、規格に準拠したメニューを生成することで、人や顔だけをあつめたメニューを生成することが可能となる。
【００３３】
規格に準拠したメニューの生成方法については特に言及しないが、最終的に規格に準拠できれば良いので特に方法についてはこだわらない。
上記を実現して生成したのが、図６であり、サムネールの下の表示も作成の仕方はこだわらないが、メニュー生成時に”ちゃん”や”さん”を追加したものである。
【００３４】
上記説明したように、顔と人が登場している部分のメニューを生成できるところから、ユーザは汎用のプレーヤでお目当ての被写体をすぐに見つけることが可能となる。
【図面の簡単な説明】
【００３５】
【図１】本システムの構成図である。
【図２】記録時の動作を示した図。
【図３】ダビングの動作を示した図。
【図４】字幕付きのコンテンツを再生していることを示す図。
【図５】ダビング元とダビング先の関係を示した図。
【図６】規格に準拠したメニューを示した図。
【符号の説明】
【００３６】
１００・・・操作部
１０１・・・システム制御部
１１０・・・映像入力部
１１１・・・ＡＤ／ＤＡ
１１２・・・信号処理部
１１３・・・映像圧縮伸張部
１１４・・・表示部
１２０・・・マイク
１２１・・・ＡＭＰ
１２２・・・ＡＤ／ＤＡ
１２３・・・音声圧縮伸張部
１２４・・・スピーカ
１３０・・・大容量メモリ
１３１・・・多重分離部
１３２・・・ＡＴＡＰＩ／ＡＴＡ部
１３３・・・媒体Ｒ／Ｗ制御部
１３４・・・ＭＭＣ制御部
１４１・・・ＤＶＤ／ＢＤ
１４２・・・ＨＤＤ
１４３・・・ＳＤカード
１５０・・・人物顔認識部
１５１・・・音声認識部
１６０・・・認識管理部
１７０・・・ダビング管理部
１８０・・・テキスト生成部
１９０・・・メニュー生成部
２００・・・１シーン目
２０１・・・２シーン目
２０２・・・３シーン目
２０３・・・１シーン目の管理情報
２０４・・・２シーン目の管理情報
２０５・・・３シーン目の管理情報
３００・・・１シーン目
３０１・・・２シーン目
３０２・・・３シーン目
３０３・・・１シーン目の音声認識期間
３０４・・・２シーン目の音声認識期間
３０５・・・３シーン目の音声認識期間
３０６・・・１シーン目のテキスト化
３０７・・・２シーン目のテキスト化
３０８・・・３シーン目のテキスト化
４００・・・字幕付き表示
４０１・・・字幕
５００・・・ダビング元１シーン目
５０１・・・ダビング元２シーン目
５０２・・・ダビング元３シーン目
５０３・・・ダビング先１シーン目
５０４・・・ダビング先２シーン目
５０５・・・ダビング先３シーン目
６００・・・メニュー
６０１・・・１シーン目のサムネール
６０２・・・２シーン目のサムネール
６０３・・・３シーン目のサムネール
６０４・・・表示バー
６０５・・・コマンドメニュー
【特許請求の範囲】
【請求項１】
複数の記録媒体に対応したドライブ装置を複数搭載し、前記記録媒体に応じた規格に準拠した記録再生を行なうことが可能な情報記録再生装置において、
前記情報記録再生装置内に入力された映像信号から顔または人を認識する顔及び人物認識装置と、
入力された音声信号から人の声を認識する音声認識装置と、
前記顔及び人物認識装置と前記音声認識装置からの認識された結果を管理する認識制御部と、
前記音声認識装置で認識された言葉をテキスト化する音声テキスト化装置と、
複数の媒体同士でのデータのやり取りを管理するダビング管理装置と、
を備えており、ダビング時に音声から字幕を生成することを特徴とした情報記録再生装置。
【請求項２】
請求項１において、
前記複数の記録媒体は、ＢＤ、ＤＶＤ、ＨＤＤ、ＳＤカードのいずれかであり、更にはＳＤカードとＤＶＤの場合にはＡＶＣＨＤ規格のフォーマットでも記録することを特徴とした情報記録再生装置。
【請求項３】
請求項１または２において、記録中に前記顔認識装置にて顔を認識した位置やサイズの情報を前記認識管理部で記録毎に管理することを特徴とした情報記録再生装置。
【請求項４】
請求項３において、前記顔及び人物認識装置は、事前に登録された顔も判断できる機能を有し、前記認識管理部で管理する情報は、その撮影したシーンの中に顔が存在したかどうかの情報と、顔が記録されていた期間と、登録済みの人名などの識別できる情報であることを特徴とした情報記録再生装置。
【請求項５】
請求項４において、ダビング元の映像を再生しながら前記音声認識装置により音声を認識し、前記認識された音声を前記音声テキスト化装置にてテキスト化することを特徴とした情報記録再生装置。
【請求項６】
請求項５において、前記ダビング管理装置がダビングを行なう際に、前記テキスト化されたデータを規格に準拠したフォーマットで多重化することことを特徴とした情報記録再生装置。
【請求項７】
請求項６において、前記認識管理情報に管理されている前記顔が記録されていた期間の映像を新たなシーンとする、もしくは分割して独立のシーンとすることを特徴とした情報記録再生装置。
【請求項８】
請求項７において、前記独立したシーンだけを前記ダビング装置でダビングを行なうことを特徴とした情報記録再生装置。
【請求項９】
請求項８において、前記ダビング装置でダビングを行った後、前記認識管理情報に管理されている前記登録されていた名前をメニューに付加することを特徴とした情報記録再生装置。
【請求項１０】
ＢＤ、ＤＶＤ、ＨＤＤ（ハードディスク）、ＳＤカードに対応したドライブ装置を複数搭載し、規格に準拠した記録再生を行なうビデオカメラにおいて、
ＨＤＤに記録する場合に、顔や人物が認識された位置やその期間を管理情報として保持しておき、前記保持された管理情報から顔や人物が存在する映像部分の音声解析によりテキスト化されたデータを多重化してＢＤ、ＤＶＤ、またはＳＤカードにダビングすることにより、汎用のプレーヤで再生が可能な字幕付きのディスクを生成することを特徴としたビデオカメラ。
【請求項１１】
被写体を撮像し映像信号を生成する撮像手段と、
音声を集音し音声信号を生成する集音手段と、
該映像信号と該音声信号を第１の記録媒体に記録再生する第１の記録再生手段と、
該映像信号と該音声信号を第２の記録媒体に記録再生する第２の記録再生手段と、
該映像信号から特定の被写体を認識する認識手段と、
該音声信号のうち該認識手段が認識した特定の被写体に対応する音声を文字に変換する変換手段と、
該第１及び第２の記録再生手段と該認識手段と該変換手段とを制御し、該第１の記録媒体から該映像信号と該音声信号を再生し、該再生された映像信号と音声信号とともに該変換手段で変換された文字を該第２の記録媒体に記録するように制御する制御手段と、 を備えることを特徴とするビデオカメラ。
【請求項１】
複数の記録媒体に対応したドライブ装置を複数搭載し、前記記録媒体に応じた規格に準拠した記録再生を行なうことが可能な情報記録再生装置において、
前記情報記録再生装置内に入力された映像信号から顔または人を認識する顔及び人物認識装置と、
入力された音声信号から人の声を認識する音声認識装置と、
前記顔及び人物認識装置と前記音声認識装置からの認識された結果を管理する認識制御部と、
前記音声認識装置で認識された言葉をテキスト化する音声テキスト化装置と、
複数の媒体同士でのデータのやり取りを管理するダビング管理装置と、
を備えており、ダビング時に音声から字幕を生成することを特徴とした情報記録再生装置。
【請求項２】
請求項１において、
前記複数の記録媒体は、ＢＤ、ＤＶＤ、ＨＤＤ、ＳＤカードのいずれかであり、更にはＳＤカードとＤＶＤの場合にはＡＶＣＨＤ規格のフォーマットでも記録することを特徴とした情報記録再生装置。
【請求項３】
請求項１または２において、記録中に前記顔認識装置にて顔を認識した位置やサイズの情報を前記認識管理部で記録毎に管理することを特徴とした情報記録再生装置。
【請求項４】
請求項３において、前記顔及び人物認識装置は、事前に登録された顔も判断できる機能を有し、前記認識管理部で管理する情報は、その撮影したシーンの中に顔が存在したかどうかの情報と、顔が記録されていた期間と、登録済みの人名などの識別できる情報であることを特徴とした情報記録再生装置。
【請求項５】
請求項４において、ダビング元の映像を再生しながら前記音声認識装置により音声を認識し、前記認識された音声を前記音声テキスト化装置にてテキスト化することを特徴とした情報記録再生装置。
【請求項６】
請求項５において、前記ダビング管理装置がダビングを行なう際に、前記テキスト化されたデータを規格に準拠したフォーマットで多重化することことを特徴とした情報記録再生装置。
【請求項７】
請求項６において、前記認識管理情報に管理されている前記顔が記録されていた期間の映像を新たなシーンとする、もしくは分割して独立のシーンとすることを特徴とした情報記録再生装置。
【請求項８】
請求項７において、前記独立したシーンだけを前記ダビング装置でダビングを行なうことを特徴とした情報記録再生装置。
【請求項９】
請求項８において、前記ダビング装置でダビングを行った後、前記認識管理情報に管理されている前記登録されていた名前をメニューに付加することを特徴とした情報記録再生装置。
【請求項１０】
ＢＤ、ＤＶＤ、ＨＤＤ（ハードディスク）、ＳＤカードに対応したドライブ装置を複数搭載し、規格に準拠した記録再生を行なうビデオカメラにおいて、
ＨＤＤに記録する場合に、顔や人物が認識された位置やその期間を管理情報として保持しておき、前記保持された管理情報から顔や人物が存在する映像部分の音声解析によりテキスト化されたデータを多重化してＢＤ、ＤＶＤ、またはＳＤカードにダビングすることにより、汎用のプレーヤで再生が可能な字幕付きのディスクを生成することを特徴としたビデオカメラ。
【請求項１１】
被写体を撮像し映像信号を生成する撮像手段と、
音声を集音し音声信号を生成する集音手段と、
該映像信号と該音声信号を第１の記録媒体に記録再生する第１の記録再生手段と、
該映像信号と該音声信号を第２の記録媒体に記録再生する第２の記録再生手段と、
該映像信号から特定の被写体を認識する認識手段と、
該音声信号のうち該認識手段が認識した特定の被写体に対応する音声を文字に変換する変換手段と、
該第１及び第２の記録再生手段と該認識手段と該変換手段とを制御し、該第１の記録媒体から該映像信号と該音声信号を再生し、該再生された映像信号と音声信号とともに該変換手段で変換された文字を該第２の記録媒体に記録するように制御する制御手段と、 を備えることを特徴とするビデオカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−８１４５７（Ｐ２０１０−８１４５７Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４９４９４（Ｐ２００８−２４９４９４）
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]