ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
【課題】 マスク対象が画面内に収まる前であっても十分なプライバシーの保護を受けることを目的とする。
【解決手段】 本発明のビデオデータ記録装置１１０は、所定の特徴量を含む参照情報を記録した参照情報記憶部１５０と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部１７２と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部１７４と、ビデオデータと、部分情報に関する関連情報とを記録媒体に記録する撮像記録Ｉ／Ｆ部１３６と、を備えることを特徴とする。
【解決手段】 本発明のビデオデータ記録装置１１０は、所定の特徴量を含む参照情報を記録した参照情報記憶部１５０と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部１７２と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部１７４と、ビデオデータと、部分情報に関する関連情報とを記録媒体に記録する撮像記録Ｉ／Ｆ部１３６と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の一部にマスク処理を施すためのビデオデータ記録装置、ビデオデータ再生装置、ビデオデータ記録方法、およびビデオデータ再生方法に関する。
【背景技術】
【０００２】
これまで、デジタルスチルカメラ（ＤＳＣ：Digital Still Camera）やデジタルビデオカメラによって撮像された画像は、単に個人的に視聴するため用いられていたが、近年、このような画像が、ウェブやブログを介して不特定の人に閲覧させるためにも用いられるようになってきた。しかし、個人で撮像した画像には、人物、車両、撮像された地域を示す指標等、個人や地域を特定することが可能な情報が含まれ、画像をそのまま公開してしまうと個人のプライバシーを保護することが困難になる。
【０００３】
個人のプライバシーを保護するためには、取得した画像から、個人や地域を特定する人物、車両、指標等をマスク処理（モザイク処理、ボカシ処理、あるいは塗り潰し処理など）することが考えられる。例えば、顔検出を行い、顔部分の画像をマスク処理することで人物を特定できないようにしたり、ナンバープレートの文字情報部分をマスク処理することで車両を特定できないようにしたり、住所表示、学校名、駅、商店等の表示部分をマスク処理することで地域を特定できないようにしたりすることである。このような画像の一部、顔部分の画像にモザイク処理を施す技術が知られている（例えば、特許文献１）。しかし、かかる技術では、画像中の肌色の部分に基づいて顔部分を検出するため、撮像したすべての顔画像に対してモザイク処理が施されるので、特定の人のみモザイク処理または特定の人を除いてモザイク処理する等、プライバシーの保護の設定を個別にできなかった。
【０００４】
そこで、検出された顔画像を、予め記録されている特定人物の顔画像と照合して、両顔画像が一致した場合に限りモザイク処理を行う技術が開示されている（例えば、特許文献２）。かかる技術においては、肌色検出のみならず、背景画像との差分の抽出、パターンマッチング、顔らしさの抽出といった手法が顔検出に用いられている。また、顔を検出した後、目、鼻、口、耳などの特徴点もその顔を特定するための特徴量として利用され、ビデオ信号（画像信号）の解像度が向上したのも相まって、その特定精度は高くなっている。近年、このような顔部分のみならず、ナンバープレートの文字情報や地域を特定する文字情報も、ＯＣＲ技術やパターンマッチングを通じて照合し、その文字情報にモザイク処理を施すことが可能となり、より的確に個人のプライバシーの保護を図ることができるようになった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０８６４０７号公報
【特許文献２】特開２００４−０６２５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した技術では、撮像したビデオデータから個人のプライバシーに関する画像をマスク処理するため、まず、ビデオデータからマスク処理の対象となりうる情報（対象情報）を抽出し、それを予め記録された参照情報と比較している。そして、対象情報と参照情報とが一致または類似している場合に限りそのビデオデータの対象情報にマスク処理を施し、以後、その対象情報を追跡捕捉してマスク処理を継続する。
【０００７】
換言すれば、マスク処理は、参照情報と一致または類似する対象情報の存在が確認されてはじめて実行されることとなる。従って、本来マスク処理すべき対象情報の画像が画面上に出現したとしても、その対象情報が参照情報との類似性を見出せない間、即ち、対象情報の画像の一部のみが画面に表示されていて参照情報との類似度が十分な値に達していない間、その対象情報は参照情報と一致または類似していると判断されないため、マスク処理が行われない。
【０００８】
従って、マスク処理がリアルタイム性を要する場合において、例えば、対象となる人物が画面内にスライドしてきた場合、その顔が画面内に完全に収まってはじめてマスク処理が開始されるので、それまでは一部ではあるものの顔部分が画面に曝されることとなり、十分なプライバシーの保護を受けられないといった問題が顕在していた。
【０００９】
本発明は、このような課題に鑑み、マスク処理の対象（以下、単にマスク対象と称する）が画面内に収まる前であっても十分なプライバシーの保護を受けることが可能なビデオデータ再生装置、ビデオデータ記録装置、ビデオデータ再生方法、およびビデオデータ記録方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のビデオデータ記録装置は、所定の特徴量を含む参照情報を記録した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、ビデオデータと、部分情報に関する関連情報とを記録媒体に記録する媒体記録部と、を備えることを特徴とする。
【００１１】
本発明では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファに保持されているビデオデータに対応する画像とで画像同士の比較を行い、遡及してマスク処理すべき部分情報を抽出し、かかる部分情報に関する関連情報を記録媒体に記録する。従って、当該記録媒体の再生時には、マスク対象が一部でも含まれるビデオデータからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００１２】
上記ビデオデータ記録装置の類似性判断部は、参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで、部分情報が類似するか否かを判断し、関連性判断部は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで、部分情報が関連するか否かを判断してもよい。
【００１３】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断することが可能となる。
【００１４】
上記ビデオデータ記録装置のビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする。かかる構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータから抽出したマスク対象の部分情報に関する関連情報を記録媒体に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【００１５】
上記ビデオデータ記録装置で生成された記録媒体を再生するビデオデータ再生装置は、所定の特徴量を含む参照情報と類似すると判断されたビデオデータの部分情報と、類似すると判断された部分情報に関連すると判断されたビデオデータの部分情報とにおける部分画像に関する関連情報と、ビデオデータとが記録された記録媒体から、関連情報と、ビデオデータとを取得するビデオデータ取得部と、ビデオデータにおける関連情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００１６】
本発明では、ビデオデータ記録装置で生成された記録媒体には、ビデオデータと、マスク対象となる部分画像を特定できる関連情報とが記録されている。従って、当該ビデオデータ再生装置は、記録媒体の再生時に、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を遂行することが可能となる。
【００１７】
上記課題を解決するために、本発明のビデオデータ再生装置は、所定の特徴量を含む参照情報を記録した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、ビデオデータにおける部分情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００１８】
本発明では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファに保持されているビデオデータに対応する画像とで画像同士の比較を行い、遡及して部分情報を抽出する。そして、その部分情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００１９】
上記ビデオデータ再生装置の類似性判断部は、参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで、部分情報が類似するか否かを判断し、関連性判断部は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで、部分情報が関連するか否かを判断してもよい。
【００２０】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【００２１】
上記課題を解決するために、本発明のビデオデータ記録方法は、所定の特徴量を含む参照情報を記録しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出し、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出し、ビデオデータと部分情報に関する関連情報とを記録媒体に記録することを特徴とする。
【００２２】
上記課題を解決するために、本発明のビデオデータ再生方法は、所定の特徴量を含む参照情報を記録しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出し、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出し、ビデオデータにおける部分情報によって特定される部分画像をマスク処理し、マスク処理されたビデオデータを出力することを特徴とする。
【００２３】
上述したビデオデータ記録装置やビデオデータ再生装置における技術的思想に対応する構成要素やその説明は、当該ビデオデータ記録方法やビデオデータ再生方法にも適用可能である。
【００２４】
上記課題を解決するために、他の観点に基づく本発明のビデオデータ再生装置は、所定の特徴量を含む参照情報を記憶した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させる対象情報取出部と、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否か判断し、関連すると判断した対象情報にマスクフラグを付与する関連性判断部と、ビデオバッファ中のビデオデータに関連付けられた対象情報にマスクフラグが付与されている場合、ビデオデータの対象情報によって特定できる部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００２５】
本発明では、ビデオデータをビデオバッファに保持し、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報すべてにマスクフラグを付与し、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００２６】
上記ビデオデータ再生装置の類似性判断部は、対象情報と参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、関連性判断部は、保持された１または複数の対象情報と、類似すると判断された対象情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで関連するか否かを判断してもよい。
【００２７】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【００２８】
上記課題を解決するために、本発明のビデオデータ記録装置は、所定の特徴量を含む参照情報を記憶した参照情報記憶部と、ビデオデータを取得するビデオデータ取得部と、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、ビデオデータに関連付けて保持させる対象情報取出部と、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与する関連性判断部と、ビデオデータと、マスクフラグを付与された対象情報によって特定される部分画像に関する関連情報とを記録媒体に記録する媒体記録部と、を備えることを特徴とする。
【００２９】
本発明では、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報にもマスクフラグを付与し、その対象情報によって特定される部分画像に関する関連情報を記録媒体に記録する。従って、当該記録媒体の再生時には、マスク対象が一部でも含まれるビデオデータからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００３０】
上記ビデオデータ記録装置の類似性判断部は、対象情報と参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、関連性判断部は、保持された１または複数の対象情報と、類似すると判断された対象情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで関連するか否かを判断してもよい。
【００３１】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断することが可能となる。
【００３２】
上記ビデオデータ記録装置のビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含んでもよい。かかる構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータに関連付けられた対象情報によって特定できる部分画像にマスク処理を施すための関連情報を記録媒体に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【００３３】
上記ビデオデータ記録装置で生成された記録媒体を再生するビデオデータ再生装置は、所定の特徴量を含む参照情報と類似すると判断されビデオデータから取出された対象情報と、類似すると判断された対象情報と関連すると判断されビデオデータから取出された対象情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、関連情報と、ビデオデータとを取得するビデオデータ取得部と、取得されたビデオデータに関連情報が関連付けられている場合、関連情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００３４】
本発明では、記録媒体には、ビデオデータと、マスク処理をすべき部分画像を特定可能な、関連情報とが記録されている。当該ビデオデータ再生装置は、記録媒体を再生する際、関連情報によりマスク対象をほぼリアルタイムに認識することができ、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００３５】
上記課題を解決するために、本発明のビデオデータ再生方法は、所定の特徴量を含む参照情報を記憶しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させ、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与し、ビデオバッファ中のビデオデータに関連付けられた対象情報にマスクフラグが付与されている場合、ビデオデータの対象情報によって特定できる部分画像をマスク処理し、マスク処理されたビデオデータを出力することを特徴とする。
【００３６】
上記課題を解決するために、本発明のビデオデータ記録方法は、所定の特徴量を含む参照情報を記憶しておき、ビデオデータを取得し、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させ、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与し、ビデオデータとマスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録することを特徴とする。
【００３７】
上述したビデオデータ再生装置やビデオデータ記録装置における技術的思想に対応する構成要素やその説明は、当該ビデオデータ再生方法やビデオデータ記録方法にも適用可能である。
【発明の効果】
【００３８】
本発明では、個人や地域を特定することが可能なマスク対象の一部が最初に出現したビデオデータまで遡及してマスク処理することで、かかるマスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を受けることが可能となる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施形態にかかるビデオデータ記録再生システムの概略的な接続関係を示した説明図である。
【図２】第１の実施形態にかかるビデオデータ記録装置の一例を示した外観図である。
【図３】第１の実施形態にかかるビデオデータ記録装置の概略的なハードウェア構成を示した機能ブロック図である。
【図４】第１の実施形態における類似性判断部の処理を説明した説明図である。
【図５】第１の実施形態における関連性判断部の処理を説明した説明図である。
【図６】第１の実施形態にかかるビデオデータ再生装置の概略的なハードウェア構成を示した機能ブロック図である。
【図７】第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。
【図８】第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。
【図９】第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。
【図１０】第１の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
【図１１】第１の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【図１２】第２の実施形態にかかるビデオデータ再生装置の概略的な構成を示した機能ブロック図である。
【図１３】第２の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【図１４】第３の実施形態にかかるビデオデータ再生装置の概略的な構成を示した機能ブロック図である。
【図１５】第３の実施形態における類似性判断部の処理を説明した説明図である。
【図１６】第３の実施形態における関連性判断部の処理を説明した説明図である。
【図１７】第３の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【図１８】第４の実施形態にかかるビデオデータ記録再生システムの概略的な接続関係を示した説明図である。
【図１９】第４の実施形態にかかるビデオデータ記録装置の一例を示した外観図である。
【図２０】第４の実施形態にかかるビデオデータ記録装置の概略的なハードウェア構成を示した機能ブロック図である。
【図２１】第４の実施形態にかかるビデオデータ再生装置の概略的なハードウェア構成を示した機能ブロック図である。
【図２２】第４の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
【図２３】第４の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００４０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００４１】
デジタルスチルカメラやデジタルビデオカメラの普及と、インターネット回線の高速化に伴い、個人が撮像した画像を容易に公衆へ公開することができるようになってきた。しかし、個人で撮像した画像には、個人や地域を特定可能な情報が含まれ、画像をそのまま公開してしまうと個人のプライバシーを保護することが困難になる。特に、人の顔や住所を特定する文字列は、その一部が公開されただけでも、対象の個人や地域が特定されてしまうことがある。
【００４２】
本発明の実施形態では、上述のように顔や住所等、個人や地域を特定可能なマスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を受けられるようにすることを目的としている。以下、本実施形態のビデオデータ記録装置の構成とそのビデオデータ記録装置を用いたビデオデータ記録方法を述べ、その後で、ビデオデータ再生装置の構成とそのビデオデータ再生装置を用いたビデオデータ再生方法を述べる。
【００４３】
さらにその後、観点の異なるビデオデータ再生装置とそのビデオデータ再生装置を用いたビデオデータ再生方法と、ビデオデータ記録装置とそのビデオデータ記録装置を用いたビデオデータ記録方法について説明する。
【００４４】
（第１の実施形態：ビデオデータ記録再生システム１００）
図１は、第１の実施形態にかかるビデオデータ記録再生システム１００の概略的な接続関係を示した説明図である。
【００４５】
図１に示すように、ビデオデータ記録再生システム１００は、ビデオデータ記録装置１１０と、外部記録媒体１９０と、ビデオデータ再生装置２００と、ディスプレイ２１０とを含んで構成される。
【００４６】
ビデオデータ記録装置１１０は、撮像して取得したビデオデータを記録媒体としての外部記録媒体１９０に記録する。このとき、ビデオデータ記録装置１１０は、マスク処理すべき部分情報に関する関連情報も、ビデオデータの単位画像にあたるフレームに関連付けて記録する。そして、ビデオデータ再生装置２００は、ビデオデータ記録装置１１０によってビデオデータと関連情報とが記録された外部記録媒体１９０を、かかる関連情報を参照してマスク処理を行いながら再生し、ディスプレイ２１０に出力する。
【００４７】
ここで、ビデオデータは、複数のフレームを連続させた動画データや、連続する複数の静止画データであり、以下の実施形態では複数のフレームを連続させた動画データを挙げて説明する。また、フレームは、動画データを構成する１画面分の画像に対応するデータのことであり、Ｍ−ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４といった符号化方式において符号化の単位画像としても用いられる。以下、ビデオデータの単位画像を指す場合にはフレームの文言を用いて説明する。
【００４８】
（ビデオデータ記録装置１１０）
図２は、第１の実施形態にかかるビデオデータ記録装置１１０の一例を示した外観図である。本実施形態において、ビデオデータ記録装置１１０として、デジタルビデオカメラを例に挙げるが、かかる例に限定されず、デジタルスチルカメラ、ＨＤＤレコーダ、ＤＶＤレコーダ、ブルーレイディスク記録装置等、記録媒体にフレームを記録可能な他の記録装置でもよい。
【００４９】
ビデオデータ記録装置１１０は、本体１１２と、撮像レンズ１１４と、撮像操作部１１６と、ビューファインダ（液晶モニタ）１１８とを含んで構成される。
【００５０】
本体１１２は、撮像レンズ１１４を通じて撮像されたビデオ信号をビデオデータとして再視聴可能に記録すると共に、撮像操作部１１６へのユーザ入力に応じてその記録タイミングや画角を調整する。また、ユーザからの野外、屋内、夜景等の撮像モードの切り換え入力を受付けてそれに対応した処理を実行する。ユーザは、撮像時において、ビューファインダ１１８に表示された画像を視認し、実録されるビデオデータを参照することができ、被写体を所望する位置および占有面積で捉えることが可能となる。かかるビューファインダ１１８は、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。
【００５１】
図３は、第１の実施形態にかかるビデオデータ記録装置１１０の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ記録装置１１０は、ＣＰＵ１２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、フラッシュメモリ１２８と、撮像操作部１１６と、ビューファインダ１１８と、ビデオデータ取得部として機能する撮像部１３０と、データ処理部１３２と、ビデオバッファ１３４と、媒体記録部として機能する撮像記録Ｉ／Ｆ部１３６とを含んで構成される。
【００５２】
ＣＰＵ１２０は、ＲＯＭ１２４に格納されたプログラムに基づいてビデオデータ記録装置１１０全体を管理する。具体的に、ＣＰＵ１２０は、バス１２２を通じて後述するＲＯＭ１２４、ＲＡＭ１２６、フラッシュメモリ１２８、撮像操作部１１６、ビューファインダ１１８、撮像部１３０、データ処理部１３２、ビデオバッファ１３４、撮像記録Ｉ／Ｆ部１３６を制御する。
【００５３】
ＲＯＭ１２４は、ＣＰＵ１２０で実行されるプログラムを格納する。ＲＡＭ１２６は、プログラム実行時の変数を格納する。フラッシュメモリ１２８は、不揮発のメモリであり、電源切断時においてもその記憶された内容を保持することができる。従って、電源切断時には、ＲＡＭ１２６に代わって後述する参照情報を記憶する。
【００５４】
撮像操作部１１６は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等のスイッチから構成され、ユーザの操作入力を受け付ける。ビューファインダ１１８は、撮像部１３０が取得したビデオデータのビュー画像（映像）を表示する。
【００５５】
撮像部１３０は、被写体を撮像したビデオ信号からビデオデータ（フレーム）を生成する。データ処理部１３２は、撮像部１３０で生成されたビデオデータに対して輝度データや色データを形成する。以下、ビデオデータには輝度データや色データが含まれるものとする。
【００５６】
ビデオバッファ１３４は、撮像部１３０が生成したビデオデータ、特に１画面分にあたるフレームを一時的に保持する。また、ビデオバッファ１３４は、撮像部１３０がフレームを生成する毎に過去のフレームをシフトするシフトレジスタとして機能する。本実施形態において、ビデオバッファ１３４は、例えば、１９２０×１０８０ピクセルの解像度のフレームを３０フレーム／秒で伝送する、約７５０Ｍｂｐｓのビットレートのビデオデータを、１０秒程の録画時間分、保持できるものとする。
【００５７】
撮像記録Ｉ／Ｆ部１３６は、ビデオデータと、後述するマスク処理のための関連情報とを任意の外部記録媒体１９０に記録する。外部記録媒体１９０としてＤＶＤやブルーレイディスク等、ディスク形状の記録媒体を想定しているがフラッシュメモリやＨＤＤ等様々な記録媒体を適用することができる。
【００５８】
また、ＲＡＭ１２６は、ＣＰＵ１２０、およびその他の構成要素と協働して、参照情報記憶部１５０および部分情報保持部１５２としても機能する。
【００５９】
参照情報記憶部１５０は、所定の特徴量を含む参照情報を予め記憶する。かかる参照情報は、上述したように、電源切断時には、ＲＡＭ１２６に代わってフラッシュメモリ１２８に保持される。ここでは所定の特徴量は、例えば、参照情報が顔を示す情報であった場合、参照情報としての顔を示す情報に基づく部分画像（以下、単に参照顔画像と称する）の画面内における占有面積と、参照顔画像の特徴点（目、口、鼻、耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、参照顔画像の輪郭および輝度、肌の色、髪の色、髪の量等の指標値を含む。本実施形態において、参照情報は、顔を示す情報を例に挙げて説明するが、かかる場合に限定されず、参照情報としては、車両を示す情報、建物を示す情報、文字を示す情報等、既存の様々な技術を用いてその特徴量を抽出することができる情報も含まれる。
【００６０】
部分情報保持部１５２は、最新のフレーム（ビデオデータ）から後述する類似性判断部１７２が抽出した部分情報を、最新のフレーム（部分情報の取出元のフレーム）に関連付けて保持する。かかる部分情報は、関連付けられたフレームに対応する１画面分の画像のうち画面内の位置および大きさを示す座標情報を含みその座標情報によりフレームが示す画像に含まれる部分画像を特定できる関連情報と、後述する画像同士の比較を円滑に行うための部分画像とを含む。
【００６１】
さらに、ＣＰＵ１２０は、ＲＡＭ１２６、およびその他の構成要素と協働して、類似性判断部１７２、および関連性判断部１７４としても機能する。
【００６２】
類似性判断部１７２は、撮像部１３０によって生成された最新のフレーム（ビデオデータ）と参照情報とを比較し、フレームの一部が参照情報に類似すると判断されると、参照情報に類似すると判断された部分情報をそのフレームから抽出し、その部分情報をフレームに関連付けて部分情報保持部１５２に保持させる。
【００６３】
部分情報を抽出する際、類似性判断部１７２は、フレームの任意の位置から、上述した参照情報と同様の情報、すなわち、顔を示す情報に基づく部分画像の画面内における占有面積と、特徴点（目、口、鼻、耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、輪郭および輝度、肌の色、髪の色、髪の量等の指標値を抽出する。
【００６４】
そして、類似性判断部１７２は、抽出した指標値と、参照情報記憶部１５０に記憶された参照情報の特徴量の指標値とを比較し、さらに、部分画像の周辺の画像も総合的に評価して、参照情報との類似の度合いを示す類似度を導出する。
【００６５】
具体的に、類似性判断部１７２は、例えば、顔と推定される部分画像の付近に、首・胴体・下半身等の画像を検出できるか、検出した人物の画像の身長が、画面内の他の人物の画像の身長と比較して極端に大きすぎまたは小さすぎないか等、顔と推定される部分画像以外の領域も参照し、例えば肌の色や髪の色の評価値に重み付けする等、総合的に評価、判断して、顔として認識することで類似度を導出する。
【００６６】
類似性判断部１７２は、参照情報との類似度が第１所定閾値を超えた場合に両者が類似すると判断し、当該部分情報をマスク対象として部分情報保持部１５２に保持させる。
【００６７】
また、かかる類似度による判定だけでは、ビデオバッファ１３４に既に記憶されているフレームに対応する、類似度が第１所定閾値を超える部分画像が存在していないと判断された画像の中にも、例えば、参照情報の顔と同一人物の顔であるにもかかわらず、その顔が画面内に十分に入っていない等の理由により、特徴点が抽出できなかったため、類似度が低く導出されてしまった部分情報が含まれている可能性がある。
【００６８】
このような部分情報がマスク対象であると判定できるようにするため、関連性判断部１７４は、最新のフレームより前にビデオバッファ１３４に出力されたフレームと、類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する。
【００６９】
このとき、関連性判断部１７４は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで、部分情報が関連するか否かを判断する。
【００７０】
上述したように当該ビデオデータは、例えば３０フレーム／秒で撮像されるため、撮像された時刻の差異が僅か（例えば１／３０秒間）であるフレーム間では、よほど高速移動していない限り、同一の部分情報が同じような座標に、同じような大きさで撮像されている可能性が高い。
【００７１】
そこで、関連性判断部１７４は、フレーム相関、即ち、類似度が第１所定閾値を超えた部分情報が示す座標と前のフレームから生成される画像の各部分画像が示す座標との距離、および部分画像の大きさを考慮して、フレームに対応する画像と、部分情報として保持された部分画像との画像同士の比較によって、両者が関連するか否かを総合的に評価、判断し、関連度を導出する。
【００７２】
上述したように、類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【００７３】
関連性判断部１７４は、続いて、関連すると判断した部分情報をマスク対象として部分情報保持部１５２に保持させる。
【００７４】
関連性判断部１７４は、かかる部分情報の抽出において、関連度が第２所定閾値以上となった部分情報を直ちに保持させずに、その部分情報が示す位置近傍で、抽出対象の大きさや位置を任意に変化させて大きさや位置の異なる部分情報を抽出し、抽出された部分情報の中で関連度が最大となる部分情報のみを部分情報保持部１５２に保持させてもよい。
【００７５】
かかる構成により、同一フレームにおいて、同一対象の顔を含む位置や大きさが僅かに異なる部分情報の中から、最も関連度が高い、すなわち、余分な画像を含まずより正確に顔の画像のみを示した部分情報を、部分情報保持部１５２に選択的に保持させることができる。
【００７６】
図４は、第１の実施形態における類似性判断部１７２の処理を説明した説明図であり、図５は、関連性判断部１７４の処理を説明した説明図である。ここで、図４と図５とは連続した一連の処理を示している。図４、図５においては、フレームの移動処理を時系列に説明するため、ビデオバッファ１３４をビデオデータのフレーム１つ分の記憶領域１８０毎に区切っている。生成されたフレームは左端の記憶領域１８０に入力されフレームの生成タイミングに応じて右にシフトし右端の記憶領域１８０から出力されるものとする。ここでは、説明を容易にするため記憶領域１８０の数を７つとしている。
【００７７】
図４（ａ）において、ビデオバッファ１３４には、撮像部１３０が最初に生成したビデオデータの最初のフレームであるフレーム１が保持される。
【００７８】
続いて、図４（ｂ）に示すように、類似性判断部１７２は、ビデオバッファ１３４に保持されたフレーム１と、参照情報記憶部１５０に記憶された参照情報とを比較する（一点鎖線の両矢印で比較する組み合わせを図示する。）。ここでは、フレーム１からは参照情報に類似すると判断される部分情報はなく、部分情報を抽出しなかったものとする。
【００７９】
そして、図４（ｃ）に示すように、フレーム１は１つ右の記憶領域１８０にシフトし、撮像部１３０が取得した次のフレームであるフレーム２が新たに保持される。そして、図４（ｂ）と同様、ビデオバッファ１３４に保持されたフレーム２と、参照情報記憶部１５０に記憶された参照情報とを比較する。ここでも、フレーム２からは参照情報に類似すると判断される部分情報はなく、部分情報を抽出しなかったものとする。
【００８０】
続いて生成したフレーム３についても同様に、ビデオバッファ１３４に保持されたフレーム３と、参照情報記憶部１５０に記憶された参照情報とを比較する。ここでは、フレーム３からは参照情報に類似すると判断される（類似度が第１所定閾値を超える）部分情報として、部分情報１を抽出したものとする。類似性判断部１７２は、部分情報１をフレーム３に関連付けて、部分情報保持部１５２に保持させる。
【００８１】
図４（ｄ）において、部分情報１が参照情報と類似すると判断されると、図５（ａ）に示すように、関連性判断部１７４は、他のフレームのうちより新しいフレーム（図５のビデオバッファ１３４において、より左に位置する記憶領域１８０のフレーム）、ここではフレーム２と、部分情報１とを比較し（図５（ａ）において、二点鎖線の両矢印で比較する組み合わせを示す）、関連度を導出する。
【００８２】
そして、関連性判断部１７４は、導出した関連度が第２所定閾値を超える部分情報２を抽出し（図５（ｂ）において、実線矢印で抽出を示す）、部分情報保持部１５２に、フレーム２と関連付けて保持させる。
【００８３】
そして、関連性判断部１７４は、関連すると判断した部分情報２と、フレーム２の次に古いフレーム、ここではフレーム１とを比較し、関連度を導出する。そして、関連性判断部１７４は、導出した関連度が第２所定閾値を超える部分情報３を抽出し、部分情報保持部１５２に、フレーム１と関連付けて保持させる。
【００８４】
また、図５（ａ）において、関連性判断部１７４が、類似する（あるいは関連する）と判断した部分情報と、フレーム２とを比較し、関連度が第２所定閾値を超える部分情報がなく、部分情報を抽出できなかった場合、即ち、フレーム２とフレーム３の間で関連している部分情報が無くなった場合、関連性判断部１７４は、部分情報と、それより古いフレーム（図５のビデオバッファ１３４において、より右に位置する記憶領域１８０のフレーム）との比較を終了する。
【００８５】
さらに、関連性判断部１７４は、類似性判断部１７２によって類似すると判断された部分情報について、上述したような最新のフレームより前にビデオバッファ１３４に出力されたフレームのみならず、最新のフレームより後に出力されるフレームとの関連度の導出を行ってもよい。
【００８６】
換言すれば、類似性判断部１７２によって類似すると判断された部分情報について、関連性判断部１７４は、最新のフレームとの関連度の導出処理を一通り終えた後、シフトされた１つ前のフレームに関連付けられた部分情報と、最新のフレームとの関連性も判断する。要するに類似性判断部１７２は、逆方向（より新しいフレーム方向）への関連性も判断する。そして、関連度が第２所定閾値を超えると、最新のフレームに関連付けられた部分情報を抽出する。
【００８７】
撮像記録Ｉ／Ｆ部１３６は、ビデオデータとして順次フレームを記録しつつ、関連情報も外部記録媒体１９０に記録する。本実施形態において、関連情報は、上述したように、部分情報から部分画像を除いたものであり、フレームに対応する１画面分の画像のうち画面内の位置および大きさを示す座標情報を含む。しかし、関連情報は、かかる例に限定されず、マスクを施すべき画像領域を特定できればよい。後述するビデオデータ再生装置２００は、この外部記録媒体１９０からフレームと関連情報とを読み取ると、ディスプレイ２１０に出力する前に、関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
【００８８】
上述したように、本実施形態のビデオデータ記録装置１１０では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファ１３４に保持されているフレームに対応する画像とで画像同士の比較を行うことで、遡及してマスク処理すべき部分情報を抽出し、かかる部分情報に関する、マスク対象となる部分画像を特定できる関連情報を外部記録媒体１９０に記録する。従って、当該外部記録媒体１９０の再生時には、マスク対象が一部でも含まれるフレームからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。ここで、マスク処理は、モザイク、ぼかし、塗り潰し等、特定可能な情報を制限する処理である。
【００８９】
また、ビデオデータ記録装置１１０に撮像部１３０を備える構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータに含まれるフレームから抽出したマスク対象の部分情報に関する関連情報を外部記録媒体１９０に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【００９０】
（ビデオデータ再生装置２００）
次に、上述したビデオデータ記録装置１１０を用いて、ビデオデータと、関連情報とが記録された外部記録媒体１９０から、ビデオデータと、関連情報とを読み取り、マスク対象となる部分画像にマスク処理を施したビデオデータを出力するビデオデータ再生装置２００について説明する。
【００９１】
図６は、第１の実施形態にかかるビデオデータ再生装置２００の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置２００は、ＣＰＵ１２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、リモコンＩ／Ｆ２１６と、ビデオデータ取得部２３０と、マスク処理部２４０と、ビデオデータ出力部２４２と、を含んで構成される。
【００９２】
上記ＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６は、ビデオデータ記録装置１１０の説明において既に述べたＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置２００において構成が相違するリモコンＩ／Ｆ２１６、ビデオデータ取得部２３０、マスク処理部２４０、ビデオデータ出力部２４２を主に説明する。
【００９３】
リモコンＩ／Ｆ２１６は、リモコン２８０との赤外線通信を通じてユーザ入力に対応したコマンドを取得、保持する。ＣＰＵ１２０は、かかるコマンドを読み取り、そのコマンドに対応した処理を遂行する。
【００９４】
ビデオデータ取得部２３０は、外部記録媒体１９０からビデオデータを構成するフレームを取得する。さらに、ビデオデータ取得部２３０は、外部記録媒体１９０からマスク処理すべき部分画像を特定できる関連情報を取得する。
【００９５】
ここでは、データ符号化については触れていないが、ビデオデータ記録装置１１０のデータ処理部１３２は、フレームを前後のフレームと合わせて、Ｍ−ＪＰＥＧやＭＰＥＧ−２、Ｈ．２６４などの所定の符号化方式で符号化した後、撮像記録Ｉ／Ｆ部１３６に伝送してもよい。この場合、ビデオデータ取得部２３０は、フレームを復号した後、マスク処理部２４０に伝送する。
【００９６】
マスク処理部２４０は、関連情報によって特定されるフレームの部分画像にマスク処理を施し、ビデオデータ出力部２４２が、ディスプレイ２１０に出力する。
【００９７】
上述した関連情報とフレームとが記録された外部記録媒体１９０をビデオデータ取得部２３０が読み取り、マスク処理部２４０が関連情報に基づいてマスク処理を行ってからディスプレイ２１０に出力した場合の画像の表示について、比較例と対比させて説明する。
【００９８】
図７、図８、および図９は、第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。特に、図７（ａ）、図８（ａ）、および図９（ａ）は、本実施形態におけるマスク処理を施した画像の表示例であり、図７（ｂ）、図８（ｂ）、および図９（ｂ）は、比較例としての通常のマスク処理を施した画像の表示例である。図７、図８、および図９において、理解を容易にするため、ディスプレイ２１０に表示された映像から約１秒おきに４回抜き出した画像２９０Ａ〜Ｄ、２９０Ｅ〜Ｈを図７に、２９０Ｉ〜Ｌ、２９０Ｍ〜Ｐを図８に、２９０Ｑ〜Ｔ、２９０Ｕ〜Ｘを図９に、図の左から順次並べて示している。
【００９９】
図７（ｂ）に示すように、通常のマスク処理を施した場合、画像２９０Ｅおよび２９０Ｆにおいては、顔を示す部分画像が画面内に完全に入っていないため、マスク処理をすべき顔を示す部分画像と判断されずに、そのまま表示されてしまう。従って、画像２９０Ｅや画像２９０Ｆに含まれる顔を示す部分画像に基づいて、その人物が特定されてしまうおそれがあり、プライバシーの保護に欠ける。
【０１００】
画像２９０Ｇに到達すると、顔を示す部分画像が画面内に十分に入り、参照情報との類似の度合いが把握され、画像２９０Ｇ以降、ようやくマスク処理された顔を示す部分画像が表示される。以後の例えば画像２９０Ｈでは、その顔を示す部分画像が追跡捕捉されマスク処理が継続する。
【０１０１】
これに対して本実施形態においては、図７（ａ）に示すように、顔を示す画像が画面内に完全に入っていない画像２９０Ａおよび２９０Ｂであってもマスク処理を行うことができる。上述したように、ビデオデータ記録装置１１０は、撮像部１３０が生成したフレームを一旦ビデオバッファ１３４に保持し、画像２９０Ｃにおいて顔を示す部分画像がマスク処理すべき部分画像であることが判明してから、ビデオバッファ１３４に保持したフレームに基づいた画像２９０Ａおよび２９０Ｂに遡及して、顔を示す部分画像を特定できる部分情報を抽出している。ビデオデータ再生装置２００のマスク処理部２４０は、かかる部分情報に関する関連情報に基づいて部分画像にマスク処理を行うためである。
【０１０２】
本実施形態では、顔を示す部分画像が画面から外れている場合に限らず、図８に示すような、画面に最初に表示されている顔を示す部分画像が極端に小さく徐々に拡大した場合や、図９に示すように、顔を示す部分画像に焦点が合っておらず、徐々に焦点を合わせていった場合にも適用できる。
【０１０３】
図８（ｂ）に示すように、通常のマスク処理では、画像２９０Ｍおよび２９０Ｎにおいては、顔を示す部分画像が小さすぎるためマスク処理をすべき部分画像と判断されず、そのまま表示されてしまう。
【０１０４】
しかし、本実施形態においては、図８（ａ）に示すように、画像２９０Ｋの顔を示す部分画像がマスクすべき部分画像であることが判明してから、ビデオバッファ１３４に保持された画像２９０Ｉおよび２９０Ｊに遡及して部分情報を抽出できる。マスク処理部２４０は、この部分情報に関する関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
【０１０５】
同様に、図９（ｂ）においては、画像２９０Ｕおよび２９０Ｖの段階で顔を示す部分画像に焦点が合っていないため、マスク処理をすべき部分画像と判断されず、そのまま表示されてしまう。
【０１０６】
しかし、本実施形態においては、図７（ａ）および図８（ａ）と同様に、顔を示す部分画像に焦点を合わせた後の画像２９０Ｓにおいてマスク処理すべき部分画像であることが判明してから、ビデオバッファ１３４に保持された画像２９０Ｑおよび２９０Ｒに遡及して部分情報を抽出できる。マスク処理部２４０は、この部分情報に関する関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
【０１０７】
上述したように、外部記録媒体１９０には、ビデオデータと、マスク対象となる部分画像を特定できる関連情報とが記録されている。従って、当該ビデオデータ再生装置２００は、外部記録媒体１９０の再生時に、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を遂行することが可能となる。
【０１０８】
また、予め、マスク対象の部分画像を特定できる部分情報がフレームに関連付けられているため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたフレームを出力することができる。さらに、外部記録媒体１９０のビデオデータ自体にはマスク処理されていないため、ユーザは、かかる外部記録媒体１９０をビデオデータ再生装置２００で読み込んで再生する際、マスク処理の有無を選択して出力することが可能となる。
【０１０９】
（ビデオデータ記録方法）
図１０は、第１の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
【０１１０】
ユーザが撮像を開始し（Ｓ３００のＹＥＳ）、撮像部１３０がフレーム、例えば、撮像開始時からＫ（Ｋは説明のために用いる任意の整数）番目のフレームを生成する（Ｓ３０２）と、類似性判断部１７２は、Ｋ番目のフレームの画像と参照情報記憶部１５０に記憶されている参照情報を比較し（Ｓ３０４）、フレームに含まれる部分画像を示す部分情報と参照情報との類似度を導出する（Ｓ３０６）。
【０１１１】
そして、類似性判断部１７２は、導出した類似度が、第１所定閾値を超えているか否かを判断し（Ｓ３０８）、第１所定閾値を超えている場合（Ｓ３０８のＹＥＳ）、類似性判断部１７２は、その部分情報をＫ番目のフレームに関連付けて部分情報保持部１５２に保持させる（Ｓ３１０）。
【０１１２】
続いて、関連性判断部１７４は、そのＫ番目のフレームに関連付けられた部分情報と、ビデオバッファ１３４に保持されている、再生開始時からＫ−１番目のフレームの画像とを比較し、Ｋ番目のフレームに関連付けられた部分情報と、そのフレームに含まれる任意の位置、大きさの部分画像を示す部分情報との関連度を導出する（Ｓ３１２）。
【０１１３】
そして、関連性判断部１７４は、導出した関連度が、第２所定閾値を超えているか否かを判断し（Ｓ３１４）、関連度が第２所定閾値を超えている部分情報が存在する場合（Ｓ３１４のＹＥＳ）、その部分情報を抽出し、Ｋ−１番目のフレームに関連付けて部分情報保持部１５２に保持させる（Ｓ３１６）。
【０１１４】
ここで、さらにＫ−２番目のフレームがビデオバッファ１３４に有る場合（Ｓ３１８のＹＥＳ）、Ｋ番目のフレームに関連付けられた部分情報の代わりに、関連性判断部１７４によって関連度が第２所定閾値を超えていると判断されたＫ―１番目のフレームに関連付けられた部分情報を用いて、Ｋ−２番目のフレームに含まれる任意の位置、大きさの部分画像を示す部分情報との関連度を導出する。
【０１１５】
換言すれば、フレームの順序は変えずＫから１を引いて、すなわち、Ｋ番目をＫ−１番目に、Ｋ−１番目をＫ−２番目に、Ｋ−２番目をＫ−３番目にそれぞれ順次読み換えて（Ｓ３２０）、関連度導出ステップ（Ｓ３１２）に戻り、Ｋ番目のフレームに関連付けられた部分情報に対して、Ｋ−１番目のフレーム中の部分情報との関連度を導出して（Ｓ３１２）、上述した処理を繰り返す。
【０１１６】
かかる処理は、Ｋ−１番目のフレームに関連付けられた部分情報に対して導出した関連度がすべて第２所定閾値以下になる（Ｓ３１４のＮＯ）か、Ｋ−２番目のフレームがビデオバッファ１３４に保持されていない場合（Ｓ３１８のＮＯ）まで実行される。
【０１１７】
類似度が第１所定閾値以下の場合（Ｓ３０８のＮＯ）、どの位置、大きさを取った部分情報との関連度も第２所定閾値以下の場合（Ｓ３１４のＮＯ）、またＫ−２番目のフレームがビデオバッファ１３４に保持されていない場合（Ｓ３１８のＮＯ）、部分情報の抽出を終了し、撮像記録Ｉ／Ｆ部１３６は、ビデオデータと、部分情報に関する関連情報とを外部記録媒体１９０に記録する（Ｓ３２２）。
【０１１８】
上述したビデオデータ記録方法において、撮像記録Ｉ／Ｆ部１３６は、マスク対象となる部分画像を特定できる関連情報を含めて外部記録媒体１９０に記録する。マスク処理はビデオデータを再生する際に選択的に実行されるため、当該ビデオデータ記録方法では、部分画像に対する実際のマスク処理を施さないので、処理負荷を低減することができる。
【０１１９】
（ビデオデータ再生方法）
続いて、上述したビデオデータ記録装置１１０によって生成した外部記録媒体１９０を、ビデオデータ再生装置２００を用いて再生するビデオデータ再生方法をフローチャートを用いて説明する。
【０１２０】
図１１は、第１の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。図１１において、ユーザが外部記録媒体１９０の再生を開始すると（Ｓ３５０のＹＥＳ）、ビデオデータ取得部２３０は、外部記録媒体１９０からビデオデータを構成するフレームと、マスク対象となる部分画像を特定できる関連情報とを取得する（Ｓ３５２）。
【０１２１】
そして、マスク処理部２４０は、取得したフレームに対して、関連情報が関連付けられているか否かを判断し（Ｓ３５４）、関連情報が関連付けられている場合（Ｓ３５４のＹＥＳ）、フレームに関連付けられた関連情報によって特定できる部分画像にマスク処理を施し（Ｓ３５６）、ビデオデータ出力部２４２は、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ３５８）。
【０１２２】
上述したビデオデータ再生方法では、外部記録媒体１９０に記録された関連情報を参照してマスク処理を施しフレーム毎にビデオデータを出力する。
【０１２３】
本実施形態において説明したように、マスク対象であることを示す部分情報の抽出をビデオデータの記録の際に行い、マスク処理をビデオデータの再生の際に行うことで、処理にかかる負荷を分散し、より低負荷でプライバシーが保護されたビデオデータを出力することができる。また、外部記録媒体１９０のビデオデータ自体には、マスク処理されていないため、ユーザは、マスク処理の有無を選択して出力することができる。
【０１２４】
（第２の実施形態）
第１の実施形態で説明したビデオデータ記録装置１１０とビデオデータ再生装置２００を用いる場合、抽出されたマスク対象はビデオデータと共に、一旦、外部記録媒体１９０に記録され、後ほど、マスク処理が施されてディスプレイ２１０に出力される。第２の実施形態では、ビデオデータ記録装置１１０とビデオデータ再生装置２００のそれぞれの機能の一部を有し、外部記録媒体１９０から取得したビデオデータに対して、ほぼリアルタイムにマスク処理を施して出力するビデオデータ再生装置３８０について説明する。
【０１２５】
（ビデオデータ再生装置３８０）
図１２は、第２の実施形態にかかるビデオデータ再生装置３８０の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置３８０は、ＣＰＵ１２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、フラッシュメモリ１２８と、ビデオデータ取得部３８２と、リモコンＩ／Ｆ２１６と、ビデオバッファ１３４と、マスク処理部２４０と、ビデオデータ出力部２４２と、を含んで構成される。
【０１２６】
上記ＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６、ビデオバッファ１３４、マスク処理部２４０、ビデオデータ出力部２４２は、上述した第１の実施形態にかかるビデオデータ記録装置１１０およびビデオデータ再生装置２００において既に述べたＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６、ビデオバッファ１３４、マスク処理部２４０、ビデオデータ出力部２４２と実質的に機能が同一なので同一の符号を付して説明を省略し、ここではビデオデータ再生装置３８０において構成が相違するビデオデータ取得部３８２を主に説明する。
【０１２７】
ビデオデータ取得部３８２は、ビデオデータ（フレーム）が記録された記録媒体としての外部記録媒体３８４から、フレームを取得する。かかる外部記録媒体３８４には、上述した第１の実施形態にかかる外部記録媒体１９０のような関連情報が記録されていない。
【０１２８】
そして、当該ビデオデータ再生装置３８０は、ビデオバッファ１３４に保持されているフレームに遡及してマスク対象を示す部分情報を抽出し、マスク処理部２４０がマスク処理を行った後、ビデオデータ出力部２４２がマスク処理を施されたビデオデータをディスプレイ２１０に出力する。
【０１２９】
本実施形態のビデオデータ再生装置３８０は、マスク対象となる部分画像を特定できる部分情報を抽出し、部分画像とビデオバッファ１３４に保持されているフレームに対応する画像との画像同士の比較を行うので、既にビデオバッファ１３４に保持されたフレームに遡及して部分情報を抽出することができる。
【０１３０】
そして、その部分情報によって特定できる部分画像に対して、例えば、出力する直前、もしくは、ビデオバッファ１３４に保持されている間の所定のタイミングで、マスク処理を施す。従って、マスク対象が一部でも含まれるフレームからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０１３１】
（ビデオデータ再生方法）
図１３は、第２の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
【０１３２】
ビデオデータ取得部３８２が、外部記録媒体３８４から、例えば、再生開始からＫ番目のフレームを取得する（Ｓ３８６）。フレームを取得してから後、ビデオバッファ１３４に出力されたフレームと、参照情報との比較ステップ（Ｓ３０４）から、部分情報の抽出が終了するまで（Ｓ３０８のＮＯ、Ｓ３１４のＮＯ、Ｓ３１８のＮＯ）の手順は、図１０に示した第１の実施形態にかかるビデオデータ再生方法の処理と同一であるため、同一の符号を付して説明を省略する。
【０１３３】
そして、マスク処理部２４０は、ビデオバッファ１３４内の最も古いフレームが記憶領域の終端に達するとそのフレームに関連付けられた部分情報の有無を判断する（Ｓ３８８）。部分情報がある場合（Ｓ３８８のＹＥＳ）部分情報によって特定できる部分画像にマスク処理を施す（Ｓ３９０）。
【０１３４】
部分情報によって特定できる部分画像にマスク処理を施してから後、図１１に示した第１の実施形態にかかるビデオデータ再生方法の処理と同様、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ３５８）。
【０１３５】
本実施形態のビデオデータ再生方法では、フレームをビデオバッファ１３４に保持し、フレームに関連付けた部分情報によって特定できる部分画像すべてにマスク処理を施す。従って、ビデオバッファ１３４中のフレームに遡及してマスク処理が施されるので、マスク対象が画面内に完全に収まる前から、十分なプライバシーの保護を遂行することが可能となる。
【０１３６】
（第３の実施形態）
第１の実施形態および第２の実施形態では、マスク対象となる部分画像を特定できる部分情報を抽出する際、画像同士の比較によって、関連度を導出した。第３の実施形態では、ビデオバッファ１３４に保持した後、参照情報の比較対象となる特徴点や特徴量を含む対象情報を取出して保持しておき、かかる対象情報同士の比較を通じ、マスク対象を遡及して抽出するビデオデータ再生装置４００と、そのビデオデータ再生装置４００を用いたビデオデータ再生方法について説明する。
【０１３７】
（ビデオデータ再生装置４００）
図１４は、第４の実施形態にかかるビデオデータ再生装置４００の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置４００は、ＣＰＵ４２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ４２６と、フラッシュメモリ１２８と、ビデオデータ取得部４３０と、ビデオバッファ４３４と、マスク処理部４３６と、ビデオデータ出力部４４２と、リモコンＩ／Ｆ２１６とを含んで構成される。
【０１３８】
上記バス１２２、ＲＯＭ１２４、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６は、ビデオデータ記録装置１１０の説明において既に述べたバス１２２、ＲＯＭ１２４、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置４００において構成が相違するＣＰＵ４２０、ＲＡＭ４２６、ビデオデータ取得部４３０、ビデオバッファ４３４、マスク処理部４３６、ビデオデータ出力部４４２を主に説明する。
【０１３９】
ＣＰＵ４２０は、ＲＯＭ１２４に格納されたプログラムに基づいてビデオデータ再生装置４００全体を管理する。具体的に、ＣＰＵ４２０は、バス１２２を通じてＲＯＭ１２４、ＲＡＭ４２６、フラッシュメモリ１２８、ビデオデータ取得部４３０、ビデオバッファ４３４、マスク処理部４３６、ビデオデータ出力部４４２、リモコンＩ／Ｆ２１６を制御する。ＲＡＭ４２６は、プログラム実行時の変数を格納する。
【０１４０】
ビデオデータ取得部４３０は、記録媒体としての外部記録媒体３８４からビデオデータを取得する。ビデオデータは、複数のフレームを連続させた動画データや、連続する複数の静止画データであり、本実施形態では複数のフレームを連続させた動画データを挙げて説明する。ここでは、外部記録媒体３８４としてＤＶＤやブルーレイディスク等、ディスク形状の記録媒体を想定しているがフラッシュメモリやＨＤＤ等様々な記録媒体を適用することができる。
【０１４１】
ビデオバッファ４３４は、ビデオデータ取得部４３０が取得したビデオデータ、特に１画面分にあたるフレームを一時的に保持する。また、ビデオバッファ４３４は、ビデオデータ取得部４３０がフレームを取得する毎に過去のフレームをシフトするシフトレジスタとして機能する。本実施形態において、ビデオバッファ４３４は、例えば、１９２０×１０８０ピクセルの解像度のフレームを３０フレーム／秒で伝送する、約７５０Ｍｂｐｓのビットレートのビデオデータを、１０秒程の録画時間分、保持できるものとする。
【０１４２】
マスク処理部４３６は、ビデオバッファ４３４に保持されたフレームに関連付けられた対象情報に、後述する類似性判断部４７２または関連性判断部４７４によってマスク対象であることを示すマスクフラグが付与されている場合、フレームに関連付けられた対象情報によって特定できる部分画像をマスク処理する。
【０１４３】
ビデオデータ出力部４４２は、マスク処理部４３６によってマスク処理されたビデオデータをビデオ信号に変換してディスプレイ２１０に出力する。
【０１４４】
また、ＲＡＭ４２６は、ＣＰＵ４２０、およびその他の構成要素と協働して、参照情報記憶部４５０および対象情報保持部４５２としても機能する。
【０１４５】
参照情報記憶部４５０は、所定の特徴量を含む参照情報を予め記憶する。かかる参照情報は、上述したように、電源切断時には、ＲＡＭ４２６に代わってフラッシュメモリ１２８に保持される。ここで所定の特徴量は、例えば、参照情報が顔を示す情報であった場合、参照顔画像の画面内における占有面積と、参照顔画像の特徴点、特徴点同士の離間距離、特徴部分の大きさ、参照顔画像の輪郭および輝度、肌の色、髪の色、髪の量等の指標値を含む。また、参照情報としては、上述した顔を示す情報以外にも、車両を示す情報、建物を示す情報、文字を示す情報等、既存の様々な技術を用いてその特徴量を抽出することができる情報も含まれる。
【０１４６】
対象情報保持部４５２は、後述する対象情報取出部４７０が最新のフレーム（ビデオデータ）から取出した対象情報を、フレーム（対象情報の取出元のフレーム）に関連付けて保持する。かかる対象情報は、上述した所定の特徴量に加え、対象情報によって特定できる部分画像自体の画面内の位置および大きさを示す座標情報を含み、かかる座標情報によりフレームが示す画像に含まれる部分画像を特定できる。
【０１４７】
さらに、ＣＰＵ４２０は、ＲＡＭ４２６、およびその他の構成要素と協働して、対象情報取出部４７０、類似性判断部４７２、および関連性判断部４７４としても機能する。
【０１４８】
対象情報取出部４７０は、ビデオデータ取得部４３０が取得したフレームから参照情報の比較対象となる対象情報を取出し、フレームに関連付けて対象情報保持部４５２に保持させる。対象情報取出部４７０は、例えば、顔と推定される部分画像の付近に、首・胴体・下半身等の画像を検出できるか、検出した人物の画像の身長が、画面内の他の人物の画像の身長と比較して極端に大きすぎまたは小さすぎないか等、顔と推定される部分画像以外の領域も参照し、例えば肌の色や髪の色の評価値に重み付けする等、総合的に評価、判断して、顔として認識することで対象情報を取出している。
【０１４９】
類似性判断部４７２は、対象情報保持部４５２に保持された最新の対象情報と、参照情報記憶部４５０に記憶された参照情報との特徴量のそれぞれの指標値を比較し、両者の類似の度合いを総合的に評価して類似度を導出する。
【０１５０】
類似性判断部４７２は、対象情報と参照情報との類似度が第１所定閾値を超えた場合に両者が類似すると判断し、当該対象情報によって特定できる部分画像にマスク処理が必要であることを示すマスクフラグをその対象情報に付与する。従って、対象情報はマスクフラグが付与された状態で対象情報保持部４５２に保持される。
【０１５１】
また、かかる類似度による判定だけでは、ビデオバッファ４３４に既に記憶されている、類似度が第１所定閾値を超えていないと判断された対象情報の中にも、例えば、参照顔画像と同一人物の顔の画像を特定可能な対象情報であるにもかかわらず、その顔が画面内に十分に入っていない等の理由により特徴点が抽出できなかったため、類似度が低く導出されてしまった対象情報が含まれている可能性がある。
【０１５２】
このような対象情報がマスク対象であると判定できるようにするため、関連性判断部４７４は、類似性判断部４７２が類似の判断をしたフレームから取出され対象情報保持部４５２に保持された対象情報のうち、類似度が第１所定閾値を超え、類似すると判断された対象情報について、類似の判断をしたフレームより以前に取得され、対象情報保持部４５２に保持されている他のフレームの各対象情報との関連度を導出する。
【０１５３】
上述したように当該ビデオデータは、前後のフレーム間では、よほど高速移動していない限り、同一の対象情報が同じような座標に、同じような大きさで撮像されている可能性が高い。
【０１５４】
そこで、関連性判断部４７４は、対象情報の特徴量だけではなく、フレーム相関、即ち、類似度が第１所定閾値を超えた対象情報が示す座標と、前のフレームの各対象情報が示す座標との距離、および対象情報によって特定できる部分画像の大きさを、より優先的に考慮して、両者が関連するか否かを総合的に評価、判断し、関連度を導出する。
【０１５５】
関連性判断部４７４は、続いて、導出した関連度が第２所定閾値を超える１または複数の対象情報を関連すると判断し、マスクフラグを、関連するすべての対象情報に付与する。
【０１５６】
上述したように、類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【０１５７】
図１５は、第３の実施形態における類似性判断部４７２の処理を説明した説明図であり、図１６は、関連性判断部４７４の処理を説明した説明図である。ここで、図１５と図１６とは連続した一連の処理を示している。図１５、１６においては、フレームの移動処理を時系列に説明するため、図４、５同様、ビデオバッファ４３４をビデオデータのフレーム１つ分の記憶領域１８０毎に区切っている。取得されたフレームは左端の記憶領域１８０に入力されフレームの生成タイミングに応じて右にシフトし右端の記憶領域１８０から出力されるものとする。ここでも、説明を容易にするため記憶領域１８０の数を７つとしている。
【０１５８】
図１５（ａ）において、ビデオバッファ４３４には、ビデオデータ取得部４３０が最初に取得したビデオデータの最初のフレームであるフレーム１が保持される。
【０１５９】
続いて、図１５（ｂ）に示すように、対象情報取出部４７０は、ビデオバッファ４３４に保持されたフレーム１から取出した対象情報（ここでは例えば３つの対象情報である対象情報１、対象情報２、対象情報３が取出されたとする）を、対象情報保持部４５２にフレーム１と関連付けて保持させる（関連付けを破線の両矢印および破線四角で図示する）。
【０１６０】
そして、類似性判断部４７２が、参照情報記憶部４５０に記憶された参照情報と、対象情報１、対象情報２、対象情報３それぞれとの類似度を導出する（一点鎖線の両矢印で類似度を導出する組み合わせを図示する）。ここでは、導出した類似度がどれも第１所定閾値を超えていないので類似していないと判断されたものとする。
【０１６１】
続いて、図１５（ｃ）に示すように、フレーム１は１つ右の記憶領域１８０にシフトし、ビデオデータ取得部４３０が取得した次のフレームであるフレーム２が新たに保持される。
【０１６２】
その後、図１５（ｄ）において、図１５（ｂ）と同様、対象情報取出部４７０は、フレーム２から取出した対象情報４、対象情報５、対象情報６を、対象情報保持部４５２にフレーム２と関連付けて保持させる。そして、類似性判断部４７２が、参照情報記憶部４５０に記憶された参照情報と、対象情報４、対象情報５、対象情報６それぞれとの類似度を導出する。ここでも、参照情報と、対象情報４、対象情報５、対象情報６とがそれぞれ類似しなかったものとする。
【０１６３】
続いて取得したフレーム３についても同様に、対象情報７、対象情報８、対象情報９を、対象情報保持部４５２にフレーム３と関連付けて保持させ、類似度を導出する。そして、図１５（ｅ）において二点鎖線の両矢印でその組み合わせを示すように、参照情報と、対象情報９とが類似すると判断されたものとする。類似性判断部４７２は、その対象情報９にマスクフラグを付与する。
【０１６４】
図１５（ｅ）において、対象情報９が参照情報と類似すると判断されると、図１６（ａ）に示すように、関連性判断部４７４は、対象情報９について、類似性判断部４７２が類似の判断をしたフレーム３より以前に取得された他のフレーム（フレーム１、フレーム２）に関連付けられ、対象情報保持部４５２に保持された各対象情報との関連度を導出する。
【０１６５】
このとき、関連性判定部４７４は、他のフレームのうちより新しいフレーム（図１６のビデオバッファ４３４において、より左に位置する記憶領域１８０のフレーム）、ここではフレーム２に関連付けられた対象情報４、対象情報５、対象情報６から関連度を導出する。そして、関連性判断部４７４は、導出した関連度が第２所定閾値を超える対象情報を関連すると判断する（図１６（ａ）において、二点鎖線の両矢印でその組み合わせを示す）。関連性判断部４７４は、例えば、図１６（ａ）に示すように、対象情報５が関連すると判断した場合、対象情報５にマスクフラグを付与する。
【０１６６】
そして、関連性判断部４７４は、関連すると判断した対象情報５について、次に新しいフレーム、ここではフレーム１に関連付けられた対象情報１、対象情報２、対象情報３との関連度を導出する。関連性判断部４７４は、対象情報２が関連すると判断した場合、図１６（ｂ）において示すように、対象情報２にマスクフラグを付与する。
【０１６７】
また、図１６（ａ）において、関連性判断部４７４が、フレーム２に関連付けられたどの対象情報も、関連していないと判断した場合、即ち、フレーム２とフレーム３の間で関連している対象情報が無くなった場合、関連性判断部４７４は、マスクフラグの付与を止め、それより古いフレーム（図１５のビデオバッファ４３４において、より右に位置する記憶領域１８０のフレーム）から取得された対象情報との比較を終了する。
【０１６８】
ビデオバッファ４３４内の最も古いフレーム（図１６におけるフレーム１）がシフトされ続けた結果、記憶領域１８０の終端に達すると、ビデオデータ出力部４４２は、そのフレーム１から順次、ディスプレイ２１０に出力する。この出力の直前、マスク処理部４３６は、この出力するフレームに関連付けて対象情報保持部４５２に保持された対象情報にマスクフラグが付与されているか否か判断し、マスクフラグが付与されている場合、フレームの対象情報によって特定できる部分画像をマスク処理する。
【０１６９】
図１６（ｃ）の時点において、対象情報２にマスクフラグが付与されているため、マスク処理部４３６は、フレーム１に関連付けられた対象情報２によって特定できる部分画像をマスク処理する。ビデオデータ出力部４４２はこのようにマスク処理されたフレームを随時ビデオ信号に変換してディスプレイ２１０に出力する。
【０１７０】
このように、ビデオバッファ４３４から出力する直前に、出力するフレームのみをマスク処理する構成により、フレームに関連付けられた複数の対象情報に異なるタイミングでマスクフラグが付与されたとしても実際のマスク処理を一度に済ませることができ、マスク処理の処理負荷を低減できる。
【０１７１】
また、かかるマスク処理を行うタイミングは、フレームをディスプレイ２１０に出力する直前に限らず、マスク処理すべき対象情報が出現した都度、対象情報にマスクフラグを付与する代わりに、その対象情報に関連付けられビデオバッファ４３４に保持されたフレームに対してマスク処理を行ってもよい。
【０１７２】
さらに、関連性判断部４７４は、類似性判断部４７２によって類似すると判断された対象情報について、上述したようなその対象情報が取出される以前に取得された他のフレームに関連付けられた対象情報のみならず、以後に取出されるフレームに関連付けられた対象情報との関連度の導出およびマスクフラグの付与を行ってもよい。
【０１７３】
換言すれば、類似性判断部４７２によって類似すると判断されマスクフラグが付与された対象情報がシフトされた場合に、関連性判断部４７４は、類似性判断部４７２が類似の判断をしたフレームに関連付けられた対象情報の判定処理を一通り終えた後、そのシフトされた１つ前のフレームに関連付けられた、マスクフラグが付与された対象情報と、類似の判断をしたフレームに関連付けられた対象情報との関連性も判断する。要するに類似性判断部４７２は、逆方向（より新しいフレーム方向）への関連性も判断する。そして、関連度が第２所定閾値を超えると、類似の判断をしたフレームに関連付けられた対象情報にマスクフラグを付与する。
【０１７４】
関連性判断部４７４は、類似度が第１所定閾値を超えた対象情報と、対象情報取出部４７０に保持されている対象情報とを比較して関連度を導出するが、これに限られず、関連性判断部４７４は、対象情報（特徴量）ではなく、ビデオバッファ４３４に保持されている前のフレームに基づいた画像自体と、類似度が第１所定閾値を超えた対象情報によって特定できる部分画像とを、比較してもよい。この場合、対象情報は、類似性判断部４７２による類似度の導出にのみ用いられる。
【０１７５】
かかる比較において、フレームに基づいた画像中に、対象情報によって特定できる部分画像との関連度が第２所定閾値を超える部分画像が含まれていた場合、関連性判断部４７４は、その第２所定閾値を超えた部分画像と、さらに前のフレームに基づいた画像とを比較することとなる。
【０１７６】
さらに、関連性判断部４７４は、類似性判断部４７２が類似の判断をしたフレームから、関連度が第２所定閾値を超える対象情報が存在するフレームまでその対象情報を利用してマスクフラグを付与し、対象情報が存在しないフレームから、関連度が第２所定閾値を超えた部分画像と、さらに前のフレームに基づいた画像とを比較することによってマスクフラグを付与することもできる。
【０１７７】
かかるフレームの画像同士の比較では、上述した対象情報同士の比較に留まらず、色情報や、Ｈ．２６４等で用いられる動きベクトルの情報等を用い、類似度が第１所定閾値を超えた対象情報と同一対象となる可能性がある座標周辺に限定して、より詳細な画素単位の比較を行ってもよい。かかる構成により、対象情報の抽出対象として認識されないような、例えば、頭や耳等を示す情報を含むビデオデータに対しても、第１所定閾値を超えた対象情報に関連付けられ、マスク処理を行うことができる。
【０１７８】
上述したように本実施形態のビデオデータ再生装置４００を用いることで、ビデオデータ取得部４３０が取得したフレームをビデオバッファ４３４に保持し、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。マスク処理を施した画像の表示例は、図７、図８、図９を用いて既に説明しているのでここではその表示例の説明を省略する。このようにビデオデータ再生装置４００では、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０１７９】
図１７は、第３の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
【０１８０】
ビデオデータ取得部４３０がフレーム、例えば、再生開始時からＫ（Ｋは説明のために用いる任意の整数）番目のフレームを取得する（Ｓ５００）と、対象情報取出部４７０は、Ｋ番目のフレームから取出された対象情報を、そのフレームに関連付けて対象情報保持部４５２に保持させ（Ｓ５０２）、類似性判断部４７２は、その対象情報と参照情報記憶部４５０に記憶されている参照情報との類似度を導出する（Ｓ５０４）。
【０１８１】
そして、類似性判断部４７２は、導出した類似度が、第１所定閾値を超えているか否かを判断し（Ｓ５０６）、第１所定閾値を超えている場合（Ｓ５０６のＹＥＳ）、類似性判断部４７２は、そのＫ番目のフレームに関連付けられた対象情報にマスクフラグを付与する（Ｓ５０８）。続いて、関連性判断部４７４は、そのＫ番目のフレームに関連付けられた、マスクフラグが付与された対象情報と、対象情報保持部４５２に保持されている、再生開始時からＫ−１番目のフレームに関連付けられた対象情報との関連度を導出する（Ｓ５１０）。
【０１８２】
そして、関連性判断部４７４は、導出した関連度が、第２所定閾値を超えているか否かを判断し（Ｓ５１２）、関連度が第２所定閾値を超えている場合（Ｓ５１２のＹＥＳ）、Ｋ−１番目のフレームに関連付けられた対象情報にマスクフラグを付与する（Ｓ５１４）。
【０１８３】
ここで、さらにＫ−２番目のフレームに関連付けられた対象情報が有る場合（Ｓ５１６のＹＥＳ）、Ｋ番目のフレームに関連付けられた対象情報の代わりに、関連性判断部４７４によって関連度が第２所定閾値を超えていると判断されたＫ―１番目のフレームに関連付けられた対象情報を用いて、Ｋ−２番目のフレームに関連付けられた対象情報との関連度を導出する。
【０１８４】
換言すれば、フレームの順序は変えずＫから１を引いて、すなわち、Ｋ番目をＫ−１番目に、Ｋ−１番目をＫ−２番目に、Ｋ−２番目をＫ−３番目にそれぞれ順次読み換えて（Ｓ５１８）、関連度導出ステップ（Ｓ５１０）に戻り、マスクフラグを付与したＫ番目のフレームに関連付けられた対象情報に対し、Ｋ−１番目のフレームに関連付けられた対象情報との関連度を導出して（Ｓ５１０）、上述した処理を繰り返す。
【０１８５】
かかる処理は、Ｋ−１番目のフレームに関連付けられた対象情報に対して導出した関連度がすべて第２所定閾値以下になる（Ｓ５１２のＮＯ）か、Ｋ−２番目のフレームに関連付けられた対象情報がなくなる（Ｓ５１６のＮＯ）まで実行される。
【０１８６】
類似度が第１所定閾値以下の場合（Ｓ５０６のＮＯ）、対象情報との関連度がすべて第２所定閾値以下の場合（Ｓ５１２のＮＯ）、または一つ前のフレームに関連付けられた対象情報がなくなった場合（Ｓ５１６のＮＯ）、マスクフラグの付与を終了する。そして、マスク処理部４３６は、ビデオバッファ４３４内の最も古いフレームが記憶領域１８０の終端に達するとそのフレームの各対象情報に対して、マスクフラグが付与されているか否かを判断し（Ｓ５２０）、マスクフラグが付与されている場合（Ｓ５２０のＹＥＳ）、フレームに関連付けられた対象情報によって特定できる部分画像にマスク処理を施し（Ｓ５２２）、ビデオデータ出力部４４２は、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ５２４）。
【０１８７】
本実施形態では、フレームをビデオバッファ４３４に保持し、保持されたフレームに含まれる、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０１８８】
（第４の実施形態：ビデオデータ記録再生システム６００）
第３の実施形態における、ビデオデータ再生装置４００は、ビデオデータ取得部４３０が取得したフレームをビデオバッファ４３４に一時的に保持し、マスク処理すべき対象情報を遡及して抽出し、マスク処理を施していた。第４の実施形態では、ビデオデータ記録装置６１０がフレームをそのまま外部記録媒体に記録し、対象情報に関連付けられたフレームの記録タイミングと異なるタイミングで、マスクフラグが付与された対象情報に関する関連情報も外部記録媒体に記録する。そして、ビデオデータ再生装置７００は、ビデオデータ記録装置６１０がマスクフラグを付与された対象情報と関連付けたフレームを、マスク処理を実行しながら再生する。以下に、第４の実施形態において特徴的なビデオデータ記録再生システム６００を説明し、続いてビデオデータ記録装置６１０およびビデオデータ再生装置７００をブロック図を用いて説明する。
【０１８９】
図１８は、第４の実施形態にかかるビデオデータ記録再生システム６００の概略的な接続関係を示した説明図である。
【０１９０】
図１８に示すように、ビデオデータ記録再生システム６００は、ビデオデータ記録装置６１０と、外部記録媒体６５０と、ビデオデータ再生装置７００と、ディスプレイ２１０とを含んで構成される。
【０１９１】
ビデオデータ記録装置６１０は、撮像して取得したフレームを記録媒体としての外部記録媒体６５０に記録する。このとき、ビデオデータ記録装置６１０は、マスクフラグが付与された対象情報に含まれる関連情報も、少し遅れたタイミングでフレームに関連付けて記録する。そして、ビデオデータ再生装置７００は、ビデオデータ記録装置６１０が記録した外部記録媒体６５０を、関連情報を参照してマスク処理を行いながら再生し、ディスプレイ２１０に出力する。関連情報は、第１の実施形態と同様、フレームに対応する１画面分の画像のうち画面内の位置および大きさを示す座標情報を含む情報である。
【０１９２】
（ビデオデータ記録装置６１０）
図１９は、第４の実施形態にかかるビデオデータ記録装置６１０の一例を示した外観図であり、図２０は、第４の実施形態にかかるビデオデータ記録装置６１０の概略的なハードウェア構成を示した機能ブロック図である。本実施形態において、ビデオデータ記録装置６１０として、デジタルビデオカメラを例に挙げるが、かかる例に限定されず、デジタルスチルカメラ、ＨＤＤレコーダ、ＤＶＤレコーダ、ブルーレイディスク記録装置等、記録媒体にフレームを記録可能な他の記録装置でもよい。
【０１９３】
ビデオデータ記録装置６１０は、ＣＰＵ４２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ４２６と、フラッシュメモリ１２８と、撮像操作部１１６と、ビューファインダ１１８と、ビデオデータ取得部として機能する撮像部６２０と、データ処理部６２２と、媒体記録部として機能する撮像記録Ｉ／Ｆ部６２４とを含んで構成される。
【０１９４】
上記ＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、フラッシュメモリ１２８、撮像操作部１１６、ビューファインダ１１８は、第１の実施形態および第３の実施形態において既に述べたＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、フラッシュメモリ１２８、撮像操作部１１６、ビューファインダ１１８と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ記録装置６１０において構成が相違する撮像部６２０と、データ処理部６２２と、撮像記録Ｉ／Ｆ部６２４とを主に説明する。
【０１９５】
撮像部６２０は、被写体を撮像したビデオ信号からフレームを生成する。データ処理部６２２は、撮像部６２０で生成されたフレームに対して輝度データや色データを形成する。以下、フレームには輝度データや色データが含まれるものとする。撮像記録Ｉ／Ｆ部６２４は、生成されたフレームを任意の外部記録媒体６５０に記録する。
【０１９６】
また、ビデオデータ取得部として機能する撮像部６２０がフレームを取得すると、第３の実施形態と同様、対象情報取出部４７０は、フレームから対象情報を取出し、対象情報保持部４５２に一時的に保持する。類似性判断部４７２および関連性判断部４７４は、マスク処理が必要と判断した対象情報にマスクフラグを付与する。
【０１９７】
そして、撮像記録Ｉ／Ｆ部６２４は、フレームに加え、マスクフラグが付与された対象情報に含まれる関連情報を外部記録媒体６５０に記録する。
【０１９８】
ここで、マスクフラグは対象情報に遡及して付与される、即ち対象情報に含まれる関連情報は対象情報保持部４５２に所定時間保持されてから外部記録媒体６５０に記録されるので、フレームと、関連情報との記録タイミングは異なり、フレームの方が先に記録され、関連情報は対象情報保持部４５２においてマスクフラグの付与処理を終えてから記録されることとなる。
【０１９９】
ここで、撮像記録Ｉ／Ｆ部６２４は、関連情報に限らず、対象情報そのものを外部記録媒体６５０に記録してもよい。かかる構成により、後に、例えば他の人物の顔の参照情報に基づいて、対象情報にマスクフラグを付与し直す場合、外部記録媒体６５０に記録された対象情報を用いることで処理負荷を低減できる。
【０２００】
上述したビデオデータ記録装置６１０を用いることで、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報にマスクフラグを付与し、その対象情報によって特定される部分画像に関する関連情報を外部記録媒体６５０に記録する。従って、当該外部記録媒体６５０の再生時には、マスク対象が一部でも含まれるフレームからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０２０１】
また、マスク処理はビデオデータを再生する際に行うため、当該ビデオデータ記録装置６１０では、マスク処理を要さず、処理の負荷を低減することができる。さらに、外部記録媒体６５０には、マスク処理されていないフレームと関連情報とが独立して記録されているため、ユーザは、再生時にマスク処理の有無を選択して出力することが可能となる。
【０２０２】
さらに、第３の実施形態と異なり、フレームにマスク処理を行ってから出力する必要がないため、当該ビデオデータ記録装置６１０では、フレーム（ビデオデータ）をビデオバッファ４３４に保持することなく直接外部記録媒体６５０に記録し、対象情報のマスク処理の要否の判断のみ対象情報保持部４５２を用いて実行することができる。具体的に、ビデオデータ記録装置６１０の類似性判断部４７２や関連性判断部４７４は、対象情報保持部４５２に保持されている対象情報に対して遡及してマスクフラグを付与している。このように本実施形態では、フレームを一時的に記録するビデオバッファ４３４を備える必要がないので、製造コストを削減することが可能となる。
【０２０３】
また、撮像部６２０を備える構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータを構成するフレームに関連付けられ、マスクフラグが付与された対象情報よって特定できる部分画像にマスク処理を施すための関連情報を外部記録媒体６５０に記録することができ、撮像したビデオデータに個人情報が含まれていても、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【０２０４】
（ビデオデータ再生装置７００）
次に、上述したビデオデータ記録装置６１０を用いて記録された外部記録媒体６５０から、ビデオデータと、関連情報とを読み取り、マスク処理すべき部分画像にマスク処理を施してビデオデータを出力するビデオデータ再生装置７００について説明する。
【０２０５】
図２１は、第４の実施形態にかかるビデオデータ再生装置７００の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置７００は、ＣＰＵ４２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ４２６と、ビデオデータ取得部７３０と、マスク処理部４３６と、ビデオデータ出力部４４２と、リモコンＩ／Ｆ１４０とを含んで構成される。
【０２０６】
上記ＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、マスク処理部４３６、ビデオデータ出力部４４２、リモコンＩ／Ｆ１４０は、第３の実施形態において既に述べたＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、マスク処理部４３６、ビデオデータ出力部４４２、リモコンＩ／Ｆ１４０と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置７００で構成が相違するビデオデータ取得部７３０を主に説明する。
【０２０７】
ビデオデータ取得部７３０は、外部記録媒体６５０からビデオデータを構成するフレームを取得する。さらに、ビデオデータ取得部７３０は、外部記録媒体６５０から関連情報を取得する。マスク処理部４３６は、関連情報によって特定できるフレームの部分画像にマスク処理を施し、ビデオデータ出力部４４２が、ディスプレイ２１０に出力する。
【０２０８】
ここでは、データ符号化については触れていないが、ビデオデータ記録装置６１０のデータ処理部６２２は、フレームを前後のフレームと合わせて、Ｍ−ＪＰＥＧやＭＰＥＧ−２、Ｈ．２６４などの所定の符号化方式で符号化した後、撮像記録Ｉ／Ｆ部６２４に伝送してもよい。この場合、ビデオデータ取得部７３０は、フレームを復号した後、マスク処理部４３６に伝送する。
【０２０９】
上述したように、外部記録媒体６５０には、ビデオデータと、マスク処理をすべき部分画像を特定可能な、関連情報とが記録されている。従って、当該ビデオデータ再生装置７００は、外部記録媒体６５０を再生する際、関連情報によりマスク対象をほぼリアルタイムに認識することができ、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０２１０】
また、予め、関連情報がフレームに関連付けられているため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたフレームを出力することができる。さらに、外部記録媒体６５０のビデオデータ自体にはマスク処理されていないため、ユーザは、かかる記録媒体６５０を再生装置で読み込んで再生する際、マスク処理の有無を選択して出力することが可能となる。
【０２１１】
（ビデオデータ記録方法）
続いて、上述したビデオデータ記録装置６１０を用いたビデオデータ記録方法をフローチャートを用いて説明する。
【０２１２】
図２２は、第４の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
【０２１３】
図２２において、ユーザが撮像を開始すると（Ｓ８００のＹＥＳ）、ビデオデータ取得部としての撮像部６２０は、フレームを取得する（Ｓ５００）。以後、フレームに関連付けた対象情報を取出して保持し、マスク処理をすべき対象情報にマスクフラグを付与するまでの手順は、第３の実施形態にかかるビデオデータ再生方法の図１７に示した処理と同一であるため、同一の符号を付して説明を省略する。最後に、撮像記録Ｉ／Ｆ部６２４は、ビデオデータと、関連情報とを、外部記録媒体６５０に記録する（Ｓ８２０）。
【０２１４】
上述したビデオデータ記録方法において、撮像記録Ｉ／Ｆ部６２４は、関連情報を含めて外部記録媒体６５０に記録している。マスク処理はビデオデータを再生する際に行うため、当該ビデオデータ記録方法では、マスク処理を要さず、処理の負荷を低減することができる。
【０２１５】
（ビデオデータ再生方法）
続いて、上述したビデオデータ記録装置６１０によって生成した外部記録媒体６５０を、ビデオデータ再生装置７００を用いて再生するビデオデータ再生方法をフローチャートを用いて説明する。
【０２１６】
図２３は、第４の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。図２３において、ユーザが外部記録媒体６５０の再生を開始すると（Ｓ８５０のＹＥＳ）、ビデオデータ取得部７３０は、外部記録媒体６５０からビデオデータを構成するフレームと、関連情報と、を取得する（Ｓ８５２）。
【０２１７】
そして、マスク処理部４３６は、フレームに関連情報が関連付けられているか否かを判断し（Ｓ８５４）、関連情報が関連付けられている場合（Ｓ８５４のＹＥＳ）、その関連情報によって特定できるフレームの部分画像にマスク処理を施し（Ｓ８５６）、ビデオデータ出力部４４２は、第３の実施形態にかかるビデオデータ再生方法の図１７に示した処理と同様、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ５２４）。
【０２１８】
上述したビデオデータ再生方法においては、外部記録媒体６５０に記録された関連情報を参照し、マスク処理してフレーム毎にビデオデータを出力している。ここでは、予め、マスク対象を容易に把握できるため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたビデオデータを出力することができる。
【０２１９】
本実施形態において説明したように、マスク対象であることを示すマスクフラグの付与をビデオデータの記録の際に行い、マスク処理をビデオデータの再生の際に行うことで、処理にかかる負荷を分散し、より低負荷でプライバシーが保護されたビデオデータを出力することができる。また、外部記録媒体のビデオデータ自体にはマスク処理されていないため、ユーザは、マスク処理の有無を選択して出力することができる。
【０２２０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０２２１】
例えば、上述した実施形態において、ビデオデータは、Ｍ−ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４等で符号化された動画像を例として説明したが、かかる場合に限定されず、例えば、デジタルスチルカメラで連続して撮像（連写）された複数の静止画像を対象としてもよい。
【０２２２】
なお、本明細書のビデオデータ記録方法やビデオデータ再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０２２３】
本発明は、ビデオデータ記録装置、ビデオデータ再生装置、ビデオデータ記録方法およびビデオデータ再生方法に利用することができる。
【符号の説明】
【０２２４】
２００、３８０、７００ …ビデオデータ再生装置
２３０、３８２、４３０、７３０ …ビデオデータ取得部
１３４、４３４ …ビデオバッファ
２４０、４３６ …マスク処理部
２４２、４４２ …ビデオデータ出力部
１５０、４５０ …参照情報記憶部
４７０ …対象情報取出部
１７２、４７２ …類似性判断部
１７４、４７４ …関連性判断部
１９０、３８４、６５０ …外部記録媒体（記録媒体）
１１０、６１０ …ビデオデータ記録装置
１３０、６２０ …撮像部
１３６、６２４ …撮像記録Ｉ／Ｆ部（媒体記録部）
【技術分野】
【０００１】
本発明は、画像の一部にマスク処理を施すためのビデオデータ記録装置、ビデオデータ再生装置、ビデオデータ記録方法、およびビデオデータ再生方法に関する。
【背景技術】
【０００２】
これまで、デジタルスチルカメラ（ＤＳＣ：Digital Still Camera）やデジタルビデオカメラによって撮像された画像は、単に個人的に視聴するため用いられていたが、近年、このような画像が、ウェブやブログを介して不特定の人に閲覧させるためにも用いられるようになってきた。しかし、個人で撮像した画像には、人物、車両、撮像された地域を示す指標等、個人や地域を特定することが可能な情報が含まれ、画像をそのまま公開してしまうと個人のプライバシーを保護することが困難になる。
【０００３】
個人のプライバシーを保護するためには、取得した画像から、個人や地域を特定する人物、車両、指標等をマスク処理（モザイク処理、ボカシ処理、あるいは塗り潰し処理など）することが考えられる。例えば、顔検出を行い、顔部分の画像をマスク処理することで人物を特定できないようにしたり、ナンバープレートの文字情報部分をマスク処理することで車両を特定できないようにしたり、住所表示、学校名、駅、商店等の表示部分をマスク処理することで地域を特定できないようにしたりすることである。このような画像の一部、顔部分の画像にモザイク処理を施す技術が知られている（例えば、特許文献１）。しかし、かかる技術では、画像中の肌色の部分に基づいて顔部分を検出するため、撮像したすべての顔画像に対してモザイク処理が施されるので、特定の人のみモザイク処理または特定の人を除いてモザイク処理する等、プライバシーの保護の設定を個別にできなかった。
【０００４】
そこで、検出された顔画像を、予め記録されている特定人物の顔画像と照合して、両顔画像が一致した場合に限りモザイク処理を行う技術が開示されている（例えば、特許文献２）。かかる技術においては、肌色検出のみならず、背景画像との差分の抽出、パターンマッチング、顔らしさの抽出といった手法が顔検出に用いられている。また、顔を検出した後、目、鼻、口、耳などの特徴点もその顔を特定するための特徴量として利用され、ビデオ信号（画像信号）の解像度が向上したのも相まって、その特定精度は高くなっている。近年、このような顔部分のみならず、ナンバープレートの文字情報や地域を特定する文字情報も、ＯＣＲ技術やパターンマッチングを通じて照合し、その文字情報にモザイク処理を施すことが可能となり、より的確に個人のプライバシーの保護を図ることができるようになった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０８６４０７号公報
【特許文献２】特開２００４−０６２５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した技術では、撮像したビデオデータから個人のプライバシーに関する画像をマスク処理するため、まず、ビデオデータからマスク処理の対象となりうる情報（対象情報）を抽出し、それを予め記録された参照情報と比較している。そして、対象情報と参照情報とが一致または類似している場合に限りそのビデオデータの対象情報にマスク処理を施し、以後、その対象情報を追跡捕捉してマスク処理を継続する。
【０００７】
換言すれば、マスク処理は、参照情報と一致または類似する対象情報の存在が確認されてはじめて実行されることとなる。従って、本来マスク処理すべき対象情報の画像が画面上に出現したとしても、その対象情報が参照情報との類似性を見出せない間、即ち、対象情報の画像の一部のみが画面に表示されていて参照情報との類似度が十分な値に達していない間、その対象情報は参照情報と一致または類似していると判断されないため、マスク処理が行われない。
【０００８】
従って、マスク処理がリアルタイム性を要する場合において、例えば、対象となる人物が画面内にスライドしてきた場合、その顔が画面内に完全に収まってはじめてマスク処理が開始されるので、それまでは一部ではあるものの顔部分が画面に曝されることとなり、十分なプライバシーの保護を受けられないといった問題が顕在していた。
【０００９】
本発明は、このような課題に鑑み、マスク処理の対象（以下、単にマスク対象と称する）が画面内に収まる前であっても十分なプライバシーの保護を受けることが可能なビデオデータ再生装置、ビデオデータ記録装置、ビデオデータ再生方法、およびビデオデータ記録方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のビデオデータ記録装置は、所定の特徴量を含む参照情報を記録した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、ビデオデータと、部分情報に関する関連情報とを記録媒体に記録する媒体記録部と、を備えることを特徴とする。
【００１１】
本発明では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファに保持されているビデオデータに対応する画像とで画像同士の比較を行い、遡及してマスク処理すべき部分情報を抽出し、かかる部分情報に関する関連情報を記録媒体に記録する。従って、当該記録媒体の再生時には、マスク対象が一部でも含まれるビデオデータからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００１２】
上記ビデオデータ記録装置の類似性判断部は、参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで、部分情報が類似するか否かを判断し、関連性判断部は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで、部分情報が関連するか否かを判断してもよい。
【００１３】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断することが可能となる。
【００１４】
上記ビデオデータ記録装置のビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする。かかる構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータから抽出したマスク対象の部分情報に関する関連情報を記録媒体に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【００１５】
上記ビデオデータ記録装置で生成された記録媒体を再生するビデオデータ再生装置は、所定の特徴量を含む参照情報と類似すると判断されたビデオデータの部分情報と、類似すると判断された部分情報に関連すると判断されたビデオデータの部分情報とにおける部分画像に関する関連情報と、ビデオデータとが記録された記録媒体から、関連情報と、ビデオデータとを取得するビデオデータ取得部と、ビデオデータにおける関連情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００１６】
本発明では、ビデオデータ記録装置で生成された記録媒体には、ビデオデータと、マスク対象となる部分画像を特定できる関連情報とが記録されている。従って、当該ビデオデータ再生装置は、記録媒体の再生時に、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を遂行することが可能となる。
【００１７】
上記課題を解決するために、本発明のビデオデータ再生装置は、所定の特徴量を含む参照情報を記録した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、ビデオデータにおける部分情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００１８】
本発明では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファに保持されているビデオデータに対応する画像とで画像同士の比較を行い、遡及して部分情報を抽出する。そして、その部分情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００１９】
上記ビデオデータ再生装置の類似性判断部は、参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで、部分情報が類似するか否かを判断し、関連性判断部は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで、部分情報が関連するか否かを判断してもよい。
【００２０】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【００２１】
上記課題を解決するために、本発明のビデオデータ記録方法は、所定の特徴量を含む参照情報を記録しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出し、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出し、ビデオデータと部分情報に関する関連情報とを記録媒体に記録することを特徴とする。
【００２２】
上記課題を解決するために、本発明のビデオデータ再生方法は、所定の特徴量を含む参照情報を記録しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出し、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出し、ビデオデータにおける部分情報によって特定される部分画像をマスク処理し、マスク処理されたビデオデータを出力することを特徴とする。
【００２３】
上述したビデオデータ記録装置やビデオデータ再生装置における技術的思想に対応する構成要素やその説明は、当該ビデオデータ記録方法やビデオデータ再生方法にも適用可能である。
【００２４】
上記課題を解決するために、他の観点に基づく本発明のビデオデータ再生装置は、所定の特徴量を含む参照情報を記憶した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させる対象情報取出部と、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否か判断し、関連すると判断した対象情報にマスクフラグを付与する関連性判断部と、ビデオバッファ中のビデオデータに関連付けられた対象情報にマスクフラグが付与されている場合、ビデオデータの対象情報によって特定できる部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００２５】
本発明では、ビデオデータをビデオバッファに保持し、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報すべてにマスクフラグを付与し、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００２６】
上記ビデオデータ再生装置の類似性判断部は、対象情報と参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、関連性判断部は、保持された１または複数の対象情報と、類似すると判断された対象情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで関連するか否かを判断してもよい。
【００２７】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【００２８】
上記課題を解決するために、本発明のビデオデータ記録装置は、所定の特徴量を含む参照情報を記憶した参照情報記憶部と、ビデオデータを取得するビデオデータ取得部と、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、ビデオデータに関連付けて保持させる対象情報取出部と、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与する関連性判断部と、ビデオデータと、マスクフラグを付与された対象情報によって特定される部分画像に関する関連情報とを記録媒体に記録する媒体記録部と、を備えることを特徴とする。
【００２９】
本発明では、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報にもマスクフラグを付与し、その対象情報によって特定される部分画像に関する関連情報を記録媒体に記録する。従って、当該記録媒体の再生時には、マスク対象が一部でも含まれるビデオデータからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００３０】
上記ビデオデータ記録装置の類似性判断部は、対象情報と参照情報との類似の度合いを示す類似度を導出し、類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、関連性判断部は、保持された１または複数の対象情報と、類似すると判断された対象情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで関連するか否かを判断してもよい。
【００３１】
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断することが可能となる。
【００３２】
上記ビデオデータ記録装置のビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含んでもよい。かかる構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータに関連付けられた対象情報によって特定できる部分画像にマスク処理を施すための関連情報を記録媒体に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【００３３】
上記ビデオデータ記録装置で生成された記録媒体を再生するビデオデータ再生装置は、所定の特徴量を含む参照情報と類似すると判断されビデオデータから取出された対象情報と、類似すると判断された対象情報と関連すると判断されビデオデータから取出された対象情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、関連情報と、ビデオデータとを取得するビデオデータ取得部と、取得されたビデオデータに関連情報が関連付けられている場合、関連情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
【００３４】
本発明では、記録媒体には、ビデオデータと、マスク処理をすべき部分画像を特定可能な、関連情報とが記録されている。当該ビデオデータ再生装置は、記録媒体を再生する際、関連情報によりマスク対象をほぼリアルタイムに認識することができ、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【００３５】
上記課題を解決するために、本発明のビデオデータ再生方法は、所定の特徴量を含む参照情報を記憶しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させ、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与し、ビデオバッファ中のビデオデータに関連付けられた対象情報にマスクフラグが付与されている場合、ビデオデータの対象情報によって特定できる部分画像をマスク処理し、マスク処理されたビデオデータを出力することを特徴とする。
【００３６】
上記課題を解決するために、本発明のビデオデータ記録方法は、所定の特徴量を含む参照情報を記憶しておき、ビデオデータを取得し、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させ、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された１または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与し、ビデオデータとマスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録することを特徴とする。
【００３７】
上述したビデオデータ再生装置やビデオデータ記録装置における技術的思想に対応する構成要素やその説明は、当該ビデオデータ再生方法やビデオデータ記録方法にも適用可能である。
【発明の効果】
【００３８】
本発明では、個人や地域を特定することが可能なマスク対象の一部が最初に出現したビデオデータまで遡及してマスク処理することで、かかるマスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を受けることが可能となる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施形態にかかるビデオデータ記録再生システムの概略的な接続関係を示した説明図である。
【図２】第１の実施形態にかかるビデオデータ記録装置の一例を示した外観図である。
【図３】第１の実施形態にかかるビデオデータ記録装置の概略的なハードウェア構成を示した機能ブロック図である。
【図４】第１の実施形態における類似性判断部の処理を説明した説明図である。
【図５】第１の実施形態における関連性判断部の処理を説明した説明図である。
【図６】第１の実施形態にかかるビデオデータ再生装置の概略的なハードウェア構成を示した機能ブロック図である。
【図７】第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。
【図８】第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。
【図９】第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。
【図１０】第１の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
【図１１】第１の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【図１２】第２の実施形態にかかるビデオデータ再生装置の概略的な構成を示した機能ブロック図である。
【図１３】第２の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【図１４】第３の実施形態にかかるビデオデータ再生装置の概略的な構成を示した機能ブロック図である。
【図１５】第３の実施形態における類似性判断部の処理を説明した説明図である。
【図１６】第３の実施形態における関連性判断部の処理を説明した説明図である。
【図１７】第３の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【図１８】第４の実施形態にかかるビデオデータ記録再生システムの概略的な接続関係を示した説明図である。
【図１９】第４の実施形態にかかるビデオデータ記録装置の一例を示した外観図である。
【図２０】第４の実施形態にかかるビデオデータ記録装置の概略的なハードウェア構成を示した機能ブロック図である。
【図２１】第４の実施形態にかかるビデオデータ再生装置の概略的なハードウェア構成を示した機能ブロック図である。
【図２２】第４の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
【図２３】第４の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００４０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００４１】
デジタルスチルカメラやデジタルビデオカメラの普及と、インターネット回線の高速化に伴い、個人が撮像した画像を容易に公衆へ公開することができるようになってきた。しかし、個人で撮像した画像には、個人や地域を特定可能な情報が含まれ、画像をそのまま公開してしまうと個人のプライバシーを保護することが困難になる。特に、人の顔や住所を特定する文字列は、その一部が公開されただけでも、対象の個人や地域が特定されてしまうことがある。
【００４２】
本発明の実施形態では、上述のように顔や住所等、個人や地域を特定可能なマスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を受けられるようにすることを目的としている。以下、本実施形態のビデオデータ記録装置の構成とそのビデオデータ記録装置を用いたビデオデータ記録方法を述べ、その後で、ビデオデータ再生装置の構成とそのビデオデータ再生装置を用いたビデオデータ再生方法を述べる。
【００４３】
さらにその後、観点の異なるビデオデータ再生装置とそのビデオデータ再生装置を用いたビデオデータ再生方法と、ビデオデータ記録装置とそのビデオデータ記録装置を用いたビデオデータ記録方法について説明する。
【００４４】
（第１の実施形態：ビデオデータ記録再生システム１００）
図１は、第１の実施形態にかかるビデオデータ記録再生システム１００の概略的な接続関係を示した説明図である。
【００４５】
図１に示すように、ビデオデータ記録再生システム１００は、ビデオデータ記録装置１１０と、外部記録媒体１９０と、ビデオデータ再生装置２００と、ディスプレイ２１０とを含んで構成される。
【００４６】
ビデオデータ記録装置１１０は、撮像して取得したビデオデータを記録媒体としての外部記録媒体１９０に記録する。このとき、ビデオデータ記録装置１１０は、マスク処理すべき部分情報に関する関連情報も、ビデオデータの単位画像にあたるフレームに関連付けて記録する。そして、ビデオデータ再生装置２００は、ビデオデータ記録装置１１０によってビデオデータと関連情報とが記録された外部記録媒体１９０を、かかる関連情報を参照してマスク処理を行いながら再生し、ディスプレイ２１０に出力する。
【００４７】
ここで、ビデオデータは、複数のフレームを連続させた動画データや、連続する複数の静止画データであり、以下の実施形態では複数のフレームを連続させた動画データを挙げて説明する。また、フレームは、動画データを構成する１画面分の画像に対応するデータのことであり、Ｍ−ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４といった符号化方式において符号化の単位画像としても用いられる。以下、ビデオデータの単位画像を指す場合にはフレームの文言を用いて説明する。
【００４８】
（ビデオデータ記録装置１１０）
図２は、第１の実施形態にかかるビデオデータ記録装置１１０の一例を示した外観図である。本実施形態において、ビデオデータ記録装置１１０として、デジタルビデオカメラを例に挙げるが、かかる例に限定されず、デジタルスチルカメラ、ＨＤＤレコーダ、ＤＶＤレコーダ、ブルーレイディスク記録装置等、記録媒体にフレームを記録可能な他の記録装置でもよい。
【００４９】
ビデオデータ記録装置１１０は、本体１１２と、撮像レンズ１１４と、撮像操作部１１６と、ビューファインダ（液晶モニタ）１１８とを含んで構成される。
【００５０】
本体１１２は、撮像レンズ１１４を通じて撮像されたビデオ信号をビデオデータとして再視聴可能に記録すると共に、撮像操作部１１６へのユーザ入力に応じてその記録タイミングや画角を調整する。また、ユーザからの野外、屋内、夜景等の撮像モードの切り換え入力を受付けてそれに対応した処理を実行する。ユーザは、撮像時において、ビューファインダ１１８に表示された画像を視認し、実録されるビデオデータを参照することができ、被写体を所望する位置および占有面積で捉えることが可能となる。かかるビューファインダ１１８は、液晶ディスプレイ、有機ＥＬディスプレイ等で構成される。
【００５１】
図３は、第１の実施形態にかかるビデオデータ記録装置１１０の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ記録装置１１０は、ＣＰＵ１２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、フラッシュメモリ１２８と、撮像操作部１１６と、ビューファインダ１１８と、ビデオデータ取得部として機能する撮像部１３０と、データ処理部１３２と、ビデオバッファ１３４と、媒体記録部として機能する撮像記録Ｉ／Ｆ部１３６とを含んで構成される。
【００５２】
ＣＰＵ１２０は、ＲＯＭ１２４に格納されたプログラムに基づいてビデオデータ記録装置１１０全体を管理する。具体的に、ＣＰＵ１２０は、バス１２２を通じて後述するＲＯＭ１２４、ＲＡＭ１２６、フラッシュメモリ１２８、撮像操作部１１６、ビューファインダ１１８、撮像部１３０、データ処理部１３２、ビデオバッファ１３４、撮像記録Ｉ／Ｆ部１３６を制御する。
【００５３】
ＲＯＭ１２４は、ＣＰＵ１２０で実行されるプログラムを格納する。ＲＡＭ１２６は、プログラム実行時の変数を格納する。フラッシュメモリ１２８は、不揮発のメモリであり、電源切断時においてもその記憶された内容を保持することができる。従って、電源切断時には、ＲＡＭ１２６に代わって後述する参照情報を記憶する。
【００５４】
撮像操作部１１６は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等のスイッチから構成され、ユーザの操作入力を受け付ける。ビューファインダ１１８は、撮像部１３０が取得したビデオデータのビュー画像（映像）を表示する。
【００５５】
撮像部１３０は、被写体を撮像したビデオ信号からビデオデータ（フレーム）を生成する。データ処理部１３２は、撮像部１３０で生成されたビデオデータに対して輝度データや色データを形成する。以下、ビデオデータには輝度データや色データが含まれるものとする。
【００５６】
ビデオバッファ１３４は、撮像部１３０が生成したビデオデータ、特に１画面分にあたるフレームを一時的に保持する。また、ビデオバッファ１３４は、撮像部１３０がフレームを生成する毎に過去のフレームをシフトするシフトレジスタとして機能する。本実施形態において、ビデオバッファ１３４は、例えば、１９２０×１０８０ピクセルの解像度のフレームを３０フレーム／秒で伝送する、約７５０Ｍｂｐｓのビットレートのビデオデータを、１０秒程の録画時間分、保持できるものとする。
【００５７】
撮像記録Ｉ／Ｆ部１３６は、ビデオデータと、後述するマスク処理のための関連情報とを任意の外部記録媒体１９０に記録する。外部記録媒体１９０としてＤＶＤやブルーレイディスク等、ディスク形状の記録媒体を想定しているがフラッシュメモリやＨＤＤ等様々な記録媒体を適用することができる。
【００５８】
また、ＲＡＭ１２６は、ＣＰＵ１２０、およびその他の構成要素と協働して、参照情報記憶部１５０および部分情報保持部１５２としても機能する。
【００５９】
参照情報記憶部１５０は、所定の特徴量を含む参照情報を予め記憶する。かかる参照情報は、上述したように、電源切断時には、ＲＡＭ１２６に代わってフラッシュメモリ１２８に保持される。ここでは所定の特徴量は、例えば、参照情報が顔を示す情報であった場合、参照情報としての顔を示す情報に基づく部分画像（以下、単に参照顔画像と称する）の画面内における占有面積と、参照顔画像の特徴点（目、口、鼻、耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、参照顔画像の輪郭および輝度、肌の色、髪の色、髪の量等の指標値を含む。本実施形態において、参照情報は、顔を示す情報を例に挙げて説明するが、かかる場合に限定されず、参照情報としては、車両を示す情報、建物を示す情報、文字を示す情報等、既存の様々な技術を用いてその特徴量を抽出することができる情報も含まれる。
【００６０】
部分情報保持部１５２は、最新のフレーム（ビデオデータ）から後述する類似性判断部１７２が抽出した部分情報を、最新のフレーム（部分情報の取出元のフレーム）に関連付けて保持する。かかる部分情報は、関連付けられたフレームに対応する１画面分の画像のうち画面内の位置および大きさを示す座標情報を含みその座標情報によりフレームが示す画像に含まれる部分画像を特定できる関連情報と、後述する画像同士の比較を円滑に行うための部分画像とを含む。
【００６１】
さらに、ＣＰＵ１２０は、ＲＡＭ１２６、およびその他の構成要素と協働して、類似性判断部１７２、および関連性判断部１７４としても機能する。
【００６２】
類似性判断部１７２は、撮像部１３０によって生成された最新のフレーム（ビデオデータ）と参照情報とを比較し、フレームの一部が参照情報に類似すると判断されると、参照情報に類似すると判断された部分情報をそのフレームから抽出し、その部分情報をフレームに関連付けて部分情報保持部１５２に保持させる。
【００６３】
部分情報を抽出する際、類似性判断部１７２は、フレームの任意の位置から、上述した参照情報と同様の情報、すなわち、顔を示す情報に基づく部分画像の画面内における占有面積と、特徴点（目、口、鼻、耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、輪郭および輝度、肌の色、髪の色、髪の量等の指標値を抽出する。
【００６４】
そして、類似性判断部１７２は、抽出した指標値と、参照情報記憶部１５０に記憶された参照情報の特徴量の指標値とを比較し、さらに、部分画像の周辺の画像も総合的に評価して、参照情報との類似の度合いを示す類似度を導出する。
【００６５】
具体的に、類似性判断部１７２は、例えば、顔と推定される部分画像の付近に、首・胴体・下半身等の画像を検出できるか、検出した人物の画像の身長が、画面内の他の人物の画像の身長と比較して極端に大きすぎまたは小さすぎないか等、顔と推定される部分画像以外の領域も参照し、例えば肌の色や髪の色の評価値に重み付けする等、総合的に評価、判断して、顔として認識することで類似度を導出する。
【００６６】
類似性判断部１７２は、参照情報との類似度が第１所定閾値を超えた場合に両者が類似すると判断し、当該部分情報をマスク対象として部分情報保持部１５２に保持させる。
【００６７】
また、かかる類似度による判定だけでは、ビデオバッファ１３４に既に記憶されているフレームに対応する、類似度が第１所定閾値を超える部分画像が存在していないと判断された画像の中にも、例えば、参照情報の顔と同一人物の顔であるにもかかわらず、その顔が画面内に十分に入っていない等の理由により、特徴点が抽出できなかったため、類似度が低く導出されてしまった部分情報が含まれている可能性がある。
【００６８】
このような部分情報がマスク対象であると判定できるようにするため、関連性判断部１７４は、最新のフレームより前にビデオバッファ１３４に出力されたフレームと、類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する。
【００６９】
このとき、関連性判断部１７４は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第２所定閾値を超えるか否かで、部分情報が関連するか否かを判断する。
【００７０】
上述したように当該ビデオデータは、例えば３０フレーム／秒で撮像されるため、撮像された時刻の差異が僅か（例えば１／３０秒間）であるフレーム間では、よほど高速移動していない限り、同一の部分情報が同じような座標に、同じような大きさで撮像されている可能性が高い。
【００７１】
そこで、関連性判断部１７４は、フレーム相関、即ち、類似度が第１所定閾値を超えた部分情報が示す座標と前のフレームから生成される画像の各部分画像が示す座標との距離、および部分画像の大きさを考慮して、フレームに対応する画像と、部分情報として保持された部分画像との画像同士の比較によって、両者が関連するか否かを総合的に評価、判断し、関連度を導出する。
【００７２】
上述したように、類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【００７３】
関連性判断部１７４は、続いて、関連すると判断した部分情報をマスク対象として部分情報保持部１５２に保持させる。
【００７４】
関連性判断部１７４は、かかる部分情報の抽出において、関連度が第２所定閾値以上となった部分情報を直ちに保持させずに、その部分情報が示す位置近傍で、抽出対象の大きさや位置を任意に変化させて大きさや位置の異なる部分情報を抽出し、抽出された部分情報の中で関連度が最大となる部分情報のみを部分情報保持部１５２に保持させてもよい。
【００７５】
かかる構成により、同一フレームにおいて、同一対象の顔を含む位置や大きさが僅かに異なる部分情報の中から、最も関連度が高い、すなわち、余分な画像を含まずより正確に顔の画像のみを示した部分情報を、部分情報保持部１５２に選択的に保持させることができる。
【００７６】
図４は、第１の実施形態における類似性判断部１７２の処理を説明した説明図であり、図５は、関連性判断部１７４の処理を説明した説明図である。ここで、図４と図５とは連続した一連の処理を示している。図４、図５においては、フレームの移動処理を時系列に説明するため、ビデオバッファ１３４をビデオデータのフレーム１つ分の記憶領域１８０毎に区切っている。生成されたフレームは左端の記憶領域１８０に入力されフレームの生成タイミングに応じて右にシフトし右端の記憶領域１８０から出力されるものとする。ここでは、説明を容易にするため記憶領域１８０の数を７つとしている。
【００７７】
図４（ａ）において、ビデオバッファ１３４には、撮像部１３０が最初に生成したビデオデータの最初のフレームであるフレーム１が保持される。
【００７８】
続いて、図４（ｂ）に示すように、類似性判断部１７２は、ビデオバッファ１３４に保持されたフレーム１と、参照情報記憶部１５０に記憶された参照情報とを比較する（一点鎖線の両矢印で比較する組み合わせを図示する。）。ここでは、フレーム１からは参照情報に類似すると判断される部分情報はなく、部分情報を抽出しなかったものとする。
【００７９】
そして、図４（ｃ）に示すように、フレーム１は１つ右の記憶領域１８０にシフトし、撮像部１３０が取得した次のフレームであるフレーム２が新たに保持される。そして、図４（ｂ）と同様、ビデオバッファ１３４に保持されたフレーム２と、参照情報記憶部１５０に記憶された参照情報とを比較する。ここでも、フレーム２からは参照情報に類似すると判断される部分情報はなく、部分情報を抽出しなかったものとする。
【００８０】
続いて生成したフレーム３についても同様に、ビデオバッファ１３４に保持されたフレーム３と、参照情報記憶部１５０に記憶された参照情報とを比較する。ここでは、フレーム３からは参照情報に類似すると判断される（類似度が第１所定閾値を超える）部分情報として、部分情報１を抽出したものとする。類似性判断部１７２は、部分情報１をフレーム３に関連付けて、部分情報保持部１５２に保持させる。
【００８１】
図４（ｄ）において、部分情報１が参照情報と類似すると判断されると、図５（ａ）に示すように、関連性判断部１７４は、他のフレームのうちより新しいフレーム（図５のビデオバッファ１３４において、より左に位置する記憶領域１８０のフレーム）、ここではフレーム２と、部分情報１とを比較し（図５（ａ）において、二点鎖線の両矢印で比較する組み合わせを示す）、関連度を導出する。
【００８２】
そして、関連性判断部１７４は、導出した関連度が第２所定閾値を超える部分情報２を抽出し（図５（ｂ）において、実線矢印で抽出を示す）、部分情報保持部１５２に、フレーム２と関連付けて保持させる。
【００８３】
そして、関連性判断部１７４は、関連すると判断した部分情報２と、フレーム２の次に古いフレーム、ここではフレーム１とを比較し、関連度を導出する。そして、関連性判断部１７４は、導出した関連度が第２所定閾値を超える部分情報３を抽出し、部分情報保持部１５２に、フレーム１と関連付けて保持させる。
【００８４】
また、図５（ａ）において、関連性判断部１７４が、類似する（あるいは関連する）と判断した部分情報と、フレーム２とを比較し、関連度が第２所定閾値を超える部分情報がなく、部分情報を抽出できなかった場合、即ち、フレーム２とフレーム３の間で関連している部分情報が無くなった場合、関連性判断部１７４は、部分情報と、それより古いフレーム（図５のビデオバッファ１３４において、より右に位置する記憶領域１８０のフレーム）との比較を終了する。
【００８５】
さらに、関連性判断部１７４は、類似性判断部１７２によって類似すると判断された部分情報について、上述したような最新のフレームより前にビデオバッファ１３４に出力されたフレームのみならず、最新のフレームより後に出力されるフレームとの関連度の導出を行ってもよい。
【００８６】
換言すれば、類似性判断部１７２によって類似すると判断された部分情報について、関連性判断部１７４は、最新のフレームとの関連度の導出処理を一通り終えた後、シフトされた１つ前のフレームに関連付けられた部分情報と、最新のフレームとの関連性も判断する。要するに類似性判断部１７２は、逆方向（より新しいフレーム方向）への関連性も判断する。そして、関連度が第２所定閾値を超えると、最新のフレームに関連付けられた部分情報を抽出する。
【００８７】
撮像記録Ｉ／Ｆ部１３６は、ビデオデータとして順次フレームを記録しつつ、関連情報も外部記録媒体１９０に記録する。本実施形態において、関連情報は、上述したように、部分情報から部分画像を除いたものであり、フレームに対応する１画面分の画像のうち画面内の位置および大きさを示す座標情報を含む。しかし、関連情報は、かかる例に限定されず、マスクを施すべき画像領域を特定できればよい。後述するビデオデータ再生装置２００は、この外部記録媒体１９０からフレームと関連情報とを読み取ると、ディスプレイ２１０に出力する前に、関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
【００８８】
上述したように、本実施形態のビデオデータ記録装置１１０では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファ１３４に保持されているフレームに対応する画像とで画像同士の比較を行うことで、遡及してマスク処理すべき部分情報を抽出し、かかる部分情報に関する、マスク対象となる部分画像を特定できる関連情報を外部記録媒体１９０に記録する。従って、当該外部記録媒体１９０の再生時には、マスク対象が一部でも含まれるフレームからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。ここで、マスク処理は、モザイク、ぼかし、塗り潰し等、特定可能な情報を制限する処理である。
【００８９】
また、ビデオデータ記録装置１１０に撮像部１３０を備える構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータに含まれるフレームから抽出したマスク対象の部分情報に関する関連情報を外部記録媒体１９０に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【００９０】
（ビデオデータ再生装置２００）
次に、上述したビデオデータ記録装置１１０を用いて、ビデオデータと、関連情報とが記録された外部記録媒体１９０から、ビデオデータと、関連情報とを読み取り、マスク対象となる部分画像にマスク処理を施したビデオデータを出力するビデオデータ再生装置２００について説明する。
【００９１】
図６は、第１の実施形態にかかるビデオデータ再生装置２００の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置２００は、ＣＰＵ１２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、リモコンＩ／Ｆ２１６と、ビデオデータ取得部２３０と、マスク処理部２４０と、ビデオデータ出力部２４２と、を含んで構成される。
【００９２】
上記ＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６は、ビデオデータ記録装置１１０の説明において既に述べたＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置２００において構成が相違するリモコンＩ／Ｆ２１６、ビデオデータ取得部２３０、マスク処理部２４０、ビデオデータ出力部２４２を主に説明する。
【００９３】
リモコンＩ／Ｆ２１６は、リモコン２８０との赤外線通信を通じてユーザ入力に対応したコマンドを取得、保持する。ＣＰＵ１２０は、かかるコマンドを読み取り、そのコマンドに対応した処理を遂行する。
【００９４】
ビデオデータ取得部２３０は、外部記録媒体１９０からビデオデータを構成するフレームを取得する。さらに、ビデオデータ取得部２３０は、外部記録媒体１９０からマスク処理すべき部分画像を特定できる関連情報を取得する。
【００９５】
ここでは、データ符号化については触れていないが、ビデオデータ記録装置１１０のデータ処理部１３２は、フレームを前後のフレームと合わせて、Ｍ−ＪＰＥＧやＭＰＥＧ−２、Ｈ．２６４などの所定の符号化方式で符号化した後、撮像記録Ｉ／Ｆ部１３６に伝送してもよい。この場合、ビデオデータ取得部２３０は、フレームを復号した後、マスク処理部２４０に伝送する。
【００９６】
マスク処理部２４０は、関連情報によって特定されるフレームの部分画像にマスク処理を施し、ビデオデータ出力部２４２が、ディスプレイ２１０に出力する。
【００９７】
上述した関連情報とフレームとが記録された外部記録媒体１９０をビデオデータ取得部２３０が読み取り、マスク処理部２４０が関連情報に基づいてマスク処理を行ってからディスプレイ２１０に出力した場合の画像の表示について、比較例と対比させて説明する。
【００９８】
図７、図８、および図９は、第１の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。特に、図７（ａ）、図８（ａ）、および図９（ａ）は、本実施形態におけるマスク処理を施した画像の表示例であり、図７（ｂ）、図８（ｂ）、および図９（ｂ）は、比較例としての通常のマスク処理を施した画像の表示例である。図７、図８、および図９において、理解を容易にするため、ディスプレイ２１０に表示された映像から約１秒おきに４回抜き出した画像２９０Ａ〜Ｄ、２９０Ｅ〜Ｈを図７に、２９０Ｉ〜Ｌ、２９０Ｍ〜Ｐを図８に、２９０Ｑ〜Ｔ、２９０Ｕ〜Ｘを図９に、図の左から順次並べて示している。
【００９９】
図７（ｂ）に示すように、通常のマスク処理を施した場合、画像２９０Ｅおよび２９０Ｆにおいては、顔を示す部分画像が画面内に完全に入っていないため、マスク処理をすべき顔を示す部分画像と判断されずに、そのまま表示されてしまう。従って、画像２９０Ｅや画像２９０Ｆに含まれる顔を示す部分画像に基づいて、その人物が特定されてしまうおそれがあり、プライバシーの保護に欠ける。
【０１００】
画像２９０Ｇに到達すると、顔を示す部分画像が画面内に十分に入り、参照情報との類似の度合いが把握され、画像２９０Ｇ以降、ようやくマスク処理された顔を示す部分画像が表示される。以後の例えば画像２９０Ｈでは、その顔を示す部分画像が追跡捕捉されマスク処理が継続する。
【０１０１】
これに対して本実施形態においては、図７（ａ）に示すように、顔を示す画像が画面内に完全に入っていない画像２９０Ａおよび２９０Ｂであってもマスク処理を行うことができる。上述したように、ビデオデータ記録装置１１０は、撮像部１３０が生成したフレームを一旦ビデオバッファ１３４に保持し、画像２９０Ｃにおいて顔を示す部分画像がマスク処理すべき部分画像であることが判明してから、ビデオバッファ１３４に保持したフレームに基づいた画像２９０Ａおよび２９０Ｂに遡及して、顔を示す部分画像を特定できる部分情報を抽出している。ビデオデータ再生装置２００のマスク処理部２４０は、かかる部分情報に関する関連情報に基づいて部分画像にマスク処理を行うためである。
【０１０２】
本実施形態では、顔を示す部分画像が画面から外れている場合に限らず、図８に示すような、画面に最初に表示されている顔を示す部分画像が極端に小さく徐々に拡大した場合や、図９に示すように、顔を示す部分画像に焦点が合っておらず、徐々に焦点を合わせていった場合にも適用できる。
【０１０３】
図８（ｂ）に示すように、通常のマスク処理では、画像２９０Ｍおよび２９０Ｎにおいては、顔を示す部分画像が小さすぎるためマスク処理をすべき部分画像と判断されず、そのまま表示されてしまう。
【０１０４】
しかし、本実施形態においては、図８（ａ）に示すように、画像２９０Ｋの顔を示す部分画像がマスクすべき部分画像であることが判明してから、ビデオバッファ１３４に保持された画像２９０Ｉおよび２９０Ｊに遡及して部分情報を抽出できる。マスク処理部２４０は、この部分情報に関する関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
【０１０５】
同様に、図９（ｂ）においては、画像２９０Ｕおよび２９０Ｖの段階で顔を示す部分画像に焦点が合っていないため、マスク処理をすべき部分画像と判断されず、そのまま表示されてしまう。
【０１０６】
しかし、本実施形態においては、図７（ａ）および図８（ａ）と同様に、顔を示す部分画像に焦点を合わせた後の画像２９０Ｓにおいてマスク処理すべき部分画像であることが判明してから、ビデオバッファ１３４に保持された画像２９０Ｑおよび２９０Ｒに遡及して部分情報を抽出できる。マスク処理部２４０は、この部分情報に関する関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
【０１０７】
上述したように、外部記録媒体１９０には、ビデオデータと、マスク対象となる部分画像を特定できる関連情報とが記録されている。従って、当該ビデオデータ再生装置２００は、外部記録媒体１９０の再生時に、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を遂行することが可能となる。
【０１０８】
また、予め、マスク対象の部分画像を特定できる部分情報がフレームに関連付けられているため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたフレームを出力することができる。さらに、外部記録媒体１９０のビデオデータ自体にはマスク処理されていないため、ユーザは、かかる外部記録媒体１９０をビデオデータ再生装置２００で読み込んで再生する際、マスク処理の有無を選択して出力することが可能となる。
【０１０９】
（ビデオデータ記録方法）
図１０は、第１の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
【０１１０】
ユーザが撮像を開始し（Ｓ３００のＹＥＳ）、撮像部１３０がフレーム、例えば、撮像開始時からＫ（Ｋは説明のために用いる任意の整数）番目のフレームを生成する（Ｓ３０２）と、類似性判断部１７２は、Ｋ番目のフレームの画像と参照情報記憶部１５０に記憶されている参照情報を比較し（Ｓ３０４）、フレームに含まれる部分画像を示す部分情報と参照情報との類似度を導出する（Ｓ３０６）。
【０１１１】
そして、類似性判断部１７２は、導出した類似度が、第１所定閾値を超えているか否かを判断し（Ｓ３０８）、第１所定閾値を超えている場合（Ｓ３０８のＹＥＳ）、類似性判断部１７２は、その部分情報をＫ番目のフレームに関連付けて部分情報保持部１５２に保持させる（Ｓ３１０）。
【０１１２】
続いて、関連性判断部１７４は、そのＫ番目のフレームに関連付けられた部分情報と、ビデオバッファ１３４に保持されている、再生開始時からＫ−１番目のフレームの画像とを比較し、Ｋ番目のフレームに関連付けられた部分情報と、そのフレームに含まれる任意の位置、大きさの部分画像を示す部分情報との関連度を導出する（Ｓ３１２）。
【０１１３】
そして、関連性判断部１７４は、導出した関連度が、第２所定閾値を超えているか否かを判断し（Ｓ３１４）、関連度が第２所定閾値を超えている部分情報が存在する場合（Ｓ３１４のＹＥＳ）、その部分情報を抽出し、Ｋ−１番目のフレームに関連付けて部分情報保持部１５２に保持させる（Ｓ３１６）。
【０１１４】
ここで、さらにＫ−２番目のフレームがビデオバッファ１３４に有る場合（Ｓ３１８のＹＥＳ）、Ｋ番目のフレームに関連付けられた部分情報の代わりに、関連性判断部１７４によって関連度が第２所定閾値を超えていると判断されたＫ―１番目のフレームに関連付けられた部分情報を用いて、Ｋ−２番目のフレームに含まれる任意の位置、大きさの部分画像を示す部分情報との関連度を導出する。
【０１１５】
換言すれば、フレームの順序は変えずＫから１を引いて、すなわち、Ｋ番目をＫ−１番目に、Ｋ−１番目をＫ−２番目に、Ｋ−２番目をＫ−３番目にそれぞれ順次読み換えて（Ｓ３２０）、関連度導出ステップ（Ｓ３１２）に戻り、Ｋ番目のフレームに関連付けられた部分情報に対して、Ｋ−１番目のフレーム中の部分情報との関連度を導出して（Ｓ３１２）、上述した処理を繰り返す。
【０１１６】
かかる処理は、Ｋ−１番目のフレームに関連付けられた部分情報に対して導出した関連度がすべて第２所定閾値以下になる（Ｓ３１４のＮＯ）か、Ｋ−２番目のフレームがビデオバッファ１３４に保持されていない場合（Ｓ３１８のＮＯ）まで実行される。
【０１１７】
類似度が第１所定閾値以下の場合（Ｓ３０８のＮＯ）、どの位置、大きさを取った部分情報との関連度も第２所定閾値以下の場合（Ｓ３１４のＮＯ）、またＫ−２番目のフレームがビデオバッファ１３４に保持されていない場合（Ｓ３１８のＮＯ）、部分情報の抽出を終了し、撮像記録Ｉ／Ｆ部１３６は、ビデオデータと、部分情報に関する関連情報とを外部記録媒体１９０に記録する（Ｓ３２２）。
【０１１８】
上述したビデオデータ記録方法において、撮像記録Ｉ／Ｆ部１３６は、マスク対象となる部分画像を特定できる関連情報を含めて外部記録媒体１９０に記録する。マスク処理はビデオデータを再生する際に選択的に実行されるため、当該ビデオデータ記録方法では、部分画像に対する実際のマスク処理を施さないので、処理負荷を低減することができる。
【０１１９】
（ビデオデータ再生方法）
続いて、上述したビデオデータ記録装置１１０によって生成した外部記録媒体１９０を、ビデオデータ再生装置２００を用いて再生するビデオデータ再生方法をフローチャートを用いて説明する。
【０１２０】
図１１は、第１の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。図１１において、ユーザが外部記録媒体１９０の再生を開始すると（Ｓ３５０のＹＥＳ）、ビデオデータ取得部２３０は、外部記録媒体１９０からビデオデータを構成するフレームと、マスク対象となる部分画像を特定できる関連情報とを取得する（Ｓ３５２）。
【０１２１】
そして、マスク処理部２４０は、取得したフレームに対して、関連情報が関連付けられているか否かを判断し（Ｓ３５４）、関連情報が関連付けられている場合（Ｓ３５４のＹＥＳ）、フレームに関連付けられた関連情報によって特定できる部分画像にマスク処理を施し（Ｓ３５６）、ビデオデータ出力部２４２は、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ３５８）。
【０１２２】
上述したビデオデータ再生方法では、外部記録媒体１９０に記録された関連情報を参照してマスク処理を施しフレーム毎にビデオデータを出力する。
【０１２３】
本実施形態において説明したように、マスク対象であることを示す部分情報の抽出をビデオデータの記録の際に行い、マスク処理をビデオデータの再生の際に行うことで、処理にかかる負荷を分散し、より低負荷でプライバシーが保護されたビデオデータを出力することができる。また、外部記録媒体１９０のビデオデータ自体には、マスク処理されていないため、ユーザは、マスク処理の有無を選択して出力することができる。
【０１２４】
（第２の実施形態）
第１の実施形態で説明したビデオデータ記録装置１１０とビデオデータ再生装置２００を用いる場合、抽出されたマスク対象はビデオデータと共に、一旦、外部記録媒体１９０に記録され、後ほど、マスク処理が施されてディスプレイ２１０に出力される。第２の実施形態では、ビデオデータ記録装置１１０とビデオデータ再生装置２００のそれぞれの機能の一部を有し、外部記録媒体１９０から取得したビデオデータに対して、ほぼリアルタイムにマスク処理を施して出力するビデオデータ再生装置３８０について説明する。
【０１２５】
（ビデオデータ再生装置３８０）
図１２は、第２の実施形態にかかるビデオデータ再生装置３８０の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置３８０は、ＣＰＵ１２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、フラッシュメモリ１２８と、ビデオデータ取得部３８２と、リモコンＩ／Ｆ２１６と、ビデオバッファ１３４と、マスク処理部２４０と、ビデオデータ出力部２４２と、を含んで構成される。
【０１２６】
上記ＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６、ビデオバッファ１３４、マスク処理部２４０、ビデオデータ出力部２４２は、上述した第１の実施形態にかかるビデオデータ記録装置１１０およびビデオデータ再生装置２００において既に述べたＣＰＵ１２０、バス１２２、ＲＯＭ１２４、ＲＡＭ１２６、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６、ビデオバッファ１３４、マスク処理部２４０、ビデオデータ出力部２４２と実質的に機能が同一なので同一の符号を付して説明を省略し、ここではビデオデータ再生装置３８０において構成が相違するビデオデータ取得部３８２を主に説明する。
【０１２７】
ビデオデータ取得部３８２は、ビデオデータ（フレーム）が記録された記録媒体としての外部記録媒体３８４から、フレームを取得する。かかる外部記録媒体３８４には、上述した第１の実施形態にかかる外部記録媒体１９０のような関連情報が記録されていない。
【０１２８】
そして、当該ビデオデータ再生装置３８０は、ビデオバッファ１３４に保持されているフレームに遡及してマスク対象を示す部分情報を抽出し、マスク処理部２４０がマスク処理を行った後、ビデオデータ出力部２４２がマスク処理を施されたビデオデータをディスプレイ２１０に出力する。
【０１２９】
本実施形態のビデオデータ再生装置３８０は、マスク対象となる部分画像を特定できる部分情報を抽出し、部分画像とビデオバッファ１３４に保持されているフレームに対応する画像との画像同士の比較を行うので、既にビデオバッファ１３４に保持されたフレームに遡及して部分情報を抽出することができる。
【０１３０】
そして、その部分情報によって特定できる部分画像に対して、例えば、出力する直前、もしくは、ビデオバッファ１３４に保持されている間の所定のタイミングで、マスク処理を施す。従って、マスク対象が一部でも含まれるフレームからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０１３１】
（ビデオデータ再生方法）
図１３は、第２の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
【０１３２】
ビデオデータ取得部３８２が、外部記録媒体３８４から、例えば、再生開始からＫ番目のフレームを取得する（Ｓ３８６）。フレームを取得してから後、ビデオバッファ１３４に出力されたフレームと、参照情報との比較ステップ（Ｓ３０４）から、部分情報の抽出が終了するまで（Ｓ３０８のＮＯ、Ｓ３１４のＮＯ、Ｓ３１８のＮＯ）の手順は、図１０に示した第１の実施形態にかかるビデオデータ再生方法の処理と同一であるため、同一の符号を付して説明を省略する。
【０１３３】
そして、マスク処理部２４０は、ビデオバッファ１３４内の最も古いフレームが記憶領域の終端に達するとそのフレームに関連付けられた部分情報の有無を判断する（Ｓ３８８）。部分情報がある場合（Ｓ３８８のＹＥＳ）部分情報によって特定できる部分画像にマスク処理を施す（Ｓ３９０）。
【０１３４】
部分情報によって特定できる部分画像にマスク処理を施してから後、図１１に示した第１の実施形態にかかるビデオデータ再生方法の処理と同様、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ３５８）。
【０１３５】
本実施形態のビデオデータ再生方法では、フレームをビデオバッファ１３４に保持し、フレームに関連付けた部分情報によって特定できる部分画像すべてにマスク処理を施す。従って、ビデオバッファ１３４中のフレームに遡及してマスク処理が施されるので、マスク対象が画面内に完全に収まる前から、十分なプライバシーの保護を遂行することが可能となる。
【０１３６】
（第３の実施形態）
第１の実施形態および第２の実施形態では、マスク対象となる部分画像を特定できる部分情報を抽出する際、画像同士の比較によって、関連度を導出した。第３の実施形態では、ビデオバッファ１３４に保持した後、参照情報の比較対象となる特徴点や特徴量を含む対象情報を取出して保持しておき、かかる対象情報同士の比較を通じ、マスク対象を遡及して抽出するビデオデータ再生装置４００と、そのビデオデータ再生装置４００を用いたビデオデータ再生方法について説明する。
【０１３７】
（ビデオデータ再生装置４００）
図１４は、第４の実施形態にかかるビデオデータ再生装置４００の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置４００は、ＣＰＵ４２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ４２６と、フラッシュメモリ１２８と、ビデオデータ取得部４３０と、ビデオバッファ４３４と、マスク処理部４３６と、ビデオデータ出力部４４２と、リモコンＩ／Ｆ２１６とを含んで構成される。
【０１３８】
上記バス１２２、ＲＯＭ１２４、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６は、ビデオデータ記録装置１１０の説明において既に述べたバス１２２、ＲＯＭ１２４、フラッシュメモリ１２８、リモコンＩ／Ｆ２１６と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置４００において構成が相違するＣＰＵ４２０、ＲＡＭ４２６、ビデオデータ取得部４３０、ビデオバッファ４３４、マスク処理部４３６、ビデオデータ出力部４４２を主に説明する。
【０１３９】
ＣＰＵ４２０は、ＲＯＭ１２４に格納されたプログラムに基づいてビデオデータ再生装置４００全体を管理する。具体的に、ＣＰＵ４２０は、バス１２２を通じてＲＯＭ１２４、ＲＡＭ４２６、フラッシュメモリ１２８、ビデオデータ取得部４３０、ビデオバッファ４３４、マスク処理部４３６、ビデオデータ出力部４４２、リモコンＩ／Ｆ２１６を制御する。ＲＡＭ４２６は、プログラム実行時の変数を格納する。
【０１４０】
ビデオデータ取得部４３０は、記録媒体としての外部記録媒体３８４からビデオデータを取得する。ビデオデータは、複数のフレームを連続させた動画データや、連続する複数の静止画データであり、本実施形態では複数のフレームを連続させた動画データを挙げて説明する。ここでは、外部記録媒体３８４としてＤＶＤやブルーレイディスク等、ディスク形状の記録媒体を想定しているがフラッシュメモリやＨＤＤ等様々な記録媒体を適用することができる。
【０１４１】
ビデオバッファ４３４は、ビデオデータ取得部４３０が取得したビデオデータ、特に１画面分にあたるフレームを一時的に保持する。また、ビデオバッファ４３４は、ビデオデータ取得部４３０がフレームを取得する毎に過去のフレームをシフトするシフトレジスタとして機能する。本実施形態において、ビデオバッファ４３４は、例えば、１９２０×１０８０ピクセルの解像度のフレームを３０フレーム／秒で伝送する、約７５０Ｍｂｐｓのビットレートのビデオデータを、１０秒程の録画時間分、保持できるものとする。
【０１４２】
マスク処理部４３６は、ビデオバッファ４３４に保持されたフレームに関連付けられた対象情報に、後述する類似性判断部４７２または関連性判断部４７４によってマスク対象であることを示すマスクフラグが付与されている場合、フレームに関連付けられた対象情報によって特定できる部分画像をマスク処理する。
【０１４３】
ビデオデータ出力部４４２は、マスク処理部４３６によってマスク処理されたビデオデータをビデオ信号に変換してディスプレイ２１０に出力する。
【０１４４】
また、ＲＡＭ４２６は、ＣＰＵ４２０、およびその他の構成要素と協働して、参照情報記憶部４５０および対象情報保持部４５２としても機能する。
【０１４５】
参照情報記憶部４５０は、所定の特徴量を含む参照情報を予め記憶する。かかる参照情報は、上述したように、電源切断時には、ＲＡＭ４２６に代わってフラッシュメモリ１２８に保持される。ここで所定の特徴量は、例えば、参照情報が顔を示す情報であった場合、参照顔画像の画面内における占有面積と、参照顔画像の特徴点、特徴点同士の離間距離、特徴部分の大きさ、参照顔画像の輪郭および輝度、肌の色、髪の色、髪の量等の指標値を含む。また、参照情報としては、上述した顔を示す情報以外にも、車両を示す情報、建物を示す情報、文字を示す情報等、既存の様々な技術を用いてその特徴量を抽出することができる情報も含まれる。
【０１４６】
対象情報保持部４５２は、後述する対象情報取出部４７０が最新のフレーム（ビデオデータ）から取出した対象情報を、フレーム（対象情報の取出元のフレーム）に関連付けて保持する。かかる対象情報は、上述した所定の特徴量に加え、対象情報によって特定できる部分画像自体の画面内の位置および大きさを示す座標情報を含み、かかる座標情報によりフレームが示す画像に含まれる部分画像を特定できる。
【０１４７】
さらに、ＣＰＵ４２０は、ＲＡＭ４２６、およびその他の構成要素と協働して、対象情報取出部４７０、類似性判断部４７２、および関連性判断部４７４としても機能する。
【０１４８】
対象情報取出部４７０は、ビデオデータ取得部４３０が取得したフレームから参照情報の比較対象となる対象情報を取出し、フレームに関連付けて対象情報保持部４５２に保持させる。対象情報取出部４７０は、例えば、顔と推定される部分画像の付近に、首・胴体・下半身等の画像を検出できるか、検出した人物の画像の身長が、画面内の他の人物の画像の身長と比較して極端に大きすぎまたは小さすぎないか等、顔と推定される部分画像以外の領域も参照し、例えば肌の色や髪の色の評価値に重み付けする等、総合的に評価、判断して、顔として認識することで対象情報を取出している。
【０１４９】
類似性判断部４７２は、対象情報保持部４５２に保持された最新の対象情報と、参照情報記憶部４５０に記憶された参照情報との特徴量のそれぞれの指標値を比較し、両者の類似の度合いを総合的に評価して類似度を導出する。
【０１５０】
類似性判断部４７２は、対象情報と参照情報との類似度が第１所定閾値を超えた場合に両者が類似すると判断し、当該対象情報によって特定できる部分画像にマスク処理が必要であることを示すマスクフラグをその対象情報に付与する。従って、対象情報はマスクフラグが付与された状態で対象情報保持部４５２に保持される。
【０１５１】
また、かかる類似度による判定だけでは、ビデオバッファ４３４に既に記憶されている、類似度が第１所定閾値を超えていないと判断された対象情報の中にも、例えば、参照顔画像と同一人物の顔の画像を特定可能な対象情報であるにもかかわらず、その顔が画面内に十分に入っていない等の理由により特徴点が抽出できなかったため、類似度が低く導出されてしまった対象情報が含まれている可能性がある。
【０１５２】
このような対象情報がマスク対象であると判定できるようにするため、関連性判断部４７４は、類似性判断部４７２が類似の判断をしたフレームから取出され対象情報保持部４５２に保持された対象情報のうち、類似度が第１所定閾値を超え、類似すると判断された対象情報について、類似の判断をしたフレームより以前に取得され、対象情報保持部４５２に保持されている他のフレームの各対象情報との関連度を導出する。
【０１５３】
上述したように当該ビデオデータは、前後のフレーム間では、よほど高速移動していない限り、同一の対象情報が同じような座標に、同じような大きさで撮像されている可能性が高い。
【０１５４】
そこで、関連性判断部４７４は、対象情報の特徴量だけではなく、フレーム相関、即ち、類似度が第１所定閾値を超えた対象情報が示す座標と、前のフレームの各対象情報が示す座標との距離、および対象情報によって特定できる部分画像の大きさを、より優先的に考慮して、両者が関連するか否かを総合的に評価、判断し、関連度を導出する。
【０１５５】
関連性判断部４７４は、続いて、導出した関連度が第２所定閾値を超える１または複数の対象情報を関連すると判断し、マスクフラグを、関連するすべての対象情報に付与する。
【０１５６】
上述したように、類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
【０１５７】
図１５は、第３の実施形態における類似性判断部４７２の処理を説明した説明図であり、図１６は、関連性判断部４７４の処理を説明した説明図である。ここで、図１５と図１６とは連続した一連の処理を示している。図１５、１６においては、フレームの移動処理を時系列に説明するため、図４、５同様、ビデオバッファ４３４をビデオデータのフレーム１つ分の記憶領域１８０毎に区切っている。取得されたフレームは左端の記憶領域１８０に入力されフレームの生成タイミングに応じて右にシフトし右端の記憶領域１８０から出力されるものとする。ここでも、説明を容易にするため記憶領域１８０の数を７つとしている。
【０１５８】
図１５（ａ）において、ビデオバッファ４３４には、ビデオデータ取得部４３０が最初に取得したビデオデータの最初のフレームであるフレーム１が保持される。
【０１５９】
続いて、図１５（ｂ）に示すように、対象情報取出部４７０は、ビデオバッファ４３４に保持されたフレーム１から取出した対象情報（ここでは例えば３つの対象情報である対象情報１、対象情報２、対象情報３が取出されたとする）を、対象情報保持部４５２にフレーム１と関連付けて保持させる（関連付けを破線の両矢印および破線四角で図示する）。
【０１６０】
そして、類似性判断部４７２が、参照情報記憶部４５０に記憶された参照情報と、対象情報１、対象情報２、対象情報３それぞれとの類似度を導出する（一点鎖線の両矢印で類似度を導出する組み合わせを図示する）。ここでは、導出した類似度がどれも第１所定閾値を超えていないので類似していないと判断されたものとする。
【０１６１】
続いて、図１５（ｃ）に示すように、フレーム１は１つ右の記憶領域１８０にシフトし、ビデオデータ取得部４３０が取得した次のフレームであるフレーム２が新たに保持される。
【０１６２】
その後、図１５（ｄ）において、図１５（ｂ）と同様、対象情報取出部４７０は、フレーム２から取出した対象情報４、対象情報５、対象情報６を、対象情報保持部４５２にフレーム２と関連付けて保持させる。そして、類似性判断部４７２が、参照情報記憶部４５０に記憶された参照情報と、対象情報４、対象情報５、対象情報６それぞれとの類似度を導出する。ここでも、参照情報と、対象情報４、対象情報５、対象情報６とがそれぞれ類似しなかったものとする。
【０１６３】
続いて取得したフレーム３についても同様に、対象情報７、対象情報８、対象情報９を、対象情報保持部４５２にフレーム３と関連付けて保持させ、類似度を導出する。そして、図１５（ｅ）において二点鎖線の両矢印でその組み合わせを示すように、参照情報と、対象情報９とが類似すると判断されたものとする。類似性判断部４７２は、その対象情報９にマスクフラグを付与する。
【０１６４】
図１５（ｅ）において、対象情報９が参照情報と類似すると判断されると、図１６（ａ）に示すように、関連性判断部４７４は、対象情報９について、類似性判断部４７２が類似の判断をしたフレーム３より以前に取得された他のフレーム（フレーム１、フレーム２）に関連付けられ、対象情報保持部４５２に保持された各対象情報との関連度を導出する。
【０１６５】
このとき、関連性判定部４７４は、他のフレームのうちより新しいフレーム（図１６のビデオバッファ４３４において、より左に位置する記憶領域１８０のフレーム）、ここではフレーム２に関連付けられた対象情報４、対象情報５、対象情報６から関連度を導出する。そして、関連性判断部４７４は、導出した関連度が第２所定閾値を超える対象情報を関連すると判断する（図１６（ａ）において、二点鎖線の両矢印でその組み合わせを示す）。関連性判断部４７４は、例えば、図１６（ａ）に示すように、対象情報５が関連すると判断した場合、対象情報５にマスクフラグを付与する。
【０１６６】
そして、関連性判断部４７４は、関連すると判断した対象情報５について、次に新しいフレーム、ここではフレーム１に関連付けられた対象情報１、対象情報２、対象情報３との関連度を導出する。関連性判断部４７４は、対象情報２が関連すると判断した場合、図１６（ｂ）において示すように、対象情報２にマスクフラグを付与する。
【０１６７】
また、図１６（ａ）において、関連性判断部４７４が、フレーム２に関連付けられたどの対象情報も、関連していないと判断した場合、即ち、フレーム２とフレーム３の間で関連している対象情報が無くなった場合、関連性判断部４７４は、マスクフラグの付与を止め、それより古いフレーム（図１５のビデオバッファ４３４において、より右に位置する記憶領域１８０のフレーム）から取得された対象情報との比較を終了する。
【０１６８】
ビデオバッファ４３４内の最も古いフレーム（図１６におけるフレーム１）がシフトされ続けた結果、記憶領域１８０の終端に達すると、ビデオデータ出力部４４２は、そのフレーム１から順次、ディスプレイ２１０に出力する。この出力の直前、マスク処理部４３６は、この出力するフレームに関連付けて対象情報保持部４５２に保持された対象情報にマスクフラグが付与されているか否か判断し、マスクフラグが付与されている場合、フレームの対象情報によって特定できる部分画像をマスク処理する。
【０１６９】
図１６（ｃ）の時点において、対象情報２にマスクフラグが付与されているため、マスク処理部４３６は、フレーム１に関連付けられた対象情報２によって特定できる部分画像をマスク処理する。ビデオデータ出力部４４２はこのようにマスク処理されたフレームを随時ビデオ信号に変換してディスプレイ２１０に出力する。
【０１７０】
このように、ビデオバッファ４３４から出力する直前に、出力するフレームのみをマスク処理する構成により、フレームに関連付けられた複数の対象情報に異なるタイミングでマスクフラグが付与されたとしても実際のマスク処理を一度に済ませることができ、マスク処理の処理負荷を低減できる。
【０１７１】
また、かかるマスク処理を行うタイミングは、フレームをディスプレイ２１０に出力する直前に限らず、マスク処理すべき対象情報が出現した都度、対象情報にマスクフラグを付与する代わりに、その対象情報に関連付けられビデオバッファ４３４に保持されたフレームに対してマスク処理を行ってもよい。
【０１７２】
さらに、関連性判断部４７４は、類似性判断部４７２によって類似すると判断された対象情報について、上述したようなその対象情報が取出される以前に取得された他のフレームに関連付けられた対象情報のみならず、以後に取出されるフレームに関連付けられた対象情報との関連度の導出およびマスクフラグの付与を行ってもよい。
【０１７３】
換言すれば、類似性判断部４７２によって類似すると判断されマスクフラグが付与された対象情報がシフトされた場合に、関連性判断部４７４は、類似性判断部４７２が類似の判断をしたフレームに関連付けられた対象情報の判定処理を一通り終えた後、そのシフトされた１つ前のフレームに関連付けられた、マスクフラグが付与された対象情報と、類似の判断をしたフレームに関連付けられた対象情報との関連性も判断する。要するに類似性判断部４７２は、逆方向（より新しいフレーム方向）への関連性も判断する。そして、関連度が第２所定閾値を超えると、類似の判断をしたフレームに関連付けられた対象情報にマスクフラグを付与する。
【０１７４】
関連性判断部４７４は、類似度が第１所定閾値を超えた対象情報と、対象情報取出部４７０に保持されている対象情報とを比較して関連度を導出するが、これに限られず、関連性判断部４７４は、対象情報（特徴量）ではなく、ビデオバッファ４３４に保持されている前のフレームに基づいた画像自体と、類似度が第１所定閾値を超えた対象情報によって特定できる部分画像とを、比較してもよい。この場合、対象情報は、類似性判断部４７２による類似度の導出にのみ用いられる。
【０１７５】
かかる比較において、フレームに基づいた画像中に、対象情報によって特定できる部分画像との関連度が第２所定閾値を超える部分画像が含まれていた場合、関連性判断部４７４は、その第２所定閾値を超えた部分画像と、さらに前のフレームに基づいた画像とを比較することとなる。
【０１７６】
さらに、関連性判断部４７４は、類似性判断部４７２が類似の判断をしたフレームから、関連度が第２所定閾値を超える対象情報が存在するフレームまでその対象情報を利用してマスクフラグを付与し、対象情報が存在しないフレームから、関連度が第２所定閾値を超えた部分画像と、さらに前のフレームに基づいた画像とを比較することによってマスクフラグを付与することもできる。
【０１７７】
かかるフレームの画像同士の比較では、上述した対象情報同士の比較に留まらず、色情報や、Ｈ．２６４等で用いられる動きベクトルの情報等を用い、類似度が第１所定閾値を超えた対象情報と同一対象となる可能性がある座標周辺に限定して、より詳細な画素単位の比較を行ってもよい。かかる構成により、対象情報の抽出対象として認識されないような、例えば、頭や耳等を示す情報を含むビデオデータに対しても、第１所定閾値を超えた対象情報に関連付けられ、マスク処理を行うことができる。
【０１７８】
上述したように本実施形態のビデオデータ再生装置４００を用いることで、ビデオデータ取得部４３０が取得したフレームをビデオバッファ４３４に保持し、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。マスク処理を施した画像の表示例は、図７、図８、図９を用いて既に説明しているのでここではその表示例の説明を省略する。このようにビデオデータ再生装置４００では、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０１７９】
図１７は、第３の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
【０１８０】
ビデオデータ取得部４３０がフレーム、例えば、再生開始時からＫ（Ｋは説明のために用いる任意の整数）番目のフレームを取得する（Ｓ５００）と、対象情報取出部４７０は、Ｋ番目のフレームから取出された対象情報を、そのフレームに関連付けて対象情報保持部４５２に保持させ（Ｓ５０２）、類似性判断部４７２は、その対象情報と参照情報記憶部４５０に記憶されている参照情報との類似度を導出する（Ｓ５０４）。
【０１８１】
そして、類似性判断部４７２は、導出した類似度が、第１所定閾値を超えているか否かを判断し（Ｓ５０６）、第１所定閾値を超えている場合（Ｓ５０６のＹＥＳ）、類似性判断部４７２は、そのＫ番目のフレームに関連付けられた対象情報にマスクフラグを付与する（Ｓ５０８）。続いて、関連性判断部４７４は、そのＫ番目のフレームに関連付けられた、マスクフラグが付与された対象情報と、対象情報保持部４５２に保持されている、再生開始時からＫ−１番目のフレームに関連付けられた対象情報との関連度を導出する（Ｓ５１０）。
【０１８２】
そして、関連性判断部４７４は、導出した関連度が、第２所定閾値を超えているか否かを判断し（Ｓ５１２）、関連度が第２所定閾値を超えている場合（Ｓ５１２のＹＥＳ）、Ｋ−１番目のフレームに関連付けられた対象情報にマスクフラグを付与する（Ｓ５１４）。
【０１８３】
ここで、さらにＫ−２番目のフレームに関連付けられた対象情報が有る場合（Ｓ５１６のＹＥＳ）、Ｋ番目のフレームに関連付けられた対象情報の代わりに、関連性判断部４７４によって関連度が第２所定閾値を超えていると判断されたＫ―１番目のフレームに関連付けられた対象情報を用いて、Ｋ−２番目のフレームに関連付けられた対象情報との関連度を導出する。
【０１８４】
換言すれば、フレームの順序は変えずＫから１を引いて、すなわち、Ｋ番目をＫ−１番目に、Ｋ−１番目をＫ−２番目に、Ｋ−２番目をＫ−３番目にそれぞれ順次読み換えて（Ｓ５１８）、関連度導出ステップ（Ｓ５１０）に戻り、マスクフラグを付与したＫ番目のフレームに関連付けられた対象情報に対し、Ｋ−１番目のフレームに関連付けられた対象情報との関連度を導出して（Ｓ５１０）、上述した処理を繰り返す。
【０１８５】
かかる処理は、Ｋ−１番目のフレームに関連付けられた対象情報に対して導出した関連度がすべて第２所定閾値以下になる（Ｓ５１２のＮＯ）か、Ｋ−２番目のフレームに関連付けられた対象情報がなくなる（Ｓ５１６のＮＯ）まで実行される。
【０１８６】
類似度が第１所定閾値以下の場合（Ｓ５０６のＮＯ）、対象情報との関連度がすべて第２所定閾値以下の場合（Ｓ５１２のＮＯ）、または一つ前のフレームに関連付けられた対象情報がなくなった場合（Ｓ５１６のＮＯ）、マスクフラグの付与を終了する。そして、マスク処理部４３６は、ビデオバッファ４３４内の最も古いフレームが記憶領域１８０の終端に達するとそのフレームの各対象情報に対して、マスクフラグが付与されているか否かを判断し（Ｓ５２０）、マスクフラグが付与されている場合（Ｓ５２０のＹＥＳ）、フレームに関連付けられた対象情報によって特定できる部分画像にマスク処理を施し（Ｓ５２２）、ビデオデータ出力部４４２は、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ５２４）。
【０１８７】
本実施形態では、フレームをビデオバッファ４３４に保持し、保持されたフレームに含まれる、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０１８８】
（第４の実施形態：ビデオデータ記録再生システム６００）
第３の実施形態における、ビデオデータ再生装置４００は、ビデオデータ取得部４３０が取得したフレームをビデオバッファ４３４に一時的に保持し、マスク処理すべき対象情報を遡及して抽出し、マスク処理を施していた。第４の実施形態では、ビデオデータ記録装置６１０がフレームをそのまま外部記録媒体に記録し、対象情報に関連付けられたフレームの記録タイミングと異なるタイミングで、マスクフラグが付与された対象情報に関する関連情報も外部記録媒体に記録する。そして、ビデオデータ再生装置７００は、ビデオデータ記録装置６１０がマスクフラグを付与された対象情報と関連付けたフレームを、マスク処理を実行しながら再生する。以下に、第４の実施形態において特徴的なビデオデータ記録再生システム６００を説明し、続いてビデオデータ記録装置６１０およびビデオデータ再生装置７００をブロック図を用いて説明する。
【０１８９】
図１８は、第４の実施形態にかかるビデオデータ記録再生システム６００の概略的な接続関係を示した説明図である。
【０１９０】
図１８に示すように、ビデオデータ記録再生システム６００は、ビデオデータ記録装置６１０と、外部記録媒体６５０と、ビデオデータ再生装置７００と、ディスプレイ２１０とを含んで構成される。
【０１９１】
ビデオデータ記録装置６１０は、撮像して取得したフレームを記録媒体としての外部記録媒体６５０に記録する。このとき、ビデオデータ記録装置６１０は、マスクフラグが付与された対象情報に含まれる関連情報も、少し遅れたタイミングでフレームに関連付けて記録する。そして、ビデオデータ再生装置７００は、ビデオデータ記録装置６１０が記録した外部記録媒体６５０を、関連情報を参照してマスク処理を行いながら再生し、ディスプレイ２１０に出力する。関連情報は、第１の実施形態と同様、フレームに対応する１画面分の画像のうち画面内の位置および大きさを示す座標情報を含む情報である。
【０１９２】
（ビデオデータ記録装置６１０）
図１９は、第４の実施形態にかかるビデオデータ記録装置６１０の一例を示した外観図であり、図２０は、第４の実施形態にかかるビデオデータ記録装置６１０の概略的なハードウェア構成を示した機能ブロック図である。本実施形態において、ビデオデータ記録装置６１０として、デジタルビデオカメラを例に挙げるが、かかる例に限定されず、デジタルスチルカメラ、ＨＤＤレコーダ、ＤＶＤレコーダ、ブルーレイディスク記録装置等、記録媒体にフレームを記録可能な他の記録装置でもよい。
【０１９３】
ビデオデータ記録装置６１０は、ＣＰＵ４２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ４２６と、フラッシュメモリ１２８と、撮像操作部１１６と、ビューファインダ１１８と、ビデオデータ取得部として機能する撮像部６２０と、データ処理部６２２と、媒体記録部として機能する撮像記録Ｉ／Ｆ部６２４とを含んで構成される。
【０１９４】
上記ＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、フラッシュメモリ１２８、撮像操作部１１６、ビューファインダ１１８は、第１の実施形態および第３の実施形態において既に述べたＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、フラッシュメモリ１２８、撮像操作部１１６、ビューファインダ１１８と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ記録装置６１０において構成が相違する撮像部６２０と、データ処理部６２２と、撮像記録Ｉ／Ｆ部６２４とを主に説明する。
【０１９５】
撮像部６２０は、被写体を撮像したビデオ信号からフレームを生成する。データ処理部６２２は、撮像部６２０で生成されたフレームに対して輝度データや色データを形成する。以下、フレームには輝度データや色データが含まれるものとする。撮像記録Ｉ／Ｆ部６２４は、生成されたフレームを任意の外部記録媒体６５０に記録する。
【０１９６】
また、ビデオデータ取得部として機能する撮像部６２０がフレームを取得すると、第３の実施形態と同様、対象情報取出部４７０は、フレームから対象情報を取出し、対象情報保持部４５２に一時的に保持する。類似性判断部４７２および関連性判断部４７４は、マスク処理が必要と判断した対象情報にマスクフラグを付与する。
【０１９７】
そして、撮像記録Ｉ／Ｆ部６２４は、フレームに加え、マスクフラグが付与された対象情報に含まれる関連情報を外部記録媒体６５０に記録する。
【０１９８】
ここで、マスクフラグは対象情報に遡及して付与される、即ち対象情報に含まれる関連情報は対象情報保持部４５２に所定時間保持されてから外部記録媒体６５０に記録されるので、フレームと、関連情報との記録タイミングは異なり、フレームの方が先に記録され、関連情報は対象情報保持部４５２においてマスクフラグの付与処理を終えてから記録されることとなる。
【０１９９】
ここで、撮像記録Ｉ／Ｆ部６２４は、関連情報に限らず、対象情報そのものを外部記録媒体６５０に記録してもよい。かかる構成により、後に、例えば他の人物の顔の参照情報に基づいて、対象情報にマスクフラグを付与し直す場合、外部記録媒体６５０に記録された対象情報を用いることで処理負荷を低減できる。
【０２００】
上述したビデオデータ記録装置６１０を用いることで、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報にマスクフラグを付与し、その対象情報によって特定される部分画像に関する関連情報を外部記録媒体６５０に記録する。従って、当該外部記録媒体６５０の再生時には、マスク対象が一部でも含まれるフレームからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０２０１】
また、マスク処理はビデオデータを再生する際に行うため、当該ビデオデータ記録装置６１０では、マスク処理を要さず、処理の負荷を低減することができる。さらに、外部記録媒体６５０には、マスク処理されていないフレームと関連情報とが独立して記録されているため、ユーザは、再生時にマスク処理の有無を選択して出力することが可能となる。
【０２０２】
さらに、第３の実施形態と異なり、フレームにマスク処理を行ってから出力する必要がないため、当該ビデオデータ記録装置６１０では、フレーム（ビデオデータ）をビデオバッファ４３４に保持することなく直接外部記録媒体６５０に記録し、対象情報のマスク処理の要否の判断のみ対象情報保持部４５２を用いて実行することができる。具体的に、ビデオデータ記録装置６１０の類似性判断部４７２や関連性判断部４７４は、対象情報保持部４５２に保持されている対象情報に対して遡及してマスクフラグを付与している。このように本実施形態では、フレームを一時的に記録するビデオバッファ４３４を備える必要がないので、製造コストを削減することが可能となる。
【０２０３】
また、撮像部６２０を備える構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータを構成するフレームに関連付けられ、マスクフラグが付与された対象情報よって特定できる部分画像にマスク処理を施すための関連情報を外部記録媒体６５０に記録することができ、撮像したビデオデータに個人情報が含まれていても、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
【０２０４】
（ビデオデータ再生装置７００）
次に、上述したビデオデータ記録装置６１０を用いて記録された外部記録媒体６５０から、ビデオデータと、関連情報とを読み取り、マスク処理すべき部分画像にマスク処理を施してビデオデータを出力するビデオデータ再生装置７００について説明する。
【０２０５】
図２１は、第４の実施形態にかかるビデオデータ再生装置７００の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置７００は、ＣＰＵ４２０と、バス１２２と、ＲＯＭ１２４と、ＲＡＭ４２６と、ビデオデータ取得部７３０と、マスク処理部４３６と、ビデオデータ出力部４４２と、リモコンＩ／Ｆ１４０とを含んで構成される。
【０２０６】
上記ＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、マスク処理部４３６、ビデオデータ出力部４４２、リモコンＩ／Ｆ１４０は、第３の実施形態において既に述べたＣＰＵ４２０、バス１２２、ＲＯＭ１２４、ＲＡＭ４２６、マスク処理部４３６、ビデオデータ出力部４４２、リモコンＩ／Ｆ１４０と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置７００で構成が相違するビデオデータ取得部７３０を主に説明する。
【０２０７】
ビデオデータ取得部７３０は、外部記録媒体６５０からビデオデータを構成するフレームを取得する。さらに、ビデオデータ取得部７３０は、外部記録媒体６５０から関連情報を取得する。マスク処理部４３６は、関連情報によって特定できるフレームの部分画像にマスク処理を施し、ビデオデータ出力部４４２が、ディスプレイ２１０に出力する。
【０２０８】
ここでは、データ符号化については触れていないが、ビデオデータ記録装置６１０のデータ処理部６２２は、フレームを前後のフレームと合わせて、Ｍ−ＪＰＥＧやＭＰＥＧ−２、Ｈ．２６４などの所定の符号化方式で符号化した後、撮像記録Ｉ／Ｆ部６２４に伝送してもよい。この場合、ビデオデータ取得部７３０は、フレームを復号した後、マスク処理部４３６に伝送する。
【０２０９】
上述したように、外部記録媒体６５０には、ビデオデータと、マスク処理をすべき部分画像を特定可能な、関連情報とが記録されている。従って、当該ビデオデータ再生装置７００は、外部記録媒体６５０を再生する際、関連情報によりマスク対象をほぼリアルタイムに認識することができ、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
【０２１０】
また、予め、関連情報がフレームに関連付けられているため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたフレームを出力することができる。さらに、外部記録媒体６５０のビデオデータ自体にはマスク処理されていないため、ユーザは、かかる記録媒体６５０を再生装置で読み込んで再生する際、マスク処理の有無を選択して出力することが可能となる。
【０２１１】
（ビデオデータ記録方法）
続いて、上述したビデオデータ記録装置６１０を用いたビデオデータ記録方法をフローチャートを用いて説明する。
【０２１２】
図２２は、第４の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
【０２１３】
図２２において、ユーザが撮像を開始すると（Ｓ８００のＹＥＳ）、ビデオデータ取得部としての撮像部６２０は、フレームを取得する（Ｓ５００）。以後、フレームに関連付けた対象情報を取出して保持し、マスク処理をすべき対象情報にマスクフラグを付与するまでの手順は、第３の実施形態にかかるビデオデータ再生方法の図１７に示した処理と同一であるため、同一の符号を付して説明を省略する。最後に、撮像記録Ｉ／Ｆ部６２４は、ビデオデータと、関連情報とを、外部記録媒体６５０に記録する（Ｓ８２０）。
【０２１４】
上述したビデオデータ記録方法において、撮像記録Ｉ／Ｆ部６２４は、関連情報を含めて外部記録媒体６５０に記録している。マスク処理はビデオデータを再生する際に行うため、当該ビデオデータ記録方法では、マスク処理を要さず、処理の負荷を低減することができる。
【０２１５】
（ビデオデータ再生方法）
続いて、上述したビデオデータ記録装置６１０によって生成した外部記録媒体６５０を、ビデオデータ再生装置７００を用いて再生するビデオデータ再生方法をフローチャートを用いて説明する。
【０２１６】
図２３は、第４の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。図２３において、ユーザが外部記録媒体６５０の再生を開始すると（Ｓ８５０のＹＥＳ）、ビデオデータ取得部７３０は、外部記録媒体６５０からビデオデータを構成するフレームと、関連情報と、を取得する（Ｓ８５２）。
【０２１７】
そして、マスク処理部４３６は、フレームに関連情報が関連付けられているか否かを判断し（Ｓ８５４）、関連情報が関連付けられている場合（Ｓ８５４のＹＥＳ）、その関連情報によって特定できるフレームの部分画像にマスク処理を施し（Ｓ８５６）、ビデオデータ出力部４４２は、第３の実施形態にかかるビデオデータ再生方法の図１７に示した処理と同様、フレームを随時ビデオ信号に変換してディスプレイ２１０に出力する（Ｓ５２４）。
【０２１８】
上述したビデオデータ再生方法においては、外部記録媒体６５０に記録された関連情報を参照し、マスク処理してフレーム毎にビデオデータを出力している。ここでは、予め、マスク対象を容易に把握できるため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたビデオデータを出力することができる。
【０２１９】
本実施形態において説明したように、マスク対象であることを示すマスクフラグの付与をビデオデータの記録の際に行い、マスク処理をビデオデータの再生の際に行うことで、処理にかかる負荷を分散し、より低負荷でプライバシーが保護されたビデオデータを出力することができる。また、外部記録媒体のビデオデータ自体にはマスク処理されていないため、ユーザは、マスク処理の有無を選択して出力することができる。
【０２２０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０２２１】
例えば、上述した実施形態において、ビデオデータは、Ｍ−ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４等で符号化された動画像を例として説明したが、かかる場合に限定されず、例えば、デジタルスチルカメラで連続して撮像（連写）された複数の静止画像を対象としてもよい。
【０２２２】
なお、本明細書のビデオデータ記録方法やビデオデータ再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０２２３】
本発明は、ビデオデータ記録装置、ビデオデータ再生装置、ビデオデータ記録方法およびビデオデータ再生方法に利用することができる。
【符号の説明】
【０２２４】
２００、３８０、７００ …ビデオデータ再生装置
２３０、３８２、４３０、７３０ …ビデオデータ取得部
１３４、４３４ …ビデオバッファ
２４０、４３６ …マスク処理部
２４２、４４２ …ビデオデータ出力部
１５０、４５０ …参照情報記憶部
４７０ …対象情報取出部
１７２、４７２ …類似性判断部
１７４、４７４ …関連性判断部
１９０、３８４、６５０ …外部記録媒体（記録媒体）
１１０、６１０ …ビデオデータ記録装置
１３０、６２０ …撮像部
１３６、６２４ …撮像記録Ｉ／Ｆ部（媒体記録部）
【特許請求の範囲】
【請求項１】
所定の特徴量を含む参照情報を記録した参照情報記憶部と、
ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出する類似性判断部と、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、
前記ビデオデータと、前記部分情報に関する関連情報とを記録媒体に記録する媒体記録部と、
を備えることを特徴とするビデオデータ記録装置。
【請求項２】
前記類似性判断部は、前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで、前記部分情報が類似するか否かを判断し、
前記関連性判断部は、前記類似すると判断された部分情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで、前記部分情報が関連するか否かを判断することを特徴とする請求項１に記載のビデオデータ記録装置。
【請求項３】
前記ビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする請求項１または２に記載のビデオデータ記録装置。
【請求項４】
所定の特徴量を含む参照情報と類似すると判断されたビデオデータの部分情報と、前記類似すると判断された部分情報に関連すると判断されたビデオデータの部分情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、前記関連情報と、前記ビデオデータとを取得するビデオデータ取得部と、
前記ビデオデータにおける前記関連情報によって特定される前記部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項５】
所定の特徴量を含む参照情報を記録した参照情報記憶部と、
ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出する類似性判断部と、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、
前記ビデオデータにおける前記部分情報によって特定される部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項６】
前記類似性判断部は、前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで、前記部分情報が類似するか否かを判断し、
前記関連性判断部は、前記類似すると判断された部分情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで、前記部分情報が関連するか否かを判断することを特徴とする請求項５に記載のビデオデータ再生装置。
【請求項７】
所定の特徴量を含む参照情報を記録しておき、
ビデオデータを取得し、順次ビデオバッファに出力し、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出し、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出し、
前記ビデオデータと前記部分情報に関する関連情報とを記録媒体に記録することを特徴とするビデオデータ記録方法。
【請求項８】
所定の特徴量を含む参照情報を記録しておき、
ビデオデータを取得し、順次ビデオバッファに出力し、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出し、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出し、
前記ビデオデータにおける前記部分情報によって特定される部分画像をマスク処理し、
前記マスク処理されたビデオデータを出力することを特徴とするビデオデータ再生方法。
【請求項９】
所定の特徴量を含む参照情報を記憶した参照情報記憶部と、
ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させる対象情報取出部と、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否か判断し、関連すると判断した対象情報に前記マスクフラグを付与する関連性判断部と、
前記ビデオバッファ中のビデオデータに関連付けられた対象情報に前記マスクフラグが付与されている場合、前記ビデオデータの前記対象情報によって特定できる部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項１０】
前記類似性判断部は、前記対象情報と前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、
前記関連性判断部は、前記保持された１または複数の対象情報と、前記類似すると判断された対象情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで関連するか否かを判断することを特徴とする請求項９に記載のビデオデータ再生装置。
【請求項１１】
所定の特徴量を含む参照情報を記憶した参照情報記憶部と、
ビデオデータを取得するビデオデータ取得部と、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させる対象情報取出部と、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与する関連性判断部と、
前記ビデオデータと、前記マスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録する媒体記録部と、
を備えることを特徴とするビデオデータ記録装置。
【請求項１２】
前記類似性判断部は、前記対象情報と前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、
前記関連性判断部は、前記保持された１または複数の対象情報と、前記類似すると判断された対象情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで関連するか否かを判断することを特徴とする請求項１１に記載のビデオデータ記録装置。
【請求項１３】
前記ビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする請求項１１または１２に記載のビデオデータ記録装置。
【請求項１４】
所定の特徴量を含む参照情報と類似すると判断されビデオデータから取出された対象情報と、前記類似すると判断された対象情報と関連すると判断されビデオデータから取出された対象情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、前記関連情報と、前記ビデオデータとを取得するビデオデータ取得部と、
前記取得されたビデオデータに関連情報が関連付けられている場合、前記関連情報によって特定される部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項１５】
所定の特徴量を含む参照情報を記憶しておき、
ビデオデータを取得し、順次ビデオバッファに出力し、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させ、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与し、
前記ビデオバッファ中のビデオデータに関連付けられた対象情報に前記マスクフラグが付与されている場合、前記ビデオデータの前記対象情報によって特定できる部分画像をマスク処理し、
前記マスク処理されたビデオデータを出力することを特徴とするビデオデータ再生方法。
【請求項１６】
所定の特徴量を含む参照情報を記憶しておき、
ビデオデータを取得し、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させ、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与し、
前記ビデオデータと前記マスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録することを特徴とするビデオデータ記録方法。
【請求項１】
所定の特徴量を含む参照情報を記録した参照情報記憶部と、
ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出する類似性判断部と、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、
前記ビデオデータと、前記部分情報に関する関連情報とを記録媒体に記録する媒体記録部と、
を備えることを特徴とするビデオデータ記録装置。
【請求項２】
前記類似性判断部は、前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで、前記部分情報が類似するか否かを判断し、
前記関連性判断部は、前記類似すると判断された部分情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで、前記部分情報が関連するか否かを判断することを特徴とする請求項１に記載のビデオデータ記録装置。
【請求項３】
前記ビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする請求項１または２に記載のビデオデータ記録装置。
【請求項４】
所定の特徴量を含む参照情報と類似すると判断されたビデオデータの部分情報と、前記類似すると判断された部分情報に関連すると判断されたビデオデータの部分情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、前記関連情報と、前記ビデオデータとを取得するビデオデータ取得部と、
前記ビデオデータにおける前記関連情報によって特定される前記部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項５】
所定の特徴量を含む参照情報を記録した参照情報記憶部と、
ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出する類似性判断部と、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、
前記ビデオデータにおける前記部分情報によって特定される部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項６】
前記類似性判断部は、前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで、前記部分情報が類似するか否かを判断し、
前記関連性判断部は、前記類似すると判断された部分情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで、前記部分情報が関連するか否かを判断することを特徴とする請求項５に記載のビデオデータ再生装置。
【請求項７】
所定の特徴量を含む参照情報を記録しておき、
ビデオデータを取得し、順次ビデオバッファに出力し、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出し、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出し、
前記ビデオデータと前記部分情報に関する関連情報とを記録媒体に記録することを特徴とするビデオデータ記録方法。
【請求項８】
所定の特徴量を含む参照情報を記録しておき、
ビデオデータを取得し、順次ビデオバッファに出力し、
最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出し、
前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出し、
前記ビデオデータにおける前記部分情報によって特定される部分画像をマスク処理し、
前記マスク処理されたビデオデータを出力することを特徴とするビデオデータ再生方法。
【請求項９】
所定の特徴量を含む参照情報を記憶した参照情報記憶部と、
ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させる対象情報取出部と、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否か判断し、関連すると判断した対象情報に前記マスクフラグを付与する関連性判断部と、
前記ビデオバッファ中のビデオデータに関連付けられた対象情報に前記マスクフラグが付与されている場合、前記ビデオデータの前記対象情報によって特定できる部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項１０】
前記類似性判断部は、前記対象情報と前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、
前記関連性判断部は、前記保持された１または複数の対象情報と、前記類似すると判断された対象情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで関連するか否かを判断することを特徴とする請求項９に記載のビデオデータ再生装置。
【請求項１１】
所定の特徴量を含む参照情報を記憶した参照情報記憶部と、
ビデオデータを取得するビデオデータ取得部と、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させる対象情報取出部と、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与する関連性判断部と、
前記ビデオデータと、前記マスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録する媒体記録部と、
を備えることを特徴とするビデオデータ記録装置。
【請求項１２】
前記類似性判断部は、前記対象情報と前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第１所定閾値を超えるか否かで類似するか否かを判断し、
前記関連性判断部は、前記保持された１または複数の対象情報と、前記類似すると判断された対象情報との関連の度合いを示す関連度を導出し、前記関連度が第２所定閾値を超えるか否かで関連するか否かを判断することを特徴とする請求項１１に記載のビデオデータ記録装置。
【請求項１３】
前記ビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする請求項１１または１２に記載のビデオデータ記録装置。
【請求項１４】
所定の特徴量を含む参照情報と類似すると判断されビデオデータから取出された対象情報と、前記類似すると判断された対象情報と関連すると判断されビデオデータから取出された対象情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、前記関連情報と、前記ビデオデータとを取得するビデオデータ取得部と、
前記取得されたビデオデータに関連情報が関連付けられている場合、前記関連情報によって特定される部分画像をマスク処理するマスク処理部と、
前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
を備えることを特徴とするビデオデータ再生装置。
【請求項１５】
所定の特徴量を含む参照情報を記憶しておき、
ビデオデータを取得し、順次ビデオバッファに出力し、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させ、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与し、
前記ビデオバッファ中のビデオデータに関連付けられた対象情報に前記マスクフラグが付与されている場合、前記ビデオデータの前記対象情報によって特定できる部分画像をマスク処理し、
前記マスク処理されたビデオデータを出力することを特徴とするビデオデータ再生方法。
【請求項１６】
所定の特徴量を含む参照情報を記憶しておき、
ビデオデータを取得し、
最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させ、
前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、
前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された１または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与し、
前記ビデオデータと前記マスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録することを特徴とするビデオデータ記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図９】
【公開番号】特開２０１０−２３３１３３（Ｐ２０１０−２３３１３３Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−８０８１２（Ｐ２００９−８０８１２）
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]