記録再生装置及びその制御方法
【課題】視聴者が放送番組の視聴中に居眠りをしても、記憶にないシーンを見逃さず、かつ該シーンを素早く検索して再生できる記録再生装置及びその制御方法を提供する。
【解決手段】本発明に係る記録再生装置は、カメラ２で視聴者を撮影した画像データに基づいて、視聴者が居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断する視聴判断部３を備える。制御部８は視聴判断部３から第１及び第２の時点に関する判断結果を受けた場合、第１の時点から番組を録画させ、第１の時点から第２の時点までの居眠り仮確定期間において番組に関する検索用の設定位置を映像に対して設定するように制御を行う。これにより当該期間に亘って詳細なチャプタを作成して映像データとともに検索用情報をＨＤＤ１２等の記録手段に記録でき、よって視聴者は映像を効率的に検索することができる。
【解決手段】本発明に係る記録再生装置は、カメラ２で視聴者を撮影した画像データに基づいて、視聴者が居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断する視聴判断部３を備える。制御部８は視聴判断部３から第１及び第２の時点に関する判断結果を受けた場合、第１の時点から番組を録画させ、第１の時点から第２の時点までの居眠り仮確定期間において番組に関する検索用の設定位置を映像に対して設定するように制御を行う。これにより当該期間に亘って詳細なチャプタを作成して映像データとともに検索用情報をＨＤＤ１２等の記録手段に記録でき、よって視聴者は映像を効率的に検索することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者の居眠り状態を検知して放送番組の記録を実行する技術に関するものである。
【背景技術】
【０００２】
従来、視聴者の視聴状態を監視し、その視聴状態に応じた特別な処理を行う表示装置が提案されている。その特別な処理の一例として、視聴者が居眠りを始めた場合、居眠りの状態を検知して、視聴していた番組を記録する方法が提案されている（例えば、特許文献１参照）。また、ユーザが視聴している番組を簡易的に記録し、居眠りを検知した場合に通常録画に変更する方法も提案されている（例えば、特許文献２参照）。
【０００３】
この他、再生時に視聴者の居眠り状態が検知された場合、居眠りを検知したことを意味する識別フラグをヘッダ情報に付加する方法も提案されている（例えば特許文献３参照）。つまり識別フラグの付加により、再生の際、視聴者に負担をかけずに、居眠りをして見損なったシーンから画像を再生できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３９２９４号公報
【特許文献２】特開２００６−２１１０６１号公報
【特許文献３】特開２００７−１０４３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、人は完全に居眠りする以前から意識があやふやな状態となっている可能性は高い。従来技術では、視聴者にとって全く記憶のないシーンを検出して記録を開始し、記憶にないシーンを視聴者が素早く再生することは困難であった。
そこで本発明は、視聴者が放送番組の視聴中に居眠りをしても、視聴者が記憶していないシーンを見逃さず、かつ記憶にないシーンを速やかに検索して再生できるようにする。本発明の目的は視聴者の利便性を向上させることが可能な記録再生装置及びその制御方法の提供にある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は視聴状態を検出し、検出結果に応じて番組を録画する機能を有する記録再生装置であって、視聴者の居眠りの状態を検知して、居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断する視聴判断手段と、番組を録画する記録手段と、前記視聴判断手段から前記第１の時点及び前記第２の時点に関する判断結果を受けた場合、前記第１の時点から番組を前記記録手段に録画するように前記記録手段に指示し、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を映像に対して設定するように制御を行う制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、視聴者が居眠りしかけた第１の時点から、居眠りに陥った第２の時点までの期間中の映像に対して検索用の設定位置を設定することで、視聴者が記憶にないシーンを容易に検索でき、視聴者の利便性が向上する。
【図面の簡単な説明】
【０００８】
【図１】図２乃至８と併せて本発明の第１実施形態を説明するために、装置の概略構成を例示したブロック図である。
【図２】視聴判断部の概略構成を例示したブロック図である。
【図３】まぶた開き量計測部２１による計測量を示す概略図である。
【図４】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図５】チャプタの作成処理例を示すフローチャートである。
【図６】チャプタ設定の時間間隔を示すイメージ図である。
【図７】タイトルリストのメニュー例を示す図である。
【図８】チャプタ表示の一例を示す図である。
【図９】図１０と併せて本発明の第２実施形態を説明するために、視聴判断部の概略構成を例示したブロック図である。
【図１０】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図１１】図１２と併せて本発明の第３実施形態を説明するために、視聴判断部の概略構成を例示したブロック図である。
【図１２】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図１３】図１４と併せて本発明の第４実施形態を説明するために、視聴判断部の概略構成を例示したブロック図である。
【図１４】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図１５】本発明の第５実施形態を説明するために、居眠り仮確定期間の中央に集中したチャプタ設定について例示したイメージ図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、図面を参照しながら説明する。
〔第１実施形態〕
図１は本発明の第１実施形態に係る記録再生装置の構成例を示す機能ブロック図である。本装置は、視聴状態を検出して検出結果に応じた番組録画機能をもつ装置、例えばテレビジョン放送受信装置やレコーダ等に幅広く適用可能である。記録再生装置は表示部１、カメラ２、視聴判断部３、デマルチプレクサ（以下、ＤＭＵＸと略記する）部４、復調器５、チューナ部６を備える。そしてデコード部７、制御部８、コンテンツ管理部９、メモリコントローラ１０、Ｆｌａｓｈ＿ＲＯＭ（以下、単にＲＯＭと記す）１１、ＨＤＤ１２、ユーザインタフェース（以下、インタフェースをＩＦと略記する）部１３が設けられている。なお本例では、記録媒体を用いた記録手段としてハードディスクドライブ装置ＨＤＤ１２を使用するが、これに限らず、各種のメモリ装置や記録デバイスを適用できる。またユーザＩＦ部１３は、リモートコントローラや操作スイッチ等を用いた視聴者からの操作指示を受け付けて、制御部８へ指示を転送する。
【００１０】
チューナ部６で受信した信号は復調器５、ＤＭＵＸ部４を経てデコード部７に送られて復号された後、表示部１に送られる。
表示部１は、デコード部７からの映像信号を受けて画像を表示する。例えば液晶ディスプレイが使用される。但し、これに限らずプラズマディスプレイパネル（ＰＤＰ）、表面伝導電子放出素子型ディスプレイ（ＳＥＤ）、電界放出型ディスプレイ（ＦＥＤ）、有機ＥＬディスプレイ等を用いても構わない。
【００１１】
カメラ２は視聴者の顔を撮影し、特に視聴者の眼を検知して、まぶたの開き量を認識できるように撮影する。撮影のタイミングについては、静止画で所定の間隔をもって撮影してもよいし、また常に撮影し続けてもよい。カメラ２の撮像データは視聴判断部３に送られる。
視聴判断部３は、カメラ２から送信されてきたデータを保存し、該データを解析することで視聴状態を判断した後、判断結果を制御部８に送信する。図２は視聴判断部３の構成例を示す機能ブロック図であり、まぶた開き量計測部２０、開き量記憶部２１、視聴者状態判定部２２から構成される。
【００１２】
まぶた開き量計測部２０は、カメラ２から受信したデータを解析し、まぶたの開き量（以下、ｄと記す）を計測する。また、まぶた開き量計測部２０は同時に、まぶたの横の長さ（以下、Ｌと記す）も計測する。図３に計測個所を示す。そしてまぶた開き量計測部２０は、まぶたの開き量ｄ及び横の長さＬのデータを、開き量記憶部２１に送信する。
【００１３】
開き量記憶部２１は、まぶたの開き量ｄ及び横の長さＬのデータを受信すると、以下の処理を行う。
（１）まぶたの開き量ｄを、まぶたの横の長さＬで除算し、正規化すること（以下、これをＲｄと記す。つまりＲｄ＝ｄ／Ｌ）。
（２）正規化された、まぶたの開き量Ｒｄの値をメモリに保存すること。
【００１４】
視聴者の測定位置が変化すると、まぶたの開き量ｄの計測値が変化するため、上記（１）のように正規化を行うことが望ましい。つまり視聴者の測定位置が変化した場合でも、まぶたの開き度合いの変化を正確に計測できる。
視聴者状態判定部２２は、開き量記憶部２１から記憶済みのＲｄ値を読み出し、視聴者の視聴状態を判定する。判定処理例を図４のフローチャートに示す。
先ずＳ４０で判定が開始する。判定開始のタイミングについては予め指定された間隔とされ、例えば、視聴者状態判定部２２によって２分おきに判定を行うものとする。次のＳ４１では、まぶたの開き量Ｒｄについての読み込み処理が行われる。開き量Ｒｄの値を示すデータ（開き量データ）４２は、図２の開き量記憶部２１から視聴者状態判定部２２に送信される。
【００１５】
Ｓ４３では、開き量Ｒｄに関する平均値算出処理が行われる。具体的には、視聴者状態判定部２２は開き量Ｒｄの計測値から、第１の演算値及び第２の演算値として以下の平均値を算出する。
・第１の演算値＝装置の起動時点又は番組の視聴開始時点から一定回数分、例えば１０回分の計測値に関する平均値（以下、Ａと記す）。
・第２の演算値＝最も時間的に近い計測値から一定回数分遡った期間、例えば現時点から１０回分の過去の期間に亘る計測値に関する平均値（以下、Ｂと記す）。
【００１６】
Ｓ４４で視聴者状態判定部２２は、平均値Ｂの値がゼロであるか否かを判定する。その結果、Ｂ＝０の場合（ＹＥＳの場合）はＳ４５へ進み、Ｂ≠０の場合（ＮＯの場合）はＳ４９へ進む。なお、Ｓ４４において平均値Ｂの値が予め定められた基準範囲内（ゼロ又はその近傍値を含む）に収まっているか否かを視聴者状態判定部２２が判定して構わない。
【００１７】
Ｓ４５で視聴者状態判定部２２は居眠り確定を決定する。すなわち、視聴者が居眠り状態に陥ったことが確定され、Ｓ４６に進む。ここで視聴者状態判定部２２は図１の制御部８に対して、居眠り確定を示すフラグ情報（以下、居眠り確定フラグという）を既に送信したか否かを判断する。その結果、送信済みの場合（ＹＥＳの場合）、Ｓ４７へ進むが、未送信の場合（ＮＯの場合）、Ｓ４８へ進む。なお後述する居眠り仮確定用のフラグを第１のフラグ情報とし、居眠り確定フラグを第２のフラグ情報と定義するが、その理由は後者が前者に比して時間的に後の時点で発行されるからである。
【００１８】
Ｓ４７にて視聴者状態判定部２２は既に制御部８へ居眠り確定フラグを送信しているので、送信不要と判断し、Ｓ５５へ進んで判定が終了する。一方、Ｓ４８にて視聴者状態判定部２２は居眠り確定フラグを制御部８へ送信し、視聴者がすっかり居眠りをしたこと、すなわち居眠りが確定したことを知らせる。同時に視聴者状態判定部２２は、その旨の信号を図２の開き量記憶部２１にも送信して、記憶された開き量について、その初期値を含めてリセットを行い、Ｓ５５に進む。
【００１９】
前記ステップＳ４４でＢ≠０と判定された場合、Ｓ４９に進み、視聴者状態判定部２２はＡからＢを減算した差分値、つまり「Ａ−Ｂ」の値を、判定基準値（以下、Ｃと記す）と比較する。すなわち、初期の平均値Ａから、最も時間的に近い計測値の平均値Ｂを引いた値が、予め設定された値Ｃより大きいか否かが判定される。その結果、「Ａ−Ｂ＞Ｃ」と判定された場合、Ｓ５０へ進むが、「Ａ−Ｂ≦Ｃ」と判定された場合、Ｓ５４に進む。
【００２０】
Ｓ５０で視聴者状態判定部２２は居眠りの仮確定を決定する。つまり、現在のまぶたの開き量が初期の開き量に比べて小さくなってきたことを踏まえて、視聴者状態判定部２２は視聴者が居眠りし始めていると判定し、居眠り仮確定とする。次のＳ５１で視聴者状態判定部２２は制御部８に対して、居眠り仮確定を示す第１のフラグ情報（以下、居眠り仮確定フラグという）を既に送信しているか否かを判断する。送信済みの場合、Ｓ５２へ進み、未送信の場合、Ｓ５３へ進む。
【００２１】
Ｓ５２では、居眠り仮確定フラグが過去に送信済みであるため、視聴者状態判定部２２は、このフラグ情報を制御部８へ送信せず、Ｓ５５に進んで判定が終了する。またＳ５３では、視聴者状態判定部２２は居眠り仮確定フラグを制御部８へ送信し、Ｓ５５に進む。
Ｓ４９からＳ５４に到達した場合、視聴者は特に居眠りをしていないし、居眠りしかけの状態でもないと判断される。視聴者状態判定部２２は居眠り仮確定フラグ及び居眠り確定フラグをいずれも制御部８へ送信しないと決定し、Ｓ５５へ進んで判定が終了する。
【００２２】
このように、図１の視聴判断部３では、居眠り確定フラグと、居眠り仮確定フラグの２種類のフラグを、視聴者の視聴状態に応じて制御部８に送信する。
再び図１に戻って各部の機能を説明する。チューナ部６は、放送波のＲＦ（Radio Frequency）信号を受信し、復調器５はＲＦ信号をＴＳ（トランスポートストリーム）信号へ戻す。ＤＭＵＸ部４は、復調されたＴＳ信号から、ビデオ信号やオーディオ信号のパケット信号のブロックへと分割処理を行い、各信号をデコード部７へ送信する。デコード部７は、ＭＰＥＧの映像信号、及びオーディオ信号のデコードを行い、ビデオフォーマット信号やオーディオ信号に変換して表示部１に送信する。なおＭＰＥＧは”Moving Picture Experts Group”の略号である。
【００２３】
装置の制御全般を司る制御部８は、視聴判断部３から受信した居眠り仮確定フラグ及び居眠り確定フラグをコンテンツ管理部９へ送信する。また制御部８は、ユーザＩＦ部１３から、視聴者の操作指示や命令を受けて、デコード部７を制御する。つまり制御部８は、ＤＭＵＸ部４からの信号と、記録制御手段を構成するメモリコントローラ１０からの信号のうち、どちらの信号のデコードを行い、表示部１へ出力するかについて選択の制御を行う。制御部８はまた、視聴者の操作指示に従って、受信するチャンネルをチューナ部６に指示する。視聴時に制御部８は、ＤＭＵＸ部４からデコード部７を介してメモリコントローラ１０へ放送波の受信データを送信するよう、デコード部７に指示する。制御部８はユーザＩＦ部１３から視聴者の操作指示を受けた場合、コンテンツ管理部９に対し、記録している放送番組コンテンツのデータを送るように指示する。また制御部８は表示部１への制御信号、例えば表示のＯＮ/ＯＦＦ指示を送出する。
【００２４】
コンテンツ管理部９では、居眠り仮確定フラグ及び居眠り確定フラグを制御部８から受信すると、チャプタの設定及び保存、並びに番組の記録方法の指示を、メモリコントローラ１０に対して行う。以下、本実施形態の特徴である、居眠りに対する専用のチャプタ（以下、居眠り専用チャプタという）の作成について説明する。
【００２５】
先ずコンテンツ管理部９は、視聴者が放送波に係る映像を視聴している場合、制御部８からの指示を受けて、デコード部７を介して、受信した放送番組をＲＯＭ１１に記録し続けるように、メモリコントローラ１０へ指示する。これにより、視聴していた放送番組のデータは必ず一定時間に亘ってメモリに記録される。
そして、コンテンツ管理部９は居眠り仮確定フラグ及び居眠り確定フラグを受信すると、図５に示すフローチャートに従って、居眠り専用チャプタを設定して、同時に番組を記録するようメモリコントローラ１０に指示する。
【００２６】
図５のＳ５００にて処理が開始し、Ｓ５０１でコンテンツ管理部９が前記フラグを受信すると、Ｓ５０２へ進む。なおコンテンツ管理部９が前記フラグを受信しない場合には、該フラグを受信するまで待機する。Ｓ５０２でコンテンツ管理部９はフラグを判別する。受信したフラグが居眠り仮確定フラグである場合、Ｓ５０３に進むが、居眠り確定フラグの場合、Ｓ５０６へ進む。
【００２７】
Ｓ５０３でコンテンツ管理部９は、居眠り仮確定フラグを受信した時刻においてＲＯＭ１１で記録している放送番組データに対し、居眠り仮確定フラグに対応する識別信号を付加して、後でデータを検索できるようにする。例えばリングバッファ上のデータに対して居眠り仮確定フラグのデータが付加される。なお、この指示はコンテンツ管理部９からメモリコントローラ１０に送られる。
【００２８】
Ｓ５０４では、ＲＯＭ１１に記録されている、現在視聴中の放送番組のデータを、ＨＤＤ１２へ転送する処理が行われる。本ステップについては、コンテンツ管理部９からメモリコントローラ１０へデータ転送の指示が出される。指示を受けたメモリコントローラ１０は、居眠り仮確定フラグのデータが付加された現在視聴中の放送番組のデータを、ＲＯＭ１１から読み出してＨＤＤ１２へ転送する。
【００２９】
Ｓ５０５では、これ以降、放送番組のデータをＨＤＤ１２へ記録するよう指示が出される。本ステップは、コンテンツ管理部９からメモリコントローラ１０への記録指示に従って行われ、メモリコントローラ１０は、入力された放送番組のデータをＨＤＤ１２へ送って記録させる。その後、Ｓ５０１に戻る。
Ｓ５０６では、居眠り確定フラグを受信した時刻における放送番組のデータに対し、居眠り確定フラグに対応する識別信号を付加する処理が行われる。本ステップではコンテンツ管理部９がメモリコントローラ１０に指示する。
Ｓ５０７では、居眠り仮確定フラグが付加された放送番組のデータについて検索処理が行われる。つまりＨＤＤ１２に保存された、現在記録中の放送番組のデータから、フラグ情報が付加されたデータが検索される。本ステップではコンテンツ管理部９からメモリコントローラ１０に指示を出すことで、ＨＤＤ１２内のデータを検索する。
【００３０】
Ｓ５０８では、居眠り仮確定フラグが付加された時刻と、居眠り確定フラグが付加された時刻との間に亘って、所定の時間間隔で居眠り専用チャプタを設定する。該チャプタは視聴者の居眠り状態に対処するために自動的に設定されて、録画番組に関する検索用の設定位置として利用される。この居眠り専用チャプタを作成するための時刻についてはコンテンツ管理部９が決定し、メモリコントローラ１０を介して、ＨＤＤ１２内のデータには、対応する時刻にチャプタを設定する。また前記所定の間隔については、例えば等間隔に設定すればよい。本例では２分おきにチャプタを設定する。チャプタを設定した場合のイメージ図を図６に示す。本図の横軸には時間軸を示し、棒グラフの左端が番組の録画開始時刻、右端が録画終了時刻をそれぞれ示している。また、棒グラフにおける複数の縦線は、居眠り専用チャプタを設定した時刻をそれぞれ示す。本例では、視聴者が居眠りしかけた第１の時点、すなわち居眠り仮確定の時刻が２０時１０分である。そして視聴者が眠りに陥った第２の時点、すなわち居眠り確定の時刻が２０時４４分である。居眠り仮確定の時刻から居眠り確定の時刻までの期間（以下、居眠り仮確定期間という）において、複数の居眠り専用チャプタが設定される。該チャプタに係る設定位置を映像に設定して番組のチャプタを作成する際には、そのための識別信号がＨＤＤ１２の保存データに付加されて一緒に保存される。
【００３１】
図５のＳ５０９では、居眠り専用チャプタの設定後、記録していた番組が終了した場合、コンテンツ管理部９はメモリコントローラ１０に対し、記録の停止指示を出す。その後、Ｓ５１０へ進み処理が終了する。
【００３２】
メモリコントローラ１０は、コンテンツ管理部９からの指示を受けて、ＨＤＤ１２及びＲＯＭ１１との間で、データのやり取りを行う。メモリコントローラ１０は、デコード部７を介して放送番組に係るデータをＨＤＤ１２又はＲＯＭ１１に書き込み、またＨＤＤ１２又はＲＯＭ１１から読み出したデータをデコード部７へ転送して表示部１に送り、画像を表示させる。本実施形態のＲＯＭ１１はデータの一時記憶手段を構成し、所定量の放送番組データを一時的に記録している。つまり、ＲＯＭ１１はコンテンツ管理部９からの指示を受けて、ユーザが放送番組を視聴している時には、ＨＤＤ１２でデータを記録している場合を除いて、視聴中の放送番組に係るデータを常に記録している。
ハードディスクドライブ装置ＨＤＤ１２は、放送番組に係るデータを永続的に記録することができ、必要に応じてメモリコントローラ１０の指示に従い、データを読み出すことができる。
【００３３】
次に、視聴者が居眠り状態から目覚めた後、居眠りによって見逃した番組を視聴する場合の動作について説明する。図７に示すように、チャプタを並べて表示し、視聴者が居眠りのために記憶のないシーンを速やかに検索できる構成形態が好ましい。図７は、記録済みの放送番組に係るデータのタイトルリストについて一例を示す。図の右側にはタイトル番号を降順に示し、その右横にタイトルリストの項目をそれぞれ示している。例えばタイトルＮｏ．５０には、「１１/０５ １９：００−２１：００」で示す日付及び時刻情報と、「４ｃｈ(Ｎてれび)」のチャンネル情報と、「ＢＡスポーツ」という番組名を示している。そしてタイトルの左脇には、視聴者の居眠りが検知されたために居眠り専用チャプタを作成したことを示すアイコン（「居」を矩形枠で囲んで示す）が示されている。そしてユーザ操作により当該タイトルが選択されると、図８に示すように居眠り専用チャプタの画面が表示される。図８は、居眠り仮確定の時刻から居眠り確定の時刻までの間、２分おきにチャプタを作成した例を示す。本例では居眠り仮確定の時刻が２０時１０分であり、居眠り確定の時刻が２０時４４分である。この制御では、制御部８が視聴者の要求をユーザＩＦ部１３から受信し、コンテンツ管理部９がメモリコントローラ１０を経由して、居眠り専用チャプタが設定されたシーンを取り出し、デコード部７を介して表示部１に表示させる。
【００３４】
以上の構成及び処理によれば、視聴者は放送番組の視聴中に居眠りをしても、記憶にないシーンを素早く検索して再生及び視聴することができる。
なお本例では、放送番組に係るデータの一時記録装置としてＦｌａｓｈ＿ＲＯＭを用いたが、これに限らず、リングバッファ等を用いてもよい。ＨＤＤに比べ記憶容量は少ないが、放送番組に係るデータを一時的に記録できるデバイスであれば使用デバイスの如何は問わない。また本例や後述の実施形態に示す具体的な数値、構成、動作等については仕様に応じて適宜変更することができる。例えば、図４のＳ４３における一定回数（１０回）の平均演算や、図５のＳ５０８における時間間隔（２分）でのチャプタ作成等は例示にすぎない。居眠り専用チャプタの作成に関する時間間隔をさらに細かく設定してよい。また、この時間間隔を、居眠り仮確定と判断された第１の時点から居眠り確定と判断された第２の時点までの期間長に応じて変更しても構わない。或いは、当該時間間隔を変更可能な範囲内で任意に変更すること、例えば、予め設定された最大の間隔及び最小の間隔によって規定される範囲内で、前記時間間隔を変更することもできる。
【００３５】
〔第２実施形態〕
次に、本発明の第２実施形態について図９及び１０を用いて説明する。第１実施形態では対象となる視聴者が一人であったが、第２実施形態では複数の視聴者への対応について説明する。第２実施形態に係る装置例を示す機能ブロック図は第１実施形態の場合と同じであり、視聴判断部３を除いた他の機能ブロック図も第１実施形態の場合と同様であるので、それらの説明を割愛し、主として相違点を説明する。なお、このことは後述の実施形態においても同様とする。
【００３６】
図９は第２実施形態に係る視聴判断部３についての詳細な機能ブロック図である。検知部９０には、カメラ２で撮影した画像データが入力される。そして認識すべき対象者が複数の場合、対象者全ての顔と眼を探し出す処理が行われる。なお本例では対象者の人数をＮ人とする。
計測部９１では、検知部９０で探し出したＮ人の全てについて、各人のまぶたの開き量ｄと、まぶたの横の長さＬをそれぞれ計測する。そして各対象者についての正規化された、まぶたの開き量（以下、Ｒｄｎと記す。Ｒｄｎ＝ｄ/Ｌ）が算出され、算出結果を示すデータは全て記憶部９２へ転送される。記憶部９２は、計測部９１から転送されたＮ人について、正規化されたまぶたの開き量Ｒｄｎのデータを保存する。視聴者状態判定部９３は、記憶部９２に保存されたデータを読み込んで、視聴者の状態を判定する。判定処理例を図１０のフローチャートに示す。
【００３７】
Ｓ１００で判定が開始し、判定のタイミングについては予め指定された間隔で行われる。次のＳ１０１で視聴者状態判定部９３は、Ｎ人分のまぶたの開き量Ｒｄｎのデータ（開き量データ）１０２を記憶部９２から読み出す。この時、初期の１0回分のデータと、時間的に最も間近な１０回分のデータ１０２を読み込む処理が行われ、Ｓ１０３に進む。
Ｓ１０３では、時間的に間近な、Ｎ人分の１０回分のデータ中、各回にＲｄｎの値がゼロであるものが１人分以上存在するか否かを視聴者状態判定部９３が判定する。Ｒｄｎの値がゼロであるデータが各回に１人分以上存在すると判定された場合、Ｓ４５に進む。ここで視聴者状態判定部９３は、Ｎ人のうち１人以上の居眠り状態が確定したと判断する。
【００３８】
Ｓ１０４で視聴者状態判定部９３は以下に示す平均値を算出する。
・初期１０回について全員分の正規化されたＲｄｎの平均値（以下、Ａｎと記す）。
・時間的に最も間近な１０回について全員分の正規化されたＲｄｎの平均値（以下、Ｂｎと記す）。
【００３９】
次のＳ１０５で視聴者状態判定部９３は、平均値Ａｎから平均値Ｂｎを減算した差分値、つまり「Ａｎ−Ｂｎ」の値が、予め設定された判定基準値Ｃよりも大きいか否かを判定する。その結果、「Ａｎ−Ｂｎ＞Ｃ」の場合、Ｓ５０へ進むが、「Ａｎ−Ｂｎ≦Ｃ」の場合、Ｓ５４に進む。なお、Ｓ４５乃至４８、及びＳ５０乃至５５の処理について第１実施形態の場合と同様であり、よって詳細な説明を割愛する。
【００４０】
このように、複数の計測対象者が存在する場合、各人の平均値を算出して比較することで、誰かが居眠りしかけているかどうかを判断し、居眠り仮確定フラグを発行できる。そして、複数人のうち一人でも居眠りをしたと判定された場合、視聴者状態判定部９３は居眠り確定フラグを発行することができる。なお、第２実施形態でも第１実施形態と同様に、居眠り仮確定の時刻と居眠り確定の時刻との間において、居眠り専用チャプタを作成する。
以上の構成及び処理によれば、視聴者が複数人の場合であって、誰か一人の視聴者が番組の視聴中に居眠りをしたとしても、当該視聴者は記憶にないシーンを素早く探し出し、画像を再生して視聴することができる。
【００４１】
〔第３実施形態〕
次に、本発明の第３実施形態について図１１及び１２を用いて説明する。第３実施形態では、まぶたが閉じている時間（以下、まぶた閉じ時間という）に基づいて視聴者の視聴状態を判断し、居眠り専用チャプタを作成する。
図１１は第３実施形態に係る視聴判断部３の構成例を示す。計測部１１０は、視聴者の眼を探し出して、まぶた閉じ時間を計測する。まぶた閉じ時間記憶部１１１は、計測部１１０から送られてきた、まぶた閉じ時間のデータを記憶する。視聴者状態判定部１１２は、まぶた閉じ時間に基づいて視聴状態を判定する。例えば図１２に示すフローチャートに従って、居眠り仮確定及び居眠り確定等を含む処理が行われる。
【００４２】
Ｓ１２０での判定開始後、Ｓ１２１へ進む。ここで視聴者状態判定部１１２は、初期の１０回分、及び時間的に最も間近な１０回分のデータを読み込む。まぶた閉じ時間を示すデータ（閉じ時間データ）１２２は、図１１のまぶた閉じ時間記憶部１１１に記憶されている。
次のＳ１２３で視聴者状態判定部１１２は以下に示す平均値を算出する。
・初期の１０回分のまぶた閉じ時間の平均値（以下、ＴＡと記す）。
・時間的に最も間近な１０回分のまぶた閉じ時間の平均値（以下、ＴＢと記す）。
【００４３】
Ｓ１２４では、平均値ＴＢが、予め設定された判定基準時間（以下、Ｃｔｍａｘと記す）と比較される。「ＴＢ＞Ｃｔｍａｘ」の場合、Ｓ４５へ進み、居眠り確定と判定される。また「ＴＢ≦Ｃｔｍａｘ」の場合、Ｓ１２５へ進む。ここで、視聴者状態判定部１１２は「ＴＢ−ＴＡ」の値を算出し、この値を予め設定された判定基準値（以下、Ｃｔｍｉｎと記す）と比較する。その結果、「ＴＢ−ＴＡ＞Ｃｔｍｉｎ」の場合、すなわち初期に比して現時点に近い期間にて、まぶた閉じ時間が一定時間以上長くなっている場合、Ｓ５０へ進み、居眠り仮確定の処理が行われる。また「ＴＢ−ＴＡ≦Ｃｔｍｉｎ」場合、Ｓ５４に進む。なお、Ｓ４５乃至４８、及びＳ５０乃至５５の処理については第１実施形態の場合と同様であり、よってそれらの説明は割愛する。
【００４４】
このように第３実施形態では、まぶた閉じ時間の計測結果に基づいて、居眠り仮確定及び居眠り確定について判定し、居眠り仮確定フラグ及び居眠り確定フラグを発行する。本実施形態でも第１実施形態の場合と同様、居眠り仮確定の時点と居眠り確定の時点との間で居眠り専用チャプタを作成する。
以上の構成及び処理によれば、第１実施形態と同様の効果が得られ、視聴者は、放送番組の視聴中に居眠りをしても、記憶にないシーンを素早く探し出して画像を再生して視聴することができる。
【００４５】
〔第４実施形態〕
次に、本発明の第４実施形態について図１３及び１４を用いて説明する。第４実施形態では、視聴者が複数人の場合で、まぶた閉じ時間の計測結果に基づいて居眠り状態を判定し、居眠り専用チャプタを作成する。
図１３は第４実施形態に係る視聴判断部３を示す機能ブロック図である。検知部１３０には、カメラ２で撮影した画像データが入力され、複数の対象者については、対象者全ての顔と眼を探し出す処理が行われる。本例では対象者をＮ人とする。
【００４６】
計測部１３１は、検知部１３０で探し出したＮ人全てのまぶた閉じ時間（以下、Ｃｔｎと記す）を計測し、データをまぶた閉じ時間記憶部１３２へ送出する。まぶた閉じ時間記憶部１３２は、計測部１３１から送られてきたＮ人分のまぶた閉じ時間のデータを保存する。
視聴者状態判定部１３３は、まぶた閉じ時間記憶部１３２に保存されたデータを読み込んで、視聴者の状態を判定する。判定処理例を図１４のフローチャートに示す。
【００４７】
Ｓ１４０での判定開始後、Ｓ１４１へ進み、Ｎ人について初期の１０回分、及び時間的に最も間近な１０回分のデータＣｔｎを読み込む処理が行われる。まぶた閉じ時間を示すデータ１４２は図１３のまぶた閉じ時間記憶部１３２に記憶されている。
次のＳ１４３で視聴者状態判定部１３３は、時間的に最も間近な１０回分のデータＣｔｎを、予め定められた判定基準値Ｃｔｍａｘと比較する。つまり、該データＣｔｎに関して、各回でＣｔｍａｘを超えたか否か、すなわちＣｔｎ＞Ｃｔｍａｘとなる値が必ず１人分以上あるか否かを視聴者状態判定部１３３が判定する。Ｃｔｎ＞Ｃｔｍａｘの場合、Ｓ４５に移行し、Ｎ人のうち１人以上の居眠り状態が確定したと判断され、それ以外の場合はＳ１４４へ進む。
【００４８】
Ｓ１４４で視聴者状態判定部１３３は、以下に示す平均値を算出する。
・初期１０回について全員分のまぶた閉じ時間の平均値（以下、ＴＡｎと記す）。
・時間的に最も間近な１０回について全員分のまぶた閉じ時間の平均値（以下、ＴＢｎと記す）。
【００４９】
次のＳ１４５で視聴者状態判定部１３３は「ＴＢｎ−ＴＡｎ」の値を求め、これを判定基準値Ｃｔｍｉｎと比較する。その結果、「ＴＢｎ−ＴＡｎ＞Ｃｔｍｉｎ」の場合、すなわち初期に比して現在に近い期間にて、まぶた閉じ時間が一定以上長くなっている場合、Ｓ５０へ進み、居眠り仮確定の処理が行われる。「ＴＢｎ−ＴＡｎ≦Ｃｔｍｉｎ」の場合、Ｓ５４へ進む。なおＳ４５乃至４８、及びＳ５０乃至５５の処理は第１実施形態の場合と同様であり、よってそれらの説明は割愛する。
以上の構成及び処理によれば、複数の視聴者が存在する場合に、誰か１人の視聴者が視聴中に居眠りをしてしまったとしても、当該視聴者は記憶にないシーンを素早く探し出して画像を再生して視聴することができる。
【００５０】
〔第５実施形態〕
次に、本発明の第５実施形態について図１５を用いて説明する。第５実施形態では、居眠り専用チャプタの作成に関する時間間隔が等間隔ではなく、居眠り仮確定期間の中央位置に近づくほどチャプタを集中的に作成する。
図１５は、作成するチャプタの設定時刻について一例を示すイメージ図である。時間軸や棒グラフの意味は図６にて説明した通りである。本例にて居眠り仮確定の時刻は２０時１０分であり、居眠り確定の時刻は２０時４６分である。従って中央の時刻は２０時２８分となる。居眠り専用チャプタの作成処理では、この時刻を中心として、中心時刻に近いほど、より短い間隔でチャプタを作成し、中心時刻から離れるほど、中心付近に比べて長い間隔でチャプタを作成する。例えば、中心時刻の近辺では１分おきにチャプタが作成され、中心時刻から離れた時刻では最大で２分おきにチャプタが作成される。これにより、居眠り専用チャプタの設定に係る密度分布を、居眠り仮確定期間の中央部で高めることができる。
なお、図示しないが、居眠り確定の時刻（２０時４６分）に近づくほど、チャプタを集中的に作成し、居眠り専用チャプタの設定に係る密度分布を高めるようにしてもよい。
以上の構成及び処理によれば、視聴者が放送番組の視聴中に居眠りをしても、記憶にないシーンを前記実施形態と比較して、より素早く探し出せる。
【符号の説明】
【００５１】
１ 表示部
２ カメラ
３ 視聴判断部
８ 制御部
９ コンテンツ管理部
１０ メモリコントローラ（記録制御手段）
１１ Ｆｌａｓｈ＿ＲＯＭ（一時記録手段）
１２ ＨＤＤ（記録手段）
２０ まぶた開き量計測部
２１ 開き量記憶部
２２ 視聴者状態判定部
９０ 検知部
９１ 計測部
９２ 記憶部
９３ 視聴者状態判定部
１１０ 計測部
１１１ まぶた閉じ時間記憶部
１１２ 視聴者状態判定部
１３０ 検知部
１３１ 計測部
１３２ まぶた閉じ時間記憶部
１３３ 視聴者状態判定部
【技術分野】
【０００１】
本発明は、視聴者の居眠り状態を検知して放送番組の記録を実行する技術に関するものである。
【背景技術】
【０００２】
従来、視聴者の視聴状態を監視し、その視聴状態に応じた特別な処理を行う表示装置が提案されている。その特別な処理の一例として、視聴者が居眠りを始めた場合、居眠りの状態を検知して、視聴していた番組を記録する方法が提案されている（例えば、特許文献１参照）。また、ユーザが視聴している番組を簡易的に記録し、居眠りを検知した場合に通常録画に変更する方法も提案されている（例えば、特許文献２参照）。
【０００３】
この他、再生時に視聴者の居眠り状態が検知された場合、居眠りを検知したことを意味する識別フラグをヘッダ情報に付加する方法も提案されている（例えば特許文献３参照）。つまり識別フラグの付加により、再生の際、視聴者に負担をかけずに、居眠りをして見損なったシーンから画像を再生できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３９２９４号公報
【特許文献２】特開２００６−２１１０６１号公報
【特許文献３】特開２００７−１０４３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、人は完全に居眠りする以前から意識があやふやな状態となっている可能性は高い。従来技術では、視聴者にとって全く記憶のないシーンを検出して記録を開始し、記憶にないシーンを視聴者が素早く再生することは困難であった。
そこで本発明は、視聴者が放送番組の視聴中に居眠りをしても、視聴者が記憶していないシーンを見逃さず、かつ記憶にないシーンを速やかに検索して再生できるようにする。本発明の目的は視聴者の利便性を向上させることが可能な記録再生装置及びその制御方法の提供にある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は視聴状態を検出し、検出結果に応じて番組を録画する機能を有する記録再生装置であって、視聴者の居眠りの状態を検知して、居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断する視聴判断手段と、番組を録画する記録手段と、前記視聴判断手段から前記第１の時点及び前記第２の時点に関する判断結果を受けた場合、前記第１の時点から番組を前記記録手段に録画するように前記記録手段に指示し、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を映像に対して設定するように制御を行う制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、視聴者が居眠りしかけた第１の時点から、居眠りに陥った第２の時点までの期間中の映像に対して検索用の設定位置を設定することで、視聴者が記憶にないシーンを容易に検索でき、視聴者の利便性が向上する。
【図面の簡単な説明】
【０００８】
【図１】図２乃至８と併せて本発明の第１実施形態を説明するために、装置の概略構成を例示したブロック図である。
【図２】視聴判断部の概略構成を例示したブロック図である。
【図３】まぶた開き量計測部２１による計測量を示す概略図である。
【図４】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図５】チャプタの作成処理例を示すフローチャートである。
【図６】チャプタ設定の時間間隔を示すイメージ図である。
【図７】タイトルリストのメニュー例を示す図である。
【図８】チャプタ表示の一例を示す図である。
【図９】図１０と併せて本発明の第２実施形態を説明するために、視聴判断部の概略構成を例示したブロック図である。
【図１０】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図１１】図１２と併せて本発明の第３実施形態を説明するために、視聴判断部の概略構成を例示したブロック図である。
【図１２】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図１３】図１４と併せて本発明の第４実施形態を説明するために、視聴判断部の概略構成を例示したブロック図である。
【図１４】視聴者の視聴状態に関する判定処理例を示すフローチャートである。
【図１５】本発明の第５実施形態を説明するために、居眠り仮確定期間の中央に集中したチャプタ設定について例示したイメージ図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、図面を参照しながら説明する。
〔第１実施形態〕
図１は本発明の第１実施形態に係る記録再生装置の構成例を示す機能ブロック図である。本装置は、視聴状態を検出して検出結果に応じた番組録画機能をもつ装置、例えばテレビジョン放送受信装置やレコーダ等に幅広く適用可能である。記録再生装置は表示部１、カメラ２、視聴判断部３、デマルチプレクサ（以下、ＤＭＵＸと略記する）部４、復調器５、チューナ部６を備える。そしてデコード部７、制御部８、コンテンツ管理部９、メモリコントローラ１０、Ｆｌａｓｈ＿ＲＯＭ（以下、単にＲＯＭと記す）１１、ＨＤＤ１２、ユーザインタフェース（以下、インタフェースをＩＦと略記する）部１３が設けられている。なお本例では、記録媒体を用いた記録手段としてハードディスクドライブ装置ＨＤＤ１２を使用するが、これに限らず、各種のメモリ装置や記録デバイスを適用できる。またユーザＩＦ部１３は、リモートコントローラや操作スイッチ等を用いた視聴者からの操作指示を受け付けて、制御部８へ指示を転送する。
【００１０】
チューナ部６で受信した信号は復調器５、ＤＭＵＸ部４を経てデコード部７に送られて復号された後、表示部１に送られる。
表示部１は、デコード部７からの映像信号を受けて画像を表示する。例えば液晶ディスプレイが使用される。但し、これに限らずプラズマディスプレイパネル（ＰＤＰ）、表面伝導電子放出素子型ディスプレイ（ＳＥＤ）、電界放出型ディスプレイ（ＦＥＤ）、有機ＥＬディスプレイ等を用いても構わない。
【００１１】
カメラ２は視聴者の顔を撮影し、特に視聴者の眼を検知して、まぶたの開き量を認識できるように撮影する。撮影のタイミングについては、静止画で所定の間隔をもって撮影してもよいし、また常に撮影し続けてもよい。カメラ２の撮像データは視聴判断部３に送られる。
視聴判断部３は、カメラ２から送信されてきたデータを保存し、該データを解析することで視聴状態を判断した後、判断結果を制御部８に送信する。図２は視聴判断部３の構成例を示す機能ブロック図であり、まぶた開き量計測部２０、開き量記憶部２１、視聴者状態判定部２２から構成される。
【００１２】
まぶた開き量計測部２０は、カメラ２から受信したデータを解析し、まぶたの開き量（以下、ｄと記す）を計測する。また、まぶた開き量計測部２０は同時に、まぶたの横の長さ（以下、Ｌと記す）も計測する。図３に計測個所を示す。そしてまぶた開き量計測部２０は、まぶたの開き量ｄ及び横の長さＬのデータを、開き量記憶部２１に送信する。
【００１３】
開き量記憶部２１は、まぶたの開き量ｄ及び横の長さＬのデータを受信すると、以下の処理を行う。
（１）まぶたの開き量ｄを、まぶたの横の長さＬで除算し、正規化すること（以下、これをＲｄと記す。つまりＲｄ＝ｄ／Ｌ）。
（２）正規化された、まぶたの開き量Ｒｄの値をメモリに保存すること。
【００１４】
視聴者の測定位置が変化すると、まぶたの開き量ｄの計測値が変化するため、上記（１）のように正規化を行うことが望ましい。つまり視聴者の測定位置が変化した場合でも、まぶたの開き度合いの変化を正確に計測できる。
視聴者状態判定部２２は、開き量記憶部２１から記憶済みのＲｄ値を読み出し、視聴者の視聴状態を判定する。判定処理例を図４のフローチャートに示す。
先ずＳ４０で判定が開始する。判定開始のタイミングについては予め指定された間隔とされ、例えば、視聴者状態判定部２２によって２分おきに判定を行うものとする。次のＳ４１では、まぶたの開き量Ｒｄについての読み込み処理が行われる。開き量Ｒｄの値を示すデータ（開き量データ）４２は、図２の開き量記憶部２１から視聴者状態判定部２２に送信される。
【００１５】
Ｓ４３では、開き量Ｒｄに関する平均値算出処理が行われる。具体的には、視聴者状態判定部２２は開き量Ｒｄの計測値から、第１の演算値及び第２の演算値として以下の平均値を算出する。
・第１の演算値＝装置の起動時点又は番組の視聴開始時点から一定回数分、例えば１０回分の計測値に関する平均値（以下、Ａと記す）。
・第２の演算値＝最も時間的に近い計測値から一定回数分遡った期間、例えば現時点から１０回分の過去の期間に亘る計測値に関する平均値（以下、Ｂと記す）。
【００１６】
Ｓ４４で視聴者状態判定部２２は、平均値Ｂの値がゼロであるか否かを判定する。その結果、Ｂ＝０の場合（ＹＥＳの場合）はＳ４５へ進み、Ｂ≠０の場合（ＮＯの場合）はＳ４９へ進む。なお、Ｓ４４において平均値Ｂの値が予め定められた基準範囲内（ゼロ又はその近傍値を含む）に収まっているか否かを視聴者状態判定部２２が判定して構わない。
【００１７】
Ｓ４５で視聴者状態判定部２２は居眠り確定を決定する。すなわち、視聴者が居眠り状態に陥ったことが確定され、Ｓ４６に進む。ここで視聴者状態判定部２２は図１の制御部８に対して、居眠り確定を示すフラグ情報（以下、居眠り確定フラグという）を既に送信したか否かを判断する。その結果、送信済みの場合（ＹＥＳの場合）、Ｓ４７へ進むが、未送信の場合（ＮＯの場合）、Ｓ４８へ進む。なお後述する居眠り仮確定用のフラグを第１のフラグ情報とし、居眠り確定フラグを第２のフラグ情報と定義するが、その理由は後者が前者に比して時間的に後の時点で発行されるからである。
【００１８】
Ｓ４７にて視聴者状態判定部２２は既に制御部８へ居眠り確定フラグを送信しているので、送信不要と判断し、Ｓ５５へ進んで判定が終了する。一方、Ｓ４８にて視聴者状態判定部２２は居眠り確定フラグを制御部８へ送信し、視聴者がすっかり居眠りをしたこと、すなわち居眠りが確定したことを知らせる。同時に視聴者状態判定部２２は、その旨の信号を図２の開き量記憶部２１にも送信して、記憶された開き量について、その初期値を含めてリセットを行い、Ｓ５５に進む。
【００１９】
前記ステップＳ４４でＢ≠０と判定された場合、Ｓ４９に進み、視聴者状態判定部２２はＡからＢを減算した差分値、つまり「Ａ−Ｂ」の値を、判定基準値（以下、Ｃと記す）と比較する。すなわち、初期の平均値Ａから、最も時間的に近い計測値の平均値Ｂを引いた値が、予め設定された値Ｃより大きいか否かが判定される。その結果、「Ａ−Ｂ＞Ｃ」と判定された場合、Ｓ５０へ進むが、「Ａ−Ｂ≦Ｃ」と判定された場合、Ｓ５４に進む。
【００２０】
Ｓ５０で視聴者状態判定部２２は居眠りの仮確定を決定する。つまり、現在のまぶたの開き量が初期の開き量に比べて小さくなってきたことを踏まえて、視聴者状態判定部２２は視聴者が居眠りし始めていると判定し、居眠り仮確定とする。次のＳ５１で視聴者状態判定部２２は制御部８に対して、居眠り仮確定を示す第１のフラグ情報（以下、居眠り仮確定フラグという）を既に送信しているか否かを判断する。送信済みの場合、Ｓ５２へ進み、未送信の場合、Ｓ５３へ進む。
【００２１】
Ｓ５２では、居眠り仮確定フラグが過去に送信済みであるため、視聴者状態判定部２２は、このフラグ情報を制御部８へ送信せず、Ｓ５５に進んで判定が終了する。またＳ５３では、視聴者状態判定部２２は居眠り仮確定フラグを制御部８へ送信し、Ｓ５５に進む。
Ｓ４９からＳ５４に到達した場合、視聴者は特に居眠りをしていないし、居眠りしかけの状態でもないと判断される。視聴者状態判定部２２は居眠り仮確定フラグ及び居眠り確定フラグをいずれも制御部８へ送信しないと決定し、Ｓ５５へ進んで判定が終了する。
【００２２】
このように、図１の視聴判断部３では、居眠り確定フラグと、居眠り仮確定フラグの２種類のフラグを、視聴者の視聴状態に応じて制御部８に送信する。
再び図１に戻って各部の機能を説明する。チューナ部６は、放送波のＲＦ（Radio Frequency）信号を受信し、復調器５はＲＦ信号をＴＳ（トランスポートストリーム）信号へ戻す。ＤＭＵＸ部４は、復調されたＴＳ信号から、ビデオ信号やオーディオ信号のパケット信号のブロックへと分割処理を行い、各信号をデコード部７へ送信する。デコード部７は、ＭＰＥＧの映像信号、及びオーディオ信号のデコードを行い、ビデオフォーマット信号やオーディオ信号に変換して表示部１に送信する。なおＭＰＥＧは”Moving Picture Experts Group”の略号である。
【００２３】
装置の制御全般を司る制御部８は、視聴判断部３から受信した居眠り仮確定フラグ及び居眠り確定フラグをコンテンツ管理部９へ送信する。また制御部８は、ユーザＩＦ部１３から、視聴者の操作指示や命令を受けて、デコード部７を制御する。つまり制御部８は、ＤＭＵＸ部４からの信号と、記録制御手段を構成するメモリコントローラ１０からの信号のうち、どちらの信号のデコードを行い、表示部１へ出力するかについて選択の制御を行う。制御部８はまた、視聴者の操作指示に従って、受信するチャンネルをチューナ部６に指示する。視聴時に制御部８は、ＤＭＵＸ部４からデコード部７を介してメモリコントローラ１０へ放送波の受信データを送信するよう、デコード部７に指示する。制御部８はユーザＩＦ部１３から視聴者の操作指示を受けた場合、コンテンツ管理部９に対し、記録している放送番組コンテンツのデータを送るように指示する。また制御部８は表示部１への制御信号、例えば表示のＯＮ/ＯＦＦ指示を送出する。
【００２４】
コンテンツ管理部９では、居眠り仮確定フラグ及び居眠り確定フラグを制御部８から受信すると、チャプタの設定及び保存、並びに番組の記録方法の指示を、メモリコントローラ１０に対して行う。以下、本実施形態の特徴である、居眠りに対する専用のチャプタ（以下、居眠り専用チャプタという）の作成について説明する。
【００２５】
先ずコンテンツ管理部９は、視聴者が放送波に係る映像を視聴している場合、制御部８からの指示を受けて、デコード部７を介して、受信した放送番組をＲＯＭ１１に記録し続けるように、メモリコントローラ１０へ指示する。これにより、視聴していた放送番組のデータは必ず一定時間に亘ってメモリに記録される。
そして、コンテンツ管理部９は居眠り仮確定フラグ及び居眠り確定フラグを受信すると、図５に示すフローチャートに従って、居眠り専用チャプタを設定して、同時に番組を記録するようメモリコントローラ１０に指示する。
【００２６】
図５のＳ５００にて処理が開始し、Ｓ５０１でコンテンツ管理部９が前記フラグを受信すると、Ｓ５０２へ進む。なおコンテンツ管理部９が前記フラグを受信しない場合には、該フラグを受信するまで待機する。Ｓ５０２でコンテンツ管理部９はフラグを判別する。受信したフラグが居眠り仮確定フラグである場合、Ｓ５０３に進むが、居眠り確定フラグの場合、Ｓ５０６へ進む。
【００２７】
Ｓ５０３でコンテンツ管理部９は、居眠り仮確定フラグを受信した時刻においてＲＯＭ１１で記録している放送番組データに対し、居眠り仮確定フラグに対応する識別信号を付加して、後でデータを検索できるようにする。例えばリングバッファ上のデータに対して居眠り仮確定フラグのデータが付加される。なお、この指示はコンテンツ管理部９からメモリコントローラ１０に送られる。
【００２８】
Ｓ５０４では、ＲＯＭ１１に記録されている、現在視聴中の放送番組のデータを、ＨＤＤ１２へ転送する処理が行われる。本ステップについては、コンテンツ管理部９からメモリコントローラ１０へデータ転送の指示が出される。指示を受けたメモリコントローラ１０は、居眠り仮確定フラグのデータが付加された現在視聴中の放送番組のデータを、ＲＯＭ１１から読み出してＨＤＤ１２へ転送する。
【００２９】
Ｓ５０５では、これ以降、放送番組のデータをＨＤＤ１２へ記録するよう指示が出される。本ステップは、コンテンツ管理部９からメモリコントローラ１０への記録指示に従って行われ、メモリコントローラ１０は、入力された放送番組のデータをＨＤＤ１２へ送って記録させる。その後、Ｓ５０１に戻る。
Ｓ５０６では、居眠り確定フラグを受信した時刻における放送番組のデータに対し、居眠り確定フラグに対応する識別信号を付加する処理が行われる。本ステップではコンテンツ管理部９がメモリコントローラ１０に指示する。
Ｓ５０７では、居眠り仮確定フラグが付加された放送番組のデータについて検索処理が行われる。つまりＨＤＤ１２に保存された、現在記録中の放送番組のデータから、フラグ情報が付加されたデータが検索される。本ステップではコンテンツ管理部９からメモリコントローラ１０に指示を出すことで、ＨＤＤ１２内のデータを検索する。
【００３０】
Ｓ５０８では、居眠り仮確定フラグが付加された時刻と、居眠り確定フラグが付加された時刻との間に亘って、所定の時間間隔で居眠り専用チャプタを設定する。該チャプタは視聴者の居眠り状態に対処するために自動的に設定されて、録画番組に関する検索用の設定位置として利用される。この居眠り専用チャプタを作成するための時刻についてはコンテンツ管理部９が決定し、メモリコントローラ１０を介して、ＨＤＤ１２内のデータには、対応する時刻にチャプタを設定する。また前記所定の間隔については、例えば等間隔に設定すればよい。本例では２分おきにチャプタを設定する。チャプタを設定した場合のイメージ図を図６に示す。本図の横軸には時間軸を示し、棒グラフの左端が番組の録画開始時刻、右端が録画終了時刻をそれぞれ示している。また、棒グラフにおける複数の縦線は、居眠り専用チャプタを設定した時刻をそれぞれ示す。本例では、視聴者が居眠りしかけた第１の時点、すなわち居眠り仮確定の時刻が２０時１０分である。そして視聴者が眠りに陥った第２の時点、すなわち居眠り確定の時刻が２０時４４分である。居眠り仮確定の時刻から居眠り確定の時刻までの期間（以下、居眠り仮確定期間という）において、複数の居眠り専用チャプタが設定される。該チャプタに係る設定位置を映像に設定して番組のチャプタを作成する際には、そのための識別信号がＨＤＤ１２の保存データに付加されて一緒に保存される。
【００３１】
図５のＳ５０９では、居眠り専用チャプタの設定後、記録していた番組が終了した場合、コンテンツ管理部９はメモリコントローラ１０に対し、記録の停止指示を出す。その後、Ｓ５１０へ進み処理が終了する。
【００３２】
メモリコントローラ１０は、コンテンツ管理部９からの指示を受けて、ＨＤＤ１２及びＲＯＭ１１との間で、データのやり取りを行う。メモリコントローラ１０は、デコード部７を介して放送番組に係るデータをＨＤＤ１２又はＲＯＭ１１に書き込み、またＨＤＤ１２又はＲＯＭ１１から読み出したデータをデコード部７へ転送して表示部１に送り、画像を表示させる。本実施形態のＲＯＭ１１はデータの一時記憶手段を構成し、所定量の放送番組データを一時的に記録している。つまり、ＲＯＭ１１はコンテンツ管理部９からの指示を受けて、ユーザが放送番組を視聴している時には、ＨＤＤ１２でデータを記録している場合を除いて、視聴中の放送番組に係るデータを常に記録している。
ハードディスクドライブ装置ＨＤＤ１２は、放送番組に係るデータを永続的に記録することができ、必要に応じてメモリコントローラ１０の指示に従い、データを読み出すことができる。
【００３３】
次に、視聴者が居眠り状態から目覚めた後、居眠りによって見逃した番組を視聴する場合の動作について説明する。図７に示すように、チャプタを並べて表示し、視聴者が居眠りのために記憶のないシーンを速やかに検索できる構成形態が好ましい。図７は、記録済みの放送番組に係るデータのタイトルリストについて一例を示す。図の右側にはタイトル番号を降順に示し、その右横にタイトルリストの項目をそれぞれ示している。例えばタイトルＮｏ．５０には、「１１/０５ １９：００−２１：００」で示す日付及び時刻情報と、「４ｃｈ(Ｎてれび)」のチャンネル情報と、「ＢＡスポーツ」という番組名を示している。そしてタイトルの左脇には、視聴者の居眠りが検知されたために居眠り専用チャプタを作成したことを示すアイコン（「居」を矩形枠で囲んで示す）が示されている。そしてユーザ操作により当該タイトルが選択されると、図８に示すように居眠り専用チャプタの画面が表示される。図８は、居眠り仮確定の時刻から居眠り確定の時刻までの間、２分おきにチャプタを作成した例を示す。本例では居眠り仮確定の時刻が２０時１０分であり、居眠り確定の時刻が２０時４４分である。この制御では、制御部８が視聴者の要求をユーザＩＦ部１３から受信し、コンテンツ管理部９がメモリコントローラ１０を経由して、居眠り専用チャプタが設定されたシーンを取り出し、デコード部７を介して表示部１に表示させる。
【００３４】
以上の構成及び処理によれば、視聴者は放送番組の視聴中に居眠りをしても、記憶にないシーンを素早く検索して再生及び視聴することができる。
なお本例では、放送番組に係るデータの一時記録装置としてＦｌａｓｈ＿ＲＯＭを用いたが、これに限らず、リングバッファ等を用いてもよい。ＨＤＤに比べ記憶容量は少ないが、放送番組に係るデータを一時的に記録できるデバイスであれば使用デバイスの如何は問わない。また本例や後述の実施形態に示す具体的な数値、構成、動作等については仕様に応じて適宜変更することができる。例えば、図４のＳ４３における一定回数（１０回）の平均演算や、図５のＳ５０８における時間間隔（２分）でのチャプタ作成等は例示にすぎない。居眠り専用チャプタの作成に関する時間間隔をさらに細かく設定してよい。また、この時間間隔を、居眠り仮確定と判断された第１の時点から居眠り確定と判断された第２の時点までの期間長に応じて変更しても構わない。或いは、当該時間間隔を変更可能な範囲内で任意に変更すること、例えば、予め設定された最大の間隔及び最小の間隔によって規定される範囲内で、前記時間間隔を変更することもできる。
【００３５】
〔第２実施形態〕
次に、本発明の第２実施形態について図９及び１０を用いて説明する。第１実施形態では対象となる視聴者が一人であったが、第２実施形態では複数の視聴者への対応について説明する。第２実施形態に係る装置例を示す機能ブロック図は第１実施形態の場合と同じであり、視聴判断部３を除いた他の機能ブロック図も第１実施形態の場合と同様であるので、それらの説明を割愛し、主として相違点を説明する。なお、このことは後述の実施形態においても同様とする。
【００３６】
図９は第２実施形態に係る視聴判断部３についての詳細な機能ブロック図である。検知部９０には、カメラ２で撮影した画像データが入力される。そして認識すべき対象者が複数の場合、対象者全ての顔と眼を探し出す処理が行われる。なお本例では対象者の人数をＮ人とする。
計測部９１では、検知部９０で探し出したＮ人の全てについて、各人のまぶたの開き量ｄと、まぶたの横の長さＬをそれぞれ計測する。そして各対象者についての正規化された、まぶたの開き量（以下、Ｒｄｎと記す。Ｒｄｎ＝ｄ/Ｌ）が算出され、算出結果を示すデータは全て記憶部９２へ転送される。記憶部９２は、計測部９１から転送されたＮ人について、正規化されたまぶたの開き量Ｒｄｎのデータを保存する。視聴者状態判定部９３は、記憶部９２に保存されたデータを読み込んで、視聴者の状態を判定する。判定処理例を図１０のフローチャートに示す。
【００３７】
Ｓ１００で判定が開始し、判定のタイミングについては予め指定された間隔で行われる。次のＳ１０１で視聴者状態判定部９３は、Ｎ人分のまぶたの開き量Ｒｄｎのデータ（開き量データ）１０２を記憶部９２から読み出す。この時、初期の１0回分のデータと、時間的に最も間近な１０回分のデータ１０２を読み込む処理が行われ、Ｓ１０３に進む。
Ｓ１０３では、時間的に間近な、Ｎ人分の１０回分のデータ中、各回にＲｄｎの値がゼロであるものが１人分以上存在するか否かを視聴者状態判定部９３が判定する。Ｒｄｎの値がゼロであるデータが各回に１人分以上存在すると判定された場合、Ｓ４５に進む。ここで視聴者状態判定部９３は、Ｎ人のうち１人以上の居眠り状態が確定したと判断する。
【００３８】
Ｓ１０４で視聴者状態判定部９３は以下に示す平均値を算出する。
・初期１０回について全員分の正規化されたＲｄｎの平均値（以下、Ａｎと記す）。
・時間的に最も間近な１０回について全員分の正規化されたＲｄｎの平均値（以下、Ｂｎと記す）。
【００３９】
次のＳ１０５で視聴者状態判定部９３は、平均値Ａｎから平均値Ｂｎを減算した差分値、つまり「Ａｎ−Ｂｎ」の値が、予め設定された判定基準値Ｃよりも大きいか否かを判定する。その結果、「Ａｎ−Ｂｎ＞Ｃ」の場合、Ｓ５０へ進むが、「Ａｎ−Ｂｎ≦Ｃ」の場合、Ｓ５４に進む。なお、Ｓ４５乃至４８、及びＳ５０乃至５５の処理について第１実施形態の場合と同様であり、よって詳細な説明を割愛する。
【００４０】
このように、複数の計測対象者が存在する場合、各人の平均値を算出して比較することで、誰かが居眠りしかけているかどうかを判断し、居眠り仮確定フラグを発行できる。そして、複数人のうち一人でも居眠りをしたと判定された場合、視聴者状態判定部９３は居眠り確定フラグを発行することができる。なお、第２実施形態でも第１実施形態と同様に、居眠り仮確定の時刻と居眠り確定の時刻との間において、居眠り専用チャプタを作成する。
以上の構成及び処理によれば、視聴者が複数人の場合であって、誰か一人の視聴者が番組の視聴中に居眠りをしたとしても、当該視聴者は記憶にないシーンを素早く探し出し、画像を再生して視聴することができる。
【００４１】
〔第３実施形態〕
次に、本発明の第３実施形態について図１１及び１２を用いて説明する。第３実施形態では、まぶたが閉じている時間（以下、まぶた閉じ時間という）に基づいて視聴者の視聴状態を判断し、居眠り専用チャプタを作成する。
図１１は第３実施形態に係る視聴判断部３の構成例を示す。計測部１１０は、視聴者の眼を探し出して、まぶた閉じ時間を計測する。まぶた閉じ時間記憶部１１１は、計測部１１０から送られてきた、まぶた閉じ時間のデータを記憶する。視聴者状態判定部１１２は、まぶた閉じ時間に基づいて視聴状態を判定する。例えば図１２に示すフローチャートに従って、居眠り仮確定及び居眠り確定等を含む処理が行われる。
【００４２】
Ｓ１２０での判定開始後、Ｓ１２１へ進む。ここで視聴者状態判定部１１２は、初期の１０回分、及び時間的に最も間近な１０回分のデータを読み込む。まぶた閉じ時間を示すデータ（閉じ時間データ）１２２は、図１１のまぶた閉じ時間記憶部１１１に記憶されている。
次のＳ１２３で視聴者状態判定部１１２は以下に示す平均値を算出する。
・初期の１０回分のまぶた閉じ時間の平均値（以下、ＴＡと記す）。
・時間的に最も間近な１０回分のまぶた閉じ時間の平均値（以下、ＴＢと記す）。
【００４３】
Ｓ１２４では、平均値ＴＢが、予め設定された判定基準時間（以下、Ｃｔｍａｘと記す）と比較される。「ＴＢ＞Ｃｔｍａｘ」の場合、Ｓ４５へ進み、居眠り確定と判定される。また「ＴＢ≦Ｃｔｍａｘ」の場合、Ｓ１２５へ進む。ここで、視聴者状態判定部１１２は「ＴＢ−ＴＡ」の値を算出し、この値を予め設定された判定基準値（以下、Ｃｔｍｉｎと記す）と比較する。その結果、「ＴＢ−ＴＡ＞Ｃｔｍｉｎ」の場合、すなわち初期に比して現時点に近い期間にて、まぶた閉じ時間が一定時間以上長くなっている場合、Ｓ５０へ進み、居眠り仮確定の処理が行われる。また「ＴＢ−ＴＡ≦Ｃｔｍｉｎ」場合、Ｓ５４に進む。なお、Ｓ４５乃至４８、及びＳ５０乃至５５の処理については第１実施形態の場合と同様であり、よってそれらの説明は割愛する。
【００４４】
このように第３実施形態では、まぶた閉じ時間の計測結果に基づいて、居眠り仮確定及び居眠り確定について判定し、居眠り仮確定フラグ及び居眠り確定フラグを発行する。本実施形態でも第１実施形態の場合と同様、居眠り仮確定の時点と居眠り確定の時点との間で居眠り専用チャプタを作成する。
以上の構成及び処理によれば、第１実施形態と同様の効果が得られ、視聴者は、放送番組の視聴中に居眠りをしても、記憶にないシーンを素早く探し出して画像を再生して視聴することができる。
【００４５】
〔第４実施形態〕
次に、本発明の第４実施形態について図１３及び１４を用いて説明する。第４実施形態では、視聴者が複数人の場合で、まぶた閉じ時間の計測結果に基づいて居眠り状態を判定し、居眠り専用チャプタを作成する。
図１３は第４実施形態に係る視聴判断部３を示す機能ブロック図である。検知部１３０には、カメラ２で撮影した画像データが入力され、複数の対象者については、対象者全ての顔と眼を探し出す処理が行われる。本例では対象者をＮ人とする。
【００４６】
計測部１３１は、検知部１３０で探し出したＮ人全てのまぶた閉じ時間（以下、Ｃｔｎと記す）を計測し、データをまぶた閉じ時間記憶部１３２へ送出する。まぶた閉じ時間記憶部１３２は、計測部１３１から送られてきたＮ人分のまぶた閉じ時間のデータを保存する。
視聴者状態判定部１３３は、まぶた閉じ時間記憶部１３２に保存されたデータを読み込んで、視聴者の状態を判定する。判定処理例を図１４のフローチャートに示す。
【００４７】
Ｓ１４０での判定開始後、Ｓ１４１へ進み、Ｎ人について初期の１０回分、及び時間的に最も間近な１０回分のデータＣｔｎを読み込む処理が行われる。まぶた閉じ時間を示すデータ１４２は図１３のまぶた閉じ時間記憶部１３２に記憶されている。
次のＳ１４３で視聴者状態判定部１３３は、時間的に最も間近な１０回分のデータＣｔｎを、予め定められた判定基準値Ｃｔｍａｘと比較する。つまり、該データＣｔｎに関して、各回でＣｔｍａｘを超えたか否か、すなわちＣｔｎ＞Ｃｔｍａｘとなる値が必ず１人分以上あるか否かを視聴者状態判定部１３３が判定する。Ｃｔｎ＞Ｃｔｍａｘの場合、Ｓ４５に移行し、Ｎ人のうち１人以上の居眠り状態が確定したと判断され、それ以外の場合はＳ１４４へ進む。
【００４８】
Ｓ１４４で視聴者状態判定部１３３は、以下に示す平均値を算出する。
・初期１０回について全員分のまぶた閉じ時間の平均値（以下、ＴＡｎと記す）。
・時間的に最も間近な１０回について全員分のまぶた閉じ時間の平均値（以下、ＴＢｎと記す）。
【００４９】
次のＳ１４５で視聴者状態判定部１３３は「ＴＢｎ−ＴＡｎ」の値を求め、これを判定基準値Ｃｔｍｉｎと比較する。その結果、「ＴＢｎ−ＴＡｎ＞Ｃｔｍｉｎ」の場合、すなわち初期に比して現在に近い期間にて、まぶた閉じ時間が一定以上長くなっている場合、Ｓ５０へ進み、居眠り仮確定の処理が行われる。「ＴＢｎ−ＴＡｎ≦Ｃｔｍｉｎ」の場合、Ｓ５４へ進む。なおＳ４５乃至４８、及びＳ５０乃至５５の処理は第１実施形態の場合と同様であり、よってそれらの説明は割愛する。
以上の構成及び処理によれば、複数の視聴者が存在する場合に、誰か１人の視聴者が視聴中に居眠りをしてしまったとしても、当該視聴者は記憶にないシーンを素早く探し出して画像を再生して視聴することができる。
【００５０】
〔第５実施形態〕
次に、本発明の第５実施形態について図１５を用いて説明する。第５実施形態では、居眠り専用チャプタの作成に関する時間間隔が等間隔ではなく、居眠り仮確定期間の中央位置に近づくほどチャプタを集中的に作成する。
図１５は、作成するチャプタの設定時刻について一例を示すイメージ図である。時間軸や棒グラフの意味は図６にて説明した通りである。本例にて居眠り仮確定の時刻は２０時１０分であり、居眠り確定の時刻は２０時４６分である。従って中央の時刻は２０時２８分となる。居眠り専用チャプタの作成処理では、この時刻を中心として、中心時刻に近いほど、より短い間隔でチャプタを作成し、中心時刻から離れるほど、中心付近に比べて長い間隔でチャプタを作成する。例えば、中心時刻の近辺では１分おきにチャプタが作成され、中心時刻から離れた時刻では最大で２分おきにチャプタが作成される。これにより、居眠り専用チャプタの設定に係る密度分布を、居眠り仮確定期間の中央部で高めることができる。
なお、図示しないが、居眠り確定の時刻（２０時４６分）に近づくほど、チャプタを集中的に作成し、居眠り専用チャプタの設定に係る密度分布を高めるようにしてもよい。
以上の構成及び処理によれば、視聴者が放送番組の視聴中に居眠りをしても、記憶にないシーンを前記実施形態と比較して、より素早く探し出せる。
【符号の説明】
【００５１】
１ 表示部
２ カメラ
３ 視聴判断部
８ 制御部
９ コンテンツ管理部
１０ メモリコントローラ（記録制御手段）
１１ Ｆｌａｓｈ＿ＲＯＭ（一時記録手段）
１２ ＨＤＤ（記録手段）
２０ まぶた開き量計測部
２１ 開き量記憶部
２２ 視聴者状態判定部
９０ 検知部
９１ 計測部
９２ 記憶部
９３ 視聴者状態判定部
１１０ 計測部
１１１ まぶた閉じ時間記憶部
１１２ 視聴者状態判定部
１３０ 検知部
１３１ 計測部
１３２ まぶた閉じ時間記憶部
１３３ 視聴者状態判定部
【特許請求の範囲】
【請求項１】
視聴状態を検出し、検出結果に応じて番組を録画する機能を有する記録再生装置であって、
視聴者の居眠りの状態を検知して、居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断する視聴判断手段と、
番組を録画する記録手段と、
前記視聴判断手段から前記第１の時点及び前記第２の時点に関する判断結果を受けた場合、前記第１の時点から番組を前記記録手段に録画するように前記記録手段に指示し、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を映像に対して設定するように制御を行う制御手段と、を備えたことを特徴とする記録再生装置。
【請求項２】
視聴中の番組に係るデータを記録する一時記録手段と、
前記一時記録手段及び前記記録手段を制御する記録制御手段と、
前記一時記録手段及び前記録手段により記録したデータを管理するコンテンツ管理手段をさらに備え、
前記視聴判断手段は、前記第１の時点で第１のフラグ情報を前記制御手段に送出し、前記第２の時点で第２のフラグ情報を前記制御手段に送出し、
前記コンテンツ管理手段は、前記制御手段から前記第１のフラグ情報を受信すると、該フラグ情報に対応する識別信号を、前記第１の時点において前記一時記録手段によって記録されたデータに付加し、前記記録制御手段に対して指示を送り、前記一時記録手段で記録した番組に係るデータを前記記録手段に記録させ、
前記コンテンツ管理手段は、前記制御手段から前記第２のフラグ情報を受信すると、該フラグ情報に対応する識別信号を、前記第２の時点において前記記録手段によって記録されたデータに付加し、前記第１の時点から前記第２の時点までの期間において、予め定められた時間間隔で前記設定位置を映像に設定して番組のチャプタを作成するための識別信号を、前記記録手段に保存されたデータに設定することを特徴とする、請求項１に記載の記録再生装置。
【請求項３】
前記視聴判断手段は、
視聴者を撮影した画像データに基づいて顔及び眼の位置を検知して解析するための計測手段と、
前記計測手段の結果を記憶する記憶手段と、
前記記憶手段に記憶された計測結果に基づいて、前記第１の時点における居眠り仮確定の判断及び前記第２の時点における居眠り確定の判断を行う視聴者状態判定手段と、を備えることを特徴とする請求項１又は２に記載の記録再生装置。
【請求項４】
前記視聴者状態判定手段は、前記居眠り仮確定の如何について判断する際、装置の起動時点又は番組の視聴開始時点から前記計測手段で計測した一定回数分の計測結果に基づく第１の演算値と、現時点から一定回数分遡った時点までの期間にて前記計測手段で計測した計測結果に基づく第２の演算値を算出し、前記第１の演算値と前記第２の演算値との差分値を求め、該差分値が予め定められた判定基準値を超えた場合に居眠り仮確定と判断することを特徴とする、請求項３に記載の記録再生装置。
【請求項５】
前記視聴者状態判定手段は、前記居眠り確定の如何について判断する際、前記第２の演算値が、予め定められた判定基準値に等しいか又は基準範囲内である場合に居眠り確定と判断することを特徴とする、請求項４に記載の記録再生装置。
【請求項６】
前記計測手段は、まぶたの開き量又はまぶたが閉じている時間を計測することを特徴とする、請求項３から５のいずれか１項に記載の記録再生装置。
【請求項７】
前記視聴判断手段は、
複数の視聴者を撮影した画像データを解析して各視聴者の顔及び眼の位置を検知する検知手段と、
前記検知手段で検知した全ての視聴者の顔及び眼の位置から視聴者の眼の状態を計測する計測手段と、
前記計測手段の計測結果を記憶する記憶手段と、
前記記憶手段に記憶された計測結果に基づいて、１人以上の視聴者について前記第１の時点における居眠り仮確定の判断、及び１人以上の視聴者について前記第２の時点における居眠り確定の判断を行う視聴者状態判定手段と、を備えることを特徴とする請求項１又は２に記載の記録再生装置。
【請求項８】
前記制御手段は、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を等しい時間間隔で設定し、又は当該期間の中央に近いほど該設定位置の分布が密となるように制御することを特徴する、請求項１から７のいずれか１項に記載の記録再生装置。
【請求項９】
前記制御手段は、前記第１の時点から前記第２の時点までの期間において設定された複数の設定位置に対応する映像を時刻情報とともに表示させるように制御することを特徴する、請求項１から８のいずれか１項に記載の記録再生装置。
【請求項１０】
視聴状態を検出し、検出結果に応じて番組を録画する機能を有する記録再生装置の制御方法であって、
視聴者の居眠りの状態を検知して、居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断するステップと、
前記ステップで判断された第１の時点で番組の録画を開始させ、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を映像に対して設定するステップと、を有することを特徴とする記録再生装置の制御方法。
【請求項１】
視聴状態を検出し、検出結果に応じて番組を録画する機能を有する記録再生装置であって、
視聴者の居眠りの状態を検知して、居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断する視聴判断手段と、
番組を録画する記録手段と、
前記視聴判断手段から前記第１の時点及び前記第２の時点に関する判断結果を受けた場合、前記第１の時点から番組を前記記録手段に録画するように前記記録手段に指示し、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を映像に対して設定するように制御を行う制御手段と、を備えたことを特徴とする記録再生装置。
【請求項２】
視聴中の番組に係るデータを記録する一時記録手段と、
前記一時記録手段及び前記記録手段を制御する記録制御手段と、
前記一時記録手段及び前記録手段により記録したデータを管理するコンテンツ管理手段をさらに備え、
前記視聴判断手段は、前記第１の時点で第１のフラグ情報を前記制御手段に送出し、前記第２の時点で第２のフラグ情報を前記制御手段に送出し、
前記コンテンツ管理手段は、前記制御手段から前記第１のフラグ情報を受信すると、該フラグ情報に対応する識別信号を、前記第１の時点において前記一時記録手段によって記録されたデータに付加し、前記記録制御手段に対して指示を送り、前記一時記録手段で記録した番組に係るデータを前記記録手段に記録させ、
前記コンテンツ管理手段は、前記制御手段から前記第２のフラグ情報を受信すると、該フラグ情報に対応する識別信号を、前記第２の時点において前記記録手段によって記録されたデータに付加し、前記第１の時点から前記第２の時点までの期間において、予め定められた時間間隔で前記設定位置を映像に設定して番組のチャプタを作成するための識別信号を、前記記録手段に保存されたデータに設定することを特徴とする、請求項１に記載の記録再生装置。
【請求項３】
前記視聴判断手段は、
視聴者を撮影した画像データに基づいて顔及び眼の位置を検知して解析するための計測手段と、
前記計測手段の結果を記憶する記憶手段と、
前記記憶手段に記憶された計測結果に基づいて、前記第１の時点における居眠り仮確定の判断及び前記第２の時点における居眠り確定の判断を行う視聴者状態判定手段と、を備えることを特徴とする請求項１又は２に記載の記録再生装置。
【請求項４】
前記視聴者状態判定手段は、前記居眠り仮確定の如何について判断する際、装置の起動時点又は番組の視聴開始時点から前記計測手段で計測した一定回数分の計測結果に基づく第１の演算値と、現時点から一定回数分遡った時点までの期間にて前記計測手段で計測した計測結果に基づく第２の演算値を算出し、前記第１の演算値と前記第２の演算値との差分値を求め、該差分値が予め定められた判定基準値を超えた場合に居眠り仮確定と判断することを特徴とする、請求項３に記載の記録再生装置。
【請求項５】
前記視聴者状態判定手段は、前記居眠り確定の如何について判断する際、前記第２の演算値が、予め定められた判定基準値に等しいか又は基準範囲内である場合に居眠り確定と判断することを特徴とする、請求項４に記載の記録再生装置。
【請求項６】
前記計測手段は、まぶたの開き量又はまぶたが閉じている時間を計測することを特徴とする、請求項３から５のいずれか１項に記載の記録再生装置。
【請求項７】
前記視聴判断手段は、
複数の視聴者を撮影した画像データを解析して各視聴者の顔及び眼の位置を検知する検知手段と、
前記検知手段で検知した全ての視聴者の顔及び眼の位置から視聴者の眼の状態を計測する計測手段と、
前記計測手段の計測結果を記憶する記憶手段と、
前記記憶手段に記憶された計測結果に基づいて、１人以上の視聴者について前記第１の時点における居眠り仮確定の判断、及び１人以上の視聴者について前記第２の時点における居眠り確定の判断を行う視聴者状態判定手段と、を備えることを特徴とする請求項１又は２に記載の記録再生装置。
【請求項８】
前記制御手段は、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を等しい時間間隔で設定し、又は当該期間の中央に近いほど該設定位置の分布が密となるように制御することを特徴する、請求項１から７のいずれか１項に記載の記録再生装置。
【請求項９】
前記制御手段は、前記第１の時点から前記第２の時点までの期間において設定された複数の設定位置に対応する映像を時刻情報とともに表示させるように制御することを特徴する、請求項１から８のいずれか１項に記載の記録再生装置。
【請求項１０】
視聴状態を検出し、検出結果に応じて番組を録画する機能を有する記録再生装置の制御方法であって、
視聴者の居眠りの状態を検知して、居眠りしかけた第１の時点及び眠りに陥った第２の時点を判断するステップと、
前記ステップで判断された第１の時点で番組の録画を開始させ、前記第１の時点から前記第２の時点までの期間において番組に関する検索用の設定位置を映像に対して設定するステップと、を有することを特徴とする記録再生装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２８７９３６（Ｐ２０１０−２８７９３６Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３７９５７（Ｐ２００９−１３７９５７）
【出願日】平成２１年６月９日（２００９．６．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月９日（２００９．６．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]