撮像装置および撮像装置用半導体集積回路
【課題】画像データの整理および管理機能を備えた撮像装置に関し、ＰＣ等の撮像装置以外の機器を使用することなく、撮像時の被写体情報に基づき、記録メディアへの画像データの管理を行いやすい形式で記録し、印刷・表示などの機能の操作利便性を高める。
【解決手段】被写体を撮像して画像信号を得る撮像手段１０１と、撮像手段１０１から得られた画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段１０３と、信号処理手段１０３より得られる画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段１０４と、画像認識手段１０４により生成された画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録する分類記録処理手段１０６とを備える。
【解決手段】被写体を撮像して画像信号を得る撮像手段１０１と、撮像手段１０１から得られた画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段１０３と、信号処理手段１０３より得られる画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段１０４と、画像認識手段１０４により生成された画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録する分類記録処理手段１０６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像を記録・再生可能な撮像装置、特に画像データの整理および管理機能を備えた撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラをはじめとする撮像装置が普及してきている。これらの撮像装置においては、例えばフラッシュメモリ等の内蔵の記憶媒体、もしくは外部より本体に挿入するＳＤメモリカード（商標：Secure Digital memory card）等の外付けの記録媒体（以下、記録メディアと称する）に、画像データを記録することができる。さらに、記憶媒体の大容量化も推進されており、多数の画像データを記録メディアに記録することが可能となっている。
【０００３】
また、デジタルスチルカメラにおいては、高機能化が促進されており、シャッタースピード、絞り、ホワイトバランスをはじめとする各種撮像条件をユーザが自由に可変できるモード（以下、マニュアルモードと称する）や、前述の各種撮影条件を現在の撮像条件に従いカメラ内部において自動的に調整し撮影するモード（以下、オートモードと称する）の機能を備えたものが普及している。ユーザはこれらの機能を選択して使用することにより、ユーザのイメージにより近い画像を撮影することが可能となる。
【０００４】
また、撮像装置の液晶画面などの表示装置において画像データを再生表示する機能、撮像装置をプリンタなどの印刷装置に直接接続し画像データを印刷するシステムを使用する機能、を持った撮像装置も増加している。これらの機能を用いることにより、ユーザは、記録メディアに記憶された膨大な画像データの中から希望する画像データを、簡単な操作で表示・印刷を行うことが可能となっている。
【０００５】
しかしながら、上述したとおり記憶媒体の大容量化が進むことに伴い、大量の画像データが１つの記録メディア内に記憶されるため、表示・印刷の機能を実現する場合において大量の画像データの中よりユーザが所望するものを探し出すことは困難である。また、画像データを整理する場合においても、個別のフォルダなどに手作業で分類を行う、もしくは撮影モード別に分類を行う、撮像画像のヘッダに分類情報を付加し、パーソナルコンピュータ（以下、ＰＣと称する）上で動作するソフトウエアを用いて分類を行う、ことによる画像データの管理が考えられるが、この際も大量の画像データの内容を逐一確認するか、ＰＣなどの別の機器が必要となり、利便性が低い。
【特許文献１】特開２００３−１８９２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記、従来の技術では、ＰＣなど撮像装置以外のシステム、およびソフトウエアを用いて画像データの分類を行う、もしくは撮影時の設定モード情報に従い撮像装置内において分類処理を行う、ことにより画像データの管理を実現している。これにより、記録メディア内の大量の画像データより、ユーザが所望する特定の画像データを表示・印刷する上での検索利便性を提供しているが、（１）撮像装置以外の端末・システムが必要であるという課題、および（２）画像データ内の被写体状況を考慮しての管理ができないという課題がある。
【０００７】
上記課題を解消し、撮像装置内の処理において記録メディア内の画像データをユーザが管理しやすい形に分類・記録することができ、なおかつオートモード、マニュアルモードなどの撮像モードに依存することなく、画像データの状態を考慮した分類・記録を実現できれば、ユーザ利便性が高い撮像装置を提供することができる。
【０００８】
本発明の目的は、ＰＣ等の撮像装置以外の機器を使用することなく、撮像時の被写体情報に基づき、記録メディアへの画像データの管理を行いやすい形式で記録し、印刷・表示などの機能の操作利便性を高めた、撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、被写体を撮像して画像信号を得る撮像手段と、前記撮像手段から得られた画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、前記信号処理手段より得られる画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、前記画像認識手段により生成された画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録する分類記録処理手段とを備えたことを特徴とする。
【００１０】
上記撮像装置において好ましくは、電池の残量の確認を行い現在の電力情報に基づき、前記分類記録処理手段に分類記録処理の指示を行う電池残量確認手段を備え、前記分類記録処理手段において、電池残量が一定レベル以下に減少したことを感知した場合に、リアルタイムでの分類処理を禁止、もしくはユーザに警告通知を行うことを特徴とする。
【００１１】
上記撮像装置において、前記画像認識手段は、被写体の情報に基づき登録された画像情報との画像認識処理において適合率を算出し、当該適合率を画像分類情報のひとつとする。
【００１２】
上記撮像装置において、登録された画像情報は、被写体の形状にかかわるパターン情報と、輝度および色差の分布情報と、もしくはその両方とを扱い、前記画像認識手段にて、任意の指定された画像データより自動的に、もしくは画像データ内の任意の領域を指定し、画像認識処理を実施して登録画像情報として登録する。
【００１３】
上記撮像装置において、指定された画像データの画像認識処理を実施して登録画像情報を登録する前記画像認識手段において、肌色領域を自動的に抽出することにより顔領域を特定して登録する。
【００１４】
上記撮像装置において、画像分類情報は、登録画像情報と一意に関連付けられた画像データとの関連性を一意に表す情報の集合体で構成される。
【００１５】
上記撮像装置において、登録画像情報、および画像分類情報を記録する記憶媒体が任意に指定される。
【００１６】
上記撮像装置において、前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像データの削除を行う。
【００１７】
上記撮像装置において、前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像分類情報に基づき別の画像群への再分類を行う。
【００１８】
本発明の撮像装置用半導体集積回路は、画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、前記信号処理手段より得られる画像データの解析を行い、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、前記画像認識手段により生成された画像分類情報に基づいて、画像データを分類した形式で管理・記録を行う分類記録処理手段とより構成されることを特徴とする。
【００１９】
本発明の撮像装置および撮像装置用半導体集積回路によると、画像認識手段にて、画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成し、分類記録処理手段にて、画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録するので、ＰＣ等の撮像装置以外の機器を使用することなく、またユーザの手を煩わせることなく、撮像時の被写体情報に基づき、記録メディアへの画像データの管理を行いやすい形式で記録することができる。
【００２０】
また、電池残量確認手段により、分類記録処理手段において、電池残量が一定レベル以下に減少したことを感知した場合に、リアルタイムでの分類処理を禁止、もしくはユーザに警告通知を行うことで、電力消費を配慮した長時間の駆動を必要とする環境において、電池の消費量を削減した効率的な使用方法を実現できる。
【発明の効果】
【００２１】
撮像装置に画像認識手段を設け、撮像装置単独で画像認識手段の評価結果に基づいた記録媒体への分類管理記録を行うことにより、画像データを分類する場合においてＰＣ等の外部の電子機器を必要とする課題を改善し、かつ、被写体情報を鑑みない分類を行うことを改善する。
【００２２】
また、画像データに含まれる被写体との画像認識処理を行うことにより被写体の状態・状況に応じた管理を行い、ユーザに複雑な操作を要求することなく記録媒体への分類を行うことができ、画像データの管理・記録を効果的に行うことが可能になる。
【００２３】
これにより、記録媒体内の画像データの整理を行うことができ、画像データの印刷、画像データの表示などの機能におけるユーザの操作利便性の向上を実現し、画像データの管理を効果的に行える撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
（第１の実施形態）
本発明の第１の実施形態に係る撮像装置について図１ないし図１０に基づいて説明する。
【００２５】
図１は撮像装置の構成図、図２は画像分類情報の一例を表す図、図３はユーザＩＦの一例を表す図、図４は登録画像情報の一例を表す図、図５，６は登録画像情報の指定の一例を表す図、図７は分類処理部の分類処理説明図、図８は各種情報の関連説明図、図９は記憶装置の使用説明図、図１０は画像データの削除についての処理説明図である。
【００２６】
＜撮像装置の構成＞
図１において、１０１はレンズ・センサ、１０２は映像入力部、１０３は信号処理部、１０４は画像認識部、１０５は符号処理部、１０６は分類記録処理部、１０７はメモリ、１０８は記録メディア、１０９は表示部、１１０は操作部、１１１は制御部であり、各機能部１０２〜１０７，１１１は半導体集積回路１２０に作り込まれている。
【００２７】
レンズ・センサ１０１では、被写体を撮像する。
【００２８】
映像入力部１０２では、レンズ１０１からの映像光を電気信号（デジタル信号）に変換する。
【００２９】
信号処理部１０３では、映像入力部１０２で生成した撮像デジタルデータ信号に対して補正を実施し、映像信号を生成する。
【００３０】
画像認識部１０４では、映像処理部１０３で生成した画像データを解析することにより、画像データに含まれるパターン情報、輝度等の分布の結果を算出し、あらかじめ登録されている画像情報（以下、登録画像情報と称する）との整合性のチェックを行い、その結果情報をまとめた画像分類情報を生成し、撮像画像の被写体に含まれる情報を抽出する。なお、解析を行った対象となる画像データと、解析の結果生成される画像分類情報は１対１の関係で、紐付けられるものとする。
【００３１】
符号処理部１０５では、画像データを、非可逆圧縮方式であるＪＰＥＧ形式や、データの切捨てを伴わないか逆圧縮方式を用いた圧縮処理や、ＴＩＦＦ形式等の、保存に適した形式のデジタル画像に変換する。
【００３２】
分類記録処理部１０６では、前記画像分類情報に基づき画像データの識別を行い、関連した画像データをまとめた画像の集合体（以下、画像群と称する）としてまとめ、管理するための画像群分類情報を生成し、これにより画像データの記録分類を実現し、ＳＤカードなどの外部記録メディア１０８、もしくは電源が切れても記録内容が失われない不揮発性の内部メモリ１０７に対して、画像データを記録する。
【００３３】
表示部１０９は、例えばＬＣＤおよび、ＬＣＤを制御できるディスプレイコントローラなどを備えるものとし、本発明が提供するユーザインターフェースの表示画面を表示することができるものとする。例えば、数々の動作モードや動作設定を行うための各種メニュー画面を表示することができ、撮像モードではファインダとして機能し、再生モードでは外部記録メディア１０８や内部メモリ１０７に記録された画像データを表示するモニタとして機能することが可能であるとする。なお、表示部１０９の機能は上記に限定するものではない。
【００３４】
操作部１１０は、シャッタボタン、各種の撮像条件や記録条件を設定するためのダイヤルスイッチ、表示部１０９に表示されるメニューを操作するための押しボタンスイッチや十字キーなどの、外部からの入力を受け付けることのできるボタンや、スイッチを備えるものとする。
【００３５】
制御部１１１は、それぞれ1個以上の、ＣＰＵ、フラッシュメモリ、ＲＡＭなどより構成され、フラッシュメモリに記録されているプログラムを実行することで、各機能部１０１〜１１０の制御を実施し、撮像装置の動作を制御するものとする。
【００３６】
本発明が提案する撮像装置では、画像入力部１０２において受け付けた信号データを、信号処理部１０３でデジタル信号として補正した後、画像認識部１０４において登録画像との認識処理により被写体の情報に基づいた画像分類情報を生成し、符号処理部１０５において画像データを記録形式に変換し、分類記録処理部１０６において画像分類情報に紐付いた画像データにおける記録媒体に対する画像分類記録をリアルタイムで実現する。
【００３７】
＜画像分類情報＞
図２は、画像分類情報２００の一例を表すものである。
【００３８】
認識情報２０１では例えば登録されている登録画像がその画像に含まれているかどうかが記載されており、含有率２０２では例えば登録画像が画像全体に含まれている割合が記載されており、適合率２０３では例えば被写体に含まれる画像と登録画像との適合率が記載されており、分類情報２０４では例えばその画像がどの分類に属しているのかが記載されており、分類履歴２０５では例えばその画像の過去に分類された画像群が記載されているものとする。ただし、上記は一例であり画像分類情報２００は上記に限定するものではなく、画像認識部１０４による画像認識処理において生成された情報、もしくは分類記録処理部１０６による分類結果の情報であればかまわない。
【００３９】
画像分類情報２００は、登録画像情報としてあらかじめ登録されている画像パターンが、撮像された画像データに含まれているか否かを判定した結果により生成される。すなわち、画像データの被写体に、登録画像情報に該当する情報が含まれるかを分類記録処理部１０６に通知するためのものである。画像分類情報２００は、登録画像情報との画像認識の結果により作成される情報である。すなわち、登録画像情報を元に作成された情報であるため、分類記録処理部１０６により分類された画像は、登録画像別に管理・分類されることを意味する。また、登録画像情報において、登録画像情報をグループ分けすることにより、登録画像が所属するグループごとに分類することも可能である。例えば、登録画像情報が人物を表すものであるか、風景を表すものであるかを識別し、人物を表す登録画像情報に該当するパターンを画像データに含む場合は、人物画像であることを画像分類情報２００において管理することにより、分類記録処理部１０６では、人物を含む画像という集合体を生成し管理することを実現できる。同様に、風景を含む画像という集合体を生成し管理することも可能である。さらに、分類記録処理部１０６の分類結果を画像分類情報２００に反映させることにより、各画像データの画像分類情報２００からその画像データがどの画像の集合体に分類されたのかを確認することも可能である。
【００４０】
本発明が提案する撮像装置においては、撮像時のリアルタイムでの分類管理が可能であるが、分類処理を行わずに記録することも可能である。
【００４１】
画像データの撮像時に、画像認識部１０４で生成された画像分類情報２００における分類情報２０４に該当する項目の初期値を「未分類」として作成する。その後、分類記録処理部１０６において分類処理を実施し、分類先が決定した際に、分類結果を記録するものとする。すなわち、撮像時にリアルタイムで分類記録処理部１０６による分類処理を実行せず、記録した画像データの持つ画像分類情報２００における分類情報２０４は「未分類」として管理されることとなる。
【００４２】
このように、画像データを記録する際に、分類済みのデータであるのか、未分類のデータであるのかを判断することのできる情報を持つことにより、大量の画像を撮像した後の一括した未分類の画像データの分類処理を実現することが可能となる。
【００４３】
リアルタイムでは記録メディアへの画像データの蓄積のみを行い、撮影後のユーザによる指示を起動条件として、記録メディア内に蓄積された未分類属性の画像データの分類処理を実現することにより、リアルタイムでの制御部１１１への負荷を軽減し、システムとしての軽動作・省電力を図ることができる。
【００４４】
さらに、画像認識部１０４において、登録画像情報に適合するデータが含まれているかのチェックを行う場合において、画像データに含まれる画像認識情報と登録画像情報との適合率を算出し、画像分類情報のひとつとして管理を行うことにより、画像認識の適合率に基づいた分類記録処理部１０６における分類記録を実現することができる。すなわち、分類記録処理部１０６における分類条件として、登録画像情報との適合率がＸ％を上回ることを定義した場合、登録画像情報Ｚを含む画像データとして認識された画像データの集合体である画像群には、画像認識部１０４における認識処理において登録画像情報Ｚとの適合率がＸ％を上回る被写体を含むと判定された画像のみが、分類記録処理部１０６により判別され、記録・管理されるものとする。この際、分類記録処理部１０６における分類条件として指定される適合率Ｘ％は０〜１００までの任意の数値であり、表示部１０９と操作部１１０により成るユーザインターフェース（以下、ユーザＩＦと称する）機能を用いて、ユーザにより設定が可能であるものとする。
【００４５】
図３に、本発明が提案する撮像装置にかかわるユーザＩＦの一例を表す。
【００４６】
ユーザは、撮像装置の本体に付属している表示部３０１に表示されるメニュー画面の指示に従い、各種モードの設定を実施することを可能とする。表示部３０１の表示メニュー画面の操作は、操作部３１０により行うものとする。例えば、記録方法についての設定を行う場合、記録方法のメニューを表示し、十字キー３１１を操作し、設定したい項目に矢印３０２を移動させる。ENTERボタン３１２を押すと、選択枠３０３が表示される。十字キー３１１を操作し、選択枠３０３を設定したい状態に合わせてENTERボタン３１２を押すことにより、動作を設定する、ということが考えられる。また、リアルタイムでの分類記録を実施しないモードの場合には、操作部３１０に設けた分類ボタン３１３を操作することにより、分類指示を可能にすることができる。これにより、ボタン１つの操作による、分類指示を実現することができ、操作性の高いシステムを提供できる。なお、説明したモードの設定方法は一例であり、分類記録処理の手法を設定できるユーザＩＦであれば、本手法に限定するものではない。
【００４７】
＜登録画像情報＞
図４は、登録画像情報４００の一例を表すものである。
【００４８】
特定の画像データを認識するために、当該の画像データの輝度分布４０１、輝度レベル４０２、色分布４０３、色レベル４０４を用いることを考える。例えば、風景画像を判断する場合において、これらの情報を用いることを想定している。また、人物や生物、固体物を認識する際には、当該物体のパターン情報４０５を用いることを想定している。
【００４９】
なお、被写体を指定できる内容であれば、登録画像情報４００としては図４に記載の内容に限定するものではない。また、登録画像情報４００としては前記全情報が必要となるわけではない。
【００５０】
画像認識部１０４における画像認識処理において、画像データの解析、比較を行う登録画像情報を、ユーザがユーザＩＦを用いて任意に登録することを可能とする。
【００５１】
撮影した画像データを入力情報として、画像認識部１０４を用いて画像認識処理を行うことにより、登録画像情報４００を生成し、蓄積することを可能とする。登録処理および解析処理において、同一の回路を使用することにより、認識回路における不整合の発生を低減し、効率の良い画像認識、パターン認識処理を実現するものとする。
【００５２】
登録画像情報の指定の一例を、図５，６を用いて説明する。
【００５３】
登録画像情報を抽出するための画像データは、記録メディア内に記録されている画像データを用いるものとする。なお、画像データは本発明が提供する撮像装置により撮影されたものには限らない。
【００５４】
図５は、登録画像情報を抽出するための入力画像を１２個の区画に区切り、区画ごとの認識処理を行う場合の事例を示す。すなわち、領域をＬ区画の自然数により表される区画に分割して個別に認識処理を行い、Ｌ個の画像情報を抽出することにより、画像全体を１区画として処理を行うよりも細かな情報の抽出を可能とする。
【００５５】
図６は、画像領域全域より切り出した小領域の画像データを用いて登録画像情報を抽出する場合を示すものである。登録画像情報を抽出するために指定した画像データ６００を表示部３０１に表示し、その中に小領域を指定するための任意の大きさの枠６０１を表示する。ユーザは十字キー３１１および押しボタンなどの操作部３１０を使用し、枠６０１の大きさ、位置を変更することにより、自由に小領域６０１を設定することができる。これにより、小領域６０１で指定された領域内に限定したパターン情報や輝度、色差の情報を登録画像情報として抽出し、登録することも可能であるものとする。
【００５６】
また、図６のように、指定した画像データ６００に人物が含まれている場合、自動的に人物の顔領域を小領域６０１として指定することも可能である。すなわち、人物の顔があると判断できる肌色領域が画像データ６００内にある場合において、全画像中より個人の顔領域を識別し、肌色領域を中心にした顔領域を含んだ小領域６０１を自動的に指定することにより、人物の顔領域を指定することができる。これにより、ユーザの手を煩わせることなく、人の顔のパターン情報を登録画像情報として登録することを可能とする。
【００５７】
このように、画像データを入力情報として、ユーザの操作により任意の領域を用いて登録画像情報を新規作成することができる。新規作成した登録画像情報は、ユーザにより任意の名称を付けて登録されるものであり、登録された情報は画像認識部１０４における比較情報として使用するため、ユーザの嗜好に合った分類基準を生成することが可能となる。
【００５８】
なお、登録画像の抽出方法は一例であり、画像データを入力画像として得られる情報であれば、上記に限定するものではない。
【００５９】
＜分類処理＞
分類記録処理部１０６における分類管理の手法の一例を、図７を用いて説明する。
【００６０】
分類記録処理部１０６においては、画像認識部１０４で生成された画像分類情報を用いて画像データの分類を行う。分類記録処理部１０６はどの画像データが、どの画像群に所属するのかを、画像群管理情報を生成することにより管理を行う。画像群管理情報とは、画像データを一意にあらわすことのできるデータの集まりであるものとする。
【００６１】
ここで、画像分類情報とは画像認識部１０４の識別判断基準である登録画像情報に基づく認識判断結果であり、画像群管理情報とは画像分類情報により各画像データを紐付けた情報であるため、登録画像情報と画像群管理情報も関連性が強い情報である。
【００６２】
図７は、登録画像情報として、人物Ｋと人物Ｊ、風景Ｉと風景Ｈが登録画像情報として登録されている場合において、画像データとしてData1〜Data9の実画像が記憶媒体に記録されている場合の各画像データの分類例を表す。なお、画像データが登録画像情報の何れの情報にも該当しない場合は、その他の画像群として管理するものとする。
【００６３】
Data1を分類する場合、Data1は人物Ｋと人物Ｊを被写体として含む画像データであり、風景Ｉを背景にしている、という情報を画像分類情報より判定し、分類記録処理部１０６は、Data1を人物Ｋが被写体である画像群７０１として分類し、かつ人物Ｊが被写体である画像群７０２として分類し、かつ風景Ｉが被写体である画像群７０３として分類する。これにより、Data1は画像群７０１から７０３までに分類される。なお、画像群への画像データの追加は、Data1を一意に指し示すことのできる情報Data1_indexを生成し、画像群管理情報に登録することにより実現し、画像データの実体は全画像群７０６において一元的な管理を行うものとする。なお、画像群７０１から７０４の管理は登録画像情報に基づいて生成された画像群とする。
【００６４】
画像データを画像群として分類・管理を行う場合において、1個の画像データが複数の画像群に所属する場合がある。その際、複数の画像群に画像データの実体を複写することはメディア領域の無駄となるため、画像データの実体は全画像群７０６において一元的な管理を行うものとする。登録画像情報に基づいて生成される画像群は、実画像データへのリンクアドレスもしくは、ファイル名などの一意に画像データを特定できる情報のみによって構成・管理し、画像データの実体を持たせないことにより、メディア領域の無駄の削減を実現することができ、メディア領域を効果的に使用することができる。なお、画像群管理情報は、登録画像情報との結びつきが強い情報であるため、登録画像情報の一部として管理しても構わない。
【００６５】
図８に、本発明が提案する撮像装置において生成される管理情報の関連性を示す。
【００６６】
本発明が提案する撮像装置の分類処理においては、画像認識部１０４で生成される画像分類情報８００、画像認識部１０４に登録される登録画像情報８１０、分類記録処理部１０６において生成される画像群管理情報８２０により、画像データの分類およびその管理を行う。
【００６７】
画像分類情報８００は、当該画像データの被写体の情報を画像認識部１０４において画像認識処理を実施した結果により生成されるものであり、画像データ１件につき１件が生成される情報である。なお、画像分類情報８００のデータ構成は前述の図２の説明に順ずる。
【００６８】
登録画像情報８１０は、任意の撮像データより画像認識部１０４において生成された画像認識の情報であり、画像分類情報８００を生成するための基準情報であり、１件の登録画像に対して１件生成される情報である。なお、登録画像情報８１０のデータの構成は前述の図４の説明に順ずる。
【００６９】
画像群管理情報８２０は、分類記録処理部１０６により画像データが分類されることにより生成される画像の集合体を表す管理情報であり、多くの場合、画像の集合体とは登録画像情報８１０を被写体に含む画像の集まりを示すものである。画像の実データは含まない。
【００７０】
これらの情報は相互に関連性を持つ情報であり、画像分類情報８００は登録画像情報８１０に対する画像認識処理の結果に基づき生成された情報であり、画像群管理情報８２０は登録画像情報８１０を被写体に含む画像を集めた集合体を管理するための情報である。
【００７１】
これらの情報は個別に管理することが可能であるが、それぞれの情報はお互いに関連性があるため、その関連性を保つことが必要となる。また、これらの情報は、本発明が提案する撮像装置より読出しおよび書込みが可能なメモリ領域に記録しておく必要がある。
【００７２】
本発明においては、上記３種類の情報および画像データの実体は画像認識部１０４もしくは分類記録処理部１０６より読み出し可能であればどこに記録しても問題はないため、ＳＤカードなどの外部記録メディア１０８、もしくは電源が切れても記録内容が失われない不揮発性の内部メモリ１０７のいずれに記憶しても構わない。さらに、画像分類情報８００に関しては画像データ毎に必ず生成される情報であるため、画像データのヘッダ領域に記録しても、画像分類情報として個別に領域を定義し記録しても構わない。
【００７３】
図９に、登録画像情報を本発明が提案する撮像装置が持つ不揮発性の内部メモリ１０７に、画像分類情報および画像群管理情報を外部記録メディア１０８に記録する場合を説明する。なお、画像データの実体は、外部記録メディア１０８に記録するものとする。
【００７４】
前述のとおり、各画像情報は関連性を持っているため、その関連性を失わせることはできない。それぞれの情報がどこに記録されているのかは、制御部１１１において管理されるものとする。制御部１１１では各情報の所在、領域サイズなどの各情報領域に関わる情報の管理を行うことにより、各情報の呼び出し、参照を実現する。これにより、何れの情報が何れの記憶領域、記憶媒体に作成されたとしても、それらの関連性を失うことなく処理を行うことが可能となる。
【００７５】
登録画像情報は、各画像データをどのような情報で分類するのかを記録している情報であり、画像分類のための判断基準となる。すなわち、登録画像情報を内部メモリ１０７に記憶しておくことにより、外部記録メディア１０８を取り外し、別の記録メディアに変更した場合においても、同じ判断基準で引き続き撮像された画像データを分類することが可能になる。この際、記録メディアをフォーマットする際にメディアに名称を付ける、もしくはメディア番号を付与することにより、記録メディア毎の識別を行うことも可能となり、何れの記録メディアの画像データなのかを認識した管理を実現することができる。
【００７６】
また、画像データの実体と画像分類情報および画像群管理情報を同一の外部記録メディア１０８に記録することにより、画像データを管理するための情報を一元的に管理することが可能となる。一度取り外した外部記録メディア１０８を再度使用する場合、以前の画像データの分類情報をそのまま参照することができ、当該外部記録メディア１０８を使用していた状況と同じ状態を再現することが可能となる。
【００７７】
さらに、登録画像情報を外部記録メディア１０８に記録した場合、画像を分類する基準情報を互換性のある別の撮像装置に移動することが可能であるという利点がある。さらに、画像分類情報を内部メモリ１０７に記録した場合、本発明が提供する撮像装置における分類情報を画像データの実体と切り離すことができるため、画像データのみを持ち運ぶ場合の外部記録メディア１０８の容量を削減することができるという利点がある。
【００７８】
このように、何れの情報を何れの記憶領域に記憶するかにより、構成するシステムが持つ効果を変更することが可能であり、ユーザが用途に応じて情報の記憶領域を変更することにより、システムの効果を変更できる。すなわち、本発明が提供する撮像装置においては、システムの用途に応じて上記３種類の情報および画像データの実体を記憶する領域を変更することを許可することにより、使用範囲・目的を拡大することが可能となる。
【００７９】
＜削除・再分類処理＞
本発明が提案する撮像装置における、分類後の画像データの取り扱いについて説明する。
【００８０】
画像データは画像分類情報に基づき、分類記録処理部１０６によって分類されているため、撮像データの被写体の認識結果により、最適であると判断された画像群に分類されている。しかしながら、ユーザの希望によっては別の画像群に分類したい、もしくは当該画像群から削除したい、という状況が発生することも考えられる。
【００８１】
その際、ユーザの操作により画像群からの画像データの削除、および再分類を実施する際の処理を、図１０を用いて説明する。
【００８２】
図１０は、画像群に所属する画像データを削除する場合を表したものである。
【００８３】
画像群１０１０に所属し管理されている画像データの集合体に所属していた画像データＤａｔａ１を画像群１０１０から削除する場合を以下に述べる。
【００８４】
画像データＤａｔａ１は、Ｄａｔａ１に付加されている画像分類情報１００１に基づき画像群１０１０に分類されている。すなわち、画像群１０１０が持つ画像群管理情報により、画像データＤａｔａ１は画像群１０１０に分類されているといえる。画像群１０１０から画像データＤａｔａ１を削除する場合、画像群１０１０を管理する画像群管理情報より画像データＤａｔａ１を結びつけている画像データＤａｔａ１のリンク情報を削除することにより、画像群１０１０の１画像データとして管理されている画像データＤａｔａ１との関連性を削除する。これにより、画像群１０１０を管理している画像群管理情報が変更されるため、画像群１０１０は新たな画像データ集合体として再構成され、画像群１０２０を構成することとなる。これにより、画像データＤａｔａ１の削除が実現できる。この際、画像群１０１０を管理する画像群管理情報より画像データＤａｔａ１に対するリンク情報を削除するだけであるため、画像データＤａｔａ１が保有する画像分類情報より、画像群１０１０に所属しているという情報を削除することはできない。また、画像群管理情報から画像データＤａｔａ１の情報を削除するだけでは、画像データＤａｔａ１の実体は削除できない。すなわち、画像群１０１０という画像群より、画像データＤａｔａ１を探し出すための経路を削除することのみを実現しているため、画像群１０１０にのみ影響を及ぼす修正となる。
【００８５】
また、画像群１０１０を管理する画像群管理情報より画像データＤａｔａ１を結びつけている情報を削除する際に、画像データＤａｔａ１が持つ画像分類情報１００１に、画像群１０１０に所属していたがユーザにより分類を解除された、という情報を画像分類履歴として記載し、画像分類情報１００２に改変することにより、画像データＤａｔａ１が、ユーザの意思によって画像群１０１０との関連性を削除されたということを記録することが可能である。これにより、画像データＤａｔａ１を分類記録処理部１０６による分類処理を再度実行した場合において、画像データＤａｔａ１の画像分類情報を参照し、画像群１０１０に分類されることを禁止することが可能となる。なお、画像群からの画像データの削除に伴い、画像分類情報に削除履歴を記載することは、ユーザの選択により決定することが可能であるものとし、改変を実施しないことも可能とする。
【００８６】
また、画像群管理情報内において削除履歴１０２１を作成し、削除された画像データの情報を蓄積することにより、画像群管理情報での画像データの移動・削除の情報を管理することも可能である。画像群管理情報において画像データの削除・移動情報を管理することにより、画像データＤａｔａ２を誤って削除してしまった際に、過去の削除履歴より画像データＤａｔａ２の情報を呼び出し、画像群管理情報の管理画像データとして復元させることにより、削除の取り消しを行うことが可能になる、という効果を得ることができる。容量の限られた外部記憶メディア、もしくは内部メモリを使用するため、削除履歴を大量に記憶しておくとメモリの使用領域の無駄になるため、撮像装置の電源を切る際に画像群管理情報における削除履歴を削除する、もしくはユーザより指示があった場合に削除履歴を削除する、もしくは一定量の削除履歴が蓄積した場合に削除する、などの対応を行うものとする。なお、膨大な削除履歴の蓄積を避け、ユーザの利便性を著しく低下させることがなければ、削除履歴の削除の手法は上記に限定するものではない。
【００８７】
画像データを別の画像群に分類しなおすという再分類処理も、上述の削除処理と同様に実現可能である。その際は、画像群を管理する画像群管理情報から画像データの情報を削除し、分類記録処理部１０６による分類処理を続けて行うことにより実現可能である。再分類処理においては、以前所属していた画像群を除く画像群に分類することを分類の条件とすることにより、削除前の画像群と同じ画像群に分類されることを防止するものとする。
【００８８】
これらの処理において、選択した複数枚の画像に対して順次処理を行うことにより、ユーザにより選択された複数毎の画像データに対して、一括した削除もしくは再分類処理を実現することも可能である。
【００８９】
本発明が提案する撮像装置において、画像群は分類記録処理部１０６により画像分類情報に基づき分類された集合体である。画像分類情報は登録画像情報と結び付けられているものである。分類を行う上で、登録画像情報は絶対的な情報ではなく、ユーザの使用状況、要望により削除・追加が許容されている情報である。
【００９０】
登録画像情報Ｆが削除された場合、登録画像情報Ｆとの関連性で分類されていた画像群Ｆ１は根本となる登録画像を失うこととなる。ユーザの要求によっては、画像群Ｆ１は維持したまま、登録画像情報のみを削除したい場合も想定される。その場合、画像群Ｆ１として管理を継続する必要があるため、画像群Ｆ１を構成するための画像群管理情報を現状で保つ必要がある。
【００９１】
また、登録画像情報Ｆの削除に伴い、画像群Ｆ１で現されていた集合体を削除したい場合も想定される。その場合、画像群Ｆ１を構成するための画像群管理情報を破棄することが求められる。画像群Ｆ１に関わる画像群管理情報を破棄することにより、画像群Ｆ１は集合体を維持することができなくなるため、画像群として成立できない。これにより登録画像情報Ｆにより紐付けられていた情報が削除されることとなる。また、各画像データが持つ画像分類情報にも登録画像情報Ｆに関わる情報は含まれている。全画像の画像分類情報を探索し、登録画像情報Ｆに関わる情報を削除することも可能であるものとする。登録画像情報Ｆの削除時に、自動的に全画像分類情報を探索し、登録画像情報Ｆに関連する情報を削除すること、もしくは画像分類情報の整理指示をユーザＩＦより与えられた際に、実体の存在しない登録画像に関わる情報を削除するといったことが考えられる。しかしながら、記録済みの画像データが増加した場合、登録画像の実体を削除した際に登録画像情報Ｆに関わる画像分類情報のすべてを探索し削除することは、多大な処理時間を要することとなる。撮像装置の使用時には速やかに撮像状態に移行することが求められるため、分類記録処理部１０６において分類を行う場合に、登録画像情報Ｆの実体が存在しない状況においては、登録画像情報Ｆに関わる情報で分類を実施しないことにより、撮影を速やかに進めることが可能である。この際、改めてユーザＩＦからの指示により、画像分類情報の見直しを行い、登録画像の実体が存在しない場合には、その分類情報を削除する、もしくは撮像装置の電源を切る操作を実施した際に、登録画像情報の実体が存在しない場合には、その分類情報を削除する、ことにより、画像分類情報に不要な情報が含まれることを解消することができるものとする。
【００９２】
次に、画像データの実体を削除する場合について述べる。
【００９３】
ユーザはユーザＩＦの操作により、不要な画像データの実体を削除することが可能である。画像データの実体を削除すると、画像を分類・管理している各種情報に対応する実体を失うこととなるため、各種管理情報にとって削除された画像情報に関する情報は不要となる。すなわち、画像データの実体を削除した際は、それに伴い削除した画像データが持つ画像分類情報、削除した画像データが所属していた画像群における画像群管理情報内の削除した画像データへのリンク情報も削除することが望ましい。
【００９４】
各画像データには、前述の図２の構成より成る画像分類情報が存在する。分類記録処理部１０６において何れの画像群に分類したのかという情報を、画像分類情報の中の分類情報に記載することにより、削除対象画像が何れの画像群に所属しているのかをたどることが可能となる。画像分類情報より導き出した画像群管理情報から、削除対象画像へのリンクを削除した画像群管理情報を再構成することにより、画像群管理情報より削除対象画像を紐付ける情報の削除が実現できる。その後、削除対象画像を示す画像分類情報を削除し、削除対象画像の実体を削除することにより、削除対象画像の実体およびその関連情報を削除することが可能となる。
【００９５】
上記の削除処理を実施するためには、画像情報の探索処理が必要となるため、処理時間が必要となる。しかしながら、撮影時に長い時間をかけて処理を行うことは好ましくないため、本発明が提案する撮像装置では、削除処理を実施する際は削除対象画像の実体のみを削除し、画像分類情報に削除したことがわかる情報を記載し、撮像装置の電源を切る操作を実施した際に画像分類情報の探索を行い、実体が削除されている画像データに関連付けられる各種情報の削除処理を行い、画像群管理情報を再構成することにより、撮像装置の操作中の処理拡大を防ぐことが可能であるものとする。
【００９６】
（第２の実施形態）
本発明の第２の実施形態に係る撮像装置について図１１および図１２に基づいて説明する。
【００９７】
本実施形態の撮像装置は、第１の実施形態の撮像装置の全構成に加え、電池消費力の削減の機能を加えたものであり、図１〜図１０に示した第１の実施形態の撮像装置の各部の構成についての説明は省略する。
【００９８】
撮像装置を使用する際の利便性を向上させる手段として、電池消費力の削減が求められる。リアルタイムに画像認識部１０４で画像認識し、分類記録処理部１０６で分類記録を行うと、一度の撮影処理に伴い動作する機能部が増加するため、各機能部を動作させない場合と比較し消費電力が高くなる。外出先など、電池を充電する手段がない場合においては、なるべく長く使いたいというユーザの要望がある。電力消費を配慮した長時間の駆動を必要とする環境においては、一度の撮像処理に伴い動作する機能部を削減し、電池の消費量を削減した効率的な使用方法が求められる。
【００９９】
本発明が提案する撮像装置では、電力監視部を設けることにより、定期的な電池残量の確認を行うことにより、電池の残量を加味した動作へ移行する省電力モードを実現するものとする。
【０１００】
図１１は、電力監視部１１０１を設けた本発明が提案する撮像装置の構成を表すものである。電力監視部１１０１は定期的に電池１１０２の残量のチェックを行い、電池残量が一定量を下回った場合に、制御部１１１に対して情報を通知する。制御部１１１では、電力監視部１１０１から電池残量低下を通知された場合、電池１１０２の残量が減少したことをユーザに警告として与える処理を行う。例えば電池１１０２の残量がα％を下回った場合、ユーザＩＦを用いて分類記録処理の手法の再設定を促すことにより、ユーザの意思による省電力対応を実現する、省電力モードを実現することができるものとする。なお、図１１では電力監視部１１０１を１機能部とした場合を示したが、制御部１１１を用いて電池残量をチェックしても構わない。
【０１０１】
図１２に省電力モード時における、ユーザＩＦを用いた警告画面の一例を表す。メッセージ１２０１においてユーザに対して警告メッセージを表示し、選択肢１２０２においてユーザによるモード変更の許可を得る。なお、警告メッセージ１２０１、および表示部３０１の画面構成はこれに限定するものではない。
【産業上の利用可能性】
【０１０２】
本発明に係る撮像装置は、記録メディアに対して画像データを記録するデジタルビデオカメラ、デジタルスチルカメラ等の撮像システム装置として有用である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１の実施形態に係る撮像装置の構成図
【図２】本発明の第１の実施形態に係る画像分類情報の一例を表す図
【図３】本発明の第１の実施形態に係る撮像装置のユーザＩＦの一例を表す図
【図４】本発明の第１の実施形態に係る登録画像情報の一例を表す図
【図５】本発明の第１の実施形態に係る登録画像情報の指定の一例を表す図
【図６】本発明の第１の実施形態に係る登録画像情報の指定の一例を表す図
【図７】本発明の第１の実施形態に係る分類記録処理部の分類記録処理説明図
【図８】本発明の第１の実施形態に係る各種情報の関連説明図
【図９】本発明の第１の実施形態に係る記憶装置の使用説明図
【図１０】本発明の第１の実施形態に係る画像データの削除についての処理説明図
【図１１】本発明の第２の実施形態に係る撮像装置の構成図
【図１２】本発明の第２の実施形態に係る撮像装置のユーザＩＦの一例を表す図
【符号の説明】
【０１０４】
１０１ レンズ・センサ（撮像手段）
１０２ 映像入力部
１０３ 信号処理部
１０４ 画像認識部
１０５ 符号処理部
１０６ 分類記録処理部
１０７ 内部メモリ
１０８ 外部記録メディア
１０９ 表示部
１１０ 操作部
１１１ 制御部
２００ 画像分類情報
３０１ 表示部
３０２，３０３ 表示記号
３１０ 操作部
３１１，３１２ 操作ボタン
４００ 登録画像情報
６００ 画像データ
６０１ 枠
７０１〜７０６ 画像群
８００ 画像分類情報
８１０ 登録画像情報
８２０ 画像群管理情報
１００１ 削除処理前画像分類情報
１００２ 削除処理後画像分類情報
１０１０ 削除処理前画像群管理情報
１０２０ 削除処理後画像群管理情報
１１０１ 電力監視部
１１０２ 電池
１２０１，１２０２ 表示メッセージ
【技術分野】
【０００１】
本発明は、撮像画像を記録・再生可能な撮像装置、特に画像データの整理および管理機能を備えた撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラをはじめとする撮像装置が普及してきている。これらの撮像装置においては、例えばフラッシュメモリ等の内蔵の記憶媒体、もしくは外部より本体に挿入するＳＤメモリカード（商標：Secure Digital memory card）等の外付けの記録媒体（以下、記録メディアと称する）に、画像データを記録することができる。さらに、記憶媒体の大容量化も推進されており、多数の画像データを記録メディアに記録することが可能となっている。
【０００３】
また、デジタルスチルカメラにおいては、高機能化が促進されており、シャッタースピード、絞り、ホワイトバランスをはじめとする各種撮像条件をユーザが自由に可変できるモード（以下、マニュアルモードと称する）や、前述の各種撮影条件を現在の撮像条件に従いカメラ内部において自動的に調整し撮影するモード（以下、オートモードと称する）の機能を備えたものが普及している。ユーザはこれらの機能を選択して使用することにより、ユーザのイメージにより近い画像を撮影することが可能となる。
【０００４】
また、撮像装置の液晶画面などの表示装置において画像データを再生表示する機能、撮像装置をプリンタなどの印刷装置に直接接続し画像データを印刷するシステムを使用する機能、を持った撮像装置も増加している。これらの機能を用いることにより、ユーザは、記録メディアに記憶された膨大な画像データの中から希望する画像データを、簡単な操作で表示・印刷を行うことが可能となっている。
【０００５】
しかしながら、上述したとおり記憶媒体の大容量化が進むことに伴い、大量の画像データが１つの記録メディア内に記憶されるため、表示・印刷の機能を実現する場合において大量の画像データの中よりユーザが所望するものを探し出すことは困難である。また、画像データを整理する場合においても、個別のフォルダなどに手作業で分類を行う、もしくは撮影モード別に分類を行う、撮像画像のヘッダに分類情報を付加し、パーソナルコンピュータ（以下、ＰＣと称する）上で動作するソフトウエアを用いて分類を行う、ことによる画像データの管理が考えられるが、この際も大量の画像データの内容を逐一確認するか、ＰＣなどの別の機器が必要となり、利便性が低い。
【特許文献１】特開２００３−１８９２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記、従来の技術では、ＰＣなど撮像装置以外のシステム、およびソフトウエアを用いて画像データの分類を行う、もしくは撮影時の設定モード情報に従い撮像装置内において分類処理を行う、ことにより画像データの管理を実現している。これにより、記録メディア内の大量の画像データより、ユーザが所望する特定の画像データを表示・印刷する上での検索利便性を提供しているが、（１）撮像装置以外の端末・システムが必要であるという課題、および（２）画像データ内の被写体状況を考慮しての管理ができないという課題がある。
【０００７】
上記課題を解消し、撮像装置内の処理において記録メディア内の画像データをユーザが管理しやすい形に分類・記録することができ、なおかつオートモード、マニュアルモードなどの撮像モードに依存することなく、画像データの状態を考慮した分類・記録を実現できれば、ユーザ利便性が高い撮像装置を提供することができる。
【０００８】
本発明の目的は、ＰＣ等の撮像装置以外の機器を使用することなく、撮像時の被写体情報に基づき、記録メディアへの画像データの管理を行いやすい形式で記録し、印刷・表示などの機能の操作利便性を高めた、撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、被写体を撮像して画像信号を得る撮像手段と、前記撮像手段から得られた画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、前記信号処理手段より得られる画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、前記画像認識手段により生成された画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録する分類記録処理手段とを備えたことを特徴とする。
【００１０】
上記撮像装置において好ましくは、電池の残量の確認を行い現在の電力情報に基づき、前記分類記録処理手段に分類記録処理の指示を行う電池残量確認手段を備え、前記分類記録処理手段において、電池残量が一定レベル以下に減少したことを感知した場合に、リアルタイムでの分類処理を禁止、もしくはユーザに警告通知を行うことを特徴とする。
【００１１】
上記撮像装置において、前記画像認識手段は、被写体の情報に基づき登録された画像情報との画像認識処理において適合率を算出し、当該適合率を画像分類情報のひとつとする。
【００１２】
上記撮像装置において、登録された画像情報は、被写体の形状にかかわるパターン情報と、輝度および色差の分布情報と、もしくはその両方とを扱い、前記画像認識手段にて、任意の指定された画像データより自動的に、もしくは画像データ内の任意の領域を指定し、画像認識処理を実施して登録画像情報として登録する。
【００１３】
上記撮像装置において、指定された画像データの画像認識処理を実施して登録画像情報を登録する前記画像認識手段において、肌色領域を自動的に抽出することにより顔領域を特定して登録する。
【００１４】
上記撮像装置において、画像分類情報は、登録画像情報と一意に関連付けられた画像データとの関連性を一意に表す情報の集合体で構成される。
【００１５】
上記撮像装置において、登録画像情報、および画像分類情報を記録する記憶媒体が任意に指定される。
【００１６】
上記撮像装置において、前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像データの削除を行う。
【００１７】
上記撮像装置において、前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像分類情報に基づき別の画像群への再分類を行う。
【００１８】
本発明の撮像装置用半導体集積回路は、画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、前記信号処理手段より得られる画像データの解析を行い、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、前記画像認識手段により生成された画像分類情報に基づいて、画像データを分類した形式で管理・記録を行う分類記録処理手段とより構成されることを特徴とする。
【００１９】
本発明の撮像装置および撮像装置用半導体集積回路によると、画像認識手段にて、画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成し、分類記録処理手段にて、画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録するので、ＰＣ等の撮像装置以外の機器を使用することなく、またユーザの手を煩わせることなく、撮像時の被写体情報に基づき、記録メディアへの画像データの管理を行いやすい形式で記録することができる。
【００２０】
また、電池残量確認手段により、分類記録処理手段において、電池残量が一定レベル以下に減少したことを感知した場合に、リアルタイムでの分類処理を禁止、もしくはユーザに警告通知を行うことで、電力消費を配慮した長時間の駆動を必要とする環境において、電池の消費量を削減した効率的な使用方法を実現できる。
【発明の効果】
【００２１】
撮像装置に画像認識手段を設け、撮像装置単独で画像認識手段の評価結果に基づいた記録媒体への分類管理記録を行うことにより、画像データを分類する場合においてＰＣ等の外部の電子機器を必要とする課題を改善し、かつ、被写体情報を鑑みない分類を行うことを改善する。
【００２２】
また、画像データに含まれる被写体との画像認識処理を行うことにより被写体の状態・状況に応じた管理を行い、ユーザに複雑な操作を要求することなく記録媒体への分類を行うことができ、画像データの管理・記録を効果的に行うことが可能になる。
【００２３】
これにより、記録媒体内の画像データの整理を行うことができ、画像データの印刷、画像データの表示などの機能におけるユーザの操作利便性の向上を実現し、画像データの管理を効果的に行える撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２４】
（第１の実施形態）
本発明の第１の実施形態に係る撮像装置について図１ないし図１０に基づいて説明する。
【００２５】
図１は撮像装置の構成図、図２は画像分類情報の一例を表す図、図３はユーザＩＦの一例を表す図、図４は登録画像情報の一例を表す図、図５，６は登録画像情報の指定の一例を表す図、図７は分類処理部の分類処理説明図、図８は各種情報の関連説明図、図９は記憶装置の使用説明図、図１０は画像データの削除についての処理説明図である。
【００２６】
＜撮像装置の構成＞
図１において、１０１はレンズ・センサ、１０２は映像入力部、１０３は信号処理部、１０４は画像認識部、１０５は符号処理部、１０６は分類記録処理部、１０７はメモリ、１０８は記録メディア、１０９は表示部、１１０は操作部、１１１は制御部であり、各機能部１０２〜１０７，１１１は半導体集積回路１２０に作り込まれている。
【００２７】
レンズ・センサ１０１では、被写体を撮像する。
【００２８】
映像入力部１０２では、レンズ１０１からの映像光を電気信号（デジタル信号）に変換する。
【００２９】
信号処理部１０３では、映像入力部１０２で生成した撮像デジタルデータ信号に対して補正を実施し、映像信号を生成する。
【００３０】
画像認識部１０４では、映像処理部１０３で生成した画像データを解析することにより、画像データに含まれるパターン情報、輝度等の分布の結果を算出し、あらかじめ登録されている画像情報（以下、登録画像情報と称する）との整合性のチェックを行い、その結果情報をまとめた画像分類情報を生成し、撮像画像の被写体に含まれる情報を抽出する。なお、解析を行った対象となる画像データと、解析の結果生成される画像分類情報は１対１の関係で、紐付けられるものとする。
【００３１】
符号処理部１０５では、画像データを、非可逆圧縮方式であるＪＰＥＧ形式や、データの切捨てを伴わないか逆圧縮方式を用いた圧縮処理や、ＴＩＦＦ形式等の、保存に適した形式のデジタル画像に変換する。
【００３２】
分類記録処理部１０６では、前記画像分類情報に基づき画像データの識別を行い、関連した画像データをまとめた画像の集合体（以下、画像群と称する）としてまとめ、管理するための画像群分類情報を生成し、これにより画像データの記録分類を実現し、ＳＤカードなどの外部記録メディア１０８、もしくは電源が切れても記録内容が失われない不揮発性の内部メモリ１０７に対して、画像データを記録する。
【００３３】
表示部１０９は、例えばＬＣＤおよび、ＬＣＤを制御できるディスプレイコントローラなどを備えるものとし、本発明が提供するユーザインターフェースの表示画面を表示することができるものとする。例えば、数々の動作モードや動作設定を行うための各種メニュー画面を表示することができ、撮像モードではファインダとして機能し、再生モードでは外部記録メディア１０８や内部メモリ１０７に記録された画像データを表示するモニタとして機能することが可能であるとする。なお、表示部１０９の機能は上記に限定するものではない。
【００３４】
操作部１１０は、シャッタボタン、各種の撮像条件や記録条件を設定するためのダイヤルスイッチ、表示部１０９に表示されるメニューを操作するための押しボタンスイッチや十字キーなどの、外部からの入力を受け付けることのできるボタンや、スイッチを備えるものとする。
【００３５】
制御部１１１は、それぞれ1個以上の、ＣＰＵ、フラッシュメモリ、ＲＡＭなどより構成され、フラッシュメモリに記録されているプログラムを実行することで、各機能部１０１〜１１０の制御を実施し、撮像装置の動作を制御するものとする。
【００３６】
本発明が提案する撮像装置では、画像入力部１０２において受け付けた信号データを、信号処理部１０３でデジタル信号として補正した後、画像認識部１０４において登録画像との認識処理により被写体の情報に基づいた画像分類情報を生成し、符号処理部１０５において画像データを記録形式に変換し、分類記録処理部１０６において画像分類情報に紐付いた画像データにおける記録媒体に対する画像分類記録をリアルタイムで実現する。
【００３７】
＜画像分類情報＞
図２は、画像分類情報２００の一例を表すものである。
【００３８】
認識情報２０１では例えば登録されている登録画像がその画像に含まれているかどうかが記載されており、含有率２０２では例えば登録画像が画像全体に含まれている割合が記載されており、適合率２０３では例えば被写体に含まれる画像と登録画像との適合率が記載されており、分類情報２０４では例えばその画像がどの分類に属しているのかが記載されており、分類履歴２０５では例えばその画像の過去に分類された画像群が記載されているものとする。ただし、上記は一例であり画像分類情報２００は上記に限定するものではなく、画像認識部１０４による画像認識処理において生成された情報、もしくは分類記録処理部１０６による分類結果の情報であればかまわない。
【００３９】
画像分類情報２００は、登録画像情報としてあらかじめ登録されている画像パターンが、撮像された画像データに含まれているか否かを判定した結果により生成される。すなわち、画像データの被写体に、登録画像情報に該当する情報が含まれるかを分類記録処理部１０６に通知するためのものである。画像分類情報２００は、登録画像情報との画像認識の結果により作成される情報である。すなわち、登録画像情報を元に作成された情報であるため、分類記録処理部１０６により分類された画像は、登録画像別に管理・分類されることを意味する。また、登録画像情報において、登録画像情報をグループ分けすることにより、登録画像が所属するグループごとに分類することも可能である。例えば、登録画像情報が人物を表すものであるか、風景を表すものであるかを識別し、人物を表す登録画像情報に該当するパターンを画像データに含む場合は、人物画像であることを画像分類情報２００において管理することにより、分類記録処理部１０６では、人物を含む画像という集合体を生成し管理することを実現できる。同様に、風景を含む画像という集合体を生成し管理することも可能である。さらに、分類記録処理部１０６の分類結果を画像分類情報２００に反映させることにより、各画像データの画像分類情報２００からその画像データがどの画像の集合体に分類されたのかを確認することも可能である。
【００４０】
本発明が提案する撮像装置においては、撮像時のリアルタイムでの分類管理が可能であるが、分類処理を行わずに記録することも可能である。
【００４１】
画像データの撮像時に、画像認識部１０４で生成された画像分類情報２００における分類情報２０４に該当する項目の初期値を「未分類」として作成する。その後、分類記録処理部１０６において分類処理を実施し、分類先が決定した際に、分類結果を記録するものとする。すなわち、撮像時にリアルタイムで分類記録処理部１０６による分類処理を実行せず、記録した画像データの持つ画像分類情報２００における分類情報２０４は「未分類」として管理されることとなる。
【００４２】
このように、画像データを記録する際に、分類済みのデータであるのか、未分類のデータであるのかを判断することのできる情報を持つことにより、大量の画像を撮像した後の一括した未分類の画像データの分類処理を実現することが可能となる。
【００４３】
リアルタイムでは記録メディアへの画像データの蓄積のみを行い、撮影後のユーザによる指示を起動条件として、記録メディア内に蓄積された未分類属性の画像データの分類処理を実現することにより、リアルタイムでの制御部１１１への負荷を軽減し、システムとしての軽動作・省電力を図ることができる。
【００４４】
さらに、画像認識部１０４において、登録画像情報に適合するデータが含まれているかのチェックを行う場合において、画像データに含まれる画像認識情報と登録画像情報との適合率を算出し、画像分類情報のひとつとして管理を行うことにより、画像認識の適合率に基づいた分類記録処理部１０６における分類記録を実現することができる。すなわち、分類記録処理部１０６における分類条件として、登録画像情報との適合率がＸ％を上回ることを定義した場合、登録画像情報Ｚを含む画像データとして認識された画像データの集合体である画像群には、画像認識部１０４における認識処理において登録画像情報Ｚとの適合率がＸ％を上回る被写体を含むと判定された画像のみが、分類記録処理部１０６により判別され、記録・管理されるものとする。この際、分類記録処理部１０６における分類条件として指定される適合率Ｘ％は０〜１００までの任意の数値であり、表示部１０９と操作部１１０により成るユーザインターフェース（以下、ユーザＩＦと称する）機能を用いて、ユーザにより設定が可能であるものとする。
【００４５】
図３に、本発明が提案する撮像装置にかかわるユーザＩＦの一例を表す。
【００４６】
ユーザは、撮像装置の本体に付属している表示部３０１に表示されるメニュー画面の指示に従い、各種モードの設定を実施することを可能とする。表示部３０１の表示メニュー画面の操作は、操作部３１０により行うものとする。例えば、記録方法についての設定を行う場合、記録方法のメニューを表示し、十字キー３１１を操作し、設定したい項目に矢印３０２を移動させる。ENTERボタン３１２を押すと、選択枠３０３が表示される。十字キー３１１を操作し、選択枠３０３を設定したい状態に合わせてENTERボタン３１２を押すことにより、動作を設定する、ということが考えられる。また、リアルタイムでの分類記録を実施しないモードの場合には、操作部３１０に設けた分類ボタン３１３を操作することにより、分類指示を可能にすることができる。これにより、ボタン１つの操作による、分類指示を実現することができ、操作性の高いシステムを提供できる。なお、説明したモードの設定方法は一例であり、分類記録処理の手法を設定できるユーザＩＦであれば、本手法に限定するものではない。
【００４７】
＜登録画像情報＞
図４は、登録画像情報４００の一例を表すものである。
【００４８】
特定の画像データを認識するために、当該の画像データの輝度分布４０１、輝度レベル４０２、色分布４０３、色レベル４０４を用いることを考える。例えば、風景画像を判断する場合において、これらの情報を用いることを想定している。また、人物や生物、固体物を認識する際には、当該物体のパターン情報４０５を用いることを想定している。
【００４９】
なお、被写体を指定できる内容であれば、登録画像情報４００としては図４に記載の内容に限定するものではない。また、登録画像情報４００としては前記全情報が必要となるわけではない。
【００５０】
画像認識部１０４における画像認識処理において、画像データの解析、比較を行う登録画像情報を、ユーザがユーザＩＦを用いて任意に登録することを可能とする。
【００５１】
撮影した画像データを入力情報として、画像認識部１０４を用いて画像認識処理を行うことにより、登録画像情報４００を生成し、蓄積することを可能とする。登録処理および解析処理において、同一の回路を使用することにより、認識回路における不整合の発生を低減し、効率の良い画像認識、パターン認識処理を実現するものとする。
【００５２】
登録画像情報の指定の一例を、図５，６を用いて説明する。
【００５３】
登録画像情報を抽出するための画像データは、記録メディア内に記録されている画像データを用いるものとする。なお、画像データは本発明が提供する撮像装置により撮影されたものには限らない。
【００５４】
図５は、登録画像情報を抽出するための入力画像を１２個の区画に区切り、区画ごとの認識処理を行う場合の事例を示す。すなわち、領域をＬ区画の自然数により表される区画に分割して個別に認識処理を行い、Ｌ個の画像情報を抽出することにより、画像全体を１区画として処理を行うよりも細かな情報の抽出を可能とする。
【００５５】
図６は、画像領域全域より切り出した小領域の画像データを用いて登録画像情報を抽出する場合を示すものである。登録画像情報を抽出するために指定した画像データ６００を表示部３０１に表示し、その中に小領域を指定するための任意の大きさの枠６０１を表示する。ユーザは十字キー３１１および押しボタンなどの操作部３１０を使用し、枠６０１の大きさ、位置を変更することにより、自由に小領域６０１を設定することができる。これにより、小領域６０１で指定された領域内に限定したパターン情報や輝度、色差の情報を登録画像情報として抽出し、登録することも可能であるものとする。
【００５６】
また、図６のように、指定した画像データ６００に人物が含まれている場合、自動的に人物の顔領域を小領域６０１として指定することも可能である。すなわち、人物の顔があると判断できる肌色領域が画像データ６００内にある場合において、全画像中より個人の顔領域を識別し、肌色領域を中心にした顔領域を含んだ小領域６０１を自動的に指定することにより、人物の顔領域を指定することができる。これにより、ユーザの手を煩わせることなく、人の顔のパターン情報を登録画像情報として登録することを可能とする。
【００５７】
このように、画像データを入力情報として、ユーザの操作により任意の領域を用いて登録画像情報を新規作成することができる。新規作成した登録画像情報は、ユーザにより任意の名称を付けて登録されるものであり、登録された情報は画像認識部１０４における比較情報として使用するため、ユーザの嗜好に合った分類基準を生成することが可能となる。
【００５８】
なお、登録画像の抽出方法は一例であり、画像データを入力画像として得られる情報であれば、上記に限定するものではない。
【００５９】
＜分類処理＞
分類記録処理部１０６における分類管理の手法の一例を、図７を用いて説明する。
【００６０】
分類記録処理部１０６においては、画像認識部１０４で生成された画像分類情報を用いて画像データの分類を行う。分類記録処理部１０６はどの画像データが、どの画像群に所属するのかを、画像群管理情報を生成することにより管理を行う。画像群管理情報とは、画像データを一意にあらわすことのできるデータの集まりであるものとする。
【００６１】
ここで、画像分類情報とは画像認識部１０４の識別判断基準である登録画像情報に基づく認識判断結果であり、画像群管理情報とは画像分類情報により各画像データを紐付けた情報であるため、登録画像情報と画像群管理情報も関連性が強い情報である。
【００６２】
図７は、登録画像情報として、人物Ｋと人物Ｊ、風景Ｉと風景Ｈが登録画像情報として登録されている場合において、画像データとしてData1〜Data9の実画像が記憶媒体に記録されている場合の各画像データの分類例を表す。なお、画像データが登録画像情報の何れの情報にも該当しない場合は、その他の画像群として管理するものとする。
【００６３】
Data1を分類する場合、Data1は人物Ｋと人物Ｊを被写体として含む画像データであり、風景Ｉを背景にしている、という情報を画像分類情報より判定し、分類記録処理部１０６は、Data1を人物Ｋが被写体である画像群７０１として分類し、かつ人物Ｊが被写体である画像群７０２として分類し、かつ風景Ｉが被写体である画像群７０３として分類する。これにより、Data1は画像群７０１から７０３までに分類される。なお、画像群への画像データの追加は、Data1を一意に指し示すことのできる情報Data1_indexを生成し、画像群管理情報に登録することにより実現し、画像データの実体は全画像群７０６において一元的な管理を行うものとする。なお、画像群７０１から７０４の管理は登録画像情報に基づいて生成された画像群とする。
【００６４】
画像データを画像群として分類・管理を行う場合において、1個の画像データが複数の画像群に所属する場合がある。その際、複数の画像群に画像データの実体を複写することはメディア領域の無駄となるため、画像データの実体は全画像群７０６において一元的な管理を行うものとする。登録画像情報に基づいて生成される画像群は、実画像データへのリンクアドレスもしくは、ファイル名などの一意に画像データを特定できる情報のみによって構成・管理し、画像データの実体を持たせないことにより、メディア領域の無駄の削減を実現することができ、メディア領域を効果的に使用することができる。なお、画像群管理情報は、登録画像情報との結びつきが強い情報であるため、登録画像情報の一部として管理しても構わない。
【００６５】
図８に、本発明が提案する撮像装置において生成される管理情報の関連性を示す。
【００６６】
本発明が提案する撮像装置の分類処理においては、画像認識部１０４で生成される画像分類情報８００、画像認識部１０４に登録される登録画像情報８１０、分類記録処理部１０６において生成される画像群管理情報８２０により、画像データの分類およびその管理を行う。
【００６７】
画像分類情報８００は、当該画像データの被写体の情報を画像認識部１０４において画像認識処理を実施した結果により生成されるものであり、画像データ１件につき１件が生成される情報である。なお、画像分類情報８００のデータ構成は前述の図２の説明に順ずる。
【００６８】
登録画像情報８１０は、任意の撮像データより画像認識部１０４において生成された画像認識の情報であり、画像分類情報８００を生成するための基準情報であり、１件の登録画像に対して１件生成される情報である。なお、登録画像情報８１０のデータの構成は前述の図４の説明に順ずる。
【００６９】
画像群管理情報８２０は、分類記録処理部１０６により画像データが分類されることにより生成される画像の集合体を表す管理情報であり、多くの場合、画像の集合体とは登録画像情報８１０を被写体に含む画像の集まりを示すものである。画像の実データは含まない。
【００７０】
これらの情報は相互に関連性を持つ情報であり、画像分類情報８００は登録画像情報８１０に対する画像認識処理の結果に基づき生成された情報であり、画像群管理情報８２０は登録画像情報８１０を被写体に含む画像を集めた集合体を管理するための情報である。
【００７１】
これらの情報は個別に管理することが可能であるが、それぞれの情報はお互いに関連性があるため、その関連性を保つことが必要となる。また、これらの情報は、本発明が提案する撮像装置より読出しおよび書込みが可能なメモリ領域に記録しておく必要がある。
【００７２】
本発明においては、上記３種類の情報および画像データの実体は画像認識部１０４もしくは分類記録処理部１０６より読み出し可能であればどこに記録しても問題はないため、ＳＤカードなどの外部記録メディア１０８、もしくは電源が切れても記録内容が失われない不揮発性の内部メモリ１０７のいずれに記憶しても構わない。さらに、画像分類情報８００に関しては画像データ毎に必ず生成される情報であるため、画像データのヘッダ領域に記録しても、画像分類情報として個別に領域を定義し記録しても構わない。
【００７３】
図９に、登録画像情報を本発明が提案する撮像装置が持つ不揮発性の内部メモリ１０７に、画像分類情報および画像群管理情報を外部記録メディア１０８に記録する場合を説明する。なお、画像データの実体は、外部記録メディア１０８に記録するものとする。
【００７４】
前述のとおり、各画像情報は関連性を持っているため、その関連性を失わせることはできない。それぞれの情報がどこに記録されているのかは、制御部１１１において管理されるものとする。制御部１１１では各情報の所在、領域サイズなどの各情報領域に関わる情報の管理を行うことにより、各情報の呼び出し、参照を実現する。これにより、何れの情報が何れの記憶領域、記憶媒体に作成されたとしても、それらの関連性を失うことなく処理を行うことが可能となる。
【００７５】
登録画像情報は、各画像データをどのような情報で分類するのかを記録している情報であり、画像分類のための判断基準となる。すなわち、登録画像情報を内部メモリ１０７に記憶しておくことにより、外部記録メディア１０８を取り外し、別の記録メディアに変更した場合においても、同じ判断基準で引き続き撮像された画像データを分類することが可能になる。この際、記録メディアをフォーマットする際にメディアに名称を付ける、もしくはメディア番号を付与することにより、記録メディア毎の識別を行うことも可能となり、何れの記録メディアの画像データなのかを認識した管理を実現することができる。
【００７６】
また、画像データの実体と画像分類情報および画像群管理情報を同一の外部記録メディア１０８に記録することにより、画像データを管理するための情報を一元的に管理することが可能となる。一度取り外した外部記録メディア１０８を再度使用する場合、以前の画像データの分類情報をそのまま参照することができ、当該外部記録メディア１０８を使用していた状況と同じ状態を再現することが可能となる。
【００７７】
さらに、登録画像情報を外部記録メディア１０８に記録した場合、画像を分類する基準情報を互換性のある別の撮像装置に移動することが可能であるという利点がある。さらに、画像分類情報を内部メモリ１０７に記録した場合、本発明が提供する撮像装置における分類情報を画像データの実体と切り離すことができるため、画像データのみを持ち運ぶ場合の外部記録メディア１０８の容量を削減することができるという利点がある。
【００７８】
このように、何れの情報を何れの記憶領域に記憶するかにより、構成するシステムが持つ効果を変更することが可能であり、ユーザが用途に応じて情報の記憶領域を変更することにより、システムの効果を変更できる。すなわち、本発明が提供する撮像装置においては、システムの用途に応じて上記３種類の情報および画像データの実体を記憶する領域を変更することを許可することにより、使用範囲・目的を拡大することが可能となる。
【００７９】
＜削除・再分類処理＞
本発明が提案する撮像装置における、分類後の画像データの取り扱いについて説明する。
【００８０】
画像データは画像分類情報に基づき、分類記録処理部１０６によって分類されているため、撮像データの被写体の認識結果により、最適であると判断された画像群に分類されている。しかしながら、ユーザの希望によっては別の画像群に分類したい、もしくは当該画像群から削除したい、という状況が発生することも考えられる。
【００８１】
その際、ユーザの操作により画像群からの画像データの削除、および再分類を実施する際の処理を、図１０を用いて説明する。
【００８２】
図１０は、画像群に所属する画像データを削除する場合を表したものである。
【００８３】
画像群１０１０に所属し管理されている画像データの集合体に所属していた画像データＤａｔａ１を画像群１０１０から削除する場合を以下に述べる。
【００８４】
画像データＤａｔａ１は、Ｄａｔａ１に付加されている画像分類情報１００１に基づき画像群１０１０に分類されている。すなわち、画像群１０１０が持つ画像群管理情報により、画像データＤａｔａ１は画像群１０１０に分類されているといえる。画像群１０１０から画像データＤａｔａ１を削除する場合、画像群１０１０を管理する画像群管理情報より画像データＤａｔａ１を結びつけている画像データＤａｔａ１のリンク情報を削除することにより、画像群１０１０の１画像データとして管理されている画像データＤａｔａ１との関連性を削除する。これにより、画像群１０１０を管理している画像群管理情報が変更されるため、画像群１０１０は新たな画像データ集合体として再構成され、画像群１０２０を構成することとなる。これにより、画像データＤａｔａ１の削除が実現できる。この際、画像群１０１０を管理する画像群管理情報より画像データＤａｔａ１に対するリンク情報を削除するだけであるため、画像データＤａｔａ１が保有する画像分類情報より、画像群１０１０に所属しているという情報を削除することはできない。また、画像群管理情報から画像データＤａｔａ１の情報を削除するだけでは、画像データＤａｔａ１の実体は削除できない。すなわち、画像群１０１０という画像群より、画像データＤａｔａ１を探し出すための経路を削除することのみを実現しているため、画像群１０１０にのみ影響を及ぼす修正となる。
【００８５】
また、画像群１０１０を管理する画像群管理情報より画像データＤａｔａ１を結びつけている情報を削除する際に、画像データＤａｔａ１が持つ画像分類情報１００１に、画像群１０１０に所属していたがユーザにより分類を解除された、という情報を画像分類履歴として記載し、画像分類情報１００２に改変することにより、画像データＤａｔａ１が、ユーザの意思によって画像群１０１０との関連性を削除されたということを記録することが可能である。これにより、画像データＤａｔａ１を分類記録処理部１０６による分類処理を再度実行した場合において、画像データＤａｔａ１の画像分類情報を参照し、画像群１０１０に分類されることを禁止することが可能となる。なお、画像群からの画像データの削除に伴い、画像分類情報に削除履歴を記載することは、ユーザの選択により決定することが可能であるものとし、改変を実施しないことも可能とする。
【００８６】
また、画像群管理情報内において削除履歴１０２１を作成し、削除された画像データの情報を蓄積することにより、画像群管理情報での画像データの移動・削除の情報を管理することも可能である。画像群管理情報において画像データの削除・移動情報を管理することにより、画像データＤａｔａ２を誤って削除してしまった際に、過去の削除履歴より画像データＤａｔａ２の情報を呼び出し、画像群管理情報の管理画像データとして復元させることにより、削除の取り消しを行うことが可能になる、という効果を得ることができる。容量の限られた外部記憶メディア、もしくは内部メモリを使用するため、削除履歴を大量に記憶しておくとメモリの使用領域の無駄になるため、撮像装置の電源を切る際に画像群管理情報における削除履歴を削除する、もしくはユーザより指示があった場合に削除履歴を削除する、もしくは一定量の削除履歴が蓄積した場合に削除する、などの対応を行うものとする。なお、膨大な削除履歴の蓄積を避け、ユーザの利便性を著しく低下させることがなければ、削除履歴の削除の手法は上記に限定するものではない。
【００８７】
画像データを別の画像群に分類しなおすという再分類処理も、上述の削除処理と同様に実現可能である。その際は、画像群を管理する画像群管理情報から画像データの情報を削除し、分類記録処理部１０６による分類処理を続けて行うことにより実現可能である。再分類処理においては、以前所属していた画像群を除く画像群に分類することを分類の条件とすることにより、削除前の画像群と同じ画像群に分類されることを防止するものとする。
【００８８】
これらの処理において、選択した複数枚の画像に対して順次処理を行うことにより、ユーザにより選択された複数毎の画像データに対して、一括した削除もしくは再分類処理を実現することも可能である。
【００８９】
本発明が提案する撮像装置において、画像群は分類記録処理部１０６により画像分類情報に基づき分類された集合体である。画像分類情報は登録画像情報と結び付けられているものである。分類を行う上で、登録画像情報は絶対的な情報ではなく、ユーザの使用状況、要望により削除・追加が許容されている情報である。
【００９０】
登録画像情報Ｆが削除された場合、登録画像情報Ｆとの関連性で分類されていた画像群Ｆ１は根本となる登録画像を失うこととなる。ユーザの要求によっては、画像群Ｆ１は維持したまま、登録画像情報のみを削除したい場合も想定される。その場合、画像群Ｆ１として管理を継続する必要があるため、画像群Ｆ１を構成するための画像群管理情報を現状で保つ必要がある。
【００９１】
また、登録画像情報Ｆの削除に伴い、画像群Ｆ１で現されていた集合体を削除したい場合も想定される。その場合、画像群Ｆ１を構成するための画像群管理情報を破棄することが求められる。画像群Ｆ１に関わる画像群管理情報を破棄することにより、画像群Ｆ１は集合体を維持することができなくなるため、画像群として成立できない。これにより登録画像情報Ｆにより紐付けられていた情報が削除されることとなる。また、各画像データが持つ画像分類情報にも登録画像情報Ｆに関わる情報は含まれている。全画像の画像分類情報を探索し、登録画像情報Ｆに関わる情報を削除することも可能であるものとする。登録画像情報Ｆの削除時に、自動的に全画像分類情報を探索し、登録画像情報Ｆに関連する情報を削除すること、もしくは画像分類情報の整理指示をユーザＩＦより与えられた際に、実体の存在しない登録画像に関わる情報を削除するといったことが考えられる。しかしながら、記録済みの画像データが増加した場合、登録画像の実体を削除した際に登録画像情報Ｆに関わる画像分類情報のすべてを探索し削除することは、多大な処理時間を要することとなる。撮像装置の使用時には速やかに撮像状態に移行することが求められるため、分類記録処理部１０６において分類を行う場合に、登録画像情報Ｆの実体が存在しない状況においては、登録画像情報Ｆに関わる情報で分類を実施しないことにより、撮影を速やかに進めることが可能である。この際、改めてユーザＩＦからの指示により、画像分類情報の見直しを行い、登録画像の実体が存在しない場合には、その分類情報を削除する、もしくは撮像装置の電源を切る操作を実施した際に、登録画像情報の実体が存在しない場合には、その分類情報を削除する、ことにより、画像分類情報に不要な情報が含まれることを解消することができるものとする。
【００９２】
次に、画像データの実体を削除する場合について述べる。
【００９３】
ユーザはユーザＩＦの操作により、不要な画像データの実体を削除することが可能である。画像データの実体を削除すると、画像を分類・管理している各種情報に対応する実体を失うこととなるため、各種管理情報にとって削除された画像情報に関する情報は不要となる。すなわち、画像データの実体を削除した際は、それに伴い削除した画像データが持つ画像分類情報、削除した画像データが所属していた画像群における画像群管理情報内の削除した画像データへのリンク情報も削除することが望ましい。
【００９４】
各画像データには、前述の図２の構成より成る画像分類情報が存在する。分類記録処理部１０６において何れの画像群に分類したのかという情報を、画像分類情報の中の分類情報に記載することにより、削除対象画像が何れの画像群に所属しているのかをたどることが可能となる。画像分類情報より導き出した画像群管理情報から、削除対象画像へのリンクを削除した画像群管理情報を再構成することにより、画像群管理情報より削除対象画像を紐付ける情報の削除が実現できる。その後、削除対象画像を示す画像分類情報を削除し、削除対象画像の実体を削除することにより、削除対象画像の実体およびその関連情報を削除することが可能となる。
【００９５】
上記の削除処理を実施するためには、画像情報の探索処理が必要となるため、処理時間が必要となる。しかしながら、撮影時に長い時間をかけて処理を行うことは好ましくないため、本発明が提案する撮像装置では、削除処理を実施する際は削除対象画像の実体のみを削除し、画像分類情報に削除したことがわかる情報を記載し、撮像装置の電源を切る操作を実施した際に画像分類情報の探索を行い、実体が削除されている画像データに関連付けられる各種情報の削除処理を行い、画像群管理情報を再構成することにより、撮像装置の操作中の処理拡大を防ぐことが可能であるものとする。
【００９６】
（第２の実施形態）
本発明の第２の実施形態に係る撮像装置について図１１および図１２に基づいて説明する。
【００９７】
本実施形態の撮像装置は、第１の実施形態の撮像装置の全構成に加え、電池消費力の削減の機能を加えたものであり、図１〜図１０に示した第１の実施形態の撮像装置の各部の構成についての説明は省略する。
【００９８】
撮像装置を使用する際の利便性を向上させる手段として、電池消費力の削減が求められる。リアルタイムに画像認識部１０４で画像認識し、分類記録処理部１０６で分類記録を行うと、一度の撮影処理に伴い動作する機能部が増加するため、各機能部を動作させない場合と比較し消費電力が高くなる。外出先など、電池を充電する手段がない場合においては、なるべく長く使いたいというユーザの要望がある。電力消費を配慮した長時間の駆動を必要とする環境においては、一度の撮像処理に伴い動作する機能部を削減し、電池の消費量を削減した効率的な使用方法が求められる。
【００９９】
本発明が提案する撮像装置では、電力監視部を設けることにより、定期的な電池残量の確認を行うことにより、電池の残量を加味した動作へ移行する省電力モードを実現するものとする。
【０１００】
図１１は、電力監視部１１０１を設けた本発明が提案する撮像装置の構成を表すものである。電力監視部１１０１は定期的に電池１１０２の残量のチェックを行い、電池残量が一定量を下回った場合に、制御部１１１に対して情報を通知する。制御部１１１では、電力監視部１１０１から電池残量低下を通知された場合、電池１１０２の残量が減少したことをユーザに警告として与える処理を行う。例えば電池１１０２の残量がα％を下回った場合、ユーザＩＦを用いて分類記録処理の手法の再設定を促すことにより、ユーザの意思による省電力対応を実現する、省電力モードを実現することができるものとする。なお、図１１では電力監視部１１０１を１機能部とした場合を示したが、制御部１１１を用いて電池残量をチェックしても構わない。
【０１０１】
図１２に省電力モード時における、ユーザＩＦを用いた警告画面の一例を表す。メッセージ１２０１においてユーザに対して警告メッセージを表示し、選択肢１２０２においてユーザによるモード変更の許可を得る。なお、警告メッセージ１２０１、および表示部３０１の画面構成はこれに限定するものではない。
【産業上の利用可能性】
【０１０２】
本発明に係る撮像装置は、記録メディアに対して画像データを記録するデジタルビデオカメラ、デジタルスチルカメラ等の撮像システム装置として有用である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１の実施形態に係る撮像装置の構成図
【図２】本発明の第１の実施形態に係る画像分類情報の一例を表す図
【図３】本発明の第１の実施形態に係る撮像装置のユーザＩＦの一例を表す図
【図４】本発明の第１の実施形態に係る登録画像情報の一例を表す図
【図５】本発明の第１の実施形態に係る登録画像情報の指定の一例を表す図
【図６】本発明の第１の実施形態に係る登録画像情報の指定の一例を表す図
【図７】本発明の第１の実施形態に係る分類記録処理部の分類記録処理説明図
【図８】本発明の第１の実施形態に係る各種情報の関連説明図
【図９】本発明の第１の実施形態に係る記憶装置の使用説明図
【図１０】本発明の第１の実施形態に係る画像データの削除についての処理説明図
【図１１】本発明の第２の実施形態に係る撮像装置の構成図
【図１２】本発明の第２の実施形態に係る撮像装置のユーザＩＦの一例を表す図
【符号の説明】
【０１０４】
１０１ レンズ・センサ（撮像手段）
１０２ 映像入力部
１０３ 信号処理部
１０４ 画像認識部
１０５ 符号処理部
１０６ 分類記録処理部
１０７ 内部メモリ
１０８ 外部記録メディア
１０９ 表示部
１１０ 操作部
１１１ 制御部
２００ 画像分類情報
３０１ 表示部
３０２，３０３ 表示記号
３１０ 操作部
３１１，３１２ 操作ボタン
４００ 登録画像情報
６００ 画像データ
６０１ 枠
７０１〜７０６ 画像群
８００ 画像分類情報
８１０ 登録画像情報
８２０ 画像群管理情報
１００１ 削除処理前画像分類情報
１００２ 削除処理後画像分類情報
１０１０ 削除処理前画像群管理情報
１０２０ 削除処理後画像群管理情報
１１０１ 電力監視部
１１０２ 電池
１２０１，１２０２ 表示メッセージ
【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を得る撮像手段と、
前記撮像手段から得られた画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、
前記信号処理手段より得られる画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、
前記画像認識手段により生成された画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録する分類記録処理手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
電池の残量の確認を行い現在の電力情報に基づき、前記分類記録処理手段に分類記録処理の指示を行う電池残量確認手段を備え、
前記分類記録処理手段において、電池残量が一定レベル以下に減少したことを感知した場合に、リアルタイムでの分類処理を禁止、もしくはユーザに警告通知を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像認識手段は、被写体の情報に基づき登録された画像情報との画像認識処理において適合率を算出し、当該適合率を画像分類情報のひとつとすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
登録された画像情報は、被写体の形状にかかわるパターン情報と、輝度および色差の分布情報と、もしくはその両方とを扱い、
前記画像認識手段にて、任意の指定された画像データより自動的に、もしくは画像データ内の任意の領域を指定し、画像認識処理を実施して登録画像情報として登録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
指定された画像データの画像認識処理を実施して登録画像情報を登録する前記画像認識手段において、肌色領域を自動的に抽出することにより顔領域を特定して登録することを特徴とする請求項４に記載の撮像装置。
【請求項６】
画像分類情報は、登録画像情報と一意に関連付けられた画像データとの関連性を一意に表す情報の集合体で構成されたことを特徴とする請求項１に記載の撮像装置。
【請求項７】
登録画像情報、および画像分類情報を記録する記憶媒体が任意に指定されることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像データの削除を行うことを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像分類情報に基づき別の画像群への再分類を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、
前記信号処理手段より得られる画像データの解析を行い、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、
前記画像認識手段により生成された画像分類情報に基づいて、画像データを分類した形式で管理・記録を行う分類記録処理手段と、
より構成されることを特徴とする撮像装置用半導体集積回路。
【請求項１】
被写体を撮像して画像信号を得る撮像手段と、
前記撮像手段から得られた画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、
前記信号処理手段より得られる画像データを解析し、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、
前記画像認識手段により生成された画像分類情報に基づき、リアルタイムもしくは命令受信時に、画像データを画像群に分類し記録する分類記録処理手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
電池の残量の確認を行い現在の電力情報に基づき、前記分類記録処理手段に分類記録処理の指示を行う電池残量確認手段を備え、
前記分類記録処理手段において、電池残量が一定レベル以下に減少したことを感知した場合に、リアルタイムでの分類処理を禁止、もしくはユーザに警告通知を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像認識手段は、被写体の情報に基づき登録された画像情報との画像認識処理において適合率を算出し、当該適合率を画像分類情報のひとつとすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
登録された画像情報は、被写体の形状にかかわるパターン情報と、輝度および色差の分布情報と、もしくはその両方とを扱い、
前記画像認識手段にて、任意の指定された画像データより自動的に、もしくは画像データ内の任意の領域を指定し、画像認識処理を実施して登録画像情報として登録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
指定された画像データの画像認識処理を実施して登録画像情報を登録する前記画像認識手段において、肌色領域を自動的に抽出することにより顔領域を特定して登録することを特徴とする請求項４に記載の撮像装置。
【請求項６】
画像分類情報は、登録画像情報と一意に関連付けられた画像データとの関連性を一意に表す情報の集合体で構成されたことを特徴とする請求項１に記載の撮像装置。
【請求項７】
登録画像情報、および画像分類情報を記録する記憶媒体が任意に指定されることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像データの削除を行うことを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記分類記録処理手段は、画像分類情報に基づき画像群として管理されている画像データの集合体に対して、当該画像群にかかわる個別の画像を選択する、もしくは当該画像群全体を指定することにより、画像分類情報に基づき別の画像群への再分類を行うことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
画像信号より得られた画像データに対してデジタル信号処理を行う信号処理手段と、
前記信号処理手段より得られる画像データの解析を行い、登録された画像情報との画像認識処理を実施し、画像分類情報を生成する画像認識手段と、
前記画像認識手段により生成された画像分類情報に基づいて、画像データを分類した形式で管理・記録を行う分類記録処理手段と、
より構成されることを特徴とする撮像装置用半導体集積回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１６５００７（Ｐ２００９−１６５００７Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−２１８４（Ｐ２００８−２１８４）
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]