撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法
【課題】複数の被写体の配置や間隔が不適正な状態で撮影された集合写真画像であっても、これらを適正な状態に変更した集合写真画像を表示する。
【解決手段】複数の被写体画像Ａ〜Ｉと当該複数の被写体画像Ａ〜Ｉの配置位置を示す配置基準データとを対応付けて記憶しておき、（ａ）に示すように、撮影された複数の被写体画像Ａ〜Ｉを個別に切り出し、この切り出された複数の被写体画像Ａ〜Ｉを、記憶された配置基準データに従った画面上の位置に配置して，（ｂ）に示すように表示させる。この場合、前列の「中尾」Ｆと「岡田」Ｉの位置が、配置基準データと不一致であれば、（ｂ）に示すように、顔画像「中尾」Ｆと「岡田」Ｉとを入れ替えて表示する。または撮影された被写体画像の間の間隔が不揃いであれば、隣り合う被写体画像の間の間隔を均等な間隔となるように移動させて表示する。
【解決手段】複数の被写体画像Ａ〜Ｉと当該複数の被写体画像Ａ〜Ｉの配置位置を示す配置基準データとを対応付けて記憶しておき、（ａ）に示すように、撮影された複数の被写体画像Ａ〜Ｉを個別に切り出し、この切り出された複数の被写体画像Ａ〜Ｉを、記憶された配置基準データに従った画面上の位置に配置して，（ｂ）に示すように表示させる。この場合、前列の「中尾」Ｆと「岡田」Ｉの位置が、配置基準データと不一致であれば、（ｂ）に示すように、顔画像「中尾」Ｆと「岡田」Ｉとを入れ替えて表示する。または撮影された被写体画像の間の間隔が不揃いであれば、隣り合う被写体画像の間の間隔を均等な間隔となるように移動させて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像処理装置、及びこれに用いられる撮影画像処理プログラム、撮影画像処理方法に関する。
【背景技術】
【０００２】
従来、特許文献１記載の画像再生装置が知られている。この画像再生装置は、静止画の画像データを解析して被写体の人物の顔を検出し、この検出した顔の数である検出人数が予め定められた基準人数よりも多いか否かを判定する。検出人数が基準人数よりも多いと判定された場合には、前記基準人数よりも写る人数が少なくなる範囲を特定する。そして、この特定した範囲を前記静止画から切り出し、この静止画から切り出した特定の範囲を表示装置に表示させる。
【０００３】
したがって、この画像再生装置によれば、静止画中の人物の数に応じて、一つの静止画を分割して複数の画像として切り出すことから、集合写真のように多数の人物が写る静止画において、人物の一人一人を大きく表示することができ、静止画に写る全ての人物を見易くすることができるとするものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０９６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
集合写真を撮影するに際しては、被写体人物全員の顔、姿が鮮明に撮影されることが望まれるが、鮮明に撮影するために、撮影者が発声により被写体人物に位置を指示し、これに従って被写体人物が位置を変えることにより、撮影された画像中において各人物の配置や各人物の間の間隔が適正となるようにすることが一般的に行われる。しかし、撮影者の指示が不適切であったり、被写体人物が撮影者の意図通りに移動しなかったりする等の要因により、撮影された集合写真において各人物の配置や間隔が不適正である場合が生ずる。
【０００６】
しかしながら、前述した画像再生装置にあっては、単に集合写真から基準人数よりも写る人数が少ない範囲を切り出して、拡大表示する構成であることから、当該集合写真が人物の配置や間隔が不適正であっても、この人物の配置や間隔が不適正であるまま、画像が切り出されて拡大表示されることとなる。したがって、人物の配置や間隔が不適正である状態で撮影を終了すると、人物を適正な配置や間隔にして画像を表示することができない。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、仮に各被写体の配置や間隔が不適正な状態で撮影された被写体画像であっても、これらを適正にして被写体画像を表示することのできる撮影画像処理装置、及びこれに用いられる撮影画像処理プログラム、撮影画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため請求項１記載の発明に係る撮影画像処理装置にあっては、複数の被写体を撮影する撮影手段と、複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段とを備えていることを特徴とする。
【０００９】
また、請求項２記載の発明に係る撮影画像処理装置にあっては、前記複数の被写体画像は、前記画面内において横方向及び縦方向のいずれかの方向に配置されており、前記表示制御手段は、この配置されている複数の被写体画像の間の距離が等間隔となるように、各被写体画像を移動して、当該各被写体画像を同一画面上に表示させることを特徴とする。
【００１０】
また、請求項３記載の発明に係る撮影画像処理装置にあっては、前記表示制御手段は、前記複数の被写体における顔画像それぞれを検出する顔検出手段と、この顔検出手段により検出された複数の被写体画像における眼の位置を基準として、各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動して同一画面上に表示させる同一画面表示制御手段と、を備えていることを特徴とする。
【００１１】
また、請求項４記載の発明に係る撮影画像処理装置にあっては、前記切出手段は、前記顔検出手段により検出された複数の被写体画像における眼の位置を基準として、当該被写体画像を切り出すことを特徴とする。
【００１２】
また、請求項５記載の発明に係る撮影画像処理装置にあっては、前記表示制御手段は、前記顔検出手段により検出された複数の被写体画像の近傍位置に、当該複数の被写体画像それぞれに対応する個人データを表示させる個人データ表示制御手段を備えていることを特徴とする。
【００１３】
また、請求項６記載の発明に係る撮影画像処理装置にあっては、前記記憶手段に、前記複数の被写体画像の配置位置を示す配置基準データを前記撮影手段により撮影された複数の被写体画像を個別に切り出す前に先立って、ユーザの操作に応じて記憶させる記憶制御手段を備えることを特徴とする。
【００１４】
また、請求項７記載の発明に係る撮影画像処理装置にあっては、前記複数の被写体画像は、前記画面内において複数列に配置されており、前記表示制御手段は、最前列における被写体画像の大きさに応じて、後列の被写体画像を拡大処理する拡大処理手段を備えることを特徴とする。
【００１５】
また、請求項８記載の発明に係る撮影画像処理装置にあっては、撮影手段と、この撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、を備えていることを特徴とする。
【００１６】
また、請求項９記載の発明に係る撮影画像処理装置にあっては、前記表示制御手段の制御により同一画面上に表示された各被写体画像を記録する記録手段をさらに備えることを特徴とする。
【００１７】
また、請求項１０記載の発明に係る撮影画像処理装置にあっては、撮影された複数の被写体画像を処理する撮影画像処理装置において、予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段を備えていることを特徴とする。
【００１８】
また、請求項１１記載の発明に係る撮影画像処理プログラムにあっては、複数の被写体を撮影する撮影手段を備えた撮影画像処理装置が有するコンピュータを、複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段として機能させることを特徴とする。
【００１９】
また、請求項１２記載の発明に係る撮影画像処理プログラムにあっては、撮影手段備えた撮影画像処理装置が有するコンピュータを、前記撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、して機能させることを特徴とする。
【００２０】
また、請求項１３記載の発明に係る撮影画像処理プログラムにあっては、撮影された複数の被写体画像を処理する撮影画像処理装置が有するコンピュータを、予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段として機能させることを特徴とする。
【００２１】
また、請求項１４記載の発明に係る撮影画像処理方法にあっては、複数の被写体を撮影する撮影ステップと、複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶する記憶ステップと、前記撮影ステップにより撮影された複数の被写体画像を個別に切り出す切出ステップと、この切出ステップにより切り出された複数の被写体画像を前記記憶ステップで記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段とを含むことを特徴とする。
【００２２】
また、請求項１５記載の発明に係る撮影画像処理方法にあっては、撮影ステップと、この撮影ステップにより撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出ステップと、この距離検出ステップにより検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御ステップと、を含むことを特徴とする。
【００２３】
また、請求項１６記載の発明に係る撮影画像処理方法にあっては、撮影された複数の被写体画像を処理する撮影画像処理方法において、予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御ステップを備えていることを特徴とする。
【００２４】
また、請求項１７記載の発明に係る撮影画像処理装置にあっては、複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、前記複数の被写体画像それぞれを個別に切り出し、予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、を備えていることを特徴とする。
【００２５】
また、請求項１８記載の発明に係る撮影画像処理装置にあっては、複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、前記複数の被写体画像のうち、互い隣り合う被写体画像間の距離を測定する距離測定手段と、この距離測定手段により測定された各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動させ、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、を備えていることを特徴とする。
【００２６】
また、請求項１９記載の発明に係る撮影画像処理装置にあっては、請求項１７又は請求項１８に記載の撮影画像処理装置において、前記複数の被写体画像は、横方向および縦方向のいずれかの方向に配置されており、前記表示制御手段は、このいずれかの方向における複数の被写体画像の間の距離が等間隔となるように、当該各被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる移動表示制御手段を備えていることを特徴とする。
【００２７】
また、請求項２０記載の発明に係る撮影画像処理装置にあっては、請求項１７又は請求項１８に記載の撮影画像処理装置において、前記表示制御手段は、前記複数の被写体画像の顔それぞれを検出する顔検出手段と、この顔検出手段により検出された複数の被写体画像における目の位置、被写体画像の輪郭、背景画像と被写体画像との差分または明度差による画像抽出方法に基づいて、被写体画像それぞれを個別に切り出し、前記予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる同一画面表示制御手段と、を備えていることを特徴とする。
【００２８】
また、請求項２１記載の発明に係る撮影画像処理装置にあっては、請求項１７又は請求項１８に記載の撮影画像処理装置において、前記予め定められている配置基準は、学年順、男女別、背の高さ順、上司部下順を含む、各被写体画像の配置を制御するための配置基準データであり、この配置基準データは前記複数の被写体画像と対応付けて記憶されていることを特徴とする。
【発明の効果】
【００２９】
本発明によれば、被写体の配置や間隔が不適正な状態で撮影された被写体画像であっても、被写体の配置や間隔を適正にした被写体画像を表示することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の各実施の形態に共通するデジタルカメラの外観図であり、（ａ）は正面図、（ｂ）は背面図である。
【図２】デジタルカメラの電子回路構成を示す図である。
【図３】（ａ）及び（ｂ）はデータベースに設けられた顔認識テーブルの構成を示す図である。
【図４】（ａ）は基準ＲＡＭの構成を示す模式図で、（ｂ）はデータベースにおける配置位置データ領域を示す構成図である。
【図５】本実施の形態における処理手順を示すゼネラルフローチャートである。
【図６】同実施の形態における顔登録モード処理の処理手順を示すフローチャートである。
【図７】（ａ）〜（ｄ）は同顔登録モード処理における表示遷移図である。
【図８】本発明の第１の実施の形態における撮影モード処理の処理手順を示すフローチャートである。
【図９】同顔撮影モード処理における画面例を示す図である。
【図１０】同撮影処理の詳細を示すフローチャートである。
【図１１】撮影画像例を示す図である。
【図１２】（ａ）〜（ｃ）は同顔撮影モード処理における表示遷移図である。
【図１３】本発明の第２の実施の形態における撮影モード処理の処理手順を示すフローチャートである。
【図１４】（ａ）（ｂ）は同顔撮影モード処理における表示遷移図である。
【図１５】同編集モード処理の処理手順を示すフローチャートである。
【図１６】（ａ）（ｂ）（ｃ）は同編集モード処理における表示遷移図である。
【図１７】（ａ）（ｂ）（ｃ）（ｅ）は背景画像と被写体画像との差分に基づいて、被写体画像を切り出して被写体画像を抽出する画像抽出方法を採用した場合の実施形態を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通するデジタルカメラの外観図であり、（ａ）は正面図、（ｂ）は背面図である。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２と距離測定部ＫＳとを有している。距離測定部ＫＳは、距離測定光を発射し、複数の人物から反射された距離測定光による各距離を測定する機能を備えている。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）等が設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。
【００３２】
図２は、前記デジタルカメラ１００の電子回路構成を示す図である。このデジタルカメラ１００は、基本モードである撮影モードにおいて、ズームレンズ１２−１を移動させて光学ズーム動作を行わせるズーム駆動部１１−１、フォーカスレンズ１２−２を移動させて合焦動作を行わせるＡＦ駆動部１１−２、ズームレンズ１２−１及びフォーカスレンズ１２−２を含む撮像レンズ２を構成するレンズ光学系１２、撮像素子であるＣＣＤ１３、タイミング発生器（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Direct Memory Access）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、表示部２６、ＪＰＥＧ回路２７、保存メモリ２８、顔検出部２９−１、顔認識部２９−２、及びデータベース２９−３、及びキー入力部３０を備えている。
【００３３】
撮影モードでのモニタリング状態においては、ズーム駆動部１１−１は、光学ズーム指示があると制御部２２からの制御信号に基づいて、図示しないズームレンズ駆動モータを駆動してズームレンズ１２−１を光軸に沿って前後に移動させることによりＣＣＤ１３に結像させる画像の倍率そのものを変化させる。また、ＡＦ駆動部１１−２は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２−２を移動させる。そして、前記撮像レンズ２を構成するレンズ光学系１２の撮影光軸後方に配置された撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。
【００３４】
ＣＣＤ１３は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスでもよい。
【００３５】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。
【００３６】
ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路１８からの複合（composite）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送する。
【００３７】
制御部２２は、このデジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、後述するフローチャートに示す処理を実行するためのプログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成される。そして、前記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。
【００３８】
また、制御部２２は、キー入力部３０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１００の各機能の実行制御、具体的には撮影動作や、光学ズーム時のズームレンズの動作制御や、電子ズームや、スルー表示、自動合焦、撮影、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、設定画面の表示制御等を行う。
【００３９】
デジタルビデオエンコーダ２５は、前記輝度及び色差信号を、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基にビデオ信号を生成して前記表示部２６に出力する。
【００４０】
表示部２６は、上述したように撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ２３から取り込んでいる画像情報に基づく画像をリアルタイムに液晶モニタ画面４に表示することになる。
【００４１】
制御部２２は合焦指示に応じてその時点でＣＣＤ１３から取り込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。
【００４２】
この保存記録の状態では、制御部２２がＤＲＡＭ２１に書き込まれている１フレーム分の輝度及び色差信号を、ＤＲＡＭインターフェイス２０を介してＹ、Ｃｂ、Ｃｒのコンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ（Joint Photograph cording Experts Group）回路２７に書込み、このＪＰＥＧ回路２７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてＪＰＥＧ回路２７から読出し、保存メモリ２８に記録保存する。また、１フレーム分の輝度及び色差信号の圧縮処理及び保存メモリ２８への全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。
【００４３】
また、基本モードである再生モード時には、制御部２２が保存メモリ２８に記録されている画像データを選択的に読出し、ＪＰＥＧ回路２７で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸張し、伸張した画像データを、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。
【００４４】
前記ＪＰＥＧ回路２７は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。また、高画素数から低画素数にも対応している。例えば、ＳＸＧＡ（１６００×１２００）、ＸＧＡ（１０２４×７８６）、ＳＶＧＡ（８００×６００）、ＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）等と呼ばれる記録画素サイズがある。
【００４５】
保存メモリ２８は、内蔵メモリ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり画像データや撮影情報等を保存記録する。
【００４６】
顔検出部２９−１は、１フレーム分の画像から顔（顔領域を含む）を検出し、顔の特徴データ（図３（ｂ）参照）を抽出する。顔が複数あった場合、すなわち、１フレーム内に複数の顔が写っている場合は複数の人物の顔をそれぞれ検出し、それぞれの顔の特徴データを抽出する。顔の検出方法は公知の方法を用いることもできる。例えば、前述した特許文献１（特開２００３−２７４２７１号公報）に記載の技術や特開２０００―３００３３号公報に記載の技術のように１フレーム中から人物の顔領域を検出する技術等を適宜採用することができる。なお、この顔検出処理のために専用の回路を設けても良いし制御部２２で顔検出用プログラムを実行させるようにしてもよい。
【００４７】
顔認識部２９−２は、顔検出部２９−１で抽出された顔の特徴データとデータベース２９−３の顔認識テーブルの顔認識レコードに記憶されている特徴データと比較して類似度を判定し、検出された顔がどの個人の顔であるかを特定して当該個人を特定する。類似度の判定には、例えば、検出した顔の特徴データと登録済みの人物の顔の特徴データの差分から距離を求め、距離が所定閾値以下の場合に類似度が高いまたは低いと判定する。
【００４８】
データベース２９−３は、個人の顔認識データや画質パラメータ等からなる顔認識レコードを複数記憶してなる顔認識テーブル、照合用画像データを格納した領域を備えており、顔認識部２９−２によって参照される。
【００４９】
また、データベース２９−３は、配置位置データ領域２９−３Ａを備えている。この配置位置データ領域は、図４（ｂ）に示すように、複数の人物画像が配置されるべき配置レイアウトを示す配置位置データが格納するための領域であり、前列および後列の各座標位置ｘ１・・・ｘ５，ｙ１・・・ｙ４別に、「中央１」「中央２」のような複数の人物画像が配置されるべき配置を指示するための指示データが格納されている。
【００５０】
データベース２９−３はまたユーザのキー入力操作によって新規登録、調整、又は削除等の更新が可能である。
【００５１】
キー入力部３０は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、及び電源ボタン９と、それらのキーが操作されると操作されたキーの操作信号を生成して制御部２２に送出するキー処理部（図示せず）等から構成されている。
【００５２】
モードダイアル３は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、・・・等の撮影モードを選択することができる。
【００５３】
カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイントを指定する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目を選択設定する際に押されるキーである。またＳＥＴキー６を確認キーとして用いることもできる。
【００５４】
ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１又はＴボタン７−２）の操作に対応してズームレンズ（可変焦点距離レンズ）１２−１がワイド側またテレ側に移動されズームボタン７の操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。
【００５５】
シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。
【００５６】
さらに、制御部２２には、バスラインを介して音声回路３１が接続されており、音声回路３１は、前記フラッシュメモリ等に記憶された音声データ等をスピーカ３２より再生するものである。
【００５７】
図３は、データベース２９−３に設けられた顔認識テーブル４０の構成を示す図である。この顔認識テーブル４０は、個人の氏名や顔の特徴データ、照合用顔画像を取り出すためのポインタ、画質パラメータ等を登録した顔認識レコードを複数記憶している。そして
【００５８】
図３はデータベース２９−３に設けられた顔認識テーブル４０の構成を示す図である。この顔認識テーブル４０は、個人の氏名、顔の特徴データ、照合用顔画像を取り出すためのポインタ、画質パラメータ等を登録した顔認識レコード（図示せず）を複数記憶している。そして、図３（ａ）に示すように、顔認識レコードを識別するための個人ＩＤを記憶する個人ＩＤ欄４１、個人毎にその氏名を記録する氏名データ欄４２、顔の特徴データを記録する特徴データ欄４４、照合画像ポインタを記憶する照合画像ポインタ欄である照合用顔画像データアドレス欄４５、各個人の顔画像を記憶する顔画像欄４６を有している。
【００５９】
特徴データ欄４４は、更に、図３（ｂ）に示すように顔の各部位（眼、鼻、口、耳、額顎、・・・等）の位置を記憶する位置欄４４−１、各部位のサイズを記憶するサイズ欄４４−２、各部分の角度を記憶する角度欄４４−３、顔の各部位間の相対関係（例えば、左右の眼の間隔、顔の横サイズとの比率等）を記憶する相対関係欄４４−４等を示すデータからなり、顔認識部２９−２で抽出した各特徴データと比較され類似判定される。照合画像ポインタ欄４５は、個人の顔画像を記憶した顔画像欄４６における照合用の画像データの格納先の先頭アドレスであり、顔認識部２９−２が顔検出部２９−１で抽出した顔の特徴データと特徴データ欄４４に記憶されている特徴データとの比較結果により特定した個人の顔を、ユーザが確認する際に氏名データ欄４２に記憶されている氏名と共に特定された個人を示す顔画像として用いることができる。
【００６０】
撮影時に、顔検出部２９−１がフレーム内の画像における人物の顔を検出し、顔の特徴データを抽出すると、顔認識部２９−２は抽出された特徴データをデータベース２９−３の顔認識テーブル４０を構成する各顔認識レコードの特徴データ欄４４に記憶されている特徴データと比較し、類似度の最も大きな顔認識レコードに登録されている個人を検出された顔の人物として特定する。そして、特定した人物に対応する個人データを氏名データ欄４２から読み出すことができる。
【００６１】
図４（ａ）は、データベース２９−３に設けられた基準ＲＡＭ５０の構成を示す図である。この基準ＲＡＭ５０は、役職名欄５１、氏名欄５２、所属会社名称欄５３、及び配置位置欄５４で構成されている。役職名欄５１には、「委員長」、「副委員長」等の役職名が記憶され、氏名欄５２には前記顔認識テーブル４０の氏名データ欄４２に記憶された氏名と同一の氏名が記憶され、所属会社名称欄５３には、対応する氏名の人物が所属する会社名が記憶される。また、配置位置欄５４には、後述の編集表示処理によって、各人物を表示する際の配置位置が記憶される。この配置位置は、「前列」、「後列」等の列を示す列情報と、「中央１」、「中央２」、「右端」等の当該列における位置を示す位置情報とで構成される。
【００６２】
図５は、本実施の形態における処理手順を示すゼネラルフローである。このネラルフローにおいて、制御部２２は、前記プログラムに従って動作することにより、図７（ａ）に示すように、液晶モニタ画面４に「顔登録モード」「撮影モード（１）」「撮影モード（２）」等のメニュー画面を表示する。この表示されたメニュー画面の中から、ユーザのキー操作により「顔登録モード」が選択されると、顔登録モード処理（ステップＳ１；図６参照）を実行する。その後、表示されたメニュー画面の中から、ユーザのキー操作により「顔撮影モード」が選択されると、撮影モード処理（ステップＳ２；図８参照）を実行する。
【００６３】
図６は、図５における前記顔登録モード処理（ステップＳ１）の処理手順を示すフローチャートである。この顔登録モード処理において制御部２２は、図６のフローチャートに従って処理を実行する。
【００６４】
まず、図７（ａ）に示すように、液晶モニタ画面４に一覧表示されている「顔登録モード」「撮影モード（１）」「撮影モード（２）」等のメニュー画面の中から、「顔登録モード」がキー操作により選択されると、この顔登録モード処理に移行する。そして、この処理において、顔を撮影すると、この撮影した顔を表示する（ステップＳ１０１）。
【００６５】
すなわち、ユーザが個人データの登録を希望する者の顔に撮像レンズ２を向けてシャッターキー８を操作すると、撮影処理を実行するとともに、この撮影された画像を液晶モニタ画面４に表示する（ステップＳ１０１）。したがって、このステップＳ１０１での処理により、図７（ｂ）に例示するように、撮影された各個人の顔画像Ａ、Ｂが液晶モニタ画面４に表示される。
【００６６】
次に、この液晶モニタ画面４に表示させた顔の特徴を検出する（ステップＳ１０２）。この顔の特徴は、前述のように、顔の各部位（眼、鼻、口、耳、額顎、・・・等）の位置、各部位のサイズ、各部分の角度、顔の各部位間の相対関係等であり、これらの特徴を顔画像Ａから検出する。そして、これら検出した特徴を示す特徴データを特徴データ欄４４に記憶するとともに、対応する顔画像欄４６に顔画像Ａを記憶する（ステップＳ１０３）。したがって、特徴データ欄４４において、顔の各部位（眼、鼻、口、耳、額顎、・・・等）の位置は位置欄４４−１に、各部位のサイズはサイズ欄４４−２に、各部分の角度は角度欄４４−３に、顔の各部位間の相対関係は相対関係欄４４−４に各々記憶されることとなり、対応する顔画像Ａは顔画像欄４６に記憶されることとなる。
【００６７】
なお、これらの記憶は後述するように各顔画像Ａ、Ｂ毎に行われるが、先ず左側の顔画像Ａに対して行う。
【００６８】
引き続き、氏名データの入力催促表示を実行する（ステップＳ１０４）。このステップＳ１０４での処理により図７（ｃ）に例示するように、「左の人物から順番に氏名データを入力してください」なる文字列４０１を表示する。これに応じて、ユーザが氏名を入力し（ステップＳ１０５）、図７（ｄ）に示すように入力された氏名データ４０２（氏名データ；村田○○）を液晶モニタ画面４の一部に表示させる。
【００６９】
したがって、ユーザは液晶モニタ画面４に表示されている顔画像Ａを見ながら、対応する氏名データ４０２の入力を行うことができる。
【００７０】
そして、顔画像Ａ人物の氏名データを入力し終えた時点で決定のキー操作を行うと、ステップＳ１０５からステップＳ１０６に進み、入力済みの氏名データを、前記ステップＳ１０３で記憶した顔特徴データ及び撮影顔画像に対応付けて記憶し、これらを表示する（ステップＳ１０６）。したがって、図３に示したように、例えば個人ＩＤ「１」に対応して、氏名データ欄４２には「村田○○」が記憶され、特徴データ欄４４には「村田○○」の顔特徴データが記憶され、顔画像欄４６には「村田○○」の顔画像Ａが記憶され、また、照合画像ポインタ欄４５には、顔画像Ａが記憶された顔画像欄４６のアドレスが記憶されることとなる。
【００７１】
引き続き、配置基準データの入力催促表示を実行する（ステップＳ１０７）。このステップＳ１０７での処理により図７（ｅ）に例示するように、「配置基準データを入力してください」なる文字列４０３を表示した、配置基準データ入力画面を表示する。この配置基準データ入力画面は、図４（ａ）に示した基準ＲＡＭ５０を構成する各欄と同様の役職名欄５１、氏名欄５２、所属会社名称欄５３、及び配置位置欄５４で構成されている。
【００７２】
なお、この時点では既に氏名データの入力は完了しているので、これら欄５１〜５４のうち、氏名欄５２には既に入力された「村田○○」が書き込まれている。
【００７３】
そして、この配置基準データの入力催促表示に応じて、ユーザが「村田○○」の役職名「委員長」、所属会社名称「Ａ株式会社」、及び配置位置「前列 中央１」を入力すると（ステップＳ１０８）、図７（ｆ）に示すようにこれら入力された配置基準データを液晶モニタ画面４に表示させる。
【００７４】
したがって、ユーザは液晶モニタ画面４に表示されている配置基準データ入力画面を構成する各欄（役職名欄５１、氏名欄５２、所属会社名称欄５３、及び配置位置欄５４）を確認しながら配置基準データの入力を行うことができる。
【００７５】
そして、図７（ｆ）に示したように、人物「村田○○」のすべての配置基準データを入力し終えた時点で決定キーのキー操作を行うと、ステップＳ１０８からステップＳ１０９に進み、入力済みの配置基準データを基準ＲＡＭ５０に記憶し、これらを表示する（ステップＳ１０９）。したがって、図４（ａ）に示したように、基準ＲＡＭ５０の最上段である１行目には、役職名欄５１に「委員長」が記憶され、氏名欄５２に「村田○○」が記憶され、所属会社名称欄５３に「Ａ株式会社」が記憶され、配置位置欄５４に「前列 中央１」が記憶されることとなる。
【００７６】
次に、前記ステップＳ１０１で撮影した画像中における他の顔画像Ｂを含む全員に対して以上の顔画像及び個人データの記憶を完了したか否かを判断する（ステップＳ１１０）。完了していないと判断された場合には、前述したステップＳ１０２〜Ｓ１０９の処理を繰り返し、完了した時点でこのフローに従った処理を終了する。
【００７７】
したがって、本例のように、顔画像Ａ、Ｂが撮影されたとすると、ステップＳ１０２〜Ｓ１０９が再度繰り返される。これにより、図４（ａ）に示したように、氏名「村田○○」の配置基準データに続いて、次の行に氏名「後藤○○」の配置基準データが記憶される。また、他の人物「岡田○○」〜「中尾○○」に関しても、図６に示したフローチャートに従って処理を実行することにより、図４（ａ）に示したように、基準ＲＡＭ５０に各人の配置基準データが予め登録されこととなる。
【００７８】
よって、ユーザは以上に説明した簡単な操作により、任意に撮影した所望の人物の配置基準データを自在に記憶させておくことができる。
【００７９】
図８は、第１の実施の形態における前記撮影モード処理（ステップＳ２）の処理手順を示すフローチャートである。この撮影モード処理において、図９に示すように、液晶モニタ画面４に表示されている「顔登録モード」「撮影モード（１）」「撮影モード（２）」・・・等のメニュー画面の中から、「撮影モード（１）」が選択されると、制御部２２は、図８のフローチャートに従って処理を実行する。
【００８０】
すなわち、この「撮影モード（１）」のもとで、顔の撮影開始を行うと、液晶モニタ画面４に現在の被写体のスルー画像を表示する（ステップＳ２０１）。次に、シャッターキー８が操作されたか否かを判断する（ステップＳ２０２）。シャッターキー８が操作されたならば、撮影処理を実行し、ＣＣＤ１３から取り込んだ１画像の画像データを保存メモリ２８に記録保存するとともに、表示部２６（液晶モニタ画面４）に表示する（ステップＳ２０３）。
【００８１】
図１０は、このステップＳ３０３における撮影処理の詳細を示すサブルーチンである。先ず、ＣＣＤ１３から取り込んで画像データにおいて顔画像を検出する顔検出処理を実行する（ステップＳ３０１）。すなわち、図１１（ａ）に示したように、人物の集合状態の下で集合写真を撮影すべくシャッターキー８が操作されたとすると、撮影部から取り込まれた撮影画像中において、人物の顔を検出する（ステップＳ３０１）。
【００８２】
引き続き、検出した顔画像に対応する氏名データを顔認識テーブル４０において検索する（ステップＳ３０２）。
【００８３】
つまり、図１１（ａ）に示した画像Ｐ内に存在する上部左端の顔画像Ａから、顔認識部２９−２で前記各特徴データを抽出し、この抽出した特徴データと特徴データ欄４４に格納されている各顔の前記特徴とを比較することにより、当該顔画像Ａが個人ＩＤ欄４１のいずれの個人ＩＤ（１、２・・・）に対応する顔画像であるかを検索する。そして、個人ＩＤが検索できたならば、氏名データ欄４２においてこの検索した個人ＩＤに対応する氏名データを検索する。
【００８４】
しかる後に、顔画像Ａに対応する氏名データがあったか否かを判断する（ステップＳ３０３）。氏名データがあったと判断されると、顔画像Ａに対応する氏名データをその顔画像Ａの近傍位置に合成して表示する（ステップＳ３０４）。したがって、このステップＳ３０４での処理により、図１１（ａ）に示すように、顔画像Ａの近傍に氏名データ４０４として「笠井」が表示される。
【００８５】
次に、表示部２６上の全員に対して以上の顔検出及び氏名データの検索、表示等を完了したか否かを判断する（ステップＳ３０５）。完了していないと判断された場合には、前述したステップＳ３０１〜Ｓ３０４の処理を繰り返す。したがって、本例のように、９名での集合写真が撮影され、これら撮影された人物が予め顔認識テーブル４０に登録されていると、図１１（ａ）に示すように、各人の近傍に「笠井」、「村越」・・・の氏名データ（本実施の形態においては、簡略表示のために「氏名」のうちの「氏（姓名）」のみ）が表示されることとなる。
【００８６】
したがって、関係者がこの画面を視認することにより、集合写真を構成する人物の氏名を認識したり、確認したりすることができる。無論、「氏」のみならず「名」も、また、対応付けて記憶されている「所属会社名称」などの個人データも合成表示するようにしてもよい。
【００８７】
また、図８のフローチャートにおいてステップＳ２０３に続くステップＳ２０４においては、人物の眼抽出処理を実行する（ステップＳ２０４）。すなわち、前記撮影処理により保存メモリ２８に保存した画像Ｐ（図１１（ａ））を解析し、当該画像Ｐに存在する人物の眼、例えば人物Ｂの眼を抽出する。
【００８８】
より具体的には、特開２００６−３０９６６１号公報にも開示されているように、画像Ｐを複数の領域に分割し、その中から皮膚と推定される肌色の色素を多く含む領域を選び出し、さらに、肌色の色素を多く含む領域から眼部の白色画素と白色画素に包囲された瞳と推定される色の色素を有する領域を選び出し、図１１（ｂ）に示すように、人物の眼Ｉ，Ｉを抽出する。
【００８９】
さらに、この抽出した人物の眼Ｉ，Ｉに基づき、画像Ｐにおける当該眼Ｉ，Ｉを有する顔の位置を特定する（ステップＳ２０５）。引き続き、図１１（ｂ）に示すように、両眼Ｉ，Ｉの距離ｄを測定（検出）し（ステップＳ２０６）、この測定した両眼Ｉ，Ｉの距離ｄに基づいて、当該人物の顔の大きさを算出し、この算出した大きさの顔を切り出すことが可能な切り出し範囲を設定する（ステップＳ２０７）。この実施の形態の場合、図１１（ｂ）に示すように、人物Ｂの顔の中心点Ｃを通る対角線Ｌ１、Ｌ２の長さを、例えば距離ｄの６〜７倍とする矩形領域を切り出し範囲Ｚとして設定する。
【００９０】
したがって、切り出し範囲Ｚは、顔画像の眼の位置に基づいて決定されることから、適正な切り出し範囲を設定することができる。なお、図１１（ｂ）に示すように、人物Ｂの顔の中心点Ｃを中心とした矩形領域を切り出し範囲Ｚとして設定することとしているが、人物Ｂの顔の中心点Ｃを中心とし、顔の輪郭から外側に突出した円形領域または楕円形領域を切り出し範囲Ｚとして設定するようにしてもよい。
【００９１】
次に、この設定した切り出し範囲の境界上に他の人物が存在するか否かを判断する（ステップＳ２０８）。この判断は、たとえば、設定した切り出し範囲Ｚと他の人物の切り出し範囲Ｚとが重複したか否かにより判断するが、他の方法で判断してもよい。
【００９２】
境界上に他の人物が存在する場合には、周辺補正処理として、切り出し範囲の周辺に所定の補正処理を施す（ステップＳ２０９）。または、設定した切り出し範囲Ｚが、他の人物の切り出し範囲Ｚと重複しない範囲まで狭める。しかる後に、各人物画像を前記切り出し範囲にて切り出して、液晶モニタ画面４に表示する（ステップＳ２１０）。
【００９３】
次に、前列と後列、及び各列における各人物画像間の距離が等間隔となるように、切り出した各人物画像を移動して、液晶モニタ画面４に表示する。これにより、実際に撮影した集合写真において各人物間の距離が等間隔な距離でない、ばらばらであったとしても、人物画像間の距離が等間隔な整然とした集合写真を表示することができる。
【００９４】
しかも、前述のように、各人物画像は眼の位置を基準として適正な範囲で切り出されていることから、各人物が適正な切り出し範囲でかつ人物画像間の距離が等間隔な整然とした集合写真を表示することができる。
【００９５】
なお、このとき前記氏名データ４０４も切り出して、人物画像の近傍位置に表示する。したがって、このステップＳ２１０での処理により、図１２（ａ）に示すように、各人物「笠井」Ａ〜「岡田」Ｉの切り出された顔画像が氏名データ４０４とともに表示される。
なお、図１２（ａ）の実施の形態の場合、各人物「笠井」Ａ〜「岡田」Ｉの切り出された顔画像である「笠井」Ａ〜「岡田」Ｉに係る切り出し範囲Ｚの大きさが均一でない。しかし、切り出し範囲Ｚの大きさは均一であることが望ましいが、隣接する人物画像の近接度合いに応じて、切り出し範囲Ｚの大きさを変更してもよい。
【００９６】
よって、切り出された各人物「笠井」Ａ〜「岡田」Ｉの顔画像に対応して氏名データ４０４が表示されることにより、ユーザは切り出された顔画像が誰であるかを知ることができる。
【００９７】
次に、これら各人物「笠井」Ａ〜「岡田」Ｉの人物画像と、当該表示部２６上におけるその位置（表示部２６における両眼の位置座標）とをＤＲＡＭ２１に記憶する（ステップＳ２１１）。さらに、基準ＲＡＭ５０から記憶されている配置基準データを読み出し（ステップＳ２１２）、これにより、図４（ａ）に示した配置基準データが制御部２２によって基準ＲＡＭ５０から読み出されることとなる。
【００９８】
しかる後に、この読み出した配置基準データに従って、人物画像を移動して表示する（ステップＳ２１３）。この場合、データベース２９−３における配置位置データ領域２９−３Ａは、図４（ｂ）に示すように、複数の人物画像が配置されるべき配置レイアウトを示す配置位置データが格納されており、前列および後列の各座標位置ｘ１・・・ｘ５，ｙ１・・・ｙ４別に、「中央１」「中央２」のような複数の人物画像が配置されるべき配置を指示するための指示データが格納されているので、前述した配置基準データに含まれている「配置位置」のデータに対応する、この指示データの座標位置に各人物画像を移動して表示することになる。
【００９９】
ところで、図４（ａ）に示すように、基準ＲＡＭ５０の配置位置欄５４には「村田○○」から「中尾○○」までの９名各々に対応して配置位置が記憶されている。一方、図１２（ａ）に示したように、表示部２６には前記ステップＳ２１０での処理により、後列左端の「笠井」Ａから前列右端の「岡田」Ｉまでの９名の顔画像が表示されている。
【０１００】
そして、この図１２（ａ）に示す表示部２６の表示状態と、図４（ａ）に示す基準ＲＡＭ５０の配置位置欄５４の内容とを比較すると、図１２（ａ）における後列の「笠井」Ａ、「村越」Ｂ、「熊澤」Ｃ、「大熊」Ｄ、「糟屋」Ｅの位置と、図４（ａ）の「笠井○○」、「村越○○」、「熊澤○○」、「大熊○○」、「糟屋○○」、「笠井○○」の各配置位置データ「後列 左から１」、「後列 左から２」・・・とは一致している。
【０１０１】
しかし、図１２（ａ）における前列は左端に「中尾」Ｆ、右端に「岡田」Ｉであるのに対し、図４（ａ）において「中尾○○」の配置位置データは「前列 右端」であり、「岡田○○」の配置位置データは「前列 左端」である。
【０１０２】
したがって、図１２（ａ）の表示状態において、後列の全員及び前列の中央１及び中央２の「村田」Ｈと「後藤」Ｇの位置は、基準ＲＡＭ５０の配置位置欄５４のデータと一致するが、前列の「中尾」Ｆと「岡田Ｉ」の位置は、基準ＲＡＭ５０の配置位置欄５４のデータと不一致である。また、不一致である前列の顔画像「中尾」Ｆと「岡田」Ｉの位置を基準ＲＡＭ５０の配置位置欄５４のデータと一致させるためには、図１２（ａ）の表示状態において、「中尾」Ｆの位置と「岡田」Ｉの位置とを交換しなければならない。したがって、このステップＳ２１３においては、図１２（ｂ）に示すように、氏名データ４０４を含む顔画像「中尾」Ｆと「岡田」Ｉとを入れ替えて、表示部２６に表示する。
【０１０３】
これにより、複数の被写体人物の配置が不適正な状態で撮影がなされた場合であっても、各被写体人物の配置を配置基準データに従って自動的に適正な位置に配置し直した状態の画像を表示することができる。
【０１０４】
次に、最前列以外の他の列の顔画像サイズを最前列の顔画像サイズと同サイズに拡大処理する（ステップＳ２１４）。
【０１０５】
すなわち、図１１（ａ）に示したように、複数列で集合写真を撮影すると、被写体人物は最前列の人物画像Ｉ，Ｇ，Ｈ，Ｆの顔画像サイズが最大となり、最前列以外の列の人物画像Ａ〜Ｅの顔画像サイズは最前列よりも相対的に小さくなる。したがって、図１２（ａ）（ｂ）に示すように、各人物被写体の顔画像部分を切り出して表示すると、当然に後列の人物画像Ａ〜Ｅの顔画像は最前列の人物画像Ｉ，Ｇ，Ｈ，Ｆの顔画像よりも小さく表示されてしまい、顔画像の大きさが不均等となってしまう。
【０１０６】
そこで、ステップＳ２１４においては、デジタルカメラの距離測定部ＫＳから発射され、複数の人物から反射された距離測定光による各距離に基づいて、最前列以外の他の列の人物画像Ａ〜Ｅの顔画像サイズを最前列の人物画像Ｉ，Ｇ，Ｈ，Ｆの顔画像サイズと同サイズとなるように拡大処理して表示する。
【０１０７】
拡大処理例としては、図１１（ｂ）に示すように、両眼Ｉ，Ｉの距離ｄを測定（検出）していることから、この測定した両眼Ｉ，Ｉの距離ｄが全員の測定距離と同様となるまでか全員または一部の顔画像サイズを拡大処理して全員の顔画像のサイズが同じまたはほぼ同じとなるように表示するようにしてもよい。また、全員の顔画像の輪郭を測定し、これに基づいて、全員または一部の顔画像サイズを拡大処理して全員の顔画像のサイズが同じまたはほぼ同じとなるように表示するようにしてもよい。
【０１０８】
これにより、図１２（ｃ）に示すように、後列の顔画像の「笠井」Ａ〜「糟屋」Ｅが最前列の顔画像「岡田」Ｉ〜「中尾」Ｆと同サイズにして表示される。したがって、不可避的に顔画像サイズが異なってしまう集合写真の欠点を解消して、全員の顔画像サイズが同等な大きさからなる集合写真を特別な操作をユーザが行うことなく確実かつ迅速に表示することができる。
【０１０９】
なお、この拡大処理は、制御部２２の働きにより自動的に行っても良く、または、ユーザのキー操作による指示に応答して行っても良い。
【０１１０】
しかる後に、この表示した画像（図１２（ｃ）の画像）を保存メモリ２８に記録して（ステップＳ２１５）処理を終了する。したがって、保存メモリ２８に記録した画像を再生することにより、図１２（ｃ）に示した全員の顔画像サイズが同等な大きさからなる集合写真を後日観賞することも可能となる。
【０１１１】
（第２の実施の形態）
図１３は、本発明の第２の実施の形態における前記撮影モード処理（ステップＳ２）の処理手順を示すフローチャートである。
【０１１２】
この撮影モード処理に際しては、図１４（ａ）に示すように、液晶モニタ画面４に表示されている「顔登録モード」「撮影モード（１）」「撮影モード（２）」等のメニュー画面の中から「撮影モード（３）」がユーザにより選択されると、制御部２２は、図１３のフローチャートに従って処理を実行し、液晶モニタ画面４に顔画像Ａ，Ｂ、Ｃを表示する（ステップＳ４０１）。このステップＳ４０１での処理により、図１４（ｂ）に例示するように、顔画像Ａ、Ｂ、Ｃが液晶モニタ画面４に表示される。
【０１１３】
次に、シャッターキー８が半押しされたか否かを判断する（ステップＳ４０２）。シャッターキー８が半押しされたと判断されたならば、前記液晶モニタ画面４に表示されている複数の顔画像Ａ，Ｂ、Ｃのうちの一つの顔画像を検出する顔検出処理を実行する（ステップＳ４０３）。したがって、図１４（ｂ）に示したように、この顔画像Ａ、Ｂ、Ｃが存在する状態でシャッターキー８が半押しされたと判断されると、先ず顔画像Ａが検出される。
【０１１４】
引き続き、今回検出した顔がいずれの顔であるかを示す検出顔の表示を実行する（ステップＳ４０４）。この検出顔の表示は、図１４（ｂ）に示すように、検出した顔を囲繞する枠４０３を表示することにより行う。
【０１１５】
したがって、撮影者がこの液晶モニタ画面４に表示された枠４０３を視認することにより、今回の顔検出処理により複数の顔画像Ａ、Ｂ、Ｃのうちいずれの人物の顔検出が実行されたかを確認することができる。
【０１１６】
また、この表示した枠４０３内の顔に対するＡＦ、ＡＥ処理を実行することにより（ステップＳ４０５）、検出対象とされた顔画像を鮮明にする。そして、この枠４０３内の顔画像Ａに対応する個人データを顔認識テーブル４０において検索する（ステップＳ４０６）。
【０１１７】
すなわち、図１４（ｂ）に示した枠４０３内に存在する顔画像から、顔認識部２９−２で前記各特徴データを抽出し、この抽出した特徴データと特徴データ欄４４に格納されている各顔の前記特徴とを比較することにより、当該顔画像が個人ＩＤ欄４１のいずれの個人ＩＤ（１、２・・・）に対応する顔画像であるかを検索する。そして、個人ＩＤが検索できたならば、氏名データ欄４２においてこの検索した個人ＩＤに対応する氏名データを検索する。
【０１１８】
しかる後に、氏名データがあったか否かを判断する（ステップＳ４０７）。氏名データがないと判断された場合には、「氏名不明」の文字を顔の近傍位置に表示する（ステップＳ４０８）。氏名データがあったと判断された場合には、氏名データを顔の近傍位置に表示する（ステップＳ４０９）。したがって、このステップＳ４０９での処理により、図１
４（ｂ）に示すように、顔画像Ａの近傍に氏名データ４０４として「甲太郎」が表示される。
【０１１９】
次に、全員に対して以上の顔検出及び個人データの表示等を完了したか否かを判断する（ステップＳ４１０）。完了していないと判断された場合には、前述したステップＳ４０３〜Ｓ４０９の処理を繰り返す。したがって、本例のように、顔画像Ａ、Ｂ、Ｃが存在すると判断された場合とすると、ステップＳ４０３〜Ｓ４０９が３回繰り返される。これにより、図１４（ｂ）に示すように、顔画像Ｂ、Ｃに対してもその近傍に氏名データ４０５、４１０として「乙次郎」、「丙花子」が表示されることとなる。
【０１２０】
このようにして、全員に対する処理が完了するとステップＳ４１０からステップＳ４１１に進み、シャッターキー８が全押しされたか否かを判断する（ステップＳ４１１）。シャッターキー８が全押しされたと判断されたならば、撮影顔画像、顔位置、氏名データなどをＤＲＡＭ２１に記憶して（ステップＳ４１２）処理を終了する。したがって、このステップＳ４１２での処理によりＤＲＡＭ２１には、図１４（ｂ）に示すように、顔画像Ａ，Ｂ，Ｃが存在する集合写真画像が記憶され、顔画像Ａ−Ｂ間の距離Ｌ１、顔画像Ｂ−Ｃ間の距離Ｌ２または顔画像Ａ、Ｂ、Ｃの座標位置により、顔画像Ａ，Ｂ，Ｃの位置が記憶されるとともに、顔画像Ａ，Ｂ，Ｃの氏名データ４０４が記憶されることとなる。
【０１２１】
図１５は、本実施の形態において前記撮影モード処理（ステップＳ２）に含まれている編集モード処理の処理手順を示すフローチャートである。この撮影モード処理に際しては、図１６（ａ）に示すように、液晶モニタ画面４に表示されている「顔登録モード」「撮影モード（１）」・・・「編集モード」等のメニュー画面の中から「編集モード」がユーザにより選択されると、制御部２２は、図１５のフローチャートに従って処理を実行し、編集対象画像を液晶モニタ画面４に表示する（ステップＳ５０１）。このステップＳ５０１での処理により、図１６（ｂ）に例示するように、顔画像Ａ、Ｂ、Ｃを有する編集対象画像（図１４（ｂ）と同一の画像）が液晶モニタ画面４に表示される。
【０１２２】
次に、編集決定スイッチが操作されたか否かを判断する（ステップＳ５０２）。編集決定スイッチが操作されたと判断されたならば、液晶モニタ画面４に表示されている編集対象画像において、隣り合う各顔画像又は枠間の距離を検出するとともに、この検出した距離を隣り合う各顔画像に対応させて記憶、表示する（ステップＳ５０３）。
【０１２３】
このステップＳ５０３での処理により、図１６（ｂ）に示すように、顔画像Ａ−Ｂ間の距離Ｌ１、顔画像Ｂ−Ｃ間の距離Ｌ２が検出されてＤＲＡＭ２１に記憶されるとともに、液晶モニタ画面４表示されることとなる。次に、この検出した距離の大小を算出して、ＤＲＡＭ２１に記憶する（ステップＳ５０４）。よって、本例のように距離Ｌ２の方が距離Ｌ１よりも大きいと判断された場合には、ＤＲＡＭ２１に「Ｌ１＜Ｌ２」が記憶される。
【０１２４】
次に、このＤＲＡＭ２１に記憶した距離の大小に基づき、前記ステップＳ５０３で算検出した距離Ｌ１、Ｌ２が異なるか否かを判断する（ステップＳ５０５）。本例の場合、「Ｌ１＜Ｌ２」であるから「Ｌ１≠Ｌ２」であって、算出した距離Ｌ１、Ｌ２は異なる。したがって、ステップＳ５０５はＹＥＳとなる。よって、ステップＳ５０５からステップＳ５０６に進み、異なる距離の顔画像を切り出し処理する。
【０１２５】
つまり、本例においては「Ｌ１≠Ｌ２」であって、異なる距離の顔画像は「甲太郎」及び「丙花子」であるから、これら「甲太郎」と「丙花子」の顔画像のいずれを切り出してもよい。そして、例えば「丙花子」の顔画像を切り出したならば、この切り出し済みの顔画像を、各顔画像の間が均等間隔となる位置まで移動し配置し直す（ステップＳ５０７）。
【０１２６】
したがって、このステップＳ５０７での処理により、図１６（ｃ）に示すように、「Ｌ１＝Ｌ２」となる位置に「丙花子」の顔画像が移動して配置し直されることとなる。
【０１２７】
これにより、複数の被写体人物の水平方向の間隔が不均一な状態で撮影がなされた場合であっても、被写体人物の水平方向の間隔を均一にして複数の被写体人物を含む集合写真画像を確実かつ迅速に表示することができる。
【０１２８】
よって、本実施の形態によれば、被写体の配置や間隔が不適正な状態で撮影された画像であっても、これらを適正にして画像を表示することができる。
【０１２９】
しかる後に、この表示した画像（図１６（ｃ）の画像）を保存メモリ２８に記録して（ステップＳ５０８）処理を終了する。したがって、保存メモリ２８に記録した画像を再生することにより、図１６（ｃ）に示した全員の間隔が均等な集合写真を後日観賞することも可能となる。
図１７は背景画像と被写体画像との差分に基づいて、被写体画像を切り出して被写体画像を抽出する画像抽出方法を採用した場合において、さらに各被写体画像の間の間隔を移動制御した際の実施形態を示す。
【０１３０】
すなわち、図１７（a）に示すように、抽出すべき被写体画像Ｈ、Ｇを含む第１画像Ｄ１と、図１７（ｂ）に示すように、背景のみの背景画像である第２画像Ｄ２とを撮影し、これら第１画像Ｄ１と第２画像Ｄ２とを比較し、この比較結果、すなわち被写体画像と背景画像との差分に基づいて、図１７（ｃ）に示すように、切り出し処理Ｄ３を行い、被写体画像Ｈ、Ｇを切り出し抽出する。次に、このように切り出された被写体画像Ｈ、Ｇについて、図１７（ｄ）に示すように、前述した実施の形態の場合と同様な処理にて、当該各被写体画像Ｈ、Ｇの間の間隔（Ｌ１）を図１７（ｅ）に示すように、制御部２２の働きにより自動的に、またはユーザの指示操作に応じて、他の間隔（Ｌ２）となるように移動制御させる。
【０１３１】
この実施形態によれば、被写体画像と背景画像との差分に基づいて、図１７（ｂ）に示すように、切り出し処理Ｄ３により、被写体画像Ｈ、Ｇを完全独立して切り出し抽出することができるので、独立して切り出された各被写体画像Ｈ、Ｇの間の間隔（Ｌ１）を、図１７（ｅ）に示すように、制御部２２の働きにより自動的に、またはユーザの指示操作に応じて、他の間隔（Ｌ２）となるように広げまたは狭めて移動配置して表示させることができる。
【０１３２】
以上、本発明の実施の形態について説明したが、本発明は前記各実施の形態に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【０１３３】
例えば、この実施の形態では、この発明をデジタルカメラに適用した場合を例にして説明しているが、デジタルカメラばかりでなく、光学系及び撮像素子を介して取り込んだ画像データを記録する機能を備えた装置、例えば、カメラ付携帯電話や撮像機能を備えた電子機器にも適用できる。
【０１３４】
また、この実施の形態では、被写体として「人物」を例に挙げているが、動物、建造物などを被写体としてこの発明を適用しても良い。また、「氏名データ」として人物の「氏名」を例に挙げているが、動物、建造物などの名称、愛称、固有名称、固有データでも良い。
【０１３５】
さらに、この実施の形態では、撮影された顔画像が表示されたあとに、シャッターキーが半押しされると、顔画像の顔検出が行われ、この顔検出が行われた顔画像に対応する氏名データを顔認識テーブルから検索して読み出し、この読み出された氏名データを顔検出が行われた顔画像に対応する輪郭画像の近傍位置または輪郭画像内に配置して表示しているが、撮影された顔画像が表示された後に、顔画像の顔検出を行い、この顔検出が行われた顔画像に対応する個人データを顔認識テーブルから検索して読み出し、この読み出された個人データを顔検出が行われた実際の顔画像の近傍位置またはその画像内に配置して表示しても良い。
【０１３６】
さらに、この実施の形態では、各被写体画像それぞれを個別に切り出し方法として、検出された複数の被写体画像における目の位置を基準にして、各被写体画像それぞれを個別に切り出すようにしているが、これに限られない。
【０１３７】
たとえば、被写体画像の輪郭、または明度差（たとえば、特公平０７−１６２５０号公報に記載の技術）、または身体部分領域を特殊な処理で抽出する方法（たとえば、特開２０００−２２９２９号公報に記載の技術）などにより切り出して被写体画像を抽出する画像抽出方法でもよい。
【０１３８】
さらに、この実施の形態では、「予め定められている配置基準データ」、「予め定められている基準」、または「予め定められた条件」として、役職名、所属会社名称及び配置位置などの配置基準データを記憶しておき、この配置基準データを用いて各被写体画像の間の間隔制御または配置転換等を行っているが、これに限られず、学年順、男女別、背の高さ順、上司部下順など、各被写体画像の配置を制御するための配置基準データを記憶しておき、この配置基準データを用いて各被写体画像の間の間隔制御または配置転換等を行うようにしてもよい。この場合、このような配置基準データは複数の被写体画像と対応付けて記憶させておく必要がある。
【０１３９】
さらに、この実施の形態では、切り出される「被写体画像」を静止画として説明しているが、動画であっても良い。たとえば、図１７において、各人物画像Ｈ，Ｇを動画とした場合、左右に並んだ各人物画像Ｈ，Ｇが時間の経過に従って別個独立して動くことになるので、より一層面白い画像表現とすることができる。
【符号の説明】
【０１４０】
４ 液晶モニタ画面
８ シャッターキー
９ 電源ボタン
１２ レンズ光学系
１３ ＣＣＤ
１５ 垂直ドライバ
１７ Ａ／Ｄ変換器
１８ カラープロセス回路
１９ ＤＭＡコントローラ
２１ ＤＲＡＭ
２２ 制御部
２４ ＶＲＡＭ
２５ デジタルビデオエンコーダ
２６ 表示部
２８ 保存メモリ
２９−１ 顔検出部
２９−２ 顔認識部
２９−３ データベース
３０ キー入力部
４０ 顔認識テーブル
４１ 個人ＩＤ欄
４２ 氏名データ欄
４４ 特徴データ欄
４６ 顔画像欄
５０ 基準ＲＡＭ
５１ 役職名欄
５２ 氏名欄
５３ 所属会社名称欄
５４ 配置位置欄
１００ デジタルカメラ
【技術分野】
【０００１】
本発明は、撮影画像処理装置、及びこれに用いられる撮影画像処理プログラム、撮影画像処理方法に関する。
【背景技術】
【０００２】
従来、特許文献１記載の画像再生装置が知られている。この画像再生装置は、静止画の画像データを解析して被写体の人物の顔を検出し、この検出した顔の数である検出人数が予め定められた基準人数よりも多いか否かを判定する。検出人数が基準人数よりも多いと判定された場合には、前記基準人数よりも写る人数が少なくなる範囲を特定する。そして、この特定した範囲を前記静止画から切り出し、この静止画から切り出した特定の範囲を表示装置に表示させる。
【０００３】
したがって、この画像再生装置によれば、静止画中の人物の数に応じて、一つの静止画を分割して複数の画像として切り出すことから、集合写真のように多数の人物が写る静止画において、人物の一人一人を大きく表示することができ、静止画に写る全ての人物を見易くすることができるとするものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０９６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
集合写真を撮影するに際しては、被写体人物全員の顔、姿が鮮明に撮影されることが望まれるが、鮮明に撮影するために、撮影者が発声により被写体人物に位置を指示し、これに従って被写体人物が位置を変えることにより、撮影された画像中において各人物の配置や各人物の間の間隔が適正となるようにすることが一般的に行われる。しかし、撮影者の指示が不適切であったり、被写体人物が撮影者の意図通りに移動しなかったりする等の要因により、撮影された集合写真において各人物の配置や間隔が不適正である場合が生ずる。
【０００６】
しかしながら、前述した画像再生装置にあっては、単に集合写真から基準人数よりも写る人数が少ない範囲を切り出して、拡大表示する構成であることから、当該集合写真が人物の配置や間隔が不適正であっても、この人物の配置や間隔が不適正であるまま、画像が切り出されて拡大表示されることとなる。したがって、人物の配置や間隔が不適正である状態で撮影を終了すると、人物を適正な配置や間隔にして画像を表示することができない。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、仮に各被写体の配置や間隔が不適正な状態で撮影された被写体画像であっても、これらを適正にして被写体画像を表示することのできる撮影画像処理装置、及びこれに用いられる撮影画像処理プログラム、撮影画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため請求項１記載の発明に係る撮影画像処理装置にあっては、複数の被写体を撮影する撮影手段と、複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段とを備えていることを特徴とする。
【０００９】
また、請求項２記載の発明に係る撮影画像処理装置にあっては、前記複数の被写体画像は、前記画面内において横方向及び縦方向のいずれかの方向に配置されており、前記表示制御手段は、この配置されている複数の被写体画像の間の距離が等間隔となるように、各被写体画像を移動して、当該各被写体画像を同一画面上に表示させることを特徴とする。
【００１０】
また、請求項３記載の発明に係る撮影画像処理装置にあっては、前記表示制御手段は、前記複数の被写体における顔画像それぞれを検出する顔検出手段と、この顔検出手段により検出された複数の被写体画像における眼の位置を基準として、各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動して同一画面上に表示させる同一画面表示制御手段と、を備えていることを特徴とする。
【００１１】
また、請求項４記載の発明に係る撮影画像処理装置にあっては、前記切出手段は、前記顔検出手段により検出された複数の被写体画像における眼の位置を基準として、当該被写体画像を切り出すことを特徴とする。
【００１２】
また、請求項５記載の発明に係る撮影画像処理装置にあっては、前記表示制御手段は、前記顔検出手段により検出された複数の被写体画像の近傍位置に、当該複数の被写体画像それぞれに対応する個人データを表示させる個人データ表示制御手段を備えていることを特徴とする。
【００１３】
また、請求項６記載の発明に係る撮影画像処理装置にあっては、前記記憶手段に、前記複数の被写体画像の配置位置を示す配置基準データを前記撮影手段により撮影された複数の被写体画像を個別に切り出す前に先立って、ユーザの操作に応じて記憶させる記憶制御手段を備えることを特徴とする。
【００１４】
また、請求項７記載の発明に係る撮影画像処理装置にあっては、前記複数の被写体画像は、前記画面内において複数列に配置されており、前記表示制御手段は、最前列における被写体画像の大きさに応じて、後列の被写体画像を拡大処理する拡大処理手段を備えることを特徴とする。
【００１５】
また、請求項８記載の発明に係る撮影画像処理装置にあっては、撮影手段と、この撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、を備えていることを特徴とする。
【００１６】
また、請求項９記載の発明に係る撮影画像処理装置にあっては、前記表示制御手段の制御により同一画面上に表示された各被写体画像を記録する記録手段をさらに備えることを特徴とする。
【００１７】
また、請求項１０記載の発明に係る撮影画像処理装置にあっては、撮影された複数の被写体画像を処理する撮影画像処理装置において、予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段を備えていることを特徴とする。
【００１８】
また、請求項１１記載の発明に係る撮影画像処理プログラムにあっては、複数の被写体を撮影する撮影手段を備えた撮影画像処理装置が有するコンピュータを、複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段として機能させることを特徴とする。
【００１９】
また、請求項１２記載の発明に係る撮影画像処理プログラムにあっては、撮影手段備えた撮影画像処理装置が有するコンピュータを、前記撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、して機能させることを特徴とする。
【００２０】
また、請求項１３記載の発明に係る撮影画像処理プログラムにあっては、撮影された複数の被写体画像を処理する撮影画像処理装置が有するコンピュータを、予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段として機能させることを特徴とする。
【００２１】
また、請求項１４記載の発明に係る撮影画像処理方法にあっては、複数の被写体を撮影する撮影ステップと、複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶する記憶ステップと、前記撮影ステップにより撮影された複数の被写体画像を個別に切り出す切出ステップと、この切出ステップにより切り出された複数の被写体画像を前記記憶ステップで記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段とを含むことを特徴とする。
【００２２】
また、請求項１５記載の発明に係る撮影画像処理方法にあっては、撮影ステップと、この撮影ステップにより撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出ステップと、この距離検出ステップにより検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御ステップと、を含むことを特徴とする。
【００２３】
また、請求項１６記載の発明に係る撮影画像処理方法にあっては、撮影された複数の被写体画像を処理する撮影画像処理方法において、予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御ステップを備えていることを特徴とする。
【００２４】
また、請求項１７記載の発明に係る撮影画像処理装置にあっては、複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、前記複数の被写体画像それぞれを個別に切り出し、予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、を備えていることを特徴とする。
【００２５】
また、請求項１８記載の発明に係る撮影画像処理装置にあっては、複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、前記複数の被写体画像のうち、互い隣り合う被写体画像間の距離を測定する距離測定手段と、この距離測定手段により測定された各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動させ、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、を備えていることを特徴とする。
【００２６】
また、請求項１９記載の発明に係る撮影画像処理装置にあっては、請求項１７又は請求項１８に記載の撮影画像処理装置において、前記複数の被写体画像は、横方向および縦方向のいずれかの方向に配置されており、前記表示制御手段は、このいずれかの方向における複数の被写体画像の間の距離が等間隔となるように、当該各被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる移動表示制御手段を備えていることを特徴とする。
【００２７】
また、請求項２０記載の発明に係る撮影画像処理装置にあっては、請求項１７又は請求項１８に記載の撮影画像処理装置において、前記表示制御手段は、前記複数の被写体画像の顔それぞれを検出する顔検出手段と、この顔検出手段により検出された複数の被写体画像における目の位置、被写体画像の輪郭、背景画像と被写体画像との差分または明度差による画像抽出方法に基づいて、被写体画像それぞれを個別に切り出し、前記予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる同一画面表示制御手段と、を備えていることを特徴とする。
【００２８】
また、請求項２１記載の発明に係る撮影画像処理装置にあっては、請求項１７又は請求項１８に記載の撮影画像処理装置において、前記予め定められている配置基準は、学年順、男女別、背の高さ順、上司部下順を含む、各被写体画像の配置を制御するための配置基準データであり、この配置基準データは前記複数の被写体画像と対応付けて記憶されていることを特徴とする。
【発明の効果】
【００２９】
本発明によれば、被写体の配置や間隔が不適正な状態で撮影された被写体画像であっても、被写体の配置や間隔を適正にした被写体画像を表示することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の各実施の形態に共通するデジタルカメラの外観図であり、（ａ）は正面図、（ｂ）は背面図である。
【図２】デジタルカメラの電子回路構成を示す図である。
【図３】（ａ）及び（ｂ）はデータベースに設けられた顔認識テーブルの構成を示す図である。
【図４】（ａ）は基準ＲＡＭの構成を示す模式図で、（ｂ）はデータベースにおける配置位置データ領域を示す構成図である。
【図５】本実施の形態における処理手順を示すゼネラルフローチャートである。
【図６】同実施の形態における顔登録モード処理の処理手順を示すフローチャートである。
【図７】（ａ）〜（ｄ）は同顔登録モード処理における表示遷移図である。
【図８】本発明の第１の実施の形態における撮影モード処理の処理手順を示すフローチャートである。
【図９】同顔撮影モード処理における画面例を示す図である。
【図１０】同撮影処理の詳細を示すフローチャートである。
【図１１】撮影画像例を示す図である。
【図１２】（ａ）〜（ｃ）は同顔撮影モード処理における表示遷移図である。
【図１３】本発明の第２の実施の形態における撮影モード処理の処理手順を示すフローチャートである。
【図１４】（ａ）（ｂ）は同顔撮影モード処理における表示遷移図である。
【図１５】同編集モード処理の処理手順を示すフローチャートである。
【図１６】（ａ）（ｂ）（ｃ）は同編集モード処理における表示遷移図である。
【図１７】（ａ）（ｂ）（ｃ）（ｅ）は背景画像と被写体画像との差分に基づいて、被写体画像を切り出して被写体画像を抽出する画像抽出方法を採用した場合の実施形態を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通するデジタルカメラの外観図であり、（ａ）は正面図、（ｂ）は背面図である。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２と距離測定部ＫＳとを有している。距離測定部ＫＳは、距離測定光を発射し、複数の人物から反射された距離測定光による各距離を測定する機能を備えている。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）等が設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。
【００３２】
図２は、前記デジタルカメラ１００の電子回路構成を示す図である。このデジタルカメラ１００は、基本モードである撮影モードにおいて、ズームレンズ１２−１を移動させて光学ズーム動作を行わせるズーム駆動部１１−１、フォーカスレンズ１２−２を移動させて合焦動作を行わせるＡＦ駆動部１１−２、ズームレンズ１２−１及びフォーカスレンズ１２−２を含む撮像レンズ２を構成するレンズ光学系１２、撮像素子であるＣＣＤ１３、タイミング発生器（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Direct Memory Access）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、表示部２６、ＪＰＥＧ回路２７、保存メモリ２８、顔検出部２９−１、顔認識部２９−２、及びデータベース２９−３、及びキー入力部３０を備えている。
【００３３】
撮影モードでのモニタリング状態においては、ズーム駆動部１１−１は、光学ズーム指示があると制御部２２からの制御信号に基づいて、図示しないズームレンズ駆動モータを駆動してズームレンズ１２−１を光軸に沿って前後に移動させることによりＣＣＤ１３に結像させる画像の倍率そのものを変化させる。また、ＡＦ駆動部１１−２は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２−２を移動させる。そして、前記撮像レンズ２を構成するレンズ光学系１２の撮影光軸後方に配置された撮像素子であるＣＣＤ１３が、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。
【００３４】
ＣＣＤ１３は被写体の二次元画像を撮像する固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスでもよい。
【００３５】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ１９に出力される。
【００３６】
ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路１８からの複合（composite）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送する。
【００３７】
制御部２２は、このデジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、後述するフローチャートに示す処理を実行するためのプログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成される。そして、前記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。
【００３８】
また、制御部２２は、キー入力部３０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１００の各機能の実行制御、具体的には撮影動作や、光学ズーム時のズームレンズの動作制御や、電子ズームや、スルー表示、自動合焦、撮影、記録、及び記録した画像の再生・表示等の実行制御等や機能選択時の機能選択メニューの表示制御、設定画面の表示制御等を行う。
【００３９】
デジタルビデオエンコーダ２５は、前記輝度及び色差信号を、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基にビデオ信号を生成して前記表示部２６に出力する。
【００４０】
表示部２６は、上述したように撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ２３から取り込んでいる画像情報に基づく画像をリアルタイムに液晶モニタ画面４に表示することになる。
【００４１】
制御部２２は合焦指示に応じてその時点でＣＣＤ１３から取り込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録保存の状態に遷移する。
【００４２】
この保存記録の状態では、制御部２２がＤＲＡＭ２１に書き込まれている１フレーム分の輝度及び色差信号を、ＤＲＡＭインターフェイス２０を介してＹ、Ｃｂ、Ｃｒのコンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ（Joint Photograph cording Experts Group）回路２７に書込み、このＪＰＥＧ回路２７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして得た符号データを１画像のデータファイルとしてＪＰＥＧ回路２７から読出し、保存メモリ２８に記録保存する。また、１フレーム分の輝度及び色差信号の圧縮処理及び保存メモリ２８への全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。
【００４３】
また、基本モードである再生モード時には、制御部２２が保存メモリ２８に記録されている画像データを選択的に読出し、ＪＰＥＧ回路２７で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸張し、伸張した画像データを、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。
【００４４】
前記ＪＰＥＧ回路２７は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。また、高画素数から低画素数にも対応している。例えば、ＳＸＧＡ（１６００×１２００）、ＸＧＡ（１０２４×７８６）、ＳＶＧＡ（８００×６００）、ＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）等と呼ばれる記録画素サイズがある。
【００４５】
保存メモリ２８は、内蔵メモリ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記録媒体からなり画像データや撮影情報等を保存記録する。
【００４６】
顔検出部２９−１は、１フレーム分の画像から顔（顔領域を含む）を検出し、顔の特徴データ（図３（ｂ）参照）を抽出する。顔が複数あった場合、すなわち、１フレーム内に複数の顔が写っている場合は複数の人物の顔をそれぞれ検出し、それぞれの顔の特徴データを抽出する。顔の検出方法は公知の方法を用いることもできる。例えば、前述した特許文献１（特開２００３−２７４２７１号公報）に記載の技術や特開２０００―３００３３号公報に記載の技術のように１フレーム中から人物の顔領域を検出する技術等を適宜採用することができる。なお、この顔検出処理のために専用の回路を設けても良いし制御部２２で顔検出用プログラムを実行させるようにしてもよい。
【００４７】
顔認識部２９−２は、顔検出部２９−１で抽出された顔の特徴データとデータベース２９−３の顔認識テーブルの顔認識レコードに記憶されている特徴データと比較して類似度を判定し、検出された顔がどの個人の顔であるかを特定して当該個人を特定する。類似度の判定には、例えば、検出した顔の特徴データと登録済みの人物の顔の特徴データの差分から距離を求め、距離が所定閾値以下の場合に類似度が高いまたは低いと判定する。
【００４８】
データベース２９−３は、個人の顔認識データや画質パラメータ等からなる顔認識レコードを複数記憶してなる顔認識テーブル、照合用画像データを格納した領域を備えており、顔認識部２９−２によって参照される。
【００４９】
また、データベース２９−３は、配置位置データ領域２９−３Ａを備えている。この配置位置データ領域は、図４（ｂ）に示すように、複数の人物画像が配置されるべき配置レイアウトを示す配置位置データが格納するための領域であり、前列および後列の各座標位置ｘ１・・・ｘ５，ｙ１・・・ｙ４別に、「中央１」「中央２」のような複数の人物画像が配置されるべき配置を指示するための指示データが格納されている。
【００５０】
データベース２９−３はまたユーザのキー入力操作によって新規登録、調整、又は削除等の更新が可能である。
【００５１】
キー入力部３０は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、及び電源ボタン９と、それらのキーが操作されると操作されたキーの操作信号を生成して制御部２２に送出するキー処理部（図示せず）等から構成されている。
【００５２】
モードダイアル３は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、・・・等の撮影モードを選択することができる。
【００５３】
カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイントを指定する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目を選択設定する際に押されるキーである。またＳＥＴキー６を確認キーとして用いることもできる。
【００５４】
ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１又はＴボタン７−２）の操作に対応してズームレンズ（可変焦点距離レンズ）１２−１がワイド側またテレ側に移動されズームボタン７の操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。
【００５５】
シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。
【００５６】
さらに、制御部２２には、バスラインを介して音声回路３１が接続されており、音声回路３１は、前記フラッシュメモリ等に記憶された音声データ等をスピーカ３２より再生するものである。
【００５７】
図３は、データベース２９−３に設けられた顔認識テーブル４０の構成を示す図である。この顔認識テーブル４０は、個人の氏名や顔の特徴データ、照合用顔画像を取り出すためのポインタ、画質パラメータ等を登録した顔認識レコードを複数記憶している。そして
【００５８】
図３はデータベース２９−３に設けられた顔認識テーブル４０の構成を示す図である。この顔認識テーブル４０は、個人の氏名、顔の特徴データ、照合用顔画像を取り出すためのポインタ、画質パラメータ等を登録した顔認識レコード（図示せず）を複数記憶している。そして、図３（ａ）に示すように、顔認識レコードを識別するための個人ＩＤを記憶する個人ＩＤ欄４１、個人毎にその氏名を記録する氏名データ欄４２、顔の特徴データを記録する特徴データ欄４４、照合画像ポインタを記憶する照合画像ポインタ欄である照合用顔画像データアドレス欄４５、各個人の顔画像を記憶する顔画像欄４６を有している。
【００５９】
特徴データ欄４４は、更に、図３（ｂ）に示すように顔の各部位（眼、鼻、口、耳、額顎、・・・等）の位置を記憶する位置欄４４−１、各部位のサイズを記憶するサイズ欄４４−２、各部分の角度を記憶する角度欄４４−３、顔の各部位間の相対関係（例えば、左右の眼の間隔、顔の横サイズとの比率等）を記憶する相対関係欄４４−４等を示すデータからなり、顔認識部２９−２で抽出した各特徴データと比較され類似判定される。照合画像ポインタ欄４５は、個人の顔画像を記憶した顔画像欄４６における照合用の画像データの格納先の先頭アドレスであり、顔認識部２９−２が顔検出部２９−１で抽出した顔の特徴データと特徴データ欄４４に記憶されている特徴データとの比較結果により特定した個人の顔を、ユーザが確認する際に氏名データ欄４２に記憶されている氏名と共に特定された個人を示す顔画像として用いることができる。
【００６０】
撮影時に、顔検出部２９−１がフレーム内の画像における人物の顔を検出し、顔の特徴データを抽出すると、顔認識部２９−２は抽出された特徴データをデータベース２９−３の顔認識テーブル４０を構成する各顔認識レコードの特徴データ欄４４に記憶されている特徴データと比較し、類似度の最も大きな顔認識レコードに登録されている個人を検出された顔の人物として特定する。そして、特定した人物に対応する個人データを氏名データ欄４２から読み出すことができる。
【００６１】
図４（ａ）は、データベース２９−３に設けられた基準ＲＡＭ５０の構成を示す図である。この基準ＲＡＭ５０は、役職名欄５１、氏名欄５２、所属会社名称欄５３、及び配置位置欄５４で構成されている。役職名欄５１には、「委員長」、「副委員長」等の役職名が記憶され、氏名欄５２には前記顔認識テーブル４０の氏名データ欄４２に記憶された氏名と同一の氏名が記憶され、所属会社名称欄５３には、対応する氏名の人物が所属する会社名が記憶される。また、配置位置欄５４には、後述の編集表示処理によって、各人物を表示する際の配置位置が記憶される。この配置位置は、「前列」、「後列」等の列を示す列情報と、「中央１」、「中央２」、「右端」等の当該列における位置を示す位置情報とで構成される。
【００６２】
図５は、本実施の形態における処理手順を示すゼネラルフローである。このネラルフローにおいて、制御部２２は、前記プログラムに従って動作することにより、図７（ａ）に示すように、液晶モニタ画面４に「顔登録モード」「撮影モード（１）」「撮影モード（２）」等のメニュー画面を表示する。この表示されたメニュー画面の中から、ユーザのキー操作により「顔登録モード」が選択されると、顔登録モード処理（ステップＳ１；図６参照）を実行する。その後、表示されたメニュー画面の中から、ユーザのキー操作により「顔撮影モード」が選択されると、撮影モード処理（ステップＳ２；図８参照）を実行する。
【００６３】
図６は、図５における前記顔登録モード処理（ステップＳ１）の処理手順を示すフローチャートである。この顔登録モード処理において制御部２２は、図６のフローチャートに従って処理を実行する。
【００６４】
まず、図７（ａ）に示すように、液晶モニタ画面４に一覧表示されている「顔登録モード」「撮影モード（１）」「撮影モード（２）」等のメニュー画面の中から、「顔登録モード」がキー操作により選択されると、この顔登録モード処理に移行する。そして、この処理において、顔を撮影すると、この撮影した顔を表示する（ステップＳ１０１）。
【００６５】
すなわち、ユーザが個人データの登録を希望する者の顔に撮像レンズ２を向けてシャッターキー８を操作すると、撮影処理を実行するとともに、この撮影された画像を液晶モニタ画面４に表示する（ステップＳ１０１）。したがって、このステップＳ１０１での処理により、図７（ｂ）に例示するように、撮影された各個人の顔画像Ａ、Ｂが液晶モニタ画面４に表示される。
【００６６】
次に、この液晶モニタ画面４に表示させた顔の特徴を検出する（ステップＳ１０２）。この顔の特徴は、前述のように、顔の各部位（眼、鼻、口、耳、額顎、・・・等）の位置、各部位のサイズ、各部分の角度、顔の各部位間の相対関係等であり、これらの特徴を顔画像Ａから検出する。そして、これら検出した特徴を示す特徴データを特徴データ欄４４に記憶するとともに、対応する顔画像欄４６に顔画像Ａを記憶する（ステップＳ１０３）。したがって、特徴データ欄４４において、顔の各部位（眼、鼻、口、耳、額顎、・・・等）の位置は位置欄４４−１に、各部位のサイズはサイズ欄４４−２に、各部分の角度は角度欄４４−３に、顔の各部位間の相対関係は相対関係欄４４−４に各々記憶されることとなり、対応する顔画像Ａは顔画像欄４６に記憶されることとなる。
【００６７】
なお、これらの記憶は後述するように各顔画像Ａ、Ｂ毎に行われるが、先ず左側の顔画像Ａに対して行う。
【００６８】
引き続き、氏名データの入力催促表示を実行する（ステップＳ１０４）。このステップＳ１０４での処理により図７（ｃ）に例示するように、「左の人物から順番に氏名データを入力してください」なる文字列４０１を表示する。これに応じて、ユーザが氏名を入力し（ステップＳ１０５）、図７（ｄ）に示すように入力された氏名データ４０２（氏名データ；村田○○）を液晶モニタ画面４の一部に表示させる。
【００６９】
したがって、ユーザは液晶モニタ画面４に表示されている顔画像Ａを見ながら、対応する氏名データ４０２の入力を行うことができる。
【００７０】
そして、顔画像Ａ人物の氏名データを入力し終えた時点で決定のキー操作を行うと、ステップＳ１０５からステップＳ１０６に進み、入力済みの氏名データを、前記ステップＳ１０３で記憶した顔特徴データ及び撮影顔画像に対応付けて記憶し、これらを表示する（ステップＳ１０６）。したがって、図３に示したように、例えば個人ＩＤ「１」に対応して、氏名データ欄４２には「村田○○」が記憶され、特徴データ欄４４には「村田○○」の顔特徴データが記憶され、顔画像欄４６には「村田○○」の顔画像Ａが記憶され、また、照合画像ポインタ欄４５には、顔画像Ａが記憶された顔画像欄４６のアドレスが記憶されることとなる。
【００７１】
引き続き、配置基準データの入力催促表示を実行する（ステップＳ１０７）。このステップＳ１０７での処理により図７（ｅ）に例示するように、「配置基準データを入力してください」なる文字列４０３を表示した、配置基準データ入力画面を表示する。この配置基準データ入力画面は、図４（ａ）に示した基準ＲＡＭ５０を構成する各欄と同様の役職名欄５１、氏名欄５２、所属会社名称欄５３、及び配置位置欄５４で構成されている。
【００７２】
なお、この時点では既に氏名データの入力は完了しているので、これら欄５１〜５４のうち、氏名欄５２には既に入力された「村田○○」が書き込まれている。
【００７３】
そして、この配置基準データの入力催促表示に応じて、ユーザが「村田○○」の役職名「委員長」、所属会社名称「Ａ株式会社」、及び配置位置「前列 中央１」を入力すると（ステップＳ１０８）、図７（ｆ）に示すようにこれら入力された配置基準データを液晶モニタ画面４に表示させる。
【００７４】
したがって、ユーザは液晶モニタ画面４に表示されている配置基準データ入力画面を構成する各欄（役職名欄５１、氏名欄５２、所属会社名称欄５３、及び配置位置欄５４）を確認しながら配置基準データの入力を行うことができる。
【００７５】
そして、図７（ｆ）に示したように、人物「村田○○」のすべての配置基準データを入力し終えた時点で決定キーのキー操作を行うと、ステップＳ１０８からステップＳ１０９に進み、入力済みの配置基準データを基準ＲＡＭ５０に記憶し、これらを表示する（ステップＳ１０９）。したがって、図４（ａ）に示したように、基準ＲＡＭ５０の最上段である１行目には、役職名欄５１に「委員長」が記憶され、氏名欄５２に「村田○○」が記憶され、所属会社名称欄５３に「Ａ株式会社」が記憶され、配置位置欄５４に「前列 中央１」が記憶されることとなる。
【００７６】
次に、前記ステップＳ１０１で撮影した画像中における他の顔画像Ｂを含む全員に対して以上の顔画像及び個人データの記憶を完了したか否かを判断する（ステップＳ１１０）。完了していないと判断された場合には、前述したステップＳ１０２〜Ｓ１０９の処理を繰り返し、完了した時点でこのフローに従った処理を終了する。
【００７７】
したがって、本例のように、顔画像Ａ、Ｂが撮影されたとすると、ステップＳ１０２〜Ｓ１０９が再度繰り返される。これにより、図４（ａ）に示したように、氏名「村田○○」の配置基準データに続いて、次の行に氏名「後藤○○」の配置基準データが記憶される。また、他の人物「岡田○○」〜「中尾○○」に関しても、図６に示したフローチャートに従って処理を実行することにより、図４（ａ）に示したように、基準ＲＡＭ５０に各人の配置基準データが予め登録されこととなる。
【００７８】
よって、ユーザは以上に説明した簡単な操作により、任意に撮影した所望の人物の配置基準データを自在に記憶させておくことができる。
【００７９】
図８は、第１の実施の形態における前記撮影モード処理（ステップＳ２）の処理手順を示すフローチャートである。この撮影モード処理において、図９に示すように、液晶モニタ画面４に表示されている「顔登録モード」「撮影モード（１）」「撮影モード（２）」・・・等のメニュー画面の中から、「撮影モード（１）」が選択されると、制御部２２は、図８のフローチャートに従って処理を実行する。
【００８０】
すなわち、この「撮影モード（１）」のもとで、顔の撮影開始を行うと、液晶モニタ画面４に現在の被写体のスルー画像を表示する（ステップＳ２０１）。次に、シャッターキー８が操作されたか否かを判断する（ステップＳ２０２）。シャッターキー８が操作されたならば、撮影処理を実行し、ＣＣＤ１３から取り込んだ１画像の画像データを保存メモリ２８に記録保存するとともに、表示部２６（液晶モニタ画面４）に表示する（ステップＳ２０３）。
【００８１】
図１０は、このステップＳ３０３における撮影処理の詳細を示すサブルーチンである。先ず、ＣＣＤ１３から取り込んで画像データにおいて顔画像を検出する顔検出処理を実行する（ステップＳ３０１）。すなわち、図１１（ａ）に示したように、人物の集合状態の下で集合写真を撮影すべくシャッターキー８が操作されたとすると、撮影部から取り込まれた撮影画像中において、人物の顔を検出する（ステップＳ３０１）。
【００８２】
引き続き、検出した顔画像に対応する氏名データを顔認識テーブル４０において検索する（ステップＳ３０２）。
【００８３】
つまり、図１１（ａ）に示した画像Ｐ内に存在する上部左端の顔画像Ａから、顔認識部２９−２で前記各特徴データを抽出し、この抽出した特徴データと特徴データ欄４４に格納されている各顔の前記特徴とを比較することにより、当該顔画像Ａが個人ＩＤ欄４１のいずれの個人ＩＤ（１、２・・・）に対応する顔画像であるかを検索する。そして、個人ＩＤが検索できたならば、氏名データ欄４２においてこの検索した個人ＩＤに対応する氏名データを検索する。
【００８４】
しかる後に、顔画像Ａに対応する氏名データがあったか否かを判断する（ステップＳ３０３）。氏名データがあったと判断されると、顔画像Ａに対応する氏名データをその顔画像Ａの近傍位置に合成して表示する（ステップＳ３０４）。したがって、このステップＳ３０４での処理により、図１１（ａ）に示すように、顔画像Ａの近傍に氏名データ４０４として「笠井」が表示される。
【００８５】
次に、表示部２６上の全員に対して以上の顔検出及び氏名データの検索、表示等を完了したか否かを判断する（ステップＳ３０５）。完了していないと判断された場合には、前述したステップＳ３０１〜Ｓ３０４の処理を繰り返す。したがって、本例のように、９名での集合写真が撮影され、これら撮影された人物が予め顔認識テーブル４０に登録されていると、図１１（ａ）に示すように、各人の近傍に「笠井」、「村越」・・・の氏名データ（本実施の形態においては、簡略表示のために「氏名」のうちの「氏（姓名）」のみ）が表示されることとなる。
【００８６】
したがって、関係者がこの画面を視認することにより、集合写真を構成する人物の氏名を認識したり、確認したりすることができる。無論、「氏」のみならず「名」も、また、対応付けて記憶されている「所属会社名称」などの個人データも合成表示するようにしてもよい。
【００８７】
また、図８のフローチャートにおいてステップＳ２０３に続くステップＳ２０４においては、人物の眼抽出処理を実行する（ステップＳ２０４）。すなわち、前記撮影処理により保存メモリ２８に保存した画像Ｐ（図１１（ａ））を解析し、当該画像Ｐに存在する人物の眼、例えば人物Ｂの眼を抽出する。
【００８８】
より具体的には、特開２００６−３０９６６１号公報にも開示されているように、画像Ｐを複数の領域に分割し、その中から皮膚と推定される肌色の色素を多く含む領域を選び出し、さらに、肌色の色素を多く含む領域から眼部の白色画素と白色画素に包囲された瞳と推定される色の色素を有する領域を選び出し、図１１（ｂ）に示すように、人物の眼Ｉ，Ｉを抽出する。
【００８９】
さらに、この抽出した人物の眼Ｉ，Ｉに基づき、画像Ｐにおける当該眼Ｉ，Ｉを有する顔の位置を特定する（ステップＳ２０５）。引き続き、図１１（ｂ）に示すように、両眼Ｉ，Ｉの距離ｄを測定（検出）し（ステップＳ２０６）、この測定した両眼Ｉ，Ｉの距離ｄに基づいて、当該人物の顔の大きさを算出し、この算出した大きさの顔を切り出すことが可能な切り出し範囲を設定する（ステップＳ２０７）。この実施の形態の場合、図１１（ｂ）に示すように、人物Ｂの顔の中心点Ｃを通る対角線Ｌ１、Ｌ２の長さを、例えば距離ｄの６〜７倍とする矩形領域を切り出し範囲Ｚとして設定する。
【００９０】
したがって、切り出し範囲Ｚは、顔画像の眼の位置に基づいて決定されることから、適正な切り出し範囲を設定することができる。なお、図１１（ｂ）に示すように、人物Ｂの顔の中心点Ｃを中心とした矩形領域を切り出し範囲Ｚとして設定することとしているが、人物Ｂの顔の中心点Ｃを中心とし、顔の輪郭から外側に突出した円形領域または楕円形領域を切り出し範囲Ｚとして設定するようにしてもよい。
【００９１】
次に、この設定した切り出し範囲の境界上に他の人物が存在するか否かを判断する（ステップＳ２０８）。この判断は、たとえば、設定した切り出し範囲Ｚと他の人物の切り出し範囲Ｚとが重複したか否かにより判断するが、他の方法で判断してもよい。
【００９２】
境界上に他の人物が存在する場合には、周辺補正処理として、切り出し範囲の周辺に所定の補正処理を施す（ステップＳ２０９）。または、設定した切り出し範囲Ｚが、他の人物の切り出し範囲Ｚと重複しない範囲まで狭める。しかる後に、各人物画像を前記切り出し範囲にて切り出して、液晶モニタ画面４に表示する（ステップＳ２１０）。
【００９３】
次に、前列と後列、及び各列における各人物画像間の距離が等間隔となるように、切り出した各人物画像を移動して、液晶モニタ画面４に表示する。これにより、実際に撮影した集合写真において各人物間の距離が等間隔な距離でない、ばらばらであったとしても、人物画像間の距離が等間隔な整然とした集合写真を表示することができる。
【００９４】
しかも、前述のように、各人物画像は眼の位置を基準として適正な範囲で切り出されていることから、各人物が適正な切り出し範囲でかつ人物画像間の距離が等間隔な整然とした集合写真を表示することができる。
【００９５】
なお、このとき前記氏名データ４０４も切り出して、人物画像の近傍位置に表示する。したがって、このステップＳ２１０での処理により、図１２（ａ）に示すように、各人物「笠井」Ａ〜「岡田」Ｉの切り出された顔画像が氏名データ４０４とともに表示される。
なお、図１２（ａ）の実施の形態の場合、各人物「笠井」Ａ〜「岡田」Ｉの切り出された顔画像である「笠井」Ａ〜「岡田」Ｉに係る切り出し範囲Ｚの大きさが均一でない。しかし、切り出し範囲Ｚの大きさは均一であることが望ましいが、隣接する人物画像の近接度合いに応じて、切り出し範囲Ｚの大きさを変更してもよい。
【００９６】
よって、切り出された各人物「笠井」Ａ〜「岡田」Ｉの顔画像に対応して氏名データ４０４が表示されることにより、ユーザは切り出された顔画像が誰であるかを知ることができる。
【００９７】
次に、これら各人物「笠井」Ａ〜「岡田」Ｉの人物画像と、当該表示部２６上におけるその位置（表示部２６における両眼の位置座標）とをＤＲＡＭ２１に記憶する（ステップＳ２１１）。さらに、基準ＲＡＭ５０から記憶されている配置基準データを読み出し（ステップＳ２１２）、これにより、図４（ａ）に示した配置基準データが制御部２２によって基準ＲＡＭ５０から読み出されることとなる。
【００９８】
しかる後に、この読み出した配置基準データに従って、人物画像を移動して表示する（ステップＳ２１３）。この場合、データベース２９−３における配置位置データ領域２９−３Ａは、図４（ｂ）に示すように、複数の人物画像が配置されるべき配置レイアウトを示す配置位置データが格納されており、前列および後列の各座標位置ｘ１・・・ｘ５，ｙ１・・・ｙ４別に、「中央１」「中央２」のような複数の人物画像が配置されるべき配置を指示するための指示データが格納されているので、前述した配置基準データに含まれている「配置位置」のデータに対応する、この指示データの座標位置に各人物画像を移動して表示することになる。
【００９９】
ところで、図４（ａ）に示すように、基準ＲＡＭ５０の配置位置欄５４には「村田○○」から「中尾○○」までの９名各々に対応して配置位置が記憶されている。一方、図１２（ａ）に示したように、表示部２６には前記ステップＳ２１０での処理により、後列左端の「笠井」Ａから前列右端の「岡田」Ｉまでの９名の顔画像が表示されている。
【０１００】
そして、この図１２（ａ）に示す表示部２６の表示状態と、図４（ａ）に示す基準ＲＡＭ５０の配置位置欄５４の内容とを比較すると、図１２（ａ）における後列の「笠井」Ａ、「村越」Ｂ、「熊澤」Ｃ、「大熊」Ｄ、「糟屋」Ｅの位置と、図４（ａ）の「笠井○○」、「村越○○」、「熊澤○○」、「大熊○○」、「糟屋○○」、「笠井○○」の各配置位置データ「後列 左から１」、「後列 左から２」・・・とは一致している。
【０１０１】
しかし、図１２（ａ）における前列は左端に「中尾」Ｆ、右端に「岡田」Ｉであるのに対し、図４（ａ）において「中尾○○」の配置位置データは「前列 右端」であり、「岡田○○」の配置位置データは「前列 左端」である。
【０１０２】
したがって、図１２（ａ）の表示状態において、後列の全員及び前列の中央１及び中央２の「村田」Ｈと「後藤」Ｇの位置は、基準ＲＡＭ５０の配置位置欄５４のデータと一致するが、前列の「中尾」Ｆと「岡田Ｉ」の位置は、基準ＲＡＭ５０の配置位置欄５４のデータと不一致である。また、不一致である前列の顔画像「中尾」Ｆと「岡田」Ｉの位置を基準ＲＡＭ５０の配置位置欄５４のデータと一致させるためには、図１２（ａ）の表示状態において、「中尾」Ｆの位置と「岡田」Ｉの位置とを交換しなければならない。したがって、このステップＳ２１３においては、図１２（ｂ）に示すように、氏名データ４０４を含む顔画像「中尾」Ｆと「岡田」Ｉとを入れ替えて、表示部２６に表示する。
【０１０３】
これにより、複数の被写体人物の配置が不適正な状態で撮影がなされた場合であっても、各被写体人物の配置を配置基準データに従って自動的に適正な位置に配置し直した状態の画像を表示することができる。
【０１０４】
次に、最前列以外の他の列の顔画像サイズを最前列の顔画像サイズと同サイズに拡大処理する（ステップＳ２１４）。
【０１０５】
すなわち、図１１（ａ）に示したように、複数列で集合写真を撮影すると、被写体人物は最前列の人物画像Ｉ，Ｇ，Ｈ，Ｆの顔画像サイズが最大となり、最前列以外の列の人物画像Ａ〜Ｅの顔画像サイズは最前列よりも相対的に小さくなる。したがって、図１２（ａ）（ｂ）に示すように、各人物被写体の顔画像部分を切り出して表示すると、当然に後列の人物画像Ａ〜Ｅの顔画像は最前列の人物画像Ｉ，Ｇ，Ｈ，Ｆの顔画像よりも小さく表示されてしまい、顔画像の大きさが不均等となってしまう。
【０１０６】
そこで、ステップＳ２１４においては、デジタルカメラの距離測定部ＫＳから発射され、複数の人物から反射された距離測定光による各距離に基づいて、最前列以外の他の列の人物画像Ａ〜Ｅの顔画像サイズを最前列の人物画像Ｉ，Ｇ，Ｈ，Ｆの顔画像サイズと同サイズとなるように拡大処理して表示する。
【０１０７】
拡大処理例としては、図１１（ｂ）に示すように、両眼Ｉ，Ｉの距離ｄを測定（検出）していることから、この測定した両眼Ｉ，Ｉの距離ｄが全員の測定距離と同様となるまでか全員または一部の顔画像サイズを拡大処理して全員の顔画像のサイズが同じまたはほぼ同じとなるように表示するようにしてもよい。また、全員の顔画像の輪郭を測定し、これに基づいて、全員または一部の顔画像サイズを拡大処理して全員の顔画像のサイズが同じまたはほぼ同じとなるように表示するようにしてもよい。
【０１０８】
これにより、図１２（ｃ）に示すように、後列の顔画像の「笠井」Ａ〜「糟屋」Ｅが最前列の顔画像「岡田」Ｉ〜「中尾」Ｆと同サイズにして表示される。したがって、不可避的に顔画像サイズが異なってしまう集合写真の欠点を解消して、全員の顔画像サイズが同等な大きさからなる集合写真を特別な操作をユーザが行うことなく確実かつ迅速に表示することができる。
【０１０９】
なお、この拡大処理は、制御部２２の働きにより自動的に行っても良く、または、ユーザのキー操作による指示に応答して行っても良い。
【０１１０】
しかる後に、この表示した画像（図１２（ｃ）の画像）を保存メモリ２８に記録して（ステップＳ２１５）処理を終了する。したがって、保存メモリ２８に記録した画像を再生することにより、図１２（ｃ）に示した全員の顔画像サイズが同等な大きさからなる集合写真を後日観賞することも可能となる。
【０１１１】
（第２の実施の形態）
図１３は、本発明の第２の実施の形態における前記撮影モード処理（ステップＳ２）の処理手順を示すフローチャートである。
【０１１２】
この撮影モード処理に際しては、図１４（ａ）に示すように、液晶モニタ画面４に表示されている「顔登録モード」「撮影モード（１）」「撮影モード（２）」等のメニュー画面の中から「撮影モード（３）」がユーザにより選択されると、制御部２２は、図１３のフローチャートに従って処理を実行し、液晶モニタ画面４に顔画像Ａ，Ｂ、Ｃを表示する（ステップＳ４０１）。このステップＳ４０１での処理により、図１４（ｂ）に例示するように、顔画像Ａ、Ｂ、Ｃが液晶モニタ画面４に表示される。
【０１１３】
次に、シャッターキー８が半押しされたか否かを判断する（ステップＳ４０２）。シャッターキー８が半押しされたと判断されたならば、前記液晶モニタ画面４に表示されている複数の顔画像Ａ，Ｂ、Ｃのうちの一つの顔画像を検出する顔検出処理を実行する（ステップＳ４０３）。したがって、図１４（ｂ）に示したように、この顔画像Ａ、Ｂ、Ｃが存在する状態でシャッターキー８が半押しされたと判断されると、先ず顔画像Ａが検出される。
【０１１４】
引き続き、今回検出した顔がいずれの顔であるかを示す検出顔の表示を実行する（ステップＳ４０４）。この検出顔の表示は、図１４（ｂ）に示すように、検出した顔を囲繞する枠４０３を表示することにより行う。
【０１１５】
したがって、撮影者がこの液晶モニタ画面４に表示された枠４０３を視認することにより、今回の顔検出処理により複数の顔画像Ａ、Ｂ、Ｃのうちいずれの人物の顔検出が実行されたかを確認することができる。
【０１１６】
また、この表示した枠４０３内の顔に対するＡＦ、ＡＥ処理を実行することにより（ステップＳ４０５）、検出対象とされた顔画像を鮮明にする。そして、この枠４０３内の顔画像Ａに対応する個人データを顔認識テーブル４０において検索する（ステップＳ４０６）。
【０１１７】
すなわち、図１４（ｂ）に示した枠４０３内に存在する顔画像から、顔認識部２９−２で前記各特徴データを抽出し、この抽出した特徴データと特徴データ欄４４に格納されている各顔の前記特徴とを比較することにより、当該顔画像が個人ＩＤ欄４１のいずれの個人ＩＤ（１、２・・・）に対応する顔画像であるかを検索する。そして、個人ＩＤが検索できたならば、氏名データ欄４２においてこの検索した個人ＩＤに対応する氏名データを検索する。
【０１１８】
しかる後に、氏名データがあったか否かを判断する（ステップＳ４０７）。氏名データがないと判断された場合には、「氏名不明」の文字を顔の近傍位置に表示する（ステップＳ４０８）。氏名データがあったと判断された場合には、氏名データを顔の近傍位置に表示する（ステップＳ４０９）。したがって、このステップＳ４０９での処理により、図１
４（ｂ）に示すように、顔画像Ａの近傍に氏名データ４０４として「甲太郎」が表示される。
【０１１９】
次に、全員に対して以上の顔検出及び個人データの表示等を完了したか否かを判断する（ステップＳ４１０）。完了していないと判断された場合には、前述したステップＳ４０３〜Ｓ４０９の処理を繰り返す。したがって、本例のように、顔画像Ａ、Ｂ、Ｃが存在すると判断された場合とすると、ステップＳ４０３〜Ｓ４０９が３回繰り返される。これにより、図１４（ｂ）に示すように、顔画像Ｂ、Ｃに対してもその近傍に氏名データ４０５、４１０として「乙次郎」、「丙花子」が表示されることとなる。
【０１２０】
このようにして、全員に対する処理が完了するとステップＳ４１０からステップＳ４１１に進み、シャッターキー８が全押しされたか否かを判断する（ステップＳ４１１）。シャッターキー８が全押しされたと判断されたならば、撮影顔画像、顔位置、氏名データなどをＤＲＡＭ２１に記憶して（ステップＳ４１２）処理を終了する。したがって、このステップＳ４１２での処理によりＤＲＡＭ２１には、図１４（ｂ）に示すように、顔画像Ａ，Ｂ，Ｃが存在する集合写真画像が記憶され、顔画像Ａ−Ｂ間の距離Ｌ１、顔画像Ｂ−Ｃ間の距離Ｌ２または顔画像Ａ、Ｂ、Ｃの座標位置により、顔画像Ａ，Ｂ，Ｃの位置が記憶されるとともに、顔画像Ａ，Ｂ，Ｃの氏名データ４０４が記憶されることとなる。
【０１２１】
図１５は、本実施の形態において前記撮影モード処理（ステップＳ２）に含まれている編集モード処理の処理手順を示すフローチャートである。この撮影モード処理に際しては、図１６（ａ）に示すように、液晶モニタ画面４に表示されている「顔登録モード」「撮影モード（１）」・・・「編集モード」等のメニュー画面の中から「編集モード」がユーザにより選択されると、制御部２２は、図１５のフローチャートに従って処理を実行し、編集対象画像を液晶モニタ画面４に表示する（ステップＳ５０１）。このステップＳ５０１での処理により、図１６（ｂ）に例示するように、顔画像Ａ、Ｂ、Ｃを有する編集対象画像（図１４（ｂ）と同一の画像）が液晶モニタ画面４に表示される。
【０１２２】
次に、編集決定スイッチが操作されたか否かを判断する（ステップＳ５０２）。編集決定スイッチが操作されたと判断されたならば、液晶モニタ画面４に表示されている編集対象画像において、隣り合う各顔画像又は枠間の距離を検出するとともに、この検出した距離を隣り合う各顔画像に対応させて記憶、表示する（ステップＳ５０３）。
【０１２３】
このステップＳ５０３での処理により、図１６（ｂ）に示すように、顔画像Ａ−Ｂ間の距離Ｌ１、顔画像Ｂ−Ｃ間の距離Ｌ２が検出されてＤＲＡＭ２１に記憶されるとともに、液晶モニタ画面４表示されることとなる。次に、この検出した距離の大小を算出して、ＤＲＡＭ２１に記憶する（ステップＳ５０４）。よって、本例のように距離Ｌ２の方が距離Ｌ１よりも大きいと判断された場合には、ＤＲＡＭ２１に「Ｌ１＜Ｌ２」が記憶される。
【０１２４】
次に、このＤＲＡＭ２１に記憶した距離の大小に基づき、前記ステップＳ５０３で算検出した距離Ｌ１、Ｌ２が異なるか否かを判断する（ステップＳ５０５）。本例の場合、「Ｌ１＜Ｌ２」であるから「Ｌ１≠Ｌ２」であって、算出した距離Ｌ１、Ｌ２は異なる。したがって、ステップＳ５０５はＹＥＳとなる。よって、ステップＳ５０５からステップＳ５０６に進み、異なる距離の顔画像を切り出し処理する。
【０１２５】
つまり、本例においては「Ｌ１≠Ｌ２」であって、異なる距離の顔画像は「甲太郎」及び「丙花子」であるから、これら「甲太郎」と「丙花子」の顔画像のいずれを切り出してもよい。そして、例えば「丙花子」の顔画像を切り出したならば、この切り出し済みの顔画像を、各顔画像の間が均等間隔となる位置まで移動し配置し直す（ステップＳ５０７）。
【０１２６】
したがって、このステップＳ５０７での処理により、図１６（ｃ）に示すように、「Ｌ１＝Ｌ２」となる位置に「丙花子」の顔画像が移動して配置し直されることとなる。
【０１２７】
これにより、複数の被写体人物の水平方向の間隔が不均一な状態で撮影がなされた場合であっても、被写体人物の水平方向の間隔を均一にして複数の被写体人物を含む集合写真画像を確実かつ迅速に表示することができる。
【０１２８】
よって、本実施の形態によれば、被写体の配置や間隔が不適正な状態で撮影された画像であっても、これらを適正にして画像を表示することができる。
【０１２９】
しかる後に、この表示した画像（図１６（ｃ）の画像）を保存メモリ２８に記録して（ステップＳ５０８）処理を終了する。したがって、保存メモリ２８に記録した画像を再生することにより、図１６（ｃ）に示した全員の間隔が均等な集合写真を後日観賞することも可能となる。
図１７は背景画像と被写体画像との差分に基づいて、被写体画像を切り出して被写体画像を抽出する画像抽出方法を採用した場合において、さらに各被写体画像の間の間隔を移動制御した際の実施形態を示す。
【０１３０】
すなわち、図１７（a）に示すように、抽出すべき被写体画像Ｈ、Ｇを含む第１画像Ｄ１と、図１７（ｂ）に示すように、背景のみの背景画像である第２画像Ｄ２とを撮影し、これら第１画像Ｄ１と第２画像Ｄ２とを比較し、この比較結果、すなわち被写体画像と背景画像との差分に基づいて、図１７（ｃ）に示すように、切り出し処理Ｄ３を行い、被写体画像Ｈ、Ｇを切り出し抽出する。次に、このように切り出された被写体画像Ｈ、Ｇについて、図１７（ｄ）に示すように、前述した実施の形態の場合と同様な処理にて、当該各被写体画像Ｈ、Ｇの間の間隔（Ｌ１）を図１７（ｅ）に示すように、制御部２２の働きにより自動的に、またはユーザの指示操作に応じて、他の間隔（Ｌ２）となるように移動制御させる。
【０１３１】
この実施形態によれば、被写体画像と背景画像との差分に基づいて、図１７（ｂ）に示すように、切り出し処理Ｄ３により、被写体画像Ｈ、Ｇを完全独立して切り出し抽出することができるので、独立して切り出された各被写体画像Ｈ、Ｇの間の間隔（Ｌ１）を、図１７（ｅ）に示すように、制御部２２の働きにより自動的に、またはユーザの指示操作に応じて、他の間隔（Ｌ２）となるように広げまたは狭めて移動配置して表示させることができる。
【０１３２】
以上、本発明の実施の形態について説明したが、本発明は前記各実施の形態に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【０１３３】
例えば、この実施の形態では、この発明をデジタルカメラに適用した場合を例にして説明しているが、デジタルカメラばかりでなく、光学系及び撮像素子を介して取り込んだ画像データを記録する機能を備えた装置、例えば、カメラ付携帯電話や撮像機能を備えた電子機器にも適用できる。
【０１３４】
また、この実施の形態では、被写体として「人物」を例に挙げているが、動物、建造物などを被写体としてこの発明を適用しても良い。また、「氏名データ」として人物の「氏名」を例に挙げているが、動物、建造物などの名称、愛称、固有名称、固有データでも良い。
【０１３５】
さらに、この実施の形態では、撮影された顔画像が表示されたあとに、シャッターキーが半押しされると、顔画像の顔検出が行われ、この顔検出が行われた顔画像に対応する氏名データを顔認識テーブルから検索して読み出し、この読み出された氏名データを顔検出が行われた顔画像に対応する輪郭画像の近傍位置または輪郭画像内に配置して表示しているが、撮影された顔画像が表示された後に、顔画像の顔検出を行い、この顔検出が行われた顔画像に対応する個人データを顔認識テーブルから検索して読み出し、この読み出された個人データを顔検出が行われた実際の顔画像の近傍位置またはその画像内に配置して表示しても良い。
【０１３６】
さらに、この実施の形態では、各被写体画像それぞれを個別に切り出し方法として、検出された複数の被写体画像における目の位置を基準にして、各被写体画像それぞれを個別に切り出すようにしているが、これに限られない。
【０１３７】
たとえば、被写体画像の輪郭、または明度差（たとえば、特公平０７−１６２５０号公報に記載の技術）、または身体部分領域を特殊な処理で抽出する方法（たとえば、特開２０００−２２９２９号公報に記載の技術）などにより切り出して被写体画像を抽出する画像抽出方法でもよい。
【０１３８】
さらに、この実施の形態では、「予め定められている配置基準データ」、「予め定められている基準」、または「予め定められた条件」として、役職名、所属会社名称及び配置位置などの配置基準データを記憶しておき、この配置基準データを用いて各被写体画像の間の間隔制御または配置転換等を行っているが、これに限られず、学年順、男女別、背の高さ順、上司部下順など、各被写体画像の配置を制御するための配置基準データを記憶しておき、この配置基準データを用いて各被写体画像の間の間隔制御または配置転換等を行うようにしてもよい。この場合、このような配置基準データは複数の被写体画像と対応付けて記憶させておく必要がある。
【０１３９】
さらに、この実施の形態では、切り出される「被写体画像」を静止画として説明しているが、動画であっても良い。たとえば、図１７において、各人物画像Ｈ，Ｇを動画とした場合、左右に並んだ各人物画像Ｈ，Ｇが時間の経過に従って別個独立して動くことになるので、より一層面白い画像表現とすることができる。
【符号の説明】
【０１４０】
４ 液晶モニタ画面
８ シャッターキー
９ 電源ボタン
１２ レンズ光学系
１３ ＣＣＤ
１５ 垂直ドライバ
１７ Ａ／Ｄ変換器
１８ カラープロセス回路
１９ ＤＭＡコントローラ
２１ ＤＲＡＭ
２２ 制御部
２４ ＶＲＡＭ
２５ デジタルビデオエンコーダ
２６ 表示部
２８ 保存メモリ
２９−１ 顔検出部
２９−２ 顔認識部
２９−３ データベース
３０ キー入力部
４０ 顔認識テーブル
４１ 個人ＩＤ欄
４２ 氏名データ欄
４４ 特徴データ欄
４６ 顔画像欄
５０ 基準ＲＡＭ
５１ 役職名欄
５２ 氏名欄
５３ 所属会社名称欄
５４ 配置位置欄
１００ デジタルカメラ
【特許請求の範囲】
【請求項１】
複数の被写体を撮影する撮影手段と、
複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、
前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、
この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段と
を備えていることを特徴とする撮影画像処理装置。
【請求項２】
前記複数の被写体画像は、前記画面内において横方向及び縦方向のいずれかの方向に配置されており、
前記表示制御手段は、この配置されている複数の被写体画像の間の距離が等間隔となるように、各被写体画像を移動して、当該各被写体画像を同一画面上に表示させることを特徴とする請求項１記載の撮影画像処理装置。
【請求項３】
前記表示制御手段は、
前記複数の被写体における顔画像それぞれを検出する顔検出手段と、
この顔検出手段により検出された複数の被写体画像における眼の位置を基準として、各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動して同一画面上に表示させる同一画面表示制御手段と、
を備えていることを特徴とする請求項１記載の撮影画像処理装置。
【請求項４】
前記切出手段は、前記顔検出手段により検出された複数の被写体画像における眼の位置を基準として、当該被写体画像を切り出すことを特徴とする請求項１記載の撮影画像処理装置。
【請求項５】
前記表示制御手段は、
前記顔検出手段により検出された複数の被写体画像の近傍位置に、当該複数の被写体画像それぞれに対応する個人データを表示させる個人データ表示制御手段を備えていることを特徴とする請求項３又は４記載の撮影画像処理装置。
【請求項６】
前記記憶手段に、前記複数の被写体画像の配置位置を示す配置基準データを前記撮影手段により撮影された複数の被写体画像を個別に切り出す前に先立って、ユーザの操作に応じて記憶させる記憶制御手段を備えることを特徴とする請求項１から５にいずれか記載の撮影画像処理装置。
【請求項７】
前記複数の被写体画像は、前記画面内において複数列に配置されており、
前記表示制御手段は、最前列における被写体画像の大きさに応じて、後列の被写体画像を拡大処理する拡大処理手段を備えることを特徴とする請求項１から６にいずれか記載の撮影画像処理装置。
【請求項８】
撮影手段と、
この撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、
この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項９】
前記表示制御手段の制御により同一画面上に表示された各被写体画像を記録する記録手段をさらに備えることを特徴とする請求項１から８にいずれか記載の撮影画像処理装置。
【請求項１０】
撮影された複数の被写体画像を処理する撮影画像処理装置において、
予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段を備えていることを特徴とする撮影画像処理装置。
【請求項１１】
複数の被写体を撮影する撮影手段を備えた撮影画像処理装置が有するコンピュータを、
複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、
前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、
この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段と
して機能させることを特徴とする撮影画像処理プログラム。
【請求項１２】
撮影手段備えた撮影画像処理装置が有するコンピュータを、
前記撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、
この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、
して機能させることを特徴とする撮影画像処理プログラム。
【請求項１３】
撮影された複数の被写体画像を処理する撮影画像処理装置が有するコンピュータを、
予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段として機能させることを特徴とする撮影画像処理プログラム。
【請求項１４】
複数の被写体を撮影する撮影ステップと、
複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶する記憶ステップと、
前記撮影ステップにより撮影された複数の被写体画像を個別に切り出す切出ステップと、
この切出ステップにより切り出された複数の被写体画像を前記記憶ステップで記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段と
を含むことを特徴とする撮影画像処理方法。
【請求項１５】
撮影ステップと、
この撮影ステップにより撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出ステップと、
この距離検出ステップにより検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御ステップと、
を含むことを特徴とする撮影画像処理方法。
【請求項１６】
撮影された複数の被写体画像を処理する撮影画像処理方法において、
予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御ステップを備えていることを特徴とする撮影画像処理方法。
【請求項１７】
複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、
前記複数の被写体画像それぞれを個別に切り出し、予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項１８】
複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、
前記複数の被写体画像のうち、互い隣り合う被写体画像間の距離を測定する距離測定手段と、
この距離測定手段により測定された各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動させ、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項１９】
請求項１７又は請求項１８に記載の撮影画像処理装置において、
前記複数の被写体画像は、横方向および縦方向のいずれかの方向に配置されており、
前記表示制御手段は、このいずれかの方向における複数の被写体画像の間の距離が等間隔となるように、当該各被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる移動表示制御手段を備えていることを特徴とする撮影画像処理装置。
【請求項２０】
請求項１７又は請求項１８に記載の撮影画像処理装置において、
前記表示制御手段は、
前記複数の被写体画像の顔それぞれを検出する顔検出手段と、
この顔検出手段により検出された複数の被写体画像における目の位置、被写体画像の輪郭、背景画像と被写体画像との差分または明度差による画像抽出方法に基づいて、被写体画像それぞれを個別に切り出し、前記予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる同一画面表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項２１】
請求項１７又は請求項１８に記載の撮影画像処理装置において、
前記予め定められている配置基準は、学年順、男女別、背の高さ順、上司部下順を含む、各被写体画像の配置を制御するための配置基準データであり、この配置基準データは前記複数の被写体画像と対応付けて記憶されていることを特徴とする撮影画像処理装置。
【請求項１】
複数の被写体を撮影する撮影手段と、
複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、
前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、
この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段と
を備えていることを特徴とする撮影画像処理装置。
【請求項２】
前記複数の被写体画像は、前記画面内において横方向及び縦方向のいずれかの方向に配置されており、
前記表示制御手段は、この配置されている複数の被写体画像の間の距離が等間隔となるように、各被写体画像を移動して、当該各被写体画像を同一画面上に表示させることを特徴とする請求項１記載の撮影画像処理装置。
【請求項３】
前記表示制御手段は、
前記複数の被写体における顔画像それぞれを検出する顔検出手段と、
この顔検出手段により検出された複数の被写体画像における眼の位置を基準として、各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動して同一画面上に表示させる同一画面表示制御手段と、
を備えていることを特徴とする請求項１記載の撮影画像処理装置。
【請求項４】
前記切出手段は、前記顔検出手段により検出された複数の被写体画像における眼の位置を基準として、当該被写体画像を切り出すことを特徴とする請求項１記載の撮影画像処理装置。
【請求項５】
前記表示制御手段は、
前記顔検出手段により検出された複数の被写体画像の近傍位置に、当該複数の被写体画像それぞれに対応する個人データを表示させる個人データ表示制御手段を備えていることを特徴とする請求項３又は４記載の撮影画像処理装置。
【請求項６】
前記記憶手段に、前記複数の被写体画像の配置位置を示す配置基準データを前記撮影手段により撮影された複数の被写体画像を個別に切り出す前に先立って、ユーザの操作に応じて記憶させる記憶制御手段を備えることを特徴とする請求項１から５にいずれか記載の撮影画像処理装置。
【請求項７】
前記複数の被写体画像は、前記画面内において複数列に配置されており、
前記表示制御手段は、最前列における被写体画像の大きさに応じて、後列の被写体画像を拡大処理する拡大処理手段を備えることを特徴とする請求項１から６にいずれか記載の撮影画像処理装置。
【請求項８】
撮影手段と、
この撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、
この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項９】
前記表示制御手段の制御により同一画面上に表示された各被写体画像を記録する記録手段をさらに備えることを特徴とする請求項１から８にいずれか記載の撮影画像処理装置。
【請求項１０】
撮影された複数の被写体画像を処理する撮影画像処理装置において、
予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段を備えていることを特徴とする撮影画像処理装置。
【請求項１１】
複数の被写体を撮影する撮影手段を備えた撮影画像処理装置が有するコンピュータを、
複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶した記憶手段と、
前記撮影手段により撮影された複数の被写体画像を個別に切り出す切出手段と、
この切出手段により切り出された複数の被写体画像を前記記憶手段に記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段と
して機能させることを特徴とする撮影画像処理プログラム。
【請求項１２】
撮影手段備えた撮影画像処理装置が有するコンピュータを、
前記撮影手段により撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出手段と、
この距離検出手段により検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御手段と、
して機能させることを特徴とする撮影画像処理プログラム。
【請求項１３】
撮影された複数の被写体画像を処理する撮影画像処理装置が有するコンピュータを、
予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御手段として機能させることを特徴とする撮影画像処理プログラム。
【請求項１４】
複数の被写体を撮影する撮影ステップと、
複数の被写体画像と当該複数の被写体画像の配置位置を示す配置基準データとを対応付けて記憶する記憶ステップと、
前記撮影ステップにより撮影された複数の被写体画像を個別に切り出す切出ステップと、
この切出ステップにより切り出された複数の被写体画像を前記記憶ステップで記憶された配置基準データに従った画面上の位置に配置して表示させる表示制御手段と
を含むことを特徴とする撮影画像処理方法。
【請求項１５】
撮影ステップと、
この撮影ステップにより撮影された複数の被写体画像のうち、隣り合う被写体画像間の距離を検出する距離検出ステップと、
この距離検出ステップにより検出された前記被写体画像間の距離が等しくなるように、前記各被写体画像のうちの少なくとも一つを移動し、同一画面上に表示させる表示制御ステップと、
を含むことを特徴とする撮影画像処理方法。
【請求項１６】
撮影された複数の被写体画像を処理する撮影画像処理方法において、
予め定められた条件に従って、前記前記各被写体画像のうちの少なくとも一つの被写体画像の位置を変更して配列表示させる表示制御ステップを備えていることを特徴とする撮影画像処理方法。
【請求項１７】
複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、
前記複数の被写体画像それぞれを個別に切り出し、予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項１８】
複数の被写体を撮影し、この撮影された画像を処理する撮影画像処理装置において、
前記複数の被写体画像のうち、互い隣り合う被写体画像間の距離を測定する距離測定手段と、
この距離測定手段により測定された各被写体画像間の距離が等間隔となるように、当該各被写体画像を移動させ、この移動された各被写体画像を同一画面上に表示させる表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項１９】
請求項１７又は請求項１８に記載の撮影画像処理装置において、
前記複数の被写体画像は、横方向および縦方向のいずれかの方向に配置されており、
前記表示制御手段は、このいずれかの方向における複数の被写体画像の間の距離が等間隔となるように、当該各被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる移動表示制御手段を備えていることを特徴とする撮影画像処理装置。
【請求項２０】
請求項１７又は請求項１８に記載の撮影画像処理装置において、
前記表示制御手段は、
前記複数の被写体画像の顔それぞれを検出する顔検出手段と、
この顔検出手段により検出された複数の被写体画像における目の位置、被写体画像の輪郭、背景画像と被写体画像との差分または明度差による画像抽出方法に基づいて、被写体画像それぞれを個別に切り出し、前記予め定められている配置基準に従って、この切り出しされた複数の被写体画像を移動し、この移動された各被写体画像を同一画面上に表示させる同一画面表示制御手段と、
を備えていることを特徴とする撮影画像処理装置。
【請求項２１】
請求項１７又は請求項１８に記載の撮影画像処理装置において、
前記予め定められている配置基準は、学年順、男女別、背の高さ順、上司部下順を含む、各被写体画像の配置を制御するための配置基準データであり、この配置基準データは前記複数の被写体画像と対応付けて記憶されていることを特徴とする撮影画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−２６２３２６（Ｐ２０１０−２６２３２６Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１０２３１（Ｐ２００９−１１０２３１）
【出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年４月３０日（２００９．４．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]