説明

画像処理装置、画像処理装置の制御方法、及びプログラム

【課題】 ユーザが、容易な操作で、所望の画像データを画像処理装置に処理させることができる。
【解決手段】 画像処理装置は、データ処理装置で表示されている表示画像データとともに、当該データ処理装置に記憶された前記画像データを取得する。そして、取得された表示画像データの中から顔情報を認識する(S2106)。
そして、CPUは認識した顔情報が含まれる画像データを当該取得された画像データから抽出する(S2109)。そして、画像処理装置は、抽出された画像データを処理する(S2113)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラ等のデータ処理装置に格納された画像データを、MFP等の画像処理装置で印刷や格納等の処理を実行する場合、ユーザは、例えば、次のような方法によって、印刷を行うことができる。なお、MFPは、(Multi function Peripheral)の略である。
ユーザは、データ処理装置に格納された画像データをSDカード等の可搬メディアに記憶し、当該可搬メディアを画像処理装置に接続した状態で、印刷したい画像データを操作部から選択し、選択された画像データを画像処理装置に送信する。
【0003】
または、可搬メディアもしくはデータ処理装置本体をPC(Personal Computer)に接続し、PC上で稼動しているアプリケーションを介して、処理したい画像データを選択する。そして、PCは、選択された画像データを画像処理装置に送信し、画像処理装置は、当該画像データに基づいて、印刷や格納等の処理を実行する。
ここで、ユーザAは、デジタルカメラ等のデータ処理装置に格納された画像のうち、友人Bが写っている画像を、友人Bに渡したい場合がある。
【0004】
この場合、ユーザは、まず、データ処理装置に格納された画像データをSDカードやケーブル等を用いてPCまたは画像処理装置に移す。そして、ユーザは、どの画像データに友人Bが写っているかを確認しながら、画像データを1つずつ選択し、選択された画像データに対して、指示を行う必要があり、ユーザに負荷がかかってしまう。
また、装置間で画像データを転送する方法として例えば、特許文献1に記載された方法のように、近距離の装置間で高速に無線通信を行う仕組みが考案されている。このような仕組みを、デジタルカメラ等のデータ処理装置と画像処理装置に採用すれば、SDカードやケーブル等を用いた作業の負荷を軽減することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−99236号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の方法を用いた場合でも、ユーザは、どの画像データに友人Bが写っているかを確認しながら、画像処理装置で処理すべき画像データを1つずつ選択していく作業にかかる負荷は軽減されず必要があるため、操作が煩わしかった。
特に、画像データの数が多い場合には、ユーザが、所望の画像データを選択するために時間がかかってしまう。
本発明は、このような課題に鑑みてなされたものである。本発明は、ユーザが、容易な操作で、所望の画像データを処理できる仕組みを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成する本発明の画像処理装置は以下に示す構成を備える。
データ処理装置から画像データを受信する画像処理装置であって、データ処理装置で表示されている表示画像データ、及び、当該データ処理装置に記憶された画像データを取得する取得手段と、取得手段によって取得された表示画像データの中から顔情報を認識する認識手段と、認識手段が認識した顔情報が含まれる画像データを取得手段によって取得された画像データから抽出する抽出手段と、抽出手段が抽出した画像データを処理する制御手段と、を備えたことを特徴とする。
【発明の効果】
【0008】
本発明によれば、ユーザが、容易な操作で、所望の画像データを画像処理装置に処理させることができる。
【図面の簡単な説明】
【0009】
【図1】画像処理システムの構成を説明する図である。
【図2】コントローラ部の構成を説明するブロック図である。
【図3】画像形成装置で表示されるUIを示す図である。
【図4】データ処理装置の構成を説明するブロック図である。
【図5】2次記憶部に格納された画像データの特徴を示す模式図である。
【図6】画像形成装置の画像処理例を示す図である。
【図7】画像形成装置の画像処理例を示す図である。
【図8】画像形成装置の画像処理例を示すフローチャートである。
【図9】画像形成装置の画像処理例を示すフローチャートである。
【図10】画像形成装置の画像処理例を示すフローチャートである。
【図11】画像形成装置で表示されるUIの一例を示す図である。
【図12】画像データ群の格納先を説明する図である。
【図13】画像形成装置で表示されるUIの一例を示す図である。
【図14】画像形成装置で表示されるUIの一例を示す図である。
【図15】画像形成装置の画像処理例を示す図である。
【図16】画像形成装置の画像処理例を示すフローチャートである。
【図17】画像形成装置で表示されるUIの一例を示す図である。
【図18】画像形成装置が取得する画像データ群を示す図である。
【発明を実施するための形態】
【0010】
次に本発明を実施するための最良の形態について図面を参照して説明する。
<システム構成の説明>
〔第1実施形態〕
図1は、本実施形態を示す画像形成装置100とデータ処理装置1000とからなる画像処理システムの構成を説明する図である。なお、画像形成装置100は、画像処理装置の一例である。また、本実施形態では、データ処理装置をデジタルカメラとする例を説明するが、データ処理装置は、表示装置を備えるデータ処理装置であれば、携帯電話、モバイルPCも含まれる。
なお、データ処理装置と画像形成装置とは、データを転送したい相手に機器を直接かざすことにより、複雑な接続設定を不要にし、高速転送を行う近接無線通信機能を備えている。したがって、ユーザは、データ処理装置を画像形成装置(例えば3cm以下の距離内)にかざすことで、データ処理装置に記憶された画像データ群を画像形成装置に送信することができる。
【0011】
図1において、コントローラ部110は、リーダ部200、プリンタ部300と電気的に接続されており、リーダ部200やプリンタ部300から情報を受信したり、リーダ部200やプリンタ部300に各種コマンドを送信したりする。また、コントローラ部110は、ネットワーク4000を介して、PC(Personal computer)4001、4002と接続されている。そして、コントローラ部110は、PC4001やPC4002からネットワーク4000を介して画像データや制御コマンドを受信する。ネットワークとしては、例えばイーサネット(登録商標)があげられる。
【0012】
リーダ部200は、原稿画像を光学的に読み取り、画像データに変換する。リーダ部200は、原稿を読み取るための機能を持つスキャナユニット210と、原稿用紙をスキャナユニット210によって読み取ることができる位置まで搬送する原稿給紙ユニット290とで構成される。
スキャナコントローラ210Aは、コントローラ部110からの指示に基づいて、原稿給紙ユニット290とスキャナユニット210を制御する。
プリンタ部300は、印刷用のシートを収納する給紙ユニット310と、画像データをシートに転写、定着するマーキングユニット320と、印刷されたシートを排紙する排紙ユニット330とで構成される。プリンタ部300のプリンタコントローラ320Aは、コントローラ部110からの指示に基づいて、給紙ユニット310からシートを給紙し、給紙したシートに画像データを印刷し、印刷したシートを排紙ユニット330に排紙する。
【0013】
なお、給紙ユニット310は、複数種類のシートを収納することができる。また、排紙ユニット330は、印刷されたシートに対して、ソートやステイプルのシート後処理を行うことができる。
操作部250は、例えば、ハードキーや、液晶表示部と液晶表示部上に貼り付けられたタッチパネル部で構成され、それらを介してユーザの指示を受付ける。操作部250は、ユーザから受付けた指示に対応するコマンドをコントローラ部110に送信し、コントローラ部110は、受信したコマンドに従った制御を行う。また、操作部250は、画像形成装置100の状態を表示する。
【0014】
また、操作部250は、液晶表示部に、画像形成装置100の操作を受付けるためのソフトキーや、画像形成装置100の機能や状態を示す表示を行う。
HDD(Hard Disk Drive)260は、画像形成装置100の各種設定や、画像データを記憶する。
これらの構成を用いて、画像形成装置100は、例えば、コピー機能、画像データ送信機能、プリンタ機能などを実行する。コピー機能を実行する場合、コントローラ部110は、リーダ部200によって原稿の画像データを読込み、読み込んだ画像データをプリンタ部300によってシートに印刷する。画像データ送信機能を実行する場合、コントローラ部110は、リーダ部200によって読み取った画像データをコードデータに変換し、ネットワーク4000を介してPC4001、4002に送信する。プリンタ機能を実行する場合、コントローラ部110は、PC4001、4002からネットワーク4000を介して受信したコードデータを解析、展開することによって、画像データに変換し、プリンタ部300に出力する。プリンタ部300は、コントローラ部110から受けた画像データに基づいて印刷を行う。言い換えると、コントローラ部110は画像処理部であると言え、プリンタ部300は画像形成部であると言える。
【0015】
なお、本実施形態では、画像形成装置100の例として複数の機能からなるMFPを用いて説明する。しかしながら、画像形成装置100は、コピー機能のみからなるコピー機、またはプリンタ機能のみからなるSFP(Single Function Peripheral)であってもよい。無線通信部400は、デジタルカメラや、携帯電話、PDA、ノート型パソコン等のデータ処理装置と無線で通信を行うためのものである。ユーザは、データ処理装置1000を通信部10に近づけることによって、画像形成装置100と、データ処理装置1000との通信が可能になる。無線通信部400は、データ処理装置1000が近づけられ(接近した)ことを検知し、データ処理装置1000との間で、制御データや画像データ等を送受する。無線通信部400は、制御装置110からの指示に基づいて制御するようにしてもよいし、無線通信部400が独自にCPUを備え、CPUが無線通信部400を制御するようにしてもよい。このように画像形成装置100は、データ処理装置1000と近距離において高速に無線通信する機能を備えている。
【0016】
図2は、図1に示したコントローラ部110の構成を説明するブロック図である。
図2において、メインコントローラ111は、主にCPU(Central Processing unit)112と、バスコントローラ113と、各種I/F(interface)コントローラ回路から構成される。
CPU112とバスコントローラ113は、コントローラ部110全体の動作を統括的に制御する。CPU112はROM(Read only memory)114からROMI/F115を経由して読込んだプログラムに基づいて各種動作を実行する。例えば、CPU112は、読み込んだプログラムに基づいて、図1に示したPC4001またはPC4002から受信したコードデータ(例えばPDL(ページ記述言語))を解釈する。また、CPU112は、DRAM116やHDD260等のメモリに対する記憶制御を実行する。
【0017】
バスコントローラ113は各I/Fから入出力されるデータ転送を制御するものであり、バスの調停やDMA(Direct Memory Access)データ転送の制御を行う。DRAM(Dynamic Random Access memory)116はDRAMI/F117によってメインコントローラ111と接続されており、CPU112が動作するためのワークエリアや画像データを蓄積するためのエリアとして使用される。
【0018】
Codec118は、DRAM116に蓄積されたラスタイメージデータをMH/MR/MMR/JBIG/JPEG等の方式で圧縮する。また、Codec118は、圧縮された状態で蓄積されたコードデータをラスタイメージデータに伸長する等の処理を行う。
SRAM119はCodec118の一時的なワーク領域として使用される。Codec118は、I/F120を介してメインコントローラ111と接続され、DRAM116との間のデータの転送は、バスコントローラ113によって制御されDMA転送される。
Graphic Processor(GP)135は、DRAM116に蓄積されたラスタイメージデータに対して、画像回転、画像変倍、色空間変換、二値化、などの画像処理を行う。また、Graphic Processor135には人物の顔の特徴を検出する顔認識モジュール190を備えている。ここで、顔認識モジュール190は、データ処理装置1000に表示されている表示画像データから人物の顔画像を認識する処理を実行する。
【0019】
SRAM136はGP135の一時的なワーク領域として使用される。GP135はI/F137を介してメインコントローラ111と接続され、DRAM116との間のデータの転送は、バスコントローラ113によって制御されDMA転送される。
Network Contorller121はI/F123によってメインコントローラ111と接続され、コネクタ122によって、ネットワーク4000のような外部ネットワークと接続される。
汎用高速バス125には、拡張ボードを接続するための拡張コネクタ124とI/O制御部126とが接続される。汎用高速バス125としては、例えば、PCI(Peripheral Component Interconnent)バスがあげられる。
【0020】
I/O制御部126は、リーダ部200、プリンタ部300の各CPUと制御コマンドを送受信するための調歩同期式のシリアル通信部コントローラ127を2チャンネル装備している。I/O制御部126は、I/Oバス128によってスキャナI/F140、プリンタI/F145に接続されている。
パネルI/F132は、図1に示す操作部250との間でデータの受渡しを行うI/Fであって、LCDコントローラ131から転送されてきた画像データを、操作部250に転送する。
また、パネルI/F132は、操作部250が備えるハードキーや液晶タッチパネルキーなどのキーを介して受付けたキー入力信号をキー入力I/F130を介してI/O制御部126に転送する。
【0021】
リアルタイムクロックモジュール133は、画像形成装置100内で管理する日付と時刻を更新/保存するためのもので、バックアップ用電池134によって電力を供給されている。
E−IDE(Enhanced Integrated Drive Electronics)インタフェース(I/F)161は、HDD260を接続するためのものである。CPU112は、E−IDEI/F161を介してHDD260に画像データを記憶させたり、HDD260から画像データを読み込んだりする。
コネクタ142とコネクタ147は、それぞれリーダ部200とプリンタ部300とに接続され、同調歩同期シリアルI/F(143、148)とビデオI/F(144、149)とから構成される。
【0022】
スキャナI/F140は、コネクタ142を介してリーダ部200と接続され、スキャナバス141を介してメインコントローラ111と接続されている。スキャナI/F140は、リーダ部200から受け取った画像データに対して所定の処理を施す。また、スキャナI/F140は、リーダ部200から送られたビデオ制御信号をもとに生成した制御信号を、スキャナバス141に出力する。スキャナバス141からDRAM116へのデータ転送は、バスコントローラ113によって制御される。
【0023】
プリンタI/F145は、コネクタ147を介してプリンタ部300と接続され、プリンタバス146を介してメインコントローラ111と接続されている。プリンタI/F145は、メインコントローラ111から出力された画像データに所定の処理を施してプリンタ部300へ出力する。
DRAM116上に展開されたラスタイメージデータのプリンタ部300への転送はバスコントローラ113によって制御される。ラスタイメージデータは、プリンタバス146、プリンタI/F145、ビデオI/F149を経由してプリンタ部300へDMA転送される。
【0024】
SRAM(Static Random Access Memory)151は、バックアップ用の電池から供給される電源により、画像形成装置100全体の電源が遮断されても、記憶内容を保持可能なメモリである。SRAM151は、バス150を介してI/O制御部126と接続されている。
EEPROM(Electorically Erasable and Programmable Read Only Memory)152も、同様にバス150を介してI/O制御部126と接続されたメモリである。
無線通信I/F180は、図2に示す無線通信部400との間でデータの受渡しを行うI/Fであって、CPU112は、無線通信I/F180を介して無線通信部400からデータを受信する。また、CPU112は、無線通信I/F180を介して無線通信部400にデータを転送する。
【0025】
図3は、図1に示した操作部250の操作表示部の標準画面の一例を示す図である。本例は、タッチパネルを備える液晶表示部に表示される画面であり、ユーザによって、ボタンが押下されたことを検知して、CPU112は、押下されたボタンに対応する機能を実行する。
図3において、コピーモードキー524は、コピー機能を実行する場合に押すキーである。そして、このコピーモードキー524が押されたときに、コピーモードの画面530を表示する。拡張機能キー501は、両面複写、多重複写、移動、綴じ代の設定、枠消しの設定等のモードに入るためのキーである。
【0026】
540はステータスラインであり、機器の状態や印刷情報を示すメッセージを表示する。図3に示す例の場合、コピー待機中であることを示している。
画像モードキー502は、複写画像に対して網掛け、影付け、トリミング、マスキングを行うための設定モードに入るためのキーである。
ユーザモードキー503は、モードメモリの登録、標準モード画面の設定を行うためのキーである。応用ズームキー504は、原稿のX方向、Y方向を独立に変倍するモード、及び、原稿サイズと複写サイズから変倍率を計算するズームプログラムのモードに入るためのキーである。
【0027】
等倍キー512は、複写倍率を100%にするためのキーである。縮小キー514、拡大キー515は、それぞれ定型の縮小、拡大を行うためのキーである。ズームキー516は任意の変倍率を設定する為の操作に移行するためのキーである。用紙選択キー513は、複写用紙の選択を行う際に押すキーである。ファックスキー525は、ファックスを行うときに押すキーである。Boxキー526は、Box機能を表示させたいときに押すキーである。プリンタキー527は、プリントの濃度を変更する、あるいは、リモートのホストコンピュータからのPDLデータのプリント出力詳細情報を参照したい場合に押すキーである。IDキー528は画像形成装置のID(例えばIPアドレスなどのネットワークアドレスやマシン名などの情報)を表示する指示をするためのキーである。
【0028】
図4は、図1に示したデータ処理装置1000の構成を説明するブロック図である。
図4に示すデータ処理装置1000は、CPU1001、ROM1002、RAM1003、無線通信部1004、撮像部1005、操作部1006、表示部1007、2次記憶部1008から構成されている。そして、それらは、図示するようにバスを介して相互に接続されている。
CPU1001は、ROM1002に格納されているプログラムに従って動作し、データ処理装置1000の各種動作を制御する。
ROM1002は、CPU1001によって実行されるプログラムを格納した不揮発性メモリである。この中に撮像された画像データに含まれる人物の顔認識を実行するためのプログラムも含まれている。
【0029】
RAM1003は、CPU1001のワークメモリとして機能する。また、RAM1003は、撮像部1005から出力される画像データや、2次記憶部1008から読み出される画像データを一時的に記憶する。
無線通信部1004は、無線通信に必要な符号化・復号化回路部、アンテナ等から構成され、無線通信部1004と通信可能な範囲に存在する外部の装置と通信を行う。
撮像部1005は、入射する光を結像するレンズ、結像した光を電気信号に変換する光電変換器(CCDやCMOSセンサ等)、光電変換器から出力されるアナログ電気信号をデジタル電気信号へ変換するADコンバータ等から構成される。CPU1001は、撮像部1005で変換されたデジタル電気信号に基づいて画像データを生成し、画像データが撮影された日付や、撮影条件等の設定データ等をヘッダ情報として付加したものを、1つのファイルとして、2次記憶部1008に記憶する。
【0030】
表示部1007は、液晶表示部で構成され、操作画面の表示や、撮影された画像データの表示を行う。
操作部1006は、撮影を指示するレリーズボタン、デジタルカメラの動作モードを選択するモード選択ダイヤル、メニュー項目を呼び出すメニューボタン、メニュー項目を選択・指示する十字カーソルボタン等のボタン、ダイヤル、スイッチ等で構成される。また、表示部1007での表示内容をズームイン、ズームアウトするためのスイッチも装備されている。
【0031】
これらのボタン、ダイヤル、スイッチの状態及び状態変化は、電気信号としてCPU1001に出力され、CPU1001は、指示に従った制御を行う。
2次記憶部1008は、撮影した画像データ等をファイルとして格納する。なお、2次記憶部1008は、内蔵型の不揮発性メモリであってもよいし、着脱可能なメモリカードであってもよい。
なお、これらは、不図示の電池等の電源装置によって電力を供給されているものとする。
【0032】
図5は、図4に示した2次記憶部1008に格納された画像データの特徴を説明する模式図である。ここで、特徴とは、撮像部1005で撮像された人物の顔情報とするが、これに限定されるものではない。以下、データ処理装置1000の2次記憶部1008に図5に示す人物が撮像された画像データが格納されているものとして説明を行う。
図5において、2次記憶部1008には、ユーザが撮像した人物A、人物B、人物C、人物Dがさまざまな組み合わせで写っている画像データ601,602を含む画像データ群が格納されている。ここで、ユーザがこの画像データ群の内、人物Aが写っているものだけを印刷したい場合、操作部1006からの指示に従いCPU1001がたとえば画像データ601を表示部1007にプレビュー表示させる。
【0033】
図6、図7は、図5に示した画像データ601に対する一連の画像処理例を説明する図である。図6の(A)は画像データ601を表示部1007にプレビューした状態に対応する。本例は、人物Aと人物Bとが背景をバックに撮像されている状態である。
ここで、ユーザが操作部1006のズームアップ、ズームアウトボタンを用いて表示部1007に図6の(B)に示すように、人物Aだけをクローズアップ表示される状態にする。そして、このような表示状態になったデータ処理装置1000を画像形成装置100の無線通信部400に近づける。
これにより画像形成装置100へ図6の(C)に示す表示画像データ及びユーザが撮像した画像データ群を転送する。図6の(C)中の1301は、図6の(B)に示した表示中のプレビューされた表示画像(顔画像がクローズアップされている)データであり、画像データ群1302はデータ処理装置1000内に格納されているすべての画像データである。
【0034】
ここで、画像形成装置100はデータ処理装置1000から無線通信により受信した表示画像データ1301に対してGraphic Processor135の顔認識モジュール190にて顔検出を行う。そして、表示画像データ1301の中にある人物Aの特徴を認識する。そして、同様の特徴を有している画像データを画像データ群1302から抽出する。この結果、画像形成装置100では、受信した画像データ群から、人物Aの特徴を有する画像データを抽出して、図6の(D)に示す画像データをDRAM116上に抽出して保持する。この抽出された画像データがプリンタ部300から印刷する対象となる。すなわち、図5に示した8枚の画像データの中で、図6の(D)に示す4枚の画像データが印刷される。
【0035】
ユーザが印刷したい人物をデータ処理装置1000の表示部1007にプレビューして通信部10に近づけるだけで、上記一連の画像処理がCPU112により実行される。この結果、ユーザが印刷したい人物Aが写っている画像データのみを画像データ群からすべて自動的に抽出して一括で印刷することができる。
以下、データ処理装置1000の表示部1007に人物Aと人物Bといった複数の人物を表示した場合について説明する。
この場合には、上記同様に操作部1006のボタンにより、データ処理装置1000の表示部1007には画像データ601に対して図7の(A)に示すように人物A,Bがクローズアップされてプレビュー表示される。このとき、画像形成装置100へは図7の(B)に示す画像データ群が転送される。
【0036】
ここで、図7の(B)の中のプレビュー画像1401はデータ処理装置1000の表示部1007に映っている表示画像データ601に対応するものであり、画像データ群1402はデータ処理装置1000内に格納されているすべての画像データである。
画像形成装置100はデータ処理装置1000から受信したプレビュー画像1401に対してGraphic Processor135の顔認識モジュール190にて順次顔検出を行う。ここで、顔認識モジュール190は、画像データ中にある人物A並び人物Bの特徴をそれぞれ認識する。
そして、人物Aと同様の特徴を有している画像を画像データ群1402から抽出し、別途人物Bと同様の特徴を有している画像データを画像データ群1402から抽出する。
この結果、顔認識モジュール190が人物Aの特徴を基に抽出した結果を図7の(C)に、顔認識モジュール190が人物Bの特徴を基に抽出した結果を図7の(D)に示す。ここで重要なのは人物Aと人物Bが一緒に写っている画像データは両方の抽出結果に存在するということである。そして、この抽出された図7の(C)、(D)に示す各画像データをプリンタ部300からそれぞれ印刷するのである。
【0037】
すなわち、プリンタ部300は、図5で示した8枚の画像データ中、図7の(C)に示す4枚の画像データを印刷し、続いて図7の(D)に示す5枚の画像データを印刷し、合計9枚の画像を印刷するのである。この結果、図7の(C)、図7の(D)で共通するものは複数枚印刷される。
このように、本実施形態では、ユーザが印刷したい人物をデータ処理装置1000の表示部1007にプレビューして通信部10に近づけるだけで、上記一連の画像処理がCPU112により実行される。この結果、印刷したい人物A,Bが映っている画像データのみを画像形成装置100が画像データ群からすべて自動的に抽出して一括して印刷することができる。
なお、データ処理装置1000のROM1002に実装されている顔認識プログラムも、画像形成装置の顔認識モジュール190と同様に人物の特徴と同様の特徴を有する画像データの抽出が実施できるプログラムである。以上が本発明の基本的な画像処理の流れであるが、以下に、より詳細な動作を説明する。なお、本実施形態では、便宜上データ処理装置1000がデジタルカメラである場合を例にして説明するが、データ処理装置1000は、デジタルカメラでなくても、携帯電話やPDA等の装置であってもよい。
【0038】
また、画像形成装置100によっては顔認識モジュール190が搭載されていない場合や、データ処理装置1000のROM1002内に顔認識プログラムが実装されていない場合などが考えられる。そこで、本実施形態では、画像形成装置100に顔認識プログラムが実装されているか否かを考慮した処理を行う場合について説明する。
【0039】
図8〜図10は、本実施形態を示す画像形成装置におけるデータ処理手順の一例を示すフローチャートである。なお、S2001〜S2011、S2101〜S2118、S2201〜S2207は各ステップを示し、CPU112がROM114、HDD260に記憶された制御プログラムをDRAM116にロードして実行することで実現される。以下の説明では、データ処理装置1000をデジタルカメラとして説明を行う。
なお、デジタルカメラとしてのデータ処理装置1000の表示部1007上に画像をプレビューした状態で画像形成装置100の通信部10に近づけると、操作部250の表示部に図11に示すようなユーザインタフェースを表示する。
【0040】
図11は、図2に示した操作部250の表示部に表示されるユーザインタフェースの一例を示す図である。本例は、ユーザが、画像自動選択のための機能を使用するか否かと、画像自動選択した際の画像形成装置100の処理、すなわち印刷処理するか、格納(登録処理)するかを選択するための画面例である。また、BT1〜BT5はボタンである。
また、本実施形態では、画像形成装置100はプリンタ部300からの印刷に加えて、HDD260にデータを格納する機能も有している。HDD260内の画像データ格納領域のうち前述した動作概要の例の場合、人物Aの画像データ格納領域や人物Bの画像データ格納領域は、例えば図12に示すように異なる領域として確保されるのが好ましい。
CPU112は、操作部250の表示部に表示された、図11の(A)に示す画面において、ボタンBT1をユーザが選択しているかどうかを判断する。ここで、ユーザがボタンBT1を選択せずに、ボタンBT2を選択しているとCPU112が判断した場合は、すなわち、画像自動選択の指示が無かったと判断した場合はS2201へ進む。
【0041】
一方、S2001で、ボタンBT1がユーザにより選択されたとCPU112が判断した場合は、S2002へ進む。そして、S2002で、画像形成装置100とデジタルカメラとの間で能力情報を交換する。ここで、交換する能力情報は、内容は画像形成装置100が顔認識モジュール190を有しているか否か、あるいはデジタルカメラが顔認識プログラムを実装しているか否かを示す情報を含む。
【0042】
そこで、S2003で、CPU112はデジタルカメラが顔認識プログラムを実装しているか否か(画像選択能力を有しているか否か)を判断する。ここで、顔認識プログラムを有していないとCPU112が判断した場合は、S2004へ進み、CPU112は画像形成装置100が顔認識モジュール190を有しているか否かを判断する。
また、S2003にてデジタルカメラが顔認識プログラムを有しているとCPU112が判断した場合は、S2007へ進み、画像形成装置100が顔認識モジュール190を有しているか否かを判断する。
【0043】
そして、S2004で、デジタルカメラにおいても画像形成装置100においても顔認識ができないとCPU112が判断した場合は、S2005へ進み、操作部250の表示部に、図11の(B)に示す画面を表示する。これは図11の(A)で画像自動選択の実行を選んでいるが、それが実行できない旨をユーザに通知するためのものである。ここでは、ボタンBT7による処理全体を中止するか、デジタルカメラ内の画像データに対して図11の(A)で入力した印刷もしくは格納の作業を継続するためのボタンBT6を表示する。
【0044】
そして、S2012で、ボタンとしてボタンBT7が選択されているとCPU112が判断した場合は、本処理を終了し、処理継続を示すボタンBT6が選択されているとCPU112が判断した場合は、S2201へ進む。この場合、ユーザは、印刷または格納したい画像データを、確認しながら手動で選択する。
S2004で、画像形成装置100のみが顔認識を実施できるとCPU112が判断した場合は、S2006で、CPU112は画像形成装置100側で顔認識を行うことを決定し、S2010へ進む。
一方、S2007で、デジタルカメラのみが顔認識を実施できるとCPU112が判断した場合は、S2008で、デジタルカメラ側で顔認識を行うことをCPU112が決定し、S2010へ進む。
【0045】
一方、S2007で、YES、すなわち、画像形成装置100とデジタルカメラの双方にて顔認識ができるとCPU112が判断した場合は、S2009へ進む。そして、S2009で、CPU112は、画像形成装置100側で顔認識を行うことを決定し、S2010へ進む。
本実施形態では画像形成装置100とデジタルカメラの双方にて顔認識ができる場合、画像形成装置100側で顔認識を行うことを決定しているが、デジタルカメラ側で顔認識実行を決定するようにしておいてもよい。
次に、S2010で、デジタルカメラが表示部1007に少なくとも画像データをプレビューしているか否かをCPU112が、S2002で交換した情報に基づいて判断する。ここで、プレビューがなされていないとCPU112が判断した場合は、S2011へ進み、操作部250の表示部に図11の(C)に示す画面を表示して、S2001へ戻る。これはデジタルカメラの表示部1007にプレビューを表示してから通信部10に近づけることを促す画面である。
【0046】
なお、ユーザが図11の(C)に示すの画面を確認してからデジタルカメラを一旦、無線通信部400から離れてしまう可能性がある。これにより、別のデジタルカメラや装置が無線通信部400に近づけられる可能性があるため、図11の(C)の画面のスイッチにて、ボタンBT8に対応する継続が選択された場合は、S2001へ戻る。
【0047】
一方、S2010で、デジタルカメラがプレビューモードであると判断した場合は、図9に示すS2101へ処理を移行する。
そして、S2101で、画像形成装置100で顔認識を行うと決定されているか否かをCPU112が判断する。ここで、顔認識を画像形成装置100側で行うと決定されている場合は、S2102へ進む。そして、S2102で、無線通信部400並びに無線通信部1004間の通信にてデジタルカメラから転送されるプレビューしている部分の表示画像データを取得する。
【0048】
ここでのデジタルカメラがプレビューしている部分の表示画像データとはたとえば、図6に示した表示画像データ1301や図7に示した表示画像データ1401である。
続いて、S2103で、CPU112はデジタルカメラに格納されているすべての画像データを取得する。ここで、すべての画像データとは、たとえば図6に示した画像データ群1302もしくは図7に示した画像データ群1402である。
これらの画像データの取得が終了したならば、S2104で、CPU112は画像形成装置100とデジタルカメラとの接続を切断する。こうすることで、無線通信部400に近づけていたデジタルカメラをこの段階で開放することができ、デジタルカメラを回収できるので置忘れなどによる紛失の可能性を軽減することができる。
【0049】
次に、S2105で、画像形成装置100の顔認識モジュール190は取得したプレビューされた表示画像データ内の人物の顔を検出する処理を開始する。なお、顔の検出の仕方は公知の技術を用いればよい。そして、S2106で、プレビューされた表示画像データ内の人物の顔画像を検出されたかどうかをCPU112が判断する。ここで、顔画像が検出できなかったとCPU112が判断した場合は、S2107で、図13の(A)に示す画面を操作部250の表示部に表示して、S2001へ戻る。
【0050】
図13の(A)に示すユーザインタフェースでは、プレビュー画像中から顔画像を発見できなかった旨をユーザにメッセージで通知する。これにより、デジタルカメラにてプレビュー画像を変更して処理のやり直しをユーザに促す。
ここで、ユーザが図13の(A)に示すボタンBT21を選択した場合に、S2001に戻る。
一方、S2106で、顔画像検出が確認できたとCPU112が判断した場合は、S2108へ進み、GP135は顔認識モジュール190を実行して、検出した顔画像の特徴を認識する。なお、S2106で複数の顔画像が検出できている場合は、まだ特徴を認識していない顔のうちの1つについて顔画像の特徴を認識する。
続いて、S2109で、GP135は顔認識モジュール190を実行して、認識した顔の特徴と同様の特徴を有する画像データを受信済みの画像データ群から抽出する。次に、S2110で、CPU112は、S2001において決定した画像形成装置100の処理が印刷か否かを判断する。ここで、選択された処理が印刷ではないとCPU112が判断した場合は、S2111で、S2109で抽出した1または複数の画像データをHDD260内の画像データ格納領域に格納して、S2112へ進む。
【0051】
一方、S2110で、選択された処理が印刷であるとCPU112が判断した場合は、S2112で、S2109で抽出した画像データをプリンタ部300へ出力して印刷を実行する。
そして、画像形成装置100の処理、すなわち印刷もしくは格納が終了したら、S2113で、S2106において検出した顔画像のすべてに対して処理が終了しているか否かをCPU112が判断する。ここで、まだ処理すべき顔が存在するとCPU112が判断した場合は、S2108に戻り、S2105で検出された顔画像すべてについて処理が終了するまでS2108からステップS2113までを繰り返す。
【0052】
一方、S2113で、すべての顔に対して処理が終了しているとCPU112が判断した場合は、本処理を終了する。
この繰り返しにより、前述したようにプレビューされた画像データが画像データ1301だった場合は、図6の(D)に示したような4枚の画像データが印刷される。
【0053】
また、プレビューされた画像データが表示画像データ1401だった場合は、図6の(D)に示すような4枚の画像データと、図7の(D)に示すような5枚の画像データの計9枚が印刷されることになる。
一方、S2101で、データ処理装置1000で、画像選択を行うと判断した場合は、S2114へ進む。そして、S2114で、CPU112は、デジタルカメラ内で選択された画像データを取得する。なお、顔認識をデジタルカメラ側で行うと決定されているとCPU112が判断した場合は、デジタルカメラのCPU1001はROM1002から顔認識プログラムを呼び出して実行する。
そして、デジタルカメラの表示部1007に映っているプレビュー画像中にある顔を検出し、その特徴を認識し、同様の特徴を有している画像データを2次記憶部1008から抽出する。そして、抽出した画像データを通信部10ならびに無線通信部1004間の通信にて画像形成装置100に転送する。
【0054】
次に、S2115で、デジタルカメラから画像データの取得処理が終了したならば、CPU112は画像形成装置100とデジタルカメラとの接続を切断する。
そして、S2116で、CPU112は、S2001において決定した画像形成装置100の処理が印刷か否かを判断する。ここで、印刷ではないとCPU112が判断した場合、S2117で、S2114において受信した画像データをHDD260内の画像データ格納領域に格納して、本処理を終了する。
一方、S2116で、選択された処理が印刷であるとCPU112が判断した場合は、S2118で、S2114で受信した画像データをプリンタ部300から印刷して、本処理を終了する。
一方、S2001で、自動選択の指示がないとCPU112が判断した場合は、図10に示すS2201へ進む。
【0055】
そして、S2201で無線通信部400並びに無線通信部1004間の通信にてデジタルカメラに格納されているすべての画像データを取得する。そして、S2202で、画像形成装置100の操作部250の表示部に図13の(B)に示すユーザインタフェースを表示することにより、取得した画像データをプレビューする。なお、図13の(B)に示す画面では、プレビュー内容をスクロールするためのスクロールバー2601と、プレビュー画像から処理対象画像を選択するためのチェックボックス2602と、処理を進めるための決定ボタン2604から構成されている。
【0056】
そして、S2203で、ユーザの操作により処理対象とすべき画像データが選択されるのを待つ。ここでは、図13の(B)に示すプレビューされた画像データの横にあるチェックボックスに対するチェック指示により処理すべきデータデータが選択される。
そして、S2204で、決定ボタン2604が押されるまでチェックボックスの入力を受け付け、決定ボタン2604が押下されたとCPU112が判断したら、S2205に進む。そして、S2205で、S2001において決定した画像形成装置100の処理が印刷か否かをCPU112が判断する。
ここで、選択された処理が印刷ではないとCPU112が判断した場合は、S2206でチェック2603がつけられた画像データをHDD260内の画像データ格納領域に格納して、本処理を終了する。
【0057】
一方、S2205で、選択された処理が印刷であるとCPU112が判断した場合は、S2207で、チェック2603がつけられた画像データをプリンタ部300から印刷して、本処理を終了する。
上述の例では、デジタルカメラから画像形成装置100にプレビューした画像データ(1301や1401)を画像データとして送信する方法を説明してきた。
これはたとえば図5に示したデジタルカメラ内のすべての画像データ群から、プレビューされている画像データ601を特定するものと、プレビューされている範囲を示す座標情報のような簡単な情報でもよい。
このような情報を受け取った画像形成装置100側でプレビュー画像を生成すれば、前述した一連の処理が実行できる。
また、印刷処理を行った後は画像形成装置100内に残った受信した画像データすべてをHDD260から消去することが好ましい。また、格納処理を行った後は格納対象外の受信した画像データすべてをHDD260から消去することが好ましい。
また、デジタルカメラに顔認識プログラムが実装されており、画像形成装置100に顔認識モジュール190が存在する場合、どちらの装置で顔認識を実行するかをユーザが予め設定できてもよい。
【0058】
例えば、図14に示す画面を操作部250の表示部に表示する。そして、ユーザがボタンBT31又はボタンBT32のいずれかを選択する。
そして、画像形成装置100とデジタルカメラの双方にて顔認識ができると判断された場合、図14の画面でユーザが選択している装置で顔認識を行うことを決定すればよい。それによって、画像形成装置100とデジタルカメラの双方にて顔認識ができる場合、そのどちらで顔認識処理を行うかをユーザが自由に選択できるようになる。
上記実施形態によれば、ユーザは、印刷したい人物が写っている画像をプレビュー表示させ、画像形成装置の通信部に近づけるという容易な操作で、所望の画像データを画像処理装置に処理させることができる。また、ユーザは、デジタルカメラ等を画像形成装置の通信部に近づけるだけで、印刷したい人物を簡単に選択し、自動的に印刷枚数を決定して人物毎に分類して印刷したり記憶装置に格納したりすることでユーザの作業負荷を軽減することが可能となる。
なお、図12に示すユーザAとユーザBの画像格納領域は、それぞれ、別々の指示でアクセスされる。例えば、ユーザAの画像格納領域を表示するよう指示された場合に、CPU112は、「Aの画像格納領域」に記憶された画像データを表示する。一方、ユーザBの画像格納領域を表示するよう指示された場合に、CPU112は、「Bの画像格納領域」に記憶された画像データを表示する。また、「Aの画像格納領域」と「Bの画像格納領域」のそれぞれに、パスワードを設定できるようにしてもよい。パスワードが設定されている場合、CPU112は、表示指示を受付けた場合に、表示指示を受付けた画像格納領域に対して設定されているパスワードを入力させる。そして、入力されたパスワードと、画像格納領域に設定されたパスワードとが一致する場合に、画像格納領域に格納された画像データを表示する。また、ユーザは、画像格納領域に格納された画像データの印刷指示や、送信指示を行うことができる。ユーザから印刷指示を受付けた場合、CPU112は、画像格納領域に格納された画像データに基づく印刷を行う。一方、送信指示を受付けた場合、CPU112は、画像格納領域に格納された画像データを、外部装置に送信する。
【0059】
〔第2実施形態〕
上記実施形態は、デジタルカメラに撮像された画像データのうち、人物A又は人物Bがそれぞれ写っている画像データを自動抽出して印刷或いは格納する処理について説明した。これに対して、データ処理装置1000に格納されている画像データ群が図15の(A)のような場合において、人物Aと人物Bがともに写った画像データのみを処理したい場合の実施形態を以下に説明する。
【0060】
図15は、本実施形態を示す画像形成装置における画像処理例を説明する図である。以下、本実施形態における顔画像決定処理を説明する。
図15の(A)によれば、画像データ群において、人物Aと人物Bが同時に写っている画像データは画像データ3601と画像データ3602しかないので、データ処理装置1000の表示部1007にはこのいずれかをプレビューするしかない。画像データ3601の詳細内容を図15の(B)に示す。
そして、操作部1006のズームアップ、ズームアウトボタンを用いても図15の(C)のようにしかならず、表示部1007に人物Aと人物Bだけを表示することができない。
そこで、本実施形態では、人物A、人物B、人物Cが写ったプレビュー画像を画像形成装置100に転送した後に画像形成装置100上で人物Aと人物Bを特定することで、所望の人物Aと人物Bが写った画像データだけを処理することを可能とするものである。以下、より詳細な動作についてフローチャートを用いて説明する。なお、便宜上データ処理装置1000がデジタルカメラであった場合を例にして説明する。
【0061】
図16は、本実施形態を示す画像形成装置におけるデータ処理手順の一例を示すフローチャートである。なお、本実施形態では、図9に示したフローチャートに沿って、その違いをのみを説明する。したがって、図9と同一のステップについては、同一の符号を付している。また、S3501、S3502は、CPU112がROM114,HDD260から制御プログラムをDRAM116にロードして実行することで実現される。つまり、本処理は、図9に示したS2104とS2105の間に挿入されるステップである。
【0062】
デジタルカメラの表示部1007上に画像データをプレビューした状態で画像形成装置100の通信部10に近づけると、操作部250の表示部には、図17に示すユーザインタフェースが表示される。
図17において、BT41〜BT45はそれぞれボタンである。
ユーザは、本発明の機能を使用するか否かと、画像自動選択した際の画像形成装置100の処理すなわち印刷するか、それとも格納するかの決定と、画像中の詳細選択をボタンBT41〜BT44で行う。
詳細選択メニュー3001は前述した人物A、B、Cが写っているプレビューされた画像データから人物Aと人物Bを特定するか否かを示すメニューである。チェックボックス3002にチェックを入れることで、この機能が有効になる。
図18は、デジタルカメラから画像形成装置100へ転送される表示画像データと、画像データ群を示す図である。これはプレビューされる表示画像データ3401とデジタルカメラ内に格納されているすべての画像データ群3402で構成されている。
【0063】
本実施形態においても、図8、図9、図10で説明したフロー通りの動作を実施するが、CPU112がS2104を実行した場合、説明したフローに対して異なる処理を実施する。
具体的には、図15の(C)に示すデジタルカメラからプレビューされる表示画像データ3401と画像データ群3402を受信した後、S3501へ進む。そして、S3501で、画像形成装置のCPU112は、図17にて詳細選択がチェックボックス3002により選択されているか否かを判断する。ここで、詳細選択が選択されていないとCPU112が判断した場合はS2105に進み、この場合人物A、B、Cすべてに対して第1実施形態で説明したとおりの処理を行い終了する。
【0064】
一方、S3501で、図17に示す詳細選択3301が選択されているとCPU112が判断した場合は、操作部250の表示部に、図15の(D)に示す画面を表示する。この画面は、図15の(C)に示すデータ処理装置1000の表示部1007にプレビューされた画像データに写っている人物A、B、Cから処理したい人物A、Bを画像形成装置100で特定するための画面である。
図15の(D)では、プレビューした表示画像データ3401とやり直しボタン3303、決定ボタン3304から構成されている。
【0065】
ここで、ユーザがタッチペン3301などのポインティングデバイスにて人物Aの顔と人物Bの顔をポイントすると、CPU112は、選択された顔画像を選択するカーソル3302を表示部1007の画面に表示する。ここで、入力を間違えた場合は、ユーザがやり直しボタン3303を押すことでカーソルを消去し、再度ポイントが可能となる。
そして、カーソル3302で囲まれた顔画像に関して処理を進めてもよい場合は、ユーザが決定ボタン3304を押下する。これを待って、CPU1001は、処理を進める。そして、カーソルで囲まれた領域に関して、S2106以降の処理を行い、本処理を終了する。
これにより、図18に示したプレビューされた表示画像データ3401上に人物A、B、Cが同時に写っていても、所望の人物A、Bだけについて本発明の動作を実施することが可能となる。
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施形態の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。
【符号の説明】
【0066】
100 画像形成装置
1000 データ処理装置

【特許請求の範囲】
【請求項1】
データ処理装置から画像データを受信する画像形成装置であって、
前記データ処理装置で表示されている表示画像データ、及び、当該データ処理装置に記憶された画像データを取得する取得手段と、
前記取得手段によって取得された表示画像データの中から顔情報を認識する認識手段と、
前記認識手段が認識した顔情報が含まれる画像データを前記取得手段によって取得された前記画像データから抽出する抽出手段と、
前記抽出手段が抽出した画像データを処理する制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記制御手段は、前記抽出手段により抽出された画像データに基づいて画像を形成することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記認識手段が前記表示画像データの中から複数の顔情報を認識した場合、前記抽出手段は、前記認識手段により認識された複数の顔情報のうち、各顔情報が含まれている画像データを前記画像データから抽出することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記表示画像データを表示する表示手段と、
前記表示手段に表示された表示画像データに含まれる複数の顔情報の中からユーザが選択する顔情報に基づいて、前記制御手段が処理すべき顔画像を決定する顔画像決定手段を備え、
前記抽出手段は、前記顔画像決定手段が決定した顔画像を含む画像データを前記画像データから抽出することを特徴とする請求項1または2に記載の画像処理装置。
【請求項5】
前記データ処理装置は、デジタルカメラ、携帯電話、モバイルPCを含むことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項6】
前記データ処理装置から無線で画像データを受信することを特徴とする請求項1乃至5のいずれか1項に記載の画像形成装置
【請求項7】
データ処理装置から画像データを受信する画像形成装置の制御方法であって、
前記データ処理装置で表示されている表示画像データ、及び、当該データ処理装置に記憶された画像データを取得する取得工程と、
前記取得工程で取得された表示画像データの中から顔情報を認識する認識工程と、
前記認識工程で認識された顔情報が含まれる画像データを前記取得工程で取得された前記画像データから抽出する抽出工程と、
前記抽出工程が抽出した画像データを処理する制御工程と、
を備えたことを特徴とする画像処理装置の制御方法。
【請求項8】
請求項7に記載の画像処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2011−48655(P2011−48655A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−196911(P2009−196911)
【出願日】平成21年8月27日(2009.8.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】