説明

画像中の重要領域の判別

表示装置および表示装置を動作させるための方法が提供される。表示装置は原画像のソースおよびディスプレイを有している。ユーザー入力システムは、ユーザー入力動作に反応して非方向性信号を生成するよう適応されている。コントローラが設けられていて、該非方向性信号を検出し、原画像の諸部分の集合のうちの異なる一つを逐次指定するよう適応されている。コントローラはさらに、ディスプレイをして、原画像の現在指定されている部分を示す部分評価画像を呈示させ、現在指定されている部分に基づいて原画像内の重要領域を決定するよう適応されている。原画像の諸部分の集合に含まれる部分のうちの少なくとも一つは、原画像と中心が同じではない。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、原画像における重要な領域を判別する画像処理の方法およびシステムに関する。
【背景技術】
【0002】
デジタル画像はインフォイメージング(info-imaging)のますます人気のある形態となりつつある。この人気の一つの理由は、そのようなデジタル画像は取り込み後にユーザーが操作し、編集し、変更し、改善することが容易なことである。たとえば、ユーザーはしばしば、デジタル画像の見え方を向上させるために、米国ニューヨーク州ロチェスターのイーストマン・コダック社によって販売されているコダック・ピクチャーCDというソフトウェアにて提供されているトリミングやズームのツールといったような手動のデジタル画像処理および編集ツールを利用する。こうした画像編集ツールによって、ユーザーは画像中の重要な要素を強調するために画像の内容に限界を付けることができる。画像が取り込まれたのちにユーザーが重要であると考える画像部分に有用に適用されるものには、他の画像編集、分別その他のツールもある。しかし、取り込み後段階では、典型的には写真家がそのようなツールを使って重要領域指定をするのは、選択された画像についてのみである。
【0003】
関心領域判別を、画像が取り込まれた時点における画像に関連付けることがしばしば有用である。画像取り込みの時点または使用中にそのような関連付けを構築することで、画像が、少なくとも部分的には重要性領域情報に基づいて決定される仕方で処理され、保存され、分別され、および/または共有されることが可能になる。さらに、そのような指定が取り込みの際に単純な仕方でできるという限りにおいて、写真家がより多くの画像についてそのような指定をし、そのような指定がより正確になる可能性が高まる。さらに、画像を撮影し、あるいは他の仕方で取得し、すぐ遠方の受信者に送信することを可能にするデジタルカメラおよびその他の表示装置(display device)の使用が増えたことで、多くのユーザーは、画像中で重要なものを手動で指定するための、迅速かつ効率的に実行できる簡単かつ効率的な手段をも望んでいる。
【0004】
自動的および半自動的画像処理および編集アルゴリズムが知られている。これらは、ユーザー入力をほとんど必要とせずにデジタル画像の見え方を向上させるために適用できる。これらの自動的および半自動的画像処理アルゴリズムは画像の内容を解析し、ユーザーが画像の重要な要素であると見出しそうなものについてのさまざまな想定を適用する。
【0005】
自動アルゴリズムの第一の例においては、既知の肌色に近い色をもつ大きな楕円形の(oval shaped)オブジェクトがユーザーにとって重要であると仮定することができる。たとえばその大きな楕円の顔型のオブジェクトが画像の中心付近に位置しているときには想定される重要性の度合いを上げることができる。たとえば、1998年12月31日にLuo et al.によって出願された“Method For Automatic Determination of Main Subjects in Photographic Images”と題する、本出願人に譲渡された米国特許第6,282,317号を参照。他のアルゴリズムは、重要性が高いと考えられる画像の要素を同定するために、デジタル画像をなすデジタルデータの周波数(frequency)解析を使う。そのようなアルゴリズムは、撮影された画像の視覚的要素の解析に基づいて、画像中で重要なものについての想定をする。たとえば、1998年10月22日にErkkilea et al.によって出願された“Determining Portions of a Digital Image Which are In Focus”と題する、本出願人に譲渡された米国特許出願第09/176,805号を参照。
【0006】
自動的システムのさらにもう一つの例が、2002年11月25日にMiller et al.によって出願された“Digital Imaging System With Eye Monitoring”と題する、本出願人に譲渡された米国特許出願第10/303,978号において記載されている。この出願は、画像撮影シーケンスの間に視線方向情報を含む目の情報を保存し、その目の情報を該画像撮影シーケンスの間に撮影された画像と関連付ける、目モニタリングシステムを有する画像撮影システムを記載している。ある種の実施形態では、コンテキスト情報も画像に関連付けられる。そこで記載されている目モニタリングシステムはその意図された目的のために有用であり、広範な応用を有する。しかし、消費者によっては目モニタリングシステムを使わないことを好む。
【0007】
自動システムのさらなる例が、2002年12月20日にFredlundによって出願された“Imaging Method and System For Determining An Area Importance In An Archival Image”と題する、本出願人に譲渡された米国特許出願第10/324,489号に記載されている。この出願では、諸評価画像および原画像を取得するよう動作できる画像ソースを有する画像システムが提供されている。コントローラが画像ソースをして、一組の評価画像と原画像とを取得させる。信号プロセッサが諸評価画像と原画像とを比較して、撮影された画像すべてに共通する原画像の部分を同定する。信号プロセッサは、その共通部分に対応する原画像の部分を同定する重要領域データを保存し、その重要領域データを原画像に関連付ける。
【0008】
2001年7月17日にParulski et al.によって出願された“Image Revising Camera and Method”と題する、本出願人に譲渡された米国特許第6,516,154号も自動的方法を記載している。そこではカメラが原画像をメモリに保存し、画像を解析して複数のパラメータを決定する。そのパラメータが複数の編集提案のうちの一つまたは複数にマッチングされ、提案集合が定義される。潜在的な提案集合の一つは、最終的なプリントに組み込まれる、原画像の有効領域における変化を含む。このカメラでは、有効領域における変化がカメラ操作者に提案され、操作者が今度は提案された変化を選択するか拒否するかできる。
【0009】
そのような自動アルゴリズムはしばしば非常に有用であるものの、ユーザーによっては画像の重要領域を手動で指定するほうを好む。したがって、さまざまなカメラは、重要情報を含めるよう画像に限界を付けることを意図するユーザーに構図上の提案を提供する。
【0010】
たとえば、1995年11月30日にMoghadam et al.によって出願された“Camera that records and Active Image Area Identifier”と題する米国特許第5,706,049号が記載するカメラは、オブジェクトの画像を撮影するための画像受容器と、画像受容器にオブジェクトからの像光を向けるための光学部と、見えている像における有効なホットスポット領域を指定するためのタイルパターンをもった、撮影に先立ってオブジェクトを見るためのファインダーとを含んでいる。ファインダーのタイルパターンは、オブジェクトの像と一緒にファインダーを通して見える複数の個別タイル領域から構成される。このカメラはさらに、一つまたは複数の個別タイル領域および画像の有効領域を指定する手段と、全有効領域の位置を当該カメラの外部にある作動装置にとってアクセス可能なメモリ位置に記録する手段とを含んでいる。この'049特許が記載する一つのデジタルカメラ実施例は、パターンメモリに保存されるべき特定のパターンを選択するためのタイルパターン選択スイッチまたは保存されているタイル領域パターンの一つまたは複数を選択的に逐次ハイライトしていって所望の有効領域がハイライトされるようにするためのタイルエリア指定スイッチのいずれかとして動作するサムホイールスイッチを有している。ホットスポット選択スイッチは、指定されたホットスポット領域の一つを選択するよう従事させられる。このように、この'049特許は、撮影された原画像のうちホットスポットの機能を実行するために使用できる領域を指定するために使われる。これは、表示装置、プレゼンテーションシステムあるいはHTMLブラウズシステムの統合と統合されることができる。
【0011】
手動システムのもう一つの例では、Petruchik et al.によって出願された“Pre-processing Image Editing”と題する、本出願人に譲渡された米国特許第5,619,738号は、電子ディスプレイを含むフィルムカメラを記載している。電子ディスプレイは、電子的に表示される画像の枠を決め、編集するための可動マーカーを呈示するドライバを具備している。マーカーの電子的な操作によって、画像のズームおよびトリミング、さらには画像フォーマットおよび横方向または縦方向記録の変更が提供される。編集データを、フィルム上で露光されたシーン画像に対して所定の位置に記録するコントロールもある。カメラは、それぞれが所定の大きさおよび縦横比をもつプリントフォーマットの所定の集合からプリントフォーマットを選択するための入力と、フレームフォーマットをプリントフォーマットの選択と一貫するものに限定するコントロールとを含んでいる。多様なコントロールおよびユーザー入力が、画像を選択し、形成するプロセスを容易にする。これらのコントロールにより、カメラユーザーは編集において大いに柔軟性を有することができる。
【0012】
同様に、1997年4月14日にSquilla et al.によって出願された“Photographic System With Selected Area Image Authentication”と題する、本出願人に譲渡された米国特許第5,898,779号は、画像を認証するための公開鍵暗号化システムを記載している。この暗号化システムは、それぞれがオブジェクトの画像とともに見える少なくとも一つの個別領域からなる一つまたは複数のパターンを生成する手段と、認証のために好適な画像の有効領域として少なくとも一つの個別領域を指定する手段と、該有効領域を同定する位置データを生成する手段とを有している。一つの形態では、単一のグリッドパターンが使用できる。そこではタイル領域指定スイッチが使用されて、該タイル領域を巡回してタイル領域を一つずつハイライトしてユーザーカスタマイズ可能なタイルパターンを形成する。タイルパターンは、個別タイル領域を定義するいくつかの交差する線からなり、該個別タイル領域の一つまたは複数が、画像をセキュリティで保護する目的のための有効領域として指定されうる。どのタイル領域が有効領域となるべきかを決定する過程において、一つまたは複数のタイル領域が考慮のためにハイライトされる。あるいはまた、タイルパターン選択スイッチを使って、使用されるべき領域を示す事前形成されたハイライト領域を有する事前形成された特定のタイルパターンを選択してもよい。ハイライトされたタイル領域の特定の配列すなわち事前形成されたタイルパターンを指定するために、セキュリティサービススイッチが使われる。
【0013】
手動システムのさらにもう一つの例では、2002年11月12日にBrostによって出願された、“User Interface for Controlling Cropping In An Electronic Camera”と題する、本出願人に譲渡された米国特許出願第10/292,235号は、画像を撮影してその撮影された画像に基づいて光像を呈示するカメラシステムを記載している。カメラにはトリミング器が配置されており、複数の設定の間で切り換え可能になっている。各設定は異なる長方形断面の窓をファインダー内に有している。トリミングコントローラは撮影ユニットとトリミング器とに動作的に接続されている。トリミングコントロールは、本体外部にアクセス可能なトリミング入力要素を有している。トリミング入力要素は、設定を変更するために第一および第二の対向するトリミングコントロール位置の間で移動可能である。トリミングコントロール位置は、撮影ユニットの光学軸に垂直なトリミングコントロール軸を定義する。このアプローチは、画像のトリミングで使う境界を調整できるようにする単純化された制御構造を提供し、それぞれがシーン画像を中心とする怒濤のようなトリミング画像のうちから選択をするための有用かつ商業的見込みのある方法を提供する。
【0014】
この種のもう一つの例では、新写真システム(Advanced Photographic System)諸規格に準拠するカメラは典型的には、高精細度テレビの縦横比に対応する縦横比をもつ第一のフォーマットを使って画像を撮影でき、ユーザーが信号をフィルム上に記録できるようにしているが、これは撮影された画像から作成されるプリントが高精細度フォーマットで、いわゆる古典フォーマットで、あるいはいわゆるパノラマフォーマットで表現されることを示している。古典フォーマットかパノラマフォーマットが選択されているときには、DPE担当者は、それぞれ高精細度画像に合わせてセンタリングされており、それぞれ異なる縦横比を有する撮影された画像のトリミングされた部分を使用する。
【発明の開示】
【発明が解決しようとする課題】
【0015】
したがって、必要とされているのは、デジタルカメラもしくはハイブリッドカメラ、携帯情報端末(Personal Digital Assistant)または電子画像を呈示できる他の任意のシステムのような表示装置であって、撮影された画像内の重要領域の迅速かつ単純化された手動指定を可能にし、それにより画像のどの部分が指定されたかが容易に決定できるような出力を提供するようにするユーザーインターフェースシステムをも有しているものである。
【0016】
そのような指定を実行するために必要とされるキー操作またはユーザー入力動作の数をわずかでも減らすことのできるいかなるシステムでもとりわけ有用であることは理解されるであろう。ユーザーが指定を行う可能性が高まるからである。よって、画像中の重要領域を同定するために表示装置のユーザーに必要とされる努力の全体としての量を減らすよう適応された、画像中の重要領域の手動指定を可能にするための表示装置および方法がさらに必要とされている。
【0017】
さらに必要とされているのは、重要領域を判別するのに使うために、ユーザーによって考慮されている画像の部分に何が含まれているかを、ユーザーが迅速かつより簡単に見られるようにする評価画像を呈示するシステムである。
【課題を解決するための手段】
【0018】
本発明のある側面では、表示装置が提供される。表示装置は原画像のソースおよびディスプレイを有する。ユーザー入力システムは、ユーザー入力動作に反応して非方向性信号を生成するよう適応されている。コントローラが設けられていて、原画像の諸部分の集合を決定するよう適応されている。各部分は原画像全部よりも少ない部分を含み、前記集合は原画像と中心が同じでない部分を少なくとも一つ有する。コントローラはまた、各非方向性信号に反応して原画像の諸部分の集合のうちの異なる一つを逐次指定するよう適応されている。コントローラはさらに、ディスプレイをして、原画像の現在指定されている部分を示す部分評価画像を呈示させ、現在指定されている部分に基づいて原画像内の重要領域を決定するよう適応されている。ここで、部分評価画像のそれぞれは、現在指定されている部分が原画像の一部として呈示されるときの倍率よりも大きなある倍率で現在指定されている部分を示すものである。
【0019】
本発明のもう一つの側面では、表示装置が提供される。表示装置は原画像のソース、ディスプレイおよびユーザー入力システムを有する。該ユーザー入力システムは進み信号および保存信号を生成するよう適応されている。コントローラが設けられており、前記進み信号を検出し、それに反応して前記ディスプレイをして部分評価画像のシーケンスを呈示させるよう適応されている。部分評価画像のそれぞれは原画像の異なる種々の部分の集合のうちの一つの画像内容を表しており、諸部分のあらかじめ定義された集合は原画像と中心が同じでない部分を少なくとも一つ含む。ここで、コントローラは、該コントローラが保存信号を検出するときに呈示されている原画像の部分に基づいて、原画像中での重要領域を決定する。
【0020】
本発明のもう一つの側面では、表示装置が提供される。表示装置は原画像のソース、ディスプレイおよびユーザー入力システムを有する。該ユーザー入力システムは、ユーザー入力動作に反応して非方向性進み信号を生成するよう適応されている。コントローラが、前記非方向性進み信号を検出し、それに反応していくつかの部分評価画像を定義するよう適応されている。部分評価画像のそれぞれは原画像のある部分からの画像情報を有しており、各部分は原画像内の所定のアンカー点に対して位置している。コントローラはさらに、各進み信号に反応して異なる部分評価画像をディスプレイ上に呈示させるよう適応されている。コントローラはさらに、前記非方向性進み信号から、原画像のある部分のユーザー指定を決定し、該指定を使って原画像の重要領域を決定するよう適応されている。ここで、少なくとも一つのアンカー点は、少なくとも一つの部分が原画像と中心が同じでなくなるよう位置している。
【0021】
本発明のあるさらなる側面では、表示装置を動作させるための方法が提供される。該方法によれば、原画像が取得され、原画像に対応する見かけをもつ評価画像が呈示される。原画像の異なる諸部分の集合が定義され、各部分は原画像全部よりも少ない部分を含み、前記諸部分の少なくとも一つは原画像と中心が同じでない。評価画像の呈示の間に非方向性ユーザー入力動作が検出される。検出された各非方向性ユーザー入力動作に反応して前記諸部分の集合のうちの一つが指定され、指定された部分に対応する部分評価画像が呈示される。部分評価画像は、現在指定されている部分が原画像の一部として呈示されるときの倍率よりも大きなある倍率で、現在指定されている部分を示すものである。指定された部分に基づいて重要領域が決定される。
【0022】
本発明のさらにもう一つの側面では、表示装置を動作させるための方法が提供される。該方法によれば、原画像が取得され、原画像の評価画像が表示される。表示されている評価画像に関して方向性入力を含まない進みユーザー入力動作が検出される。原画像の異なる諸部分の集合のうち少なくとも一つの部分が、そのユーザー入力動作に基づいて選択される。現在指定されている部分内に含まれる原画像中の画像情報を示す部分評価画像が呈示される。ユーザー入力保存動作が検出され、該ユーザー入力保存動作が検出されたときに表示されている選択された部分に基づいて重要領域が決定される。ここで、原画像の諸部分の所定の集合のうち少なくとも一つは原画像と中心が同じではない。
【発明を実施するための最良の形態】
【0023】
図1は、表示装置10のある実施形態のブロック図である。図2は、図1の表示装置10の背面図である。図1および図2に示されているように、表示装置10は、デジタルカメラ12の形をとり、そのボディ20は、レンズ系23、イメージセンサー24、信号プロセッサ26、任意的なディスプレイドライバ28およびディスプレイ30を有する画像撮影システム22を含んでいる。動作では、場面からの光はレンズ系23によって結像されて、イメージセンサー24上に像を形成する。レンズ系23は一つまたは複数の要素を有することができる。
【0024】
レンズ系23は固定焦点型であってもよいし、手動または自動的に調整可能であってもよい。図1に示された実施形態では、レンズ系23は自動的に調整される。レンズ系23は、単一の焦点距離で、手動フォーカスまたは固定焦点といった単純なものであってもよい。図1に示した実施例では、撮影レンズユニット22はモーター付きの6倍ズームレンズユニットで、単数または複数の可動要素(図示せず)は単数または複数の固定要素(図示せず)に対してレンズドライバ25によって駆動される。レンズドライバ25はレンズ系23のレンズ焦点距離およびレンズ焦点位置の両方を制御し、レンズ焦点距離および/またはレンズ焦点位置を、信号プロセッサ26、任意的な自動距離計システム27および/またはコントローラ32からの信号に基づいて設定する。
【0025】
レンズ系23の焦点距離および/または焦点位置は、多様な既知の方針を使って自動的に選択できる。たとえば、ある実施例では、イメージセンサー24は、いわゆる「焦点通過(through focus)」または「全方向スキャン(whole way scanning)」アプローチを使ってマルチスポット・オートフォーカスを提供するために使われる。そのようなアプローチでは、場面は領域またはスポットのグリッドに分割され、最適な焦点距離は各画像領域について決定される。各領域についての最適な焦点距離は、レンズ系23を、近い焦点距離から無限遠位置まで焦点距離位置の範囲を通じて動かすことによって決定される。デジタルカメラ12の設計に依存して、異なる焦点距離において4枚から32枚までの画像を取り込む必要があることがありうる。典型的には、8つの異なる距離で画像を取り込めば好適な精度が提供される。
【0026】
取り込まれた画像データは次いで解析されて、各画像領域についての最適な焦点距離が決定される。この解析は、センサー信号を一つまたは複数のフィルタを使って帯域通過フィルタ処理することで始まる。これは1995年12月11日にXie et al.によって出願された、本出願人に譲渡された米国特許第5,874,994号において記載されているとおりである。この開示はここに参照によって組み込まれる。各画像領域についての帯域通過フィルタ出力の絶対値は、次いで、その画像領域についてその焦点距離における焦点値を決定するためにピーク検出される。各画像領域についての焦点値が各撮影焦点距離位置について決定されたのち、各画像領域についての最適な焦点距離が決定できる。これは、最大の焦点値を与える撮影焦点距離を選択することによって、あるいは大きいほうから2つの焦点値を与えた2つの測定された撮影焦点距離の間でさまざまな補間法を使って中間的な距離値を推定することによってである。
【0027】
デジタル画像を撮影するために使用されるべきレンズ焦点距離がこれで決定できる。ある好ましい実施形態では、目標オブジェクト(たとえば撮影される人物)に対応する諸画像領域が決定される。次いで、それらの画像領域について最良の焦点を与える焦点位置が設定される。たとえば、ある場面の画像は複数の区画に分割されることができる。画像の各区画に含まれる高周波成分を表す焦点評価値を決定することができ、その焦点評価値を使ってオブジェクト距離を決定することができる。このことは1996年10月15日にOmata et al.によって出願された、“Method Of Automatic Object Detection In An Image”と題する、本出願人に譲渡された米国特許第5,877,809号において記載されているとおりである。この開示はここに参照によって組み込まれる。目標オブジェクトが動いている場合、オブジェクト追跡を実行してもよい。このことは1996年10月26日にOmata et al.によって出願された“Detecting Compositional Change in Image”と題する、本出願人に譲渡された米国特許第6,067,114号において記載されているとおりである。この開示はここに参照によって組み込まれる。ある代替的な実施形態では、「全方向スキャン」によって決定される焦点値が大まかな焦点位置を設定するために使われ、これは精細焦点モードを使って洗練される。このことは、1998年10月11日にOmata et al.によって出願された、“Automatic Focusing Apparatus and Method”と題する、本出願人に譲渡された米国特許第5,715,483号において記載されているとおりである。この開示はここに参照によって組み込まれる。
【0028】
ある実施形態では、デジタルカメラ12のためのオートフォーカス情報を提供するための帯域通過フィルタ処理およびその他の計算は、デジタル信号プロセッサ26によって実行される。この実施形態では、デジタルカメラ12は、自動的にレンズ焦点位置を設定するために、特別に適応されたイメージセンサー24を使用する。これは1994年12月30日にParulski et al.によって出願された、“An Electronic Camera With Rapid Automatic Focus Of An Image Upon A Progressive Scan Image Sensor”と題する、本出願人に譲渡された米国特許第5,668,597号において示されているとおりである。この開示はここに参照によって組み込まれる。'597特許において記載されているように、センサー光素子の一部の行しか(たとえば4分の1の行しか)焦点を決定するために使われない。他の行はセンサー読み出しプロセスの間は消去される。これはセンサー読み出し時間を減らし、よってレンズ系23の焦点を合わせるために必要とされる時間を短縮する。
【0029】
代替的な実施形態では、デジタルカメラ12は、別個の光学式またはその他の型(たとえば超音波)の距離計27を使って、画像の被写体を同定し、その被写体への距離について適切な、レンズ系23のための焦点位置を選択する。距離計27はレンズドライバ25を直接動作させることもできるし、あるいは図1に示すように、信号プロセッサ26またはコントローラ32に信号を提供し、その信号からプロセッサ26またはコントローラ32が画像撮影に使われるべき信号を生成できるようにすることもできる。当業者に知られている幅広い範囲の好適な多重センサー距離計27が使用のために好適である。たとえば、1993年11月30日にTabata et al.によって出願された、“Compact Camera With Automatic Focal Length Dependent Exposure Adjustments”と題する米国特許第5,440,369号は、そのような距離計27の一つを開示している。その開示はここに参照によって組み込まれる。距離計27によって提供される焦点決定は、単一スポット型でも、多重スポット型であってもよい。好ましくは、焦点決定は多重スポットを使用する。多重スポット焦点決定においては、場面は領域すなわちスポットのグリッドに分割され、最適な焦点距離が各スポットについて決定される。スポットの一つが画像の被写体として同定され、そのスポットについての焦点距離がレンズ系23の焦点を設定するために使用される。
【0030】
レンズドライバ25とカメラコントローラ32との間でフィードバックループが確立され、カメラコントローラ32はレンズ系23の焦点位置を精密に設定できるようになる。
【0031】
レンズ系23はまた任意的に、可変ズームを提供するよう調整可能である。図示された実施形態において、レンズドライバ25は自動的に、レンズ系23の一つまたは複数の可動要素(図示せず)の一つまたは複数の固定要素(図示せず)に対する位置を、信号プロセッサ26、自動距離計システム27および/またはコントローラ32からの信号に基づいて調整してズーム倍率を提供する。レンズ系23は固定倍率であってもよいし、手動で調節できてもよいし、および/または調整可能なズームを提供するためのその他の既知の構成を用いてもよい。
【0032】
レンズ系23によってイメージセンサー24上に結像された、場面からの光は、その場面の画像を表す画像信号に変換される。イメージセンサー24は電荷結合素子(CCD)、相補的金属酸化物センサー(CMOS)あるいは当業者に既知の他の任意の電子イメージセンサーであってよい。画像信号はデジタル形式であってもアナログ形式であってもよい。
【0033】
信号プロセッサ26は、イメージセンサー24から画像信号を受け取り、画像信号をデジタルデータの形の画像に変換する。デジタル画像は一つまたは複数のスチール画像を有していてもよいし、多重スチール画像を有していてもよいし、および/またはビデオセグメントのような見かけ上動いている画像のストリームを有していてもよい。デジタル画像データが見かけ上動いている画像のストリームを有する場合には、デジタル画像データをなす画像データは、インターリーブまたはインターレースされた画像形式、一連のスチール画像および/またはデジタルビデオ分野の当業者に既知のその他の形式で保存されることができる。
【0034】
信号プロセッサ26は、デジタル画像を形成するときに、さまざまな画像処理アルゴリズムを画像信号に対して適用することができる。これらは、色および露出のバランス取り、補間および圧縮を含むがこれに限られるものではない。画像信号がアナログ信号形式である場合、信号プロセッサ26はそうしたアナログ信号のデジタル形式への変換もする。
【0035】
コントローラ32は、画像処理動作の間、表示装置10の動作を制御する。表示装置10は画像撮影システム22、ディスプレイ30およびメモリ40のようなメモリを含んでいるが、これに限られるものではない。コントローラ32は、イメージセンサー24、信号プロセッサ26、ディスプレイ30およびメモリ40をして、ユーザー入力システム34から受け取った信号、信号プロセッサ26からのデータおよび任意的なセンサー36から受け取ったデータに応答して、原画像を撮影し、保存するようにさせる。コントローラ32は、プログラム可能汎用マイクロプロセッサのようなマイクロプロセッサ、専用マイクロプロセッサもしくはマイクロコントローラ、離散素子の組み合わせまたは表示装置10の動作を制御するのに使用できる他の任意のシステムを有していることができる。
【0036】
コントローラ32は、ユーザー入力システム34と協働して、表示装置10がユーザーと対話できるようにする。ユーザー入力システム34は、ユーザーからの入力を受け取ってその入力を表示装置10を動作させる際にコントローラ32が使用できる形に変換することのできるいかなる形のトランスデューサまたはその他のデバイスを有していてもよい。たとえば、ユーザー入力システム34はタッチスクリーン入力、タッチパッド入力、四方向スイッチ、六方向スイッチ、八方向スイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャー認識システムまたはその他の同様なシステムを有していることができる。図1および図2に示した表示装置10のデジタルカメラ12の実施形態においては、ユーザー入力システム34はシャッタートリガーボタン60を含んでおり、これは画像を撮影する意思を示すトリガー信号をコントローラ32に送る。
【0037】
図1および図2に示した実施形態では、ユーザー入力システム34は広角ズームアウトボタン62および望遠ズームボタン64をも含んでいる。これらはコントローラ32と協働して、レンズ系23のズーム設定を制御するもので、広角ズームアウトボタン62が押下されているときにはレンズ系23をズームアウトさせ、望遠ズームボタン64が押下されているときにはズームインさせる。広角ズームアウトレンズボタン62および望遠ズームボタン64は、信号プロセッサ26をして、形成されるデジタル画像が実際に光学レンズ系によって与えられているのとは異なるズーム設定で撮影されたかのように見えるように画像信号を処理させる信号を提供するために使われることもできる。これは、イメージセンサー24からの画像信号の部分集合を使い、画像信号のその部分集合を補間してデジタル画像を形成することによってできる。ユーザー入力システム34はまた、図2に示される編集ボタン68を含むその他のボタンを含むこともできる。その機能についてはのちにより詳細に述べる。
【0038】
センサー36は任意的で、光センサーおよびその他のセンサーを含むことができる。その他のセンサーとは、表示装置10を取り巻く環境の条件を検出し、その情報を表示装置10の動作を管理するのにコントローラ32が使用できる形に変換するのに使用できるものである。センサー36はまた、セキュリティ目的および影響型画像処理(affective imaging)の目的でユーザーの特徴を検出するよう適応されたバイオメトリックセンサーを含むこともできる。
【0039】
コントローラ32は、トリガー条件が検出されたときに、画像信号および対応するデジタル画像が形成されるようにする。典型的には、トリガー条件が発生するのは、ユーザーがシャッタートリガーボタン60を押下したときであるが、コントローラ32は特定の時刻に、あるいはシャッタートリガーボタン60の押下後のある特定の時間に、トリガー条件が存在すると判定することもできる。あるいはまた、コントローラ32は任意的なセンサー36がある種の環境条件を検出したときにトリガー条件が存在すると判定することもできる。
【0040】
コントローラ32は、各画像に付随するメタデータを生成するのに使うこともできる。メタデータとは、デジタル画像またはデジタル画像の部分に関係するが、必ずしも画像そのものにおいて観測可能ではないデータである。これに関し、コントローラ32は、信号プロセッサ26、カメラユーザー入力システム34およびその他のセンサー36から信号を受け取ることができ、任意的にそのような信号に基づいてメタデータを発生させる。メタデータは、原画像が撮影された時刻、日付および場所、イメージセンサー24の種類、モード設定情報、積分時間情報、原画像を撮影するために使われたプロセスを特徴付ける撮影レンズユニット設定情報、ならびに原画像を形成するために表示装置10によって使用されたプロセス、方法およびアルゴリズムといった情報を含むことができるが、これに限られない。メタデータはまた、コントローラ32によって決定されたり、あるいは表示装置10内の任意のメモリに保存されたりする、表示装置10を同定する情報のような他の任意の情報、および/またはそのメタデータが付随するデジタル画像を表現する、あるいは他の仕方で処理するための命令をも含みうるが、それに限られない。メタデータはまた、特定のメッセージを呈示されるときのデジタル画像に組み込むための命令をも有しうる。そのようなメッセージは、デジタル画像が呈示または表現されるときに表現されるべきテキストメッセージであることができる。メタデータはまた音声信号を含んでいてもよい。メタデータはさらに、デジタル画像データを含んでいてもよい。メタデータはまた、表示装置10に入力される他の任意の情報を含むこともできる。
【0041】
デジタル画像および任意的なメタデータは圧縮された形で保存されることができる。たとえば、デジタル画像が一連のスチール画像を有する場合、スチール画像は、たとえばJPEG(Joint Photographic Experts Group)ISO10918-1(ITU-T.81)規格を使うなどして圧縮された形で保存できる。JPEG圧縮された画像データは、電子情報技術産業協会(Japan Electronics and Information Technology Industries Association)JEITA CP-3451によって発表された交換可能画像ファイルフォーマット(Exchangeable Image File Format)バージョン2.2において定義されているいわゆる「Exif」画像フォーマットを使って保存される。同様に、MPEG-4(Motion Pictures Expert Group)またはアップルQuickTime(商標)規格といったその他の圧縮システムをビデオ形式のデジタル画像データを保存するために使うこともできる。その他の画像圧縮および保存形式を使うこともできる。
【0042】
デジタル画像およびメタデータはメモリ40のようなメモリに保存することができる。メモリ40は、半導体、磁気、光学式その他のデータ記憶装置を含む従来型のメモリ装置を含みうる。メモリ40は表示装置10内に固定されていてもよいし、取外し可能であってもよい。図1の実施形態では、表示装置10は、取外し可能なメモリカードのようなリムーバブルメモリ48を保持し、リムーバブルメモリ48と通信するためのリムーバブルメモリインターフェース50をもつメモリカードスロット46を有するものとして示されている。デジタル画像およびメタデータはまた、表示装置10の外部にあるパソコン、コンピュータネットワークまたは他の画像処理システムといったリモート・メモリシステム52に保存することもできる。
【0043】
図1および図2に示された実施形態では、表示装置10は、リモート・メモリシステム52と通信するための通信モジュール54を有している。通信モジュール54はたとえば、光学式、電波式あるいはその他、画像その他のデータを光学信号、電波信号その他の形態の信号によって離れた表示装置に伝えられる形に変換するトランスデューサでありうる。通信モジュール54はまた、ホストコンピュータやネットワーク(図示せず)からデジタル画像その他の情報を受信するのに使うこともできる。コントローラ32はまた、リモートトリガーボタン(図示せず)のような離れた制御装置(図示せず)からの信号を含むがそれに限られない、通信モジュール54によって受信された信号から情報および命令を受け取り、表示装置10をそのような信号に従って動作させることができる。
【0044】
信号プロセッサ26および/またはコントローラ32はまた、画像信号またはデジタル画像を使って、表示装置10に保存されている原画像に対応する見かけを有し、ディスプレイ30上での呈示のために適応されている評価画像を形成する。これにより表示装置10のユーザーは、ディスプレイ30のようなディスプレイを使って、表示装置10で利用可能な原画像に対応する画像を閲覧することができるようになる。そのような画像は、たとえば、画像撮影システム22によって撮影された、および/または通信モジュール54によるなどその他の仕方で取得され、メモリ40もしくはリムーバブルメモリ48のようなメモリに保存された画像を含むことができる。
【0045】
ディスプレイ30はたとえば、カラー液晶ディスプレイ(LCD: liquid crystal display)、有機発光ディスプレイ(OLED: organic light emitting display)――有機ELディスプレイ(OLED: organic electroluminescent display)としても知られる――その他の種類のビデオディスプレイであってよい。ディスプレイ30は図2に示したように外部にあってもよいし、ファインダーシステム38内などで使う内部的なものであってもよい。あるいはまた、表示装置10は、外部に一つ、内部に一つなど複数のディスプレイを有していてもよい。
【0046】
信号プロセッサ26および/またはコントローラ32はまた、コントローラ32と表示装置10のユーザーとの間の対話的なやりとりを可能にしうる、ディスプレイ30上で呈示するためのテキスト、グラフィック、アイコンその他の情報のような他の画像を協力して生成することができる。ディスプレイ30が表示装置10のユーザーに情報を提供し、表示装置10のユーザーがユーザー入力システム34を使って対話的に表示装置10に情報を提供するのである。表示装置10はまたセグメントLCDまたはLED表示(図示せず)のようなその他の表示手段も有していていることができる。これも信号プロセッサ26および/またはコントローラ32がユーザー10に情報を提供するのを可能にすることができる。この機能は、動作モードの確定、制御設定やユーザーの好み設定の入力、表示装置10のユーザーへの警告や指示の提供といったさまざまな目的のために使われる。音声信号、振動、触覚フィードバックその他の形の信号を生成するための既知のシステムやアクチュエータといったその他のシステムも、表示装置10に組み込まれ、該表示装置10のユーザーに情報、フィードバック、警告を与えるのに使われることができる。
【0047】
典型的には、ディスプレイ30はイメージセンサー24より画像解像度が低い。したがって、信号プロセッサ26は、ディスプレイ30上での呈示のために適応された評価画像を形成する際には画像信号またはデジタル画像の解像度を減らす。全体としての画像解像度を下げるためには、ダウンサンプリングその他従来の技術を使うことができる。たとえば、1990年3月15日にクチュタ(Kuchta)らによって出願された「完全な解像度および低下した解像度の画像の多フォーマット保存を提供する電子スチルカメラ」(Electronic Still Camera Providing Multi-Format Storage Of Full And Reduced Resolution Images)と題する、本出願人に譲渡された米国特許第5,164,831号において記載されているような再サンプリング技術を使うことができる。評価画像は任意的にメモリ40のようなメモリに保存されてもよい。評価画像は、ディスプレイ30を駆動するのに使用されうる任意的なディスプレイドライバ28に与えられるよう適応されることもできる。あるいはまた、評価画像は、ディスプレイ30に該評価画像を直接呈示させるような形で信号プロセッサ26から送信できる信号に変換されることもできる。こうする場合には、ディスプレイドライバ28は省略できる。
【0048】
表示装置10は処理するための原画像をさまざまな仕方で取得できる。たとえば、表示装置10は、上述したように画像撮影システム22を使って原画像を撮影することができる。画像撮影システム22を使って原画像を取得するのに使用できる画像生成プロセスは撮影プロセスを含んでおり、任意的にまた、構図プロセスおよび検証過程を含んでいる。
【0049】
該任意的な構図プロセスの間、コントローラ32は任意的に電子ファインダー効果をディスプレイ30上で提供する。これに関し、コントローラ32は信号プロセッサ26をしてイメージセンサー24と協力して構図の間にプレビューデジタル画像を撮影し、対応する評価画像をディスプレイ30上に表示するようにさせる。
【0050】
図1および図2に示した実施形態では、コントローラ32はシャッタートリガーボタン60が半押しの位置まで動かされたときに画像構図プロセスにはいる。しかし、構図プロセスにいつはいるかを決めるのはこれ以外の方法を用いてもよい。たとえば、図2に示したたとえば編集ボタン68のようなユーザー入力システム34の一つを表示装置10のユーザーが押下することができ、それをコントローラ32が構図プロセスにはいる命令として解釈することができる。構図の間に呈示される評価画像は、ユーザーが原画像の撮影のための場面の構図を決める助けとなりうる。
【0051】
撮影プロセスは、コントローラ32がトリガー条件が存在すると判断することに反応して実行される。図1および図2の実施形態では、トリガー信号はシャッタートリガーボタン60が完全押下状態にまで動かされたときに生成され、コントローラ32は該トリガー信号を検出したときにトリガー条件が存在すると判断する。撮影プロセスの間、コントローラ32は信号プロセッサ26をしてイメージセンサー24からの画像信号を取得し、画像信号を処理して原デジタル画像をなすデジタル画像データを形成するようにさせる撮影信号を送る。
【0052】
検証プロセスの間、前記原デジタル画像に対応する評価画像がディスプレイ30での呈示のために、信号プロセッサ26によって画像信号に基づいて任意的に形成される。ある代替的な実施形態では、信号プロセッサ26はそのような画像信号をデジタル画像に変換し、次いで前記原デジタル画像から対応する評価画像を導出する。対応する評価画像はディスプレイ30に供給され、一定期間にわたって呈示される。これによりユーザーはそのデジタル画像が好ましい見え方をしていることを検証することができる。
【0053】
表示装置10は、原画像を画像撮影以外の方法で取得することもできる。原画像はたとえば、そのような画像がメモリインターフェース50に動作的に付随するリムーバブルメモリ上に記録されているとき、表示装置10に伝送されることもできる。あるいはまた、原画像は通信モジュール54によって受信されることもできる。たとえば、通信モジュール54が携帯電話網によって通信するよう適応されている場合には、通信モジュール54は携帯電話番号またはその他の識別番号と関連付けることができ、たとえばデジタルカメラ付き電話のユーザーのような前記携帯電話網の他のユーザーがその番号を使って表示装置10との通信リンクを確立して画像を送信し、通信モジュール54が受け取れる画像を送信することができる。
【0054】
このように、表示装置10が画像を受け取るのはさまざまな方法があり、よって表示装置10が画像撮影システムを有しているかどうかは本質的ではない。表示装置10に画像をインポートするための上述したような他の手段が利用できさえすればよいのである。
【0055】
図3は、たとえば表示装置10を使って保管画像中の重要領域を決定する方法の第一の実施形態を描いた流れ図を示している。本方法によれば、原画像が取得される(ステップ100)。これは撮影によってなされてもよいし、上で議論したように原画像をインポートしたり、他の従来式の保管画像取り込みもしくはダウンロード技術を使ってなされてもよい。たとえば、上で議論したように、原画像は、画像撮影システム22によって取り込まれたり、リムーバブルメモリ48からダウンロードされたり、あるいは他の仕方で通信モジュール54によって取得されたりしたいかなるデジタル画像であってもよい。
【0056】
原画像が取得されたのち、評価画像が呈示される(ステップ102)。ディスプレイ30の画像処理機能が十分な画像解像度を有するなどのようなある種の状況下では、評価画像は原画像であってもよい。原画像がディスプレイ30を使って呈示できるよりも多くの画像情報を提供するような状況では、コントローラ32は評価画像の形成を引き起こすが、それには原画像をダウンサンプリングしたりその他の仕方で適応させたりして、上述したように原画像に基づいて評価画像を形成する。そのような評価画像は、原画像の見え方に対応する見え方を有しており、ディスプレイ30を使った呈示のために適応されている。
【0057】
次いで、ユーザー入力動作が起こったかどうかが判定される(ステップ104)。典型的には、ユーザー入力動作は、ユーザー入力システム34によって感知されることのできる何らかの動作である。これは多様な形態を取ることができる。たとえば、ユーザー入力動作は、図2に示される編集ボタン68を押すことであってもよい。この例では、編集ボタン68が押されると、ユーザー入力システム34はコントローラ32によって受信される編集信号を発生させる。コントローラ32が編集信号を受け取ると、コントローラ32はユーザー入力動作が発生したと判定する。ユーザー入力動作は幅広い多様なその他の形態を取ることもでき、そのほんの一部についてのちにより詳細に述べる。ユーザー入力システム34およびコントローラ32はユーザー入力動作のそのような種々の形態と協働するよう適応されている。
【0058】
図3の実施形態では、ユーザー入力動作が検出されたとき、コントローラ32は原画像の諸部分の集合の少なくとも一つの部分を指定する(ステップ106)。これに関し、コントローラ32は、任意的に信号プロセッサ26と協働して、原画像内に異なる諸部分の集合を定義する。各部分は原画像の少なくとも一部を含んでいる。該集合内の各部分の大きさ、位置、縦横比および形状は変わりうる。諸部分の少なくとも一つは、原画像の中心でない部分を中心とすることができる。諸部分の集合は、多様な異なる諸部分を組み込みうる。ある実施例では3から30個の間の異なる諸部分が提供され、別の実施例では9つの異なる諸部分が提供され、さらに別の実施例では100以上の諸部分が前記集合に組み込まれうる。
【0059】
諸部分の集合は、さまざまな同様または異質の形状および大きさを取ることができる。たとえば、ある実施形態では、諸部分のすべては、たとえば原画像によって提供される画像空間の75%を組み込みうる面積を有し、原画像と同じ縦横比を有することができる。しかし、複数の部分はそれらの部分が原画像に対してどこに位置しているかによって互いに異なっている。たとえば、第一の部分は原画像に関して中心が揃っていることができ、一方、少なくとも一つの他の部分は原画像と中心が揃っていない原画像の領域を定義する。たとえば、そのような非中心的なあらかじめ定義された部分は、原画像の水平軸に沿っては原画像の中心にあるが、垂直方向にはたとえば下にずれていて、当該部分の下端が原画像の評価コピーの下端の上に載っていることがありうる。
【0060】
さらに、原画像の部分は、原画像のある部分を重要領域であると指定する際にユーザーにとって有用であると表示装置10の設計者が信じるいかなる仕方で定義されることもできる。上述の例では諸部分は大きさは同一で位置が異なるものとして述べたが、諸部分の大きさ、縦横比、形状またはこれらもしくはその他のパラメータの組み合わせにおいて変動がありうることも可能である。
【0061】
諸部分の集合は、画像解析ステップ(図示せず)において実行される、原画像の解析に基づいて定義されることもできる。この種のある実施例では、原画像は、焦点が合っている原画像の諸領域を同定するための周波数解析のような既知の諸技法を使って解析されることができ、焦点が合っている領域のうちの種々のものに対応する諸部分を定義することができる。表示装置10がデジタルカメラである別の実施形態では、原画像は、たとえばオートフォーカス・プロセスの間に取得された焦点距離情報に基づいて諸部分に分離されることができる。原画像内で被写体領域の可能性があるなど原画像の有用な諸部分を同定するために、より複雑な場面画像分析技術をコントローラ32および/または信号プロセッサ26によって原画像に適用することもできる。そうした技術にはエッジ検出、照明パターン認識および焦点同定技法が含まれるが、これに限らない。
【0062】
図4は、原画像120の諸部分の集合の図解の一つの例を示している。図4で示されるように、原画像120は諸部分122,124、126、128、130、132、134、136および138に分割されている。この例では、諸部分のそれぞれは他の諸部分とは別個であることが理解されるであろう。しかし、これは必須ではなく、諸部分が少なくとも部分的に重なり合うこともできる。それは図5に図解したとおりである。図5は6つの部分140、142、144、146、148および150の集合を有する原画像120を示しており、諸部分のうちのいくつかが重なり合っている。やはり図5で図解されているように、諸部分は形が異なっていてもよい。
【0063】
諸部分の集合からのある第一の部分は、ユーザー入力動作が検出されたときにコントローラ32によって自動的に指定される(ステップ106)。本発明のある実施形態では、コントローラ32は、所定のシーケンスを使って諸部分の集合の諸部分を指定するよう適応されている。たとえば、表示装置10のユーザーが最初に編集ボタン68を押下したとき、コントローラ32は、諸部分の集合からの第一の部分を指定するのを、諸部分のその集合のために指定されている所定のシーケンスに従って行うことができる。しかし、シーケンスおよび指定の順序は決定的ではなく、変わることができる。
【0064】
コントローラ32および任意的に信号プロセッサ26は指定された部分について部分評価画像が呈示されるようにする(ステップ108)。部分評価画像は、原画像中で現在指定されている部分内に含まれる画像情報を示す。
【0065】
部分評価画像は多様な方法で形成できる。部分評価画像160の一つの形は図6に示されている。この種の部分評価画像は、図4の部分138のような現在指定されている部分からの画像情報のみを含む画像である。この種の部分評価画像の利点は、指定された部分が原画像の他の画像要素と一緒にディスプレイ30上に呈示されているときの指定された部分の見え方と比べて拡大された見え方を有する指定された部分を示すということである。このため、呈示された部分評価画像を観察するユーザーは、指定された部分をより詳細に見る機会が得られ、それにより、指定された部分が原画像からの他の画像情報と一緒に呈示されたときには指定された部分においてすぐには目につかない、ユーザーが望ましくないと見なしうる誤りまたはその他の画像条件を当該画像中で検出できる。
【0066】
部分評価画像162を提示する代替的な実施形態が図7に示されている。図7に示されるように、この実施形態では、部分評価画像162は、原画像120から、現在指定されている部分164の外側にあるマスク166によってマスクされる諸部分も含めた全画像情報をもつものとして提供される。図示した実施例では、マスク166は評価画像の非指定部分に重ねられる不透明領域である。しかし、マスク166が完全に不透明である必要はなく、実際上は、マスク166は、指定された部分164の境界を示す、あるいは評価画像160のその他の部分と視覚的に分離することのできる、評価画像160の見え方へのいかなる形の変更を有していてもよい。たとえば、評価画像160の指定された領域の見え方は白黒で、あるいは色を変えて見えるよう調整されてもよいし、明らかに鮮鋭度を変えて見えるのでもよい。
【0067】
図8に示されるさらに別の実施形態では、原画像120の部分138のような指定された部分は、部分評価画像162において、ディスプレイ30上に呈示される原画像120からの画像情報の実質すべてを有する評価画像160の他の諸部分からは、線のようなセパレーター168を使って区別されて示される。部分評価画像は他の形を取ることもできる。
【0068】
図3に戻ると、現在指定されている部分を示す部分評価画像の呈示中または呈示後、コントローラ32は、ユーザーリセット動作を検出するためにユーザー入力システム34を監視する(ステップ110)。ユーザーリセット動作は、ユーザー入力システム34によって検出されることができ、コントローラ32にリセット信号を提供する、いかなる形のユーザー動作であってもよい。コントローラ32がそのようなリセット信号を検出すると、コントローラ32は原画像の現在指定されている部分が指定される部分と考えられるべきではないと判断する。ユーザーリセット動作は、ユーザーが別の部分を選択したがっていることを示す、ユーザー入力システム34への命令でありうる。あるいはまた、ユーザーリセット動作は、ユーザーが原画像のいかなる部分も指定したがっていないことを示す信号でありうる。ユーザーが部分を指定しないことを選ぶ場合には、指定プロセスは終了する。
【0069】
ユーザーがリセット動作を入力しない場合、コントローラ32は、指定に基づいて重要領域を決定する(ステップ112)。ある実施例では、重要領域決定は、指定されている部分内の領域が重要領域を含んでいると判定することによってなされる。別の実施例では、重要領域決定は、指定されている部分に基づいて重要領域として使うための原画像を定義することによってなされてもよい。たとえば、図5の部分148が指定部分として選択されている場合、コントローラ32は、重要領域は、重要領域指定部分を含んでいるが必ずしもそれと同じ広がりではない領域であると判定できる。この例では、図9に示すように、指定される領域は、この例では部分148として示される決定された指定部分の位置に基づいて、たとえば異なる形および縦横比を有する、原画像120内に位置する重要領域170であることができる。
【0070】
重要領域が原画像について決定されたのち、その重要領域決定は、何らかの目的のためにコントローラ32によって使用される(ステップ114)。ある実施形態では、コントローラ32は、決定された重要領域に基づいて重要領域データを生成し、生成された重要領域データを原画像に関連付けるよう適応されている。重要領域データは、原画像のどの部分がユーザーによって重要であると指定されたかを原画像のユーザーが判定できるもとになるような情報のデータまたはその他の符号化でありうる。
【0071】
重要領域データは多様な方法で原画像と関連付けることができる。たとえば、重要領域データは、メタデータとして、原画像に基づいて形成されたデジタル画像中に保存されることができる。あるいはメタデータとして原画像そのものとともに保存されることができる。表示装置10が電子画像撮影ユニットおよびフィルム画像撮影ユニットを組み込んでいる場合、重要領域データは、たとえば光学的または磁気的符号化を使って、フィルム上に記録される原画像ともに保存されることができる。
【0072】
さらに別の実施形態では、コントローラ32は、重要領域を原画像と関連付けるのを、その重要領域からの画像情報に基づいて修正画像を生成することによって行うこともできる。この修正画像は、原画像またはそれから導出した他の何らかの画像と関連付けられて保存されることができる。該修正画像は、原画像を保持することなく保存されることもできる。この後者の代替法は、表示装置10内のメモリ空間を節約する利点があり、ある種の実施形態では、原画像中の画像情報の一部しか使わないことによって、あるいは原画像に基づいて保存のための画像を形成するのに使われる圧縮パラメータを調整し、原画像の重要領域内の画像要素についてはほどほどの圧縮率を使い、原画像の重要領域内でない領域からの画像情報を保存するためにはより大きな圧縮率を使うようにすることによって、所望の画像を保存するために必要とされるデータ量を減らすことができる。
【0073】
コントローラ32は、決定された重要領域を他の目的のために使うこともできる。たとえば、コントローラ32は、決定された重要領域を、取り込み後画像編集および修正についての決定をする際に使うことができる。たとえば、原画像を形成するためにコントローラ32および/または信号プロセッサ26によって使用される白バランスおよび/または露出設定は、決定された重要領域の解析に基づいて電子的に調整されることができる。さらに、コントローラ32および/または信号プロセッサ26は、重要領域において判別された諸条件に基づいて、種々のカメラ設定を決定することができる。決定された重要領域は次いで、画像トリミングおよび同様のそのような機能のために原画像を編集および修正するために、あるいはその後の画像撮影のための撮影パラメータを定義するために、あるいは原画像ののちの処理および評価、解析および/または使用において使うために原画像と対応付けられることのできるメタデータの形で情報を提供するために使用されることができる。
【実施例1】
【0074】
図10および図11は、表示装置10および本発明の方法の別の実施形態を示している。図10および図11の実施形態では、ユーザー指定は、一つのユーザー入力システム34だけを使って実行できる。そのユーザー入力システム34は、この実施形態では原画像のある部分を指定するために使われる編集ボタン68として指定されている。図11の実施形態において示されるように、原画像が取得されたのち(ステップ182)、取得された原画像に基づいて評価画像がディスプレイ30などを使って呈示される(ステップ184)。
【0075】
コントローラ32は、評価画像の呈示中に表示装置10のユーザーがユーザー入力動作をするかどうかを検出するためにユーザー入力システム34を監視する。コントローラ32が、評価画像の呈示中にユーザーが表示装置10の編集ボタン68を押下するユーザー入力動作をしたことを検出した場合(ステップ186)、コントローラ32は、最初の現在の部分評価画像をディスプレイ30に呈示させる(ステップ188)。該最初の現在の部分評価画像は、あらかじめ定義された諸部分の任意のものに基づいた部分評価画像であってもよい。ある実施形態では、現在の部分評価画像は、原画像と同じ中心をもつ部分評価画像であり、よってズームされた画像の見え方を有する。しかし、これは必須ではなく、初期部分評価画像は原画像のいかなる部分を有していてもよい。
【0076】
ユーザーが時間切れまでの期間内にユーザー入力動作を行わなかった場合(ステップ192)、コントローラ32はこのことから、ユーザーは原画像のいかなる部分も重要領域として指定したくないということを判定できる(ステップ194)。あるいはまた、コントローラ32は、時間切れまでの期間内にユーザー入力動作がないことを、ユーザーが原画像の全体を重要領域として選択することを意味していると解釈することもできる(図示せず)。
【0077】
コントローラ32が、ある進み時間期間後まで継続するユーザー入力動作を検出した場合(たとえば編集ボタン68が3秒後にもまだ押下されている場合)(ステップ190)、コントローラ32は、あらかじめ決められた諸部分の集合からの別の部分を原画像の現在部分として指定し(ステップ196)、その現在指定されている部分を使って部分評価画像をディスプレイ30上に呈示させる(ステップ198)。
【0078】
コントローラ32は、現在の部分評価画像の呈示中にユーザー入力動作が実行されるかどうかを検出するよう適応されている(ステップ200)。現在の部分評価画像の呈示中にユーザー入力動作が検出された場合には、コントローラ32は、ユーザーがその入力動作を少なくともある進み時間にわたって継続するかどうかを判定する(ステップ202)。たとえば、コントローラ32は、ユーザー相互作用が3秒などのある進み時間期間にわたって持続させられているかどうかを検出することができる。この条件が検出された場合、コントローラ32は、原画像の諸部分の集合から原画像の別の部分を、現在の部分として使用するために選択されるようにする(ステップ196)。次いで部分評価画像が呈示され(ステップ198)、この新しい現在の部分評価画像の呈示中にユーザー入力動作が実行されるかどうかを検出するプロセスが実行される。
【0079】
コントローラ32が、現在の部分評価画像が呈示されている時間切れまでの期間の間にユーザーがユーザー入力動作を行わなかったと判定した場合には、コントローラ32は次いで、現在指定されている部分に基づいて原画像中の重要領域を決定するステップに進む(ステップ206)。任意的に、重要領域はコントローラ32によって、たとえば原画像をトリミングおよび/またはサイズ変更する目的のために使われることもできる(図示せず)。また、任意的に、コントローラ32は、原画像と関連付けて、重要領域を示す情報を記録して、のちの編集プロセスがその重要領域を使ってトリミング画像を生成することができるようにすることもできる(このステップも図示せず)。
【0080】
図11の実施例の方法を使うことで、原画像中の重要領域を指定するためのワンボタン制御方法を使用しながらも、表示装置10のユーザーが、原画像と中心が同じでない原画像の諸部分のうちから選択できるようにする表示装置10が提供されていることが理解されるであろう。そのようなワンボタンの実施形態は、デジタルカメラ、デジタル画像およびビデオプレーヤーおよび携帯電話のような表示装置において格別の有用性を有し、重要領域の境界の精密な位置合わせを要求することなく画像中の重要領域を指定する便利で迅速な手段を提供する。さらに、この実施形態は、方向性のユーザー入力信号を要求しない。すなわち、ユーザー入力コントロールの動きの方向と指定される部分の位置との間に内在的な相関も見かけの相関もないということである。
【実施例2】
【0081】
図12は、本発明の表示装置10のもう一つの実施形態を示している。図12に示した実施形態では、表示装置10は、重要領域指定をするのに使われる2つのボタン、進みボタン210および保存ボタン212を有するユーザー入力システム34を提供する。図13は、図12に示したユーザー入力システム34を使った原画像中の重要領域を決定する方法の一つの実施形態である。図13の実施形態に示されているように、原画像が取得され(ステップ220)、初期評価画像が呈示される(ステップ222)。
【0082】
コントローラ32は、初期評価画像の呈示中、表示装置10のユーザーがユーザー入力動作をその呈示中に行うかどうかを検出するために、ユーザー入力34を監視する。この実施形態では、コントローラ32は、時間切れまで(たとえば10秒)の間に、2つのユーザー入力動作、進みユーザー入力動作と保存ユーザー入力動作を検出するよう適応されている。前記期間の少なくとも一部は、初期評価画像が呈示されている時間に対応する。進みユーザー入力動作を表示装置10のユーザーが使うのは、現在呈示されている部分以外の原画像の部分に基づく評価画像の提示を要求するためである。図12および図13に示した実施形態では、進みユーザー入力動作は進みボタン210を押下することである。保存ユーザー入力動作を使うのは、現在呈示されている部分を指定するためである。図11および図12に示した実施形態では、保存ユーザー入力動作は保存ボタン212を作動させることである。他の形のユーザー入力システム34が使用される場合には、他の入力を与えることができ、進み入力動作および保存入力動作を受け取る目的に使用できることは理解されるであろう。そのいくつかはのちにより詳細に述べる。
【0083】
図13に示した実施形態では、評価画像の呈示の間に表示装置10のユーザーには3つのオプションが利用できる。第一のオプションは、表示装置10のユーザーが進みユーザー入力動作を行うときに発生する。コントローラ32は部分評価画像を呈示し、可能性としてはユーザー選択を受領する諸ステップを進む(ステップ232〜ステップ246)。これについてはのちにより詳細に述べる。第二のオプションでは、ユーザーは、原画像全体に基づいた評価画像を肯定的に指定できる。この場合、原画像全体が重要領域として判定されることができる(ステップ234)。第三のオプションでは、ユーザーは時間切れまでの期間内に何らの動作も行わないことができる(ステップ226)。これが起こった場合は、コントローラ32は、その原画像について重要領域が選択されなかったと判定できる(ステップ228)。あるいはまた、ユーザーが時間切れまでの期間内にいかなる動作もしなかった場合には、コントローラ32は原画像全体が重要領域であると判定できる。
【0084】
時間切れまでの期間中に進みユーザー入力動作が検出されたとき、コントローラ32は、初期部分評価画像をディスプレイ30上に呈示させる(ステップ234)。初期部分評価画像は、あらかじめ定められた諸部分の任意のものに基づく部分評価画像であることができる。ある実施例では、初期部分評価画像は、原画像と中心が同じであり、よって普通にズームされた画像の見え方を有する部分評価画像であってもよいが、これは必須ではない。
【0085】
初期部分評価画像の呈示中、コントローラ32は、表示装置10のユーザーが進みボタン210または保存ボタン212のいずれかを作動させることによってユーザー入力動作を行うかどうかを判別するために、ユーザー入力34を監視する(ステップ236)。初期部分評価画像の呈示中に進みボタン210が作動させられた場合には、コントローラ32は、原画像の現在の部分として、あらかじめ決められた諸部分の集合からの諸部分の別のものを指定することができ(ステップ238)、現在指定されている部分に基づく部分評価画像をディスプレイ30上に呈示させ(ステップ240)、表示装置10のユーザーが現在指定されている部分を評価できるようにする。初期部分評価画像の呈示中に保存ボタン212が作動させられた場合(ステップ236)、コントローラ32は現在指定されている部分、今の場合は初期部分を、原画像の重要領域を決定するために使う(ステップ248)。ユーザー入力動作が受領されない場合には、コントローラ32は時間切れまでの期間にわたって現在の部分評価画像の呈示を継続できる。時間切れまでの期間の終了後(ステップ246)、コントローラ32は随意選択的にその原画像について重要領域が選択されなかったと判定でき(ステップ228)、原画像全体が重要領域をなしていると判定でき、あるいは図示したように初期部分評価画像をなすのに使われている部分に対応する画像の部分が重要領域であると判定することができ、あるいはユーザーの好み設定またはメーカー設定によって指示されるようなその他の動作を行うことができる。
【0086】
各部分評価画像の呈示中、コントローラ32は、表示装置10のユーザーが進みボタン210(ステップ242)または保存ボタン212(ステップ244)のいずれかを作動させるかどうかを判別するために、ユーザー入力34を監視する。初期部分評価画像の呈示中に進みボタン210が作動させられた場合には、コントローラ32は、原画像の現在の部分として、あらかじめ決められた諸部分の集合からの諸部分の別のものを指定することができ(ステップ238)、部分評価画像をディスプレイ30上に呈示させ(ステップ240)、表示装置10のユーザーがこの部分評価画像を評価できるようにする。初期部分評価画像の呈示中に保存ボタン212が作動させられた場合、コントローラ32は現在指定されている部分を、ユーザーの好み設定またはメーカー設定に依存して、原画像の重要領域を決定するために使う(ステップ248)。該時間切れまでの期間の終了後(ステップ246)、コントローラ32は原画像全体が重要領域をなしていると判定でき、あるいはその原画像について重要領域が選択されなかったと判定でき(ステップ228)、あるいは初期部分評価画像をなすのに使われている部分に対応する画像の部分が重要領域であると判定することができる(ステップ244)。
【0087】
図11の方法のある代替的な実施形態では、コントローラ32は進みユーザー入力を検出し、原画像の異なる諸部分の集合のうちの一つに基づく各部分評価画像からなる部分評価画像のシーケンス呈示を開始するよう適応されることができる。ユーザーが該部分評価画像の一つの呈示中に保存入力動作を行った場合、コントローラ32はそのユーザーが、原画像の現在呈示されている部分を、重要領域決定に使うために指定したと考える。部分評価画像の呈示中にユーザーが保存入力動作を行わない場合には、コントローラ32は画像全体が重要領域であると判定でき、あるいはユーザーが重要領域のそのような指定をしたくないものと判定できる。
【0088】
図13に示した方法が表示装置10の多様な実施形態を使って実行できることは理解されるであろう。そうした実施形態には、ユーザーインターフェース入力システム34が少なくとも二つのコントロールを有しているような任意の実施形態が含まれる。たとえば、表示装置10の従来式のカメラの実施形態では、進み入力は望遠ズームボタン64であることができ、保存ボタンはシャッタートリガーボタン60であることができる。同様に、表示装置10が携帯電話またはその他のキーパッドを有する装置である実施形態では、2つのキーの任意の組み合わせがこの目的のために使われることができる。
【0089】
さらに別の実施形態では、図11の方法は、単一のユーザー入力コントロールを使って実施されることもできる。該コントロールの押下が進みユーザー入力としてはたらき、該コントロールを放すことが保存ユーザー入力としてはたらくのである。このようにして、ユーザーコントロールの単一のタッチのみを使って領域が指定されうる。
【実施例3】
【0090】
図14および図15に示されるさらに別の実施形態では、表示装置10は、ジョグダイヤル300を組み込んだ携帯情報端末であるものとして示されている。ジョグダイヤル300は、少なくとも一つの回転(rotation)方向(R)および一つの押下(depression)方向(D)に動作可能である。この実施形態では、ジョグダイヤル300は、ジョグダイヤル300が回転させられたときに回転信号を発生させ、ジョグダイヤル300が押下方向に動かされたときに押下信号を発生させる。コントローラ32は回転信号を進みユーザー入力と解釈し、コントローラ32は押下信号を保存ユーザー入力と解釈する。
【0091】
上述の諸実施形態では、指定される部分は、該指定される部分が静的で、各部分が原画像のあらかじめ定義された領域を定義しているものであることを示唆するような仕方で記述されてきた。これは必ずしもそうではない。本発明の上述した諸実施形態では、表示装置10のユーザーは、指定される部分の位置およびその他の特性を指定することが許容されうる。図14および図15はこれがなされうる一つの方法を図解している。
【0092】
図14は、原画像からの画像情報を含む評価画像を呈示する表示装置10を示している。図14に示されるように、諸部分(260〜276)の集合が原画像中で与えられている。各部分(260〜276)は原画像中で所定のアンカー点に対して位置している。評価画像の呈示中にジョグダイヤル300が回転させられた場合、コントローラ32はこれを進みユーザー入力動作と解釈し、呈示する必要のある少なくとも一つの部分評価画像を決定する。該部分評価画像は、たとえば部分264と関連付けられていることができる。したがって、コントローラ32は、図15に示される初期評価画像302の準備および呈示を引き起こす。
【0093】
初期評価画像302を準備する際、コントローラ32は原画像中での部分形状304を定義し、該部分形状304を原画像中にアンカー点282に対して位置させる。この実施形態では、コントローラ32は、形状指定入力をユーザー入力システム34から受け取るようさらに適応されている。形状指定入力はたとえば、アンカー点に対して位置させられるべき部分形状の大きさを定義する倍率入力を含みうる。たとえば、図15に示されるように、ユーザーがアンカー点282をもつ部分264を指定したのち、表示装置10は初期評価画像302を呈示する。評価画像302の呈示中にジョグダイヤル300が押下された場合には、コントローラ32は、ユーザーが原画像のうち評価画像302に示されている部分に対応する部分を選択指定したいのだと判断することができ、上述したように進むことができる。初期評価画像302の呈示中にジョグダイヤル300が回転させられた場合、コントローラ32はアンカー点290に対する新たな部分形状306または308を定義することができ、ユーザーがジョグダイヤル300を押下したときにユーザーによって選択されているような部分形状306または部分形状308内にある画像情報のみを含む現在の評価画像の形成を引き起こすことができる。新たな部分形状306または308がアンカー点282に対して位置され、縦横比または全体的な形もしくはパターンといった諸部分のその他の特性が同じようにして決定されることができる。
【0094】
したがって、提供されるのは、方向性入力および諸要素の位置指示を必要とすることなく、原画像の諸部分を重要領域として指定するために使用されることができる表示装置10である。コントローラ32は、この指定をさまざまな目的のために使うよう適応されることができる。該さまざまな目的には、これに限るものではないが、ユーザーの重要領域指定を示すメタデータを生成し、このメタデータを原画像と関連付けることが含まれる。デジタル撮影の場合、コントローラ32はそのような重要領域メタデータを画像と関連付けることができる。それは、メタデータを撮影されたデジタル画像中に保存することによって、あるいはデジタル画像を重要領域メタデータを含む記憶位置と関連付けるデータを保存してメタデータが後刻取得できるようにすることによってである。現画像がたとえば感光性フィルムストリップのような感光性媒体上に撮影される場合には、メタデータは、当技術分野において知られている諸技法を使って、感光性フィルムストリップに光学的に記録されたり、あるいは写真共帯(photographic conscript)上に磁気的に記録されることができる。重要領域データは、原画像をトリミングしたり、原画像についてのサムネイル画像を形成したり、原画像を保存するための圧縮設定を調整したり、あるいはその他多様な用途に使ったりすることもできる。

【図面の簡単な説明】
【0095】
【図1】本発明に基づく表示装置の一つの例示的な実施形態の簡略化されたブロック図の図解である。
【図2】図1の表示装置の背面図の図解である。
【図3】本発明の一つの実施形態の流れ図である。
【図4】関連する諸部分の一つの配置をもつ、原画像の図解である。
【図5】原画像とそれに関連する諸部分の別の配置の図解である。
【図6】部分評価画像の一つの実施例である。
【図7】部分評価画像の別の実施例である。
【図8】部分評価画像のさらに別の実施例である。
【図9】原画像の指定された領域に基づく重要領域の図解である。
【図10】表示装置のもう一つの実施形態を示す図である。
【図11】重要領域を判別するための方法のもう一つの実施形態の流れ図である。
【図12】表示装置のもう一つの実施形態を示す図である。
【図13】重要領域を判別するための方法のもう一つの実施形態を示す図である。
【図14】表示装置のもう一つの実施形態を示し、諸アンカー点をもつ原画像を示している図である。
【図15】表示装置のもう一つの実施形態を示し、任意的にサイズの異なる部分形状をもつ部分評価画像を示している図である。
【符号の説明】
【0096】
10 表示装置
12 デジタルカメラ
20 ボディ
22 画像撮影システム
23 レンズ系
24 イメージセンサー
25 レンズドライバ
26 信号プロセッサ
27 距離計
28 ディスプレイドライバ
30 ディスプレイ
32 コントローラ
34 ユーザー入力システム
36 センサー
38 ファインダーシステム
40 メモリ
48 リムーバブルメモリ
50 メモリインターフェース
52 リモート・メモリシステム
54 通信モジュール
60 トリガーボタン
62 広角ズームアウトボタン
64 望遠ズームボタン
68 編集ボタン
100 原画像取得ステップ
102 評価画像呈示ステップ
104 ユーザー入力動作検出ステップ
106 部分指定ステップ
108 部分評価画像呈示ステップ
110 ユーザーリセット動作検出ステップ
112 原画像中で重要領域を決定
114 決定された重要領域を使う
120 原画像
122 部分
124 部分
126 部分
128 部分
130 部分
132 部分
134 部分
136 部分
138 部分
140 部分
142 部分
144 部分
146 部分
148 部分
150 部分
160 部分評価画像
162 部分評価画像
164 部分評価画像
166 マスク
168 セパレーター
170 重要領域
180 原画像取得ステップ
182 評価画像を呈示
184 評価画像呈示ステップ
186ユーザー入力動作検出ステップ
188 初期部分評価画像を呈示
190 ユーザー入力動作が少なくともある進み時間期間の間継続したかどうかを判定するステップ
192 ユーザー入力動作がないまま時間切れまでの期間が経過したかどうかを判定するステップ
194 重要領域が選択されなかったことを判定するステップ
196 別の部分を現在部分として指定するステップ
198 現在部分評価画像を呈示するステップ
200 ユーザー入力動作がないまま時間切れまでの期間が経過したかどうかを判定するステップ
202 ユーザー入力動作が少なくともある進み時間期間の間継続したかどうかを判定するステップ
204 ユーザー入力動作がないまま時間切れまでの期間が経過したかどうかを判定するステップ
206 現在指定されている部分を重要領域を決定するために使うステップ
210 進みボタン
212 保存ボタン
220 原画像取得ステップ
222 初期評価画像呈示ステップ
224 ユーザー入力動作検出ステップ
226 ユーザー入力動作がないまま時間切れまでの期間が経過したかどうかを判定するステップ
228 重要領域が選択されなかったことを判定するステップ
234 初期部分評価画像呈示ステップ
236 ユーザー入力動作検出ステップ
238 別の部分を現在部分として指定するステップ
240 現在部分評価画像呈示ステップ
242 進みユーザー入力検出ステップ
244 保存ユーザー入力検出ステップ
246 ユーザー入力動作がないまま時間切れまでの期間が経過したかどうかを判定するステップ
260 部分
262 部分
264 部分
266 部分
268 部分
270 部分
272 部分
274 部分
276 部分
278 アンカー点
280 アンカー点
282 アンカー点
284 アンカー点
286 アンカー点
288 アンカー点
290 アンカー点
292 アンカー点
294 アンカー点
296 アンカー点
300 ジョグダイヤル
302 初期評価画像
306 新しい部分形状
308 新しい部分形状

【特許請求の範囲】
【請求項1】
原画像のソースと、
ディスプレイと、
ユーザー入力動作に反応して非方向性信号を生成するよう適応されているユーザー入力システムと、
原画像全部よりも少ない部分を含む諸部分からなり、原画像と中心が同じでない部分を少なくとも一つ有する、原画像の諸部分の集合を決定し、各非方向性信号に反応して原画像の諸部分の集合のうちの異なる一つを逐次指定するよう適応されており、前記ディスプレイをして、原画像の現在指定されている部分を示す部分評価画像を呈示させ、前記現在指定されている部分に基づいて原画像内の重要領域を決定するよう適応されているコントローラとを有しており、
各部分評価画像が、前記現在指定されている部分が原画像の一部として呈示されるときの倍率よりも大きなある倍率で、前記現在指定されている部分を示すものであることを特徴とする表示装置。
【請求項2】
前記コントローラがさらに、決定された重要領域に基づいて重要領域データを生成し、該重要領域データを原画像に関連付けるよう適応されていることを特徴とする、請求項1記載の表示装置。
【請求項3】
前記コントローラが前記重要領域データを原画像と関連付けるのを、該重要領域データをメタデータとして、原画像をなすデジタル画像中に保存することによって行うことを特徴とする、請求項2記載の表示装置。
【請求項4】
前記コントローラが前記重要領域データを原画像と関連付けるのを、該重要領域データをメタデータとして、原画像を担う感光性フィルム上に保存することによって行うことを特徴とする、請求項2記載の表示装置。
【請求項5】
前記コントローラがさらに、前記重要領域からの画像情報に基づいた修正画像を生成し、該修正画像を保存するよう適応されていることを特徴とする、請求項1記載の表示装置。
【請求項6】
前記コントローラがさらに、前記修正画像を再サンプリングし、修正画像が原画像の画像特徴に対応する画像特徴を有するようにするよう適応されていることを特徴とする、請求項1記載の表示装置。
【請求項7】
前記非方向性信号がユーザー入力動作に反応して生成される開始信号および終了信号を含んでおり、前記コントローラが前記開始信号を検出してそれに反応して原画像の諸部分の集合のうちの異なる一つを逐次的に指定し、前記ディスプレイをして現在指定されている部分をそれぞれある時間期間にわたって示す評価画像を呈示させるよう適応されており、前記終了信号が生成されたときに該指定のシーケンスが終わるものであり、前記コントローラがさらに、前記終了信号が生成されたときに指定されている部分に基づいて原画像中の重要領域を決定するよう適応されていることを特徴とする、請求項1記載の表示装置。
【請求項8】
前記非方向性信号が第一のユーザー入力動作に反応して生成される開始信号と第二のユーザー入力動作に反応して生成される終了信号とを有しており、前記コントローラが少なくとも一つの開始信号を検出してそれに反応して原画像の諸部分の集合のうちの異なる一つを暫定的に指定し、前記ディスプレイをして暫定的に指定されている各部分を示す評価画像を呈示させるよう適応されており、前記コントローラがさらに前記終了信号を検出してそれに反応して、前記終了信号が生成されたときに暫定的に指定されている部分に基づいて重要領域を決定するよう適応されていることを特徴とする、請求項1記載の表示装置。
【請求項9】
前記ユーザー入力システムが前記ユーザー入力動作に反応して第一の非方向性信号を生成するものであり、前記コントローラがさらにそれに反応して前記画像の第一の部分を指定するよう適応されており、前記コントローラがさらに後続の非方向性信号を受け取り、後続の各非方向性信号に反応して原画像の異なる部分を暫定的に指定するよう適応されており、前記コントローラが、ある所定の時間期間よりも長い時間期間の間入力信号が継続しているときにある部分が指定されるべきであると判断することを特徴とする、請求項1記載の表示装置。
【請求項10】
ユーザー入力システムが保存ユーザー入力動作に反応して保存入力を生成し、それに反応してコントローラが現在指定されている部分を重要領域の決定に利用することを特徴とする、請求項1記載の表示装置。
【請求項11】
ユーザー入力システムがリセットユーザー入力動作に反応してリセット信号を生成し、コントローラはリセット動作が検出されたときには画像についての重要領域を指定しないことを特徴とする、請求項1記載の表示装置。
【請求項12】
原画像のあらかじめ決められた諸部分の集合に含まれるのが10未満の部分であることを特徴とする、請求項1記載の表示装置。
【請求項13】
前記ユーザー入力システムが倍率入力を受け取り、それに反応して倍率信号を生成するよう構成されており、コントローラは原画像からの画像情報の諸部分の二つ以上の集合を使うよう適応されており、各集合は前記諸部分の二つ以上の集合のうち別の集合に含まれる少なくとも一つの部分と異なる大きさの少なくとも一つの部分を含み、コントローラは前記二つ以上の集合のうちの一つを前記倍率入力に基づいて選択することを特徴とする、請求項1記載の表示装置。
【請求項14】
原画像のソースと、
ディスプレイと、
進み信号および保存信号を生成するよう適応されているユーザー入力システムと、
前記進み信号を検出し、それに反応して前記ディスプレイをして部分評価画像のシーケンスを呈示させるよう適応されたコントローラとを有する表示装置であって、部分評価画像のそれぞれは原画像の異なる種々の部分の集合のうちの一つの画像内容を表しており、諸部分のあらかじめ定義された集合は原画像と中心が同じでない部分を少なくとも一つ含み、
コントローラは、該コントローラが前記保存信号を検出したときに呈示されている原画像の部分に基づいて、原画像中での重要領域を決定する、ことを特徴とする表示装置。
【請求項15】
前記原画像のソースが画像取り込みシステムを有することを特徴とする、請求項14記載の表示装置。
【請求項16】
前記コントローラが、前記ディスプレイをして、原画像の見え方に対応する見え方を有する評価画像を呈示し、該評価画像の呈示中に前記ユーザー入力システムから信号を受信するよう適応されていることを特徴とする、請求項15記載の表示装置。
【請求項17】
前記コントローラが、原画像の諸部分の集合を逐次的に指定していく画像シーケンスをなす各画像を、現在指定されている部分を示す、評価画像の指定された部分の印を形成することによって形成することを特徴とする、請求項16記載の表示装置。
【請求項18】
前記コントローラが各部分評価画像を、現在選択されている部分からの画像情報だけを取り入れるように形成することを特徴とする、請求項15記載の表示装置。
【請求項19】
前記終了信号が前記開始信号の不在であることを特徴とする、請求項20記載の表示装置。
【請求項20】
前記ユーザー入力システムが、あるユーザー入力動作に反応して開始信号を生成し、別のユーザー入力動作に反応して終了信号を生成するよう適応されていることを特徴とする、請求項15記載の表示装置。
【請求項21】
原画像のソースと、
ディスプレイと、
ユーザー入力動作に反応して非方向性進み信号を生成するよう適応されたユーザー入力システムと、
原画像内の所定のアンカー点を基準として位置している原画像の一つの部分からの画像情報を有する部分評価画像をいくつか定義するよう構成されており、さらに各進み信号に反応して別の部分評価画像をディスプレイ上に呈示させるよう適応されており、さらに、前記非方向性進み信号から、原画像のある部分のユーザー指定を決定し、該指定を使って原画像の重要領域を決定するよう適応されているコントローラとを有する表示装置であって、
少なくとも一つのアンカー点が、少なくとも一つの部分が原画像と中心が同じでなくなるよう位置されることを特徴とする表示装置。
【請求項22】
前記ユーザー入力システムが形状指定入力を受け取って形状信号を生成するよう適応されており、前記コントローラがその形状信号に基づいて原画像内の部分の形状を決定することを特徴とする、請求項21記載の表示装置。
【請求項23】
前記コントローラがさらに、前記指定された部分に基づいて重要領域データを生成し、該重要領域データを原画像と関連付けるよう適応されていることを特徴とする、請求項22記載の表示装置。
【請求項24】
前記コントローラが前記重要領域データを原画像に関連付けるのを、該重要領域データを原画像をなすデジタル画像中のメタデータとして保存することによって行うことを特徴とする、請求項23記載の表示装置。
【請求項25】
前記コントローラが前記重要領域データを原画像に関連付けるのを、該重要領域データを原画像を担う感光性フィルム上のメタデータとして保存することによって行うことを特徴とする、請求項23記載の表示装置。
【請求項26】
前記コントローラがさらに、重要領域からの画像情報に基づいて修正画像を生成するよう適応されていることを特徴とする、請求項22記載の表示装置。
【請求項27】
前記コントローラがさらに、前記修正画像を再サンプリングし、修正画像が原画像の画像特徴に対応する画像特徴を有するようにするよう適応されていることを特徴とする、請求項26記載の表示装置。
【請求項28】
前記ユーザー入力システムが倍率入力を受け取り、それに反応して倍率信号を生成し、前記コントローラは原画像内の部分の大きさを前記倍率信号に基づいて決定することを特徴とする、請求項22記載の表示装置。
【請求項29】
各部分が、原画像内で、原画像内の前記アンカー点の一つによって位置指定される位置に位置する所定のテンプレート内に含まれる画像情報を有するものとして定義されることを特徴とする、請求項22記載の表示装置。
【請求項30】
各部分が、原画像内で、原画像内の前記アンカー点の一つによって定義される位置に位置する異なる大きさのテンプレートの集合のうちの一つの中に含まれる画像情報を有するものとして定義され、前記異なる大きさのテンプレートの一つは前記ユーザー入力システムから受け取られる倍率信号に基づいて前記コントローラによって選択されることを特徴とする、請求項29記載の表示装置。
【請求項31】
重要領域からの画像情報を含む修正画像を形成するステップをさらに含むことを特徴とする、請求項21記載の表示装置。
【請求項32】
原画像の代わりに前記修正画像を保存するステップをさらに含むことを特徴とする、請求項31記載の表示装置。
【請求項33】
ズーム信号を生成するズーム入力をさらに有しており、評価画像を形成するために使用される原画像の部分の相対比率は前記ズーム信号に基づいて決定されることを特徴とする、請求項30記載の表示装置。
【請求項34】
表示装置を動作させるための方法であって:
原画像を取得し、
原画像に対応する見かけをもつ評価画像を呈示し、
原画像の異なる諸部分の集合を定義し、ここで各部分は原画像全部よりも少ない部分を含み、前記諸部分の少なくとも一つは原画像と中心が同じでなく、
評価画像の呈示の間に非方向性ユーザー入力動作を検出し、
検出された各非方向性ユーザー入力動作に反応して前記諸部分の集合のうちの一つを指定し、
指定された部分に対応する部分評価画像を呈示し、ここで該部分評価画像は、現在指定されている部分が原画像の一部として呈示されるときの倍率よりも大きなある倍率で、現在指定されている部分を示すものであり、
指定された部分に基づいて重要領域を決定する、
ステップを有することを特徴とする方法。
【請求項35】
前記部分評価画像の呈示中にリセット動作を検出し、それに反応して前記諸部分のうちの別のものを指定し、前記諸部分のうちの該別のものに対応する部分評価画像を呈示するステップをさらに有することを特徴とする、請求項34記載の方法。
【請求項36】
原画像の異なる諸部分の集合を定義する前記ステップが、前記諸部分をある所定のパターンに基づいて定義することを含むことを特徴とする、請求項34記載の方法。
【請求項37】
原画像の異なる諸部分の集合を定義する前記ステップが、原画像の画像内容を解析し、その画像解析に基づいて諸部分を定義するステップを含むことを特徴とする、請求項34記載の方法。
【請求項38】
原画像の画像内容を解析する前記ステップが、原画像のどの部分に焦点が合っているかを判別し、その焦点の分析に基づいて前記諸部分の集合に含まれる諸部分を定義するステップを含むことを特徴とする、請求項37記載の方法。
【請求項39】
原画像の異なる諸部分の集合を定義する前記ステップが、アンカー点のあらかじめ定義された集合から原画像中のアンカー点を指定するユーザー入力動作を受け取り、該アンカー点を基準として原画像内で位置される部分形状を指定するユーザー入力動作を受け取るステップを含んでおり、前記指定された部分が、前記アンカー点を基準として位置指定された部分形状内に含まれる原画像の部分を含んでいることを特徴とする、請求項34記載の方法。
【請求項40】
原画像の異なる諸部分の集合を定義する前記ステップが、該諸部分の集合を定義するために、原画像を取り込んだ取り込みステップにおいて使用された情報を解析するステップを含むことを特徴とする、請求項34記載の方法。
【請求項41】
原画像の異なる諸部分の集合を定義する前記ステップが、原画像を解析して原画像中の潜在的な被写体を同定し、同定された潜在的被写体に対応する諸部分を定義することを含むことを特徴とする、請求項34記載の方法。
【請求項42】
原画像の異なる諸部分の集合を定義する前記ステップが、原画像を解析して原画像内の照明パターンを同定し、一つまたは複数の検出されたパターンに基づいて部分を定義することを含むことを特徴とする、請求項34記載の方法。
【請求項43】
原画像の異なる諸部分の集合を定義する前記ステップが、原画像を解析して潜在的な被写体領域を決定し、各決定された潜在的被写体領域について部分を定義することを含むことを特徴とする、請求項34記載の方法。
【請求項44】
表示装置を動作させるための方法であって:
原画像を取得し、
原画像の評価画像を表示し、
表示されている評価画像に関して方向性入力を含まない進みユーザー入力動作を検出し、
原画像の異なる諸部分の集合から異なる諸部分のシーケンスを前記進みユーザー入力動作に基づいて選択し、
選択された各部分について、現在指定されている部分内に含まれる原画像中の画像情報を示す部分評価画像を呈示し、
保存ユーザー入力動作を検出し、該保存ユーザー入力動作が検出されたときに表示されている選択された部分に基づいて重要領域を決定する、
ステップを有しており、原画像の諸部分の所定の集合のうち少なくとも一つは原画像と中心が同じではないことを特徴とする方法。
【請求項45】
前記少なくとも一つの部分を選択するステップが、少なくとも一つの進み信号を受け取り、各進み信号に反応して諸部分の集合のうち別のものを指定することを含むことを特徴とする、請求項44記載の方法。
【請求項46】
請求項44記載の方法であって、原画像の異なる諸部分の集合から少なくとも一つの部分を前記ユーザー入力動作に基づいて選択し、選択された各部分について、現在指定されている部分内に含まれる原画像中の画像情報を示す部分評価画像を呈示するステップが、前記異なる諸部分の集合中の諸部分のそれぞれを含む部分評価画像のシーケンスを呈示し、該部分評価画像の一つの呈示中に保存ユーザー入力動作を検出することを含むことを特徴とする方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公表番号】特表2007−531934(P2007−531934A)
【公表日】平成19年11月8日(2007.11.8)
【国際特許分類】
【出願番号】特願2007−505140(P2007−505140)
【出願日】平成17年3月24日(2005.3.24)
【国際出願番号】PCT/US2005/009698
【国際公開番号】WO2005/098758
【国際公開日】平成17年10月20日(2005.10.20)
【出願人】(590000846)イーストマン コダック カンパニー (1,594)
【Fターム(参考)】