信号処理の実例
逆フィルター
情報ネットワーク社会
実世界
21世紀社会の構造
?
物理化学法則
(従う)
法律・規則
(守る)
物理・化学モデル
計算・情報モデル
情報ネットワーク社会
実世界
ID付与
認証
対象認識
実世界対象
人
自動車
犬
猫
不動産
情報世界対象
数値
文字
図形
グラフ
木構造
関係・相互作用
計算・処理
変化のモデル化
シミュレーション
予測
情報ネットワーク社会
実世界
光景
実世界対象
人
自動車
犬
猫
不動産
情報世界対象
数値
文字
図形
グラフ
木構造
写真 カメラ撮影 (ボケ、ブレ)
ディジタル化
ディジタル化
逆フィルタ
実世界での変換のモデル化
)(*)()(
)(
)(
)(
thtftg
th
tg
tf
を表わす関数:歪み(変換)の特性
換後の)対象:実世界の歪んだ(変
のない)対象:実世界の真の(歪み
化する。畳み込みとしてモデル
変換)過程を実世界における歪み(
逆フィルタ 畳み込みを使った劣化信号の復元
変換器・通信路 (線形で時不変な変換)
入力 出力 ≠入力
との畳み込み による歪み
画像の場合…
逆フィルタ
理想的な画像 劣化画像
ピンボケ = 2次元ガウス関数
逆フィルタ 畳み込みを使った劣化信号の復元
変換器・通信路 (線形で時不変な変換)
入力 出力 ≠入力
との畳み込み による歪み
フーリエ変換 逆フーリエ変換
逆フィルタ
との積 による復元
とすれば
一般に,この逆フィルタはうまく働かない!
との畳み込み による歪み
画像劣化のモデル
+
雑音 関数 h :点広がり関数(PSF) ⇒ 画像劣化の性質を表す.
位置不変な
画像劣化の
モデル
とすると, この項の影響は?
フーリエ変換
復元画像:
変換器・通信路 (線形で時不変な変換)
入力 出力 ≠入力
点広がり関数の例
原画像
フーリエ
変換
劣化(ボケ)画像
逆フーリエ
変換
0 0
B:横方向のブレ
u
v
A:ピンボケ
0
0 u
v
劣化(ブレ)画像
逆フィルタの問題点と改良
0 0
A:ピンボケ
B:横方向のブレ
u
v
0
0 u
v
◆単純な逆フィルタ
の場合,
が小さな範囲では,
雑音成分が非常に大きくなる.
例えば,Aの場合,
が大きな範囲のみを利用.
閾値
ウィーナ・フィルタ
◆単純な逆フィルタ:
◆低周波成分のみの逆フィルタ:
⇒ ノイズ項を無視している
⇒ SN比が比較的大きいと考えられる
低周波領域のみを利用する.
⇒ 原画像と復元画像の
平均2乗誤差を最小とするような
変換を求める.
雑音に弱い!
雑音に関する(統計的)性質を
積極的に利用
◆ウィーナ・フィルタ(Wiener filter)
* は複素共役を表す.
PN, PS はそれぞれ,雑音と
原信号のパワースペクトル.
ウィーナ・フィルタの導出
劣化:
復元:
・・・①
・・・②
②
①
平方完成
M について整理
平均
を最小とする を求める. ※以下では,(u, v)を
省略して表記する.
),(),(
),(),(
vuMvuH
vuNvuF
と決定的関数:
と確率場 :
は独立と ),(),( vuNvuF
ウィーナ・フィルタの導出
誤差の最小値 ウィーナ・フィルタ(Wiener filter)
※ 雑音成分がない(PN = 0)とすると,このフィルタは
に一致し,平均二乗誤差の最小値は 0 となる.
※ 確率場を用いた厳密な説明は,
「ディジタル画像処理(監訳:長尾眞,近代科学社,1978)」の第7章を参照すること.
で平均2乗誤差 は最小となる.
※ 通常,正確に求めることができないので,適当な定数 で近似する.
結果の比較
ピンボケ
劣化画像 単純な逆フィルタ 低周波成分のみの
逆フィルタ ウィーナ・フィルタ
横方向のブレ
課題9 課題17
1.真黒な紙に針で穴を開け、紙の後ろに電球を置く。
カメラでフォーカスを色々変えながら、前から紙の画像を撮影すると、ピンボケによる点広がり関数を画像データとして求めることができる。
2.紙にフォーカスを合わせた状態で、カメラのシャッタースピードを遅くし、紙を縦や横に動かして画像を撮影すると、ブレによる点広がり関数を画像データとして求めることができる。
3.2枚の色の異なった紙を前後に離して置き、フォーカスを変えながら画像を撮影をするとどうなるかを考えてみよう。
4.撮影した風景写真1枚を分析して、撮影時に生じた劣化を求めるには、どうすればよいか考えてみよう。
★最近米国で発売されたlight field cameraでは、撮影後に
画像のフォーカスを自由に変えることができる。
https://www.lytro.com/science_inside
これまでの復習とこれからの課題 アナログ信号
・フーリエ変換とラプラス変換
・デルタ関数の導入によるフーリエ変換の拡張
・2次元フーリエ変換(2次元周波数) ・畳み込み演算、相関関数
・CTの原理(1次元フーリエ変換と2次元フーリエ変換の関係) ・逆フィルター
標本化
・デルタ関数の周期系列
・標本化定理(折り返し歪み・エイリアシング) ・補間関数
・2次元標本化定理
標本化
信号の標本化
n
T nTtt )()( 標本化パルス系列
標本化された信号 )()()( ttxtx Ts
n
s nTttxtx )()()(
),( ][
),( )}({)( )(
は整数
は整数
nnnx
nnnTxttxs
t
連続関数 数列
T
数学の世界 実世界
対象
実世界対象
人
自動車
犬
猫
不動産
情報の世界
情報世界対象
数値
文字
図形
グラフ
木構造
計測 信号
)(tx
ディジタル化
ディジタル信号
][nx
標本化信号
)(txs
標本化
量子化
数学の世界 実世界
対象
実世界対象
人
自動車
犬
猫
不動産
情報の世界
情報世界対象
数値
文字
図形
グラフ
木構造
計測 信号
)(tx
ディジタル化
ディジタル信号
][nx
標本化信号
)(txs
標本化
量子化(符号化)
離散時間信号
)(txc
標本化された信号のフーリエ変換
標本化された信号 )()()( ttxtx Ts
)(*)(2
1)(
Ts XX
n
s
n
ss
ss
nXT
duuXnu
XXs
)(1
)(])([2
1
)](*)([2
1)(
標本化パルス系列のフーリエ変換
)()(
][1
)()(
s
s
s
n
ss
tjn
n
tj
TT
n
eT
dtet
F
n
tjn
Tse
Tt
1
)(フーリエ級数展開
Ts 2
標本化定理
0
1
MM
MX 0)(帯域制限信号
標本化間隔Tで標本化
n
ss nXT
X )(1
)( Ts 2
0 Ms Ms M s
T
1
の場合Ms 2
0 Ms s
T
1
Ms
の場合Ms 2
)()()( 2 MPTXX s
逆フーリエ変換
)2/()( SatP
の畳み込みと )]([F)()( 2
1 MTPtxtx s
なので、
の時
)(2)(
)()(
ftF
Ftf
)()]([F 2
1 tSaT
TP MM
M
n
M
n
M
M
n
Ms
M
MMM
M
MsMs
nTtSanTx
dnTtSax
dtSanTxtSatxtx
t
ttSatSa
TTP
T
M
))(()(
)())(()(
))(()}()({)(*)()(
sin)()()]([F
22
2
1
なので、としたとき、
いる!異なったものになってがいつのまにか定義ととしており、
では教科書32ページ式
)(
sin*)()()(*)()(*)()(
(2.67)
tx
t
tnTtnTxtSatxthtxtx
s
M
M
n
Mss
標本化定理
0
1
MM
MX 0)(帯域制限信号
):( 整数nnTn M
n
M
n M
M
nTtSanTx
nTt
nTtnTxtx
))(()(
)(
)](sin[)()(
のとき、Ms 2
標本化された信号のフーリエ変換
標本化パルス系列
n
T nTtt )()(
t
フーリエ変換
T
n
ssT n )()(
s
標本化された信号 )()()( ttxtx Ts
)()(,)()( GtgFtf
)()()()(*)()( GFWtgtft
duuGuFtgtf )()(
2
1)()(
フーリエ変換と畳み込み
(b) 処理対象の信号
)( 0tf
)(tf
)()( 00 ttgtf
(c) フィルタ関数を 平行移動して 倍する 0t )( 0tf
畳み込み:
dtgftgtf )()()(*)(
(a) フィルタ関数(インパルス応答)
(d) を変化させたときの波形 0t
(e) (d)の波形を全て重ね合わせて加算した信号
)(*)( tgtf
0
1
MM
n
ssT n )()(
s
0 Ms Ms M s
T
1
の場合Ms 2
畳み込み:
duuGuF )()(
2次元信号の標本化
2次元フーリエ変換
dxdyvyuxjyxfvuF )}(exp{),(),(
dudvvyuxjvuFyxf )}(exp{),()2(
1),(
2
標本化格子: ,...)2,1,0, ),(( 21 nmyxrrnrmrmn
周波数領域の
双対格子:
ji
jir
qpvuqp
ji
pq
0
1
,...))2,1,0, ),(( 21
但し
x
y
u
v
標本化格子: ,...)2,1,0, ),(( 21 nmyxrrnrmrmn
周波数領域の
双対格子:
ji
jir
qpvuqp
ji
pq
0
1
,...))2,1,0, ),(( 21
但し
2r
1r
2
1
2次元信号の標本化定理
1次元信号の場合
2次元信号の場合
n
s nTttxtx )()()(
n
ss nXT
X )(1
)(
の面積で作られる平行四辺形21, :A
)(A
1 )(
)()( )(
rr
FF
rrrfrf
p q
pqs
m n
mns
2次元信号の標本化
標本化定理の意味
0 Ms Ms M s
T
1
の場合Ms 2
)()()( MPTXX s
逆フーリエ変換
の畳込みと )]([F)()( 1 MTPtxtx s
):( 整数nnTn M
n
M
n M
M
nTtSanTx
nTt
nTtnTxtx
))(()(
)(
)](sin[)()(
る。間と見なすことができこれは、離散信号の補
の値が求められる。における以外の任意の
てを畳み込むことによっと標本化された信号
つまり、
)(
)()(
txtnTt
tSatx Ms
t
離散信号の補間法(I)
t
t t Tt Tt
1
のとき
のとき
t
tttxtx )()(ˆ
1.最近傍補間
)()()(ˆ txtxtx
2.線形補間
離散信号の補間法(II)
3.3次多項式補間
|)|2(0
)2||1(||||5||84
)1||0(||||21
)()()()(ˆ 32
32
t
tttt
ttt
tCnTtCnTxtxn
4.標本化定理
):( 整数nnTn M
n
M
n M
M
nTtSanTx
nTt
nTtnTxtx
))(()(
)(
)](sin[)()(
tnT
課題9 課題18
行いなさい。
の値をいろいろ変えて、計算においては、
。との誤差を描きなさいそれぞれ計算で求め、
をの復元結果の関数補間、標本化定理で元
補間、3次多項式から最近傍補間、線形関数
で標本化したを標本化周波数また、
なさい。両者の誤差関数を描き
の近似関数であるが、は補間関数
s
s
s
tx
txtx
tx
ttx
tSatC
0
0
)(
)(ˆ)(
)(
sin)(
)()(
補間が必要となる処理
• サンプリング周波数の変換
– Downsampling:サンプリング周波数を下げる
– Upsampling:サンプリング周波数を上げる
• 画像の拡大縮小・回転・座標系の変換
画像の幾何学的変換・補正
計算
幾何学的変換 幾何学的変換
原画像(白枠の部分を拡大)
最近傍補間 線形補間
1.ホームページにある音データに対して、
1/2のdownsamplingおよび2倍のupsamplingを行ったものを
そのまま音として聞くとどのようになるかを調べなさい。
(音再生ソフトは再生する音データのサンプリング周波数が
固定あるいは可変になっている。)
2.通常のNTSC規格のビデオ映像(640x480画素)を
ハイビジョンテレビ( 1920×1080 画素)で映す場合および
その逆の場合には、どのような処理をすればよいか
考えなさい。
課題19