+ All Categories
Home > Documents > kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn...

kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn...

Date post: 09-Jul-2020
Category:
Upload: others
View: 4 times
Download: 0 times
Share this document with a friend
14
kátn 度量 学习 C d . 2 . zd zofhfnhlhlkNNCknearestnghhorlll.lt KNN o 数据 S = , 给定 度量 diiiii.io 测试 X @dcxt.xiJ Ei 选出 K k 直接 投票 , 多数 标签 ⺟本 : 1 1 - 2 Exǜttt 2 . 3 1 2 K : 0 K 参数 Cassvedidationf-t.tt N vdae 1 _ ⽆须 训练 测试 计算 ans ) S : costdistijll.lt AndysisQKBinayclass.ficaimGAssumahesareiidcpcclxlpa.IE )
Transcript
Page 1: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

kátn 降维 与度量学习 C

d.

2.

zd

zofhfnhlhlkNNCknearestnghhorlll.ltKNN o 数据集 S

=佖 ,别绌

② 给定 度量diiiii.io测试 化

X @dcxt.xiJ Ei

⑤ 选出 最 正 的 K 个

④ k 个 直接投票 , 多数 即有 灿标签

⑨⺟本⼗ ⼗𤨢甙类: 1 1- 2Exǜttt

从 2 . 3 12K: 0 K 超参数Cassvedidationf-t.ttNvdae1_

②⽆须训练③ 测试 计算 量 ans)

S:costdistijll.ltAndysisQKBinayclass.ficaimGAssumahesareiidcpcclxlpa.IE)

Page 2: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

阼的 ) = 1⼀点 PCCM 叫到

③ Asume 。 我 和 已 ⾜够 近atpccM~pczpple.ir) = 1- ⾼逃旷ftnefs.tl G-argmypccMBgesoiu.phx) 正确概率

rpcd》 错误

pgtr 匝⼼仍不

crptlDCHPGXDE2GPGKD-RNNCkidmorprobctwiceerrp.beBge

mtfenena.lk2 . 维数 灾难

KNN 要求 数据⾜够正 (密)

E-o.li 㠭: ii /斯ilio.in ⼼

Page 3: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

( 0 0

1 00

的 "

国 国( …

。 Intrinsicd.in 很 底

e.gr

TQTILYGRd 妅(x .,后, -_- Xd )

xizfltlfltstz.it⼭) d'《 d

1 1 . 3. 1 Multidimensimscaling.tt

谴昛*

x ( 1 , oiu.ci m 个 样⻋。

{xijixiERdfzigiziaico.io, " Diidistij-distlxi.TT Dfdstczi,可)

2( 1 . 0 1 D

'= D

(0 ,1) D = 5

T.tl goadfdzc-Rds.tl cd阖逃出 dstczi.zjndhxi.XDz.GR

'

r l

ˊ distiilxi-xilxi-XjlB.IEZBERMMZERdkmdlbii-zizi.nl] ⼩]

Page 4: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

bij-zizjdistiflzi-Ziilzi-ZDilxi-xjicxi-xjjizizitzizj-2Z.gl3= V⼼ ⼆ 妒啦ivytzīzbìi珂'

t 4 -廵 ⼗哵] =bijdiiÉzit 有引 - 2式于 13= 区间⼆ biitbjj-2b.jo

假没 正 在 各个维度均值为零 点… (平移动)

bji ⼆ 区的 ⼿外 ⼆ ⾂矿不 ⼆ 。

⾼ ⾏ˋ = 0

zitij ⼆ 百(13) tmbjj 0

idj ⼆ 下(137 tmbii

⾼ Ǘtij⼆ mTCDtmirlBF2mi.cl》

①㝾。

⼀ 书 03 ⼆

mcbiitbjpb.in⼠ [@-@ttm03间

Page 5: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

bij-Eldj-iid.im就断城讇

⇒ B

⇒ 特征分你 BER"

上 的 biizizj13= V⼼ ⼊⻔⼼ ⼀

、⽔

di-v.ir-.-

,@alǖB ⼆点必以

V = M , 以 ⼀ . 呵.0

⽉ ⼆点成酒

zirelttfm4成作 12

1-1

dxddxmN_nVIN.li/r-.uc)GRMXd'ZERd'Xm4点

⽤ 不如⼭ 来 表示 Xi

Page 6: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

学习⼀个 mappimgfix-zscxi.z.tl-1與⼀Iiex

xi = ( 1 , o_o , 01点Xz ⼆ (0,1/0,0)良

mndist.it 䈳 D = H :)

biihndij-idisti-jdjtmiiijib.nl⼆⼀年 1 0 - 1 - 1 + 1 )

⼆ ⽜

⼈ ⼆年 眃正⻔b.2 ⼆⼀年 (2 1-1 t l)

⼆⼀年

113州 ⼆ 0 1[i ⻔ -4吽。

( 1 -4⼊)⾄ 1 = 0

4⼊⼆ 0,2 ⼊=0 , É

Page 7: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

13江北

[上⻔…ˇ

宜 汀卧。

嗯了

正 述了 Ú ⼀

、 上古⼀⼀

⼆ )

⼆ 求缸⻔ = 妅们

n.-1 热感-

1- 1

,

Z 与 X 我姓⽅法

Z-W.iiznw.ie

Page 8: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

1 ⼈从 Pmniciple.componentanahisXG唦 d :维度 n : 样⻋数⽬

xi ERMWERdlEIERM.tl#EwTXi=o⽅差 :

⼀ 三⼼怵iwīxi ĚxixiĒiwīxxiw =XXTX-x.tk

i.it㘤1国i. T.ITǗg

w_wln-hskzixxTESivtagi.vnw

Page 9: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

正 王⼊

ivivi-VNTW-IXNillWIEEX.it/rEw=fxiVijXjVjVjEXkVk=𣀳 ,加⼊iniik)

⼆ 卦吣

⼆ ⼊maxixi

取等条件 w_w targmax ⼊七七

W⼆⽐

Z = VÉX 瓦瓦⼆ ÚXXH

t= Ǘ王让⼆AǗUE议 ⼆ ⼊七

⼼如 ZZEVYXV⼆ 啌 V

= ÚVNT⼆ ⼋ 对解

Page 10: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

Z 各个分量 不相关

RK.co 考虑与⼼5 差异。

PCA ⇒ ㄈ→ V

Zix

瑬愁,欎 上

以 3

kerndidPCAIVERNKmimzxix.im个 狭为 1的矩阵的和

Eliixixilknwkhkkmnimdl.lkǛn Ěxicxin xii

⼆点 xixi

特征⽅向可以 ⽤数据点的 但今 表示

Page 11: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

Nivixizxixiikxixjx.it 九点 xikkji之以 ⼆ ⼊造

⼆ 兆 医处了,

Álnkk) ⼆ 灯(𤤳)

= 前圝以测

⼆ Xixixiixixe⼆点 ù 。 你们𠵱)瓞

灼婆 潉 kjiki.si

Klkii Ükj 㛗㶜

1] 1⼆⽇ txk-nkkx.lk

( · ) K[kxksxk] = 0 .

Page 12: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

MEmnkk-fwllrankkxk-ii.lt-

X-> 4cg册 Kayxm

㥃阳 与 数据学习

t.ee

Page 13: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

从4 统形学习

⼀⽐"

算法 D = {⼼了近邻参数K .

低维 d '

过程 : frii.mu,

确 Xi 的近邻,

-

K点 ( 欧⽒距离 )基它 点 距离也

end

庛䶰 distaixp 最短路径" MDS 降组i.:-xiǘ wn MDS 表示

ta-6

XFA Rk 近邻⼀⼀ 0 K 近邻 摊路

i-i.si 䠬㸅、簖㦘

Page 14: kátn zofhfnhlhlkNNCknearestnghhorlll.lt 2œº器学习/机器学习上课11...kátn 降维与度量学习 C d. 2. zofhfnhlhlkNNCknearestnghhorlll.ltzd KNN o 数据集S = 佖,别绌

1 15 度是 学习 。

' lt ⽶l

' cnn.nlcrtdd※Xjilxixj)

1 1⼼⼼之事 Mahalanob.is驱巨离

⼆ 三来 ⻄ ⼆ 炷钱

⼜2 = [成⼀⼆ x_x

⼆ I

M群xwiximxmc-simiuayllxixims.lt晶。

必州品 2 1

M>0


Recommended