36
1 د ن م ش و ه م های ت س سي گاه ش ي ما ز آ( http://ce.aut.ac.ir/islab ) Verification of data mining result Elimination of redundant rules ی م ش ها حه ی مل ی ل ن ص ح ت سال93 - 92
1آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
Verification of data mining result
Elimination of redundant rules
ملیحه هاشمی 92-93سال تحصیلی
ملیحه هاشمی 92-93سال تحصیلی
مقدمه
زی&اد تع&داد داده ک&اوی، در موج&ود چالش& های از یکی الگوه&ای تولی&د ش&ده توس&ط تکنیک ه&ای داده ک&اوی اس&ت ک&ه این ام&ر ارزی&ابی الگوه&ای ب&ه دس&ت آم&ده را دش&وار می داده در فع&الی تحقیق&اتی زمینه ی دلی&ل همین ب&ه کن&د. ک&اوی ب&رای ک&اهش الگوه&ای ب&ه دس&ت آم&ده وج&ود دارد. ب&ه خالص&ه این زمین&ه انج&ام ش&ده در از کاره&ای ب&رخی و ح&ذف غ&یر ج&الب قواع&د بن&دی، ح&ذف گ&روه س&ازی، قواع&د افزون&ه می پردازن&د. مق&اله ی م&ورد بررس&ی ن&یز در راس&تای ک&اهش الگوه&ا ب&ر ح&ذف الگوه&ای افزون&ه تاکی&د دارد. افزون&ه ب&ودن یکی از ان&واع ناس&ازگاری هایی اس&ت ک&ه در ی&ک مجموع&ه از الگوه&ا قاب&ل مش&اهده اس&ت و از بین ب&ردن آن در ص&حت س&نجی م&ورد تاکی&د اس&ت. ب&ه همین ح&ذف ب&ر الگوه&ا تع&داد ک&اهش ب&رای تنه&ا ن&ه م&ا دلی&ل ص&حت از اطمین&ان ب&رای بلک&ه داریم، تاکی&د اف&زونگی
الگوها این گونه ناسازگاری ها باید از بین بروند.
2آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Effective elimination of redundant association rules
3آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Effective elimination of redundant association rules
مرور کلی ق&وانین از فش&رده ای ف&رم اس&تخراج ب&رای روش&ی ارائه ی
افزونگی ها انجمنی بر مبنای حذف امک&ان ب&ه دس&ت آوردن تم&ام قواع&د انجم&نی از این ف&رم فش&رده
در صورت نیاز اثب&اتsoundness و completeness قواع&د اس&تنتاج ش&ده از این
ف&رم فش&رده نس&بت ب&ه مجموع&ه اص&لی قواع&د حاص&ل از داده کاوی
4آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Association rule mining
o
o Supp(X) =
5آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
The number of transaction that support x
The number of transaction in database D
ملیحه هاشمی 92-93سال تحصیلی
Concise representations ofFIs
DB = {<a1, …, a100>, < a1, …, a50>} , =1 Maximal FIs (MFIs)
<a1, …, a100>: 1
Closed FIs (CFIs)
<a1, …, a100>: 1 , < a1, …, a50>: 2
6آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Association rule mining
7آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definitions
1. (δ-Tolerance closed frequent itemset)
δ(0 ≤ δ ≤ 1) is a user-specified support tolerance factor (δ) is set of δ-TCFIs
8آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
𝜹−𝑻𝒐𝒍𝒆𝒓𝒂𝒏𝒄𝒆𝑭𝒓𝒆𝒒𝒖𝒆𝒏𝒕 𝑰𝒕𝒆𝒎𝒔𝒆𝒕 (𝜹−𝑻𝑪𝑭𝑰𝒔)
9آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
δ = 0.04 → : { abcd , bcd , bd ,b}
We get 50 AR
We get 6 −TARs𝜹
ملیحه هاشمی 92-93سال تحصیلی
Definitions
2. Closest superset
10آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definitions
3. Closest δ-TCFI superset
11آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definitions
4. Closure of δ-TCFI
12آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی 13
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definitions
5. Support extension
14آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definitions
6. Estimated Support
=
o = 1.03
15آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
𝛿−𝑇 𝒐𝒍𝒆𝒓𝒂𝒏𝒄𝒆𝒂𝒔𝒔𝒐𝒄𝒊𝒂𝒕𝒊𝒐𝒏𝒓𝒖𝒍𝒆𝒔
16آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
FI tree and FI-tree-based association rules
FI-parent
17آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
FI tree and FI-tree-based association rules
FI-tree
• FI-parent of X} ∪ {(γ ,X) : X ⊂ γ and Y ∈ F such that Y ⊃ X}
18آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
FI tree and FI-tree-based association rules
FI-tree-based association rules (RTF)
19آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
R be the set of all ARs that have support no less than σ.
When γ ∈ F, then RTF R. Let R⊆ γ = {X ⇒Y : (X Y ) = ∪ γ and γ F}.
When γ F, then (RTF − Rγ) R.⊆
20آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definition- inference rules
conf (r) = (conf () · conf ())
21آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
.
22آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definition- inference rules
23آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
.
24آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definition- inference rules
Lemma 3. Referring to Rule 3, let r ∈ (RTF ∪ R). Then, supp(r) and conf (r) are correctly defined, and r ∈ R or r ∈ Rγ.25
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی 26
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
δ-Tolerance association rule tree
And δ-Tolerance association rule
27آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی 28
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
(δ-Tolerance association rule tree)The δ-Tolerance Association Rule tree (δ-TAR tree), denoted as Tδ = (Vδ,Eδ), where Vδ = (V {∪ γ }∪Vb) and
Eδ = (E E∪ γ ∪ Eb), are defined as follows:
29آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی 30
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
δ-Tolerance association rules
31آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definition- inference rules
:
32آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
(Support extension)
:
33آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Definition
34آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی 35
آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)
ملیحه هاشمی 92-93سال تحصیلی
Non-redundancy
(Non-redundancy)
36آزمايشگاه سيستم های هوشمند
(http://ce.aut.ac.ir/islab)
