Date post: | 26-Jan-2017 |
Category: |
Data & Analytics |
Upload: | amir-sedighi |
View: | 500 times |
Download: | 0 times |
1
تابستانن ۱۳۹۵
اامیر صدیقی
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین
@amirsedighi تو4تر: [email protected]اایمیل:
ررووزز ششم - یاددگیریی ژژررفف - قست ددوومم
اامیر صدیقی
موسس:
2
معرفی
http://recommender.ir http://helio.ir http://commentum.ir
@amirsedighi تو4تر: [email protected]اایمیل:
3
مروورریی بر جلساتت قبل - تکامل کامپیوترها
4
مروورریی بر جلساتت قبل - دداانش اانسانن
5
مروورریی بر جلساتت قبل - دداانش اانسانن
6
مروورریی بر جلساتت قبل - دداانش اانسانن
بصریی وو ذذهنی
subjective and intuitive
فرمولل نداارردد
7
مروورریی بر جلساتت قبل - دداانش اانسانن
بصریی وو ذذهنی
subjective and intuitive
فرمولل نداارردد
مثل ما
8
مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
9
مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
شناسایی وویژگیها ددرر موااررددیی که یاددگیریی چنداانن فرمولل پذیر نیست، بسیارر ددشواارر ااست.
10
مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ماشین: چرخخ دداارردد، پالکک دداارردد، فلزیی ااست، شیشه دداارردد…
اانسانن: ددست وو پا دداارردد، سر دداارردد، تنه دداارردد، قدمم بر میداارردد …
11
مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
تصویر هندسی چرخخ ساددهه ااست
12
مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
وولی ددرر ددنیایی ووااقعی… ززااوویه نورر، ززااوویه نگاهه ما، سایهها، جنس مواادد،
گلگیرها، نقش وو نگارر، باززتابب نورر خوررشید…
13
مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
توصیف چرخخ ددرر قالب مقاددیر پیکسلهایی تصویر، ساددهه نیست
14
یاددگیریی باززنماییگذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
The solution is to use machine learning to discover not only the mapping from representation to output, but also the representation itself.
15
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
The solution is to use machine learning to discover not only the mapping from representation to output, but also the representation itself. Representation Learning
یاددگیریی باززنمایی
16
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
The solution is to use machine learning to discover not only the mapping from representation to output, but also the representation itself. Representation Learning Higher Performance than hand-designed
یاددگیریی باززنمایی
Accelerate adaption with minimal human interaction
17
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
When designing features or algorithms for learning features, our goal is usually to separate the factors of variation that explain the observed data.
18
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors are separated sources of influence:
They are not directly observable.
When designing features or algorithms for learning features, our goal is usually to separate the factors of variation that explain the observed data.
19
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors are separated sources of influence:
Such factors are often not quantities.They are not directly observable.
When designing features or algorithms for learning features, our goal is usually to separate the factors of variation that explain the observed data.
20
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
They may exist either as unobserved objects or unobserved forces in the physical world that affect observable quantities.
Factors are separated sources of influence:
Such factors are often not quantities.They are not directly observable.
When designing features or algorithms for learning features, our goal is usually to separate the factors of variation that explain the observed data.
21
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
They may exist either as unobserved objects or unobserved forces in the physical world that affect observable quantities.
They may also exist as constructs in the human mind that provide useful simplifying explanations or inferred causes of the observed data.
Factors are separated sources of influence:
Such factors are often not quantities.They are not directly observable.
When designing features or algorithms for learning features, our goal is usually to separate the factors of variation that explain the observed data.
22
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:Position
23
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:PositionColor/texture
24
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:PositionColor/textureThe angle/brightness of the sun
25
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)
26
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)The amount of load
27
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)The amount of loadExterior Accessories
28
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation
Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)The amount of loadExterior Accessories
The individual pixels in an image of a red car might be very close to black at night…
29
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)The amount of loadExterior Accessories
The individual pixels in an image of a red car might be very close to black at night…
چه باید کردد؟
30
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ددرر ااغلب کارربرددها باید اازز پیچیدگی ددااددهههایی ووررووددیی (ددنیایی ووااقعی) بکاهیم. ررووششهایی متنوعی براایی ااین منظورر ووجودد دداارردد. یکی اازز تکنیکهایی عمومی براایی
کاستن اازز پیچیدگی، “کاهش اابعادد” ااست. به کمک کاهش اابعادد، سطح اانتزااعع رراا اافزاایش میددهیم.
باززنمایی ساددهه شدهه اازز پدیدههاایی پیچیدهه
#شوخی
31
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
باید اازز ددااددهههایی ووررووددیی ددنیایی ووااقعی یک باززنمایی فشرددهه وو کوچک تولید کنیم. سپس میتواانیم با طی مسیر عکس، اازز باززمنایی فشرددهه به ددااددهههایی شبیه به
ددااددهه ووررووددیی (وولی ساددهه تر) برسیم.
باززنمایی ساددهه شدهه اازز پدیدههاایی پیچیدهه
#شوخی
32
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
Deep learning introduces representations that are expressed in terms of other, simpler representations.
33
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
34
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
Car
Person
Animal
35
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
Raw Sensory Input Data
Car
Person
Animal
36
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
Raw Sensory Input Data The function mapping from a set of pixels to an object identity is very complicated.
Car
Person
Animal
تبدیل مستقیم ممکن نیست!
37
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
38
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
Edges
Contours/Corners
Object Parts
یک تکنیک براایی ساددههساززیی + باززنمایی
39
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
الیه هایی مخفی
یک تکنیک براایی ساددههساززیی + باززنمایی
40
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
نگاشتهایی ساددهه که به
صوررتت اافزاایشی
فیچرهایی تصویر رراا شناسایی میکنند
یک تکنیک براایی ساددههساززیی + باززنمایی
41
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
الیه ااوولل تنها به شناسایی لبههایی ااشیا
میپرددااززدد. ااین کارر با
مقایسه ررووشنایی
پیکسلهایی مجاوورر اانجامم
میشودد
یک تکنیک براایی ساددههساززیی + باززنمایی
42
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
خرووجی الیه ااوولل به الیه ددوومم میرسد وو الیه ددوومم
بساددگی گوشه ها وو
حد فاصلها رراا پیداا
میکند. آآنها مجموعه
هایی اازز لبه ها هستند.
یک تکنیک براایی ساددههساززیی + باززنمایی
43
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
الیه سومم به کمک
گوشهها وو فاصلههایی
که اازز الیه ددوومم ددرر
یافت کرددهه، ااشیا رراا
شناسایی میکند.
یک تکنیک براایی ساددههساززیی + باززنمایی
44
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددههساززیی + باززنمایی
xیک تابع ااست
y
45
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننAutoencoder
جوهر یک االگورریتم یاددگیریی باززنمایی (Presentation Learning)، خوددررمزنگارر (Autoencoder) ااست.
46
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننAutoencoder - خوددررمزنگارر
جوهر یک االگورریتم یاددگیریی باززنمایی (Presentation Learning)، خوددررمزنگارر (Autoencoder) ااست.
باززنمایی جدید، دداارراایی وویژگیهایی قابل توجهی ااست
47
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
جوهر یک االگورریتم یاددگیریی باززنمایی، Autoencoder ااست.
Autoencoder
Input = decoder(encoder(input))
48
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
جوهر یک االگورریتم یاددگیریی باززنمایی، Autoencoder ااست.
Autoencoder
Input = decoder(encoder(input))
An autoencoder is the combination of an encoder function that converts the input data into a different representation, and a decoder function that converts the new representation back into the original format.
49
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
جوهر یک االگورریتم یاددگیریی باززنمایی، Autoencoder ااست.
Autoencoder
Input = decoder(encoder(input))
Reconstructed Original
An autoencoder is the combination of an encoder function that converts the input data into a different representation, and a decoder function that converts the new representation back into the original format.
50
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننAutoencoder
51
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک نمونه کد ددرر جاوواا
52
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک نمونه کد ددرر جاوواا
53
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک نمونه کد ددرر جاوواا
Encoder
Decoder
54
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
براایی محک ززددنن تکنیکهایی یاددگیریی ماشین، االزاامی به آآگاهی وو تسلط بر فنونن برنامه نویسی نیست. ددرر ااینجا با اابزاارریی آآشنا میشویم که بدوونن نیازز به برنامهنویسی توااناییهایی تکنیکهایی یاددگیریی
ماشین رراا ددرر ااختیارر ما قراارر میددهد. نصب، ررااههااندااززیی وو بکاررگیریی ااین اابزاارر بسیارر ساددهه ااست.
55
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
http://www.skytree.net/
56
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
What is Skytree Express?
• Skytree Express is an express way to use Skytree’s machine learning software. It is available for use via a Virtual Machine (VM) for Windows, MAC OS X, and through an easy install script on RHEL/CentOS systems.
• Currently, Skytree Express comes in two versions (i) Skytree GUI & Python SDK and (ii) Skytree Command Line Interface (CLI).
• Skytree Express can be downloaded free of cost. It comes with a preconfigured license that is valid for one year.
57
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
58
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
59
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
Standard Data Sources:• Relational Databases (RDBMS) • Hadoop Systems (HDFS) • Flat File Databases (e.g. CSV)
Machine Learning Methods: • Random Decision Forests • Kernel Density Estimation • K-means • Singular Value Decomposition • Gradient Boosting • Decision Tree • 2-point Correlation • Range Searching • K-nearest Neighbours Algorithm • Linear Regression • Support Vector Machine • Logistic Regression
یاددگیریی ماشین - آآشنایی با یک اابزاارر
60
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
61
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
62
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
63
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
http://pages.skytree.net/free-download-GUI.html?utm_medium=website&utm_source=skytree
http://pages.skytree.net/free-downloadCLI-web.html
GUI
CLI
Download:
64
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
Skytree Express is available for personal, educational, and even commercial usage! The free version restricts usage up to 100 million elements on a single machine/node.
License:
65
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
66
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
1. Download Skytree Express edition. 2. Unzip 3. Run it Using Virtual Box 4. Login: ssh -p 2222 skytree@localohst password: skytree
67
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
> skytree-server --help=========================================================================== SKYTREE (R) - THE MACHINE LEARNING COMPANY (R) - http://www.skytree.net/ (C) 2010-2016 Skytree Inc. All rights reserved.=========================================================================== Release: Skytree Infinity 15.5.0--------------------------------------------------------------------------- Local time: 2016-Sep-06 08:25:10 Username: skytree Hostname: localhost.localdomain System: CentOS release 6.5 (Final) Processor: Intel(R) Core(TM) i7 CPU M 620 @ 2.67GHz # CPU Cores: 2Total Memory: 3.74 GB Free Memory: 3.61 GB System Load: 0.00 %---------------------------------------------------------------------------Working directory: /home/skytreeCommand-line arguments:skytree-server --help ---------------------------------------------------------------------------
68
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
08:25:10 [INFO] usage: skytree-server <module> <arguments>08:25:10 [INFO] Available modules:08:25:10 [INFO] Discovery Features Enabled08:25:10 [INFO] nnplus08:25:10 [INFO] nn08:25:10 [INFO] whatif08:25:10 [INFO] svd08:25:10 [INFO] two_pt08:25:10 [INFO] kmeans08:25:10 [INFO] Distributed Features Enabled08:25:10 [INFO] status08:25:10 [INFO] Prediction Features Enabled08:25:10 [INFO] rdf08:25:10 [INFO] rdfr08:25:10 [INFO] gbt08:25:10 [INFO] gbtr08:25:10 [INFO] automodel08:25:10 [INFO] glmc08:25:10 [INFO] glmr08:25:10 [INFO] logistic08:25:10 [INFO] nnc08:25:10 [INFO] wnnc08:25:10 [INFO] score08:25:10 [INFO] score-recommendation08:25:10 [INFO] svm08:25:10 [INFO] svm1408:25:10 [INFO] Recommendation Features Enabled08:25:10 [INFO] cf
08:25:10 [INFO] General options:08:25:10 [INFO] --help Print this information.08:25:10 [INFO] --watchdog [=arg(=on)] (=1) If set, monitor system resources and 08:25:10 [INFO] warn if they are running low.08:25:10 [INFO] --watchdog_low_memory_threshold arg (=0.05)08:25:10 [INFO] The watchdog warns if the amount of 08:25:10 [INFO] available system memory is less than 08:25:10 [INFO] the specified fraction.08:25:10 [INFO] --watchdog_high_load_threshold arg (=1.5)08:25:10 [INFO] The watchdog warns if the (normalized) 08:25:10 [INFO] system load is higher than the 08:25:10 [INFO] specified value.08:25:10 [INFO] --log arg If given, write log to this file 08:25:10 [INFO] instead of stdout.08:25:10 [INFO] --loglevel arg (=default) Level of log detail. One of:08:25:10 [INFO] verbose: log everything08:25:10 [INFO] default: log messages and warnings08:25:10 [INFO] warning: log only warnings08:25:10 [INFO] silent : no logging08:25:10 [INFO] --input_file arg If given, load input options from this 08:25:10 [INFO] file.08:25:10 [INFO] --hosts arg Comma-separated list of hosts to run 08:25:10 [INFO] the distributed version of Skytree 08:25:10 [INFO] Infinity on.08:25:10 [INFO] --procs_per_host arg Number of processes per host.08:25:10 [INFO] --fast_read [=arg(=on)] (=0) This option is deprecated.
69
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
$ skytree-server gbt --help$ ./sample_script.sh
70
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
71
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
$ skytree-server gbt --training_in income.data.st --training_labels_in income.data.labels --num_trees 100 --model_out gbt.simple.model | tee gbt.simple.train.log
$ less gbt.simple.lables
$ skytree-server gbt --testing_in income.test.st --model_in gbt.simple.model --lables_out gbt.simple.lables
$ paste gbt.simple.lables income.test.labels
72
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
$ skytree-server gbt --testing_in income.test.st --model_in gbt.simple.model --labels_out gbt.simple.lables --probabilities_out gbt.simple.pobs
$ less gbt.simple.pobs
73
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
$ skytree-server gbt --testing_in income.test.st --model_in gbt.simple.model --probabilities_out gbt.simple.probs --probability_threshold 0.8 --labels_out gbt.simple.thresh.0.8.labels
$ paste gbt.simple.thresh.0.8.labels gbt.simple.probs
74
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
http://www.skytree.net/2016/02/05/skytree-express-machine-learning-at-the-command-line/
Homework:
75
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر
What machine learning algorithms are available through Skytree CLI? • AutoModel automodel • Gradient-boosted decision trees gbt • Random decision forests rdf • The above for regression gbtr, rdfr • Support vector machines (linear and nonlinear) svm • Nearest neighbors binary classification nnc, with weights wnnc • K-means clustering kmeans • Logistic regression logistic • Singular value decomposition svd (includes principal components analysis) • Generalized linear model for classification or regression glmc, glmr • Collaborative Filtering cf • Kernel density estimation kde • What-if analysis whatif • Two-point correlation function two_pt • Model scoring score
76
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
77
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
78
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
18x18
79
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
80
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
81
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
82
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
83
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
84
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
85
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
86
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
18x18
87
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
To feed an image into our neural network, we simply treat the 18x18 pixel image as an array of 324 numbers:
88
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
The handle 324 inputs, we’ll just enlarge our neural network to have 324 input nodes:
89
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
All that’s left is to train the neural network with images of “8”s and not-“8"s so it learns to tell them apart. When we feed in an “8”, we’ll tell it the probability the image is an “8” is 100% and the probability it’s not an “8” is 0%.
Some training data:
90
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
ظاهراا کارر تمومم شدهه وو میتونیم حرووفف رروو شناسایی کنیم!
91
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
92
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
وولی به ااین ساددگیها نیست… ررووشش ما به جابجایی موقعیت حرووفف حساسس ااست :(
93
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
ااگر 8 ما ددررست ووسط صفحه باشه … کارر میکنه :)
94
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
95
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
ددنیایی ووااقعی خط کشی شدهه نیست… چه کنیم تا 8 رراا حتی ووقتی ووسط تصویر نیست شناسایی کنیم؟
96
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
اازز پنجرهه متحرکک ااستفاددهه میکنیم…
97
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
98
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
99
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
100
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
101
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
102
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
103
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
104
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
105
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
This approach called a Sliding Window
106
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننررووشش خوبی بودد؟
آآیا پنجرهه متحرکک ررووشش کارراامدیی بودد؟ چه ررووشش ددیگریی پیشنهادد میکنید؟
107
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
108
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
109
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
110
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
As a human, you intuitively know that pictures have a hierarchy or conceptual structure.
111
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
As a human, you intuitively know that pictures have a hierarchy or conceptual structure.
As a human, you instantly recognize the hierarchy in this picture:
• The ground is covered in grass and concrete • There is a child • The child is sitting on a bouncy horse • The bouncy horse is on top of the grass
112
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
As a human, you intuitively know that pictures have a hierarchy or conceptual structure.
Mad scientists literally poking cat brains with weird probesto figure out how cats process images
113
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم
How Convolution Works?
114
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۱. شکستن تصویر به قطعاتی همپوشانن
115
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۲. تغذیه شبکهاایی کوچک با قطعاتت تصویر
116
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۳. ذذخیرهه نتایج هر قطعه ددرر آٰآرراایه اایی جدید
117
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۳. ذذخیرهه نتایج هر قطعه ددرر آٰآرراایه اایی جدید
118
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۴. کاهش ااندااززهه ماتریس مرحله نتایج
Max Pooling
119
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۴. کاهش ااندااززهه ماتریس مرحله نتایج
120
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۵.شبکه تمامم متصل آآخرین مرحله
121
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناافزووددنن الیههایی بیشتر
Our image processing pipeline is a series of steps: • convolution, • max-pooling, • a fully-connected network.
122
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناافزووددنن الیههایی بیشتر
The first convolution step might learn to recognize sharp edges, the second convolution step might recognize beaks using it’s knowledge of sharp edges, the third step might recognize entire birds using it’s knowledge of beaks, etc.
The more convolution steps you have, the more complicated features your network will be able to learn to recognize.
123
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناافزووددنن الیههایی بیشتر
In this case, they start a 224 x 224 pixel image, apply convolution and max pooling twice, apply convolution 3 more times, apply max pooling and then have two fully-connected layers. The end result is that the image is classified into one of 1000 categories!
124
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناازز کجا شرووعع کنیم؟
So how do you know which steps you need to combine to make your image classifier work?
Honestly, you have to answer this by doing a lot of experimentation and testing. You might have to train 100 networks before you find the optimal structure and parameters for the problem you are solving. Machine learning involves a lot of trial and error!
125
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپرندهه وو غیرپرندهه
126
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناافزووددنن الیههایی بیشتر
127
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
128
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
129
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
130
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
131
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
132
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
133
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
134
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربرددهایی ددرر یک نمونه آآسیایی
135
گذرریی بر کارربرددهایی ددااددهههایی بزررگگ وو یاددگیرییماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمرجع
http://www.slideshare.net/billlangjun/simple-introduction-to-autoencoderhttp://deeplearningbook.orghttp://www.skytree.net/2016/02/05/skytree-express-machine-learning-at-the-command-line/http://www.datasciencecentral.com/profiles/blogs/must-know-tips-tricks-in-deep-neural-networks-1https://www.ibm.com/developerworks/linux/library/l-machine-learning-deep-learning-trs/index.html?ca=drs-&ce=ism0070&ct=is&cmp=ibmsocial&cm=h&cr=crossbrand&ccy=ushttps://xkcd.com/1425/http://yann.lecun.com/exdb/mnist/https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks-f40359318721#.njwdy7ch4https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layerSpark Summit 2016 - The Baidu Presentation