Big Data and Machine Learning Workshop - Day 6 @ UTACM

transcript

تابستانن ۱۳۹۵

اامیر صدیقی

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین

@amirsedighi تو4تر: sedighi@gmail.comاایمیل:

ررووزز ششم - یاددگیریی ژژررفف - قست ددوومم

اامیر صدیقی

موسس:

معرفی

http://recommender.ir http://helio.ir http://commentum.ir

@amirsedighi تو4تر: sedighi@gmail.comاایمیل:

مروورریی بر جلساتت قبل - تکامل کامپیوتر‌ها

مروورریی بر جلساتت قبل - دداانش اانسانن

بصریی وو ذذهنی

subjective and intuitive

فرمولل ‌نداارردد

مروورریی بر جلساتت قبل - دداانش اانسانن

بصریی وو ذذهنی

subjective and intuitive

فرمولل ‌نداارردد

مثل ما

مروورریی بر جلساتت قبل - دداانش اانساننگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

شناسایی وویژگی‌ها ددرر موااررددیی که یاددگیریی چنداانن فرمولل پذیر نیست، بسیارر ددشواارر ااست.

ماشین: چرخخ دداارردد، پالکک دداارردد، فلزیی ااست، شیشه دداارردد…

اانسانن: ددست وو پا دداارردد، سر دداارردد، تنه دداارردد، قدمم بر میداارردد …

تصویر هندسی چرخخ ساددهه ااست

وولی ددرر ددنیایی ووااقعی… ززااوویه نورر، ززااوویه نگاهه ما، سایه‌ها، جنس مواادد،

گلگیر‌ها، نقش وو نگارر، باززتابب نورر خوررشید…

توصیف چرخخ ددرر قالب مقاددیر پیکسل‌هایی تصویر، ساددهه نیست

یاددگیریی باززنماییگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

The solution is to use machine learning to discover not only the mapping from representation to output, but also the representation itself.

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

The solution is to use machine learning to discover not only the mapping from representation to output, but also the representation itself. Representation Learning

یاددگیریی باززنمایی

The solution is to use machine learning to discover not only the mapping from representation to output, but also the representation itself. Representation Learning Higher Performance than hand-designed

یاددگیریی باززنمایی

Accelerate adaption with minimal human interaction

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننFactors of Variation

When designing features or algorithms for learning features, our goal is usually to separate the factors of variation that explain the observed data.

Factors are separated sources of influence:

They are not directly observable.

Such factors are often not quantities.They are not directly observable.

They may exist either as unobserved objects or unobserved forces in the physical world that affect observable quantities.

They may also exist as constructs in the human mind that provide useful simplifying explanations or inferred causes of the observed data.

Factors of Variation:Position

Factors of Variation:PositionColor/texture

Factors of Variation:PositionColor/textureThe angle/brightness of the sun

Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)

Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)The amount of load

Factors of Variation:PositionColor/textureThe angle/brightness of the sunThe weather (Snow/Rain/Fog/Dust)The amount of loadExterior Accessories

The individual pixels in an image of a red car might be very close to black at night…

چه باید کردد؟

ددرر ااغلب کارربردد‌ها باید اازز پیچیدگی ددااددهه‌هایی ووررووددیی (ددنیایی ووااقعی) بکاهیم. ررووشش‌هایی متنوعی براایی ااین منظورر ووجودد دداارردد. یکی اازز تکنیک‌هایی عمومی براایی

کاستن اازز پیچیدگی، “کاهش اابعادد” ااست. به کمک کاهش اابعادد، سطح اانتزااعع رراا اافزاایش می‌ددهیم.

باززنمایی ساددهه شدهه اازز پدیدهه‌اایی پیچیدهه

#شوخی

باید اازز ددااددهه‌هایی ووررووددیی ددنیایی ووااقعی یک باززنمایی فشرددهه وو کوچک تولید کنیم. سپس می‌تواانیم با طی مسیر عکس، اازز باززمنایی فشرددهه به ددااددهه‌هایی شبیه به

ددااددهه ووررووددیی (وولی ساددهه تر) برسیم.

باززنمایی ساددهه شدهه اازز پدیدهه‌اایی پیچیدهه

#شوخی

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک تکنیک براایی ساددهه‌ساززیی + ‌باززنمایی

Deep learning introduces representations that are expressed in terms of other, simpler representations.

Person

Animal

Raw Sensory Input Data

Person

Animal

Raw Sensory Input Data The function mapping from a set of pixels to an object identity is very complicated.

Person

Animal

تبدیل مستقیم ممکن نیست!

Contours/Corners

Object Parts

یک تکنیک براایی ساددهه‌ساززیی + ‌باززنمایی

الیه ‌هایی مخفی

نگاشت‌هایی ساددهه که به

صوررتت اافزاایشی

فیچر‌هایی تصویر رراا شناسایی می‌کنند

الیه ااوولل تنها به شناسایی لبه‌هایی ااشیا

می‌پرددااززدد. ااین کارر با

مقایسه ررووشنایی

پیکسل‌هایی مجاوورر اانجامم

می‌شودد

خرووجی الیه ااوولل به الیه ددوومم میرسد وو الیه ددوومم

بساددگی گوشه ها وو

حد فاصل‌ها رراا پیداا

می‌کند. آآنها مجموعه‌

هایی اازز لبه ها هستند.

الیه سومم به کمک

گوشه‌ها وو فاصله‌هایی

که اازز الیه ددوومم ددرر

یافت کرددهه، ااشیا رراا

شناسایی می‌کند.

xیک تابع ااست

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننAutoencoder

جوهر یک االگورریتم یاددگیریی‌ باززنمایی (Presentation Learning)، خوددررمزنگارر (Autoencoder) ااست.

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننAutoencoder - خوددررمزنگارر

جوهر یک االگورریتم یاددگیریی‌ باززنمایی (Presentation Learning)، خوددررمزنگارر (Autoencoder) ااست.

باززنمایی جدید، دداارراایی وویژگی‌هایی قابل توجهی ااست

جوهر یک االگورریتم یاددگیریی‌ باززنمایی، Autoencoder ااست.

Autoencoder

Input = decoder(encoder(input))

Autoencoder

An autoencoder is the combination of an encoder function that converts the input data into a different representation, and a decoder function that converts the new representation back into the original format.

Autoencoder

Reconstructed Original

An autoencoder is the combination of an encoder function that converts the input data into a different representation, and a decoder function that converts the new representation back into the original format.

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننAutoencoder

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیک نمونه کد ددرر جاوواا

Encoder

Decoder

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ماشین - آآشنایی با یک اابزاارر

براایی محک ززددنن تکنیک‌هایی یاددگیریی ماشین، االزاامی به آآگاهی وو تسلط بر فنونن برنامه نویسی نیست. ددرر ااینجا با اابزاارریی آآشنا می‌شویم که بدوونن نیازز به برنامه‌نویسی تواانایی‌هایی تکنیک‌هایی یاددگیریی

‌ماشین رراا ددرر ااختیارر ما قراارر می‌ددهد. نصب، ررااهه‌ااندااززیی وو بکاررگیریی ااین اابزاارر بسیارر ساددهه ااست.

http://www.skytree.net/

What is Skytree Express?

• Skytree Express is an express way to use Skytree’s machine learning software. It is available for use via a Virtual Machine (VM) for Windows, MAC OS X, and through an easy install script on RHEL/CentOS systems.

• Currently, Skytree Express comes in two versions (i) Skytree GUI & Python SDK and (ii) Skytree Command Line Interface (CLI).

• Skytree Express can be downloaded free of cost. It comes with a preconfigured license that is valid for one year.

Standard Data Sources:• Relational Databases (RDBMS) • Hadoop Systems (HDFS) • Flat File Databases (e.g. CSV)

Machine Learning Methods: • Random Decision Forests • Kernel Density Estimation • K-means • Singular Value Decomposition • Gradient Boosting • Decision Tree • 2-point Correlation • Range Searching • K-nearest Neighbours Algorithm • Linear Regression • Support Vector Machine • Logistic Regression

یاددگیریی ماشین - آآشنایی با یک اابزاارر

http://pages.skytree.net/free-download-GUI.html?utm_medium=website&utm_source=skytree

http://pages.skytree.net/free-downloadCLI-web.html

Download:

Skytree Express is available for personal, educational, and even commercial usage! The free version restricts usage up to 100 million elements on a single machine/node.

License:

1. Download Skytree Express edition. 2. Unzip 3. Run it Using Virtual Box 4. Login: ssh -p 2222 skytree@localohst password: skytree

> skytree-server --help=========================================================================== SKYTREE (R) - THE MACHINE LEARNING COMPANY (R) - http://www.skytree.net/ (C) 2010-2016 Skytree Inc. All rights reserved.=========================================================================== Release: Skytree Infinity 15.5.0--------------------------------------------------------------------------- Local time: 2016-Sep-06 08:25:10 Username: skytree Hostname: localhost.localdomain System: CentOS release 6.5 (Final) Processor: Intel(R) Core(TM) i7 CPU M 620 @ 2.67GHz # CPU Cores: 2Total Memory: 3.74 GB Free Memory: 3.61 GB System Load: 0.00 %---------------------------------------------------------------------------Working directory: /home/skytreeCommand-line arguments:skytree-server --help ---------------------------------------------------------------------------

08:25:10 [INFO] usage: skytree-server <module> <arguments>08:25:10 [INFO] Available modules:08:25:10 [INFO] Discovery Features Enabled08:25:10 [INFO] nnplus08:25:10 [INFO] nn08:25:10 [INFO] whatif08:25:10 [INFO] svd08:25:10 [INFO] two_pt08:25:10 [INFO] kmeans08:25:10 [INFO] Distributed Features Enabled08:25:10 [INFO] status08:25:10 [INFO] Prediction Features Enabled08:25:10 [INFO] rdf08:25:10 [INFO] rdfr08:25:10 [INFO] gbt08:25:10 [INFO] gbtr08:25:10 [INFO] automodel08:25:10 [INFO] glmc08:25:10 [INFO] glmr08:25:10 [INFO] logistic08:25:10 [INFO] nnc08:25:10 [INFO] wnnc08:25:10 [INFO] score08:25:10 [INFO] score-recommendation08:25:10 [INFO] svm08:25:10 [INFO] svm1408:25:10 [INFO] Recommendation Features Enabled08:25:10 [INFO] cf

08:25:10 [INFO] General options:08:25:10 [INFO] --help Print this information.08:25:10 [INFO] --watchdog [=arg(=on)] (=1) If set, monitor system resources and 08:25:10 [INFO] warn if they are running low.08:25:10 [INFO] --watchdog_low_memory_threshold arg (=0.05)08:25:10 [INFO] The watchdog warns if the amount of 08:25:10 [INFO] available system memory is less than 08:25:10 [INFO] the specified fraction.08:25:10 [INFO] --watchdog_high_load_threshold arg (=1.5)08:25:10 [INFO] The watchdog warns if the (normalized) 08:25:10 [INFO] system load is higher than the 08:25:10 [INFO] specified value.08:25:10 [INFO] --log arg If given, write log to this file 08:25:10 [INFO] instead of stdout.08:25:10 [INFO] --loglevel arg (=default) Level of log detail. One of:08:25:10 [INFO] verbose: log everything08:25:10 [INFO] default: log messages and warnings08:25:10 [INFO] warning: log only warnings08:25:10 [INFO] silent : no logging08:25:10 [INFO] --input_file arg If given, load input options from this 08:25:10 [INFO] file.08:25:10 [INFO] --hosts arg Comma-separated list of hosts to run 08:25:10 [INFO] the distributed version of Skytree 08:25:10 [INFO] Infinity on.08:25:10 [INFO] --procs_per_host arg Number of processes per host.08:25:10 [INFO] --fast_read [=arg(=on)] (=0) This option is deprecated.

$ skytree-server gbt --help$ ./sample_script.sh

$ skytree-server gbt --training_in income.data.st --training_labels_in income.data.labels --num_trees 100 --model_out gbt.simple.model | tee gbt.simple.train.log

$ less gbt.simple.lables

$ skytree-server gbt --testing_in income.test.st --model_in gbt.simple.model --lables_out gbt.simple.lables

$ paste gbt.simple.lables income.test.labels

$ skytree-server gbt --testing_in income.test.st --model_in gbt.simple.model --labels_out gbt.simple.lables --probabilities_out gbt.simple.pobs

$ less gbt.simple.pobs

$ skytree-server gbt --testing_in income.test.st --model_in gbt.simple.model --probabilities_out gbt.simple.probs --probability_threshold 0.8 --labels_out gbt.simple.thresh.0.8.labels

$ paste gbt.simple.thresh.0.8.labels gbt.simple.probs

http://www.skytree.net/2016/02/05/skytree-express-machine-learning-at-the-command-line/

Homework:

What machine learning algorithms are available through Skytree CLI? • AutoModel automodel • Gradient-boosted decision trees gbt • Random decision forests rdf • The above for regression gbtr, rdfr • Support vector machines (linear and nonlinear) svm • Nearest neighbors binary classification nnc, with weights wnnc • K-means clustering kmeans • Logistic regression logistic • Singular value decomposition svd (includes principal components analysis) • Generalized linear model for classification or regression glmc, glmr • Collaborative Filtering cf • Kernel density estimation kde • What-if analysis whatif • Two-point correlation function two_pt • Model scoring score

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننبه ماشین خوااندنن یادد بدهیم

To feed an image into our neural network, we simply treat the 18x18 pixel image as an array of 324 numbers:

The handle 324 inputs, we’ll just enlarge our neural network to have 324 input nodes:

All that’s left is to train the neural network with images of “8”s and not-“8"s so it learns to tell them apart. When we feed in an “8”, we’ll tell it the probability the image is an “8” is 100% and the probability it’s not an “8” is 0%.

Some training data:

ظاهراا کارر تمومم شدهه وو میتونیم حرووفف رروو شناسایی کنیم!

وولی به ااین ساددگی‌ها نیست… ررووشش ما به جابجایی موقعیت حرووفف حساسس ااست :(

ااگر 8 ما ددررست ووسط صفحه باشه … کارر میکنه :)

ددنیایی ووااقعی خط‌ کشی شدهه نیست… چه کنیم تا 8 رراا حتی ووقتی ووسط تصویر نیست شناسایی کنیم؟

اازز پنجرهه متحرکک ااستفاددهه می‌کنیم…

This approach called a Sliding Window

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننررووشش خوبی بودد؟

آآیا پنجرهه متحرکک ررووشش کارراامدیی بودد؟ چه ررووشش ددیگریی پیشنهادد می‌کنید؟

As a human, you intuitively know that pictures have a hierarchy or conceptual structure.

As a human, you instantly recognize the hierarchy in this picture:

• The ground is covered in grass and concrete • There is a child • The child is sitting on a bouncy horse • The bouncy horse is on top of the grass

Mad scientists literally poking cat brains with weird probesto figure out how cats process images

How Convolution Works?

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۱. شکستن تصویر به قطعاتی همپوشانن

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۲. تغذیه شبکه‌اایی کوچک با قطعاتت تصویر

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۳. ذذخیرهه نتایج هر قطعه ددرر آٰآرراایه اایی جدید

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۴. کاهش ااندااززهه ماتریس مرحله نتایج

Max Pooling

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۴. کاهش ااندااززهه ماتریس مرحله نتایج

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن۵.شبکه تمامم متصل آآخرین مرحله

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناافزووددنن الیه‌هایی بیشتر

Our image processing pipeline is a series of steps: • convolution, • max-pooling, • a fully-connected network.

The first convolution step might learn to recognize sharp edges, the second convolution step might recognize beaks using it’s knowledge of sharp edges, the third step might recognize entire birds using it’s knowledge of beaks, etc.

The more convolution steps you have, the more complicated features your network will be able to learn to recognize.

In this case, they start a 224 x 224 pixel image, apply convolution and max pooling twice, apply convolution 3 more times, apply max pooling and then have two fully-connected layers. The end result is that the image is classified into one of 1000 categories!

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانناازز کجا شرووعع کنیم؟

So how do you know which steps you need to combine to make your image classifier work?

Honestly, you have to answer this by doing a lot of experimentation and testing. You might have to train 100 networks before you find the optimal structure and parameters for the problem you are solving. Machine learning involves a lot of trial and error!

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپرندهه وو غیر‌پرندهه

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکارربردد‌هایی ددرر یک نمونه آآسیایی

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمرجع

http://www.slideshare.net/billlangjun/simple-introduction-to-autoencoderhttp://deeplearningbook.orghttp://www.skytree.net/2016/02/05/skytree-express-machine-learning-at-the-command-line/http://www.datasciencecentral.com/profiles/blogs/must-know-tips-tricks-in-deep-neural-networks-1https://www.ibm.com/developerworks/linux/library/l-machine-learning-deep-learning-trs/index.html?ca=drs-&ce=ism0070&ct=is&cmp=ibmsocial&cm=h&cr=crossbrand&ccy=ushttps://xkcd.com/1425/http://yann.lecun.com/exdb/mnist/https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks-f40359318721#.njwdy7ch4https://en.wikipedia.org/wiki/Convolutional_neural_network#Pooling_layerSpark Summit 2016 - The Baidu Presentation

Big Data and Machine Learning Workshop - Day 6 @ UTACM

Data & Analytics