Big Data and Machine Learning Workshop - Day 4 @ UTACM

1

تابستانن ۱۳۹۵

اامیر صدیقی

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین

@amirsedighi تو4تر: [email protected]اایمیل:

ررووزز چهاررمم - یاددگیریی به ررووشش شبکه عصبی مصنوعی

اامیر صدیقی

موسس:

2

معرفی

http://recommender.ir http://helio.ir http://commentum.ir

@amirsedighi تو4تر: [email protected]اایمیل:

http://recommender.ir

http://helio.ir

http://commentum.ir

3

آآنچه اامرووزز می‌آآموززیمگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

آآشنایی اابتداایی با عملکردد مغز وو ررووشی براایی شبیه ساززیی کاررکردد‌هایی مغز اانسانن آآشنایی با االگورریتم‌هایی شبکه‌عصبی مصنوعی

پیاددهه ساززیی یک نمونه یاددگیریی شبکه عصبر مصنوعی

4

مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

ماشین متفکر

یونانن باستانن

5



یونانن باستاننپیگمالیونن مجسمه سازز چیرهه‌ ددست قبرسی

6




پاندوورراا

7





پوسایدوونن، مینوتورر، پاسیفائه، مینوسس،‌ لبیرنت

8





دددداالوسس وو

پوسایدوونن، مینوتورر، پاسیفائه، مینوسس

لبیرنت

9


باررها ددیدهه اایم که کامپیوتر‌ها ددرر اانجامم کاررهایی فرمولل پذیر بسیارر

اازز ما سریع‌تر وو ددقیق ترند.

10


وولی چالش ما با کامپیوتر‌ها ددرر جا4ست که اانسانن بساددگی وو ددرر کسریی اازز ثانیه

االگویی رراا شناسایی می‌کند، وو ماشین ها ددرر ااین حوززهه‌ عاجزند!

11




ددرر آآموززشش پدیدهه‌هایی که ددرر توصیف آآنها به ززبانن رریاضی ناتواانیم، قاددرر به

آآموززشش کامپیوتر ها نیز نبوددهه‌اایم.

12




ززندگی به شکلی که ززندگی می‌کنیم

ددرر آآموززشش پدیدهه‌هایی که ددرر توصیف آآنها به ززبانن رریاضی ناتواانیم، قاددرر به

آآموززشش کامپیوتر ها نیز نبوددهه‌اایم.

13

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغزیی مثل کامپیوتر یا کامپیوتریی مثل مغز

ددرر حالی که ااغلب مرددمم میخوااهند مغزیی مثل کامپیوتر ددااشته باشند…

14

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغزیی مثل کامپیوتر یا کامپیوتریی مثل مغز

ددرر حالی که ااغلب مرددمم میخوااهند مغزیی مثل کامپیوتر ددااشته باشند…

وولی دداانشمنداانن به ددنبالل ساخت کامپیوترهایی مانند مغز هستند!

15

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

آآشنایی با کاررکردد‌هایی مغز

16

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!

17


18


400 MB/S

19


20


ددرر هر لحظه حجم اانبوهی اازز ددااددهه‌هایی متنوعع به سمت مغز

سرااززیر می‌شوند

21


نتیجه رراا به صوررتت االگو‌هایی قابل شناسایی/فهم ددرر ااختیارر ما

قراارر می‌ددهد


سرااززیر می‌شوند

22


نتیجه رراا به صوررتت االگو‌هایی قابل شناسایی/فهم ددرر ااختیارر ما

قراارر می‌ددهد


سرااززیر می‌شوند ?

23

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننگاهی ااجمالی به مغز اانسانن

24


۱۰۰.۰۰۰.۰۰۰.۰۰۰ نورروونن

25


۱۰۰.۰۰۰.۰۰۰.۰۰۰ نورروونن

26


۱۰۰.۰۰۰.۰۰۰.۰۰۰ نورروونن

۵۰.۰۰۰.۰۰۰.۰۰۰ ۵۰۰.۰۰۰.۰۰۰.۰۰۰..

27

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron

28


هسته

29


هسته

ددندرریت‌ها

30


هسته

ددندرریت‌هاجریانن ددااددهه رراا

به سمت هسته هداایت میکنند

31


هسته


آآکسونن

جریانن ددااددهه رراا به سمت هسته هداایت میکنند

32


هسته


آآکسونن


۱۰۰ عددد اازز نورروونن‌ها طولی معاددلل یک میلیمتر ددااررند

33


هسته


آآکسونن



نورروونن‌ها حدوودد ۱۰ ددررصد مغز رراا تشکیل

می‌ددهند

34


هسته


آآکسونن



۵۰.۰۰۰.۰۰۰.۰۰۰ ۵۰۰.۰۰۰.۰۰۰.۰۰۰..۵۰.۰۰۰.۰۰۰

۲.۰۰۰.۰۰۰.۰۰۰..

35


هسته


آآکسونن



۵۰.۰۰۰.۰۰۰.۰۰۰ ۵۰۰.۰۰۰.۰۰۰.۰۰۰..۵۰.۰۰۰.۰۰۰

۲.۰۰۰.۰۰۰.۰۰۰..

مقایسه اایی ناددررست ااست!

36


ددرر سی‌پی‌یو‌هایی اامرووززیی هر تراانزیستورر یک میلیونن‌ها بارر اازز نورروونن‌هایی مغز سریع تر ااست!

37


تعداادد ااررتباطاتت بین نورروونن ها ددرر مغز بسیارر بیش اازز تعداادد ااررتباطاتت بین تراانزیستوررهایی یک چیپ پیشرفته ااست…

38

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمقایسه ماشین وو اانسانن

سریع یادد می‌گیرددددااددهه‌هایی براایی بی معنی هستند

آآهسته یادد می‌گیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)

شناخت حاصل می‌کنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)

شهودد

39





شهودد

مقایسه ماشین وو اانسانن

40





شهودد


41


سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند



شهودد


42





شهودد


43





شهودد


شناخت حاصل می‌کنند/خوددآآموززیی برقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)

شهودد44




براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررند



شهودد45






46







شهودد

47




بتهوننفرددووسی


شهودد

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننچه کنیم تا ماشین مثل ما مسئله حل کند؟

49

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی - اایدهه ااوولیه

اایدهه پایه ددرر شبیه‌ساززیی مغز توسط کامپیوتر عباررتت ااست اازز تعبیه تعدااددیی سلولل‌هایی مغز با ااررتباطاتت ددرروونی کافی، ددرر یک کامپیوتر، به شکلی که مثل ما قاددرر به یاددگیریی،

تشخیص االگو‌ها، تصمیم‌گیریی وو … باشد.

نکته مهم: نیاززیی نخوااهیم ددااشت چنین ماشینی رراا آآموززشش ددهیم. قاعدتا باید بتوااند خودد به یاددگیریی

بپرددااززدد. ددررست مانند مغز اانسانن.

50

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی - اایدهه ااوولیه

اایدهه پایه ددرر شبیه‌ساززیی مغز توسط کامپیوتر عباررتت ااست اازز تعبیه تعدااددیی سلولل‌هایی مغز با ااررتباطاتت ددرروونی کافی، ددرر یک کامپیوتر، به شکلی که مثل ما قاددرر به یاددگیریی،

تشخیص االگو‌ها، تصمیم‌گیریی وو … باشد.

نکته مهم: نیاززیی نخوااهیم ددااشت چنین ماشینی رراا آآموززشش ددهیم. قاعدتا باید بتوااند خودد به یاددگیریی

بپرددااززدد. ددررست مانند مغز اانسانن.

51


Q چه ررووشش‌هایی براایی شبیه‌ساززیی یا تولید یک مغز کامپیوتریی (مشابه مغز اانسانن) پیشنهاددمیکنید؟

کمی خیالل پرددااززیی کنیم

52


A.ددست با دداامن شبکه‌هایی عصبی بشویم

53

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی

شبکه‌هایی عصبی شبیه‌ساززیی‌هایی نرمم‌اافزاارریی هستند

54



وو رروویی ساددهه‌ترین سخت‌اافزاارر‌هایی کامپیوتریی ااجراا می‌شوند

55




56




57




هنوزز کسی براایی ساخت کامپیوتریی با پیچیدگی‌هایی ااررتباطی مغز اانسانن ااقداامم نکرددهه ااست…

58

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبیه ساززیی اایی بسیارر مجردد

59

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبیه ساززیی اایی بسیارر مجردد

محاسباتت رریاضی معاددالتت وو …

ددرر ووااقع کامپیوتر‌ها با یاددگیریی تغ5ر نمی کنند وو تنها ددیدگاهه برنامه رریزاانن تحت تاثیر قراارر میگیردد

60

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننTerminology - همزبانی

ددرر حوززهه کارر ما: هر جا صحبت اازز شبکه عصبی می‌کنیم، منظورر شبکه‌هایی عصبی مصنوعی‌ ااست

Artificial Neural Networks (or ANNs)

61

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن

1836 - Discovery of the neural cell of the brain, the neuron

62



63



1897 - Synapse concept introduced

64




1943 First mathematical representation of neuron

65

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن مصنوعی



1943 First mathematical representation of neuron

66

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن مصنوعی

The neuron calculates a weighted sum of inputs and compares it to a threshold. If the sum is higher than the threshold, the output is set to 1, otherwise to -1.

67

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی

Artificial neuron models are at their core simplified models based on biological neurons.

68



Many Inputs Individual Weighted

69




Amplify/Deamplify

70




Amplify/Deamplify

Adds the weighted Signals together

71




Amplify/Deamplify

Adds the weighted Signals together

Converts the input into a more useful output

72


73


74


75


76

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی یک شبکه عصبی مصنوعی

میخوااهیم یک شبکه عصبی مصنوعی بسیارر ساددهه (Feedforward) رراا پیاددهه ساززیی کنیم…

77


میخوااهیم یک شبکه عصبی مصنوعی بسیارر ساددهه (Feedforward) رراا پیاددهه ساززیی کنیم…

XOR طرااحی یک شبکه عصبی براایی پیاددهه ساززیی

78

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننXOR - پیاددهه ساززیی یک شبکه عصبی مصنوعی

1 1

0.5+0.5 1+1

0 0 1 0 0 1

(1 x -2) + (2 x 1) = 0

0 0 0.5 1

1

1

0.5 1

1

1

Doesn’t Fire Doesn’t Fire Fires (1) Fires (1)

Doesn’t Fire Doesn’t FireDoesn’t Fire

Doesn’t Fire

0 0


کارر می‌کنه!


Multi Layer Perceptron

81

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز اانسانن

سرعت وو قدررتت پرددااززشش بسیارر باالیی مغز اانسانن، به ااررتباطط هایی بسیارر اانبوهی بر

می‌گردددد که ددرر میانن سلولل هایی ساززندهه مغز ووجودد دداارردد.

82

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز اانسانن

سرعت وو قدررتت پرددااززشش بسیارر باالیی مغز اانسانن، به ااررتباطط هایی بسیارر اانبوهی بر

می‌گردددد که ددرر میانن سلولل هایی ساززندهه مغز ووجودد دداارردد.

100,000,000,000,000

83

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی مصنوعی

The input units, are designed to receive various forms of information from the outside world that the network will attempt to learn about, recognize, or otherwise process.

84


The higher the weight, the more influence one unit has on another.


85




Most neural networks are fully connected.

86





In between the input units and output units are one or more layers of hidden units, which, together, form the majority of the artificial brain.

87





In between the input units and output units are one or more layers of hidden units, which, together, form the majority of the artificial brain.The strength (weight) of the connection between any two units is gradually adjusted as the network learns.

88

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی

89


For a neural network to learn, there has to be an element of feedback involved—just as children learn by being told what they're doing right or wrong.

90


کارر نیکو کرددنن اازز پر کرددنن ااست…

91



92



In fact, we all use feedback, all the time.

93



Neural networks learn things in exactly the same way, typically by a feedback process called backpropagation

94



Neural networks learn things in exactly the same way, typically by a feedback process called backpropagation

95


It is believed that during the learning process the brain's neural structure is altered, increasing or decreasing the strength of it's synaptic connections depending on their activity.

96



More relevant information will have stronger synaptic connections and less relevant information will gradually have it's synaptic connections weaken, making it harder to recall.

97



More relevant information will have stronger synaptic connections and less relevant information will gradually have it's synaptic connections weaken, making it harder to recall.

98

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه

The Perceptron Learning rule

99



100



101



102



103



104



105

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی

کد بنویسیم

106

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننملزووماتت

Prerequisites:

• Windows, Linux or Mac • Java 1.7 • Apache Maven 3

107

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننMaven بنا نهاددنن پرووژژهه توسط

Create the Maven project:

mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=ir.ac.ut.acm.PerceptronLearning -DartifactId=simpleAnd -DinteractiveMode=false

108

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی با نظاررتت - تغhر نامم

Rename the default created App class to PerceptronLearningRule

mv simpleAND/src/main/java/ir/ac/ut/acm/PerceptronLearning/App.java simpleAND/src/main/java/ir/ac/ut/acm/PerceptronLearning/App.java PerceptronLearningRule,java

109

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - مقاددیر ااوولیه

110

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - مقاددیر ااوولیه - ددااددهه‌هایی آآموززشیکد

111

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - مقاددیر ااوولیه - ددااددهه‌هایی آآموززشی - حلقه

112

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - محاسبه ووززنن (W) وو خرووجی

113

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد

114


115


116


117

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننااجراا

mvn compile mvn exec:java -Dexec.mainClass=“ir.ac.ut.acm.PerceptronLearning.PerceptronLearningRule”

Run the PerceptronLearningRule class by using the following commands:

118

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننتیجه

119

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپرووژژهه‌هایی متن‌بازز

120

گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپرووژژهه‌هایی متن‌بازز

121

مرجعگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن

کد پیاددهه ساززیی

http://www.slideshare.net/ChantalBrockman/how-the-brain-work-part-1

https://www.enduringepilepsy.com/brain/

http://www.explainthatstuff.com/introduction-to-neural-networks.html

https://en.wikipedia.org/wiki/Computer_simulation

http://chicagoweathercenter.com/blog/heres-why-run-to-run-gyrations-in-computer-model-storm-track-forecasts-are-granted-more-importance-than-should-be-the-case

http://neuralnetworksanddeeplearning.com/chap1.html

http://ulcar.uml.edu/~iag/CS/Intro-to-ANN.html

http://www.theprojectspot.com/tutorial-post/introduction-to-artificial-neural-networks-part-1/7

http://www.smithsonianmag.com/science-nature/beauty-of-the-brain-211354/?no-ist

http://www.theprojectspot.com/tutorial-post/introduction-to-artificial-neural-networks-part-2-learning/8

http://www.deeplearningbook.org/contents/TOC.html

http://www.smithsonianmag.com/science-nature/beauty-of-the-brain-211354/?no-ist

http://www.theprojectspot.com/tutorial-post/introduction-to-artificial-neural-networks-part-2-learning/8

Date post:	26-Jan-2017
Category:	Data & Analytics
Upload:	amir-sedighi
View:	300 times
Download:	0 times

Big Data and Machine Learning Workshop - Day 4 @ UTACM

Data & Analytics