Post on 21-Apr-2017
transcript
1
تابستانن ۱۳۹۵
اامیر صدیقی
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین
@amirsedighi تو4تر: sedighi@gmail.comاایمیل:
ررووزز چهاررمم - یاددگیریی به ررووشش شبکه عصبی مصنوعی
اامیر صدیقی
موسس:
2
معرفی
http://recommender.ir http://helio.ir http://commentum.ir
@amirsedighi تو4تر: sedighi@gmail.comاایمیل:
3
آآنچه اامرووزز می‌آآموززیمگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
آآشنایی اابتداایی با عملکردد مغز وو ررووشی براایی شبیه ساززیی کاررکردد‌هایی مغز اانسانن آآشنایی با االگورریتم‌هایی شبکه‌عصبی مصنوعی
پیاددهه ساززیی یک نمونه یاددگیریی شبکه عصبر مصنوعی
4
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ماشین متفکر
یونانن باستانن
5
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ماشین متفکر
یونانن باستاننپیگمالیونن مجسمه سازز چیرهه ددست قبرسی
6
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ماشین متفکر
یونانن باستاننپیگمالیونن مجسمه سازز چیرهه ددست قبرسی
پاندوورراا
7
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ماشین متفکر
یونانن باستاننپیگمالیونن مجسمه سازز چیرهه ددست قبرسی
پاندوورراا
پوسایدوونن، مینوتورر، پاسیفائه، مینوسس، لبیرنت
8
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
ماشین متفکر
یونانن باستاننپیگمالیونن مجسمه سازز چیرهه ددست قبرسی
پاندوورراا
دددداالوسس وو
پوسایدوونن، مینوتورر، پاسیفائه، مینوسس
لبیرنت
9
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
باررها ددیدهه اایم که کامپیوتر‌ها ددرر اانجامم کاررهایی فرمولل پذیر بسیارر
اازز ما سریع‌تر وو ددقیق ترند.
10
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
وولی چالش ما با کامپیوتر‌ها ددرر جا4ست که اانسانن بساددگی وو ددرر کسریی اازز ثانیه
االگویی رراا شناسایی می‌کند، وو ماشین ها ددرر ااین حوززهه عاجزند!
11
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
وولی چالش ما با کامپیوتر‌ها ددرر جا4ست که اانسانن بساددگی وو ددرر کسریی اازز ثانیه
االگویی رراا شناسایی می‌کند، وو ماشین ها ددرر ااین حوززهه عاجزند!
ددرر آآموززشش پدیدهه‌هایی که ددرر توصیف آآنها به ززبانن رریاضی ناتواانیم، قاددرر به
آآموززشش کامپیوتر ها نیز نبوددهه‌اایم.
12
مقدمهگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
وولی چالش ما با کامپیوتر‌ها ددرر جا4ست که اانسانن بساددگی وو ددرر کسریی اازز ثانیه
االگویی رراا شناسایی می‌کند، وو ماشین ها ددرر ااین حوززهه عاجزند!
ززندگی به شکلی که ززندگی می‌کنیم
ددرر آآموززشش پدیدهه‌هایی که ددرر توصیف آآنها به ززبانن رریاضی ناتواانیم، قاددرر به
آآموززشش کامپیوتر ها نیز نبوددهه‌اایم.
13
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغزیی مثل کامپیوتر یا کامپیوتریی مثل مغز
ددرر حالی که ااغلب مرددمم میخوااهند مغزیی مثل کامپیوتر ددااشته باشند…
14
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغزیی مثل کامپیوتر یا کامپیوتریی مثل مغز
ددرر حالی که ااغلب مرددمم میخوااهند مغزیی مثل کامپیوتر ددااشته باشند…
وولی دداانشمنداانن به ددنبالل ساخت کامپیوترهایی مانند مغز هستند!
15
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
آآشنایی با کاررکردد‌هایی مغز
16
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
17
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
18
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
400 MB/S
19
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
20
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
ددرر هر لحظه حجم اانبوهی اازز ددااددهه‌هایی متنوعع به سمت مغز
سرااززیر می‌شوند
21
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
نتیجه رراا به صوررتت االگو‌هایی قابل شناسایی/فهم ددرر ااختیارر ما
قراارر می‌ددهد
ددرر هر لحظه حجم اانبوهی اازز ددااددهه‌هایی متنوعع به سمت مغز
سرااززیر می‌شوند
22
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز ما عضویی ددررخورر توجه ااست!
نتیجه رراا به صوررتت االگو‌هایی قابل شناسایی/فهم ددرر ااختیارر ما
قراارر می‌ددهد
ددرر هر لحظه حجم اانبوهی اازز ددااددهه‌هایی متنوعع به سمت مغز
سرااززیر می‌شوند ?
23
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننگاهی ااجمالی به مغز اانسانن
24
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننگاهی ااجمالی به مغز اانسانن
۱۰۰.۰۰۰.۰۰۰.۰۰۰ نورروونن
25
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننگاهی ااجمالی به مغز اانسانن
۱۰۰.۰۰۰.۰۰۰.۰۰۰ نورروونن
26
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننگاهی ااجمالی به مغز اانسانن
۱۰۰.۰۰۰.۰۰۰.۰۰۰ نورروونن
۵۰.۰۰۰.۰۰۰.۰۰۰ ۵۰۰.۰۰۰.۰۰۰.۰۰۰..
27
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
28
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
29
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌ها
30
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌هاجریانن ددااددهه رراا
به سمت هسته هداایت میکنند
31
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌ها
آآکسونن
جریانن ددااددهه رراا به سمت هسته هداایت میکنند
32
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌ها
آآکسونن
جریانن ددااددهه رراا به سمت هسته هداایت میکنند
۱۰۰ عددد اازز نورروونن‌ها طولی معاددلل یک میلیمتر ددااررند
33
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌ها
آآکسونن
جریانن ددااددهه رراا به سمت هسته هداایت میکنند
۱۰۰ عددد اازز نورروونن‌ها طولی معاددلل یک میلیمتر ددااررند
نورروونن‌ها حدوودد ۱۰ ددررصد مغز رراا تشکیل
می‌ددهند
34
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌ها
آآکسونن
جریانن ددااددهه رراا به سمت هسته هداایت میکنند
۱۰۰ عددد اازز نورروونن‌ها طولی معاددلل یک میلیمتر ددااررند
۵۰.۰۰۰.۰۰۰.۰۰۰ ۵۰۰.۰۰۰.۰۰۰.۰۰۰..۵۰.۰۰۰.۰۰۰
۲.۰۰۰.۰۰۰.۰۰۰..
35
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
هسته
ددندرریت‌ها
آآکسونن
جریانن ددااددهه رراا به سمت هسته هداایت میکنند
۱۰۰ عددد اازز نورروونن‌ها طولی معاددلل یک میلیمتر ددااررند
۵۰.۰۰۰.۰۰۰.۰۰۰ ۵۰۰.۰۰۰.۰۰۰.۰۰۰..۵۰.۰۰۰.۰۰۰
۲.۰۰۰.۰۰۰.۰۰۰..
مقایسه اایی ناددررست ااست!
36
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
ددرر سی‌پی‌یو‌هایی اامرووززیی هر تراانزیستورر یک میلیونن‌ها بارر اازز نورروونن‌هایی مغز سریع تر ااست!
37
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننNeuron
تعداادد ااررتباطاتت بین نورروونن ها ددرر مغز بسیارر بیش اازز تعداادد ااررتباطاتت بین تراانزیستوررهایی یک چیپ پیشرفته ااست…
38
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمقایسه ماشین وو اانسانن
سریع یادد می‌گیرددددااددهه‌هایی براایی بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
شناخت حاصل میکنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
39
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایی بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
شناخت حاصل میکنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
مقایسه ماشین وو اانسانن
40
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایی بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
شناخت حاصل میکنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
مقایسه ماشین وو اانسانن
41
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
شناخت حاصل میکنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
مقایسه ماشین وو اانسانن
42
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
شناخت حاصل میکنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
مقایسه ماشین وو اانسانن
43
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
شناخت حاصل میکنند براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررندبرقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
مقایسه ماشین وو اانسانن
شناخت حاصل میکنند/خوددآآموززیی برقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد44
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررند
مقایسه ماشین وو اانسانن
شناخت حاصل میکنند/خوددآآموززیی برقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد45
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررند
مقایسه ماشین وو اانسانن
46
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
سریع یادد می‌گیرددددااددهه‌هایی براایش بی معنی هستند
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
براایی تصمیم‌گیریی نیازز به برنامه‌رریزیی ددااررند
مقایسه ماشین وو اانسانن
شناخت حاصل میکنند/خوددآآموززیی برقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
47
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
آآهسته یادد میگیردد (ماهه‌ها .. سالل‌ها)ااستفاددهه اازز ددااددهه‌هایی پیراامونی (با معنی)
مقایسه ماشین وو اانسانن
بتهوننفرددووسی
شناخت حاصل میکنند/خوددآآموززیی برقراارریی ااررتباطط بین پدیدهه‌ها (خوددکارر)
شهودد
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننچه کنیم تا ماشین مثل ما مسئله حل کند؟
49
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی - اایدهه ااوولیه
اایدهه پایه ددرر شبیه‌ساززیی مغز توسط کامپیوتر عباررتت ااست اازز تعبیه تعدااددیی سلولل‌هایی مغز با ااررتباطاتت ددرروونی کافی، ددرر یک کامپیوتر، به شکلی که مثل ما قاددرر به یاددگیریی،
تشخیص االگو‌ها، تصمیم‌گیریی وو … باشد.
نکته مهم: نیاززیی نخوااهیم ددااشت چنین ماشینی رراا آآموززشش ددهیم. قاعدتا باید بتوااند خودد به یاددگیریی
بپرددااززدد. ددررست مانند مغز اانسانن.
50
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی - اایدهه ااوولیه
اایدهه پایه ددرر شبیه‌ساززیی مغز توسط کامپیوتر عباررتت ااست اازز تعبیه تعدااددیی سلولل‌هایی مغز با ااررتباطاتت ددرروونی کافی، ددرر یک کامپیوتر، به شکلی که مثل ما قاددرر به یاددگیریی،
تشخیص االگو‌ها، تصمیم‌گیریی وو … باشد.
نکته مهم: نیاززیی نخوااهیم ددااشت چنین ماشینی رراا آآموززشش ددهیم. قاعدتا باید بتوااند خودد به یاددگیریی
بپرددااززدد. ددررست مانند مغز اانسانن.
51
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننچه کنیم تا ماشین مثل ما مسئله حل کند؟
Q چه ررووشش‌هایی براایی شبیه‌ساززیی یا تولید یک مغز کامپیوتریی (مشابه مغز اانسانن) پیشنهاددمیکنید؟
کمی خیالل پرددااززیی کنیم
52
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننچه کنیم تا ماشین مثل ما مسئله حل کند؟
A.ددست با دداامن شبکه‌هایی عصبی بشویم
53
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی
شبکه‌هایی عصبی شبیه‌ساززیی‌هایی نرمم‌اافزاارریی هستند
54
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی
شبکه‌هایی عصبی شبیه‌ساززیی‌هایی نرمم‌اافزاارریی هستند
وو رروویی ساددهه‌ترین سخت‌اافزاارر‌هایی کامپیوتریی ااجراا می‌شوند
55
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی
شبکه‌هایی عصبی شبیه‌ساززیی‌هایی نرمم‌اافزاارریی هستند
وو رروویی ساددهه‌ترین سخت‌اافزاارر‌هایی کامپیوتریی ااجراا می‌شوند
56
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی
شبکه‌هایی عصبی شبیه‌ساززیی‌هایی نرمم‌اافزاارریی هستند
وو رروویی ساددهه‌ترین سخت‌اافزاارر‌هایی کامپیوتریی ااجراا می‌شوند
57
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی
شبکه‌هایی عصبی شبیه‌ساززیی‌هایی نرمم‌اافزاارریی هستند
وو رروویی ساددهه‌ترین سخت‌اافزاارر‌هایی کامپیوتریی ااجراا می‌شوند
هنوزز کسی براایی ساخت کامپیوتریی با پیچیدگی‌هایی ااررتباطی مغز اانسانن ااقداامم نکرددهه ااست…
58
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبیه ساززیی اایی بسیارر مجردد
59
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبیه ساززیی اایی بسیارر مجردد
محاسباتت رریاضی معاددالتت وو …
ددرر ووااقع کامپیوتر‌ها با یاددگیریی تغ5ر نمی کنند وو تنها ددیدگاهه برنامه رریزاانن تحت تاثیر قراارر میگیردد
60
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننTerminology - همزبانی
ددرر حوززهه کارر ما: هر جا صحبت اازز شبکه عصبی می‌کنیم، منظورر شبکه‌هایی عصبی مصنوعی ااست
Artificial Neural Networks (or ANNs)
61
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن
1836 - Discovery of the neural cell of the brain, the neuron
62
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن
1836 - Discovery of the neural cell of the brain, the neuron
63
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن
1836 - Discovery of the neural cell of the brain, the neuron
1897 - Synapse concept introduced
64
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن
1836 - Discovery of the neural cell of the brain, the neuron
1897 - Synapse concept introduced
1943 First mathematical representation of neuron
65
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن مصنوعی
1836 - Discovery of the neural cell of the brain, the neuron
1897 - Synapse concept introduced
1943 First mathematical representation of neuron
66
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننورروونن مصنوعی
The neuron calculates a weighted sum of inputs and compares it to a threshold. If the sum is higher than the threshold, the output is set to 1, otherwise to -1.
67
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
Artificial neuron models are at their core simplified models based on biological neurons.
68
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
Artificial neuron models are at their core simplified models based on biological neurons.
Many Inputs Individual Weighted
69
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
Artificial neuron models are at their core simplified models based on biological neurons.
Many Inputs Individual Weighted
Amplify/Deamplify
70
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
Artificial neuron models are at their core simplified models based on biological neurons.
Many Inputs Individual Weighted
Amplify/Deamplify
Adds the weighted Signals together
71
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
Artificial neuron models are at their core simplified models based on biological neurons.
Many Inputs Individual Weighted
Amplify/Deamplify
Adds the weighted Signals together
Converts the input into a more useful output
72
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
73
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
74
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
75
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن(Perceptron) نورروونن مصنوعی
76
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی یک شبکه عصبی مصنوعی
میخوااهیم یک شبکه عصبی مصنوعی بسیارر ساددهه (Feedforward) رراا پیاددهه ساززیی کنیم…
77
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی یک شبکه عصبی مصنوعی
میخوااهیم یک شبکه عصبی مصنوعی بسیارر ساددهه (Feedforward) رراا پیاددهه ساززیی کنیم…
XOR طرااحی یک شبکه عصبی براایی پیاددهه ساززیی
78
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننXOR - پیاددهه ساززیی یک شبکه عصبی مصنوعی
1 1
0.5+0.5 1+1
0 0 1 0 0 1
(1 x -2) + (2 x 1) = 0
0 0 0.5 1
1
1
0.5 1
1
1
Doesn’t Fire Doesn’t Fire Fires (1) Fires (1)
Doesn’t Fire Doesn’t FireDoesn’t Fire
Doesn’t Fire
0 0
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی یک شبکه عصبی مصنوعی
کارر می‌کنه!
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی یک شبکه عصبی مصنوعی
Multi Layer Perceptron
81
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز اانسانن
سرعت وو قدررتت پرددااززشش بسیارر باالیی مغز اانسانن، به ااررتباطط هایی بسیارر اانبوهی بر
می‌گردددد که ددرر میانن سلولل هایی ساززندهه مغز ووجودد دداارردد.
82
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننمغز اانسانن
سرعت وو قدررتت پرددااززشش بسیارر باالیی مغز اانسانن، به ااررتباطط هایی بسیارر اانبوهی بر
می‌گردددد که ددرر میانن سلولل هایی ساززندهه مغز ووجودد دداارردد.
100,000,000,000,000
83
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی مصنوعی
The input units, are designed to receive various forms of information from the outside world that the network will attempt to learn about, recognize, or otherwise process.
84
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی مصنوعی
The higher the weight, the more influence one unit has on another.
The input units, are designed to receive various forms of information from the outside world that the network will attempt to learn about, recognize, or otherwise process.
85
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی مصنوعی
The higher the weight, the more influence one unit has on another.
The input units, are designed to receive various forms of information from the outside world that the network will attempt to learn about, recognize, or otherwise process.
Most neural networks are fully connected.
86
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی مصنوعی
The higher the weight, the more influence one unit has on another.
The input units, are designed to receive various forms of information from the outside world that the network will attempt to learn about, recognize, or otherwise process.
Most neural networks are fully connected.
In between the input units and output units are one or more layers of hidden units, which, together, form the majority of the artificial brain.
87
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننشبکه عصبی مصنوعی
The higher the weight, the more influence one unit has on another.
The input units, are designed to receive various forms of information from the outside world that the network will attempt to learn about, recognize, or otherwise process.
Most neural networks are fully connected.
In between the input units and output units are one or more layers of hidden units, which, together, form the majority of the artificial brain.The strength (weight) of the connection between any two units is gradually adjusted as the network learns.
88
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
89
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
For a neural network to learn, there has to be an element of feedback involved—just as children learn by being told what they're doing right or wrong.
90
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
کارر نیکو کرددنن اازز پر کرددنن ااست…
91
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
کارر نیکو کرددنن اازز پر کرددنن ااست…
92
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
کارر نیکو کرددنن اازز پر کرددنن ااست…
In fact, we all use feedback, all the time.
93
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
In fact, we all use feedback, all the time.
Neural networks learn things in exactly the same way, typically by a feedback process called backpropagation
94
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
In fact, we all use feedback, all the time.
Neural networks learn things in exactly the same way, typically by a feedback process called backpropagation
95
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
It is believed that during the learning process the brain's neural structure is altered, increasing or decreasing the strength of it's synaptic connections depending on their activity.
96
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
It is believed that during the learning process the brain's neural structure is altered, increasing or decreasing the strength of it's synaptic connections depending on their activity.
More relevant information will have stronger synaptic connections and less relevant information will gradually have it's synaptic connections weaken, making it harder to recall.
97
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر شبکه عصبی مصنوعی
It is believed that during the learning process the brain's neural structure is altered, increasing or decreasing the strength of it's synaptic connections depending on their activity.
More relevant information will have stronger synaptic connections and less relevant information will gradually have it's synaptic connections weaken, making it harder to recall.
98
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
99
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
100
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
101
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
102
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
103
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
104
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی ددرر یک شبکه عصبی تک الیه
The Perceptron Learning rule
105
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپیاددهه ساززیی
کد بنویسیم
106
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننملزووماتت
Prerequisites:
• Windows, Linux or Mac • Java 1.7 • Apache Maven 3
107
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننMaven بنا نهاددنن پرووژژهه توسط
Create the Maven project:
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=ir.ac.ut.acm.PerceptronLearning -DartifactId=simpleAnd -DinteractiveMode=false
108
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننیاددگیریی با نظاررتت - تغhر نامم
Rename the default created App class to PerceptronLearningRule
mv simpleAND/src/main/java/ir/ac/ut/acm/PerceptronLearning/App.java simpleAND/src/main/java/ir/ac/ut/acm/PerceptronLearning/App.java PerceptronLearningRule,java
109
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - مقاددیر ااوولیه
110
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - مقاددیر ااوولیه - ددااددهه‌هایی آآموززشیکد
111
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - مقاددیر ااوولیه - ددااددهه‌هایی آآموززشی - حلقه
112
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد - محاسبه ووززنن (W) وو خرووجی
113
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد
114
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد
115
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد
116
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننکد
117
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننااجراا
mvn compile mvn exec:java -Dexec.mainClass=“ir.ac.ut.acm.PerceptronLearning.PerceptronLearningRule”
Run the PerceptronLearningRule class by using the following commands:
118
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانننتیجه
119
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپرووژژهه‌هایی متن‌بازز
120
گذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهرااننپرووژژهه‌هایی متن‌بازز
121
مرجعگذرریی بر کارربردد‌هایی ددااددهه‌هایی بزررگگ وو یاددگیریی‌ماشین - تابستانن ACM - ۱۳۹۵ دداانشگاهه تهراانن
کد پیاددهه ساززیی
http://www.slideshare.net/ChantalBrockman/how-the-brain-work-part-1
https://www.enduringepilepsy.com/brain/
http://www.explainthatstuff.com/introduction-to-neural-networks.html
https://en.wikipedia.org/wiki/Computer_simulation
http://chicagoweathercenter.com/blog/heres-why-run-to-run-gyrations-in-computer-model-storm-track-forecasts-are-granted-more-importance-than-should-be-the-case
http://neuralnetworksanddeeplearning.com/chap1.html
http://ulcar.uml.edu/~iag/CS/Intro-to-ANN.html
http://www.theprojectspot.com/tutorial-post/introduction-to-artificial-neural-networks-part-1/7
http://www.smithsonianmag.com/science-nature/beauty-of-the-brain-211354/?no-ist
http://www.theprojectspot.com/tutorial-post/introduction-to-artificial-neural-networks-part-2-learning/8
http://www.deeplearningbook.org/contents/TOC.html