2022
1. Introduction to Efficient Deep Learning
2. Compression Techniques
1. Introduction to Efficient Deep Learning
p 6, Introduction DL
ML ช่วย build model , เช่น recommend ใน Netflix
p 7, DL -c nn dominant methology of training new ML model สำหรับ 10ปีที่ผ่านมา
✍️ faster compute ผ่านทาง GPUs -> com fastขึ้นเร็วอย่าง Moor’s law
p 8, -ไม่ใช่ optimized for – heavy number-crunching at heart of DL
AlexNet – เป็น model ต้นๆเลย สำหรับ GPU graphic processing units ในการ train linear algebra – operate eg multiplying 2 matrices กับ faster กว่า traditional CPUs
✍️ Advanced in training algorithms เป็น substantial progress ใน ML มากกว่า 20ปี , Stochastic Gradient Descent(SGD) และ Backpropagation -> เป็น well-known algorithm deisgn ในการ traing deep network
– และพัฒนาได้เร็วคือ ReLU activation fn
ReLU ให้ gradient to back-propagate deeper ใน networks
– จาก previous iteration of deep network ใช้ sigmoid or tanh activation fn -> saturate 1.0 or -1.0 ยกเว้น very small range of input
– changing input variable นำไปสู่very tiny gradient – large number of layers gradient essential vanishes
✍️ Availability of labelled data