History and Evolution of Deep Learning

(рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХрд╛ рдЗрддрд┐рд╣рд╛рд╕ рдФрд░ рд╡рд┐рдХрд╛рд╕)


ЁЯФ╣ 1940sтАУ1950s: рдиреАрдВрд╡ рдХреА рд╢реБрд░реБрдЖрдд

  • 1943: McCulloch & Pitts рдиреЗ рдкрд╣рд▓рд╛ рдХреГрддреНрд░рд┐рдо рдиреНрдпреВрд░реЙрди рдореЙрдбрд▓ рдкреЗрд╢ рдХрд┐рдпрд╛ред
    ЁЯСЙ рдпрд╣ рдореЙрдбрд▓ Binary Input/Output рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдерд╛ред
  • 1958: Frank Rosenblatt рдиреЗ Perceptron рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ тАУ рдкрд╣рд▓рд╛ рд╕рд╛рдзрд╛рд░рдг Neural Networkред
    ЁЯСЙ рдпрд╣ supervised learning рдореЗрдВ рдЙрдкрдпреЛрдЧ рд╣реБрдЖред

ЁЯФ╣ 1960sтАУ1980s: рд░реБрдЪрд┐ рдореЗрдВ рдЙрддрд╛рд░-рдЪрдврд╝рд╛рд╡

  • рдЗрд╕ рд╕рдордп рд╢реЛрдз рдЬрд╛рд░реА рд░рд╣рд╛ рд▓реЗрдХрд┐рди рд╕реАрдорд┐рдд рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рд╢рдХреНрддрд┐ рдФрд░ рдбрд╛рдЯрд╛ рдХреА рдХрдореА рдХреЗ рдХрд╛рд░рдг рдкреНрд░рдЧрддрд┐ рдзреАрдореА рд░рд╣реАред
  • 1970s: Marvin Minsky рдиреЗ Perceptron рдХреА рд╕реАрдорд╛рдУрдВ рдХреЛ рдЙрдЬрд╛рдЧрд░ рдХрд┐рдпрд╛ (XOR Problem) тАУ рдЗрд╕рд╕реЗ рд░реБрдЪрд┐ рдШрдЯ рдЧрдИред

ЁЯФ╣ 1986: Backpropagation рдХреНрд░рд╛рдВрддрд┐

  • Rumelhart, Hinton рдФрд░ Williams рдиреЗ Backpropagation Algorithm рдХреЛ рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдпрд╛ред
    ЁЯСЙ рдЗрд╕рд╕реЗ Multi-layer Neural Networks рдХреЛ training рджреЗрдирд╛ рд╕рдВрднрд╡ рд╣реБрдЖред

ЁЯФ╣ 1998: LeNet-5 рдФрд░ CNN рдХрд╛ рдЬрдиреНрдо

  • Yann LeCun рдиреЗ LeNet-5 CNN рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ тАУ рдЗрд╕реЗ USPS рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рд╣рд╕реНрддрд▓рд┐рдЦрд┐рдд рдЕрдВрдХреЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ред
    ЁЯСЙ рдпрд╣ рдкрд╣рд▓рд╛ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ CNN рдореЙрдбрд▓ рдерд╛ред

ЁЯФ╣ 2006: Deep Learning рд╢рдмреНрдж рдХрд╛ рдЖрдЧрдорди

  • Geoffrey Hinton рдФрд░ рд╕рд╛рдерд┐рдпреЛрдВ рдиреЗ Deep Belief Networks (DBNs) рдХрд╛ рдкреНрд░рд╕реНрддрд╛рд╡ рд░рдЦрд╛ред
    ЁЯСЙ рдпрд╣ unsupervised рдкреНрд░реАрдЯреНрд░реЗрдирд┐рдВрдЧ рдФрд░ deep structure learning рдХреА рд╢реБрд░реБрдЖрдд рдереАред

ЁЯФ╣ 2012: AlexNet рдФрд░ ImageNet рдХреА рдЬреАрдд

  • Alex Krizhevsky, Ilya Sutskever рдФрд░ Geoffrey Hinton рдиреЗ AlexNet рдирд╛рдордХ CNN рдмрдирд╛рдпрд╛ред
  • рдЗрд╕рдиреЗ ImageNet рдкреНрд░рддрд┐рдпреЛрдЧрд┐рддрд╛ рдореЗрдВ рдкрд╣рд▓рд╛ рд╕реНрдерд╛рди рдкреНрд░рд╛рдкреНрдд рдХрд┐рдпрд╛ рдФрд░ Deep Learning рдХреЛ рдореБрдЦреНрдпрдзрд╛рд░рд╛ рдореЗрдВ рд▓рд╛ рджрд┐рдпрд╛ред
    тЬЕ Accuracy рдореЗрдВ рднрд╛рд░реА рд╕реБрдзрд╛рд░ (Top-5 error rate: 26% тЖТ 15%)

ЁЯФ╣ 2014: GANs рдФрд░ рдХрд▓реНрдкрдирд╛рд╢реАрд▓ AI

  • Ian Goodfellow рдиреЗ Generative Adversarial Networks (GANs) рдкреЗрд╢ рдХрд┐рдПред
    ЁЯСЙ рдЕрдм AI рдирдпрд╛ content рдмрдирд╛ рд╕рдХрддрд╛ рдерд╛ тАУ рдЬреИрд╕реЗ рдЪрд┐рддреНрд░, рдЪреЗрд╣рд░рд╛, рд╕рдВрдЧреАрддред

ЁЯФ╣ 2015тАУ2018: Sequence Models рдФрд░ Attention

  • LSTM рдФрд░ GRU рдЬреИрд╕реЗ RNN рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рд▓реЛрдХрдкреНрд░рд┐рдп рд╣реБрдПред
  • 2017: Google рдиреЗ Transformer рдкреЗрдкрд░ рдкреНрд░рдХрд╛рд╢рд┐рдд рдХрд┐рдпрд╛: тАЬAttention is All You NeedтАЭ
    ЁЯСЙ NLP рдореЗрдВ рдХреНрд░рд╛рдВрддрд┐

ЁЯФ╣ 2018тАУ2020: BERT, GPT рдФрд░ Transfer Learning


ЁЯФ╣ 2021тАУ2024: Multimodal, Diffusion рдФрд░ GPT-4 рдпреБрдЧ

  • DALL┬╖E, CLIP, Whisper тАУ Vision + Text + Audio рдХреЛ рдЬреЛрдбрд╝рдиреЗ рд╡рд╛рд▓реЗ рдореЙрдбрд▓
  • Diffusion Models тАУ Stable Diffusion, Imagen рджреНрд╡рд╛рд░рд╛ High-quality image generation
  • ChatGPT (GPT-3.5, GPT-4) тАУ Large Language Models рдиреЗ NLP, tutoring, content creation, рдЖрджрд┐ рдХреЛ рдмрджрд▓ рдбрд╛рд▓рд╛

ЁЯФо рднрд╡рд┐рд╖реНрдп рдХреА рджрд┐рд╢рд╛ (Future Direction)

рддрдХрдиреАрдХрд╕рдВрднрд╛рд╡рд┐рдд рд╡рд┐рдХрд╛рд╕
Self-supervised Learningрдмрд┐рдирд╛ рд▓реЗрдмрд▓ рдХреЗ рдбреЗрдЯрд╛ рд╕реЗ рд╕реАрдЦрдирд╛
Explainable AI (XAI)AI рдХреЗ рдирд┐рд░реНрдгрдпреЛрдВ рдХреЛ рд╕рдордЭрд╛рдирд╛
Efficient AIрдХрдо рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдореЗрдВ рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди
Quantum + Deep Learningрднрд╡рд┐рд╖реНрдп рдХреЗ рд╣рд╛рдЗрдмреНрд░рд┐рдб рдореЙрдбрд▓реНрд╕

ЁЯз╛ рд╕рд╛рд░рд╛рдВрд╢ рддрд╛рд▓рд┐рдХрд╛ (Timeline Summary)

рд╡рд░реНрд╖рдореАрд▓ рдХрд╛ рдкрддреНрдерд░ (Milestone)
1943рдкрд╣рд▓рд╛ Artificial Neuron (McCulloch & Pitts)
1958Perceptron (Rosenblatt)
1986Backpropagation Algorithm
1998LeNet-5 CNN
2006Deep Belief Networks
2012AlexNet тАУ ImageNet рдЬреАрдд
2014GANs тАУ Content Generation
2017Transformers тАУ NLP рдореЗрдВ рдХреНрд░рд╛рдВрддрд┐
2020+GPT, DALL┬╖E, CLIP, Sora

ЁЯза рдЕрднреНрдпрд╛рд╕ рдкреНрд░рд╢реНрди (Practice Questions)

тЭУQ1. Perceptron рдХрд┐рд╕рдиреЗ рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ рдФрд░ рдХрдм?
тЬЕ Frank Rosenblatt, 1958

тЭУQ2. Deep Learning рд╢рдмреНрдж рдХреЛ рдкреНрд░рдЪрд▓рд┐рдд рдХрд░рдиреЗ рдореЗрдВ рдХрд┐рд╕ рдореЙрдбрд▓ рдХреА рднреВрдорд┐рдХрд╛ рдереА?
тЬЕ Deep Belief Networks (2006)

тЭУQ3. AlexNet рдиреЗ рдХреМрди рд╕реА рдкреНрд░рддрд┐рдпреЛрдЧрд┐рддрд╛ рдЬреАрддреА рдФрд░ рдХреНрдпреЛрдВ рдкреНрд░рд╕рд┐рджреНрдз рд╣реБрдЖ?
тЬЕ ImageNet 2012; CNN рдХреЛ рдкреНрд░рд╕рд┐рджреНрдз рдХрд░рдиреЗ рдореЗрдВ рднреВрдорд┐рдХрд╛

тЭУQ4. Transformer рдореЙрдбрд▓ рдХрд┐рд╕ рдкреЗрдкрд░ рдореЗрдВ рдкреЗрд╢ рдХрд┐рдпрд╛ рдЧрдпрд╛?
тЬЕ тАЬAttention is All You NeedтАЭ (2017)

тЭУQ5. GANs рдХрд╛ рдореБрдЦреНрдп рдпреЛрдЧрджрд╛рди рдХреНрдпрд╛ рд╣реИ?
тЬЕ AI рджреНрд╡рд╛рд░рд╛ рдирдИ рд╕рд╛рдордЧреНрд░реА (рдЬреИрд╕реЗ рдЪрд┐рддреНрд░) рдмрдирд╛рдирд╛


тЬЕ рдирд┐рд╖реНрдХрд░реНрд╖ (Conclusion)

Deep Learning рдХрд╛ рд╡рд┐рдХрд╛рд╕ рджрд╢рдХреЛрдВ рдХреА рдореЗрд╣рдирдд, рдЕрдиреБрд╕рдВрдзрд╛рди, рдФрд░ рддрдХрдиреАрдХреА рдкреНрд░рдЧрддрд┐ рдХрд╛ рдкрд░рд┐рдгрд╛рдо рд╣реИред 1943 рдореЗрдВ рдПрдХ рд╕рд░рд▓ рдиреНрдпреВрд░реЙрди рд╕реЗ рд╢реБрд░реВ рд╣реЛрдХрд░ рдЖрдЬ рдпрд╣ рддрдХрдиреАрдХ рдорд╛рдирд╡ рдЬреИрд╕реЗ рд╕реЛрдЪрдиреЗ, рджреЗрдЦрдиреЗ, рдмреЛрд▓рдиреЗ, рдФрд░ рдирд┐рд░реНрдгрдп рд▓реЗрдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛ рдЧрдИ рд╣реИред

Applications of Deep Learning

(рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧ)


Deep Learning рдЖрдЬ рд▓рдЧрднрдЧ рд╣рд░ рдкреНрд░рдореБрдЦ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдЙрдкрдпреЛрдЧ рд╣реЛ рд░рд╣рд╛ рд╣реИ тАУ рд╕реНрд╡рд╛рд╕реНрдереНрдп, рд╢рд┐рдХреНрд╖рд╛, рд░рдХреНрд╖рд╛, рд╡рд┐рддреНрдд, рдСрдЯреЛрдореЛрдмрд╛рдЗрд▓, рдордиреЛрд░рдВрдЬрди, рднрд╛рд╖рд╛, рдЪрд┐рддреНрд░, рдЖрджрд┐ред


ЁЯЦ╝я╕П 1. рдХрдВрдкреНрдпреВрдЯрд░ рд╡рд┐рдЬрд╝рди (Computer Vision)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Face RecognitionрдореЛрдмрд╛рдЗрд▓ рдлреЛрди, CCTV рдореЗрдВ рдЪреЗрд╣рд░рд╛ рдкрд╣рдЪрд╛рдирдирд╛
Object Detectionрд╡рд╛рд╣рди, рд▓реЛрдЧ, рд╡рд╕реНрддреБрдПрдВ рдкрд╣рдЪрд╛рдирдирд╛ (рдЬреИрд╕реЗ YOLO, SSD рдореЙрдбрд▓)
Medical Image AnalysisMRI, CT Scan, X-Ray рд╕реЗ рдмреАрдорд╛рд░рд┐рдпрд╛рдБ рдкрд╣рдЪрд╛рдирдирд╛
Self-Driving CarsрдХреИрдорд░рд╛ рд╕реЗ рдЖрдиреЗ рд╡рд╛рд▓реА рдЫрд╡рд┐рдпреЛрдВ рдХреЛ рд╕рдордЭрдирд╛ рдФрд░ рдирд┐рд░реНрдгрдп рд▓реЗрдирд╛
Image Captioningрддрд╕реНрд╡реАрд░реЗрдВ рджреЗрдЦрдХрд░ рдЙрдирдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╡рд╛рдХреНрдп рдмрдирд╛рдирд╛

ЁЯЧгя╕П 2. рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг (Natural Language Processing – NLP)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Language TranslationGoogle Translate рдЬреИрд╕реА рд╕реЗрд╡рд╛рдПрдВ
Sentiment AnalysisрдЯреНрд╡реАрдЯ рдпрд╛ рд░рд┐рд╡реНрдпреВ рдХреЗ рднрд╛рд╡ рдХреЛ рд╕рдордЭрдирд╛
Chatbots / Virtual AssistantsAlexa, Siri, Google Assistant
Question AnsweringрдЬреИрд╕реЗ ChatGPT, BERT, GPT рджреНрд╡рд╛рд░рд╛ рдЬрд╡рд╛рдм рджреЗрдирд╛
Text Summarizationрд▓рдВрдмреЗ рд▓реЗрдЦреЛрдВ рдХрд╛ рд╕рд╛рд░рд╛рдВрд╢ рдмрдирд╛рдирд╛

ЁЯза 3. рд╣реЗрд▓реНрдердХреЗрдпрд░ (Healthcare)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Cancer DetectionSkin, breast, lung cancer рдХреЛ рдЬрд▓реНрджреА рдкрд╣рдЪрд╛рдирдирд╛
Drug DiscoveryрдирдИ рджрд╡рд╛рдУрдВ рдХреЗ рдкреНрд░рднрд╛рд╡ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░рдирд╛
Medical Chatbotsрд░реЛрдЧреА рд╕реЗ рдмрд╛рдд рдХрд░рдХреЗ рдмреАрдорд╛рд░реА рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдирд╛
GenomicsDNA Sequencing рдФрд░ Genetic рдмреАрдорд╛рд░реА рдХреА рдкрд╣рдЪрд╛рди

ЁЯЪЧ 4. рдСрдЯреЛрдореЛрдмрд╛рдЗрд▓ (Autonomous Vehicles)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Self-driving CarsTesla, Waymo тАУ рд╕реЗрдВрд╕рд░, рдХреИрдорд░рд╛ рдФрд░ DL рдЖрдзрд╛рд░рд┐рдд рдирд┐рдпрдВрддреНрд░рдг
Lane Detectionрд╕рдбрд╝рдХ рдХреА рд░реЗрдЦрд╛рдУрдВ рдХреА рдкрд╣рдЪрд╛рди
Collision PredictionрдЯрдХреНрдХрд░ рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рдХрд╛ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди

ЁЯУИ 5. рд╡рд┐рддреНрддреАрдп рдХреНрд╖реЗрддреНрд░ (Finance)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Fraud DetectionрдмреИрдВрдХ рдЯреНрд░рд╛рдВрдЬреИрдХреНрд╢рди рдореЗрдВ рдзреЛрдЦрд╛рдзрдбрд╝реА рдкрдХрдбрд╝рдирд╛
Stock Market Predictionрд╢реЗрдпрд░ рдХреА рдХреАрдорддреЗрдВ рдЕрдиреБрдорд╛рдирд┐рдд рдХрд░рдирд╛
Credit ScoringрдЛрдг рдкрд╛рддреНрд░рддрд╛ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди

ЁЯЫ░я╕П 6. рдбрд┐рдлреЗрдВрд╕ рдФрд░ рд╕реБрд░рдХреНрд╖рд╛ (Defense & Security)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Surveillanceрд╡реАрдбрд┐рдпреЛ рд╕реЗ рд╕рдВрджрд┐рдЧреНрдз рдЧрддрд┐рд╡рд┐рдзрд┐рдпреЛрдВ рдХреА рдкрд╣рдЪрд╛рди
Satellite Image AnalysisрджреБрд╢реНрдорди рдХреА рдЧрддрд┐рд╡рд┐рдзрд┐рдпреЛрдВ рдкрд░ рдирдЬрд░
Target DetectionрдбреНрд░реЛрди рд╕реЗ рд▓рдХреНрд╖реНрдп рдкрд╣рдЪрд╛рдирдирд╛

ЁЯОи 7. рдХрд▓рд╛ рдФрд░ рд░рдЪрдирд╛рддреНрдордХрддрд╛ (Art & Creativity)

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Image GenerationGANs рджреНрд╡рд╛рд░рд╛ рдЪрд┐рддреНрд░ рдмрдирд╛рдирд╛ (рдЬреИрд╕реЗ DALL┬╖E)
Music CompositionAI рджреНрд╡рд╛рд░рд╛ рдирдпрд╛ рд╕рдВрдЧреАрдд рдмрдирд╛рдирд╛
Style TransferрдПрдХ рдЪрд┐рддреНрд░ рдХреА рд╢реИрд▓реА рдХреЛ рджреВрд╕рд░реЗ рдореЗрдВ рд▓рдЧрд╛рдирд╛

ЁЯУ▒ 8. рд╕реЛрд╢рд▓ рдореАрдбрд┐рдпрд╛ рдФрд░ рд╡реЗрдм рдПрдкреНрд▓реАрдХреЗрд╢рди

рдЙрдкрдпреЛрдЧрд╡рд┐рд╡рд░рдг
Recommendation SystemsNetflix, YouTube тАУ рдЖрдкрдХреЗ рд░реБрдЪрд┐ рдЕрдиреБрд╕рд╛рд░ рд╕реБрдЭрд╛рд╡
Spam DetectionрдИрдореЗрд▓ рдореЗрдВ рд╕реНрдкреИрдо рдХреА рдкрд╣рдЪрд╛рди
Face FiltersInstagram/Snapchat тАУ рдЪреЗрд╣рд░рд╛ рдкрд╣рдЪрд╛рди рдХрд░ рдлрд╝рд┐рд▓реНрдЯрд░ рд▓рдЧрд╛рдирд╛

ЁЯз╛ рд╕рд╛рд░рд╛рдВрд╢ (Summary Table)

рдХреНрд╖реЗрддреНрд░рдЕрдиреБрдкреНрд░рдпреЛрдЧ рдЙрджрд╛рд╣рд░рдг
VisionFace Detection, Object Classification
NLPChatbots, Machine Translation
HealthCancer Diagnosis, Drug Prediction
AutoSelf-driving Cars, Lane Detection
FinanceFraud Detection, Credit Scoring
CreativityAI Art, Deepfake, GANs

ЁЯУЪ рдЕрднреНрдпрд╛рд╕ рдкреНрд░рд╢реНрди (Practice Questions)

тЭУQ1. Self-driving car рдореЗрдВ Deep Learning рдХрд╛ рдХреМрди рд╕рд╛ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИ?
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: рдХреИрдорд░рд╛ рджреНрд╡рд╛рд░рд╛ рд╡рд╕реНрддреБ рдкрд╣рдЪрд╛рдирдирд╛ рдФрд░ рдирд┐рд░реНрдгрдп рд▓реЗрдирд╛


тЭУQ2. ChatGPT рдХрд┐рд╕ рдкреНрд░рдХрд╛рд░ рдХрд╛ Deep Learning рдЖрдзрд╛рд░рд┐рдд рдЕрдиреБрдкреНрд░рдпреЛрдЧ рд╣реИ?
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: Natural Language Processing (NLP)


тЭУQ3. GANs рдХрд╛ рдореБрдЦреНрдп рдЙрдкрдпреЛрдЧ рдХреНрдпрд╛ рд╣реИ?
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: рдирдпрд╛ рдХрдВрдЯреЗрдВрдЯ (рдЬреИрд╕реЗ рдЪрд┐рддреНрд░ рдпрд╛ рд╡реАрдбрд┐рдпреЛ) рдмрдирд╛рдирд╛


тЭУQ4. Recommendation System рдореЗрдВ Deep Learning рдХрд╛ рдЙрджрд╛рд╣рд░рдг рдмрддрд╛рдЗрдПред
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: YouTube рдпрд╛ Netflix рдкрд░ рдкрд╕рдВрдж рдХреЗ рдЕрдиреБрд╕рд╛рд░ рд╡реАрдбрд┐рдпреЛ рд╕реБрдЭрд╛рдирд╛


тЬЕ рдирд┐рд╖реНрдХрд░реНрд╖:

Deep Learning рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреА рд╕реАрдорд╛ рдХреЗрд╡рд▓ рдХрд▓реНрдкрдирд╛ рддрдХ рд╕реАрдорд┐рдд рд╣реИред рдЖрдЬ рдпрд╣ рддрдХрдиреАрдХ рдордиреБрд╖реНрдп рдХреЗ рдЕрдиреБрднрд╡ рдХреЛ рдорд╢реАрдиреЛрдВ рдореЗрдВ рд▓рд╛рдиреЗ рдХрд╛ рдХрд╛рд░реНрдп рдХрд░ рд░рд╣реА рд╣реИ тАФ рдЪрд╛рд╣реЗ рд╡рд╣ рдбреЙрдХреНрдЯрд░ рд╣реЛ, рдбреНрд░рд╛рдЗрд╡рд░, рдЕрдиреБрд╡рд╛рджрдХ рдпрд╛ рдЪрд┐рддреНрд░рдХрд╛рд░ред

Machine Learning рдФрд░ Deep Learning рдореЗрдВ рдЕрдВрддрд░

(Difference between Machine Learning and Deep Learning)


ЁЯза 1. рдкрд░рд┐рднрд╛рд╖рд╛ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдЕрдВрддрд░

рдмрд┐рдВрджреБрдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ (Machine Learning)рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ (Deep Learning)
рдкрд░рд┐рднрд╛рд╖рд╛рдПрдХ рддрдХрдиреАрдХ рдЬрд┐рд╕рдореЗрдВ рдореЙрдбрд▓ рдЗрдВрд╕рд╛рдиреЛрдВ рджреНрд╡рд╛рд░рд╛ рдмрдирд╛рдП рдЧрдП рдлреАрдЪрд░реНрд╕ рд╕реЗ рд╕реАрдЦрддрд╛ рд╣реИрдПрдХ рддрдХрдиреАрдХ рдЬрд┐рд╕рдореЗрдВ рдореЙрдбрд▓ рдЦреБрдж рдбреЗрдЯрд╛ рд╕реЗ рдлреАрдЪрд░реНрд╕ рд╕реАрдЦрддрд╛ рд╣реИ
рдирд┐рд░реНрднрд░рддрд╛Manual feature extraction рдкрд░ рдирд┐рд░реНрднрд░Automatic feature extraction

ЁЯТ╛ 2. рдбреЗрдЯрд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛

рдмрд┐рдВрджреБрдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧрдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ
рдбреЗрдЯрд╛ рдХреА рдорд╛рддреНрд░рд╛рдХрдо рдбреЗрдЯрд╛ рдкрд░ рднреА рдареАрдХ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИрдЕрдЪреНрдЫреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд рдмрдбрд╝рд╛ рдбреЗрдЯрд╛ рдЪрд╛рд╣рд┐рдП

тЪЩя╕П 3. рдПрд▓реНрдЧреЛрд░рд┐рджреНрдо рдФрд░ рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░

рдмрд┐рдВрджреБрдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧрдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ
рдЙрджрд╛рд╣рд░рдг рдПрд▓реНрдЧреЛрд░рд┐рджреНрдоLinear Regression, Decision Trees, SVMCNN, RNN, Transformers
рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░рд╕рд░рд▓ рдФрд░ рд╡реНрдпрд╛рдЦреНрдпрд╛рддреНрдордХрдЬрдЯрд┐рд▓ рдФрд░ рдЧрд╣рд░рд╛рдИ рдореЗрдВ рдЕрдиреЗрдХ layers (deep)

ЁЯЦея╕П 4. рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдФрд░ рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ

рдмрд┐рдВрджреБрдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧрдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ
рдХрдВрдкреНрдпреВрдЯреЗрд╢рдиCPU рдкрд░реНрдпрд╛рдкреНрдд рд╣реЛрддрд╛ рд╣реИGPU/TPU рдЖрд╡рд╢реНрдпрдХ
Training TimeрддреЗрдЬрд╝ (рдЫреЛрдЯреЗ рдореЙрдбрд▓)рдзреАрдорд╛ (complex networks)

ЁЯзк 5. рдирд┐рд╖реНрдкрд╛рджрди рдФрд░ рдкреНрд░рджрд░реНрд╢рди

рдмрд┐рдВрджреБрдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧрдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ
Accuracyрд╕реАрдорд┐рдд, рдЫреЛрдЯреЗ рдбреЗрдЯрд╛ рдкрд░ рдЕрдЪреНрдЫрд╛рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдкрд░ рдЕрддреНрдпрдзрд┐рдХ рд╕рдЯреАрдХрддрд╛
GeneralizationрдЖрд╕рд╛рдиOverfitting рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рдЕрдзрд┐рдХ

ЁЯМН 6. рдЕрдиреБрдкреНрд░рдпреЛрдЧ (Applications)

рдХреНрд╖реЗрддреНрд░ML рдЙрджрд╛рд╣рд░рдгDL рдЙрджрд╛рд╣рд░рдг
рд╕реНрд╡рд╛рд╕реНрдереНрдпрд░реЛрдЧ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА (SVM)рдХреИрдВрд╕рд░ рдкрд╣рдЪрд╛рди (CNN)
NLPSpam Detection (Naive Bayes)ChatGPT, BERT
рд╡рд┐рдЬрд╝рдиSimple Face DetectionReal-time Face Recognition

ЁЯУМ рд╕рд╛рд░рд╛рдВрд╢ рддрд╛рд▓рд┐рдХрд╛

рд╡рд┐рд╢реЗрд╖рддрд╛Machine LearningDeep Learning
Feature EngineeringManualAutomatic
рдбреЗрдЯрд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛рдХрдордЕрдзрд┐рдХ
Processing PowerLowHigh
InterpretabilityHighLow
Performance on Big DataLimitedExcellent
Real-time UseрдХрднреА-рдХрднреАYes (Voice Assistants, Autonomous Cars)

ЁЯОУ рдЙрджрд╛рд╣рд░рдг рд╕реЗ рд╕рдордЭреЗрдВ:

тЬЕ Machine Learning:
рдорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЛ рд╣рд╛рде рд╕реЗ рд▓рд┐рдЦреЗ рд╣реБрдП рдирдВрдмрд░ рдкрд╣рдЪрд╛рдирдиреЗ рд╣реИрдВред рдЖрдк manually рдХреБрдЫ features рдмрдирд╛рдПрдБрдЧреЗ: рдХрд┐рдирд╛рд░реЛрдВ рдХреА рдЧрд┐рдирддреА, рд░реЗрдЦрд╛рдУрдВ рдХреА рджрд┐рд╢рд╛ рдЖрджрд┐ред рдлрд┐рд░ рдЖрдк Decision Tree рдпрд╛ SVM рдХрд╛ рдкреНрд░рдпреЛрдЧ рдХрд░реЗрдВрдЧреЗред

тЬЕ Deep Learning:
рдпрд╣ рдХрд╛рд░реНрдп CNN рдЦреБрдж рд╕реЗ рд╕реАрдЦ рд▓реЗрдЧрд╛ рдХрд┐ тАЬ0тАЭ рдФрд░ тАЬ8тАЭ рдореЗрдВ рдХреНрдпрд╛ рдлрд╝рд░реНрдХ рд╣реИ тАУ рдмрд┐рдирд╛ рдмрддрд╛рдП рдХрд┐ рдХрд┐рдирд╛рд░реЛрдВ рдпрд╛ рдШреБрдорд╛рд╡ рдХреЛ рджреЗрдЦреЛред


ЁЯУЪ рдЕрднреНрдпрд╛рд╕ рдкреНрд░рд╢реНрди (Quiz)

тЭУQ1. Deep Learning рдореЗрдВ рдлреАрдЪрд░реНрд╕ рдХреИрд╕реЗ рдкреНрд░рд╛рдкреНрдд рд╣реЛрддреЗ рд╣реИрдВ?
(A) Manual рджреНрд╡рд╛рд░рд╛
(B) AutoML рджреНрд╡рд╛рд░рд╛
(C) Model рджреНрд╡рд╛рд░рд╛ рд╕реНрд╡рддрдГ
(D) рдбреЗрдЯрд╛ рд╕рд╛рдЗрдВрдЯрд┐рд╕реНрдЯ рджреНрд╡рд╛рд░рд╛
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: (C)


тЭУQ2. рдХрд┐рд╕ рддрдХрдиреАрдХ рдХреЛ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдкрд░ рдмреЗрд╣рддрд░ рдорд╛рдирд╛ рдЬрд╛рддрд╛ рд╣реИ?
(A) Machine Learning
(B) Shallow Learning
(C) Deep Learning
(D) Linear Regression
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: (C)


тЭУQ3. GPU рдХрд┐рд╕рдореЗрдВ рдЖрд╡рд╢реНрдпрдХ рд╣реЛрддрд╛ рд╣реИ?
(A) Traditional Algorithms
(B) SVM
(C) Deep Learning Neural Networks
(D) HTML Rendering
тЬЕ рд╕рд╣реА рдЙрддреНрддрд░: (C)

What is Deep Learning?

(рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХреНрдпрд╛ рд╣реИ?)

Deep Learning рдПрдХ рд╡рд┐рд╢реЗрд╖ рдкреНрд░рдХрд╛рд░ рдХреА рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рддрдХрдиреАрдХ рд╣реИ рдЬреЛ Artificial Neural Networks (ANNs) рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реЛрддреА рд╣реИред рдпрд╣ рдорд╛рдирд╡ рдорд╕реНрддрд┐рд╖реНрдХ рдХреА рддрд░рд╣ рд╕рдВрд░рдЪрд┐рдд рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдбреЗрдЯрд╛ рд╕реЗ рд╕реНрд╡рддрдГ рд╕реАрдЦрдиреЗ (self-learning) рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛрддреА рд╣реИ, рд╡рд┐рд╢реЗрд╖рдХрд░ рддрдм рдЬрдм рдбреЗрдЯрд╛ рдмрд╣реБрдд рдЕрдзрд┐рдХ рдФрд░ рдЬрдЯрд┐рд▓ рд╣реЛред

ЁЯФм рд╕рд░рд▓ рдкрд░рд┐рднрд╛рд╖рд╛:

Deep Learning рдПрдХ рдРрд╕реА рд╡рд┐рдзрд┐ рд╣реИ рдЬреЛ рдХрдВрдкреНрдпреВрдЯрд░ рдХреЛ рддрд╕реНрд╡реАрд░реЗрдВ рдкрд╣рдЪрд╛рдирдиреЗ, рднрд╛рд╖рд╛рдПрдБ рд╕рдордЭрдиреЗ, рдЖрд╡рд╛рдЬрд╝ рдХреЛ рд╕реБрдирдиреЗ, рдФрд░ рдирд┐рд░реНрдгрдп рд▓реЗрдиреЗ рдЬреИрд╕реЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдХрд░рдиреЗ рдпреЛрдЧреНрдп рдмрдирд╛рддреА рд╣реИ, рдмрд┐рдирд╛ рдХрд┐рд╕реА рд╕реНрдкрд╖реНрдЯ рдирд┐рдпрдореЛрдВ рдХреА рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдХреЗред


ЁЯза рдХреНрдпреЛрдВ рдХрд╣рддреЗ рд╣реИрдВ рдЗрд╕реЗ тАЬDeepтАЭ?

Deep Learning рдореЗрдВ рдЬреЛ Neural Network рдкреНрд░рдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИ, рд╡рд╣ рдХрдИ рд╕реНрддрд░реЛрдВ (layers) рдореЗрдВ рдмрдВрдЯрд╛ рд╣реЛрддрд╛ рд╣реИ:

  • Input Layer
  • Hidden Layers (1 рд╕реЗ 100+ рддрдХ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВ)
  • Output Layer

рдЗрди Multiple Hidden Layers рдХреА рдЧрд╣рд░рд╛рдИ (depth) рд╣реА рдЗрд╕реЗ тАЬDeepтАЭ рдмрдирд╛рддреА рд╣реИред


ЁЯУМ Deep Learning рдХреЗ рдореБрдЦреНрдп рдШрдЯрдХ:

рдШрдЯрдХ (Component)рдХрд╛рд░реНрдп (Function)
Neurons (Nodes)рдЬрд╛рдирдХрд╛рд░реА рдХреЛ рдкреНрд░реЛрд╕реЗрд╕ рдХрд░рддреЗ рд╣реИрдВ
Layersрд╕реВрдЪрдирд╛ рдХреЛ рдкрд░рдд рджрд░ рдкрд░рдд рдкреНрд░рд╕рд╛рд░рд┐рдд рдХрд░рддреЗ рд╣реИрдВ
Weights & Biasesрд╕реАрдЦрдиреЗ рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░рддреЗ рд╣реИрдВ
Activation Functionsрдирд┐рд░реНрдгрдп рд▓реЗрддреЗ рд╣реИрдВ рдХрд┐ рдХреМрди рд╕реА рдЬрд╛рдирдХрд╛рд░реА рдЖрдЧреЗ рдмрдврд╝реЗ

тЪЩя╕П Deep Learning рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ?

  1. Input Data (рдЬреИрд╕реЗ Image рдпрд╛ Text) рдХреЛ рдореЙрдбрд▓ рдореЗрдВ рднреЗрдЬрд╛ рдЬрд╛рддрд╛ рд╣реИред
  2. Hidden Layers рдЙрд╕ рдбреЗрдЯрд╛ рд╕реЗ рдкреИрдЯрд░реНрди рдФрд░ рдлреАрдЪрд░реНрд╕ рдирд┐рдХрд╛рд▓рддреА рд╣реИрдВред
  3. Output Layer рдЕрдВрддрд┐рдо рдирд┐рд░реНрдгрдп рджреЗрддреА рд╣реИ (рдЬреИрд╕реЗ рдпрд╣ “рдмрд┐рд▓реНрд▓реА” рд╣реИ рдпрд╛ “рдХреБрддреНрддрд╛”)ред
  4. Training рдХреЗ рджреМрд░рд╛рди рдореЙрдбрд▓ рдЕрдкрдиреЗ weights рдХреЛ adjust рдХрд░рддрд╛ рд╣реИ рддрд╛рдХрд┐ рдЙрд╕рдХрд╛ рдЬрд╡рд╛рдм рд╕рд╣реА рд╣реЛрддрд╛ рдЬрд╛рдПред

ЁЯОп Deep Learning рдХреЗ рдлрд╝рд╛рдпрджреЗ:

  • рдХрд┐рд╕реА рднреА рдЬрдЯрд┐рд▓ рдХрд╛рд░реНрдп рдХреЛ рд╕рд┐рдЦрд╛рдиреЗ рдХреА рдХреНрд╖рдорддрд╛ (рдЬреИрд╕реЗ Self-driving cars)
  • Automatic feature extraction
  • Human-level accuracy рддрдХ рдкрд╣реБрдБрдЪрдиреЗ рдХреА рдХреНрд╖рдорддрд╛

тЭМ рдЪреБрдиреМрддрд┐рдпрд╛рдБ:

  • рдЕрдзрд┐рдХ рдбреЗрдЯрд╛ рдФрд░ рд╕рдВрд╕рд╛рдзрдиреЛрдВ (GPU/TPU) рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛
  • рд╡реНрдпрд╛рдЦреНрдпрд╛ (Explainability) рдХрдард┐рди рд╣реЛрддреА рд╣реИ
  • Training рд╕рдордп рдЬрд╝реНрдпрд╛рджрд╛ рд▓рдЧрддрд╛ рд╣реИ

ЁЯза рдПрдХ рдЙрджрд╛рд╣рд░рдг:

рдЬрдм рд╣рдо рдХрд┐рд╕реА рдПрдкреНрдк рдореЗрдВ “Dog” рд╕рд░реНрдЪ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рд╡рд╣ рд╕рднреА рдХреБрддреНрддреЗ рдХреА рддрд╕реНрд╡реАрд░реЗрдВ рджрд┐рдЦрд╛ рджреЗрддрд╛ рд╣реИ тАФ рдпрд╣ Deep Learning рдореЙрдбрд▓ рджреНрд╡рд╛рд░рд╛ image recognition рдХрд╛ рдХрдорд╛рд▓ рд╣реИред


ЁЯз╛ рдирд┐рд╖реНрдХрд░реНрд╖ (Conclusion)

Deep Learning рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛ рдХреА рдПрдХ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рд╢рд╛рдЦрд╛ рд╣реИ рдЬреЛ Artificial Neural Networks рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реИред рдЗрд╕рдХреА рд╕рд╣рд╛рдпрддрд╛ рд╕реЗ рдХрдВрдкреНрдпреВрдЯрд░ рдЬрдЯрд┐рд▓ рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдмрд┐рдирд╛ рд╕реНрдкрд╖реНрдЯ рдирд┐рд░реНрджреЗрд╢реЛрдВ рдХреЗ рд╕реНрд╡рдпрдВ рд╕реАрдЦрдиреЗ рдФрд░ рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред

рдЕрдзреНрдпрд╛рдп 1: рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХрд╛ рдкрд░рд┐рдЪрдп

(Chapter 1: Introduction to Deep Learning)


ЁЯФН 1.1 рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХреНрдпрд╛ рд╣реИ?

(What is Deep Learning?)

Deep Learning рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдХреА рдПрдХ рд╢рд╛рдЦрд╛ рд╣реИ, рдЬреЛ рдорд╛рдирд╡ рдорд╕реНрддрд┐рд╖реНрдХ рдХреА рддрд░рд╣ рдХрд╛рд░реНрдп рдХрд░рдиреЗ рд╡рд╛рд▓реЗ Artificial Neural Networks (ANNs) рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╣реЛрддреА рд╣реИред рдЗрд╕рдореЗрдВ рдбреЗрдЯрд╛ рд╕реЗ рд╕реНрд╡рдд: рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдБ (features) рд╕реАрдЦреА рдЬрд╛рддреА рд╣реИрдВ рдФрд░ рдирд┐рд░реНрдгрдп рд▓рд┐рдП рдЬрд╛рддреЗ рд╣реИрдВред рдЗрд╕реЗ “deep” рдЗрд╕рд▓рд┐рдП рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рдореЗрдВ рдХрдИ layers рд╣реЛрддреА рд╣реИрдВред

ЁЯза Deep Learning рдХреА рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдВ:

  • рдпрд╣ рдбреЗрдЯрд╛ рд╕реЗ рд╕реНрд╡рдпрдВ рд╕реАрдЦрддрд╛ рд╣реИ, рдЙрд╕реЗ рдореИрдиреНрдпреБрдЕрд▓ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдВрдЧ рдХреА рдЬрд╝рд░реВрд░рдд рдирд╣реАрдВред
  • Deep рдЗрд╕рд▓рд┐рдП рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рдореЗрдВ рдХрдИ Hidden Layers рд╣реЛрддреА рд╣реИрдВред
  • рдпрд╣ рдмрд╣реБрдд рдмрдбрд╝реЗ рдорд╛рддреНрд░рд╛ рдореЗрдВ рдбреЗрдЯрд╛ рдФрд░ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рд╕рдВрд╕рд╛рдзрдиреЛрдВ (рдЬреИрд╕реЗ GPU) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред

ЁЯУМ рдЙрджрд╛рд╣рд░рдг:

  • рдЖрдк рдЬрдм Google Photos рдореЗрдВ рдХрд┐рд╕реА рдХреЛ “Dog” рд▓рд┐рдЦрдХрд░ рд╕рд░реНрдЪ рдХрд░рддреЗ рд╣реИрдВ рдФрд░ рд╡рд╣ рдЖрдкрдХреЛ рдХреБрддреНрддреЗ рдХреА рддрд╕реНрд╡реАрд░реЗрдВ рджрд┐рдЦрд╛ рджреЗрддрд╛ рд╣реИ тАУ рддреЛ рдпрд╣ Deep Learning рдХрд╛ рд╣реА рдХрдорд╛рд▓ рд╣реИред

ЁЯФБ 1.2 рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдФрд░ рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдореЗрдВ рдЕрдВрддрд░

(Difference between Machine Learning and Deep Learning)

рдЖрдзрд╛рд░рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ (ML)рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ (DL)
рдкрд░рд┐рднрд╛рд╖рд╛рдПрдХ рддрдХрдиреАрдХ рдЬрд┐рд╕рдореЗрдВ рдореЙрдбрд▓ рдЗрдВрд╕рд╛рдиреЛрдВ рджреНрд╡рд╛рд░рд╛ рджреА рдЧрдИ рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ (features) рдкрд░ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИрдПрдХ рддрдХрдиреАрдХ рдЬреЛ рд╕реНрд╡рдпрдВ рдбреЗрдЯрд╛ рд╕реЗ features рд╕реАрдЦрддрд╛ рд╣реИ
рдбреЗрдЯрд╛ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛рдХрдордмрд╣реБрдд рдЕрдзрд┐рдХ
рдлреАрдЪрд░ рдПрдХреНрд╕рдЯреНрд░реИрдХреНрд╢рдирдореИрдиреБрдЕрд▓рдСрдЯреЛрдореЗрдЯрд┐рдХ
рдПрд▓реНрдЧреЛрд░рд┐рджреНрдоDecision Trees, SVM, kNNNeural Networks, CNN, RNN
рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдбрд┐рдкреЗрдВрдбреЗрдВрд╕реАрдХрдоGPU рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛
рдкреНрд░рджрд░реНрд╢рди (рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдкрд░)рд╕реАрдорд┐рддрдмрд╣реБрдд рдкреНрд░рднрд╛рд╡рд╢рд╛рд▓реА
рдЯреНрд░реЗрдирд┐рдВрдЧ рдЯрд╛рдЗрдордХрдордЕрдзрд┐рдХ

ЁЯОп рдирд┐рд╖реНрдХрд░реНрд╖:

Deep Learning, Machine Learning рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдЕрдзрд┐рдХ рд╕реНрд╡рд╛рдпрддреНрдд, рд╕реНрдХреЗрд▓реЗрдмрд▓ рдФрд░ рдкреНрд░рднрд╛рд╡рд╢рд╛рд▓реА рд╣реИ, рд╡рд┐рд╢реЗрд╖рдХрд░ рдмрдбрд╝реЗ рдбреЗрдЯрд╛ рдкрд░ред


ЁЯЫая╕П 1.3 рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХреЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧ

(Applications of Deep Learning)

Deep Learning рдЖрдЬ рд▓рдЧрднрдЧ рд╣рд░ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдЙрдкрдпреЛрдЧ рд╣реЛ рд░рд╣рд╛ рд╣реИ, рдЬреИрд╕реЗ:

рдХреНрд╖реЗрддреНрд░рдЕрдиреБрдкреНрд░рдпреЛрдЧ
ЁЯЦ╝я╕П рдХрдВрдкреНрдпреВрдЯрд░ рд╡рд┐рдЬрд╝рдиFace Recognition, Object Detection, Medical Image Analysis
ЁЯЧгя╕П NLP (рднрд╛рд╖рд╛)Machine Translation, Sentiment Analysis, Chatbots
ЁЯза рд╕реНрд╡рд╛рд╕реНрдереНрдпрдХреИрдВрд╕рд░ рдкрд╣рдЪрд╛рди, рд╣реГрджрдп рд░реЛрдЧ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА, MRI Scan Interpretation
ЁЯУИ рд╡рд┐рддреНрддFraud Detection, Stock Market Prediction
ЁЯЪЧ рдСрдЯреЛрдореЛрдмрд╛рдЗрд▓Self-Driving Cars (Tesla, Waymo)
ЁЯХ╣я╕П рдЧреЗрдорд┐рдВрдЧAI Game Agents (AlphaGo, OpenAI Five)
ЁЯОи рдХреНрд░рд┐рдПрдЯрд┐рд╡AI-generated Art, Music, Story Generation
ЁЯЫ░я╕П рдбрд┐рдлреЗрдВрд╕/рд╕реНрдкреЗрд╕Satellite Image Analysis, Surveillance

ЁЯУЬ 1.4 рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХрд╛ рдЗрддрд┐рд╣рд╛рд╕ рдФрд░ рд╡рд┐рдХрд╛рд╕

(History and Evolution of Deep Learning)

рд╡рд░реНрд╖рдШрдЯрдирд╛ / рдпреЛрдЧрджрд╛рди
1943McCulloch & Pitts рдиреЗ рдкрд╣рд▓рд╛ рдХреГрддреНрд░рд┐рдо рдиреНрдпреВрд░реЙрди рдореЙрдбрд▓ рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдпрд╛
1958Frank Rosenblatt рдиреЗ Perceptron рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ тАУ рдкрд╣рд▓рд╛ neural network рдореЙрдбрд▓
1986Backpropagation Algorithm (Rumelhart, Hinton) тАУ Learning Possible рд╣реБрдЖ
1998Yann LeCun рдиреЗ LeNet (CNN architecture) рдмрдирд╛рдпрд╛ тАУ Digit Recognition рдХреЗ рд▓рд┐рдП
2006Geoffrey Hinton рдиреЗ Deep Belief Networks рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдП тАУ Deep Learning рд╢рдмреНрдж рдкреНрд░рдЪрд▓рди рдореЗрдВ рдЖрдпрд╛
2012AlexNet рдиреЗ ImageNet рдкреНрд░рддрд┐рдпреЛрдЧрд┐рддрд╛ рдЬреАрддреА тАУ CNN рдЖрдзрд╛рд░рд┐рдд рдмрдбрд╝реА рд╕рдлрд▓рддрд╛
2014GANs (Goodfellow) тАУ Image Generation рдХреА рд╢реБрд░реБрдЖрдд
2017Google рдиреЗ Transformer рдореЙрдбрд▓ рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдпрд╛ тАУ NLP рдХреА рджрд┐рд╢рд╛ рдмрджрд▓реА
2018-2024BERT, GPT, CLIP, DALL┬╖E, Whisper, Sora рдЬреИрд╕реЗ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА Deep Learning рдореЙрдбрд▓ рд╕рд╛рдордиреЗ рдЖрдП

ЁЯЪА рдирд┐рд╖реНрдХрд░реНрд╖:

Deep Learning рдХрд╛ рдЗрддрд┐рд╣рд╛рд╕ рд╢реЛрдз рдФрд░ рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рд╢рдХреНрддрд┐ рджреЛрдиреЛрдВ рдХреА рдорджрдж рд╕реЗ рд▓рдЧрд╛рддрд╛рд░ рд╡рд┐рдХрд╕рд┐рдд рд╣реЛрддрд╛ рд░рд╣рд╛ рд╣реИ рдФрд░ рдЖрдЬ рдпрд╣ AI рдХрд╛ рд╕рдмрд╕реЗ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рдШрдЯрдХ рдмрди рдЪреБрдХрд╛ рд╣реИред


ЁЯУМ рд╕рд╛рд░рд╛рдВрд╢ (Summary)

рдмрд┐рдВрджреБрд╡рд┐рд╡рд░рдг
Deep LearningNeural Networks рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдХрд╛ рдЙрдиреНрдирдд рд░реВрдк
рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдБSelf-learning, Multiple layers, Automatic feature extraction
рдЕрдВрддрд░DL рдЬрд╝реНрдпрд╛рджрд╛ рд╢рдХреНрддрд┐рд╢рд╛рд▓реА рд▓реЗрдХрд┐рди рдЕрдзрд┐рдХ рдбреЗрдЯрд╛ рдФрд░ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ
рдЙрдкрдпреЛрдЧVision, NLP, Health, Finance, Games рдЖрджрд┐
рдЗрддрд┐рд╣рд╛рд╕1943 рд╕реЗ рд▓реЗрдХрд░ рдЖрдЬ рддрдХ рдХрд╛ рд╡рд┐рдХрд╛рд╕ тАУ Perceptron рд╕реЗ GPT рддрдХ

ЁЯза рдЕрднреНрдпрд╛рд╕ рдкреНрд░рд╢реНрди (Practice Questions)

  1. Deep Learning рдХреЛ тАЬDeepтАЭ рдХреНрдпреЛрдВ рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ?
  2. Machine Learning рдФрд░ Deep Learning рдореЗрдВ рдХреНрдпрд╛ рдкреНрд░рдореБрдЦ рдЕрдВрддрд░ рд╣реИрдВ?
  3. Computer Vision рдореЗрдВ Deep Learning рдХрд╛ рдХреИрд╕реЗ рдЙрдкрдпреЛрдЧ рд╣реЛрддрд╛ рд╣реИ?
  4. AlexNet рдХрд┐рд╕ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдХреНрд░рд╛рдВрддрд┐ рд▓реЗрдХрд░ рдЖрдпрд╛ рдФрд░ рдХрдм?
  5. GANs рдХреНрдпрд╛ рд╣реИрдВ рдФрд░ рдХрд┐рд╕рдиреЗ рдЗрдиреНрд╣реЗрдВ рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдпрд╛?