(рдбреАрдк рд▓рд░реНрдирд┐рдВрдЧ рдХрд╛ рдЗрддрд┐рд╣рд╛рд╕ рдФрд░ рд╡рд┐рдХрд╛рд╕)
ЁЯФ╣ 1940sтАУ1950s: рдиреАрдВрд╡ рдХреА рд╢реБрд░реБрдЖрдд
- 1943: McCulloch & Pitts рдиреЗ рдкрд╣рд▓рд╛ рдХреГрддреНрд░рд┐рдо рдиреНрдпреВрд░реЙрди рдореЙрдбрд▓ рдкреЗрд╢ рдХрд┐рдпрд╛ред
ЁЯСЙ рдпрд╣ рдореЙрдбрд▓ Binary Input/Output рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдерд╛ред - 1958: Frank Rosenblatt рдиреЗ Perceptron рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ тАУ рдкрд╣рд▓рд╛ рд╕рд╛рдзрд╛рд░рдг Neural Networkред
ЁЯСЙ рдпрд╣ supervised learning рдореЗрдВ рдЙрдкрдпреЛрдЧ рд╣реБрдЖред
ЁЯФ╣ 1960sтАУ1980s: рд░реБрдЪрд┐ рдореЗрдВ рдЙрддрд╛рд░-рдЪрдврд╝рд╛рд╡
- рдЗрд╕ рд╕рдордп рд╢реЛрдз рдЬрд╛рд░реА рд░рд╣рд╛ рд▓реЗрдХрд┐рди рд╕реАрдорд┐рдд рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рд╢рдХреНрддрд┐ рдФрд░ рдбрд╛рдЯрд╛ рдХреА рдХрдореА рдХреЗ рдХрд╛рд░рдг рдкреНрд░рдЧрддрд┐ рдзреАрдореА рд░рд╣реАред
- 1970s: Marvin Minsky рдиреЗ Perceptron рдХреА рд╕реАрдорд╛рдУрдВ рдХреЛ рдЙрдЬрд╛рдЧрд░ рдХрд┐рдпрд╛ (XOR Problem) тАУ рдЗрд╕рд╕реЗ рд░реБрдЪрд┐ рдШрдЯ рдЧрдИред
ЁЯФ╣ 1986: Backpropagation рдХреНрд░рд╛рдВрддрд┐
- Rumelhart, Hinton рдФрд░ Williams рдиреЗ Backpropagation Algorithm рдХреЛ рдкреНрд░рд╕реНрддреБрдд рдХрд┐рдпрд╛ред
ЁЯСЙ рдЗрд╕рд╕реЗ Multi-layer Neural Networks рдХреЛ training рджреЗрдирд╛ рд╕рдВрднрд╡ рд╣реБрдЖред
ЁЯФ╣ 1998: LeNet-5 рдФрд░ CNN рдХрд╛ рдЬрдиреНрдо
- Yann LeCun рдиреЗ LeNet-5 CNN рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ тАУ рдЗрд╕реЗ USPS рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рд╣рд╕реНрддрд▓рд┐рдЦрд┐рдд рдЕрдВрдХреЛрдВ рдХреА рдкрд╣рдЪрд╛рди рдХреЗ рд▓рд┐рдП рдкреНрд░рдпреЛрдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ред
ЁЯСЙ рдпрд╣ рдкрд╣рд▓рд╛ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ CNN рдореЙрдбрд▓ рдерд╛ред
ЁЯФ╣ 2006: Deep Learning рд╢рдмреНрдж рдХрд╛ рдЖрдЧрдорди
- Geoffrey Hinton рдФрд░ рд╕рд╛рдерд┐рдпреЛрдВ рдиреЗ Deep Belief Networks (DBNs) рдХрд╛ рдкреНрд░рд╕реНрддрд╛рд╡ рд░рдЦрд╛ред
ЁЯСЙ рдпрд╣ unsupervised рдкреНрд░реАрдЯреНрд░реЗрдирд┐рдВрдЧ рдФрд░ deep structure learning рдХреА рд╢реБрд░реБрдЖрдд рдереАред
ЁЯФ╣ 2012: AlexNet рдФрд░ ImageNet рдХреА рдЬреАрдд
- Alex Krizhevsky, Ilya Sutskever рдФрд░ Geoffrey Hinton рдиреЗ AlexNet рдирд╛рдордХ CNN рдмрдирд╛рдпрд╛ред
- рдЗрд╕рдиреЗ ImageNet рдкреНрд░рддрд┐рдпреЛрдЧрд┐рддрд╛ рдореЗрдВ рдкрд╣рд▓рд╛ рд╕реНрдерд╛рди рдкреНрд░рд╛рдкреНрдд рдХрд┐рдпрд╛ рдФрд░ Deep Learning рдХреЛ рдореБрдЦреНрдпрдзрд╛рд░рд╛ рдореЗрдВ рд▓рд╛ рджрд┐рдпрд╛ред
тЬЕ Accuracy рдореЗрдВ рднрд╛рд░реА рд╕реБрдзрд╛рд░ (Top-5 error rate: 26% тЖТ 15%)
ЁЯФ╣ 2014: GANs рдФрд░ рдХрд▓реНрдкрдирд╛рд╢реАрд▓ AI
- Ian Goodfellow рдиреЗ Generative Adversarial Networks (GANs) рдкреЗрд╢ рдХрд┐рдПред
ЁЯСЙ рдЕрдм AI рдирдпрд╛ content рдмрдирд╛ рд╕рдХрддрд╛ рдерд╛ тАУ рдЬреИрд╕реЗ рдЪрд┐рддреНрд░, рдЪреЗрд╣рд░рд╛, рд╕рдВрдЧреАрддред
ЁЯФ╣ 2015тАУ2018: Sequence Models рдФрд░ Attention
- LSTM рдФрд░ GRU рдЬреИрд╕реЗ RNN рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рд▓реЛрдХрдкреНрд░рд┐рдп рд╣реБрдПред
- 2017: Google рдиреЗ Transformer рдкреЗрдкрд░ рдкреНрд░рдХрд╛рд╢рд┐рдд рдХрд┐рдпрд╛: тАЬAttention is All You NeedтАЭ
ЁЯСЙ NLP рдореЗрдВ рдХреНрд░рд╛рдВрддрд┐
ЁЯФ╣ 2018тАУ2020: BERT, GPT рдФрд░ Transfer Learning
- BERT (Google) тАУ Contextual understanding рдореЗрдВ рд╕реБрдзрд╛рд░
- GPT (OpenAI) тАУ Language generation рдореЗрдВ breakthrough
- Transfer Learning рдФрд░ Fine-tuning рдХрд╛ рдЬрд╝рдорд╛рдирд╛ рдЖрдпрд╛
ЁЯФ╣ 2021тАУ2024: Multimodal, Diffusion рдФрд░ GPT-4 рдпреБрдЧ
- DALL┬╖E, CLIP, Whisper тАУ Vision + Text + Audio рдХреЛ рдЬреЛрдбрд╝рдиреЗ рд╡рд╛рд▓реЗ рдореЙрдбрд▓
- Diffusion Models тАУ Stable Diffusion, Imagen рджреНрд╡рд╛рд░рд╛ High-quality image generation
- ChatGPT (GPT-3.5, GPT-4) тАУ Large Language Models рдиреЗ NLP, tutoring, content creation, рдЖрджрд┐ рдХреЛ рдмрджрд▓ рдбрд╛рд▓рд╛
ЁЯФо рднрд╡рд┐рд╖реНрдп рдХреА рджрд┐рд╢рд╛ (Future Direction)
| рддрдХрдиреАрдХ | рд╕рдВрднрд╛рд╡рд┐рдд рд╡рд┐рдХрд╛рд╕ |
|---|---|
| Self-supervised Learning | рдмрд┐рдирд╛ рд▓реЗрдмрд▓ рдХреЗ рдбреЗрдЯрд╛ рд╕реЗ рд╕реАрдЦрдирд╛ |
| Explainable AI (XAI) | AI рдХреЗ рдирд┐рд░реНрдгрдпреЛрдВ рдХреЛ рд╕рдордЭрд╛рдирд╛ |
| Efficient AI | рдХрдо рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдореЗрдВ рдмреЗрд╣рддрд░ рдкреНрд░рджрд░реНрд╢рди |
| Quantum + Deep Learning | рднрд╡рд┐рд╖реНрдп рдХреЗ рд╣рд╛рдЗрдмреНрд░рд┐рдб рдореЙрдбрд▓реНрд╕ |
ЁЯз╛ рд╕рд╛рд░рд╛рдВрд╢ рддрд╛рд▓рд┐рдХрд╛ (Timeline Summary)
| рд╡рд░реНрд╖ | рдореАрд▓ рдХрд╛ рдкрддреНрдерд░ (Milestone) |
|---|---|
| 1943 | рдкрд╣рд▓рд╛ Artificial Neuron (McCulloch & Pitts) |
| 1958 | Perceptron (Rosenblatt) |
| 1986 | Backpropagation Algorithm |
| 1998 | LeNet-5 CNN |
| 2006 | Deep Belief Networks |
| 2012 | AlexNet тАУ ImageNet рдЬреАрдд |
| 2014 | GANs тАУ Content Generation |
| 2017 | Transformers тАУ NLP рдореЗрдВ рдХреНрд░рд╛рдВрддрд┐ |
| 2020+ | GPT, DALL┬╖E, CLIP, Sora |
ЁЯза рдЕрднреНрдпрд╛рд╕ рдкреНрд░рд╢реНрди (Practice Questions)
тЭУQ1. Perceptron рдХрд┐рд╕рдиреЗ рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ рдФрд░ рдХрдм?
тЬЕ Frank Rosenblatt, 1958
тЭУQ2. Deep Learning рд╢рдмреНрдж рдХреЛ рдкреНрд░рдЪрд▓рд┐рдд рдХрд░рдиреЗ рдореЗрдВ рдХрд┐рд╕ рдореЙрдбрд▓ рдХреА рднреВрдорд┐рдХрд╛ рдереА?
тЬЕ Deep Belief Networks (2006)
тЭУQ3. AlexNet рдиреЗ рдХреМрди рд╕реА рдкреНрд░рддрд┐рдпреЛрдЧрд┐рддрд╛ рдЬреАрддреА рдФрд░ рдХреНрдпреЛрдВ рдкреНрд░рд╕рд┐рджреНрдз рд╣реБрдЖ?
тЬЕ ImageNet 2012; CNN рдХреЛ рдкреНрд░рд╕рд┐рджреНрдз рдХрд░рдиреЗ рдореЗрдВ рднреВрдорд┐рдХрд╛
тЭУQ4. Transformer рдореЙрдбрд▓ рдХрд┐рд╕ рдкреЗрдкрд░ рдореЗрдВ рдкреЗрд╢ рдХрд┐рдпрд╛ рдЧрдпрд╛?
тЬЕ тАЬAttention is All You NeedтАЭ (2017)
тЭУQ5. GANs рдХрд╛ рдореБрдЦреНрдп рдпреЛрдЧрджрд╛рди рдХреНрдпрд╛ рд╣реИ?
тЬЕ AI рджреНрд╡рд╛рд░рд╛ рдирдИ рд╕рд╛рдордЧреНрд░реА (рдЬреИрд╕реЗ рдЪрд┐рддреНрд░) рдмрдирд╛рдирд╛
тЬЕ рдирд┐рд╖реНрдХрд░реНрд╖ (Conclusion)
Deep Learning рдХрд╛ рд╡рд┐рдХрд╛рд╕ рджрд╢рдХреЛрдВ рдХреА рдореЗрд╣рдирдд, рдЕрдиреБрд╕рдВрдзрд╛рди, рдФрд░ рддрдХрдиреАрдХреА рдкреНрд░рдЧрддрд┐ рдХрд╛ рдкрд░рд┐рдгрд╛рдо рд╣реИред 1943 рдореЗрдВ рдПрдХ рд╕рд░рд▓ рдиреНрдпреВрд░реЙрди рд╕реЗ рд╢реБрд░реВ рд╣реЛрдХрд░ рдЖрдЬ рдпрд╣ рддрдХрдиреАрдХ рдорд╛рдирд╡ рдЬреИрд╕реЗ рд╕реЛрдЪрдиреЗ, рджреЗрдЦрдиреЗ, рдмреЛрд▓рдиреЗ, рдФрд░ рдирд┐рд░реНрдгрдп рд▓реЗрдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛ рдЧрдИ рд╣реИред