ML

ब हम Natural Language Processing (NLP) का एक बहुत ही महत्वपूर्ण विषय सीखते हैं —
🧠 Word Embeddings, जो deep learning-based NLP की नींव रखते हैं।

---

🔶 1. Word Embeddings क्या हैं?

Word Embeddings वो तकनीक है जिससे शब्दों को संख्याओं (vectors) में represent किया जाता है — इस तरह कि उनके semantic (meaningful) रिश्ते भी capture हों।

🎯 “Word Embeddings words को mathematical space में ऐसे map करते हैं कि उनके बीच के अर्थ संबंध भी साफ़ दिखें।”

---

🧠 क्यों ज़रूरी हैं?

Traditional NLP methods जैसे One-Hot Encoding सिर्फ पहचानते हैं कि कोई शब्द है या नहीं — लेकिन वो शब्दों के अर्थ या संबंध को नहीं समझते।

Technique	समस्या
One-Hot	High dimensional, sparse, no meaning
Embedding	Dense, low-dimensional, meaningful representation

---

📏 2. Embedding Vector कैसा होता है?

Word → Vector (जैसे 300 dimensions का dense vector):

Word	Vector (छोटा version)
king	[0.25, 0.67, …, 0.12]
queen	[0.23, 0.65, …, 0.14]
banana	[0.10, 0.32, …, 0.91]
democracy	[0.55, 0.40, …, 0.60]

👉 Words जो अर्थ में करीब होते हैं, उनके vectors भी पास होते हैं।

---

📊 3. Word2Vec

🧪 Developed By:

Google (2013) — Tomas Mikolov et al.

⚙️ Idea:

• शब्दों के context के आधार पर embedding सीखना।
• “You shall know a word by the company it keeps.”

---

🔁 Two Architectures:

Architecture	कार्य
CBOW (Continuous Bag of Words)	Nearby words से center word predict करता है
Skip-Gram	Center word से आसपास के words predict करता है

---

🔍 Word2Vec Diagram:

[The] [king] [of] [Spain] → [rules]
       ↑ context     →     target

CBOW: Predict “rules”
Skip-Gram: Predict “The”, “king”, “Spain” ← “rules”

---

🧠 4. GloVe (Global Vectors)

🧪 Developed By:

Stanford (2014) — Jeffrey Pennington et al.

⚙️ Idea:

• Word2Vec local context पर निर्भर करता है
• GloVe पूरे corpus के co-occurrence matrix का उपयोग करता है

🧾 Objective:

Find word vectors so that: 

जहाँ Pij​ दो शब्दों के co-occurrence का ratio है।

---

🔍 Word2Vec vs GloVe

Aspect	Word2Vec	GloVe
Context	Local window	Global corpus statistics
Type	Predictive	Count-based
Training	Faster	Slower (matrix-based)
Accuracy	High	Slightly better for analogies
Use Case	Fast semantic learning	Fine-grained vector space

---

🧪 5. Real Example: Word Analogy

king−man+woman≈queen

Word Embeddings में ये relation mathematically मिल जाता है! 🔥

---

🧰 6. Python Example (Gensim – Word2Vec)

from gensim.models import Word2Vec

sentences = [["I", "love", "deep", "learning"],
             ["Word2Vec", "captures", "semantic", "meaning"]]

model = Word2Vec(sentences, vector_size=50, window=2, min_count=1, sg=1)
print(model.wv["deep"])  # Embedding vector
print(model.wv.most_similar("learning"))

---

📌 7. Pretrained Embedding Sources

Embedding	Source
GloVe	https://nlp.stanford.edu/projects/glove/
Word2Vec	https://code.google.com/archive/p/word2vec/
FastText	https://fasttext.cc/
BERT Embeddings	HuggingFace (transformers library)

---

📈 8. Applications

Use Case	How Embeddings Help
🗣️ Chatbots	Words with similar meanings treated similarly
📝 Sentiment Analysis	“bad” vs “awful” को पहचानना
🔁 Translation	Semantic similarity across languages
💬 Q&A Systems	Understanding user intent

---

📝 Practice Questions:

1. Word Embeddings क्या होते हैं?
2. Word2Vec के दो architecture कौन-कौन से हैं?
3. GloVe और Word2Vec में मुख्य अंतर बताइए।
4. एक embedding vector की structure को समझाइए।
5. Word analogy कैसे काम करता है embedding space में?

---

🧠 Summary Table

Topic	Summary
Word Embedding	Words → meaningful vectors
Word2Vec	Learns from local context (CBOW, Skip-gram)
GloVe	Learns from global co-occurrence
Advantage	Semantic similarity capture करना
Application	Chatbots, translation, classification

अब हम Deep Learning के एक बेहद लोकप्रिय और उपयोगी क्षेत्र की ओर बढ़ते हैं:
🗣️ Natural Language Processing (NLP) with Deep Learning
जहाँ मशीनें हमारी भाषा को समझना, बोलना, और लिखना सीखती हैं।

🧠 Natural Language Processing (NLP) क्या है?

Natural Language Processing (NLP) एक तकनीक है जो कंप्यूटर और मानव भाषा (जैसे हिंदी, इंग्लिश, तमिल, उर्दू आदि) के बीच संचार (communication) को संभव बनाती है। इसका उद्देश्य है —

“कंप्यूटर को मानव भाषा समझना, विश्लेषण करना, उत्पन्न करना, और प्रतिक्रिया देना सिखाना।”

---

🎯 NLP का मूल उद्देश्य:

• मनुष्यों की तरह भाषा को समझकर कार्य करना
• बोलचाल, लेखन, और प्रश्नों का प्राकृतिक उत्तर देना

---

📋 उदाहरण:

इनपुट (User)	आउटपुट (NLP System)
“कल मौसम कैसा रहेगा?”	“कल बारिश की संभावना है।”
“Translate: I love India”	“मुझे भारत से प्यार है”
“Summarize this article”	“यह लेख AI के विकास पर आधारित है।”

---

🔍 NLP किन स्तरों पर काम करता है?

1. Phonology — ध्वनि की पहचान (Speech to Text)
2. Morphology — शब्दों के अंदर के parts (un + break + able)
3. Syntax — व्याकरणिक ढाँचा (subject-verb-object)
4. Semantics — शब्दों का अर्थ समझना
5. Pragmatics — संदर्भ के अनुसार अर्थ निकालना
6. Discourse — वाक्य-से-वाक्य संबंध
7. World Knowledge — आम इंसानी ज्ञान

---

🧩 NLP की प्रक्रिया कैसे काम करती है?

👉 Step-by-step Pipeline:

1. Text Input: Raw human language
2. Tokenization: Text को छोटे टुकड़ों (tokens) में तोड़ना
3. Normalization: Lowercase करना, punctuation हटाना
4. Stop-word Removal: “the”, “is”, “and” जैसे सामान्य शब्द हटाना
5. Stemming/Lemmatization: शब्दों को उनकी मूल form में लाना
6. Vectorization: Text को संख्याओं (vectors) में बदलना
7. Model Prediction: Output generate करना (translation, classification, etc.)

---

⚙️ NLP के दो प्रमुख हिस्से

क्षेत्र	विवरण
Rule-based NLP	manually बनाए गए grammar और rules पर आधारित
Statistical/Deep NLP	Data और models (machine learning, deep learning) के माध्यम से सीखने वाला NLP

आजकल Deep Learning आधारित NLP सबसे अधिक प्रयोग में है।

---

🎯 NLP का महत्व

क्षेत्र	उपयोग
🗣️ Chatbots	WhatsApp, वेबसाइटों पर जवाब देना
📞 Voice Assistants	Alexa, Siri
📰 Text Summarization	न्यूज़ का सार निकालना
🧾 Document Analysis	मेडिकल रिपोर्ट या लीगल दस्तावेज पढ़ना
📚 शिक्षा	ऑटोमैटिक उत्तर जाँच (auto-grading)
🛒 ई-कॉमर्स	प्रोडक्ट रिव्यू की भावना समझना

---

🧠 NLP को Deep Learning की क्यों ज़रूरत पड़ी?

Traditional NLP की समस्या	Deep Learning का समाधान
Language rules complex हैं	Automatically patterns सीखता है
Context को समझ नहीं पाता	Transformers contextual meaning पकड़ते हैं
Sparse features	Dense word embeddings
Manually tuned features	Neural networks auto-learn features

---

📌 उदाहरण से समझें:

इनपुट: “मैंने बैंक में खाता खोला।”
प्रश्न: “बैंक” का मतलब क्या है?

• Traditional NLP confusion में पड़ सकता है (Bank – नदी का किनारा या बैंक संस्था?)
• लेकिन Deep Learning आधारित NLP (जैसे BERT) sentence के context से सही अर्थ पकड़ सकता है।

---

📝 अभ्यास प्रश्न (Practice Questions):

1. NLP क्या है और इसका मुख्य उद्देश्य क्या है?
2. NLP किन स्तरों पर कार्य करता है?
3. NLP Pipeline में tokenization और vectorization क्या है?
4. Deep Learning NLP में कैसे मदद करता है?
5. कोई दो real-world NLP applications बताइए।

---

🧠 सारांश (Summary Table)

Topic	Detail
NLP	मानव भाषा को मशीन द्वारा समझने और process करने की तकनीक
Process	Tokenization → Vectorization → Prediction
Techniques	Traditional rules → Deep Learning models
Models	RNN, LSTM, Transformer, BERT, GPT
Applications	Chatbot, summarizer, translator, sentiment analyzer

अब हम Reinforcement Learning (RL) की दो सबसे रोमांचक और व्यावहारिक domains में उपयोग को समझेंगे —
🎮 Games और 🤖 Robotics।

---

🎮 1. Applications of RL in Games

Reinforcement Learning का सबसे ज़्यादा प्रसिद्ध और सफल इस्तेमाल Games में हुआ है, जहाँ agent को complex decision sequences सीखने होते हैं।

---

🧠 Key Use-Cases in Gaming:

Game Type	Application
📺 Atari Games	Breakout, Pong, Space Invaders, etc.
♟️ Board Games	Chess, Go → AlphaZero, AlphaGo
🧠 Strategy Games	StarCraft, Dota 2
💡 Puzzle Games	Learning exploration strategies
🎲 Simulation Games	Flight Simulators, Car Racing (CarRacing-v0)

---

🔧 Example: DQN in Atari

• Agent sees game screen (pixel input)
• Chooses action using learned Q-values
• Learns which actions give maximum score

Input: Frame (state)
→ CNN → Fully Connected Layers
→ Output: Q-values (actions)

✅ Breakthrough:

DeepMind’s DQN (2015) outperformed humans in many Atari games using only raw pixels as input!

---

📈 Benefits of RL in Games:

Advantage	Explanation
🧠 Human-level intelligence	Agents beat world champions (AlphaGo)
🧪 Safe experimentation	Try many strategies in simulation
🚀 Generalization	Same algorithm can learn many games
🔁 Real-time learning	Agents adapt during gameplay

---

🤖 2. Applications of RL in Robotics

Reinforcement Learning ने robotics में autonomy और adaptability को नया आयाम दिया है।

---

🧠 Key Use-Cases in Robotics:

Domain	Application
🦿 Movement	Walking, balancing, crawling (e.g., Biped robots)
🦾 Manipulation	Arm movement, grasping objects
📦 Warehouse	Path optimization, item picking
🚗 Self-driving	Navigation, obstacle avoidance
🛰️ Drones	Aerial control and target tracking
🧽 Cleaning bots	Environment exploration, coverage optimization

---

🔧 Example: Proximal Policy Optimization (PPO) for Robot Arm

• Goal: Learn to grasp objects with correct force and angle
• State: joint angles, object location
• Action: motor control
• Reward: +1 for successful grasp, -1 for dropping

---

🧠 Simulators Used in RL for Robotics:

Simulator	Purpose
🔧 MuJoCo	Physics-based locomotion tasks
🤖 PyBullet	Arm control, object manipulation
🌐 Gazebo	Complex robot environment simulation
🎮 Unity ML Agents	3D agent training

---

📈 Benefits of RL in Robotics:

Advantage	Explanation
🚫 No hard-coding	Learns behavior through trial and error
🔁 Adaptability	Learns even with changing environment
📦 Generalization	Transfer learning from simulation to real robot
🧪 Safe testing	Use simulators before deploying to hardware

---

📊 Summary Table

Domain	Application	Example
Games	Control, strategy	DQN in Atari, AlphaGo
Robotics	Navigation, manipulation	PPO in robot arms, drone pathing

---

📝 Practice Questions:

1. Games में RL का सबसे बड़ा breakthrough क्या रहा है?
2. RL का Robotics में क्या role है?
3. Self-driving cars RL से कैसे benefit होते हैं?
4. Robotics में simulation क्यों जरूरी है?
5. PPO और DQN का इस्तेमाल कहाँ होता है?

आपने Reinforcement Learning की core technique Q-Learning को समझा —
अब हम उसी का Deep Learning version सीखेंगे:
🧠 Deep Q-Network (DQN)

---

🔶 1. What is DQN?

Deep Q-Network (DQN) एक ऐसा algorithm है जो traditional Q-Learning को Deep Neural Network से combine करता है।
जब state space बहुत बड़ा या continuous होता है (जैसे images, video frames), वहाँ Q-table बनाना possible नहीं होता — इसलिए हम use करते हैं Neural Network to approximate the Q-function: Q(s,a)≈Qθ(s,a)

🎯 “DQN maps states to Q-values using a deep neural network.”

---

📈 2. Why DQN?

Limitation of Q-Learning	DQN का समाधान
Large state-action space	Neural network approximation
Slow convergence	Experience replay
Instability in training	Target networks

---

🧠 3. Key Concepts in DQN

🔹 a) Q-Network

• A deep neural network takes state as input
• Outputs Q-values for each possible action

🔹 b) Experience Replay Buffer

• Past experiences (s,a,r,s′) store किए जाते हैं
• Random mini-batches से training होती है → reduces correlation

🔹 c) Target Network

• Q-value targets एक fixed target network से लिए जाते हैं
• Target network को हर कुछ steps पर update किया जाता है
• इससे training stable होता है

---

🧪 4. DQN Architecture (High Level)

Input: State (e.g., image pixels)
↓
Convolutional Layers (if image input)
↓
Fully Connected Layers
↓
Output: Q-values for all possible actions

---

🔁 5. DQN Training Loop

Initialize Q-network (Q) and target network (Q_target)
Initialize replay memory D

For each episode:
    Initialize state s
    For each step in episode:
        Choose action a using ε-greedy policy on Q(s)
        Execute action a → observe reward r and next state s'
        Store (s, a, r, s') in replay memory D

        Sample random mini-batch from D:
            For each (s, a, r, s'):
                target = r + γ * max_a' Q_target(s', a')
                loss = (Q(s, a) - target)^2
                Backpropagate and update Q

        Every N steps:
            Q_target ← Q  # update target network

---

🧮 6. Loss Function

• Qθ: main network
• Qθ: target network (frozen for N steps)

---

🕹️ 7. Applications of DQN

Domain	Example
🎮 Games	Atari (Breakout, Space Invaders)
🤖 Robotics	Navigation and obstacle avoidance
📈 Finance	Trading bots
🧭 Navigation	Path finding agents
🧪 Simulations	Training virtual agents (OpenAI Gym)

---

🧠 DQN Variants

Variant	Idea
🧮 Double DQN	Reduces overestimation of Q-values
🔄 Dueling DQN	Splits value and advantage streams
📦 PER	Prioritized Experience Replay
🌐 Rainbow DQN	Combines all tricks for best results

---

📝 Practice Questions

1. DQN में Q-Table क्यों नहीं बनती?
2. Experience replay का क्या लाभ है?
3. Target network क्यों ज़रूरी है?
4. DQN और Q-Learning में मुख्य अंतर क्या है?
5. ε-greedy policy क्या है और क्यों use होती है?

---

🧠 Summary Table

Concept	Description
DQN	Deep learning + Q-Learning
Q-Network	Approximates Q(s, a)
Experience Replay	Past experience store and reuse
Target Network	Stability के लिए frozen Q-network
Loss	Squared Bellman error

अब हम Reinforcement Learning की सबसे प्रसिद्ध और foundational algorithm को समझेंगे —
🧠 Q-Learning

यह एक model-free reinforcement learning technique है, जिसे किसी भी environment में optimal decision-making के लिए use किया जाता है — बिना उसके अंदर के dynamics को जाने।

---

🔶 1. Q-Learning क्या है?

Q-Learning एक off-policy, model-free RL algorithm है जो agent को यह सीखने में मदद करता है कि किसी state में कौन-सा action लेने से long-term reward ज्यादा मिलेगा।

🎯 “Q-Learning finds the best action for each state — without needing to model the environment.”

---

📊 2. Key Idea: Learn Q-Value

📌 Q(s, a):

• Q-value या Action-Value Function बताता है: “अगर agent state sss में है और action aaa लेता है, तो उसे future में कितना total reward मिल सकता है।”

Q(s,a)=Expected future reward

---

🧠 3. Bellman Equation for Q-Learning

Q-values को update करने के लिए हम use करते हैं Bellman update rule:

Symbol	Meaning
Q(s,a)	Q-value for state-action pair
α	Learning rate (0 to 1)
γ	Discount factor (importance of future reward)
rt	Immediate reward
max⁡a′Q(s′,a′)	Best future Q-value from next state

---

🔁 4. Q-Learning Algorithm Steps

Initialize Q(s, a) arbitrarily (e.g., all 0s)
Repeat for each episode:
    Start at initial state s
    Repeat until terminal state:
        Choose action a using ε-greedy policy from Q(s, a)
        Take action a → observe reward r and next state s'
        Update Q(s, a) using Bellman equation
        Move to new state s ← s'

---

🔧 5. Example: Gridworld (Maze)

Imagine a 5×5 maze:

• Agent starts at top-left
• Goal is bottom-right
• Agent learns which path gives maximum reward (shortest way)

Q[state][action] += alpha * (reward + gamma * max(Q[next_state]) - Q[state][action])

---

📈 6. Exploration vs Exploitation

• Exploration: Try new actions to discover better rewards
• Exploitation: Use known actions with best Q-values

👉 Use ε-greedy strategy:

• With probability ε → random action
• With probability (1–ε) → best action

---

📦 7. Summary Table

Term	Description
Q(s, a)	Expected total reward for action aaa in state sss
α	Learning rate – कितनी तेज़ी से सीखना है
γ	Future rewards की importance
ε	Randomness (exploration)
Bellman Update	Q-values को improve करने का तरीका

---

📝 Practice Questions:

1. Q-learning को model-free क्यों कहा जाता है?
2. Q-value क्या होता है?
3. Bellman equation का role क्या है?
4. ε-greedy strategy क्यों उपयोग होती है?
5. Q-Learning और SARSA में क्या फर्क है?