Self-Supervised Learning (SSL)

अब हम Deep Learning के एक cutting-edge topic की ओर बढ़ते हैं:

🔍 “Learn from data itself – without explicit labels.”

---

🔷 1. What is Self-Supervised Learning?

Self-Supervised Learning (SSL) एक ऐसी approach है जिसमें model को बिना manually labeled data के train किया जाता है।
👉 ये unlabeled data से ही pseudo labels generate करता है।

Goal: Supervised learning जैसी performance, लेकिन बिना manually labeled dataset के।

---

🔶 2. SSL क्यों ज़रूरी है?

समस्या	समाधान
Labeling data महंगा है	SSL human labeling को minimize करता है
कई domains में unlabeled data abundant है	SSL उससे फायदा उठाता है
Pretraining + Fine-tuning = बेहतर generalization	SSL मॉडल transferable बनाता है

---

🔷 3. SSL कैसे काम करता है?

✅ Key Idea:

Model खुद ही input के कुछ हिस्सों से दूसरा हिस्सा predict करने का task सीखता है।

SSL Task Type	उदाहरण
Contrastive	Two similar images → close representations
Masked modeling	Sentence का हिस्सा छिपा दो → predict करो
Pretext tasks	Rotation predict करना, Colorization, etc.

---

🔶 4. Popular Self-Supervised Tasks

✅ A. Contrastive Learning (Image)

एक ही object के दो augmentations → similar representation
अलग-अलग object → दूर representation

• Frameworks: SimCLR, MoCo, BYOL

Loss = NT-Xent (Normalized Temperature-scaled Cross Entropy)

---

✅ B. Masked Language Modeling (NLP)

Input में कुछ tokens को mask करो, फिर उन्हें predict करो
जैसे BERT करता है

Input: "I like [MASK] learning."  
Target: "deep"

---

✅ C. Autoencoding

Input से खुद को reconstruct करना

• Example: Autoencoders, Variational Autoencoders

---

✅ D. Predict Context (Next Frame, Next Word, etc.)

• Next Word Prediction: GPT जैसे models
• Next Frame Prediction: Video prediction tasks

---

🔷 5. Examples of SSL in Practice

Model / Method	Domain	Technique
BERT	NLP	Masked token prediction
SimCLR	Vision	Contrastive loss
BYOL, MoCo	Vision	Momentum encoder
GPT	NLP	Next token prediction
MAE (Masked Autoencoders)	Vision	Mask patches, reconstruct

---

🔶 6. Advantages of Self-Supervised Learning

✅ Manual labels की dependency नहीं
✅ Large-scale data से बेहतर generalization
✅ Transfer learning के लिए बेहतरीन
✅ Few-shot या Zero-shot tasks में useful

---

🔶 7. Self-Supervised vs Unsupervised vs Supervised

Method	Labels Required	Example
Supervised	✅ Yes	Classification, Regression
Unsupervised	❌ No	Clustering, PCA
Self-Supervised	❌ Pseudo	BERT, SimCLR, GPT

---

🧪 Use Case: SimCLR in Vision (PyTorch)

import torchvision.transforms as T
from PIL import Image

transform = T.Compose([
    T.RandomResizedCrop(224),
    T.RandomHorizontalFlip(),
    T.ColorJitter(),
    T.ToTensor()
])

img = Image.open("cat.jpg")
x1 = transform(img)  # View 1
x2 = transform(img)  # View 2

# Pass x1, x2 to encoder → project → NT-Xent loss

---

📝 Practice Questions

1. Self-Supervised learning में labels कैसे generate होते हैं?
2. Contrastive Learning और Masked Modeling में क्या अंतर है?
3. SimCLR किस domain में काम करता है और कैसे?
4. GPT और BERT में SSL का role क्या है?
5. SSL के फायदे क्या हैं supervised learning के comparison में?

---

🔚 Summary

Concept	Detail
SSL Definition	Data से खुद labels generate करके learning
Famous Tasks	Masking, Contrastive, Autoencoding
Popular Models	BERT, GPT, SimCLR, BYOL, MAE
Advantage	Label-free pretraining, Generalization
Real Use	NLP, Vision, Robotics, Video