Explainable AI (XAI)

अब हम एक बहुत ज़रूरी और व्यावहारिक विषय को समझते हैं — जिसका मक़सद है AI को “क्यों” और “कैसे” समझाना।

🧠 “AI का फ़ैसला समझ में आना चाहिए – काला जादू नहीं।”

---

🔷 1. What is Explainable AI?

Explainable AI (XAI) का उद्देश्य है कि AI/ML models के निर्णय साफ़, पारदर्शी और इंसानों के समझने लायक हों।

“Why did the model predict this?”
“What part of the input influenced the decision?”

---

🔶 2. Why XAI is Important?

कारण	उदाहरण
✅ Trust	Doctor को explainable model चाहिए
✅ Debugging	Developer model की गलती पकड़ सकता है
✅ Fairness	Bias या discrimination detect हो सकता है
✅ Regulation	GDPR / Medical AI में जरूरी है

---

🔷 3. Black Box vs Explainable Models

Model Type	Explainability
Linear Regression	✅ High
Decision Trees	✅ Medium
Deep Neural Nets	❌ Low (Black box)
Transformers, CNN	❌ Complex

इसलिए हमें DNN, CNN, Transformers जैसे models के लिए XAI techniques चाहिए।

---

🔶 4. Popular XAI Techniques

✅ A. Feature Importance (Tabular data)

• Tree-based models (like Random Forests) naturally बताते हैं कि कौन-सा feature कितना important है.

---

✅ B. LIME (Local Interpretable Model-Agnostic Explanations)

Model की prediction के आसपास एक simple interpretable model fit किया जाता है।

pip install lime

from lime.lime_tabular import LimeTabularExplainer

---

✅ C. SHAP (SHapley Additive exPlanations)

Game Theory आधारित: हर feature की contribution value निकाली जाती है।

pip install shap

import shap
explainer = shap.Explainer(model.predict, X_test)
shap_values = explainer(X_test[:10])
shap.plots.waterfall(shap_values[0])

---

✅ D. Saliency Maps (Image models)

CNN model के output को किस image region ने प्रभावित किया?

# torch.autograd + image gradient → heatmap

---

✅ E. Grad-CAM (CNN explainability)

किसी image में कौन-से हिस्से ने prediction को सबसे ज़्यादा influence किया?

pip install grad-cam

• Input image → CNN → last conv layer → gradients → visualization map

---

✅ F. Attention Visualization (Transformer models)

Transformer models (like BERT, GPT) में Attention Score से पता चलता है कि model ने किस word पर सबसे ज़्यादा ध्यान दिया।

from transformers import BertTokenizer, BertModel
# Visualize attention weights

---

🔷 5. Real-World Applications

Domain	Explanation Use
Healthcare	Doctor को पता चले AI ने क्या देखा
Finance	Loan rejection के कारण समझाना
Legal	किसी भी decision का कारण trace करना
Autonomous Cars	Sensor input के आधार पर फ़ैसला क्यों लिया गया?

---

🔶 6. Challenges in XAI

समस्या	कारण
Complex models	Millions of parameters
No ground truth	क्या explanation सही है?
Trade-off	Explainability vs Accuracy

---

🧠 Summary

Aspect	Description
XAI क्या है	AI को explain करना इंसानों के लिए
क्यों ज़रूरी	Trust, Regulation, Debugging
Techniques	LIME, SHAP, Grad-CAM, Attention
Domain Use	Medical, Finance, Legal, Vision

---

📝 Practice Questions:

1. Explainable AI की ज़रूरत क्यों है?
2. LIME और SHAP में क्या अंतर है?
3. CNN models को explain करने के लिए कौन-सी technique use होती है?
4. Grad-CAM क्या है और कैसे काम करता है?
5. XAI healthcare में कैसे मदद करता है?