שבעה וקטורי תקיפה
1. Prompt injection (direct + indirect)
Direct - המשתמש כותב "תשכח את ההוראות". Indirect - תוקף טוען מסמך לאינדקס RAG עם הוראות לבוט. הגנה: system + user prompt מופרדים אדריכלית. Sanitization על כל קלט RAG. Output classifier.
2. Insecure output handling
LLM מחזיר SQL injection / XSS / shell command שה-downstream מבצע ללא בדיקה. הגנה: output כ-untrusted. Parameterized queries, escape HTML.
3. Training data poisoning
תוקף מכניס backdoor דרך נתוני אימון. רלוונטי ל-fine-tune עצמי. הגנה: source verification, anomaly detection, הפרדת test set.
4. Model DoS
שאילתות long context - צורכות compute. Bot crawls vector. הגנה: rate limiting, token caps, moderation pre-LLM.
5. Supply chain
pip install של wrapper LLM פגום, weights עם embeddings מעובדים. הגנה: SBOM, version pinning, signature verification.
6. Sensitive info disclosure
Tenant A מקבל נתוני tenant B דרך אינדקס RAG. הגנה: ACL ברמת RAG. חוזה ITenantScoped. Audit log על retrieval.
7. Excessive agency
Agentic AI עם הרשאות שליחת email / ביצוע עסקאות. Prompt פגום - spam / הונאה. הגנה: privilege minimization, human-in-loop, action audit.
מה לקחת מכאן
- AI security - לא רק prompt injection. שבעה וקטורים, שכבות הגנה שונות.
- הגנות תשתיתיות חזקות מהגנות תגובתיות. Privilege minimization, separation, ACL.
- ACL ברמת RAG חובה ב-multi-tenant.
- Supply chain - הסיכון השקט. SBOM ו-version pinning עכשיו.
קריאה נוספת
מה לקרוא הלאה