AI Security: OWASP Top 10 для LLM в production

Семь векторов атаки

1. Prompt injection (direct + indirect)

Direct - пользователь пишет «забудь предыдущие инструкции». Indirect - атакующий загружает документ в RAG-индекс, который содержит инструкции для бота. Защита: system prompt + user prompt разделены архитектурно. Sanitization layer на каждом RAG-входе. Output classifier на выходе.

2. Insecure output handling

LLM возвращает SQL injection / XSS / shell command, который downstream код выполняет без проверки. Защита: output как untrusted data. Никогда не eval/exec LLM ответы. Parameterized queries, escape HTML.

3. Training data poisoning

Атакующий вкладывает backdoor через данные тренировки. Применимо к собственным fine-tune. Защита: source verification, anomaly detection, separation тестового сета.

4. Model DoS

Long context window запросы - потребляют compute. Bot crawls vector index. Защита: rate limiting per user, token caps, content moderation pre-LLM.

5. Supply chain

Pip install скомпрометированной обёртки LLM-SDK, model weights с modified embeddings. Защита: SBOM, version pinning, signature verification, private artifact registry.

6. Sensitive info disclosure

Tенант A получает данные tenant B через RAG-индекс. Защита: ACL на уровне RAG. ITenantScoped контракт. Audit log всех retrieval операций.

7. Excessive agency

Agentic AI имеет полномочия отправки email / совершения транзакций. Compromised prompt - spam / fraud. Защита: privilege minimization, human-in-loop для high-stakes действий, action audit.

152-ФЗ и AI

Для российского рынка приоритет - privacy leakage и data residency:

• LLM-провайдер в РФ (Yandex GPT, GigaChat) или on-prem (Llama, Mistral).
• RAG-индекс с персональными данными - обязательно в российском датацентре.
• Логирование запросов с PII - российский сервер, локальный аудит.
• Cross-border передача PII требует явного согласия или DPA.

Что брать с собой

1. AI security - не только prompt injection. Семь векторов, разные слои защиты.
2. Инфраструктурные защиты сильнее реактивных. Privilege minimization, separation, ACL > output filtering.
3. ACL на уровне RAG обязателен в multi-tenant. Без него вы в PR-bullseye.
4. Supply chain - самый тихий риск. SBOM и version pinning сейчас, не потом.