Должностные обязанности Промт-инженер

Общие положения Промт‑инженера

Промт‑инженер — специалист, отвечающий за разработку, оптимизацию и валидацию промптов (prompt engineering) для больших языковых моделей (LLM) и генеративных систем. Обеспечивает качество, устойчивость и безопасность вывода моделей, интеграцию LLM в продукты (RAG, чат‑боты, ассистенты), создает шаблоны промптов, проводит A/B‑тестирование и автоматизацию рабочих процессов LLMOps. Действует в соответствии с внутренними регламентами компании, политиками безопасности данных и этическими нормами использования ИИ.

Квалификационные требования Промт‑инженера

• Высшее образование в области ИТ, прикладной лингвистики, Data Science, машинного обучения или эквивалентный практический опыт.
• Опыт работы с LLM и генеративными моделями (GPT, LLaMA, Claude и т.п.) от 1–2 лет (Middle) и 3+ лет для Senior.
• Глубокое понимание принципов prompt engineering, few‑shot и chain‑of‑thought стратегий, RAG (retrieval‑augmented generation).
• Навыки работы с Python, REST API, SDK провайдеров (OpenAI, Anthropic, Hugging Face и др.).
• Опыт создания пайплайнов LLMOps: тестирование промптов, мониторинг ответов, сбор метрик качества и drift detection.
• Знание методов оценки качества (BLEU/ROUGE/EM, human eval, task‑specific metrics) и навыки организации human‑in‑the‑loop процессов.
• Понимание вопросов приватности и безопасности данных, токсичности вывода, умение применять фильтры и безопасные шаблоны.
• Опыт работы с vector DB (Pinecone, Milvus, Weaviate), embedding‑моделями и поисковыми компонентами.
• Навыки работы с CI/CD и автоматизацией тестов, знание основ DevOps и оркестрации задач ML‑pipeline.
• Английский — технический уровень для чтения документации и общения с провайдерами.
• Личные качества: аналитическое мышление, аккуратность в формулировке задач, креативность, способность объяснять нетехническим стейкхолдерам.

Должностные обязанности Промт‑инженера

• Разработка и оптимизация промптов и шаблонов для различных задач: генерация текстов, извлечение фактов, классификация, summarization, диалоговые сценарии.
• Проектирование и внедрение RAG‑пайплайнов: подбор embedding‑моделей, настройка векторных баз, управление индексами и кэшем.
• Тестирование и валидация качества вывода: автоматические метрики, A/B‑тесты, human‑in‑the‑loop оценка, анализ ошибок и дрейфа.
• Создание и сопровождение библиотек промптов, шаблонов и дефолтных стратегий для команды разработчиков и продуктовых команд.
• Настройка мониторинга и метрик (quality, latency, hallucination rate, toxicity), алертинга и логирования запросов/ответов.
• Внедрение практик безопасности: фильтрация контента, контроль PII, политики redaction, GDPR‑совместность.
• Автоматизация тестов и CI/CD для изменений в промптах и пайплайнах LLMOps.
• Разработка инструкций, шаблонов и документации для интеграции промптов в продуктовые компоненты.
• Сопровождение обучения и fine‑tuning моделей (взаимодействие с ML‑инженерами) и участие в подготовке датасетов для supervised signals.
• Взаимодействие с продуктом, дизайном и юридическим отделом для согласования требований и ограничений.
• Менторство младших специалистов и проведение воркшопов по prompt engineering.

Отчетность Промт‑инженера

Промт‑инженер подотчётен руководителю ML/AI команды или техническому продукт‑лиду и предоставляет:

• регулярные отчёты по метрикам качества: accuracy, hallucination rate, latency, user satisfaction;
• результаты A/B‑тестов и анализ изменений производительности после правок промптов;
• мониторинг инцидентов и post‑mortem по ошибочным/опасным ответам;
• документацию по шаблонам, runbooks для отката изменений и процедуры безопасного деплоя;
• предложения по снижению стоимости запросов (prompt cost optimization) и использованию кэширования/снижения токенов.

Права Промт‑инженера

• Запрашивать у продуктовых и инженерных команд информацию и доступы, необходимые для тестирования и интеграции промптов.
• Останавливать внедрение изменений в продакшн при выявлении критических рисков по токсичности, утечке данных или падению качества.
• Инициировать и проводить аудиты безопасности вывода моделей совместно с командами безопасности и юристами.
• Вносить предложения по выбору поставщиков LLM, embedding‑решений и инструментов LLMOps.
• Формировать рекомендации по политике хранения и обработки PII в рамках интеграций с LLM.

Критерии эффективности и ответственность Промт‑инженера

• Основные KPI: точность и адекватность ответов LLM, снижение частоты галлюцинаций, user satisfaction (NPS/CSAT), latency/throughput, стоимость запросов.
• Примеры целевых значений:
  • Hallucination rate (по критичным задачам) — ≤ установленного порога (напр., < 2–5%);
  • Время отклика (latency) — в пределах SLA (напр., ≤ 300–500 ms для interactive);
  • User satisfaction (task success) — ≥ 85%;
  • Снижение cost per query за счёт оптимизации промптов и кэширования — ≥ 10% за квартал.
• Промт‑инженер несёт ответственность за корректность и безопасность шаблонов промптов, достоверность критичных выводов, соблюдение политик по защите данных и минимизацию рисков для бизнеса. За нарушения применяются дисциплинарные и иные меры в соответствии с локальными регламентами.

Подбор Промт‑инженера в кадровом агентстве ФАВОРИТ

Поиск и подбор промт‑инженеров с проверкой практических навыков: создание промптов под конкретные бизнес‑кейсы, настройка RAG‑цепочек, работа с embedding и vector DB, анализ качества вывода и безопасность. Оценка кандидатов через тестовые задания, ревью промптов, кейс‑интервью и проверку бэкграунда. Поддержка в адаптации, probation‑период и гарантийная замена при несоответствии.

Для оперативного подбора промт‑инженера, способного обеспечить качественную интеграцию LLM и оптимизировать продукт, обращайтесь в Международное кадровое агентство «ФАВОРИТ». Поможем подобрать специалиста с нужным стеком, практическим опытом и кейсами внедрения.