Р. Аллахвердиев
README.md28 материалов · ai-qa@main
Новый дайджест · 13 окт 2026

Рамиль АллахвердиевAI QA EngineerТестирую AI так же, как раньше тестировал софт

Я QA-инженер, который ушёл в AI. Пишу о том, что реально работает в LLM, RAG и агентах, разбираю инструменты с GitHub и учу QA-инженеров переходить в AI QA. Каждую новость — с выводом: что это значит для тех, кто строит и проверяет AI.

Читать дайджест Курс AI QA Engineer
  • 18 разборов
  • 2 выпусков дайджеста
  • 8 репозиториев в радаре
  • 3 наборов
01 · боль

Узнаёте себя?

  • Бот отвечает «вроде нормально»

    А доказать, что он не ошибается, нечем: обычные ассерты на свободном тексте не работают.

  • На собеседованиях спрашивают про RAG и LLM-as-a-judge

    Тест-дизайн и автотесты вы знаете, а вопросы уже про метрики качества и галлюцинации.

  • Ручные проверки не масштабируются

    Сто промптов руками — это один релиз. Модель обновилась, и прежние выводы устарели.

  • Непонятно, с чего начать

    Статьи, курсы, репозитории: всё сразу, а порядка нет. Хочется маршрут, а не ещё одну ссылку.

Если хотя бы одно про вас, начните с бесплатной серии.

02 · бесплатно

Начать бесплатно

Серия «AI QA с нуля»

7 частей по порядку: от разницы между обычным тестированием и AI QA до портфолио-проекта. Всего около 67 минут чтения. Без регистрации и оплаты.

Начать с части 1
  1. Часть 1: Кто такой AI QA-инженер и чем он отличается от обычного тестировщика9 мин
  2. Часть 2: LLM за 20 минут: что тестировщику нужно понимать10 мин
  3. Часть 3: Первый автотест для LLM за вечер: pytest + Ollama11 мин
  4. Часть 4: Как оценивать ответы LLM: от assert до LLM-судьи11 мин
  5. Часть 5: Карта навыков AI QA-инженера и план на 3 месяца10 мин
  6. Часть 6: Python-минимум для AI QA: что учить за 2–3 недели и что пропустить8 мин
  7. Часть 7: Портфолио AI QA: как собрать проект, который покажет, что вы умеете проверять LLM8 мин
03 · помощь

Как я помогаю

От дешёвого к глубокому: берите ровно тот шаг, который нужен сейчас.

01 · books/3 PDF комплектом

Книги опыта: три PDF

1 990 ₽

AI Engineer конспект (57 стр.), DeepRisk (18 стр.), Harness (17 стр.). Продаются комплектом.

  • AI Engineer конспект — 57 стр.
  • DeepRisk — 18 стр.
  • Harness для AI-агентов — 17 стр.
Оставить заявку
02 · intensive.mdзапись до 31 октября

Интенсив на неделю

25 000 ₽

Семь дней: ежедневные созвоны, видео, примеры кода и три проекта. Ядро: метрики, red team, release gate.

  • 7 дней: созвоны, видео, примеры кода
  • 3 проекта: RAG-оценка, red team, release gate
  • Ядро: метрики качества и безопасность
Оставить заявку
03 · course/предзапись открыта

Курс AI QA Engineer

цена — при старте

Метрики качества LLM и RAG, red teaming, нагрузка и quality gate в CI. Предзапись открыта.

  • 10 недель, 98 уроков
  • 4 проекта в портфолио
  • С нуля до уверенной работы
Оставить заявку Программа →
04 · автор

Кто пишет

Рамиль Аллахвердиев AI QA Engineer

QA-инженер, который ушёл в AI: сам строю и проверяю LLM-системы.

  • Автор DeepRisk: self-hosted платформа для оценки RAG и red teaming LLM, лицензия MIT.
  • Веду проекты на Claude Code с харнесом: CLAUDE.md, skills, hooks, агенты-ревьюеры, CI.
  • Написал конспект AI Engineer на 57 страниц: от attention до RAG, агентов и MCP.
  • Раньше тестировал софт и вёл студию Neon Dev, так что путь QA в AI знаю не по пересказам.
Подробнее обо мне →
05 · свежее

Свежее

Радар

Весь радар →

Наборы

Все наборы →
06 · вопросы

Частые вопросы

Для кого это?

Для тестировщиков и QA-автоматизаторов, которые хотят проверять LLM, RAG и агентов. Если вы строите AI-продукт и хотите понять, как измерять его качество, материалы тоже подойдут.

Как проходит оплата?

Вы оставляете заявку, я отвечаю в течение дня и пришлю ссылку на оплату после заявки. Платить в момент отправки формы не нужно.

Нужен ли Python?

Для чтения блога и бесплатной серии нет. В интенсиве есть примеры кода и проекты, поэтому базовый Python пригодится. В курсе есть подготовительная неделя: Python ровно в объёме курса. Если пишете код впервые, закладывайте больше времени. Сомневаетесь — напишите, подскажу.

Чем отличаются книги, интенсив и курс?

Книги: три PDF, читаете в своём темпе, 1 990 ₽. Интенсив: семь дней с созвонами, видео, примерами кода и тремя проектами, 25 000 ₽, запись до 31 октября 2026. Курс: 10 недель и 4 проекта, сейчас открыта только предзапись, программа может уточняться до старта.

Я новичок в AI. С чего начать?

С бесплатной серии «AI QA с нуля»: семь частей по порядку, от разницы между обычным тестированием и AI QA до портфолио-проекта. Понравилось — выбирайте книги, интенсив или курс.

Что с курсом: когда старт и сколько стоит?

Дату старта и цены я объявлю при открытии записи. Сейчас оплаты нет, только предзапись: оставьте почту, и я напишу, когда запись откроется.

07 · заявка

Купить или задать вопрос

Выберите продукт и оставьте контакты — я отвечу в течение дня и пришлю ссылку на оплату. Удобнее в Telegram? Пишите @Rambajo.

  1. 1Выбираете продукт и оставляете контакты
  2. 2Я отвечаю и уточняю детали
  3. 3Оплата по ссылке — и вы внутри
{
  "tip": "Не знаете, что выбрать?",
  "product": "Вопрос"
}

git log --since=6.months

Активность

28 публикаций на сайте · фон — иллюстрация рабочего ритма