14 записей с тегом "AI"

В большинстве инженерных команд 2026 года сидят на одной зарплатной ведомости три разных типа промпт-юзеров. Есть power user с 60-строчным Cursor rules, вычитанным за полгода. Есть casual user, который копипастит «fix this bug please» и в целом рад. И есть скептик, попробовавший два раза, получивший мусор и решивший, что AI-кодинг — хайп. AI-продуктивность вашей команды стягивается к среднему этих трёх, не к вершине.

Индивидуальный prompt skill — это личный лайфхак. Командный prompt engineering — это процесс. И большинство команд пока так его не воспринимают. Распишем плейбук: что шарить, что оставлять индивидуальным, какие метрики говорят, что работает, и какие failure mode мы видели у клиентов.

Один AI-агент — Cursor Composer, Claude Code, GPT-4 с тулами — решает примерно 38% задач SWE-Bench Verified. Поставьте рядом critic-агента, и число вырастает до 62%. Swarm из трёх (planner + coder + critic) бьёт 71%. Swarm из семи падает обратно до 54%. Форма кривой воспроизводится по пяти публичным бенчмаркам, которые мы просмотрели: больше агентов помогает, пока не перестаёт.

Этот пост — взгляд на реальные данные о мульти-агентных workflow для разработки: что работает, что разваливается и что это значит для того, как разработчики должны использовать агент-swarms в 2026. Наша позиция уже хайпа: swarms реальны, прирост реален, failure mode тоже реален и предсказуем.

Senior backend-кандидат, которого я собеседовал в марте 2026 для 40-человечного скейлапа, прислал 4-часовой take-home, очевидно сгенерированный AI за 30 секунд чтения. Не потому, что код плохой — код был слишком хорош: консистентный стиль в 14 файлах, docstring на каждой функции и подозрительно хорошо структурированный README, покрывающий edge-кейсы, которых задача не требовала. Что окончательно спалило: переменная is_applicable_within_business_context — ровно та фразировка, которую Claude 3.7 Sonnet использует, когда его просят написать «enterprise-grade» код.

Взяли другого. Через два месяца LinkedIn того же кандидата показал новую работу у конкурента, который не проверил. Не знаю, прошёл ли он бар on-the-job; индустрия рассказывает истории в обе стороны. Что точно: AI-assisted читерство стало дефолтом, а не outlier-ом, и воронки найма, спроектированные до 2024, отбирают не то. Опрос Stack Overflow 2024 обнаружил: 76% профессиональных инженеров активно используют AI-coding-tools; tooling кандидатов отстаёт от tooling разработчиков на недели, а не годы.

Внутреннее исследование GitHub 2024 по Copilot Chat показало: разработчики принимают LLM-сгенерированный фикс примерно в 31% сессий отладки — но только 11% из этих фиксов реально закрыли исходный баг. Остальные 20% пропатчили симптом, ввели регрессию или уверенно указали не на ту подсистему. Исследование Shi et al. в ACM 2024 по LLM-assisted debugging на 2500 сессиях показывает тот же паттерн: ускорение случается на неглубоких багах; глубокие часто становятся хуже, когда разработчик отдаёт генерацию гипотез LLM.

Вывод не "не используйте LLM для отладки". Вывод: используйте там, где они измеримо лучше; не используйте там, где они системно врут; постройте воркфлоу вокруг разницы. Этот пост проходит пять воркфлоу, которые реально экономят время — собраны с инструментации нашей команды и пяти команд-клиентов PanDev Metrics.

Платформенная команда в компании на 600 инженеров потратила $340 000 за 9 месяцев, дообучая 13B-параметровую модель на своей внутренней документации. Launch day: модель отвечала правильно примерно на 72% частых вопросов и уже на 3 недели устарела в день запуска. После этого за 2.5 недели и $18 000 они построили RAG-пайплайн поверх того же корпуса. Он отвечал на 88% частых вопросов и всегда был актуален. Fine-tuned-модель тихо отправили на пенсию через полгода параллельной эксплуатации.

Это доминирующий паттерн 2025-2026: для внутренней документации разработчика RAG выиграл по экономике и свежести. Fine-tuning всё ещё побеждает в отдельных кейсах — специфика домена, выравнивание стиля, жёсткие требования по латенси. Но "дообучить LLM на нашей вики" — уже неправильный дефолт. Бенчмарки OpenAI DevDay 2024 показали, что RAG обгоняет fine-tuning в 14 из 16 сценариев QA по документации по точности и свежести, при стоимости в 8-40 раз ниже. Разберём, когда что реально имеет смысл.

К середине 2026 на рынке более десяти AI-ассистентов для кода, которые имеет смысл всерьёз оценивать. Цены — от $20 до $50 за seat в месяц. Octoverse 2024 от GitHub сообщил, что проникновение Copilot в инженерные команды Fortune 500 перевалило за 70%, а полевое исследование METR (Model Evaluation and Threat Research) 2025 года показало: опытные разработчики, использующие топовый AI-ассистент на знакомом им open-source-репозитории, оказались на 19% медленнее — хотя сами оценивали свою скорость как +20%. Разрыв между маркетинговыми цифрами и наблюдаемой продуктивностью никогда не был таким большим.

Это buyer's guide, который реально нужен engineering manager'у в 2026: для чего каждый из десяти ведущих инструментов, сколько они стоят, где ломаются, и как их комбинировать, не платя дважды за одно и то же.

Около 80% Engineering Intelligence вендоров между 2024 и 2026 годами добавили «AI» в маркетинг. GitHub Octoverse 2024 показал, что генеративные AI-инструменты обогнали весь остальной сегмент developer tools по темпам внедрения. У каждого дашборда теперь есть «спроси у AI», каждый квартальный релиз привозит «AI insights» плитку. Мы протестировали платформы, которые действительно стоит рассматривать, и большинство «AI-фич» оказываются тем же SQL-запросом, поверх которого приклеен абзац LLM-прозы.

Это рабочий гайд для лида — что каждая AI-фича реально делает, где она оправдывает себя и где выдает статистически некорректные, но очень уверенные ответы.

Финтех на 40 инженеров, с которыми я говорил в прошлом месяце, платил $960 в месяц за GitHub Copilot Business на всю команду, но их юристы только что заблокировали использование после compliance-review: телеметрия code completion уходила через облако Microsoft. CTO задал мне обманчиво простой вопрос: «Можем ли мы self-host'ить эквивалент?»

Ответ — «да, но только если пройдёте три фильтра». Stack Overflow Developer Survey 2024 показал, что 76% разработчиков используют или планируют использовать AI-инструменты, но в регулируемых индустриях adoption отстаёт на 20-30 пунктов. Разрыв — не в скепсисе, а в инфраструктуре. Большинство команд хотят приватный inference, но недооценивают, во что «self-hosted» обходится по GPU capex, времени SRE и компромиссу в качестве модели.

Это фреймворк, который мы даём командам, обдумывающим переход: когда self-hosted LLM бьёт облако, когда нет, и три точки, где математика переворачивается.

Cursor поднял $900M при оценке $9B в августе 2024. Windsurf (бывший Codeium) продан OpenAI за $3B в 2025. Sourcegraph Cody перешёл на полноценный IDE. Три AI-native IDE теперь достаточно зрелы, чтобы выбор между ними стал реальным вопросом — не "какой работает", а "какой подходит под ограничения команды по приватности, latency и глубине контекста". Stack Overflow Developer Survey 2025 показал, что 62% профессиональных разработчиков используют AI-tool ежедневно, против 44% в 2024. Тот же опрос: выбор инструмента важнее выбора редактора — удовлетворённость гуляет на ~20 пунктов в зависимости от AI-ассистента, против ~5 для самого редактора.

Это не вердикт "который лучший" — это decision framework с числами. Мы конкретизируем, где выигрывает каждый, где проигрывает, и где наши IDE heartbeat данные по командам в production (n=47 команд, ~340 разработчиков) совпадают с маркетингом или противоречат ему.

Copilot написал 420 тестов для модуля платежей за два дня. Coverage прыгнул с 58% до 84%. Уверенность в релизе? Без изменений, а то и хуже. Исследование 2024 IEEE (An Empirical Study on the Usage of Transformer Models for Code Completion, Ciniselli et al.) показало: LLM-сгенерированные тесты компилируются в 92% случаев, но ловят лишь 58-62% инъектированных мутаций — стандартный исследовательский тест на «этот тест вообще что-то проверяет». Человеческие тесты в том же исследовании — 78%. Разрыв ~20 процентных пунктов в mutation score — реальная история качества AI-тестов, а не цифра coverage, которую все репортят.

Эта статья измеряет, в чём AI-тесты хороши, что они пропускают, и как выстроить pipeline, чтобы AI давал throughput, не разъедая уверенность в релизе.