65 записей с тегом "engineering-metrics"

CEO диджитал-агентств живут и умирают по показателям утилизации. Бенчмарки SoDA (Society of Digital Agencies) показывают, что целевая биллабельная утилизация команд разработки — ~75-85%, и большинство агентств не дотягивают. Каждый час, который разработчик тратит на небиллабельную работу, — упущенный доход. Каждый проект, вышедший за рамки бюджета, съедает маржу. А с 5, 10 или 20 клиентскими проектами одновременно знать, куда реально уходит время каждого, практически невозможно.

Большинство агентств полагаются на ручной учёт времени. Разработчики заполняют таймшиты в конце недели, прикидывая, сколько часов ушло на каждый проект. Данные неточны, процесс ненавистен, а полученные цифры определяют решения на сотни тысяч долларов.

Есть способ лучше.

Управление организацией из 500+ разработчиков в телекоме — как управление маленьким городом. У вас есть инфраструктурные команды, поддерживающие критически важные сетевые системы, продуктовые команды, создающие клиентские приложения, платформенные команды, поддерживающие внутренний инструментарий, и команды интеграции, соединяющие всё это воедино. Они распределены по нескольким офисам, часовым поясам, а иногда и странам.

В таком масштабе нельзя полагаться на племенные знания, еженедельные синки или управленческую интуицию. Нужны данные. Инженерные метрики обеспечивают систематическую видимость, делающую управление разработкой в крупном масштабе возможным.

AI/ML-команды не похожи ни на одну другую инженерную организацию. Половина команды исследует новые подходы, где большинство экспериментов проваливаются — и это ожидаемо. Другая половина строит продакшн-системы, где важны надёжность и скорость. Многие участники делают и то, и другое, переключаясь между Jupyter notebooks и продакшн-кодобазами в течение одного дня. MLOps maturity model описывает этот спектр — от ad hoc экспериментов (Level 0) до полностью автоматизированных ML-пайплайнов (Level 2) — и большинство организаций находятся где-то посередине.

Традиционные инженерные метрики не охватывают эту двойственность. Измерять ML-исследователя по Deployment Frequency — всё равно что измерять повара по скорости мытья посуды. Но полное отсутствие метрик означает, что вы не можете определить, приносят ли исследовательские инвестиции результат и надёжны ли ваши продакшн-системы. Данные Papers with Code показывают, что разрыв между state-of-the-art исследованиями и production-ready ML растёт — что делает мост research-to-production важнее, чем когда-либо.

Вот как построить фреймворк метрик, который уважает разницу между research и engineering, давая руководству необходимую видимость.

EdTech-платформы — обманчиво сложные инженерные задачи. Данные HolonIQ о глобальном финансировании EdTech показывают, что сектор привлекал более $10 миллиардов ежегодно в последние годы — и этот капитал требует инженерного выхода, соответствующего ожиданиям инвесторов. На поверхности это «просто» LMS или онлайн-платформа курсов. Под капотом — потоковое видео в реальном времени, адаптивные алгоритмы обучения, управление контентом для тысяч курсов, движки оценивания, аналитические дашборды, соответствие стандартам доступности и интеграции со школьными IT-системами, которые не обновлялись с 2010 года.

CTO в EdTech управляют командами, охватывающими frontend, backend, контент-инженерию, data science, DevOps и часто выделенную команду интеграций. Работа варьируется от высокотворческой (создание увлекательного учебного опыта) до глубоко технической (пайплайны транскодирования видео, движки совместной работы в реальном времени) до раздражающе рутинной (интеграция с очередной LMS через плохо документированный API).

Инженерные метрики помогают управлять этой сложностью, грамотно распределять ресурсы и доставлять улучшения платформы, которые действительно влияют на образовательные результаты.

У каждого engineering-менеджера есть интуитивное ощущение недельного ритма команды. Понедельник кажется медленным. Пятница — временем сворачивания. Но что на самом деле показывают данные?

Мы проанализировали тысячи часов кодинга от разработчиков из более чем 100 B2B-компаний, чтобы построить карту продуктивности по дням недели — и результаты ставят под вопрос некоторые распространённые убеждения.