Esbarrei num estudo viral sobre "engenheiros fantasma" e não consegui parar de ler. Começou como leitura leve e virou algo mais próximo de uma história de detetive. A manchete: 9,5% dos engenheiros de software não fazem praticamente nada. Cinquenta mil engenheiros, centenas de empresas, pesquisa de Stanford. Números assim fazem executivo derrubar o café. Aí olhei a metodologia. Os pesquisadores usaram 70 commits para construir um modelo que avaliou 1,73 milhão de commits. Imagine entrar na Biblioteca do Congresso, com seus 39 milhões de livros, e julgar o acervo inteiro a partir de 70 páginas. A proporção da amostra é 0,004%. Só Java. Validação cruzada leave-one-out, random forest com análise estática. Meu primeiro instinto foi que aquilo não podia ser confiável. Mas é aqui que fica interessante, e onde mudei de ideia. Os números reportados foram: correlação de 0,82 para estimativa de tempo, ICC(2,k) de 0,81 para consistência de tempo de codificação entre avaliadores. Isso é forte. Apesar do tamanho da amostra, os resultados do modelo eram surpreendentemente estáveis. E o modelo não estava contando commits. Ele analisava as mudanças de código de cada commit em termos de complexidade e outros parâmetros, e foi construído para imitar avaliações feitas por dez especialistas humanos independentes. Isso é mais parecido com ter um painel de revisores experientes avaliando cada mudança do que com qualquer métrica de contagem de commits. Então o que eu tiro disso? Duas coisas que convivem mal. Amostras pequenas podem produzir modelos confiáveis quando aquilo que se mede é consistente e as features são bem escolhidas — tamanho de amostra sozinho não é o argumento inteiro, e eu fui rápido demais em supor que era. Mas um modelo que reproduz de forma confiável o julgamento de especialistas sobre commits em Java não é a mesma coisa que uma afirmação sobre o que 9,5% dos engenheiros de software fazem com suas vidas profissionais. O resultado técnico e a manchete são afirmações diferentes, e só uma delas foi de fato testada. Num mundo cada vez mais obcecado por métricas, o que medimos — e como medimos — importa. Até os modelos mais avançados são tão perspicazes quanto os dados que lhes damos, e tão honestos quanto as conclusões que tiramos para além deles.