Benchmarks

O experimento principal é sem skills vs com skills. Medimos conhecimento empacotado, não qual laboratório lançou o modelo mais novo.

Estatísticas do catálogo

Ganho de conhecimento

+35,8%

Software Throughput

13,6×

Intervenção humana

5→0

Principal

Dar conhecimento específico de Ruby a um agente o torna melhor em produzir software Ruby?

Secundária

Conhecimento melhor produz mais software correto por unidade de tempo?

Relay

relay.example · o mesmo app em cada execução

Uma caixa de entrada de suporte: tickets, atribuição e um fio de conversa em Hotwire.

  • Rails 8.1
  • Hotwire
  • PostgreSQL
  • RSpec

Protocolo

Execução de exemplo · agosto de 2026 · GPT-5 no Relay

Um prompt. Um app Rails vazio. A única variável é o conhecimento — primeiro nenhum, depois skills em camadas.

Construa uma caixa de entrada de suporte pequena. A equipe lista tickets, atribui um responsável e responde num fio ao vivo.

Full Skillfile

  • example/rails-conventions
  • example/secure-defaults
  • example/request-specs
  • example/hotwire-ui
  • example/job-queues

Sem skills vs com skills

Ablation no GPT-5. Números ilustrativos, não um laboratório ao vivo.

Experimento Testes Tempo Iterações Tokens Humano Throughput
Modelo base 31/44 24m 7 184k 5 4,9
+ Rails conventions 36/44 20m 5 151k 3 10,2
+ Testing knowledge 41/44 18m 3 126k 2 17,3
Full Skillfile 44/44 15m 2 103k 0 66,7