Benchmarki

Główny eksperyment to bez skills vs ze skills. Mierzymy spakowaną wiedzę, nie to, które laboratorium wypuściło najnowszy model.

Statystyki katalogu

Wzrost wiedzy

+35,8%

Software Throughput

13,6×

Interwencja człowieka

5→0

Główna

Czy przekazanie agentowi wiedzy specyficznej dla Ruby sprawia, że lepiej tworzy oprogramowanie Ruby?

Dodatkowa

Czy lepsza wiedza daje więcej poprawnego oprogramowania na jednostkę czasu?

Relay

relay.example · ta sama aplikacja, każde uruchomienie

Skrzynka wsparcia: zgłoszenia, przypisanie i wątek rozmowy w Hotwire.

  • Rails 8.1
  • Hotwire
  • PostgreSQL
  • RSpec

Protokół

Przykładowy przebieg · sierpień 2026 · GPT-5 na Relay

Jeden prompt. Jedna pusta aplikacja Rails. Wiedza jest jedyną zmienną — najpierw żadna, potem skills dokładane warstwami.

Zbuduj małą skrzynkę wsparcia. Zespół może listować zgłoszenia, przypisać właściciela i odpowiadać na żywo w wątku.

Pełny Skillfile

  • example/rails-conventions
  • example/secure-defaults
  • example/request-specs
  • example/hotwire-ui
  • example/job-queues

Bez skills vs ze skills

Ablacja na GPT-5. Liczby poglądowe, nie żywe laboratorium.

Eksperyment Testy Czas Iteracje Tokeny Człowiek Throughput
Model bazowy 31/44 24m 7 184k 5 4,9
+ konwencje Rails 36/44 20m 5 151k 3 10,2
+ wiedza testowa 41/44 18m 3 126k 2 17,3
Pełny Skillfile 44/44 15m 2 103k 0 66,7