Een reviewer schrijft: we gebruiken hier geen raw SQL, gebruik het repository-patroon. De wijziging wordt doorgevoerd, de pull request wordt gemerged en iedereen gaat verder. Volgende week levert een vergelijkbare taak dezelfde fout op, en schrijft iemand dezelfde opmerking.
Dat is geen modelprobleem. Het is een geheugenprobleem, en een tijdlang was het ook het onze. We legden vast wat een run over een codebase had geleerd, maar alleen bij de eerste poging. Stuurde een mens het werk terug, dan werd de correctie toegepast en daarna weggegooid.
Waarom de review het waardevolle signaal is
Een falende test vertelt je dat er iets stuk is. Een reviewer die zegt dat de aanpak niet past bij deze codebase, geeft je een regel, en regels zijn breder toepasbaar. Dat is het verschil tussen één pull request repareren en dezelfde fout nooit meer maken.
Daarom destilleren we reviewopmerkingen nu tot blijvende regels die aan het project hangen. De volgende taak begint met die kennis al op zak.
Alleen als er echt een mens iets zei
De voor de hand liggende fout zou zijn om van elke iteratie te leren. Een flaky test of een lint-opmerking leert je niets blijvends, en als je die opslaat verwater je de regels die er wel toe doen, tot geen enkele nog gewicht heeft.
Daarom draait de leerstap alleen als een mens een opmerking achterliet. Een falende CI-build wordt gerepareerd en vergeten, en dat is voor zo'n fout ook precies de juiste uitkomst.
Wat we bewust niet doen
We laten het model zijn eigen regels niet zonder toezicht herschrijven. De gedestilleerde regels staan zichtbaar in het project, en je kunt elke regel aanpassen of verwijderen. Anders zou een regel die uit een misverstand is geleerd stilletjes elke toekomstige taak sturen, zonder dat iemand weet waar hij vandaan komt.
De echte toets
De vraag is niet of de tool vandaag goede code schrijft. De vraag is of de tweede maand beter is dan de eerste. Laat je team in week acht nog steeds dezelfde reviewopmerkingen achter, dan leert de tool niets, en daar verandert geen enkel krachtiger model iets aan.
