4 juni 2026
Het nieuws dat de SWE-bench Verified, de benchmark die lange tijd als de maatstaf voor AI-programmeerprestaties diende, zijn relevantie heeft verloren, is als een schokgolf door de AI-gemeenschap gegaan. OpenAI heeft aangekondigd dat deze benchmark ernstig verontreinigd is door gebrekkige teststructuren en invloed uit eerdere trainingsdata, wat de waarde ervan voor het beoordelen van de programmeercapaciteiten van AI-modellen ondermijnt. Dit roept belangrijke vragen op over de betrouwbaarheid van dergelijke evaluaties en wat dit betekent voor investeerders en analisten die de voortgang in de AI-ruimte volgen.
De SWE-bench Verified werd in augustus 2024 ontwikkeld als verbeterde versie van de oorspronkelijke benchmark uit 2023. Het doel was om een schoner beoordelingssysteem op te zetten, waarbij 93 software-engineers werd ingeschakeld om onmogelijke of slecht ontworpen taken uit te sluiten. Waar deze aanpak aanvankelijk goed werkte en vele AI-bedrijven gebruik maakten van de scores als bewijs van vooruitgang, heeft OpenAI nu ontdekt dat de benchmark zelf onbetrouwbaar is. Bij het controleren van 138 taken, die GPT-5.2 niet kon oplossen, kwam men tot de schokkende conclusie dat maar liefst 59,4% van deze taken fundamenteel gebroken is.
De verontreiniging van de benchmark is problematisch omdat de SWE-bench zijn problemen haalt uit open-source repositories die door de meeste AI-ontwikkelaars worden gebruikt. Dit maakte het voor bekende AI-modellen mogelijk om, enkel met een taak-ID en een korte aanwijzing, de oorspronkelijke oplossingen te reproduceren. In sommige gevallen legden logboeken van GPT-5.2 zelfs op basis van eerdere informatie verbanden die alleen in de release-notities van Django te vinden waren.
OpenAI heeft nu een nieuwe benchmark, SWE-bench Pro, aanbevolen, die gevarieerdere codebases en licenties hanteert om de blootstelling aan trainingsdata te verminderen. Het verschil in prestaties is opmerkelijk: waar modellen eerder gemiddeld 70% haalden op de oude benchmark, scoren ze nu slechts 23% op deze nieuwe versie. Dit betekent dat de concurrentiepositie van OpenAI op de huidige leaderboard van de SWE-bench Verified sterk is verzwakt, wat ook strategische implicaties heeft in hun branding en marktpositionering.
Met de introductie van SWE-bench Pro is er een kans voor een reset, maar het is ook cruciaal om te erkennen dat benchmarks snel verouderen naarmate modellen zich ontwikkelen. Het probleem van verouderde en onbetrouwbare benchmarks is niet uniek voor codering, maar het feit dat OpenAI juist deze benchmark zo sterk promootte voordat ze de tekortkomingen openbaarden, maakt dit geval opmerkelijk. De verschuiving naar nieuwe evaluaties zoals de GPDVal, waarbij deskundigen originele taken schrijven, kan een weg bieden naar betrouwbaardere en meer geaccepteerde standaardisering in de sector.
De ontwikkelingen binnen de SWE-bench en de daaropvolgende aanpassingen dragen bij aan het grotere verhaal van ethiek en transparantie binnen de AI-industrie. Investeren in technologieën en benchmarks die echt naar resultaten streven, is wellicht de enige manier waarop we garant kunnen staan voor een professionele en veilige AI-toekomst.
Wat zijn de belangrijkste redenen voor de afkeuring van SWE-bench Verified?
De SWE-bench Verified blijkt te zijn besmet met gebrekkige teststructuren en gestructureerde data-exposure, wat resulteert in onbetrouwbare evaluaties van AI-codingcapaciteiten en een groot aantal gebroken taken.
Hoe heeft OpenAI de betrouwbaarheid van de benchmarks geverifieerd?
OpenAI heeft 138 taken beoordeeld die GPT-5.2 moeilijkheden opleverden en kwam tot de conclusie dat meer dan de helft van die taken fundamentele problemen vertoonde, wat de zekerheid van de benchmark ondermijnt.
Wat betekent de overstap naar SWE-bench Pro voor de competitieve landscape?
De overstap naar SWE-bench Pro kan de concurrentiepositie van OpenAI resetten, maar het roept ook vragen op over de duurzaamheid van benchmarks in een snel evoluerende AI-markt.
Bitcoin (BTC)
Ethereum (ETH)
XRP (XRP)
