Advies 464: Gebruikerstest was wel zorgvuldig, maar de motivering van de uitslag is ondeugdelijk.
Beklaagde heeft op 20 maart 2017 een Europese openbare procedure aangekondigd voor een raamovereenkomst met één onderneming voor de levering van voorselectieapparatuur (voor alcoholblaastesten), randapparatuur en alle bijbehorende verbruiksartikelen en toebehoren van voorselectieapparaten, het bijbehorende onderhoud en overige dienstverlening.
Het gunningscriterium is de beste prijs-kwaliteitverhouding, waarbij kwaliteit wordt beoordeeld aan de hand van een gebruikerstest (maximaal 90 punten) en aantal jaren geboden garantie (maximaal 10 punten).
In november 2017 heeft klager een klacht ingediend bij het klachtbehandelteam van beklaagde, waarbij onder meer gesteld wordt dat de gebruikerstest niet correct was uitgevoerd. Deze klacht is gegrond verklaard waarna beklaagde in februari 2018 een nieuwe gebruikerstest heeft uitgevoerd en een nieuwe gunningsbeslissing is genomen, waarbij de inschrijving van klager op de tweede plaats in de rangorde wordt geplaatst.
De klacht bestaat uit twee onderdelen:
1. De gebruikerstest is niet objectief uitgevoerd.
2. Beklaagde is bij de beoordeling van de gebruikerstest afgeweken van de beoordelings- en gunningssystematiek zoals opgenomen in de Inschrijvingsleidraad.
De Commissie heeft een inlichtingenbijeenkomst gehouden met partijen, waarbij beklaagde onder meer de procedure heeft toegelicht en beschreven hoe de gebruikerstesten zijn uitgevoerd.
De Commissie overweegt over het eerste klachtonderdeel dat aangezien de gebruikerstest een grote invloed heeft op de rangorde van de inschrijvingen het van groot belang is dat deze gebruikerstest op een zo objectief mogelijke manier heeft plaatsgevonden en dat de beoordeling van het subgunningscriterium Gebruikerstest zorgvuldig is uitgevoerd (vergelijk Advies 407, overweging 5.7.3).
Naar het oordeel van de Commissie heeft beklaagde voldoende maatregelen getroffen om de objectiviteit van de gebruikerstest te waarborgen.
Tijdens de inlichtingenbijeenkomst is gebleken dat de afgelopen jaren voorselectieapparaten van vier à vijf verschillende merken binnen de organisatie van beklaagde werden gebruikt. Deze apparaten waren verspreid over de tien eenheden. Door van iedere eenheid ten minste drie beoordelaars naar de tweede gebruikerstest af te vaardigen, heeft beklaagde er in voldoende mate voor gezorgd dat er een zo represenatief mogelijke groep beoordelaars heeft deelgenomen aan die test.
Beklaagde heeft er bovendien op toegezien dat de boordelaars de gebruikerstest individueel, geïnformeerd en aan de hand van het scoreformulier uitvoerden. Zij heeft de beoordelaars voorafgaande aan de uitvoering van de test uitleg gegeven over het testen aan de hand van het scoreformulier. De beoordelaars is voorafgaand aan de gebruikerstest bovendien verteld dat zij de verkorte handleiding moesten doornemen voor het testen van een voorselectieapparaat. De beoordelaars konden ook de uitgebreide handleiding raadplegen. Het was beoordelaars niet toegestaan met elkaar te overleggen. Hier is ook toezicht op gehouden. De voorselectieapparaten zijn op drie verschillende locaties van een centrale locatie getest, om zodoende de apparaten onder verschillende omstandigheden te kunnen testen. Beoordelaars op dezelfde locatie hebben niet tegelijkertijd een voorselectieapparaat van dezelfde inschrijver getest. Op al deze locaties was ten minste één toezichthouder aanwezig. Achteraf is gecontroleerd of de beoordelaars de scoreformulieren correct hadden ingevuld.
Omdat er maar een beperkt aantal testers tegelijkertijd op één locatie aan het testen was, was het voor de toezichthouder op de locatie goed mogelijk het overzicht te houden. Het is dan ook voldoende aannemelijk dat de testers, zoals beklaagde stelt, daadwerkelijk niet met elkaar hebben overlegd. Niet kan dus worden geoordeeld dat het testen onderhevig is geweest aan sentimenten die geen rol mochten spelen.
Tijdens de inlichtingenbijeenkomst is gebleken dat binnen de organisatie van beklaagde niet is gewerkt met het product van klager en dat aan de gebruikerstest dus geen beoordeleaars deelnamen met kennis van dat product. Het verschil in kennis van het gebruik van de producten van de verschillende inschrijvers kan op meerdere manieren worden verkleind. Beklaagde heeft ervoor gekozen de boordelaars de verkorte handleiding te laten lezen voorafgaand aan het testen en de uitgebreide handleiding ter beschikking te stellen ter raadpleging. Op deze manier zijn alle beoordelaars op de hoogte gesteld van de functionaliteiten en de werking van het product van klager. Dat dit ook had gekund door middel van een voorafgaande training of uitleg ter plaatse, al dan niet door de leveranciers, maakt niet dat in het onderhavige geval de gebruikerstest onvoldoende is uitgevoerd. Ook de medewerkers van beklaagde die uiteindelijk met de voorselectieapparaten moeten gaan werken, krijgen geen nadere instructie en moeten met de verkorte en uitgebreide handleiding uit de voeten kunnen: dat vormt immers onderdeel van de opdracht.
De Commissie is, alles afwegende, van oordeel dat beklaagde heeft voldaan aan haar verplichting om de inschrijvingen aan de hand van een zo objectief mogelijk systeem te beoordelen.
Het voorgaande betekent dat het eerste klachtonderdeel ongegrond is.
Het tweede klachtonderdeel ziet op de beoordeling in de gebruikerstest van de volgende drie eisen: K-E5 (Handzaam), K-E8 (Beschermhoes) en K-E9 (Blaasduurindicatie).
Voor de score van klager op eis K-E5 (Handzaam) geeft beklaagde in de mededeling van de gunningsbeslissing als reden dat voor het verwisselen van het blaaspijpje (mondstuk) twee handen nodig zijn, waardoor het apparaat even weggelegd moet worden en dat dit bij het winnende apparaat op een betere, hygiënischere wijze gebeurt.
Klager behoefde echter, uitgaande van hetgeen in de Inschrijvingsleidraad is bepaald, niet te verwachten dat bij de beoordeling van deze eis het eenvoudig en hygiënisch verwisselen van de mondstukken betrokken zou worden. Uit de Inschrijvingsleidraad blijkt immers dat deze elementen onderdeel zijn van de beoordeling van eis K-E14 (Verwisselen mondstukken), welke eis in de gebruikerstest apart beoordeeld zou worden, en niet in het kader van eis K-E5 (Handzaam).
Hetgeen K-E5 (Handzaam) vereist – namelijk of het aanbieden van het apparaat aan een staande gehouden persoon met één hand mogelijk is, zodanig dat de andere hand vrij blijft en of het voor zowel links- als rechtshandigen is te hanteren – komt in de (tweede) mededeling van de gunningsbeslissing niet terug.
Het voorgaande betekent dat het klachtonderdeel gegrond is voor zover dat betrekking heeft op de beoordeling door beklaagde van het door klager aangeboden voorselectieapparaat op eis K-E5 (Handzaam).
In de motivering voor de score van klager op eis K-E8 (Beschermhoes) stelt beklaagde dat het materiaal van de beschermhoes weinig bescherming biedt voor het apparaat, vooral als het apparaat valt, de bevestiging aan de riem makkelijk loslaat en het apparaat lastig in de beschermhoes is te krijgen.
In de omschrijving van eis K-E8 (Beschermhoes) staat het volgende: ‘De Inschrijver dient een beschermhoes ter bescherming van het voorselectieapparaat aan te bieden’. Echter is de testers in de gebruikerstest specifiek en alleen gevraagd te beoordelen of de bediening van het apparaat eenvoudig is als het in de beschermhoes zit. Een redelijk geïnformeerde en normaal zorgvuldige inschrijver hoeft aan de hand hiervan dus niet te verwachten dat zijn beschermhoes in de gebruikerstest afzonderlijk beoordeeld zal worden op de mate waarin het bescherming biedt aan het apparaat (als het valt).
De in de motivering gegeven reden dat de bevestiging aan de riem gemakkelijk loslaat, lijkt logischerwijs te zien op het onderdeel van eis K-E8 (Beschermhoes) dat vereist dat de beschermhoes aan de riem bevestigd kan worden. De testers is echter niet gevraagd de apparatuur hierop te beoordelen in de gebruikerstest en dat betekent dat dit aspect geen onderdeel uitmaakt van de beoordeling van het gunningscriterium K-C1 (Gebruikerstest) op eis K-E8 (Beschermhoes). Ook de gegeven reden dat het apparaat lastig in het hoesje is te krijgen, ziet logischerwijs niet op het eenvoudig kunnen bedienen van het apparaat als het in de beschermhoes zit.
In de brief van 1 maart 2018 geeft beklaagde aan dat het feit dat het apparaat van de koppelriem valt van invloed is op de eenvoud van de bediening van het apparaat als het in de beschermhoes zit en dat het materiaal van de beschermhoes als slap werd ervaren, waardoor het apparaat lastig in het hoesje is te krijgen en de bediening door sommigen als minder “handig” werd ervaren. Beklaagde lijkt hiermee de eerder gegeven redenen alsnog te willen koppelen aan de vraagstelling aan de beoordelaars. Daarmee voert beklaagde echter in feite nieuwe redenen aan.
Ten aanzien van de andere elementen van eis K-E8 (Beschermhoes) – dat de apparatuur in de beschermhoes eenvoudig bereikbaar en op dezelfde wijze bedienbaar moet zijn en dat de hoes voor het uitvoeren van de Ademtest niet verwijderd hoeft te worden – is niets gezegd in de motivering van de gunningsbeslissing, terwijl daarvan nu juist verwacht kon worden dat daarop in het kader van die eis beoordeeld zou worden. De beoordelaars is immers gevraagd een beoordeling te geven van de mate waarin de apparatuur eenvoudig bediend kan worden als deze in de beschermhoes zit.
In de brief van 1 maart 2018 gaat beklaagde alsnog op de gevraagde elementen in, door te oordelen dat door het plastic in de beschermhoes schitteringen ontstaan op de plek van de display, wat de bediening van het apparaat minder eenvoudig maakt. Ook hiermee is een nieuwe (en dus tardieve) reden voor de score van klager voor eis K-E8 (Beschermhoes) gegeven.
Beklaagde heeft zodoende niet alle relevante redenen voor de gunningsbeslissing in de mededeling van de gunningsbeslissing gegeven, hetgeen niet kan worden hersteld door de nieuwe redenen die zijn opgenomen in de brief van 1 maart 2018 aangezien dergelijke aanvullingen niet zijn toegestaan.
Beklaagde heeft bovendien, voor wat betreft eis K-E8 (Beschermhoes), de inschrijving van klager niet overeenkomstig de door haar gestelde eisen beoordeeld.
Het voorgaande betekent dat het klachtonderdeel gegrond is voor zover dat betrekking heeft op de beoordeling door beklaagde van het door klager aangeboden voorselectieapparaat op eis K-E8 (Beschermhoes).
Eis K-E9 (Blaasduurindicatie) vereist dat het voorselectieapparaat een hoorbare indicatie (signaal) van de blaasduur geeft. Of er een signaal gedurende de blaasduur moet klinken, of juist alleen wanneer de blaasduur ten einde is en er een resultaat wordt gegeven, is niet in de eis bepaald. In de eerste Nota van Inlichtingen geeft beklaagde aan dat met ‘hoorbaarheid’ in de eis K-E9 wordt bedoeld dat de bediener en de gebruiker het signaal tijdens het gebruik moeten kunnen horen. De betekenis die een redelijk geïnformeerd en normaal zorgvuldige inschrijver in dit licht bezien aan de eis mocht geven, is dat er tijdens het gebruik van het voorselectieapparaat een hoorbare indicatie van de blaasduur moet zijn. Dat het signaal enkel of tevens zou moeten klinken bij het resultaat na afloop, valt uit de eis niet af te leiden.
Voor zover de beoordelaars een lagere score op eis K-E9 (Blaasduurindicatie) hebben toegekend vanwege het ontbreken van een signaal voor het resultaat van de blaastest, acht de Commissie dat niet terecht. Een dergelijk signaal voor het resultaat is in de aanbestedingsstukken immers niet vereist.
Beklaagde heeft zodoende, voor wat betreft eis K-E9 (Blaasduurindicatie), de inschrijving van klager niet overeenkomstig de door haar gestelde eisen beoordeeld en subcriteria toegepast die zij niet vooraf ter kennis van de inschrijvers heeft gebracht.
Verder geeft beklaagde in haar brief van 1 maart 2018 als reden voor de score van klager op eis K-E9 (Blaasduurindicatie) aan dat over het algemeen de hoorbaarheid van het signaal als goed werd ervaren, maar dat een aantal testers vond dat het geluid (met name buiten) te zacht was en de toon te hoog of irritant. Beklaagde geeft hiermee een nieuwe reden voor de gunningsbeslissing, hetgeen niet is toegestaan. In tegenstelling tot wat beklaagde stelt, is hier geen sprake van een toelaatbare nadere toelichting. De eerder gegeven reden hield in dat door de harde pieptoon van het signaal gedurende de blaasduur het eindsignaal voor het resultaat zou worden gemist. Dat het signaal dat gedurende de blaasduur klinkt goed hoorbaar of juist te zacht, te hoog of irritant is, kan niet als een nadere toelichting daarop worden gezien. Het is een reden op zichzelf die, in tegenstelling tot de eerder gegeven reden, ziet op de hoorbaarheid van het signaal tijdens de blaasduur en niet op de hoorbaarheid van het signaal van het resultaat.
Het voorgaande betekent dat dit klachtonderdeel gegrond is voor zover het betrekking heeft op de beoordeling door beklaagde van het door klager aangeboden voorselectieapparaat op eis K-E9 (Blaasduurindicatie).
Daarmee acht de Commissie klachtonderdeel 2, betreffende de beoordeling van zowel eis K-E5, K-E8 als K-E9, gegrond.