Known issues en tips

Loopt u tegen een onafgehandelde fout aan in de validatieTool; raadpleeg dan de lijst met bekende bugs in de validatiemodule staat op de GitHub pagina. Een onafgehandelde fout staat in de resultaten bij Error en begint met Python Exception: …..

Onderstaande tabel bevat een overzicht van bekende problemen (known issues) in het gebruik van de HyDAMO Validatietool. Indien mogelijk is een workaround beschreven om het 'probleem' te omzeilen. Wanneer dat niet mogelijk is zal het probleem zo snel mogelijk in een nieuwe release opgelost worden.

Nummer

Omschrijving

Toelichting/Workaround

Opgelost

Nummer

Omschrijving

Toelichting/Workaround

Opgelost

VAL-1

Een dataset geopackage bestand wordt niet geaccepteerd door de Validatiemodule.

Een regelmatig gemaakte fout is dat bij het aanmaken van een geopackage databestand, de naam van de laag niet correct wordt aangemaakt. Deze naam moet voldoen aan de object definfitie van HyDAMO 2.2 of 2.3.

Gebruik daarom altijd vóóraf de HyDAMO wasmachine om uw geopackages conform HyDAMO 2.2 of 2.3 aan te leveren.

Ter inspiratie een test-set Waterschap Rijn en Ijssel.

 

VAL-2

Een dataset geopackage veroorzaakt een Error: Python Exception. tijdens de validatie. Succes zal op false staan en Status waarschijnlijk op syntax-validation (fields).

Een of meerdere dataset-lagen zijn niet conform HyDAMO gedefinieerd. Let daarbij specifiek op:

  • naam van de laag (zie VAL-1)

  • naam van de attributen

  • datatype van de attributen (integer, float, datetime, etc.)

Gebruik daarom altijd vooraf de “HWH wasmachine” om uw geopackages conform HyDAMO 2.2 of 2.3aan te leveren.

Om niet conform HyDAMO 2.2. datasets beter te ondersteunen zijn verbeteringen doorgevoerd in Validatiemodule versies:

* 1.0.1

VAL-3

Bij het gebruik van meerdere taken in de takenlijst wordt een datasetbestand aan de verkeerde (altijd de eerste) taak uit de takentabel toegevoegd.

Dit is een vervelende bug die met prioriteit wordt opgelost en zo snel mogelijk in een patch update wordt vrijgegeven. Tot die tijd wordt geadviseerd om met maar 1 taak tegelijk te werken. Verwijder eventuele voorgaande taken als je met een nieuwe taak aan de slag gaat.

In Webclient versie 1.0.3

VAL-4

Gebruiker mist kolommen in het resultaat. Bijvoorbeeld general_001_result_variable, waarbij result_variable in de validationrules.json is gespecificeerd.

In de metadata.json (validation_result.json) zal bij errors een melding worden gegeven dat deze kolom mist met toelichting in de volgende vorm:

"general_rule niet uitgevoerd. Inspecteer de invoer voor deze regel: (####)"

In #### kunt u de regelnummer, de invoer en de Python Exception waardoor de regel is gefaald terugvinden.

De reden van het falen wordt weergegeven bij de Python Exception en duidt op een onjuiste configuratie op uw brondata.

In Validatiemodule 1.1.0

VAL-5

Validatietijd neemt exponentieel toe bij een Geopackage met veel Hydro-objecten in combinatie met een specifieke validatieregel.

Bij het valideren van hydro-objecten met de validatieregel ‘Een hydroobject wordt gescheiden bij een samenkomst of opsplitsing’ de validatietijd exponentieel toeneemt met het aantal hydro-objecten. De functie ‘splitted_by_junction’ is een spatial function die bij veel hydro-objecten steeds slechter gaat presteren. Wij gaan iedereen nu het advies geven om

  1. deze functie niet mee te nemen in de validaties OF

  2. het aantal hydro-objecten in een gepackage te beperken tot maximaal 10.000. Dit kun je bewerkstelligen door bijvoorbeeld het gebied op te delen.

De validatieregel kun je eenvoudig uitzetten door 'active' op false te zetten. Het betreft de validatieregel met id=1 onder Hydro-objecten.

Hier staat deze aangepaste versie met validatieregels.

 

VAL-6

Bij gebruik van de webclient komt het regelmatig voor dat het downloaden van het resultaat de eerste keer niet lukt.

Zorg ervoor dat je de regel met de taak geselecteerd hebt voordat je de download knop activeert. Wacht totdat de velden met de dataset en validatieregels geheel geladen zijn.

 

VAL-7

Hele grote Geopackage bestanden geven problemen bij het downloaden. Vooralsnog is dit alleen geconstateerd bij datasets vanuit het GKW.

De fout treedt op bij het aanmaken van een csv bestand. Gebruik als tijdelijke work-around de API om het resultaat als Geopackage te downloaden.

 

VAL-8

Dezelfde validatietaken lijken om onverklaarbare reden soms wel en soms niet tot een resultaat te komen.

Deze fout treedt op doordat dezelfde rekentaak soms door meerdere cloud instanties tegelijk opgepakt werden. Opgelost met een workaround.

In API 1.2.0

VAL-9

Extreem grote datasets (bijv. van heel NL) komen niet tot een einde.

Bij extreem grote datasets loopt het beschikbare geheugen in de cloud vol. Probeer validaties per validatieregel uit te voeren.

 

Probleemmeldingen kunnen ingediend worden via: helpdesk-hydamo-validatietool@hkv.nl