5.4.1 Hvorfor er det nødvendigt med eksterne reviews?

Der findes ikke to modelleringsopgaver som er ens. De adskiller sig på mange væsentlige områder, både med hensyn til det fysiske system (geologi, klima, arealanvendelse), tilgængelighed af data og med hensyn til opgavens formål, ønsker til nøjagtighed, økonomiske ressourcer, interessenter mv. I forbindelse med selve modelleringsarbejdet skal der træffes hundredvis af små og store beslutninger, om hvilke prioriteringer der skal laves, hvilke data der skal inddrages, hvordan data tolkes, hvilke numeriske værktøjer der benyttes til modelopstilling, kalibrering, osv. I nogle situationer vil forskellige metoder kunne lede til samme mål om end det for forskellige modellører kan kræve forskelligt ressourceforbrug, mens det i andre situationer ikke er tilfældet. Derfor er det umuligt at lave en detaljeret teknisk vejledning, som giver svar på alle spørgsmål i en hydrologisk modelleringsopgave. Tekniske anvisninger med checklister og beskrivelser af, hvad der skal laves, er nyttige, men på grund af opgavernes forskelligartethed og de mange beslutninger undervejs, kan man sagtens komme i den situation, at selv om man har gennemført alle de aktiviteter, der er beskrevet i en teknisk vejledning, er resultatet alligevel fagligt utilfredsstillende.

Tekniske vejledninger i hydrologisk modellering er nyttige men er ikke i sig selv en garanti for god kvalitet i lighed med så mange andre komplekse beslutningssituationer, som fx anlægsprojekter. For at sikre bedst mulig kvalitet i sådanne situationer er det internationalt erkendt, at det er vigtigt at inddrage uafhængig faglig erfaring til at vurdere det gennemførte arbejde. I den sammenhæng benyttes peer reviews, som også er den mest anerkendte metode til at skelne god og dårlig kvalitet i forskningsverdenen.

Derfor er reviews det vigtigste element i en kvalitetssikring af modelleringsarbejdet. Der skal foretages to typer reviews:

• Interne reviews . Modelløren’s organisation skal sørge for interne reviews, hvor modelleringsarbejdet kvalitetssikres af kollegaer, der ikke selv har været involveret i arbejdet. Interne reviews kan foregå løbende, men bør som minimum foregå ved de milepæle, der svarer til opgaverne 2.9, 4.7, 4.9 og 5.5 (Tabellerne 2, 4 og 5). Derfor indeholder nærværende Geo-Vejledning ingen angivelser af, hvordan den interne kvalitetssikring bør foretages.
• Eksterne reviews . Vandressourceforvalteren skal sørge for, at der gennemføres eksterne reviews i tilknytning til afslutningen af de forskellige modelleringstrin. Eksterne reviews er Vandressourceforvalterens sikkerhed for en god kvalitet.

5.4.2 Kan Vandressourceforvalteren selv gennemføre eksternt review?

Såfremt der i Vandressourceforvalterens organisation er en stærk modelleringsenhed kan Vandressourceforvalteren i princippet godt selv gennemføre eksterne reviews. For at opnå en god teknisk kvalitet og sikre state-of-the-art niveau kræver det dog, at modelleringsenheden består af flere modellører med flere års erfaring i modellering, og som i dag har hydrologisk modellering som hovedbeskæftigelse. Udover at kvalitetssikre den tekniske standard af modelleringen vil eksterne reviews ofte have den ekstra nyttevirkning, at troværdigheden af det færdige arbejde hos tredjeparter øges. Det er specielt vigtigt i situationer, hvor modelleringsarbejdet udgør grundlaget for kontroversielle beslutninger, eller hvor resultaterne skal videregives til opfølgning hos kommuner eller interessenter. I den sammenhæng kan det være vigtigt, at reviewet gennemføres af fagfolk, der er eksterne i forhold til opgavens parter.

5.4.3 Principper for godt eksternt review

Det er meget væsentligt, at revieweren er bevidst om sin opgave og rolle og bidrager konstruktivt til modelleringsopgavens gennemførelse. Det er ligeledes vigtigt at revieweren er bekendt med de stillede vilkår for modellen, da disse vilkår jo ofte har en rolle i valg af model og løsninger. Vigtige principper i den sammenhæng er:

1. Et review skal gennemføres af fagfolk, som har lige så stor modelleringsmæssig erfaring og indsigt som Modelløren. Ved model appraisal (se nedenfor) kan der dog stilles mindre krav til reviewerens specifikke modellerings erfaring. Reviewerens vigtigste redskaber er modelleringserfaring, fagligt overblik og sund fornuft.
2. Revieweren refererer til Vandressourceforvalteren, men skal i rent tekniske spørgsmål optræde som uafhængig ekspert.
3. Revieweren må ikke være inhabil i forhold til nogle af modelleringsopgavens aktører og må ikke på anden vis have interesser på spil i opgaven. Revieweren kan dog godt være en konkurrent til Modelløren, såfremt de etiske principper i næste punkt overholdes. Dog må Revieweren ikke have været i direkte konkurrence med Modelløren om vinde udbuddet af den pågældende modelopgave.
4. Revieweren skal optræde neutralt i forhold til Modelløren, selv om de måske i andre sammenhænge kan være konkurrenter. Det indebærer bl.a. at Revieweren skal bestræbe sig på at optræde fordomsfrit og ikke forsøge at opnå konkurrencemæssige fordele af sin funktion som Reviewer.
5. Reviewerens opgave er ikke primært at påpege fejl hos Modelløren, men at fremdrage kritiske faglige elementer i modelleringsarbejdet, som kan have behov for yderligere behandling. Det kan fx dreje sig om vurderinger af kritiske forudsætninger.
6. Revieweren skal udføre sine vurderinger med respekt for de givne rammer med hensyn til balancen mellem formål, ønsket nøjagtighed, tilgængelige data, allokeret tid og penge, mv. Dvs. Revieweren må ikke forvente en mere ambitiøs opgaveløsning end der med rimelighed kan forventes med de til rådighed værende ressourcer.
7. Revieweren må gerne komme med forslag til løsninger, men skal ikke bidrage til modelleringsopgaven.
8. Reviews gennemføres typisk i forbindelse med afslutningen af et af de sidste fire model trin (Figur 1). Her vil Modelløren typisk præsentere resultatet af den gennemførte modellering og fremlægge forslag til arbejdet i næste trin i form af en skriftlig rapport og en præsentation på et møde med deltagelse af Vandressourceforvalter, Modellør, Reviewer og evt. interessenter. Reviewet vil her danne udgangspunkt for, at Vandressourceforvalteren beslutter, om det foreliggende modelleringsarbejde kan godkendes.
9. Det bør fremgå af udbudsmaterialet, at der vil være en ekstern Reviewer tilknyttet projektet samt hvad opgaven omfatter.
10. Omkostningerne til Revieweren vil typisk udgøre i størrelsesorden 10 % af udgifterne til selve modelleringsarbejdet.

5.4.4 Forskellige typer reviews

Afhængig af opgavetype kan reviews gennemføres med større eller mindre grundighed. I Sonnenborg og Henriksen (2005) skelnes mellem følgende typer reviews:

• Model appraisal , dvs. en gennemgang af modelrapporten af en fagperson, som ikke nødvendigvis er modellør.
• Peer review , dvs. et review gennemført af ”ligemænd” hvilket vil sige af uafhængige modellører.
• Model audit , som udover en gennemgang af en modelrapport også omfatter en gennemgang af samtlige modelsetupfiler, simuleringer og output af en erfaren modellør.

En appraisal er mindre modelteknisk end et peer review, som omvendt ikke er lige så omfattende som en modelaudit.

5.4.5 Anbefalinger

• Der skal gennemføres eksterne reviews i modelleringsopgaver baseret på ovenstående principper. Som ekstern reviewer vælges en erfaren modellør, som er uafhængig af parterne i model studiet.
• Omfanget af reviews bør afhænge af opgavetypen. Tabel 7 giver en oversigt over hvilke typer reviews, der kan være brug for i forskellige situationer. Modellering i forbindelse med grundvandskortlægning vil ofte falde i kategorien ’Detailberegninger, planlægningsstudie’ (næstsidste kolonne).

Tabel 7: Behov for forskellige typer review i forskellige situationer

5.4.6 Referencer

Refsgaard JC, Henriksen HJ (2004) Modelling guidelines – terminology and guiding principles. Advances in Water Resources, 27(1), 71-82.

Sonnenborg TO, Henriksen HJ (2005) Håndbog i Grundvandsmodellering. GEUS rapport 2005/80, 305 sider.

5.4.7 Baggrundsliteratur

BDMF (2000) Protocols for Water and Environmental Modeling. Bay-Delta Modeling Forum. Ad hoc Modeling Protocols Committee. California.

Black D, Wallbrink P, Jordan P, Waters D, Carroll C, Blackmore J (2011) Guidelines for water management modelling: Towards best-practice model application. eWater Cooperative Research Centre. Australia.

Middlemis H (2000) Murray-Darling Basin Commission. Groundwater flow modelling guidelines. Aquaterra Consulting Pty Ltd., South Perth. Western Australia, Project no. 125.

Pascual P, Stiber N, Sunderland E (2003) Draft guidance on the development, evaluation, and application of regulatory environmental models, US - EPA, Council for Regulatory Environmental Modeling, Washington D.C., Washington, D.C., 60 pp.

Refsgaard JC, Henriksen HJ, Harrar WG, Scholten H, Kassahun A (2005) Quality assurance in model based water management – Review of existing practice and outline of new approaches. Environmental Modelling & Software, 20, 1201-1215.

Scholten H, Refsgaard JC (2010) Quality assurance in model–based water management: Better modelling practices. In: Vanrolleghem PA, Modelling Aspects of Water Framework Directive Implementation Volume 1. IWA Publishing, London, UK, 1-91.