1         Evaluatie ex ante
!Hulsbergen; Schaaf

 

Edward Hulsbergen, Pity van der Schaaf

 

 

1.1        Inleiding                                                                  278

1.2        Het belang van ex ante onderzoek                     279

1.3        Verschil tussen architectuur en stedebouwkunde       280

1.4        Proces en project                                                 280

1.5        Spelregels en valkuilen                                       281

1.6        Ontwerp en toetsing                                            282

1.7        Tenslotte                                                                283

 


" … designers regard themselves as integrators, researchers do not see them in that role."

"Instead of regarding designers as practitioners who are supplied with knowledge by researchers, it is possible to see design as the study of potential or desirable futures, thus, putting researchers and designers on a more equal footing." [1]

 

"De techniek is verwetenschappelijkt en is als zodanig, gelijk de wetenschap, denk- en doewerk. Toch valt, kunnen we zeggen, bij de techniek de nadruk op doen, terwijl bij de wetenschap de nadruk op denken valt."

"We weten niet, wanneer een technicus het laatste zal verzinnen en zal maken, noch hoe dat ding er zal uitzien. We weten wel, dat de menselijke beschaving en daarmee de menselijke geschiedenis zal zijn geëindigd, wanneer dat laatste ding zal zijn gemaakt. […] We kunnen daarmee terecht zeggen, dat de kennis van de technicus functioneel is …" [2]

 

1.1 Inleiding

Het ontwerp is klaar. De toelichting op het plan is af en op geselecteerde punten goed onderbouwd, over het functioneel-ruimtelijke programma zijn geen misverstanden, de relatie met aanpalende schaalniveaus is gelegd, de strategische ingreep bepaald, het fysiek-ruimtelijke voorstel uitgetekend, de legenda eenduidig. Overleg, debat of realisatie? Hoe verder?

 

Er zijn verschillende ontwerpen gemaakt, zoals in het kader van een prijsvraag. Welke te kiezen voor nadere uitwerking en/of uitvoering?

 

Er ligt een ontwerp. Kan het worden verbeterd? Welk aspect is cruciaal om het verschil tussen dit ontwerp en een verbeterd ontwerp aan te scherpen?

 

Zie hier, drie voorbeelden van situaties waarin een ex ante evaluatie kan worden ingezet om de discussie over de kwaliteiten van het ontwerp te voeren. Een vierde voorbeeld zou een 'vrij' ontwerp kunnen zijn waarbij een mogelijke toekomst wordt gezocht.

 

'Ex ante' betekent vooraf. Het is de tegenvoeter van 'ex post', achteraf. Ex ante onderzoek heeft tot doel de consequenties van een ontwerp (planvorming en vormgeving) kritisch te bediscussiëren en te evalueren. [3] 

In een eerste vorm van evaluatie ex ante komt de vraag aan de orde wat de kwaliteit van het ontwerp is ten opzichte van de oorspronkelijk gestelde doelen en ontwerpopgave. [4] Immers, als het goed is heeft de ontwerper die ontwerpopgave technisch vormgegeven in juist dit ontwerp (of deze heeft de oorspronkelijke opgave beargumenteerd verbeterd). Maar gaandeweg de uitwerking van die opgave zijn er keuzen gemaakt. Het ontwerp is daarmee een van de mogelijke operationalisering van de opgave, met de specifieke kwaliteiten die deze ontwerper (of het team van ontwerpers) van belang acht.

Daarna kan het ontwerp op allerlei consequenties worden getoetst die niet of minder uitgesproken in de opgave zijn meegenomen. Immers, hoe breed ook geformuleerd, de uitwerking van een opgave is altijd beperkt.

In de eigenlijke ex ante evaluatie is er naast aandacht voor de verwachte effecten, ook veel aandacht voor onverwachte en onvoorziene effecten. Meer inzicht daarin kan tot gevolg hebben dat de ontwerpopgave wordt bijgesteld, en dat een nieuw ontwerp wordt gemaakt.

Bij een ex ante evaluatie van een studie- of afstudeerproject zal dit laatste niet mogelijk zijn. Wellicht daarom is een kritische ex ante beoordeling niet erg gewild. Toch is het van belang vertrouwd te raken met deze vorm van onderzoek. Al was het slechts om kritischer te leren kijken naar en omgaan met ontwerpen die betrekking hebben op dezelfde problematiek of locatie als die van het eigen studieonderwerp. Met de resultaten van die ex ante evaluatie kan dan het eigen ontwerp worden verbeterd of eigen keuzes beter worden onderbouwd.

 

1.2 Het belang van ex ante onderzoek

In de wereld van de ontwerpers zijn over het beoordelen van ontwerpen twee uiteenlopende standpunten te vinden. De eerste en feitelijk meest dominante is de opvatting dat met het ontwerp het werk is gedaan, en dat de opdrachtgever moet oordelen en beslissen, bijvoorbeeld over de uitvoering. Vervolgens kan de ontwerper in een andere rol komen, zoals die van projectleider.

Een andere opvatting is, dat na het ontwerp de verantwoordelijkheid voor de beoordeling niet uitsluitend bij de opdrachtgever maar ook bij de ontwerper berust, of in ieder geval bij het vakgebied.

Voor de wetenschappelijke ontwikkeling van het vakgebied is het ex ante onderzoek, net als andere vormen van onderzoek, een noodzaak: zowel in de betekenis van bijdrage aan de ontwikkeling van theorie, als een bijdrage aan de methodologische ontwikkeling, als een bijdrage aan de ontwikkeling van de maatschappelijke toepassing. [5] 

Iedere bespreking van een ontwerp, in welke fase dan ook, heeft elementen van ex ante onderzoek. Het wordt echter pas onderzoek als de bespreking een duidelijke plaats heeft in de planvormingcyclus en rekening houdt met de eisen die aan onderzoek worden gesteld. [6]

Voor studenten is ex ante onderzoek in ieder geval van groot belang in de eindfase van de studie. Het afstudeerproject wordt gepresenteerd en als het goed is wordt er een kritische discussie over gevoerd. Dit betekent wel, dat duidelijk moet zijn waarover een zinvol debat mogelijk is.

De eerste vraag is dan of het ontwerp aan de gestelde opgave voldoet en hoe het ontwerpproces is verlopen. Dit is de beoordeling van het ontwerp vanuit een aan het begin van het afstuderen gestelde toekomst, die op het moment van afstuderen feitelijk een verleden visie op de toekomst is. Bij de ex ante beoordeling gaat het erom het ontwerp opnieuw vanuit de toekomst te beoordelen. Die toekomst is onzeker. Hoe onzekerder de toekomst, hoe groter de variatie aan mogelijke ontwikkelingen, en des te complexer is dit ex ante debat. Afbeelding 1 biedt hiervan een voorstelling.

 

 

 

Afbeelding 1: Een voorstelling van de relatie tussen 'effect' en 'tijd'.

 

Bron: J. Peters & R. Wetzels (1998). Niets nieuws onder de zon en andere toevalligheden. Contact, Amsterdam, p.51, Figuur 2-5 Soorten effect.

 

1.3 Verschil tussen architectuur en stedebouwkunde

 De inhoud van het ex ante onderzoek is niet hetzelfde voor de vakgebieden die in de faculteit der Bouwkunde worden onderscheiden. Met name het verschil tussen de architectuur en de stedebouwkunde verdient aandacht. Bij de stedebouwkunde gaat het, meer dan bij de architectuur, om de relatie van het plan met de collectieve kanten van de maatschappij, met het maatschappelijk doel en de (zeer) lange termijn waarop ontwerpen hun invloed doen gelden. [7] Dit betekent, dat de inhoud van het ex ante onderzoek daardoor mede wordt bepaald.

Vervolgens zijn er binnen die vakgebieden verschillende voortbrengselen.

In de architectuur is er onderscheid te maken tussen enerzijds het ontwerpen van doorsnee gebouwen die van goede kwaliteit moeten zijn, mooi van vorm en duurzaam, en anderzijds gebouwen die kunnen worden opgevat als een stellingname, een 'formele verklaring'. Deze laatste stellingname is een artistieke en intellectuele activiteit die bedoeld is om, binnen de eisen en overwegingen van praktische aard, de vakgenoten en het geïnteresseerde publiek iets te geven om tegenaan te kijken en erover na te denken. [8]

In de stedebouwkunde is een dergelijk onderscheid ook zinvol. Enerzijds zijn ontwerpen nodig die in ieder geval goede en gebruikelijke kwaliteit te garanderen: een ontwerp moet als het wordt gerealiseerd de basis vormen voor een goed functionerend, mooi en duurzaam gebied. Daarnaast zijn er ontwerpen voor stadsdelen en regio's nodig die voorbij het gangbare gaan, nieuwe mogelijkheden voorstelbaar maken en onverwachte perspectieven (kunnen) bieden. [9] Beide vormen van ontwerp in beide vakgebieden zijn nodig voor het continueren van de samenleving, maar in hun ex ante evaluaties zullen inhoudelijk verschillende accenten worden gelegd.

 

1.4 Proces en project

Ontwerpen kunnen verschillen in hun doelstelling. Bijvoorbeeld, het ene ontwerp kan (a) tot doel hebben te worden uitgevoerd, een ander (b) om zichtbaar te maken wat zou kunnen, een ontwerp kan ook gericht zijn op (c) het ontwikkelen van nieuwe mogelijkheden, soms is een ontwerp bedoeld als (d) provocatie. Hoe dan ook, een ontwerp heeft altijd een procesmatig aspect, met een plaats in een ontwikkelingsproces, en het is tegelijker een project, gericht op een structuur, locatie of object. De sociale, culturele, economisch, ecologische, bestuurlijke en ruimtelijke context waarin dit proces en het concrete project moeten worden begrepen, is van belang. Ook tijd is een belangrijke variabele; hoe langer het tijdperspectief, des te groter de onzekerheid.

De sterke nadruk op de creatieve aspecten van het ontwerpen (geef het ontwerp en de ontwerper de ruimte) kan een manier zijn om de afstand te nemen en te houden van het 'bekende' en 'beproefde'. Het is mogelijk dat de ex ante discussie niet worden beleefd als steun, maar als een belemmering om dit te bereiken. [10]

 

Voor de evaluatie ex ante is het van belang het doel van het ontwerp en de plaats van dit ontwerp in het proces van de planvorming goed voor ogen te hebben. Het kan voorkomen dat dit doel en die plaats pas in een ex ante debat worden aangescherpt. In dat geval kan in een later stadium ex ante onderzoek kan worden gedaan.

Elders in dit Basisboek Methodologie zijn twee tabellen te vinden: 'contexten' en 'perspectieven'. De tabellen bestaan enerzijds uit een gekwantificeerd en benoemd 'kader' en anderzijds een benoemd 'aspect'.  In de aldus ontstane matrix (met 22 x 6 = 132 cellen) kan worden aangegeven waaraan in het ontwerp de meeste aandacht wordt besteed. Het idee zou kunnen zijn om voor de ex ante evaluatie discussie een (beperkt) aantal cellen aan te wijzen, aansluitend aan de cellen waaraan het ontwerp bij voorbaat moet voldoen. Een discussiepunt is eveneens welke cellen kwantitatief en/of kwalitatief moeten worden behandeld, afhankelijk van de mogelijkheden die er voor de evaluatie zijn. 

 

1.5 Spelregels en valkuilen  

Het beoordelen van een ontwerp, en vooral van een uitgevoerd ontwerp, is een gebruikelijk onderdeel van het vakgebied der bouwkunde. De vaktijdschriften en boeken staan er vol mee, maar ook de publieke media besteden ruim aandacht aan de gebouwde omgeving.

Vanuit wetenschappelijk oogpunt zijn die oordelen veelal weinig bruikbaar, tenzij duidelijk wordt gemaakt wat die evaluatie bijdraagt aan theorievorming en methodologie, of aan de systematische verbetering van de praktijk. Twee voorbeelden van critici die de moeite waard zijn hier te belichten zijn Langdon en Lawson.

 

Langdon  en zijn mede-auteurs bekritiseren in hun onderzoek naar gerealiseerde stedelijke projecten van grote kwaliteit de gebruikelijke aanpak in het vakgebied. [11] Zij onderstrepen het belang van een goed debat over ontwerpen. Zij nemen stelling tegenover het al te gemakkelijk oordelen en het eenzijdig belichten van de kwaliteit van ontwerpen (en van de gerealiseerde gebouwde omgeving). Beoordelen is in hun zienswijze het voeren van een dynamisch en kritisch dialoog. Zij stellen dat de complexiteit van het ontwerp en daarmee het oordeel over de prestatie van de ontwerper en de mogelijke werking van het ontwerp worden verduisterd doordat:

-          meestal slechts de positieve kanten worden vermeld, en er geen of onvoldoende afweging wordt gemaakt van de kosten en de baten, of de lasten als betrekkelijk onbelangrijk worden afgedaan;

-          slechts het artefact - te weten het project, het object of de locatie - wordt belicht, en de processen en de waarden worden genegeerd; en

-          de kwaliteitscriteria niet of onvoldoende worden vermeld, waarbij slechts een van de actoren of deskundigen wordt beoordeeld.

 Voor een goede beoordeling moet de dialoog gebaseerd zijn op:

-          de positieve en de negatieve punten

-          het object, het project, de locatie en de processen en waarden

-          expliciete kwaliteitscriteria, en

-          de bijdragen van alle actoren;

-          duidelijkheid over de weging die de beoordelaars tot hun eindoordeel hebben gebracht.

Voorgaande criteria zijn voortgekomen uit het beoordelen van gerealiseerde projecten. De meeste zijn direct van betekenis voor de ex ante evaluatie. Het proces van realisering en de bijdragen van de verscheidenheid aan actoren om het ontwerp gerealiseerd te krijgen zijn als zodanig niet van toepassing. Maar wel kan een ontwerp ex ante worden beoordeeld in zoverre aan dit toekomstige proces en aan de toekomstige actoren al dan niet aandacht is besteed.

Lawson heeft zijn onderzoek gericht op de manier waarop ontwerpers werken. [12] In zijn boek besteedt hij onder meer aandacht aan ontwerpmethoden en de valkuilen die daarbij kunnen worden opgemerkt. Hij onderscheidt vijf van die potentiële en reële bedreigingen in het ontwerpproces:

-          de 'categorie valkuil', de neiging om het ontwerpprobleem in een oplossingscategorie te definiëren voordat dit probleem grondig is bestudeerd;

-          de 'puzzel valkuil', de neiging het ontwerpprobleem te beschouwen als een op te lossen puzzel, ook het zich verliezen in het uitpuzzelen van ontwerpdeelproblemen;

-          de 'cijfer valkuil', het onkritisch aanslepen van cijfermateriaal;

-          de 'icoon valkuil', het niet ontwerpen van een feitelijke oplossing, maar het manipuleren van een iconische voorstelling gewoonlijk in de vorm van tekeningen of modellen; en

-          de 'beeld valkuil', het bevangen worden van de eigen denkbeelden en begoochelingen; ontwerpideeën worden dikwijls vervat in symbolische voorstellingen die zonder twijfel van belang zijn voor de ontwerper, maar waarin deze gemakkelijk kan komen vast te zitten.

Deze valkuilen kunnen ook worden gezien als criteria om een ontwerp ex ante te beoordelen. Het gaat dan om:

-          de diepgang van de wederkerige relatie tussen analytische en vormgevende ontwerpactiviteiten; het identificeren van het onkritische gebruik van oplossingen;

-          de samenhang van de onderdelen van het ontwerp, en de relatie met de maatschappelijke of wetenschappelijke problematiek;

-          de kwaliteit van de onderbouwing van ontwerpbeslissingen met behulp van gegevens;

-          de feitelijke betekenis van modelmatige voorstellingen voor de onderbouwing en uitleg van het ontwerp; en

-          de relevantie van de beelden van het ontwerp voor de aanpak van de gestelde problematiek.

-           

1.6 Ontwerp en toetsing

Een ontwerp kan worden gezien als een hypothese, dat wil zeggen als een in principe toetsbaar voorstel. Wat zwakker gesteld kan een ontwerp worden gezien als een verwachting van een werkzame aanpak of oplossing. Een hypothese staat niet op zichzelf. Er is altijd een nul-hypothese (er is geen effect) en vaak zijn er alternatieve hypothesen. Het begrip hypothese is nauw gekoppeld aan theorie (het netwerk van hypothesen) en theorie-ontwikkeling. Het is dus de vraag in welk theoretisch kader het ontwerp moet worden begrepen, om een ontwerp als hypothese te beschouwen.

Een verwachting staat evenmin op zichzelf, al is daar het raamwerk veelal onduidelijker. Immers, men verwacht altijd dat met dit ontwerp een betere toekomst wordt mogelijk gemaakt. Bijvoorbeeld, de idealen van het Nieuwe Bouwen waren hooggespannen, en daarmee de verwachtingen van de positieve werkzaamheid van de ontwerpen groot. Dat het bijbehorende normatieve denken tezamen met de veranderende samenleving zo negatief voor het imago en het gebruik zouden kunnen uitpakken, heeft binnen de 'hoofdstroom' nooit deel uitgemaakt van de ex ante beoordelingen. Daarvoor was geen plaats en de kritiek werd gesmoord, zowel binnen als buiten het vakgebied. Met de erop volgende bouwstromen vanaf medio de jaren zeventig is het niet anders. Alleen, nu wordt meer verwezen naar de 'markt' als representant van de 'wil' van de gebruiker.

Bij ex post onderzoek kan de hypothese of verwachting worden bekritiseerd met de feitelijke effecten. Bij ex ante evaluatie worden die toetsingsvariabelen gekozen waarvan wordt verwacht dat die er toe doen.

 

Een mogelijkheid om de effecten van een ontwerp te bestuderen, is het te vergelijken met een ontwerp dat op een geselecteerd punt anders is. Het verschil in effect is dan duidelijk terug te voeren naar een gedefinieerd verschil in ontwerp. Dit is eigenlijk een activiteit waarmee de ontwerper geregeld bezig is tijdens het ontwerpproces: het aanbrengen van kleine variatie op een zelfde thema, om te kijken of het ontwerp kan worden verbeterd in het licht van een gesteld doel. Voorbeelden zijn er te over: als de groenstructuur zo wordt, wat is dan het effect vergeleken bij als die blijft zoals nu in het ontwerp; als de woonkamer op de eerste verdieping komt, wat zijn dan de consequenties voor de mogelijkheden op de verschillende verdiepingen.   

 

Om het effect van een ontwerp te bestuderen kan ook gebruik gemaakt worden van scenario's. Scenario's zijn beelden en omschrijvingen van mogelijke, waarschijnlijke of gewenste toekomstige ontwikkelingen. De Jong oppert om bij het gebruik van scenario's voor de evaluatie van een ontwerp uit te gaan van extreme scenario's. [13] Extreem of niet extreem, ook bij scenario's is de toekomst bedacht met een beperkt aantal variabelen. Bij de keuze van deze variabelen is er de problematiek van een te beperkte selectie, zoals Langdon die heeft verduidelijkt.

 

Een ontwerp kan ook worden beoordeeld aan de mate warin er aandacht wordt besteed aan recente opgaven. Bijvoorbeeld, de belangrijkste huidige problemen van de stedelijke gebieden zijn als volgt te typeren: [14]

-          integrale aanpak (versus simplistische probleemdefinities en mono-aanpakken)

-          multifunctionaliteit (versus monofunctionaliteit, bijv. steeds weer wonen)

-          gemengd grondgebruik (versus eenzijdig grondgebruik; verschillende functies en groepen met alternerend gebruik zonder conflicten; ook versus verwaarlozing)

-          locale synergie (versus losse projecten; initiatieven die andere verbeteringen ‘uitlokken’, het geheel meer dan de som der delen)

-          publiek-private samenwerking, publiek-publieke samenwerking (samenwerking tussen allerlei partijen die willen en kunnen; bedrijven, ondernemingen, instanties, gemeentediensten, e.d.).

 

1.7 Tenslotte

De meeste mensen willen eigenlijk maar één verklaring of één oplossing, en wel dié uitleg of oplossing, die ze al lang in hun hoofd hebben, die het minste gezeur oplevert of die ze in een discussie net hebben bedacht. [15] Dit is een wezenlijk andere houding dan die waarin een hypothese uitdaagt tot een alternatieve hypothese. [16] In de dagelijkse werkelijkheid is er bovendien een gespannen relatie tussen ideeën die moeten garanderen dat de bestaande situatie gecontinueerd wordt en kennis die nodig is om veranderingen te sturen eveneens voor de continuering, op langere termijn. [17]

 

De spanning tussen stabiliserende en dynamiserende kennis en kunde is een uitdagende kracht. De maatschappelijke noodzaak van verandering en aanpassing moet in harmonie worden gebracht met de spankracht van de maatschappelijke hoofdstroom, die 'bestaat' uit al die mensen die zich overtuigd onder die banier scharen. [18]

Bouwkundigen zijn mensen. Mensen willen succes hebben, iets tot stand brengen, hun steentje bijdragen. Bouwkundigen willen dat met hun ontwerp. Als wetenschappelijk onderzoek het eigen werk bevestigt of naar de eigen inzichten helpt verbeteren, is het altijd wel welkom. Als het de concurrentiepositie van het ontwerp vermindert, moet het wetenschappelijke debat wel erg belangrijk worden gevonden.

Evaluaties ex ante kunnen helpen de al te populaire opvattingen aan de kaak te stellen door niet alleen de aantrekkelijke en winstgevende kanten van ontwerpen te belichten, maar ook de mogelijke nadelige effecten in beeld te brengen, en daarmee de keuze realistischer te maken.

En daarom is het ex ante onderzoek in de opleiding een belangrijke activiteit en een vorm van onderzoek die verder moet worden ontwikkeld.

 

 

Hoe verder met dit hoofdstuk?

-          Ten eerste is het voor het afronden of herschrijven van deze tekst van belang precies te weten wat er in de andere hoofdstukken daadwerkelijk staat. Verwijzing en aanhaking, en het opheffen van mogelijke tegenspraak dan wel het uitleggen van daadwerkelijk verschillende gezichtpunten.

-          Ten tweede zijn enkele pakkende voorbeelden nodig, uit verschillende studierichtingen (zie de paragraaf  Verschil tussen architectuur en stedebouwkunde). Het lijkt mij het beste hiervoor in ieder geval te putten uit afstudeerrapportages. Voor de stedebouwkunde zou dit het afstuderen van Walter de Vries (1999) Het Nieuwe Meer kunnen zijn, omdat hier aan het eind expliciet een ex ante evaluatie op een aantal aspecten is gedaan. Praktijkvoorbeelden zijn ook wenselijk, zij het dat de beste voorbeelden voor het aantonen van de noodzaak van ex ante onderzoek nu niet bepaald de vrolijkste zijn. Zie voetnoot 18.

 

Hoe dan ook, met dit concept is er een verdere mogelijkheid voor de discussie over het 'boek'.

 

EDH, 27-7-1999    


 



[1] H. ter Heide & D. Wijnbelt. To Know and to make: The Link between Research and Urban Design. Journal of Urban Design, Vol.1, No.1, 1996, p.83 en p.86.

[2] A. Darsono (1999). De Europese verbeelding. Een cultuurfilosofie. Stichting Pointefonds, Den Haag, p.525 en 536.

[3] Op de faculteit Bouwkunde wordt het begrip 'evaluatie' vaak gezien als beoordeling ex post en wordt de term 'effect analyse' gebruikt voor de ex ante beoordeling van ontwerpen. Zie het onderzoek van de leerstoel Technische Ecologie en Methodologie (T. de Jong). Bij de leerstoel Ruimtelijke Planning (P. Drewe) omvat het begrip 'evaluatie' ex ante, al gaande en ex post onderzoek, al dan niet in combinatie. Immers, stedebouwkundige plannen hebben vaak een langdurige uitvoeringsperiode. In dit licht is ook 'monitoring' van belang.

[4] Vanzelfsprekend moet het ontwerp voldoen aan de eisen op allerlei gebied zoals die wettelijk zijn voorgeschreven (maten, constructie, milieu, participatie, e.d.). Wel kan het interessant zijn na te gaan op welke creatieve en vernieuwende manier de ontwerper met de voorschriften is omgegaan.

[5] Om daadwerkelijk die bijdragen te kunnen bieden dient  ex ante onderzoek gekoppeld te worden aan (de resultaten van) ex post en al-gaande (ongoing) onderzoek. Zie de betreffende hoofdstukken in dit boek. Zie ook de 'Leidraad ex ante-beleidsevaluatie' van de RPD. "De Leidraad is een praktisch hulpmiddel … om eigen beleidsvoornemens en ruimtelijk relevant beleid van anderen te toetsen op uitvoerbaarheid en op hun effecten op ruimtelijke kwaliteit.", aldus R. Aykaç, in het artikel: Het iteratief proces van ex-post en ex-ante beleidsevaluatie. VROM onderzoek, 1998/3, p6. Een eveneens treffende uitspraak, weliswaar niet uit de bouwkunde maar uit de informatica, is te vinden in: Poulymenakou, A. & V. Serafeimidis. Unlocking the Secrets of Informations Systems Failures: the Key Role of Evaluation. "Our main finding is that evaluation should not be restricted to ex-ante and ex-post practices with respect to systems development because most of the value adding in this area can be found in on-going activities that follow closely development in the construction, implementation and use of an information system." (onderstreping EDH) http://senanet.com/epy/13/www/failures.htm, 12-7-99

[6] "Ontwerpen is een specifieke vorm van probleem-oplossen." Aldus N.F.M. Roozenburg & J. Ekels (1991), Produktontwerpen, structuur en methoden, Uitgeverij Lemma, Utrecht, p.76, waarbij de auteurs een verbinding leggen met de empirische onderzoekcyclus van A.D. de Groot.

[7] In die zin is het vraagstuk van baten en lasten ook verschillend bij de stedebouwkunde en bij de architectuur.

[8] H. van Dijk. Maak weer eens een meesterwerk. In: H. de Haan & I. Haagsma (1981). Wie is er bang voor nieuwbouw. Intermediair Bibliotheek, Amsterdam. 

[9] W. Hermans, E. Hulsbergen & A. Kok (1995). Woorden Beelden Plannen. Over het stedebouwkundig meesterwerk. Polis Podium voor de Stedebouwkunde, Publikatieburo Bouwkunde, Technische Universiteit Delft, hoofdstuk 1.

[10] Is er een parallel met de manier waarop Paul Rodenko het ontstaan van een gedicht en de rol van de originaliteit definieert? "…het is een zich in nooit aflatende waakzaamheid en gespannenheid bereid houden op de uiterste grens van het bekende, in de verwachting (een verwachting die creatief als zekerheid wordt ervaren) dat deze waakzaamheid, deze gespannen wil-tot-anderszijn tenslotte beloond zal worden met een openbaring van (uit) het Andere. … Ik geloof dat hier maar één antwoord mogelijk is: het gedicht is zelf kennisorgaan. … het is een verlengstuk van het menselijk waarnemingsvermogen, een 'zesde zintuig' … het is het orgaan zelf waarmee de ervaring wordt gewonnen … een bepaalde wijze van openstaan voor de werkelijkheid" (p.109 en 110). Kennis van het oude is nodig "om er iets nieuws tegenover te kunnen stellen", maar het oude "schept geen 'nieuwe ruimte'." (p.112). P. Rodenko (1956). Met twee maten. Bert Bakker, Den Haag.

[11] P. Langdon, contr.  R.G. Shibley & P.Welch (1990). Urban Excellence. Van Nostrand Reinhold, New York, hoofdstuk 1.

[12] B. Lawson (1990). How designers think. Butterworth Architecture, London, 2nd ed., hoofdstuk 12.

[13] T. de Jong, elders in dit boek, ws hoofdstuk 1, extreem met betrekking tot het bestuurlijke, economische, technische, ecologische of ruimtelijke aspect.

[14] Zie Bekkering, H. e.a. (1998). Stedelijke transformaties. Delftse Universitaire Pers, Delft.

[15] T.C. Charberlin (1965). The method of multiple working hypotheses. Science, Vol. 148, p.754-759 (eerder gepubliceerd in 1890, eveneens in Science). Deze auteur spreek van de "parental affection" die wetenschappers kunnen koesteren voor hun hypothesen en verwachtingen.

[16] K.R.Popper (1977), Unended Quest. An intellectual autobiography. Fontana/Collins

[17] R. Pirsig (1992). Lila. An Inquiry into Morals. Bantham Books.

[18] Of die onverschillig of bang zijn, of om opportunistische redenen meegaan. Of, realistischer, een combinatie van overtuiging, onverschilligheid, angst en opportunisme. Hopelijk slaat het gedicht van Grass op een minderheid. Titel: Voorgedroomd.  … Iemand - het kan ook een collectief zijn - wil iets doorzetten dat niemand heeft doordacht. En de angstigen doen mee met angst en beven. En wie zijn beetje verstand nog heeft zet het op een laag pitje. … G. Grass (1984). Ach bot, je sprookje loopt slecht af. Gedichten en grafiek. Meulenhoff, p.13. (cursief EDH). Vraag is hoe goed de stedelijke uitbreidingen, de plannen voor grootschalige infrastructuur, de scheiding van afval, en allerlei andere ruimtelijke veranderingen ex ante zijn doordacht.