for Research and Technology Policy Evaluation JOURNAL fteval TORGER MÖLLER DIETMAR LAMPERT EVA MARIA FREIBERGER ISSUE 45 | MARCH 2018 SAME OBJECTIVES, DIFFERENT GOVERNANCE – HOW THE EXCELLENCE INITIATIVE AND THE PACT FOR RESEARCH AND INNOVATION AFFECT THE GERMAN SCIENCE SYSTEM EINBLICKE IN DIE KOLLABORATION DER ÖSTERREICHISCHEN WISSENSCHAFT UND WIRTSCHAFT – ERGEBNISSE EINER BIBLIOMETRISCHEN STUDIE EIN ETABLIERTES FORSCHUNGSUMFELD ALS VORAUSSETZUNG ZUR AKKREDITIERUNG VON DOKTORATSSTUDIEN AN ÖSTERREICHISCHEN PRIVATUNIVERSITÄTEN 45 Impact of R&I Policy at the Crossroads of CONFERENCE »IMPACT OF RESEARCH AND INNOVATION POLICY AT THE CROSSROADS OF POLICY DESIGN, IMPLEMENTATION AND EVALUATION 2018«
Transcript
for Research andTechnology PolicyEvaluation
JOURNALfteval
TORGER MÖLLER DIETMAR LAMPERT EVA MARIA FREIBERGER
ISSUE 45 | MARCH 2018
SAME OBJECTIVES,
DIFFERENT GOVERNANCE
– HOW THE EXCELLENCE
INITIATIVE AND THE PACT
FOR RESEARCH AND
INNOVATION AFFECT THE
GERMAN SCIENCE SYSTEM
EINBLICKE IN DIE
KOLLABORATION DER
ÖSTERREICHISCHEN
WISSENSCHAFT UND
WIRTSCHAFT –
ERGEBNISSE EINER
BIBLIOMETRISCHEN STUDIE
EIN ETABLIERTES
FORSCHUNGSUMFELD
ALS VORAUSSETZUNG
ZUR AKKREDITIERUNG
VON DOKTORATSSTUDIEN
AN ÖSTERREICHISCHEN
PRIVATUNIVERSITÄTEN
45
Impact of R&I Policy at the Crossroads of
CONFERENCE »IMPACT OF RESEARCH
AND INNOVATION POLICY AT THE CROSSROADS OF POLICY DESIGN,
IMPLEMENTATION AND EVALUATION 2018«
AUSTRIAN INSTITUTE OF ECONOMIC RESEARCH
Arsenal, Objekt 20, PF 91, 1103 ViennaDr. Jürgen Janger
Das aktuelle Heft legt den Fokus auf Forschung und Hoch-schulen und beschäftigt sich mit folgenden Themen:
• Die Wirkung der deutschen Exzellenzinitiative bzw. des Pakts für Forschung und InnovationaufdieEntwicklungderDrittmitteleinwerbungundaufhäufigzitiertenPublikationsout-put,differenziertnachdemHochschulsektorunddemaußeru-niversitärenForschungssektorinDeutschland,dievergleichendgegenübergestelltwerden.
• Die Entwicklung der wissenschaftlichen Kopublikationen zwischen der österreichischen Wissenschaft und der WirtschaftinÖsterreichundderEUzwischen2009und2014,differenziertnachThemenbereichen,denwichtigstenAkteurenunddenwichtigsten„Kopublikationspaarbeziehungen“.
• DieGrundlagenfürdieAkkreditierungvon Doktoratsstudien an Privatuniversitäten in Österreich und insbesondere diedamitverknüpftenAnforderungen,dieandasForschungsum-feldvonDoktoratsstudiengestelltwerden.
• DieRolle,dieEvaluation von GleichstellunganderSchnitts-telle zwischen Wirkungsorientierung und einer zunehmenddezentralisierterenHochschulpolitikeinnehmenkann.
• DieSchwierigkeit,aberauchdievielfältigenAnsätze,dieesfürdieEvaluation von trans-disziplinärer Forschunggibt.
ImBeitragvonTorgerMöllerüber„Sameobjectives,differentgov-ernance–HowtheExcellenceInitiativeandthePactforResearchandInnovationaffecttheGermansciencesystem”wirdderEffektvonzweigroßen Programmen, nämlich die Exzellenzinitiative und der Pakt fürForschungundInnovation,aufdieErmächtigungvonzweiunterschiedli-chenZielgruppen inDeutschland inHinblickauf zwei Indikatoren,dieoftmalsfürdieMessungvon„Exzellenz“herangezogenwerden,unter-sucht.BeidenIndikatorenhandeltessichzumeinenumdieverstärkteEinwerbungvonDrittmittelundzumzweitenumdieSteigerungdesPub-likationsanteils in den weltweit 10% meistzitierten wissenschaftlichenArtikeln.BeidenbeidenZielgruppenhandeltessichumUniversitätenaufdereinenSeiteundaußeruniversitäreForschungseinrichtungenaufderanderenSeite.DieErgebnissedieserAnalysesindhochinteressant.Siezeigenu.a.einedurchdieExzellenzinitiativeinduziertezunehmendeDifferenzierung im deutschen Hochschulsektor, aber auch einen kon-tinuierlichen schrittweisen Aufholprozess in Bezug auf eine Zunahme
desPublikationsanteilsinnerhalbderGruppederweltweit10%meistziti-ertenwissenschaftlichenArtikel.SowohlDynamikalsauchAusdifferen-zierungimaußeruniversitärenForschungsbereichfallenvergleichsweisewenigerstarkaus.Gleichzeitigisterkennbar,dassdieExzellenzorientier-ungdesaußeruniversitärenSektorsinDeutschlandinsgesamtsehrstabilundnachhaltigerscheint.So liegtderPublikationsanteilderaußeruni-versitärenForschunginnerhalbderGruppederweltweit10%meistziti-ertenwissenschaftlichenArtikel imDurschnittweiterhindeutlichüberden der deutschen Universitäten. Möller diskutiert abschließend nochdieProblematikdessteigendenKofinanzierungsdrucks,dersichaufgr-unddessteigendenZwangszurDrittmittelakquisitionergibtundweistdaraufhin,dasseinhoherDrittmittelanteilnichtzwangsläufigzueinemhohenAnteilinnerhalbderweltweit10%meistzitiertenArtikelführt.
Dietmar LampertuntersuchtinseinemBeitrag „Einblicke in die Kol-laboration der österreichischen Wissenschaft und Wirtschaft - Ergebnisse einer bibliometrischen Studie“ wie häufig und in welchen Themenbe-reichenösterreichischeUniversitätenmitFirmenausdemIn-undAus-land wissenschaftlich kopublizieren. Im Gegensatz zu vielen anderenIndikatoren, die ebenfalls die Kooperationsbeziehungen zwischenakademischemSektorundUnternehmenssektormessen,wirddemKo-publikationsindikatorzugeschrieben,dassereherdiewissenschaftlicheBasisorientierungderBeziehungsqualitätabzubildenvermag.DieErgeb-nisse der empirischen Studie zeigen, dass Kopublikationen zwischenderösterreichischenWissenschaftundderösterreichischenWirtschaftzwischen2009und2014rascherwuchsenalsderösterreichischeGesa-mtpublikationsoutputundKopublikationenzwischenderösterreichisch-enWissenschaftunddereuropäischenWirtschaftsogarnochschnellerwuchsen,wenngleichdieabsolutenZahlenüberschaubarbleiben.Diebeiden technischen Universitäten in Wien und Graz sind diejenigenuniversitärenEinrichtungen,diemitderWirtschaftammeistenkopubli-zierenundaufderWirtschaftsseitesindeswiederumInfineonAustria,SiemensAGÖsterreichundvoestalpineAG.KopubliziertwirdammeistenimBereichderangewandtenWissenschaften,gefolgtvonNaturwissen-schaftenundMedizin.Lampert identifiziert inseinemBeitragauchdiehäufigsten „Kopublikationspaarbeziehungen“ zwischen WissenschaftundWirtschaftinÖsterreich.
InihremArtikelüber„Ein etabliertes Forschungsumfeld als Vorausset-zung zur Akkreditierung von Doktoratsstudien an Privatuniversitäten“befasst sich die Autorin Eva Maria Freiberger mit den gesetzlichenRahmenbedingungen für die Akkreditierung von Doktoratsstudien anPrivatuniversitäteninÖsterreich,dendurchdenBolognaProzessgege-benenRahmenbedingungenundgehtimDetailaufdieAnforderungenein,dieandasForschungsumfeldfürdieAkkreditierungvon
3ISSUE 45 | MARCH 2018
Doktoratsstudien an Privatuniversitäten, gestellt werden. Sie stelltdar,wielangeesbraucht,bissicheinausreichendesForschungsumfeldanPrivatuniversitätenetabliertundbieteteinenÜberblicküberbislangakkreditierteDoktoratsstudienanösterreichischenPrivatuniversitäten.
ImBeitragvonAngela WoblewskiundAnke Lipinskyüber„Steer-ing by Evaluation in Times of Impact Orientation and Monitoring?“wirdderFragenachgegangen,welcheRolleEvaluationanderSchnittstellezwischen einer zunehmend dezentralisierteren Hochschulpolitik in Be-zugaufGleichstellungundWirkungsorientierungeinnimmt.DieReflex-iondarüberbasiertaufzweiEvaluationenvonProgrammen,diesichderFörderungundGleichstellungvonFrauenimHochschulsektorangenom-menhaben.DiebeidenAutorinnenweisennach,dassschonderProz-essderEvaluationderUmsetzungdieserProgrammeFolgewirkungenandenUniversitätengezeigthatte.Siebetonenaberauch,dassderErfolgvon„managementbyobjectives“-Politiken,diefürdenGleichstellungs-bereichinÖsterreichrelevantwurden,starkvomVorhandenseineinesinstitutionellenGleichstellungsdiskursesundderKompatibilitätmitan-derenManagementinstrumentenabhängt.
Der letzte Beitrag von Susanne Schuck-Zöller, Jörg Cortekar,und Daniela Jacob über „Evaluation transdisziplinärer Forschung und deren Rahmenbedingungen“,fasstdenDiskussionsstandzurEvaluationtransdisziplinärer Forschung fächer- und forschungsfeldübergreifendzusammen. Die AutorInnen betonen aber auch, dass die DiskussionüberkonkreteEvaluationsindikatorenundMessmethodennochamAn-fangstehtunddasseskeinEvaluationskonzeptgibt,dasaufalletrans-disziplinären Projekte und Produkte passt ("One-fits-all"). Als Vorgriffaufdie inderLiteraturnochwenig thematisierteEbenederMethodikwerdeneinigewichtigeEvaluationsmethodenbeschriebenundÜberle-gungenzurEvaluationvonKlimaserviceabgeleitetundnächsteSchrittevorgeschlagen.
AbschließendmöchteichSienochaufdienächstegroßeinternatio-naleKonferenz der fteval „Impact of R&I Policy at the Crossroads of Policy Design, Implementation and Evaluation“ hinweisen,dieam5.und6.November2018imRahmenderösterreichischenEURatsprä-sidentschaftinWienstattfindenwirdundwürdemichfreuen,Siedortpersönlichzutreffen!
IhrKlausSchuch
ISSUE 45 | MARCH 20184
analytically between five dimensions of governance: state regulation,stakeholderguidance,academic self-governance,managerial self-gov-ernance and competition. In an international comparison the Germanhighereducationsystemcouldtraditionallybecharacterizedbybotharelativelystrongstateregulationandarelativelystrongacademicself-governance,butanundergoingprofoundprocessinthelastyearshastransformed theuniversitiesmoreandmore intoorganizationalactors(Krücken,2011).
What is theunderlyingfundingandgovernancemechanismoftheExcellenceInitiativeandthePactforResearchandInnovation?Thegov-ernanceoftheExcellenceInitiativeisbasedoncompetition.Thesciencepolicyaimoftheprogramwastopromotea“performancespiral”(ExV),whichshould lead toahigherperformanceundabetter internationalstanding of the German universities. Proposals for competitive grantshavetobesubmittedandarereviewedinagrouppeerreviewprocess.Thehighlyselectivefundingscheme(Möller,Antony,Hinze,&Hornbos-tel,2012)producestemporarilyfundedwinneruniversities.Incontrast,thecentralsciencepolicyaimofthePactforResearchandInnovationwastogivethepublicresearchorganizationsfinancialplanningsecurity,whichmeansthattheblockgrantsteadilyrisesforthepublicnon-uni-versityresearchorganizationsbyanannualrateof3%(2006-2010and2016-2020)respectively5%(2011-2015).
Itbegsthequestionwhythefederalgovernmentandthestatesde-cidedtorundifferentfundingschemes(competitiveversusblockgrants)inthetwoprogramswhichhavelargelythesamegoals,tostrengthentheGermanscienceanduniversitysystemandtheirinternationalcom-petitiveness.1 Two developments framed the conceptualization phaseoftheExcellenceInitiative:Anongoingdebatesincethe90saboutthe”rotten”Germanuniversities(Glotz,1996,p.1;Simon,1991,p.52)andtheresultsoftheinternationaluniversityrankings(Shanghai2003,THE2004),whichshowthattheGermanuniversitiescouldnotkeepupwiththetop50worldwideleadinguniversities.Duringthistimethemanage-rialself-governanceofuniversitieswashighlyquestionable. Itseemedthatthecompetitivegovernancemechanismhadtobethemodusop-
1. INTRODUCTION
Research fundingcanbecharacterizedasan instrumentusedby funding councils and science policy makers to affect theresearchofindividualresearchers,organizationsorthewhole
researchsystem.Researchtopicsandfundingschemesshouldbecare-fullychosentoachievethefunders’goals.MorethantenyearsagotheGermanfederalgovernmentandthestateshadtheoverallobjectivetostrengthentheGermanscienceanduniversitysystemandtheirinterna-tionalcompetitivenessbyfocusingmainlyonresearchexcellence.Theyinitiatedtwolargeresearchfundingprograms:theExcellenceInitiative(ExV)andthePactforResearchandInnovation(PFI).Thetwofundingprogramshaveboth similaritiesanddifferences.While theExcellenceInitiative is dedicated to the university system, the Pact for ResearchandInnovationfocusesonthepublicnon-universityresearchorganiza-tions.AlthoughtheExcellenceInitiativeandthePactforResearchandInnovation pursue the same goal, different funding and governancemechanismsareapplied.Thisleadstotwoquestions:Whataretherea-sonsforchoosingdifferentformsoffundinginordertofulfillobjectivesthataretoagreatextentidentical?Howdothesedifferinggovernancemechanismsaffecttheuniversitiesandthepublicnon-universitysciencesystem?Theeffectswillbeobservedbybibliometricandresearchanddevelopment(R&D)indicators.
2. FUNDING SCHEMES AND GOVERNANCE MECHANISMS
The governance perspective has increased continuously over thelastdecadeandhas influenced the researchonhighereducationandscience studies. For instance, the model of the “Governance Equal-izer” (Boer, Enders, & Schimank, 2007; Schimank, 2005) differentiates
4. RESULTS4.1 RESEARCH AND DEVELOPMENT EXPENDITURES AND THIRD-PARTY FUNDING
How do different governance mechanisms affect the universitiesandthenon-universityresearchorganizations?Figure1showsthede-velopmentoftheR&DexpenditureandFigure2thethird-partyfundingoftheuniversities(withouttheuniversityhospitals)andnon-universityresearch organizations (NURO). The data were normalized to the year2005.
Figure1 showssimilaritiesanddifferencesbetween theuniversityandthenon-universitysector.Duringthetimeperiodfrom2005to2012thegrowthofR&Dexpenditurearealmostthesamefortheuniversityandthenon-universitysector(Uni150%;NURO148%).Whilethefund-ingbythePactforResearchandInnovationfullycomestobearin2006,the financial support of the Excellence Initiative rises slowly over thefirsttwoyears.SomeinitialprojectsstartedinNovember2006andthelastapprovedprojectsbegantheirworkattheendof2007.So2008isthefirstyearinwhichalltheprojectsoftheExcellenceInitiativewererunning.
The increase of the universities of excellence (UoE 187%) and theexcellenceuniversities(ExIn160%)areabovetheaveragewhilethenon-excellenceuniversitieshavealowergrowthrate(NoExIn132%).TheseresultsindicateanongoingstratificationprocessintheGermanuniversi-tysystem.Incomparison,theR&Dexpendituresofthenon-universityre-searchorganizationsshowasimilarincrease:WGL153%,HGF151%andtheFHG150%.OnlytheMPGhasaslightlylowergrowthrate(138%).
erandi forgivingnew impulses to theGermanuniversitysystem–ac-cordingtotheideasofNewPublicManagement.Incontrast,itlookedasthoughthefederalgovernmentandthestateshadadeepertrustinthemanagerialself-governanceofthenon-universityresearchorganiza-tions,whichalsohadahigherresearchperformancethantheuniversi-ties (seebelow).Thegovernancemechanismof thePact forResearchandInnovationcanbedescribedasexternalstateguidanceintheformatofatargetagreement,inwhichthesciencepolicysetsthemainobjec-tives,butgives thenon-university researchorganizations the freedomtochoosetheappropriateactivityforachievingthegivengoals(GWK,2014).Everyyearthenon-universityresearchorganizationshavetore-port their annual activity. The future amounts are independent of thedegreeoftargetachievement.
(StatistischesBundesamt)andbibliometricdataoftheWebofScience(WoS).Thedevelopmentoftheresearchanddevelopmentexpendituresand the third-party funding were analyzed. In addition, data from themonitoringreportofthePactforResearchandInnovation(GWK,2014,pp.77–79)isincluded,becausetheFederalStatisticalOfficedidnotre-portannuallythethird-partyfundsofthenon-universityresearchorgani-zations.Forthebibliometricanalysisthepublicationsofthehumanitiesandsocialscienceswereexcluded,due toavery lowcoverage in theWoS.Fortheanalysisoftheproportionofpublicationsthatbelongtotheworldwidetop10%highlycitedpapers(PPTop10%,Bornmann,2014;Waltman&Schreiber, 2013)only citabledocument types (articles, re-views)wereconsideredandmeasurementfieldanddoctypenormalizedinathreeyearcitationwindow.AllcalculationshavebeenprocessedonthedatabaseoftheGermanCompetenceCenterforBibliometrics.
Thestudycoversthetimeperiodfrom2005to2012.Theyear2005wasthelastyearbeforethefinancialsupportfromboththeExcellenceInitiative and the Pact for Research and Innovation has started. Theinvestigationperiodends2012becausethefirst fundingperiodof theExcellenceInitiativeterminatedinthisyear.
Inordertodifferentiatetheeffectsofthetwofundingprograms,dif-ferentunitswereanalyzedseparately:Ontheonehandtheuniversitiesandontheotherhandthenon-universityresearchorganizationsHelm-holtzAssociation(HGF),MaxPlanckSociety(MPG),LeibnizAssociation(WGL) and Fraunhofer Society (FHG). In addition three university sub-groupswereseparatedbytheirsuccessintheExcellenceInitiative.First,theninesocalledUniversitiesofExcellence(UoE),whicharesuccessfulineachofthethreefundinglines(thegraduateschools,theclusterofexcellenceandtheuniversityfutureconcept),second,the37universi-tieswithsuccess inat leastone funding line (ExInUni)and third, theuniversities without any funding in the Excellence Initiative (No ExInUni).ForthebibliometricapproachonlyeightUniversitiesofExcellence(UoE)wereconsidered,becauseaseparateanalysiswasnotapplicableafterthemergerbetweentheUniversityofKarlsruheandtheHelmholtzCenterKarlsruhe.Theaddressnormalizationwasmade in theGermanCompetenceCenterforBibliometrics(Schwechheimer,Rimmert,&Win-terhager,2015).
Thethird-partyfunding(Figure2)oftheuniversitygroupsrisesmoresharplythanthenon-universityresearchorganizations(Uni189%;NURO155%).TheUoE(212%)havethehighestgrowthratewithintheuniver-sitysector,buttheoverallstratificationintheuniversitysectorisnotasdistinctiveas in termsof theR&Dexpenditures (Figure1).Theuniver-sities with and without an excellence funding have an almost similarincrease (ExIn 190%, No ExIn 186%). The third-party funding for non-universityresearchorganization–excepttheMPG–decreasedsharplyin2012,becauseafederalfundingprogramsupportingresearchinfra-structuresinthenon-universityresearchsectorduringthefinancialcrisis(2009-2011)was terminated.TheHGFhas thehighestgrowthof thirdpartyfunding(161%)followedbytheFHG(157%),theWGL(147%)andtheMPG(136%).
4.2 BIBLIOMETRICSFor the bibliometric analysis (Figure 3) the indicator proportion of
publicationsthatbelongtothetop10%worldwidehighlycitedpapers(PP Top 10%) is applied. The university groups show the above men-tioneddifferentiation:TheUoE(year2012:17.2%)isexceedingtheExInuniversities(15.1%)followedbyNoExInUniversities(13.5%).AbovetheoverallGermanaverage(14.5%)aretheUoE,andtheExInuniversities.
6. REFERENCESAghion, P., Dewatripont, M., Hoxby, C., Mas-Colell, A., & Sapir, A. (2010). The governance and performance of universities: evidencefrom Europe and the US. Economic Policy, 25(61), 7–59. https://doi.org/10.1111/j.1468-0327.2009.00238.x
Baden-Württemberg (2015). Perspektiven 2020. Hochschulfinanzie-rungsvertrag Baden-Württemberg 2015-2020. Retrieved from https://mwk.baden-wuerttemberg.de/fileadmin/redaktion/m-mwk/intern/datei-en/publikationen/411503_MWK_Infografiken_Broschuere_RZ_onl.pdf
Boer, H. de, Enders, J., & Schimank, U.(2007).OntheWaytowardsNewPublicManagement?TheGovernanceofUniversitySystemsinEng-land, the Netherlands, Autria, and Germany. In D. Jansen (Ed.), NewForms of Governance in Research Organizations, 137–152. Dordrecht:Springer.
Boer, H. de, Jongbloed, B., Enders, J., & File, J. (2010).ProgressinhighereducationreformacrossEurope,Fundingreform,Volume1:Exe-cutiveSummaryandmainreport.Enschede:CentreforHigherEducationPolicyStudies(CHEPS).Retrievedfromhttp://doc.utwente.nl/88692/
Bukow, S., & Möller, T. (2013).DieRekrutierungwissenschaftlichenSpitzenpersonals in der Exzellenzinitiative. Berlin: Institut für For-schungsevaluationundQualitätssicherung(IFQ).
DFG (2013). Bericht der Deutschen Forschungsgemeinschaft über dieErfahrungenmitderGewährungderProgrammpauschaleinderzweitenProgrammphase. Retrieved from http://www.gwk-bonn.de/fileadmin/Papers/DFG-Bericht-2013.pdf
intermsofthePPTop10%indicator.Foravalidcomparisonbetweentheuniversitiesandthenon-university researchsector furtheraspectsshouldbetakenintoaccount,e.g.disciplinerelatedfinancialdemands,the industrymissionorientatedresearch (e.g.of theFHG),or largere-searchinfrastructure(e.g.GermanElectronSynchrotron[DESY]asapartof HGF). All these factors are limiting the direct comparison betweenuniversitiesandnon-universityresearchorganizations.
FormerfindingsbasedonguidedinterviewswithuniversityleadersandresearchersintheExcellenceInitiativeshow,that–withagrowingamountofco-financing–theuniversitiesaremoreandmorerestrictedin their futurescopeofactions (Bukow&Möller,2013).Theability toact, however, is essential for the organizational self-governance of auniversity.Assomestudiespointedout,organizationalautonomyisanimportantfactorforsuccessinattractingcompetitivefunds(Aghion,De-watripont,Hoxby,Mas-Colell,&Sapir,2010;Boer,Jongbloed,Enders,&File,2010).Extensivecompetitivefundingthatlimitstheself-governanceof theuniversities throughahighdegreeofnot fully funded researchcosts,canhaveintheendnoortheoppositeeffects.Incontrasttotheuniversities, the non-university research organizations have a greaterabilitytochoosetheappropriateactivityalsowithinthefundingschemePactforResearchandInnovation.
Currently,weare facinganew trend in someGermanstates (e.g.Baden-Württemberg, Thüringen). Theyhave reduced their competitiveandprogrambasedfundinginfavorofanannualincreaseinbasicfund-ing.SimilarlytothePactforResearchandInnovation,thestateBaden-Württembergassuresanannualincreaseof3%until2020.Theexplicitaimofthesciencepolicymakersistogivetheuniversitiesmoreflexibilityandautonomyandlessstateregulation(Baden-Württemberg,2015,p.6).Afteraperiodfocusingmainlyonthecompetitivegovernancemecha-nism,sciencepolicymakersseemstorethinktheirtoolboxinstrumentsandemphasisalsootherfactorsthatarerelevantfortheuniversityself-governance,theirautonomyandproductivity.
ISSUE 45 | MARCH 20188
PFI, Pakt für Forschung und Innovation(2005).Retrievedfrom:http://www.gwk-bonn.de/fileadmin/Papers/pakt_fuer_forschung_und_inno-vation.pdf
Schimank, U. (2005). A Comparative Perspective on Changes in Uni-versityGovernanceinEurope.PublicLectureatTheAustralianNationalUniversityon17.October2005
Schwechheimer, H., Rimmert, C., & Winterhager, M. (2015).Doku-mentationzurInstitutionenkodierung.Version1.4.Bielefeld:Kompetenz-zentrumBibliometrie.
Simon, D. (1991).DieUniversitätistverrottet.DerSpiegel,1991(50/1991),52–53.
Waltman, L., & Schreiber, M. (2013).Onthecalculationofpercentile-basedbibliometricindicators.JournaloftheAmericanSocietyforInfor-mationScienceandTechnology,64(2),372–379.
AUTHORTORGER MÖLLERGerman Centre for Higher Education Research and Science Studies (DZHW)
publikationsmuster zwischen der Wissenschaft und Wirtschaft, sowieKollaborationsmustern der österreichischen Wissenschaft mit ausge-wähltenFirmen imEUAusland,differenziertnachForschungsthemen.AbschließendfolgteinekurzeDiskussionderErgebnisse.
DiesemBeitragliegteineStudiezuGrunde,dieimAuftragdesBun-desministeriumfürWissenschaft,ForschungundWirtschaft(BMWFW)vonderWissenschaftundWirtschaft imZeitraum2009-2014gemein-sam verfasste Publikationen untersuchte. Diese Kopublikationen sindeinhäufigverwendeterIndikatorzurErfassungderforschungsbasiertenKooperation zwischen akademischen Einrichtungen und wirtschaftlichoperierendenUnternehmen.Erwirdz.B.auch imEuropean InnovationScoreboard(EIS)verwendetundzwarinderKategorie„firmactivities“zur Messung von „linkages and entrepreneurship“. Im Gegensatz zuvielenanderenIndikatoren,dieebenfallsdieKooperationsbeziehungenbzw.derenOutputbzw.denWissens-undTechnologietransferzwischenakademischen Sektor und Unternehmenssektor messen, wird diesemIndikator zugeschrieben, dass er eher die wissenschaftliche Basisori-entierung der Beziehungsqualität eher abzubilden vermag als andereIndikatoren. Der Grund hierfür ist die Annahme, dass wissenschaftli-che Publikationen, auch wenn sie zwischen unternehmerischen undakademischen Bereich kopubliziert werden, immer auch den strengenReviewstandardsvonJournalsinBezugaufwissenschaftlicheExzellenz
byatleastoneAustrianresearchorganisationandatleastoneAustri-anbusinessorganisation(firm)between2009and2014.ThestudyhadbeenconductedfortheAustrianFederalMinistryofScience,Research,andEconomyandisthefirstofitskind.Hence,thepurposewastopro-videfirstinsightsintoscience-businesscollaborationbasedonscientificco-publications.Themethodologywasdesignedsuchthatthe100mostvisiblefirmsinAustriaintermsofR&Dexpenditure,participationinEUresearchprojects,andtheirnumberofpublications,inthegivenperiodoftimewerechosenasaunitofanalysis.Thepresentedresultsincludea general picture of Austria’s overall publication output, thematic co-publicationpatternsbetweenscienceandbusinessinAustria,andalsocollaborationpatternsofAustriansciencewiththemostvisiblefirmsinselectedEUcountries.Finally,thearticlebrieflydiscussestheresultsandsuggeststopicsforfutureresearch.
anhandverschiedenerDimensionenanalysiertwerden.DieStudie,diediesemBeitragzugrunde liegt,basiertaufeinerbibliometrischenAna-lyse,d.h.aufwissenschaftlicheArbeiten,dievonmindestenseinerFor-schungsorganisation in Österreich und mindestens einem wirtschaftli-chenUnternehmeninÖsterreichkopubliziertwurden,undzwarindenJahren2009-2014.DieStudiewurdeimAuftragdesBundesministeriumsfür Wissenschaft, Forschung und Wirtschaft (BMWFW) durchgeführtundistdieersteihrerArt.FolglichwarihrZweck,ersteEinblickeindieseFormderKollaborationzwischenderWissenschaftundderWirtschaftzugewähren.DieMethodewarsoangelegt,dassdie100sichtbarstenFirmen in Österreich als Analyseeinheit herangezogen wurden, wobeidieSichtbarkeitdieserFirmenanhandderenForschung-undEntwick-lungsausgaben,derenTeilnahmeanEUForschungsprojektenundderenAnzahlanPublikationenbestimmtwurde.DievorgestelltenErgebnisseinkludiereneinallgemeinesBildderösterreichischenPublikationen,Ko-
DIETMARLAMPERT
EINBLICKEINDIEKOLLABORATIONDERÖSTERREICHISCHENWISSENSCHAFTUNDWIRTSCHAFTERGEBNISSE EINER BIBLIOMETRISCHEN STUDIE
ISSUE 45 | MARCH 201810
daOrganisationtypenden verwendetenDatenquellennicht ohnewei-tereszuentnehmensind.DieWahlfielimnationalenKontextaufeineTriangulationdersichtbarstenösterreichischenFirmen,d.h.dieampro-minentestenimEU Industrial R&D Investment Scoreboardvertretensind,amhäufigsten imEURahmenprogrammfürForschung technologischeEntwicklungteilnahmen2unddiehöchsteAnzahlanPublikationenauf-wiesen(ebenbasierendaufdenverwendetenDatenquellen).Unterneh-men,diedemöffentlichenSektorzugehören3,werdendieserKategorienicht zugeordnet. Im EU Ausland beschränkte sich die Auswahl derPartnerländersowohlaufdieNachbarländerÖsterreichsalsauchdieIn-novationLeadersdesobengenanntenEuropean Innovation Scoreboard.DiezuuntersuchendenUnternehmenindiesenLändernwurdenanhandderenPräsenzimEU Industrial R&D Investment ScoreboardalsauchimEURahmenprogrammgewählt.
Einschränkungen und BesonderheitenObwohlimRahmendieserStudieallgemeinvonWissenschaft-Wirtschaft(Ko)Publikationengeschriebenwird,erfolgteaufWirtschaftsseitedieimvorigenAbsatzbeschriebeneEinschränkung.TrotzdieserBeschränkungistjedochdavonauszugehen,dassderBulkanKopublikationenmitderösterreichischenWirtschaftgutabgedecktist;Einschränkungenderver-wendetenDatenquellengeltennatürlichnachwievor.
InsgesamtsinddiegenanntenZahlenapproximativzusehen–nichtallegemeinsamenPublikationenderWissenschaftundWirtschaftsindinwissenschaftlichenJournalserschienen,dievonmindestenseinerderbeiden Datenbanken indexiert werden. Zudem sind die Fallzahlen derWissenschaft-WirtschaftKopublikationenehergering,sodassausihnenkeinesoliden,allgemeingültigenSchlüssegezogenwerdenkönnen.
GemessenwurdenPublikationen,nichtdiezugrunde liegendenAr-beiten.FallseineArbeitbzw.einTextübermehrereKanäleoderinver-schiedenenFormatenpubliziertwurde,gibtesaufderMetaebene,aufdersichdieAnalysebewegt,keineMöglichkeitdiesezubereinigen.EskönntezudemderFalleintreten,dassdiese–abhängigvondenjewei-ligenJournalsundderenzugeordnetenKlassifikationen–zuverschie-denen Forschungsfeldern gezählt wurden, obwohl sie denselben TextzurBasishaben.DiesisteinweitererGrund,weshalbdiepräsentiertenErgebnissealsapproximativundkeinesfallsalsalleinigeGrundlagefürEntscheidungen irgendwelcher Art anzusehen sind. NichtsdestotrotzkönnensiealsAusgangspunktfürdenAustauschmitExpertinnenundExpertendienen,umzusätzlicheErkenntnissezugewinnen.
METHODEDieser Abschnitt gibt in Kürze die Grundbegriffe wieder, die für
das Verständnis dieses Beitrags notwendig sind. Er gibt weiters Aus-kunft über die Datenquellen und die Auswahl der zu untersuchendenUnternehmen,alsauchüberEinschränkungenundBesonderheitenderzugrundeliegendenStudie.
Die thematische Klassifikation der Publikationen erfolgt anhand derScience-Metrix Ontologie1,derenkleinschrittigere,detailliertereThemen-einteilung den Begriff Sub-Fields trägt, übergeordnete Einheiten bzw.HauptkategorientragendenBegriffFields.FürdiegröbsteKategoriederForschungsfelderwirdderBegriffAreas(„Bereiche“)verwendet.
DatenquellenAlsBasisfürdieAnalysederWirtschaft-Wissenschaft-KopublikationenindenJahren2009-2014dientendiebeidenbekanntestenthemenüber-greifendenakademischenZitationsdatenbankenScopusundWeb of Sci-ence.AufgrunddermangelhaftenDatengüteunterliefendieDatenei-nemaufwendigenProzessanBereinigung,Normalisierung,UnifizierungderbeidenDatensätzeundderAnreicherung–u.a.durchsemantischeVerfahren–durchDatenweiterer,meistoffenerQuellen.
Auswahl der zu untersuchenden UnternehmenDie Festlegung der Menge an zu untersuchenden Unternehmen derösterreichischen Privatwirtschaft sinnvoll festzulegen ist nicht trivial,
Die paarweise Beobachtung der häufigsten Kopublikationen vonWirtschaftundWissenschaftgewährtweitereEinblickeindieKollabora-tionsbeziehungen(sieheTabelle4).WieausdenDatenhervorgeht,lie-genaufderWissenschaftsseitedieTUsvorne,aufderWirtschaftsseite
ERGEBNISSEGESAMT
Die Gesamtpublikationen Österreichs im Untersuchungszeitraum(2009-2014)stiegenvonknapp24.000aufgut28.000Publikationenan,was ein Wachstum um den Faktor 1,2 bedeutet. Im selben Zeitraumwuchsen die Kopublikationen zwischen der österreichischen Wissen-schaftundderösterreichischenWirtschaftvonca.300aufgut420an,erhöhtensichalsoumdenFaktor1,4.
BeidengemeinsamverfasstenKopublikationenderWissenschaftundWirtschaftistesvonInteresse,dieamhäufigsteninvolviertenOrganisa-tionenzuidentifizieren.Tabelle2wirfteinenBlickaufdiewissenschaft-lichen Einrichtungen und zeigt, dass die technischen Universitäten amsichtbarstensind:dieTUWien(mitknapp500KopublikationenmitderWirtschaft)unddieTUGraz(mitüber400Kopublikationen)führendieLis-tean.DerRestderListesetztsichausderKeplerUniversitätLinz(~300)sowiederChristianDopplerGesellschaftundderMedizinischenUniver-sitätWien(jeweils~280)zusammen.AuchdieÖAWbefindetsichunterdenTop10deramhäufigsteninvolviertenForschungsorganisationen.DieBOKU (ca. 160) ist häufiger an Kopublikationen mit der Wirtschaft be-
ISSUE 45 | MARCH 201812
FORSCHUNGSFELDER IN DEN KOPUBLIKATIONSBE-ZIEHUNGEN WISSENSCHAFT-WIRTSCHAFT
DiegroßeMehrheitderKopublikationsbeziehungenderösterreichi-schen Wissenschaft und Wirtschaft auf der Ebene der Forschungsbe-reiche fällt in den Bereich Applied Sciences – also der angewandtenWissenschaften(sieheTabelle5).AusdiesemGrundwirddieserimvor-liegendenBeitragexklusivbehandelt.
Im Bereich Applied Sciences sind auf Seite der Forschungseinrich-tungen erwartungsgemäß die österreichischen Universitäten mit starktechnologischemEinschlaginderTabelle6vertreten,insbesonderedieTUs,diemitjeweilsüber300KopublikationendieSpitzebilden,gefolgtvonderKeplerUniversitätLinz,derMontanuniversitätLeobenundderChristian Doppler Gesellschaft. Die Anzahl der Kopublikationen nimmtdann rasch ab – bereits nicht mehr in dieser Liste der 10 kollaborati-onsstärkstenForschungseinrichtungenvertretensindu.a.dasAIT,dasPolymerCompetenceCenterLeobenundJoanneumResearch.
Wissenschaftliche Organisation Kopublikation mit der Wirtschaft in Applied Sciences
TUGraz 350
TUWien 325
JKUJohannesKeplerUniversitätLinz 184
MontanuniversitätLeoben 179
CDGChristianDopplerForschungsgesellschaft 169
BOKUUniversitätfürBodenkulturWien 69
UniversitätWien 58
ÖAWÖsterreichischeAkademiederWissenschaften 43
Leopold-Franzens-UniversitätInnsbruck 41
MedizinischeUniversitätWien 41
Wie ebenfalls erwartet, befinden sich die insgesamt meist invol-viertenUnternehmenauchindenForschungsfeldernderangewandtenWissenschaftinderTabellenliste(sieheTabelle7).Infineon,voestalpineundSiemenssindauchhieramsichtbarsten,miteinigemAbstanddannDICE.
Obwohl Fraunhofer Austria zwarweder imKatalogder staatlichenUnternehmen noch im kooperativen Bereich der Unternehmen auf-scheint,istdieseOrganisationdurchdieArtderFinanzierungnichtdenklassischenFirmenzuzuordnen.DennochseisiemitdiesemHinweisver-seheninderTabellebelassen.
ObwohlSiemensunddievoestalpineAGsichinderListederWirt-schaftsunternehmenunterdenerstendreibefinden,scheinensieinderpaarweisenBetrachtungerstknapphinterIoniconAnalytik–Universi-tätInnsbruckundDICE–KeplerUniversitätLinz(jeweils~60)auf,dieoffenbarsehrspezifischeKooperationsbeziehungenhaben. ImFallvonSiemensundvoestalpineAGteiltsichderenOutputdurchdieKollabo-rationen mit mehreren wissenschaftlichen Einrichtungen auf: u.a. aufdieMontanuniversitätLeobenundCDGimFallvoestalpineAG;aufdieKeplerUniversitätLinzunddieTUWienimFallSiemens.
Hier ist zuberücksichtigen,dassTabelle4 tatsächlichdie Involvie-rungen der genannten Organisationen in gemeinsame Publikationenfesthält. Dabei kann es vorkommen, dass eine genannte Organisationin einer anderen Paarbeziehung aufscheint und ein gewisser Teil derKopublikationensichüberlappt.DieslässtsichanhandvonDICEGmbH&CoKGillustrieren:siepubliziertemitderKeplerUniversitätLinzca.60malundmitderCDGca.45malgemeinsam.Diesekönnennichteinfachaddiertwerden,dadieAnzahlderKopublikationen,indieDICEinvolviertwar,tatsächlich66beträgt(vgl.Tabelle3).Diesbedeutet,dasseseinenklarenÜberlappgibt,d.h.DICE,dieKeplerUniversitätLinzunddieCDGhäufiggemeinsampublizierten.
AufdenUmstand,dassdieKopublikationenmittechnologielastigenUnternehmen eine hohe Sichtbarkeit genießen, geht der nächste Ab-schnittgenauerein.
Im Bereich Applied Science zeigt sich in den Kollaborationsbezie-hungenderösterreichischenWissenschaftmitEUUnternehmen,dassSiemensAG(DE)mitderKeplerUniversitätundInfineonTechnologiesAG(DE)mitderTUWienamsichtbarstensind.InfineonTechnologiesAG(DE)istebenfallsmitderKeplerUniversitätLinz,mitderTUGrazundderCDG involviert, allerdings auf niedrigerem Niveau. BMW (DE) und dieTUWiensinddieletztePaarbeziehung,dieinderTabelleaufscheinen;alleweiterenliegenunterdemSchwellenwertvon10Kopublikationen.
Insgesamt sind im Jahr 2014 1,5 % der mit österreichischen Au-torinnen bzw. Autoren publizierten wissenschaftlichen Arbeiten, diein Scopus und/oder Web of Science erfasst sind, den Wissenschafts-
Tabelle 7: Kollaborationsstärkste Unternehmen in Applied Sciences(2009-2014)
Wirtschaftliche Organisation Kopublikation mit der Wissenschaft in Applied Sciences
Nachdem die Kopublikationen zwischen Wissenschaft und Wirt-schaft im Bereich Applied Sciences zahlenmäßig führen, sind dieErgebnisse der unten stehenden Tabelle analog zu jenen des vorigenAbschnittszusehen.D.h.allenvoranstehtdieKollaborationzwischenInfineonATundderTUGraz,derenAnzahlangemeinsamkopubliziertenArbeitenjenederzweitgelistetenDICE-UniversitätLinzumgutdasDop-pelteübersteigt;kurzdarauffolgenvoestaplineAG-MontanuniversitätLeoben.
Es istaugenscheinlich,dassdieFirmenmitderhöchstenSichtbar-keitinsgesamtaufEbenederForschungsthemenmitmehrerenwissen-schaftlichenOrganisationenkopublizieren: z.B. InfineonATmitder TUGraz(~120),mitderTUWien(~45),odermitderAlpen-AdriaUniversi-tätKlagenfurt(~20);oderdievoestaplineAGmitderMontanuniversitätLeoben(50),derTUWien(~30),derCDG(~30),oderderUniversitätLinz(~20).DasselbegiltfürSiemensAGÖsterreichundForschungsorgani-sationen(UniversitätLinz,~40;TUWien,35;CDG,~20).
LITERATURVERZEICHNISD’este, Pablo und Markus Perkmann (2011):Whydoacademicsen-gage with industry? The entrepreneurial university and individual mo-tivations.TheJournalofTechnologyTransfer36,no.3(2011):316-339.URL: http://www.crossingboundaries.eu/wp-content/uploads/2014/02/DEste-Perkmann-2011.pdf
Lampert, Dietmar et al.(2017):KopublikationsanalyseWissenschaft&Wirtschaft2009-2014.URL:www.zsi.at/de/object/news/4555
Lehmann, Erik E. und Matthias Menter (2015): Uni-versity–industry collaboration and regional wealthURL: https://www.researchgate.net/profile/Erik_Lehmann/publica-tion/284103643_University-industry_collaboration_and_regional_wealth/links/56939f0908aec14fa55ebade/University-industry-collabora-tion-and-regional-wealth.pdf
Perkmann, Markus, Andy Neely und Kathryn Walsh (2011): Howshould firms evaluate success in university–industry alliances? A per-formance measurement system. R&D Management 41, Nr. 2 (2011):202-216
Ponds, Roderik, Frank van Oort und Koen Frenken(2010): Innovation, spillovers and university–industry colla-boration: an extended knowledge production function ap-proach. Journal of Economic Geography 10 (2010): 231-255URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.947.5371&rep=rep1&type=pdf
Skute, Igors, Kasia Zalewska-Kurek, Isabella Hatak und Pe-tra de Weerd-Nederhof (2017): Mapping the field: a bibliomet-ric analysis of the literature on university–industry collaborations.URL:https://ris.utwente.nl/ws/files/18449130/mapping_the_field.pdf
AUTORDIETMAR LAMPERTZSI – Zentrum für Soziale Innovation, Wien (AT)LinkeWienzeile246,1150Wien
Wirtschaft-Kopublikationen innerhalb Österreichs (also zwischen derösterreichischenWissenschaftundinÖsterreichansässigenprivatwirt-schaftlichenUnternehmen)zuzurechnen.
AuffallendistdesWeiteren,dassderAnteilderWissenschafts-Wirt-schaft-Kopublikationen innerhalb Österreichs laufend steigt. WährenderimJahr2009nur1.2%anderGesamtzahlderPublikationenmitös-terreichischenAutorinnenbzw.Autorenausmachte,beträgtseinAnteilim Jahr 2014 1,5 %, wobei zwischendurch eine leichte Stagnation zuverzeichnenwar.DieAnteilssteigerungistdennochhöheralsdieSteige-rung des Gesamtpublikationsoutputs österreichischer Autorinnen bzw.AutorenimselbenZeitraum.DieskannalsAusdruckeinerzunehmendenWissenschaftsfundierungderAktivitätenösterreichischerTechnologie-unternehmeninterpretiertwerden.
InBezugaufdieEinordnungderStudienergebnisse indenKontextder österreichischen Forschung, Technologie und Innovation (FTI) imeuropäischenVergleichlässtsichausdemEuropeanInnovationScore-boardinBezugauf‚Public-privateco-publicationspermillionpopulation‘feststellen,dassdieser–anderBevölkerungszahlnormierte–IndikatorfürÖsterreicheinendeutlichhöherenWertaufweistalsfürdeneuropäi-schenDurchschnitt(sieheTabelle10).ErliegtetwazwischenjenemvonBelgienundDeutschlandundwirdimEISals‚relativestrengthforAust-ria‘bezeichnet.EristjedochdeutlichgeringeralsderVergleichswertan-dererFTI-intensivereuropäischerLänder, insbesonderedenLänderninderGruppedersog.„innovationleader“.DieseweisenteilweisedoppeltsohoheWertewieÖsterreichauf(DänemarkundSchweden).
Public-private co-publications per million population
EUMS 2009 2010 2011 2012 2013 2014
EU28 37.0 39.8 42.4 38.9 38.1 36.9
AT 59.4 64.7 66.9 62.4 60.5 67.6
BE 63.7 68.2 74.6 70.4 76.2 71.7
DE 54.6 57.1 61.9 58.0 57.6 55.6
DK 137.0 167.5 172.6 159.1 156.0 165.3
FI 91.2 88.4 89.5 84.1 82.2 85.1
NL 89.0 103.5 112.2 99.8 97.4 93.8
SE 116.2 118.9 126.9 118.4 115.8 113.6
DiehierpräsentiertenErgebnissezeigeneineAusweitungderKolla-borationderWissenschaftundWirtschafthinsichtlichgemeinsamver-fassterPublikationen.DennochsindsielediglicheineMomentaufnahmeundeswirdweiterhinbeobachtetwerdenmüssen,wiesichderenEnt-wicklung gestaltet, insbesondere auf nationaler Ebene um festzustel-len,obdievermerkteStagnationnurtemporäroderpermanentist.DieinternationalenKollaborationmitEUUnternehmenzeigenetwasmehrDynamik,wobeiesabzuwartengilt,obdiesedengeringerenFallzahlengeschuldetistoderessichtatsächlichumeinAufwärtstrendhandelt.
Wieeingangserwähnt,könnenpositiveEffekteinderKollaborationzwischenderWissenschaftundWirtschaftverortetwerden.Imnationa-lenaberauchregionalen(subnationalen)FTI-Kontextgiltesfestzulegen,welchenStellenwertdieAnalysedieserDimensionderKollaborations-beziehungen Wissenschaft-Wirtschaft in Evaluationsvorhaben einneh-mensoll,welcheErkenntnisse sie zuTage fördernkann,wiediese zuinterpretierensindundzurVerfeinerungvonStrategienherangezogen
GemäßdemgesetzlichenAuftragistdieAQAustriafürdieQualitäts-sicherungimgesamtenösterreichischenHochschulsektor(mitAusnahmederPädagogischenHochschulen) zuständig. In ihrerTätigkeitorientiertsichdieAQAustriaandemgrundlegendenPrinzip,dassHochschulendieHauptverantwortungfürdieQualitätinall ihrenLeistungsbereichenso-wiefürdieQualitätssicherungund-entwicklungtragen,undsieverstehtdemnachihreVerfahrenalsErgänzungzurhochschulinternenQualitäts-sicherung.IhreVerfahrenunddenBegutachtungsprozessrichtetdieAQAustriasomitandenselbstgestecktenZieleneinerHochschuleaus(vgl.Hopbach2017:4ff).
UmalsPrivatuniversitätinÖsterreichtätigzusein,bedarfesgemäߧ2Abs1Privatuniversitätengesetz(PUG)3einerAkkreditierungdurchdieAQAustriaalsVoraussetzungfürdiestaatlicheAnerkennung.MitderAk-kreditierungbescheinigtdieAQAustriadenHochschulendieErfüllungderAkkreditierungsvoraussetzungen.DieErstakkreditierungbeziehtsichsowohl auf die Institution selbst als auch auf die zu diesem ZeitpunktbeantragtenStudien.MitdemAkkreditierungsbescheidwirddieGeneh-migungalsPrivatuniversitätfürdieDauervonsechsJahrenerteilt,wasbedeutet,dasssichPrivatuniversitätenallesechsJahrereakkreditierenlassenmüssen.4DieVerlängerungderAkkreditierungbeziehtallezudie-semZeitpunktakkreditiertenStudienmitein.ImUnterschiedzurerstma-ligenAkkreditierungkanndieAQAustriadieVerlängerungderAkkredi-tierungauchunterAuflagenaussprechen.ZwischenzeitlicheingerichteteStudien, so auch Doktoratsstudien, unterliegen ebenfalls ex ante einerAkkreditierungspflicht.SomitmussanösterreichischenPrivatuniversitä-tenjedesDoktoratsstudiumvorEinrichtungakkreditiertwerdenundnurinakkreditiertenDoktoratsstudienmitfestgelegtencurricularenAnteilensindPrivatuniversitätenberechtigt,einenDoktorgradzuverleihen.Inso-fernsindDoktoratsstudienanösterreichischenPrivatuniversitätenmehr
EvaluierungdesmitdemDoktoratsstudiuminZusammenhangstehendenForschungsumfeldsumfasst.EinleitendwerdendiefürdieAkkreditierungvon Doktoratsstudien relevanten gesetzlichen Rahmenbedingungen er-läutert.NacheinerDarstellungdermethodischenVerfahrensgrundsätzeundderAkkreditierungsvoraussetzungenfokussiertderArtikelaufdasfürDoktoratsstudienspezifischePrüfkriteriumzumForschungsumfeld.DabeiwirdaufBasiseinerAnalysederbereitsakkreditiertenDoktoratsstudiengezeigt, dassesnachAkkreditierungalsPrivatuniversitätdurchschnitt-lich ca. zehnJahredauert, bis sichein Forschungsumfeld für einDok-toratsstudiumetablierthatunddiesesStudium–beiEinreichungeinesAkkreditierungsantrags–akkreditiertwird.Abschließendwerdenmögli-cheÄnderungsaspekteinHinblickaufdieVerfahrensweiterentwicklungaufgezeigt.
GESETZLICHE RAHMENBEDINGUNGEN
Durch das Inkrafttreten des Hochschul-Qualitätssicherungsgesetzes(HS-QSG)1imJahr2012,dasaufderGrundlagedesQualitätssicherungs-rahmengesetzes2 entwickelt wurde, kam es zu einer Neuordnung derexternenQualitätssicherungimösterreichischenHochschulsektor,wovonnebenöffentlichenUniversitätenundFachhochschulenauchPrivatuni-versitätenbetroffenwaren.AufderGrundlagedesHS-QSGwurdeauchdiesektorenübergreifende,unabhängigeAgenturfürQualitätssicherungundAkkreditierungAustria(AQAustria)durchdieFusionierungderdrei
kreditierungdesStudiumsbeiderAQAustriaeinreichen,derdieErfül-lung der Akkreditierungsvoraussetzungen dokumentiert. Nachdem dieAQAustriadenAntragaufseineVollständigkeitundBegutachtungsfä-higkeitüberprüftundgegebenenfallseinenVerbesserungsauftragerteilthat,bestelltdasBoardderAQAustria7Gutachter/innen,diedasKonzeptfürdasDoktoratsstudiumbegutachten.Hierfür führtdieAQAustria imRegelfall einenVor-Ort-Besuchdurch, indemdieGutachter/innensichinGesprächenmitVertreter/inne/nderantragstellendenEinrichtungvonderErfüllungderAkkreditierungsvoraussetzungenundderQualitätderHochschulebzw.desStudiumsüberzeugen.NachdemVor-Ort-Besuchfertigen die Gutachter/innen ein gemeinsames Gutachten an, das zu-sammenmiteinerStellungnahmederAntragstellerinGrundlagefürdieAkkreditierungsentscheidungdurchdasEntscheidungsgremiumderAQAustria,dasBoard,ist.InseinerEntscheidungistdasBoardweisungsfreiundunabhängig.NachderGenehmigungdesAkkreditierungsbescheidsdurch den/die zuständige/n Minister/in veröffentlicht die AQ AustriaeinenErgebnisbericht,derdieEntscheidungsamtBegründungunddasGutachten,gegebenenfallsauchdieStellungnahme,umfasst(vgl.Abbil-dung1).
mitstrukturiertenDoktoratsprogrammenalsmiteiner individuellenPro-motionvergleichbar.5ImUnterschiedzuDeutschlandistinÖsterreichdieVerleihungdesPromotionsrechtsanPrivatuniversitätendurchdenStaatgesetzlich nicht möglich. In Deutschland werden durch die VerleihungdesPromotionsrechtsPromotionsordnungennichtstaatlicherHochschu-lengrößtenteilsstaatlicherSteuerungentzogenundfallenindieakade-mischeSelbstverwaltung(vgl.WR2009:9).
FürdieDurchführungderAkkreditierungsverfahrenhatdieAQAustria(2015a)inderPrivatuniversitäten-Akkreditierungsverordnung(PU-AkkVO)verbindliche Verfahrensregeln und Entscheidungskriterien festgelegt.Diese entsprechen den Grundsätzen der Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG2015).Da-mitsichertdieAQAustriadieinternationaleAnerkennungdesösterrei-chischenQualitätssicherungssystemsundunterstütztdie internationaleAnerkennungderHochschulenbzw.Studien.DadieAQAustriainAkkre-ditierungsverfahrenbehördlichtätig ist,werdenaußerdemdieösterrei-chischenVerwaltungsverfahrensvorschriften6beachtet.
Will eine Rechtsträgerin einer österreichischen Privatuniversität einDoktoratsstudiumeinrichten,mussdiesezunächsteinenAntragaufAk-
Prüfung des Antrags auf Vollständigkeit & formale RichtigkeitAntrag auf Akkreditierung
Ggf. Verbesserung des Antrags
Vor-Ort-Besuch
Stellungnahme Gutachten
Akkreditierungsentscheidung durch das Board AQ Austria
Akkreditierungsbescheid (Änderungsbescheid)
Veröffentlichung des Verfahrensergebnisses
Hochschule AQ Austria
Vorlage begutachtungsfähiger Antrag
Entscheidung über Verfahrensart
Beschluss Gutachter/ innenStellungnahme zu Gutachter/ innen
Zahlungsverpflichtung Verfahrenspauschale
Vorlage Gutachten
Genehmigung durch BMWFW
Website AQ Austria
Website Hochschule
Keine Änderungen mehr möglich
Abbildung 1:AblaufvonAkkreditierungsverfahren
17ISSUE 45 | MARCH 2018
third cycle programmes both as students and as early stage researchers.” (BergenCommuniqué2005:4)
InVorbereitungaufdasTreffeninBergenwurdendieTen Salzburg Basic Principles (EUA 2005b) erarbeitet und im Jahr 2010 durch dieSalzburg II Recommendations (EUA 2010) ergänzt. Eine der wesent-lichen Empfehlungen der Salzburg II Recommendations ist jene derkritischen Masse: „Doctoral education is dependent on the research environment. Institutions must develop a critical mass and diversity of research in order to offer high quality doctoral education. Critical mass does not necessarily mean a large number of researchers, but rather the quality of research.”
InHinblickaufdenEuropäischenForschungsraumwurdenvonseitenderEuropäischenKommissionimJahr2011diePrinciples for Innovative Doctoral Training (EC2011b)aufderGrundlagedesReport of Mapping Exercise on Doctoral Training in Europe (EC 2011a) verabschiedet. TeilderEmpfehlungenistdieForderungeinesForschungsumfelds,dassichdurch eine kritische Masse sowie durch Kooperations- bzw. Vernet-zungsmöglichkeitenfürDoktorand/inn/enauszeichnet.
Aufgrund des Forschungsbezugs von Doktoratsstudien sind in Ak-kreditierungsverfahren andere Voraussetzungen für den dritten Studi-enzykluserforderlichalsfürdenerstenundzweitenZyklus:„Enabling a doctoral candidate to produce original knowledge requires a different kind of environment to the environments that enable students to understand and apply knowledge.”(EUA2013:43)
AufBasisderobengenanntenEmpfehlungenwurdensomitfürdieAkkreditierungvonDoktoratsstudienanPrivatuniversitäteninÖsterreichspezielle Akkreditierungsvoraussetzungen entwickelt. Eine gesonderteRichtlinie für die Akkreditierung von Doktoratsstudien wurde bereitsvonder fürPrivatuniversitäten zuständigenVorgängerorganisationderAQAustria,demÖAR,imJahr2008erstmalsbeschlossenundimJahr2011 geringfügig geändert. Diese Anforderungen wurden größtenteilsfür die Privatuniversitäten-Akkreditierungsverordnung 2012 und 2013derimJahr2012neueingerichtetenAQAustriaübernommen.MitderÜberarbeitungderVerordnungimJahr2015wurdedaszusätzlichePrüf-kriterium fürDoktoratsstudien (§17Abs1 lit oPU-AkkVO)umstruktu-riert,dieinhaltlichenAnforderungenbliebenweitgehenderhalten(vgl.AQAustria2015a).
• An der Institution besteht ein etabliertes Forschungsumfeld.Diesessetztinsbesonderevoraus:° DasfürdieDurchführungdesStudiumsunddieBetreuung
derDoktorand/inn/envorgesehenePersonal¡ ist dem Profil des Doktoratsstudiums entsprechendausreichendwissenschaftlichbzw. künstlerisch fachlichdurch Habilitation oder habilitationsäquivalente Qualifi-kationqualifiziert,
Gutachter/innen-Gruppen in Verfahren zur Akkreditierung vonStudien bestehen inderRegel ausdrei bis vierMitgliedern, die wis-senschaftliche bzw. berufspraktische Qualifikationen sowie studenti-sche Erfahrung aufweisen, wobei die Erfordernisse auf den Einzelfallbzw. den jeweiligen Antragsgegenstand abgestimmt werden. Im FallvonDoktoratsstudienwirddaherdaraufgeachtet,dass inGutachter/innen-Gruppen zumindest zweiderGutachter/innenausreichendwis-senschaftlicheQualifikationimFachbereichwieHabilitationbzw.habi-litationsäquivalenteQualifikation,facheinschlägigeForschungsleistun-gen sowie Erfahrung in der Betreuung von Doktorand/inn/en und inderEntwicklung,Durchführungbzw.EvaluierungvonDoktoratsstudienaufweisen.AußerdemachtetdasBoardderAQAustriabeiderZusam-mensetzungderjeweiligenGutachter/innen-GruppeaufDiversität,wiez.B.Geschlechterausgewogenheit.
FüreineAkkreditierungvonStudienanPrivatuniversitätensinddieAkkreditierungsvoraussetzungengemäߧ24HS-QSGund§2PUGiVm§§16fPU-AkkVOzuerfüllen.InderPU-AkkVOsindnebendenVerfah-rensgrundsätzen die gemäß § 24 HS-QSG festgelegten PrüfbereicheanhandvonPrüfkriteriennäherdefiniert,derenErfüllungdieGutachter/-innen in ihrem Gutachten bewerten. Die Prüfbereiche für Studien, soauch Doktoratsstudien, umfassen (1) Studiengang und Studiengangs-management,(2)Personal,(3)Qualitätssicherung,(4)FinanzierungundInfrastruktur, (5) Forschung und Entwicklung sowie (6) Nationale undinternationaleKooperationen.
Gemäß den im PUG festgelegten AkkreditierungsvoraussetzungenmüssenStudienplänemateriellen,fachlichenundformalenAnforderun-gen nach internationalen Standards entsprechen. Die AntragstellerinmussaußerdemfürForschungundLehreindenfürdiedurchzuführen-den Studien wesentlichen Fächern ein dem internationalen Standardentsprechendes, wissenschaftliches oder künstlerisch ausgewiese-nes Lehr- und Forschungspersonal verpflichten sowie über die für dieStudien erforderliche Raum- und Sachausstattung verfügen. WeitersmussdiePrivatuniversitätgemäߧ2Abs2PUGihreTätigkeitenanbe-stimmtenGrundsätzenwiederFreiheitderWissenschaftundLehre,derFreiheit des künstlerischen Schaffens, der Vermittlung von Kunst undihrerLehre,derVerbindungvonForschungundLehresowiederVielfaltwissenschaftlicherundkünstlerischerTheorien,MethodenundLehrmei-nungenorientieren.
DOKTORATSSTUDIEN IM BOLOGNA PROZESS
MitdemBerlinCommuniqué(2003)wurdenDoktoratsstudienalsso-genannterdritterZyklusindieBologna-Reformintegriert.SiestellendieVerbindungzwischendemEuropäischenHochschulraum(EHR)unddemEuropäischenForschungsraum(EFR)herundbildendieforschungsbezo-geneStudienphasedesBolognaProzesses.ImJahr2005einigtensichdiefürHochschulbildungzuständigeneuropäischenMinister/innenbeiihremTreffeninBergenaufKernelementefürDoktoratsstudieninEuro-pa,dienachwievorgültigsindundimLaufederZeitweiterentwickeltwurden. Eines der wesentlichen Kernelemente davon ist, dass Dokto-ratsstudiendenAspektderoriginärenForschungsleistungunddieStu-dierendenalssogenannteearlystageresearchersindenMittelpunktrü-ckensollen:„The core component of doctoral training is the advancement of knowledge through original research. […] We consider participants in
EinForschungsumfeldbenötigtnachAuffassungdesBoardsaucheinekritischeGröße,umeineVielfaltanmethodischenundthematischenHer-angehensweisenzugewährleisten.DiesemethodischeundthematischeBreiteistvonzentralerBedeutung,daeinDoktoratsstudiumdenDokto-rand/inn/en ermöglichen soll, sich mit unterschiedlichen theoretischenund methodischen Konzepten und Forschungstraditionen auseinander-zusetzen.ObeinekritischeMasseanForschung imrelevantenFachbe-reichvorhandenist,wirddaherimZugevonAkkreditierungsverfahrenzuDoktoratsstudienebensoevaluiert.DieDiversitätdesForschungsumfeldssollzukünftigenDoktorand/inn/enderPrivatuniversitäteineregelmäßigeundkontinuierlicheReflexion,einekritischeDiskussiondereigenenFor-schungermöglichenundeineVielfaltderErkenntnispraxisgewährleisten.
WesentlichistausSichtdesBoardsderAQAustriaauch,dassRaumfür formellen und informellen Austausch zwischen den Nachwuchsfor-schendenunddenForschendenvorgesehenist,uminhaltliche,methodi-sche,aberauchorganisatorischeFragendiskutierenundersteErgebnis-sepräsentierenzukönnen.DamitdieserAustauschgelebtwerdenkann,muss ein intensiver Kontakt der Doktorand/inn/en mit den Forscher/-inne/n ermöglicht werden. Dies findet sich unter dem Schlagwort„Creating Space for Dialogue“ in den aktuellen Empfehlungen derEUA(2016)zurDoktoratsausbildung.
Auf institutioneller Ebene wird ein Forschungsumfeld nach Auffas-sungdesBoardsderAQAustriadurchWertschätzungundUnterstützungvonForschunggefördert.DieskannunteranderemdurchdieVeranke-rungeinesentsprechendenParagraphenmitBekenntnis zurForschungin der Satzung und den Zielen der Privatuniversität geschehen. EinelängerfristigeForschungsstrategiederInstitutionbzw.derOrganisations-einheitgehörtebensozueinemForschungsumfeldwiediestrukturierteUnterstützungdesForschungsaustauschs,beispielsweisedurchdieOr-ganisationvonTagungen.EinetabliertesForschungsumfeldzeichnetsichsomitnachAuffassungdesBoardsderAQAustrianichtnurdurcheineGruppehervorragenderWissenschaftler/innenaus,sondernauchdurcheine gemeinsame Forschungskultur und eine längerfristige PerspektivederForschungsaktivitäten.
Eine solide Finanzierung und adäquate Infrastruktur sind aus SichtdesBoardsderAQAustriaeinewesentlicheGrundvoraussetzung,dasssicheinForschungsumfeldetablierenkann.Außerdemwird inAkkredi-
¡ hatzumindestteilweiseErfahrunginderBetreuungvonDoktorand/inn/en.DieBetreuungvonDoktorand/inn/ensetzt jedenfalls die volle Lehrbefugnis für das wissen-schaftlichebzw.künstlerischeFachvoraus,
¡ besitzt neben Lehr- und Verwaltungstätigkeiten ausrei-chend Kapazität für Forschungstätigkeit und BetreuungvonDoktorand/inn/en.AlsRichtwert füreineangemes-seneBetreuungsrelationistvon8Doktorand/inn/enproBetreuer/inauszugehen.
• EsgewährleistetaußerdemeinenintensivenKontaktderDok-torand/inn/en mit dem aktiv forschenden wissenschaftlichenbzw.künstlerischenPersonalsowiedieMöglichkeitzur inner-undaußeruniversitärenKooperation.
Im Jahr 2015 verabschiedete das Board der AQ Austria auch eineHandreichungzurAuslegungvon§17Abs1litoPU-AkkVO,umAntrag-stellerinnenundGutachter/inne/neineOrientierungshilfefürdieAnwen-dungdesKriteriumszurVerfügungzustellen(vgl.AQAustria2015b).DieHandreichungdientdertieferenErörterungdesKriteriums.
SieistvondemGedankengetragen,dassLeistungeninWissenschaftundForschungdisziplinärunterschiedlicheAusprägungenhabenkönnenund sich ein etabliertes Forschungsumfeld insbesondere dadurch aus-zeichnet, dass eine Hochschule Rahmenbedingungen und StrukturenzurVerfügungstellt,dieWissenschaftler/innenaktivbeiihrerForschungunterstützen. Diese können in Anbetracht unterschiedlicher Disziplinenunterschiedlichausfallen,weshalbinderAkkreditierungsverordnungkei-nespezifischenquantitativenAnforderungenandasForschungsumfeldeinerPrivatuniversitätfestgelegtwurden(mitAusnahmedesRichtwertszur Betreuungsrelation). Das Akkreditierungsverfahren entspricht somitauchderEmpfehlungderEuropeanUniversityAssociation (EUA2010),dass die wissenschaftliche Qualität der Doktoratsausbildung auf BasisvonPeerReview-VerfahrenbeurteiltwerdensollunddisziplinäreUnter-schiedeberücksichtigtwerdensollen.
AufBasisderobengenanntenEmpfehlungen fürdieDoktoratsaus-bildung im Europäischen Hochschul- und Forschungsraum vertritt dasBoard der AQ Austria die Ansicht, dass in der Qualitätssicherung vonDoktoratsstudiendreiAspektevonbesondererBedeutungsind:dieQua-lifikationdesPersonals,einekritischeGrößeundDiversitätderForschungsowie die institutionelle Infrastruktur (vgl. Abbildung 2). Diese PositionwirdauchvonderEUA(2013:42)vertreten:„ […] quality assurance in doctoral education must use processes that take point of departure in the specific needs of doctoral education. These processes must ensure that the necessary research capacity is at hand, that the research environment is inclusive and inspiring and that supervision is adequate.”
DieQualifikationdesfürdieBetreuungderDoktorand/inn/envorge-sehenenPersonalslässtsichinAkkreditierungsverfahreneinerseitsdurchformaleRegelungen,wiez.B.dieHabilitationoderHabilitationsäquiva-lenz betreffend Berufungen, begutachten, aber auch durch die Evalu-ierung der Forschungsleistung, unter anderem durch eine Analyse derPublikationsleistungen,dereingeworbenensowieeigenfinanziertenFor-schungsprojekte,derKonferenzteilnahmenundderKooperationen.VonBedeutungistfürdasBoardauchdieAusstrahlungderForschungsaktivi-
Doktorats- studium
Qualifikation
Kritische Größe
Infrastruktur
Abbildung 2:Forschungsumfeld
19ISSUE 45 | MARCH 2018
kann sich diese Evaluierung des Forschungsumfelds auf das jeweiligeInstitutodereinenbestimmtenTeilbereichdessen,dieFakultätoderdiegesamtePrivatuniversitätbeziehen.
DIE ETABLIERUNG EINES FORSCHUNGSUMFELDS AN PRIVATUNIVERSITÄTEN
Wie in Tabelle 1 dargestellt, gibt es derzeit 19 akkreditierte Dokto-ratsstudienansiebenvoninsgesamt13PrivatuniversitäteninÖsterreich.8DieseDoktoratsstudiensindinunterschiedlichenFachgebietenangesie-delt.Sowerdengesundheitswissenschaftliche,kulturwissenschaftliche,technischeundsozial-bzw.wirtschaftswissenschaftlicheDoktoratsstudi-enanPrivatuniversitätenangeboten.
Sechs der in Tabelle 1 dargestellten Doktoratsstudien wurden inden ersten vier Akkreditierungsjahren der jeweiligen Privatuniversitätakkreditiert,alleanderenStudienerstimbzw.nachdemfünftenAkkre-ditierungsjahr. Der frühe Akkreditierungszeitpunkt dieser sechs Dokto-
tierungsverfahrenzuDoktoratsstudienauchberücksichtigt,obeineklareRegelung der Verteilung der Arbeitszeit für Lehre, Forschung und aka-demischeSelbstverwaltungvorgesehenist,wobeiForschungundLehregleichgewichtetseinsollten.EineBasisfinanzierungkannauchpunktu-elleMaßnahmen,wiez.B.dieMöglichkeitzuForschungsfreisemesternoderdieFinanzierungkleinererProjekte,die innerhalbderPrivatuniver-sitätkompetitivvergebenwerden,umfassen.DamitForschungsaktivitä-tennachhaltigsindundlängerfristigverfolgtwerdenkönnen,solltensienichtausschließlichaufdieFinanzierungdurchDritteangewiesensein.Daher,wirdauchberücksichtigt,obdieInstitutionbeispielsweisedurchMittel zurAnbahnungvonForschungsprojektenoderzurÜberbrückungzwischenProjektengezieltForschendefördert.DieseAspektefindensichunterdemSchlagwort„Building Research Capacity“ indenEmpfehlun-genderEUA(2016).
Somit isteinwesentlicherBestandteilvonAkkreditierungsverfahrenzu Doktoratsstudien die Evaluierung des jeweiligen Forschungsumfeldsmittels Peer Review, weshalb das Akkreditierungsverfahren in diesemAspektmehreinerForschungsevaluierunggleichtalsAkkreditierungsver-fahrenvonBachelor-undMasterstudien (vgl.MWK2009:2f).JenachBreitedesjeweiligenzurAkkreditierungbeantragtenDoktoratsstudiums
Bezeichnung der Privatuniversität Akkreditierung als Privatuniversität
Bezeichnung des Doktoratsstudiums Akkreditierung des Doktoratsstudiums
Doktoratsstudium unmittelbar bei den unterschiedlichen Prüfbereichenzu verankern und die gesamten Prüfkriterien für Doktoratsstudien ge-trenntvondenPrüfkriterienfürandereStudieninderAkkreditierungsver-ordnungabzubilden.DieswürdeauchzueinerbesserenSichtbarkeitderAnforderungenanDoktoratsstudienbeitragen.
Unabhängig von Darstellungs- bzw. Abbildungsfragen sind in derVerfahrensweiterentwicklungangesichtsderzwischenzeitlichstattgefun-denenWeiterentwicklungderStandardsvonDoktoratsstudienimEuro-päischen Hochschulraum (vgl. z. B. HSK 2015, UNIKO 2015, WR 2011)beispielweisedieAnforderungenandieZulassung,dieBetreuungundBegutachtung der Dissertation sowie die Vermittlung von transferableskillsbzw.generischerKompetenzenfüreinenerweitertenArbeitsmarktzudiskutierenunddieResultategegebenenfallsnebeneinemetabliertenForschungsumfeldalsAkkreditierungsvoraussetzungenindiesichderzeitinAusarbeitungbefindlichePU-AkkVO2018aufzunehmen.
LITERATUR Agentur für Qualitätssicherung und Akkreditierung Austria (AQAus-tria2015a):Privatuniversitäten-Akkreditierungsverordnung,beschlosseninder27.SitzungdesBoardsderAQAustriaam28.Mai2015.Verfügbarunter: https://www.aq.ac.at/de/akkreditierung/dokumente-verfahren-pu/PU_AkkVO-2015.pdf?m=1446128900,Zugriffam31.08.2017.
Agentur für Qualitätssicherung und Akkreditierung Austria(AQAus-tria 2015b): Handreichung zur Auslegung von § 17 (1) lit o PU-AkkVO(Anforderungen an das Forschungsumfeld bei Doktoratsstudien),01.07.2015.Verfügbarunter:https://www.aq.ac.at/de/ueber-uns/doku-mente-ueber-uns/Handreichung_Forschungsumfeld_Doktoratsstudien-gaenge.pdf?m=1450437550,Zugriffam31.08.2017.
Bergen Communiqué (2005): The European Higher Education Area– Achieving the Goals. Communiqué of the Conference of EuropeanMinistersResponsible forHigherEducation,Bergen,19-20May2005.Verfügbar unter: http://media.ehea.info/file/2005_Bergen/52/0/2005_Bergen_Communique_english_580520.pdf,Zugriffam31.08.2017.
Berlin Communiqué (2003):Realising theEuropeanHigherEducationArea.CommuniquéoftheConferenceofMinistersResponsibleforHigh-erEducationinBerlinon19September2003.Verfügbarunter:https://media.ehea.info/file/2003_Berlin/28/4/2003_Berlin_Communique_English_577284.pdf,Zugriffam31.08.2017.
European Commission (EC 2011a): Report of Mapping Exercise onDoctoralTraining inEurope.“TowardsaCommonApproach”.27June2011.Verfügbarunter:https://cdn3.euraxess.org/sites/default/files/po-licy_library/report_of_mapping_exercise_on_doctoral_training_final.pdf,Zugriffam31.08.2017.
European Commission (EC 2011b): Principles for Innovative DoctoralTraining. Verfügbar unter: https://era.gv.at/object/document/1508/
ratsstudienlässtsichdadurcherklären,dassindenerstenJahrennachGründungdesPrivatuniversitätensektorsimJahr2000,dieeinigeJahrevor der Entwicklung der Ten Salzburg Basic Principles (EUA 2005b) er-folgte, fürdieEinrichtungbzw.AkkreditierungvonDoktoratsstudienanösterreichischenPrivatuniversitätennochkeinespeziellenAnforderungenvorgesehenwaren.
AufBasisallerinTabelle1angeführtenDoktoratsstudienzeigtsich,dass es im Durchschnitt nach Akkreditierung als Privatuniversität ca.siebenJahredauert,biseinDoktoratsstudium–beiEinreichungeinesAkkreditierungsantrags–akkreditiertwird.SeitdemBeschlussderRicht-liniefürDoktoratsstudienimJahr2008mitspeziellenAkkreditierungsvo-raussetzungenfürDoktoratsstudiendauertesdurchschnittlichca.zehnJahre,bissicheinForschungsumfeldmitsichtbarenForschungsleistun-gen,inhaltlicherundmethodischerBreitesowiegeeignetenstrukturellenRahmenbedingungenetablierthatundeinDoktoratsstudiumakkreditiertwerdenkann.Mitden steigendenqualitativenAnforderungenanDok-toratsstudien im Europäischen Hochschulraum wurde außerdem eineTendenzdahingehendbeobachtet,dassdieAnzahlderDoktoratsstudien,diebereitsbeierstmaligerAntragsstellunganösterreichischenPrivatuni-versitätenakkreditiertwird,abnimmt.
Bis das erste Doktoratsstudium einer Privatuniversität in Österreichakkreditiertwird,dauertesca.achtJahre.VergleichtmandiesesErgeb-nismitdenErwartungendesdeutschenWissenschaftsrats,sozeigtsich,dassessichmitderErwartungdeckt,dasseineEmpfehlungzurVerlei-hungdesPromotionsrechtsannichtstaatlicheHochschuleninDeutsch-landfrühestensfünfJahrenachAufnahmedesHochschulbetriebsgege-benwerdenkann(vgl.WR2009:21f).
WEITERENTWICKLUNG DER AKKREDITIERUNGS-VORAUSSETZUNGEN
In der Anwendung der Prüfkriterien in Akkreditierungsverfahren zuDoktoratsstudienhabensichRedundanzensowieSchwierigkeiteninderHandhabbarkeit durch die Trennung von Kriterien und Erläuterungenin zwei Dokumente gezeigt. Aufgrund des zusätzlichen Kriteriums zumetabliertenForschungsumfeld(§17Abs1litoPU-AkkVO),verankertimPrüfbereich Studiengang und Studiengangsmanagement, ergeben sichteilweise Überschneidungen mit Kriterien anderer Prüfbereiche wieForschungundEntwicklungsowieNationaleund internationaleKoope-rationen.So istbeispielweisegemäߧ17Abs5 litbundcPU-AkkVO(Forschung und Entwicklung) festgelegt, dass die Verbindung von For-schungundLehregewährleistetseinsollunddieStudierendenindemnachArtdesStudiumserforderlichenAusmaßindieForschungsprojekteeingebundenwerdensollen.Gemäߧ17Abs6litbPU-AkkVO(NationaleundinternationaleKooperationen)sollendieKooperationendieMobilitätvonStudierendenundPersonalunterstützen.DerAspektdesintensivenKontaktsderDoktorand/inn/enmitforschendemPersonalsowiedieMög-lichkeitzur inner-undaußeruniversitärenKooperationfindensichauchin§17Abs1litoPU-AkkVO(vgl.AQAustria2015a,2015b).Dieszeigt,dassdurchErgänzungdeszusätzlichenPrüfkriteriumsfürDoktoratsstudi-enkeineklareAbgrenzungzwischendeneinzelnenPrüfbereichenmehrgegebenist.
Eine Änderungsmöglichkeit wäre daher, die Anforderungen an das
European University Association (EUA 2005a): Doctoral ProgrammesfortheEuropeanKnowledgeSociety.ReportontheEUADoctoralPro-grammesProject2004–2005.Verfügbarunter:http://www.eua.be/eua/jsp/en/upload/Doctoral_Programmes_Project_Report.1129278878120.pdf,Zugriffam31.08.2017.
European University Association (EUA 2005b): Ten Salzburg BasicPrinciples. Bologna Seminar on Doctoral Programmes for the Euro-pean Knowledge Society. Salzburg, 3–5 February 2005. Verfügbarunter: http://www.eua.be/eua/jsp/en/upload/Salzburg_Report_fi-nal.1129817011146.pdf,Zugriffam31.08.2017.
European University Association (EUA2010):SalzburgIIRecommen-dations. European Universities’ Achievements Since 2005 in Imple-menting theSalzburgPrinciples.Verfügbarunter:http://www.eua.be/Libraries/publications-homepage-list/Salzburg_II_Recommendations.pdf?sfvrsn=0,Zugriffam31.08.2017.
European University Association (EUA 2013): Quality Assurance inDoctoral Education – Results of the ARDE project. Verfügbar unter:http://www.eua.be/Libraries/publications-homepage-list/EUA_ARDE_Publication,Zugriffam31.08.2017.
European University Association(EUA2016):DoctoralEducation–Ta-kingSalzburgForward.ImplementationandNewChallenges.Verfügbarunter: http://www.eua.be/Libraries/publications-homepage-list/Docto-ral-Education_Taking-Salzburg-Forward,Zugriffam31.08.2017.
Hochschulkonferenz (HSK 2015): Empfehlungen zur qualitativenWeiterentwicklung der Doktoratsausbildung in Österreich. 11. Juni2015. Verfügbar unter: http://www.hochschulplan.at/wp-content/up-loads/2015/07/2015-06-12_HSK-Empfehlung-Doktoratsausbildung.pdf,Zugriffam31.08.2017.
Niedersächsisches Ministerium für Wissenschaft und Kultur(MWK2009): Leitlinien und Kriterien für die Akkreditierung von Promotions-studiengängen in Niedersachsen. Verfügbar unter: https://www.mwk.niedersachsen.de/download/100861/Leitlinien_und_Kriterien_fuer_die_Akkreditierung_von_Promotionsstudiengaengen_in_Niedersach-sen_Stand_10.07.2015.pdf,Zugriffam31.08.2017.
Österreichische Universitätenkonferenz (UNIKO 2015): Position Dok-torat.PositionspapierderÖsterreichischenUniversitätenkonferenzzum
Thisautonomywenthandinhandwiththeexpectationthatgenderequalitypolicywouldfocusmorestronglyontherespectiveuniversity’sown specific situation and thus be designed more effectively. It alsoaimedtosupportanorientationongoodpracticesatotheruniversities,i.e.tostrengthenthecompetitiveelementbymonitoringandcomparinguniversities(Höllinger&Titscher,2004).Hence,theyearsfollowingtheimplementationofUG2002–despite thestatutorydefinitionofequalopportunitiesbodies–undertheprovisionsofUG2002(eachuniversitymustsetupanequalityopportunitiesworkinggroupandacoordinationunit forwomen’sandgender researchandpublishaplan toadvancewomen)–ledtoabroadrangeofdifferentequalopportunitiespoliciesat universities, with clear differences in focus, allocation of resourcesandcommitment(Tiefenthaler&Good,2011).
Thisdevelopmentcoincidedwiththerealignmentofpublicbudgetsto theprincipleof impactorientation toensuremoreefficientdeploy-mentofpublicmonies.Eachministry formulatedat leastonegender-relatedimpactgoal,withtheScienceMinistrysettingthegoalofachiev-ing a “gender balance in leadership positions, committees and youngscientists/artists”.Thiswastobeachievedthroughincreasingtheshareofwomenprofessors,theshareofwomeninleadershippositions/onuni-versitycommitteesaswellastheshareofwomeninLaufbahnstellen–tenuretrackpositionsleadingtoassistanceprofessorships(Wroblewski2016).Eachuniversity’scontributiontothisgoalisdefinedinitsrespec-tiveperformanceagreement.
InGermany,theHigherEducationFrameworkActof1999amendedhighereducationlawandcooperationbetweenthefederalgovernmentand the federalstates (Länder) in thehighereducationsystem–withfar-reachingconsequencesforequalopportunitiespolicy.Untilthemid-2000s,equalopportunitiespolicyinhighereducationwasshapedbystateregulationsandfederalandLänderprogrammesrespectively.ThereformofGermanfederalism,whichassignedtheLändermorelegalauthorityandalargerbudgetforhighereducationinstitutionsthanbefore,ledtoan end of the country’s Higher Education and Research Programme’sfor Equal Opportunities (Hochschul- und Wissenschaftsprogramm;HWP).Thisresultedinanabsenceofnationwidestimuliandresourcesfor improving gender equality at higher education establishments. Atthesame time,numerousscientific stakeholderspublished“their”ap-proach to equal opportunities in research. Thedifferentpositionsandinitiativestoimprovegenderequalitydevelopedlivelydynamicsthatalsoattractedmediaattention(Dalhoff,Lipinsky,Löther,&Steinweg,2015).
thisarticle,wediscussthecontributionthatevaluationcanmaketotheinterplaybetweenthetwo.Indoingso,wedrawontheevaluationsoftwogenderequalitypoliciesaimedat increasing the shareofwomenprofessors. Using these two examples, we demonstrate the role thatevaluationcanplaywith regard topolicysteering inasettingcharac-terisedbydecentralisedpolicy implementationandimpactorientation.Our focus thereby liesnot justontheuseofevaluationresultsby thecommissioningbodiesbutalsoontheacceptanceanduseofevaluationsandtheirassociatedinstruments(e.g. indicators)bythehighereduca-tioninstitutionsthemselves,therebyallowingevaluationtocontributetoageneraldiscourseongenderequalitypolitics.
forsomeyearsbyeffortsthatcanbesubsumedundertheterm“fromgovernmenttogovernance”, inboth,AustriaandGermany.Theaimisto transfer responsibilities for thedevelopmentand implementationofgenderequalitypoliciesfromaministerialtoauniversity/highereduca-tionlevel.
InAustria,thishasbeenachievedthroughtheimplementationoftheUniversitiesAct2002 (Universitätsgesetz2002,UG2002;Kasparovsky,Stand:1.Jänner2013),whichgavefarreachingautonomytothecoun-try’suniversities.Thelattercannowmaketheirownbudgetaryandper-sonneldecisionsandarealsoresponsibleforthedevelopmentofmeas-ures to achieve gender equality and their implementation (Höllinger&Titscher,2004). This change requireda fundamental realignmentofuniversities gender equality policies (Ulrich, 2006), since the centralplayerthereinpriortoUG2002hadbeentheMinistryofScience,whichestablishedanti-discriminationandgenderresearchbodies (e.g.equalopportunitiesworkinggroupsandcoordinationunits forwomen’sandgender research respectively,atuniversities)and initiatedand fundedpilotprojects(Wroblewski,Gindl,Leitner,Pellert,&Woitech,2007).To-day,theMinistryofSciencecanonlyformulateoverarchinggoals,suchastheprinciplesofgendermainstreamingandpromotionofwomenthat
Austria(Wroblewski,2010)andthe“ProgrammeforWomenProfessors”inGermany(Löther&Glanz,2017;Zimmermann,2012).Wewillbegininafirststepbydescribingeachoftheseevaluations indetail (objectoftheevaluation,context,evaluationdesign,results)followedbyasecondstepofdiscussing the roleofevaluation inan impactorientedsettingusingourtwocasestudiesasexamples.
2. TWO EVALUATION CASE STUDIES 2.1. EVALUATION OF “EXCELLENTIA”
Object of the evaluation:excellentiawasaprogrammerunbytheAustrian Ministry of Science from 2006 to 2011 to raise the share ofwomenprofessors.Itsgoalwastomakeuseofforthcomingretirementstosignificantlyraisetheshareofwomeninprofessorships(to26%,i.e.doublethatofthereferenceyear2003).Foreachadditionalfemalepro-fessorappointed,theuniversitiesreceivedaone-offbonusofbetween30,000and70,000euros,whichtheywerefreetouseastheysawfit.Inmostcases,thismoneywasusedformeasurestosupportwomen(e.g.grantsforfemalePhDstudents).Theprogrammemanagersdidnotas-sumethatthefinancialincentivewouldtriggeradirectincreaseintheshareoffemaleprofessors.Instead,excellentiaworkedontheassump-tionthatitwouldserveto“reward”thoseuniversitieswhichhadlookedatthereasonsfortheunderrepresentationofwomenintheirappoint-mentproceduresandhaddevelopedand implementedanynecessarycountermeasures.
Goal and purpose of the evaluation: This was an accompanyingand responsiveevaluation, i.e. itwas intended todeliverearly indica-tionsandpointersforoptimisingtheprogramme.Thefirstinterimreport(Wroblewski&Leitner,2007)thereforefocusedontheacceptanceoftheprogramme by the relevant stakeholders at the universities. The 2009and2010reportscontaintheresultsofthecasestudiesatuniversities.Thefinalevaluationreportpublishedin2011containsanex-postassess-ment (Wroblewski&Leitner2011). This focusesbothonwhetherandhowthefinancial incentivehadcontributedto increasingtheshareofwomenprofessorsandwhetherandtowhatextentthegenderdimen-sion had been anchored in university appointmentprocedures for thelongtermtocounteractapotentialgenderbias.
Thehighereducationand federalism reforms led toaproliferationofequalopportunitiesagents in theGermanhighereducation systemandwerealsointendedtotriggercompetitionbetweenuniversities.Oneconsequencewastheemergenceofamultitudeofdifferentequaloppor-tunitiesstructuresintheuniversities.Someuniversitiessetupgender/diversity offices, usually in parallel with already established women’sandequalopportunitiesunits.Since then,differentiatedprioritiesandcomplexpracticestopromoteequalopportunitieshaveemerged(Lipin-sky,2017):notleastwiththeaidofpoliticalandfinancialstimulifromthegovernment’sexcellenceinitiative(Engels,2009;Engels,Beaufaÿs,Keg-en,&Zuber,2015;Engels,Ruschenburg,&Zuber,2012;Kibler,2011),the Research-Oriented Standards on Gender Equality implemented bythe German Research Foundation (Deutsche Forschungsgemeinschaft(DFG),2014;Simon,2011),theafore-mentionedProgrammeforWomenProfessors (Löther & Glanz, 2017; Zimmermann, 2012) and the recom-mendationsoftheGermanCouncilofScienceandHumanitiesonequalopportunities for scientists and academics (Wissenschaftsrat, 2007;Wissenschaftsrat,2012).AtLänderlevel,equalopportunitiesindicatorsappearintargetagreementsbetweenhighereducationestablishmentsandtheLänderasperformanceindicatorsfortheperformance-basedal-locationoffunds.3
Theroleplayedbyevaluationinthenewcoordinationmechanismsbetweenhighereducationinstitutionsandthestateisbroadandvaried(Roßmann,2013). Inanidealscenario,anevaluationrevealsboth,thereasonsforandscopeofanyintended/unintendedeffects.Thosewhocommissionsuchevaluationsoftentimesgivepreferencetoquantitativeindicatorswhenitcomestodeterminingchangesoridentifyingthe“suc-cesses” of the programme. However, a focus on quantitative successindicatorsalonedoesnotrevealthecausesoftheintendedimpactandthus leadstoapotentialdistortionof theeffectsofaprogramme(cf.Weiss,Murphy-Graham,Petrosino,&Gandhi,2008),sincethesecannotshowwhatactually ledtothechanges.Toproduceavalidatedcausalchain,i.e.tolinkcausestoeffects,theinterpretationoftheresults(aka“successes”)mustlookathowthehighereducationinstitutionsactuallyhandledtherequirementsoftheprogrammeandwhichelement(s)ofithadasteeringeffectintheuniversityorbeyond.
InbothAustriaandGermany,thesituationinthehighereducationsectorischaracterisedbyatrendtowardsthedecentralisationofequalopportunitiespolicyandacorrespondingmanagementbyobjectivesap-proachinwhichthecontinuousmonitoringoftargetachievementsplaysacentral role. In thisarticle,we lookat the role evaluation can play in this interplay of decentralised policy implementation and impact orientation.Todoso,wetakeacriticallookatevaluationsoftwostate-run equal opportunities programmes, both aimed at raising the shareof women professors and institutionalising equal opportunities policy.Thetwoevaluationsinquestionrelatetothe“excellentia”programmein
In phase II of the programme, different funding conditions applyfor those universities that have already successfully obtained fundingandappointedwomenprofessorsinphaseone,thanforthosethataresubmittinggenderequalityconceptsforthefirsttime.Inthecaseofasecondapplication,theuniversitiessubmitarevisedversionoftheircon-cept along with documentation of the implementation of the conceptpreviouslysubmittedinphaseone.Inthecaseofafirstapplicationforprogrammefundinginphasetwo,theuniversitiessubmita‘future-ori-entedequalopportunitiesconcept’,whichdetailstheirpreviouseffortsandsuccessesinachieving“alastingimprovementintherepresentationofwomen”.
Goal and purpose of the evaluation:Thegoaloftheevaluationswastoassesshowtheprogrammehadbeenimplementedandacceptedbytheuniversitiesontheonehandandtodetermineitsdirectandlong-term impacts on the other (evaluation of phase II). In concrete termsandinlinewiththeprogramme’sgoals,theevaluationsfocusedontheimpactsonequalopportunitiesforwomenandmen,theimprovementintherepresentationofwomenatallqualificationlevelsandtheincreaseinthenumberofwomenintoppositionsinthehighereducationsystem.
Evaluation design: The evaluation design for phase II of the pro-gramme and the concurrent full evaluation combine qualitative andquantitativesocialsciencesmethodswithprogramdataanalysis.Theydifferentiatebetweenimplementationoftheprogramme,achievements,directandlong-termimpacts,combiningperspectivesfromtheuniver-sities, the Länderand theministry. Inaddition todocumentanalyses,expertinterviewsandstatisticalanalysesofprogrammedata,theevalu-ationteamassessedthreedifferentcasestudies(Löther&Glanz,2017).
Results:Inthefullevaluation,thenumberofapplicationsforfund-ingfromtheprogrammeindicatesaveryhighacceptanceonthepartoftheuniversities. InphaseIoftheprogramme,152universitiessubmit-tedanequal opportunities concept,with thisnumber rising to184 inphase II (including repeatapplications).Through the fundingprovidedby the programme, over 500 women professors have been appointedsince2008(Löther&Glanz,2017;Zimmermann,2012).Afterdeductionoftheexpectedannualincreaserates,theProgrammeforWomenPro-fessorshasbroughtaboutanadditionalincreaseof2.2%.Throughthecompetitivenatureofthecallforapplicationsandthelinkthistriggeredbetweengenderpolicyand“excellence”, the full evaluation identifiedgood acceptance of and a general enhancement of the reputation ofequalopportunities (Löther&Glanz,2017).Ananchoringofequalop-portunitiespolicycanbeseeninparticularbothincoreuniversitybodiesandatmanagementlevel;fewerconcretechangesareevidentatdepart-mentlevel.AspecificdevelopmentofequalopportunitiespolicytowardsdiversityandinternationalisationcanbeidentifiedatsomeuniversitiesinphaseIIoftheprogramme.Here,anequalopportunitiespolicywithafocusonhumanresourcesandinternationalrecruitingisemerging(Zip-pel&Lipinsky,2017).
Results:Whiletheshareofwomenprofessorsrosesignificantlydur-ingtheprogrammeperiod(from13%inthereferenceyear2003to19%in 2010), women representation did, however, remain below expecta-tions,i.e.thetargeted26%share.Anumberofuniversitiesdevelopedstrategiestocombattheunderrepresentationofwomenintheirappoint-mentprocedures(foranoverviewseeWroblewski,2015).Somestartedbyanalysingtheshareofwomenatdifferentstagesoftheproceduretodetectpotentialsourcesforgenderbias.Otherssoughttoraisetheshareofwomenandpreventtheearlyexitofwomenthereinby introducingcorrespondingelementstopromotewomen(e.g.activesearchforsuit-able female candidates, preferential invitation of women to hearings,gender-sensitiveassessmentcriteria).
However, it should be noted that those universities with gender-sensitive appointment procedures were not necessarily the ones thatwere able to raise their share of women professors most or receivedthehighestbonuspayments.Auniversity’s“success”intheexcellentiacontextdependedonavarietyoffactorsoverwhichtheprogrammehadlittle, ifany, influence,suchastheshareof femaleprofessorsprior toexcellentia,thenumberofappointmentsintheprogrammetimeframe,thesubjectstaughtortheunforeseenvanishingofwomenprofessors(asaconsequenceofrecruitmentelsewhereorretirement).
A broad spectrum of possibilities for appointment proceduresemergedinthecourseofthequalitativeanalysis(casestudies)–despitethe fact that the basics of this procedure were already laid down byUG 2002. The impact of an existing equal opportunities policy on theappointmentprocedurealsobecameapparent.Inotherwords,universi-tieswithestablishedandcomprehensiveequalopportunitiespoliciesaremorelikelytoalsolookforandaddressapotentialgenderbiasintheirappointmentprocedures.Suchuniversities frequentlyalreadyhaveanevidence-baseddiscourseonequalopportunities,i.e.anycorrespondinglack/achievementofsuccessisdiscussedonthebasisofmonitoringdata(e.g.shareofwomenprofessors).
2.2. EVALUATION OF THE “PROGRAMME FOR WOM-EN PROFESSORS”
Object of the evaluation:TheGermanFederalMinistryofEducationandResearch formulateda totalof threegoals for theProgrammeforWomenProfessors(phasesIandII,2008to2017),namelythepromotionofequalityofwomenandmeninhighereducation,alastingriseintheshareofwomenatallqualification levels in thehighereducationsys-temandanincreaseinthenumberofwomenintoppositionsinhighereducation.TwoofthesegoalsdirectlytargetthepromotionofwomenortheirrepresentationintheGermanhighereducationsystem.Thebasisforfundingdecisionsis“forward-thinkingequalopportunitiesconceptsbytheuniversities”.4Auniversitycanonlyreceivestart-upfundingforuptothreefemaleprofessorsifitsubmitsacompetitiveequalopportuni-tiesconcept.5 It thenundertakestouseanequalamountof thefund-ingobtainedthroughtheprogrammetoimplementequalopportunitiesmeasuresattheuniversity.Thesemeasuresmustinturnbedescribedintheuniversity’sgenderequalityconcept.Inthefirsttwophasesofthe
qualifiedmalecandidate)havenotyetproducedthedesiredresults.Theeffect of the Programme for Women Professors for social and highereducationpoliticsthus(also)liesinitsabilitytocounteracttheshortcom-ingsofexisting(legal)instruments.Giventhequantifiablesuccess,thereseems to be no need to improve the effectiveness of the recruitmentquotaortoreinforcetargetsforuniversitiesinformofthecascademodel(cf.Dalhoff&Steinweg,2010),sincetheincreaseintheshareoffemaleprofessorsispartlybeingachievedthroughthisprogramme.
derequalitypolicyandthedevelopmentofacorrespondingmonitoringsystemaretwofold:Firstly,totransferresponsibilityforthedevelopmentandimplementationofgenderequalitypoliciesfromministerialtouni-versitylevelandsecondly,toraisethebindingnatureoftargetsthroughtheongoingmonitoringoftargetachievement.Inthetwocasestudiesdescribedinthisarticle,increasingtheshareoffemaleprofessorsplaysan important roleaskeyobjectiveaswellascentralmeasurement in-dicatorof“success”inequalopportunitiespolicyinhighereducation.
Basedonourcasestudies,acriticalexaminationofthesteeringef-fectofquantitativeindicatorsindicatestheirpotentialinfluenceontheimplementationofequalopportunitiespolicyatauniversity.Italsore-veals thecorrespondingneed forspecific frameworks.Averified“pro-gramme success” can strengthen the university’s orientation towardsequalopportunitiesor“conceal”thelackofeffectivenessofother(non-competitive,non-financial)instruments.Whetherornotsuchindicatorswillhaveasteeringimpactdependsgreatlyonwhethertheyareinte-gratedintoaninstitutionalequalopportunitiesdiscourseandarecom-patiblewithothermanagementinstruments(e.g.theindicatorsusedinqualitymanagement).
Identifyingandutilisingthissteeringpotentialrequiresalookinsidesuchaprogramme’s“blackbox”,i.e.ananalysisoftherespectiveimple-mentationprocessesandimpactmechanismssuchasthatprovidedinourcasestudiesthroughthequalitativeanalyses.Thislinksthequantita-tivetargetcriteriaandtheirassociatedindicatorswithotherindicatorsofsuccess,producingamorecomprehensiveandconclusiveanalysisofimpacts. With the knowledge of impact mechanisms thus generated,evaluationsalsodeliverinputforthedevelopmentoffutureprogrammes–inputthatwouldnotbepossiblewithareducedfocusonthequantita-tivetargetcriteriaonly.
5. REFERENCE LISTDalhoff, J., Lipinsky, A., Löther, A., & Steinweg, N. (2015).Wissen-schaftskultur und Wissenschaftspolitik: Eine Bestandsaufnahme imHerbst 2015. CEWSjournal. (100), 3–25, from http://www.gesis.org/fileadmin/cews/www/CEWSjournal/cews-journal100.pdf.
Dalhoff, J., & Steinweg, N. (2010). Leistungsabhängige, verbindli-che und flexible Zielquoten für wissenschaftliche Führungspositionen(CEWS-PositionspapierNo.Nr.4).Bonn:KompetenzzentrumFrauen inWissenschaft und Forschung (CEWS). Retrieved December 06, 2016,fromhttp://www.gesis.org/fileadmin/cews/www/download/cews-Posi-tion4-2teAufl.pdf.
3. THE ROLE OF EVALUATION IN AN IMPACT- OR PERFORMANCE-ORIENTED SETTING
Whichsteeringeffects canbedetermined forexternalevaluationsin a competitive and performance-oriented setting? Does the externalevaluation, its indicatorsanditsnotionsofwhatconstitutes“success”haveanimpactonhowtheuniversityismanaged?Ifso,how?Doestheevaluationand/ortheindicatorsusedtoevaluatetheprogrammehaveanimpactonhighereducationpolicy?Ultimately,thesequestionsservetodeterminehowandatwhatlevelsintheorganisationtheuniversitiesdealtwiththesuccesscriteriaasdefinedintheevaluation.
Thereisfrequentlyalsoapoliticalcomponenttothecommissioningofanevaluation:itunderlinestherelevanceofthesubjectoftheevalu-ationandcanitselfconstituteanintervention,e.g.whenprimarydataarecollectedduringtheevaluation(Wroblewski,Kelle,&Reith,2016).In the course of the evaluation of excellentia, expert interviews wereconductedwithuniversityrectors,andtheuniversitieswereaskedtocol-lectdataontherepresentationofwomeninthedifferentstagesoftheappointment procedure. The interviews raised awareness of the topicand challenged the broad assumptions that appointment procedureswere based on objective criteria and were thus by definition sex andgender“neutral”.Aftertheinterview,therectorofoneuniversitycom-missionedthequalitymanagementdepartmenttoconductasurveyofappointmentprocedures in thepreviousyear (shareofwomenamongapplicants, in the assessment, in the hearing, on the shortlist). Otheruniversitiesusedthedatacollectionprocessinitiatedbytheevaluationtoadapttheirexistingdatacollectionsystemsandreflectonthequalityofthedatacollected(Wroblewski&Leitner,2013).Theindicatorsusedintheevaluationarethereforealsorelevantfromaninternalmanagementperspective,sincetheyareincorporatedintoexistingqualityassurancesystemsandthusbecomepartoftheongoinginternalreportingongen-derequalitytargetachievement,i.e.flowintoagenderpolicydiscourseinsidetheuniversity(Wroblewski2015).
AdirectcomparisonofitsshareofwomenprofessorswiththoseofotherEUMemberStatesortheEUaverageraisedthepressureonGer-many to achieve “success” in its gender equality policies in the formofanincreasedrepresentationofwomen(EuropeanCommission,2016;European Commission - DG Research, 2014; Lipinsky & Löther, 2016).IncreasingtheshareofwomenprofessorsconstitutedamainindicatorofsuccessinbothevaluationsoftheProgrammeforWomenProfessors(Löther&Glanz2017;Zimmermann2012).Giventhelegalrequirementtointensifytherecruitmentofwomenprofessors,itisclearthatexistinglegalinstrumentslikee.g.the“recruitmentquota”(wherebypreferenceis tobegiventoawoman incaseshe isequallyqualifiedasthebest
ISSUE 45 | MARCH 201826
Löther, A., & Glanz, S.(2017).EvaluationdesProfessorinnenprogrammsdesBundesundderLänder:ZweiteProgrammphaseundGesamtevalu-ation:ErweiterterBericht(cews.publikNo.22).Köln.RetrievedOctober17,2017,fromhttp://nbn-resolving.de/urn:nbn:de:0168-ssoar-54112-9.
Roßmann, S. (2013). Steuerung statt Legitimierung?: Über dieFunktion(en)vonEvaluationenstaatlicherForschungseinrichtungenfürderenZuwendungsgeber.
Simon, D. (2011).GleichstellungspolitikalsElementderHochschulent-wicklung:AnmerkungenzudenforschungsorientiertenGleichstellungs-standards.InB.Blättel-Mink,A.Franzke,&A.Wolde(Eds.),FrankfurterFeministische Texte - Sozialwissenschaften: Vol. 14. Gleichstellung imReformprozess der Hochschulen. Neue Karrierewege von Frauen anHochschulen(pp.109–120).Sulzbachi.Taunus:Helmer.
Tiefenthaler, B., & Good, B. (2011). Genderpolitik in österreichischenWissenschafts-undForschungsinstitutionen.SyntheseberichtzumStatusquoanösterreichischenUniversitäten,Fachhochschulen,Privatuniversi-tätenundaußeruniversitärenForschungseinrichtungensowieEinrichtun-genderForschungsförderung:StudieimAuftragdesBMWF.Wien.
Weiss, C. H., Murphy-Graham, E., Petrosino, A., & Gandhi, A. G. (2008).Thefairygodmother-andherwarts:Makingthedreamofevi-dence-based policy come true. American Journal of Evaluation, 29(1),29–47.
Wissenschaftsrat (2007). Empfehlungen zur Chancengleichheit vonWissenschaftlerinnen und Wissenschaftlern. Berlin. Retrieved Oc-tober 23, 2012, from http://www.wissenschaftsrat.de/download/ar-chiv/8036-07.pdf.
Wissenschaftsrat (2012). Fünf Jahre Offensive für Chancengleichheitvon Wissenschaftlerinnen und Wissenschaftlern: BestandsaufnahmeundEmpfehlungen.Köln:Wissenschaftsrat.RetrievedFebruary04,2015,fromhttp://www.wissenschaftsrat.de/download/archiv/2218-12.pdf.
Wroblewski, A. (2010). „Excellentia“: A programme to increase theshareofwomeninleadingpositionsinAustrianUniversities.InL.Husu,J.Hearn,A.-M.Lämsä,&S.Vanhala(Eds.),LeadershipthroughtheGen-der Lens. Women and Men in Organisations (pp. 325–338). Helsinki:HankenSchoolofEconomics.
Wroblewski, A. (2016). Gender-Indikatoren in der Wissensbilanz –Grundlage füreinGleichstellungsmonitoringoderDatenfriedhof? InA.Wroblewski,U.Kelle,&F.Reith(Eds.),Gleichstellungmessbarmachen.GrundlagenundAnwendungenvonGender-undGleichstellungsindika-toren(1sted.,pp.171–189).Wiesbaden:SpringerVS.
Wroblewski, A., Gindl, M., Leitner, A., Pellert, A., & Woitech, B.(2007). Wirkungsanalyse frauenfördernder Maßnahmen im bm:bwk.MaterialienzurFörderungvonFraueninderWissenschaft:Bd.21.Wien:VerlagÖsterreich.
Wroblewski, A., & Leitner, A. (2007). Begleitende Evaluierung von"excellentia".1.Zwischenbericht:StudieimAuftragdesBMWF.Wien:InstitutfürHöhereStudien(IHS).
Deutsche Forschungsgemeinschaft (DFG)(2014).Forschungsorientier-teGleichstellungsstandardsderDFG.RetrievedFebruary06,2017,fromDeutsche Forschungsgemeinschaft (DFG): http://www.dfg.de/foerde-rung/grundlagen_rahmenbedingungen/chancengleichheit/forschungs-orientierte_standards/.
Engels, A. (September2009).GleichstellungsaspektederExzellenzinitia-tive.Workshopaufder21.BUKOF-Jahrestagung2009.Leipzig.
Engels, A., Beaufaÿs, S., Kegen, N. V., & Zuber, S. (2015).Besten-auswahlundUngleichheit:EinesoziologischeStudiezuWissenschaftle-rinnenundWissenschaftlerninderExzellenzinitiative.HochschuleundGesellschaft.FrankfurtamMain:Campus.
Engels, A., Ruschenburg, T., & Zuber, S.(2012).ChancengleichheitinderSpitzenforschung: institutionelleErneuerungderForschunginderExzellenzinitiativedesBundesundderLänder.InT.Heinze&G.Krücken(Eds.),Organization&PublicManagement.InstitutionelleErneuerungs-fähigkeitderForschung(pp.187–217).Wiesbaden:SpringerVS.
European Commission (2016).SheFigures2015:GenderinResearchandInnovation.Luxembourg.RetrievedJuly10,2017,fromhttp://ec.europa.eu/research/swafs/pdf/pub_gender_equality/she_figures_2015-final.pdf#view=fit&pagemode=none.
European Commission - DG Research (2014). Gender Equality Po-licies in Public Research: Based on a survey among Members of theHelsinki Group on Gender in Research and Innovation, 2013. Luxem-bourg. Retrieved April 05, 2016, from http://ec.europa.eu/research/pdf/199627_2014%202971_rtd_report.pdf.
Kasparovsky, H. (Stand:1.Jänner2013).Universitätsgesetz2002.Ös-terreichischesHochschulrechtHeft14:BMWFW.
Kibler, S.(2011).ZwischenEmphaseundExklusion:GleichstellungspolitikinderExzellenzinitiativevon2005bis2007.Dissertation,TechnischeUni-versität Carolo‐Wilhelmina zu Braunschweig, Braunschweig. RetrievedNovember13,2013,fromhttp://digisrv-1.biblio.etc.tu-bs.de:8080/docpor-tal/servlets/MCRFileNodeServlet/DocPortal_derivate_00020876/Disserta-tion_UB.pdf;jsessionid=1F95CB1D1F0D6E9950CCA0098BBADF1E.
Lipinsky, A. (2017). Gleichstellungsziele im deutschen Wissenschafts-systemzwischenFrauenförderung,GenderMainstreaming,Anti-Diskri-minierung, Diversität und Intersektionalität. In J. Dahmen & A. Thaler(Eds.),SozialeGeschlechtergerechtigkeitinWissenschaftundForschung(pp.23–38).Opladen,Berlin,Toronto:Budrich.
Lipinsky, A., & Löther, A. (2016). Geschlecht und Gleichstellung inder Wissenschaft im europäischen Vergleich. Policies und statistischeDaten. InChancengleichheit inWissenschaftundForschung.20.Fort-schreibungdesDatenmaterials (2013/2014) zuFrauen inHochschulenund außerhochschulischen Forschungseinrichtungen (Materialien derGWK,pp.1–33).Bonn,
27ISSUE 45 | MARCH 2018
Wroblewski, A., & Leitner, A. (2011).EqualOpportunitiesPoliciesatAustrian Universities and their Evaluation: Developments, Results andLimitations. Brussels Economic Review, 54(2/3). Retrieved August 02,2011.
Wroblewski, A., & Leitner, A.(2013).AnalysevonGender-Indikatoren:WB-Kennzahl1.A.5GenderPayGapundDatenbedarfskennzahl1.3Ge-schlechterrepräsentanz im Berufungsverfahren: Studie im Auftrag desBMWF.Wien:InstitutfürHöhereStudien(IHS).
Zimmermann, K. (2012).BerichtzurEvaluationdes„Professorinnenpro-grammdesBundesundderLänder“ (HoF-ArbeitsberichteNo.6’2012).Institut für Hochschulforschung (HoF). Retrieved June 25, 2015, fromhttp://www.hof.uni-halle.de/dateien/ab_6_2012.pdf.
Zippel & Lipinsky(2017)FittingDiversityasInternationalization.112thASA meetings (unpublished conference presentation), August 15th,2017Montreal,Canada
AUTHORSANGELA WROBLEWSKIInstitut für Höhere StudienJosefstädterStraße39,1080WienÖsterreich+43159991135E:[email protected]
ANKE LIPINSKY GESIS - Leibniz Institute for the Social SciencesDept. Monitoring Society and Social Change, CEWSUnterSachsenhausen6-8,50667KölnGermany+4922147694259E:[email protected]
ISSUE 45 | MARCH 201828
Ähnlich wie viele andere Felder der angewandten WissenschaftwidmetsichderKlimaservicealsoderLösungrealweltlicherProbleme,fürdiesichdertransdisziplinäreForschungsmodusanbietet(Brinkmannetal.,2015).HierbeibeziehtdieForschungExpertenausderPraxis,imweiterenPraxisakteuregenannt,inihreForschungein.
„TdR [d.i. transdisziplinäre Forschung] always begins from areal-world problem, which emcompasses both its biophysicalsystemconsistingof stocksandflowsofmaterialandenergyas well as the corresponding stakeholders and their values,interests, powers, and interrelations ... The transdisciplinaryprocess forms the nexus between scientific research and theproblem.“(Walteretal.,2007)
TransdisziplinäreProzesse,beidenenWissengeneriertwird,gibtesinvielenunterschiedlichenDisziplinen,obbeispielsweisedieKrebsfor-schung mit Patienten arbeitet, in der Lehr- und Lernforschung LehrerundElterneinbezogenoder inderNachhaltigkeitsforschungBehördenundNGOsbeteiligtwerden.
Ähnlich wie andere Anbieter von wissenschaftsbasierten Service-leistungenoderVertreterdestransdisziplinärenAnsatzesistderKlima-service immer wieder auf der Suche nach geeigneten Methoden undEvaluationsansätzen, um die eigene Leistung zu bewerten. Die vorlie-gendeAbhandlungsollineinemkurzenAbrissdasFeldderEvaluationund die Rahmenbedingungen von transdisziplinärer Forschung abste-cken.DasZielist,zurBewusstseinsbildunginnerhalbderForschungsge-meinschaft,vorallemauchdesnaturwissenschaftlichgeprägtenTeils,beizutragen,eigeneVorüberlegungenzuteilenundgegebenenfallseineIntensivierungderDiskussionzuerreichen.
Die Autoren betrachten den Diskussionsstand zur EvaluationtransdisziplinärerForschungfächer-undforschungsfeldüber-greifend und zeigen, wie man in einem Dreischritt Dimen-
sionen der Evaluation mit Kriterien und Indikatoren hinterlegen kann.AlsVorgriffaufdieinderLiteraturnochwenigthematisierteEbenederMethodikwerdeneinigewichtigeEvaluationsmethodenbeschrieben.ImFazitwerdenÜberlegungenzurEvaluationvonKlimaserviceabgeleitetundnächsteSchrittevorgeschlagen.
1. EINFÜHRUNG1.1. PROBLEMSTELLUNG
ZunehmendwirdvonderWissenschafteineAusrichtungamgesell-schaftlichenNutzenunddieEinbindungvonPraxisakteurengefordert,undzwarquerdurchalleDisziplinen.DieseIdeemachtauchvordenUni-versitätennichthalt(Kraineretal.,2014).DieAutorendiesesBeitragesschließen sich einer pauschalen Forderung nach Orientierung am ge-sellschaftlichenNutzennichtan.Siehaltennichtsdavon,verschiedeneForschungsmodigegeneinanderauszuspielen,anstattUnterschiedeundEinsatzbereiche zu differenzieren. Eine rein durch Neugier getriebeneGrundlagenforschung–seisiereindisziplinäroderinterdisziplinär–hatabsolutihreBerechtigung.
„the transformation of climate-related data – together withotherrelevantinformation–intocustomisedproductssuchasprojections,forecasts,information,trends,economicanalyses,assessments(includingtechnologyassessment),counsellingofbest practices, development and evaluation of solutions andanyotherservicesinrelationtoclimatethatmaybeofuseforthesocietyatlarge“(EuropeanCommission,2015).
SUSANNESCHUCK-ZÖLLER,JÖRGCORTEKAR&DANIELAJACOB
EVALUATIONTRANSDISZIPLINÄRERFORSCHUNGUNDDERENRAHMENBEDINGUNGENVORÜBERLEGUNGEN ZUR NUTZUNG IM BEREICH VON KLIMASERVICE
29ISSUE 45 | MARCH 2018
Die inAbbildung1gezeigtenLeitlinienunterscheiden transdiszipli-näre Forschung von der Grundlagenforschung und stellen gleichzeitigdiegrößtenHerausforderungenexzellentertransdisziplinärerForschungdar:TransdisziplinäreForschungsollerstensrelevantfürdieLösungvonFragen aus der realen Welt sein. Im besten Fall wird bereits die For-schungsfrage und Problemdefinition gemeinsam mit allen wichtigenPraxisakteuren formuliert (Handlungsrelevanz); sie integriert zweitens– da komplexe realweltliche Probleme disziplinär nicht zu lösen sind(Brinkmannetal.,2015)–unterschiedlichefachlicheDisziplinensowieunterschiedliche Wissensformen, Erfahrungshorizonte, WerthaltungenundsozialeKulturen(disziplinenübergreifendeSynthese).DrittenswirddieLösungallgemeinverständlichundanwendbargemacht,sodasssiebeiBedarfzunutzenist(allgemeineAnwendbarkeit).
AlleindieFrage,wiedieForschungsergebnisse,diedurchKokreationzustandekommen,evaluiertwerden,istnochrechtvage.UnddiesnichtohneGrund:Wiegezeigt,folgtTransdisziplinaritätanderenLeitlinienalsGrundlagenforschung. Deshalb kann sie nicht nach demselben Regel-werkbewertetwerden.Rafolsetal.(2012)habennachgewiesen,dassdieVerwendungbibliometrischerMethodeninter-undtransdisziplinäreAnsätzebenachteiligt.Esistdeshalbwichtig,überneueBewertungssys-temenachzudenken,dieeineErgänzungzudenausderGrundlagenfor-schungbekanntenMethodendarstellen(Stoll-Kleemann,2007).
Nach einem kurzen Abriss der Methode in Abschnitt 2 werden inAbschnitt 3 die wichtigsten Evaluationsarten und -ansätze und ihreBedeutungfürdieEvaluationkurzdargestellt.Zudifferenzieren istda-bei vor allem zwischen Prozess- und Ergebnisevaluation. Abschnitt 4diskutiertProblemederBemessung.ErstelltQualitätskriterienundihreGewichtungvorundbeschreibt,welcheAuswirkungendieCharakteris-tikatransdisziplinärerForschungalsLeitlinienaufdieEvaluationhaben.EinDreischrittwirdvorgestellt,derdieunterschiedlichenProjektphasenzuordnetzuDimensionen,KriterienundIndikatoren.VerschiedeneHer-angehensweisenandieEvaluationfolgenebenfallsinAbschnitt4,bevorsichdieAutoreninAbschnitt5möglichen,häufigdiskutiertenEvaluati-onsmethodenzuwenden.FazitundAusblickschließensichalsAbschnitt6an.
2. METHODEUm einen Überblick über den Stand der Diskussion zur Evaluation
transdisziplinärerForschung zuerhalten, schienes sinnvoll,nachdemersten Literaturreview (Brinkmann et al., 2015) eine weitere Literatur-sichtungvorzunehmen,diesmalebenfallsfächerübergreifend,aberthe-matischaufdieEvaluationfokussiert–hatdochdieTransdisziplinaritätinanderenThemenbereichen,wieetwaöffentlicheGesundheitsvorsor-geoderNachhaltigkeit,einelängereTraditionalsinderKlimaforschungundimKlimaservice.Diespätestensseit2005aufeinerTagungderGe-sellschaftfürHuman-ÖkologielebhaftegeführteDiskussionüberBewer-tungssysteme(Stoll-Kleemann&Pohl,2007)sollte fürallebetroffenenThemenfeldermitHilfederLiteratursichtungausgewertetwerden.DieFragestellung imHintergrund lautetedabei,wasderKlimaservice von
1.2. TRANSDISZIPLINARITÄT UND KOKREATIONIn jüngerer Zeit ist im Zusammenhang mit transdisziplinärer For-
schung der Begriff „co-creation of knowledge“ aufgekommen (hierübersetztmitKokreation,weilderimDeutschengebräuchlichereBegriffder„Koproduktion/co-production“vonMauseretal.nurfüreinenUnter-aspektverwendetwird).VorallemiminternationalenKontextistdieserBegriff,dereinenderAnsätzedestransdisziplinärenForschungsmodus‘bezeichnet,weitverbreitetundeindeutigeralsderBegriffderTransdis-ziplinarität.
Da in anderen Forschungsfeldern, beispielsweise öffentlicher Ge-sundheitsvorsorgeundNachhaltigkeit,schon langemitPraxisakteurengearbeitetwird,istesfürdieForschungimBereichKlimaservicesdurch-aussinnvollzuschauen,welcheErfahrungenmitdemManagementvonderartigenKokreationsprozessenbereitsvorliegen.DaesbisherwenigAustausch zwischen den Fächern gab und die Diskussion vorwiegendinnerhalbderFachcommunitiesgeführtwurde,hatdasClimateServiceCenter Germany 2015 einen übergreifenden Literaturreview heraus-gebracht, der die Ansätze transdisziplinärer Forschung über alle For-schungsfelderhinwegvergleicht(Brinkmannetal.,2015).
derFrage,obdieEvaluationvoninnenodervonaußenerfolgt,obalsoeineSelbst-oderFremdevaluationvorliegt.WährenddieSelbstevalua-tion in den Zusammenhang der Qualitätssicherung gehört, geht es indiesemPapierinersterLinieumdieEvaluationvonaußen.
zessderProblemidentifikationund-strukturierung,b)demeigentlichenForschungsprozess(Problembearbeitungsprozess)undc)derUmsetzungderResultate(ProzessderIn-Wert-SetzungoderImplementation)(Abb.2).ImFolgendenwerdendiePhasenundihrBezugzurEvaluationnäherbeschrieben, differieren die Vorgehensweisen der Evaluation je nachProjektphase doch erheblich. Eine scharfe Trennung zwischen diesenPhasenistallerdingsoftunmöglich–ProzessundErgebnisgreifenna-türlicherweiseanvielenStellenineinander.
PROZESS DER PROBLEMIDENTIFIKATION UND -STRUKTURIE-RUNG
WährendderStrukturierungsphaseeinesForschungsprojekteswirdein Team aus Wissenschaftlern unterschiedlicher fachlicher Herkunftzusammengestellt. Gemeinsam mit den Partnern aus der Praxis wirdeinzulösendesgesellschaftlichesProblemdefiniertundineinewissen-schaftlicheForschungsfrageübersetzt.Alle relevantenDisziplinensindfüreineBeteiligung inBetracht zu ziehen,ebensowiealle relevantenPraxisfelderunddiePraxisakteureausdenjeweiligenBereichen.Mögli-cheLückeninderWissensbasis,MethodologieoderpraktischenUmset-zungsolltenidentifiziertund–soweitdasgeht–fürdieProjektzukunftvorweggenommenundmitallenBeteiligtenreflektiertwerden.AufdieseArtundWeiselässtsicheingemeinsamesProblemverständnisunterdenBeteiligtenfördern.
Darüber hinaus wird ein Forschungsplan entwickelt. Dieser PlanmussalleAspektederForschungsaufgabeenthalten,alsodasProblementsprechendstrukturieren,undfürjedeAufgabeVerantwortlichesowie
Es wurde nach relevanten Schlagworten sowohl auf Deutsch alsauchaufEnglischgesucht,undzwarüberdiePlattformenJ-Stor,Sci-enceDirectundGooglesowieüberdenCampus-KatalogderHamburgerStaats-undUniversitätsbibliothek.DieSchlagwortrecherchehatte29Ti-telergeben.ImzweitenSchritterfolgteeineSichtungdervorhandenenPublikationen,diezueinemTeilausderWissenschaftstheorieundausdenSozialwissenschaften, zumanderenTeilausdenFächernderFor-schung stammen, die Nutzer einbeziehen. Wissenschaftliche Literatur(im Sinne von wissenschaftlich begutachteten Veröffentlichungen) istebensoeingegangenwie„GraueLiteratur“undProjektberichte.Dieder-artermitteltenVeröffentlichungenwurdenhinsichtlicherwähnterEva-luationskriterienund -indikatorenausgewertetundnurberücksichtigt,wennsieAussagendazubeinhalteten.IneinemdrittenSchritt,derbisindieGegenwartreicht,wurdendie29TiteldersystematischenRechercheimSchneeballsystemergänzt.DasbesondereAugenmerklagdabeiaufbereits inAnwendungbefindlichenQualitätsindikatoren,dieeineneu-traleBewertungerlauben(mehrdazuinSchuck-Zölleretal.2017).Eine
DiederartentstandeneSammlung(ClimateServiceCenterGermany,2017)ergabeinegroßeBandbreiteanverschiedenenArtenvonEvalu-ation, die sich nach unterschiedlichen Aspekten differenzieren lassen,etwanachProjektphasen.AuchdieAnlässe,ausdenenherausevaluiertwird, und viele damit verknüpfte Herangehensweisen zur EvaluationtransdisziplinärerProzessevariierenstark.
3. DIFFERENZIERUNG DER EVALUATION NACH PROJEKTPHASEN
Zu bewerten wäre in einer Evaluation beispielsweise, wie gut dieErgebnisse zielgruppenspezifisch aufbereitet wurden. Wurde den kon-kreten Handlungserfordernissen, die sich aus dem Forschungsresultatergeben,Rechnunggetragen?WurdenspezielleÜbersetzungswerkzeu-gegeschaffen?WerdendieseWerkzeugegenutzt?
eineTerminologie,dieausdemProjektmanagementkommt(OECD,2002).UmResultatezubewerten, istessinnvoll,sieeinemdieserdreiAspekte (sieheAbb. 3) zuzuordnen. Auch in derGrundlagenforschungsinddiesedreiPhasenauszumachen,siehabenjedocheinenanderenStellenwert: Da das Hauptziel transdisziplinärer Forschung in der Ent-wicklungvongesellschaftlichverwertbaremWissenbesteht,stehendieAspekte„Outcome“und„Impact“beiderBewertungderResultate imVordergrund.DiereinwissenschaftlicheQualitäteinerNeuentwicklungodereinesProdukteskannalsovonderBedeutungdurchaushinterderFragezurückstehen,obdieseEntwicklungeinenFortschrittinderPraxisgebrachthat.
Der Grad der Nutzung wird Outcome genannt und ist durchdie Aufnahme des Produktes oder Ergebnisses durch die Ziel-gruppe bestimmt, beispielsweise wird danach gefragt, ob einProdukt, das aus dem Forschungs- und Entwicklungsprozess her-vorgegangen ist, durch die Zielgruppe genutzt wird, ob es Lernef-fektegibtoderÄhnliches.EshandeltsichalsoumkurzfristigeWirkungs-effekte.
Ressourcenbenennen.Darüberhinausistdaraufzuachten,dassdieFor-schungsleistung wirkliche Neuentwicklung, also Innovation, bedeutet.Ansonstenböteessicheheran,bereitsbestehendenErkenntnisseoderInstrumente aufzubereiten bzw. zu synthetisieren. Ein Zeitplan mussentwickeltwerden,dereinerseitsalleAufgabenberücksichtigtundan-dererseitsgenügendZeitzurIntegrationderunterschiedlichenAspektelässt.
ForschunginverschiedenenTeamsundmitBeteiligungderPraxisakteu-reabläuft.SielässtsichnachPohl,HirschHadorn(2007)inzweiAspekteunterteilen:ZumeinenindenForschungsprozessansich,zumanderenindenProzessderZusammenarbeitundIntegrationderWissensbestän-de,alsodasVerwebendesWissens,dasvondenunterschiedlichenAk-teurenimtransdisziplinärenProzesseingebrachtwird:praktischeErfah-rungen,wissenschaftlicheInformationenüberdiebetroffenenSysteme,WerthaltungeneinzelnerBevölkerungsgruppen.AuchdiegemeinsameFormulierungeinesGesamtergebnissesgehörtindiesePhase.DieseFor-mulierungmitallenBeteiligtenschließtdenForschungsprozessabundstelltgleichzeitigdenÜbergang indiePhaseder In-Wert-Setzungdar.Bewertetwirdalsoeinerseits,wiederForschungsprozesswissenschaft-lich gestaltet, wie die Zusammenarbeit organisiert wurde und ob dastransparentgenuggeschah.Zumanderenistzubeurteilen,wiegutdieIntegrationderWissensbeständeerfolgte.
PROZESS DER IN-WERT-SETZUNG (IMPLEMENTATION)DiePhasederIn-Wert-SetzungbeinhaltetdenProzessdesTransfers
arbeiten? Oder war die Einbindung der Praxisakteure nur phasenwei-segeplant (zumphasenweisenÖffnenundSchließenvonkokreativenProzessensieheBrinkmannetal.2015)?JenachderFormulierungdesVorhabens sinddieEvaluationskriterien individuell zusammenzustellenundzugewichten(Daschkeit,2007).
NichtallzuseltenwirdsichdarüberhinausdieFragestellen,wiedieEvaluationmitunerwarteteingetretenenWirkungeneinzelnerErgebnis-seumgeht.Magsein,dasseinüberraschendeingetretenerNebeneffekteines Projektes oder Produktes es erfolgreicher im Sinne des Impactsmacht,alsdieeigentlichbeabsichtigteWirkung.
4.1. EVALUATIONSKRITERIEN, DIE DEM BESONDE-REN CHARAKTER TRANSDISZIPLINÄRER FORSCHUNG ENTSPRINGEN
ZurEvaluationvonProzessenundErgebnissensindgemäßderLitera-turKriterienund-indikatorenvorhanden,dieunterschiedlichenDimen-sionenzuzuordnensind(Jahn&Keil,2015).KriterienundDimensionenorientieren sich an den Leitlinien transdisziplinärer Forschung (sieheAbb. 1). Wie sich Dimensionen, Kriterien und Indikatoren zueinanderverhalten,zeigenbeispielhaftdieAbbildungen4und5,jeweilseineausderProzess-undeineausderErgebnisevaluation.EntsprechendkönnteeinEvaluationssysteminFormeinesderartigenDreifachschrittesfüralleProjektphasenerarbeitetwerden.DenIndikatoren(ganzrechts)müsstennachfolgendnochMethodenzuihrerMessungzugeordnetwerden.DerLiteraturreview,deralleProjektphasenbetrachtete,brachteinderzumThema„Evaluation“gesichtetenLiteratur (sieheAbschnitt1)über200IndikatorenansLicht.
Esistsinnvoll,RahmenbedingungenfürdieAuswahlderEvaluations-kriterienfestzulegen,bevormanmitderEvaluationeinestransdisziplinä-renProjektesbeginnt;bzw.dieProjektplanerschonimProblemstruktu-rierungsprozessKriterienbenennenzu lassen,diedemProjektgerechtwerden könnten. Manche Dimensionen, Kriterien und IndikatorenmögenfürdaseineProjektgeeignetsein,fürdasanderenicht.FürdieeinzelnenProdukte(sieheoben),dieinnerhalbdesProjektesentstandensind,giltdasebenso.JenachZielsetzungerfordertdieEvaluationein-zelnerProdukteein individuellesBewertungsset,dassichnocheinmalunterscheidet, je nachdem, ob eine Prozess- oder Ergebnisevaluationgeplantist(sieheAbschnitt2).
Optimalerweise stehen diese Kriterien bereits bei der Planung desProjektes, also inderPhasederProblemstrukturierung (sieheAbb. 2),fest(Daschkeit,2007),bzw.werdenimRahmenderProblemstrukturie-rungfürdasjeweiligeProjektmitvorgeschlagen.Siemüssenjedochun-terUmständenspäterangepasstwerden, jenachdemwiesichProjektundProdukteentwickelthaben.Darüberhinausistfestzulegen,wiedieeinzelnenKriteriengewichtetwerdensollen,alsowelchenStellenwertderbewerteteAspekt imProjekteinnimmt(gemessenamformuliertenZielundggf.derAnpassungdesselbenimProjektverlauf).EsmagProjek-tegeben,fürdieWissenssyntheseundKokreationbeispielsweiseaus-schlaggebendsind,währendandereProjektesichdaraufbeschränken,diePraxisakteurenuramRandeinzubeziehen.
DieWirkungindessen,diedieseProdukteundihreAnwendunglän-gerfristigaufdiebetreffendeOrganisationoderdieGesellschafthaben,wirdals„Impact“bezeichnet.ImpactstelltalsodenMehrwertdar,dendasErgebnisdestransdisziplinärenProjektesfürdieBeteiligtenoderdieZielgruppeunddamitdieGesellschaftallgemeingebrachthat.Esgehthier – um bei dem oben angeführten Beispiel zu bleiben – nicht nurdarum,obdasentwickelteProduktgenutztwird,sondernwelcheWir-kungdieNutzungerzielt,undzwarsowohlmonetär/fiskalischalsauchgesellschaftlich (Walter et al., 2007). Zu fragen ist beispielsweise, obesindemeinenoderanderenSektorVeränderungenbewirkthat.DendenkbargrößtenImpactkonntebeispielsweiseseinerzeitdieForschungzumOzonlochverbuchen:DieverursachendenStoffewurdennachundnachverboten.KürzlichkonntenSusanSolomonetal.(2016)sogareinedeutlicheVerkleinerung,wennnichtgarSchließungdesLocheskonsta-tieren.IndiesemFallhatdieForschungnichtnureinenPolitikwechselbewirkt,sonderndieserPolitikwechselhatauchErfolggezeitigt.
3.3. FORMATIVE UND SUMMATIVE EVALUATIONAuchderZeitpunktderEvaluationisteineguteDifferenzierungsmög-
Bei der formativen Evaluation geht es nicht um eine formale oderrückblickende Evaluation, sondern um die Verbesserung des Arbeits-prozessesmitHilfevoniterativenReflexionsprozessenundMonitoring.Dies istalsSelbstevaluationdenkbar (Bergmannetal.,2005),oftwirdjedochauchSupervisionoderCoachingeingesetzt.IndiesemFallbeglei-tenneutralePersonenvonaußendietransdisziplinärzusammengesetzteArbeitsgruppe und hilft nach dem Ablauf einzelner Teilprojekte nichtnurbeider IntegrationdesWissens,sondernreflektiertauchdasMit-einanderinderGruppe(Kuhlmann,2003).Sowirdgewährleistet,dassalleSichtweisenundWerthaltungenausreichend inBetrachtgezogenwerden.
Die Evaluationen, die ex post vorgenommen werden (summativeEvaluationen)und imRückblickeinVorhabenoderein Institutbewer-ten,führtüblicherweiseeineGruppevonGutachtern(eineKommission)durch,oftimAuftragundunterBeteiligungderGeldgeber.Aufdersum-mativenEvaluationliegtderSchwerpunktdiesesPapiers.
Darüber hinaus kann eine Bewertung nur anhand der jeweiligenProjektzieleerfolgen.WashabensichWissenschaftlerundPraxispartnerin ihrem Forschungsplan vorgenommen (Soll-Ist-Vergleich)? WelchenStellenwert räumen die Forschungspartner dem transdisziplinären Ko-operationsprozessein?SolltendiePraxisakteurebeispielsweisenurbeider Formulierung der Fragestellung eingebunden werden und dann(Zwischen-)Ergebnisse diskutieren oder sollten sie durchgehend mit-
Lässt sich die entwickelte Problemlösung auch auf andere Skalenoder Problemfelder übertragen, erhöht das natürlich die WirksamkeitdesErgebnissesunddieHandlungsrelevanz(Kriterium„Multiplikatoref-fekt“inAbb.5).
Aspekt der Evaluation? Gegenstand der (transdisziplinären) ForschungisteingesellschaftlichesProblem,daszu lösen ist.UmeinemöglichstwirksameLösunganzustreben,solltedasProblemwährenddesProzes-sesderProblemidentifikationund-strukturierungumfassendreflektiertund beschrieben werden (Dimension „Umfang“, Abb. 4). Dazu gehörteine deutliche Definition des angestrebten Zieles und der Skalen, aufdenendieLösungwirkensoll,alsoetwafüreinegewisseRegion,eineStadt, einen Sektor, einen Landschaftsraum. Das bereits vorhandeneGrundlagenwissen sowie die wissenschaftlichen Möglichkeiten undGrenzen sind offen anzusprechen, ebenso wie Grenzen in der Umset-
4.2. INNOVATIONSKRAFTZusätzlich zu diesen Leitlinien wird vor allem in der jüngeren Lite-
ratur zunehmend der Innovationscharakter des generierten Wissensbeleuchtet (Brinkmann et al., 2015). Die Ergebnisse der Kokreations-prozessesollennichtnurdieGesellschaftweiterbringen,sondernesistwünschenswert,dasssieindasWissenschaftssystemzurückfließenunddenwissenschaftlichenDiskurserneutbefeuern.DieErfahrungenunddaserarbeiteteTransformationswissensindalsozuveröffentlichenundderartwiederinSystemwissenzuüberführen.
Vor allem der transdisziplinäre Ansatz aus dem Umkreis des Insti-tuts für sozialökologische Forschung (ISOE) sieht diese Belebung deswissenschaftlichenDiskursesunddasAufwerfenneuerwissenschaftli-cherFragestellungenalswichtigeAufgabetransdisziplinärerForschung(Brinkmannetal.,2015).DieHerstellungdieserwissenschaftlichenAn-schlussfähigkeitbedeutetfürtransdisziplinäreProjekteallerdingseinenerheblichenMehraufwandanRessourcen,müssendieErgebnissedochgeneralisiert werden. Zudem sehen viele Ausschreibungen transdiszi-plinärer Forschungsprojekte diese Rückführung der Ergebnisse in denwissenschaftlichenWissenspoolgarnichtvor.
EshandeltsichbeiderBewertungderInnovationskraftnichtumeintypischesEvaluationsproblemtransdisziplinärerForschung,sondernumQualitätsanforderungen an wissenschaftliche Forschung allgemein. EsliegenerprobteBewertungssystemevor,wiebeispielsweisedieBiblio-metrischeMethode (sieheAbsatz5.1).Allerdings istbei ihrerAnwen-dungderbesondereCharaktertransdisziplinärerProjekteundderJour-nale zubedenken,dieausdiesenProjektenstammendePublikationenaufnehmen.MöglicherweisehabensieeinengeringerenImpaktfaktor.
Die Evaluation transdisziplinärer Projekte ist gerade deshalb eineHerausforderungundquasieinneuesForschungsterrain,weilesbishernochwenigobjektive,quantitativmessbareIndikatoreninderLiteraturgibt.UmderKomplexitätderVorgängebeitransdisziplinärenProzessengerechtzuwerden,wirdhäufigfürqualitativeVerfahrenplädiert.Diesistnachvollziehbar,sobildendochreinsummarischeVerfahren,wiebei-spielsweisederAbgleichvonKennzahlen(ScoreCard),keineguteGrund-lage, um verschachtelte und interdependente Vorgänge zu bewerten.
INTEGRATION UND SYNTHESEDiesesKriteriumistimZusammenhangmitKokreationundtransdis-
DieSichtweisenvonWissenschaftundPraxissinddeshalbwährendder Problemstrukturierungsphase unter Beteiligung der Praxispartnergleichermaßenzuberücksichtigen.ZurGenerierunggesellschaftlichro-bustenWissens istesausschlaggebend,unterschiedlicheSichtweisenundWertesystemeeinzubeziehen–alsosowohldiewissenschaftlichenErkenntnisseausdenunterschiedlichenbeteiligtenDisziplinenalsauchdie Expertise, Erfahrungen und Anforderungen der unterschiedlichenPraxisakteure–undeinenAustauschüberdengesamtenKokreations-prozesshinwegzugewährleisten,wennauchmöglicherweiseinPhasenunterschiedlicherIntensität(Bergmannetal.,2010).
Ein Verständnis des systemischen Kontextes ist zur Lösung gesell-schaftlichrelevanterFragenunerlässlich,gehtesdochumhochkomplexeProblemlagen.DasvondenunterschiedlichenBeteiligteneingebrachteWissenüberdieunterschiedlichenSystemeisteineguteVoraussetzung,komplexe Forschungsfragen unter Berücksichtigung der unterschiedli-chenEinflüsseaufdaszuuntersuchendeSystemformulierenzukönnen.
Liegen Ergebnisse aus dem Forschungsprojekt vor, so lässt sich inder Phase der In-Wert-Setzung auch dieser Output daraufhin evaluie-ren,obeineerfolgreicheIntegrationundSynthesederWissensbeständestattgefundenhatundsichdasimGesamtergebnisniederschlagt(sieheAbb.5).
staltetsein,dassdieZielgruppeihnverstehtunddasWissenanwendenkann.DieNutzerfreundlichkeitisteineGrundvoraussetzungfüreinengu-tenGradvonOutcomeundImpact(gleichnamigeDimensioneninAbb.5).EntscheidungsträgerundanderegesellschaftlicheAkteurebenötigengutaufbereiteteErgebnisse,umwirtschaftlicheEntscheidungentreffenundgesellschaftlicheVeränderungenanstoßenzukönnen.Dabeispieltdas Material, das den Nutzern an die Hand gegeben wird, auch eineRolle (KriteriumderAusführlichkeit inAbb.5):VielleichtsindspezielleDarstellungsformen oder beispielsweise eine neue IT-Anwendung zuentwickeln (etwa ein elektronisches Tool zur Entscheidungsunterstüt-zungodereinneuesWebportal),dasdenNutzerndenZugangerleich-tert.AuchbegleitendeTrainingskönnenhiereineRollespielen.DabeiistaufleichteVerständlichkeitundArtdesMediumszuachten.
andere.Allenistgemeinsam,dassoffeneFragenesdemBefragtener-möglichen,ausführlichzuantwortenundsokomplexeVorgängezube-schreiben.FürdieEvaluationvontransdisziplinärerForschungbedeutetdasfürdieBefragten,konkreteundspezielleProblemeundAspektedesProzesses der Kokreation von Wissen genau beschreiben und Wider-sprücheverbalisierenzukönnen.ProfessionelleFragetechnikensindhilf-reich,weilsiekreativeunddynamischeKräfteaktivieren,wie„dieDingeseinkönnten“.WieverbreitetQualitativeInterviewszurEvaluationsind,wirdauchdadurchdeutlich,dassdieseMethode ineinergroßenZahlder fürdenLiteraturreviewgesichtetenLiteraturangegebenwird (z.B.Jahn&Keil,2015,Vaughan&Dessai,2014,Bergmann&Jahn,2008).
Forschung wird oft schriftlich und beispielsweise mittels einer Likert-skalageführt (Walter et al., 2007,Masseet al., 2008).DiesedefiniertabgestuftenWerteaufeinerAchse,z.B.von1bis5.Hierheißt1„ichbinvölligandererMeinung“,5stehtfür„ichstimmevölligzu“.DieseVorge-hensweiseerlaubtes,qualitativeIndikatorendifferenzierterabzufragenalsmitdemeinfachenGegensatz„Ja“oder„Nein“.DieAntwortenblei-bendurcheineLikertskalaeinfach,erlaubenabereineVergleichbarkeitverschiedener Aspekte eines Projektes, etwa ob die Praxisakteure mitdem Management des Projektes zufriedener waren als mit der Wis-senssynthese.DarüberhinaussindVergleichezwischenverschiedenenProjekten vorstellbar: Fühlte sich beispielsweise der Praxisakteur vonProjektAoderProjektBbesserandieHandgenommen?VorallemsindquantitativeInterviewsfüreineProjektevaluationhilfreich,weilsieeineZahlenskalaliefern,dieeineVergleichbarkeitvonThemenundProjektenherstellt.ImGegensatzdazueignetsichdieseMethodewenig,wennesumdieVerbesserung laufenderProzessehandelt,weil dieGründe fürdieAussagennichtgenanntwerden.Quantitative Interviewserlaubenes,qualitativeKriterienquantitativzubewertenundkönnenentwederfürEinzelinterviewsoder inFokusgruppen(beispielsweisezubestimm-tenThemenodervonAkteurenbestimmterSektoren)eingesetztwerden.
gleichenMaßstabzumessenist,wiedisziplinäreoder interdisziplinäreForschung. Dafür weichen die Leitlinien und Zielsetzung transdiszipli-närer Forschung zu sehr von denen der anderen Forschungsmodi ab.Zudem handelt es sich bei der Kokreation von Wissen um einen sehrkomplexen Forschungsmodus mit vielen Beteiligten und wiederholtenIterationsschleifen.DieEvaluationderartigerForschungsprojekteistda-hereinebesondereHerausforderung,dienochvielNeulandist.
5.1. BIBLIOMETRISCHE METHODEHierbei handelt es sich um eine quantitative Analyse von in wis-
senschaftlichen Zeitschriften veröffentlichten Beiträgen. Die WertungerfolgtnachdemRankingwertderZeitschrift, deren ImpaktfaktorundnachderAnzahlderZitate,diedereinzelneArtikelaufweist.DieseEva-luationsmethodewirdoftverwendet,weilsieeineobjektiveVergleich-barkeit von unterschiedlichen Ergebnissen aus ganz verschiedenenArbeitsbereichen versucht (Hall et al., 2012). Als EvaluationsmethodefürtransdisziplinäreProzessewirddieBibliometriejedochsehrkritischgesehen,u.a.weil
das bei der Kokreation entstehende Wissen von seinem Charakterher nicht in die hochrangigen Journals aus der GrundlagenforschungpasstunderstnachundnachwissenschaftlicheZeitschriftengegründetwerden,diesich fürdieseArtvonWissenunddiedahinter liegendenProzesseinteressieren,
eingelungenerKooperationsprozesssonichtbewertetwerdenkann,die gesellschaftliche Wirkung während oder kurz nach dem For-
UnterUmständenwirddieBibliometriealsMöglichkeitzurEvaluati-onvontransdisziplinärerForschungjedochmehrundmehranGewichterhalten,dadieErgebnissetransdisziplinärerForschungimmerhäufigerin immer mehr (neuartigen) Zeitschriften publiziert werden, wie bei-spielsweise imneuenJournal„ClimateServices“vonElsevier.JedochistdannabervielleichtaucheinanderesRankingderZeitschriftennot-wendig. Darüber hinaus könnte die Bibliometrie vielleicht in einer fürtransdisziplinäre Forschung geeigneten Weise genutzt werden, wenndie Bemessungsgrundlagen angepasst würden. Beispielsweise könn-tedieBandbreiteanDisziplinen,ausdeneneinArtikelzitiertwird,derBibliometrieeinenAspekthinzufügen,dergenauzurZielsetzungeinestransdisziplinärenProjektespasst.
5.2. BEFRAGUNGEN VON PROJEKTBETEILIGTEN UND NUTZERN
EinbeliebtesundsinnvollesInstrumentistdieBefragungvonProjekt-beteiligtenoderNutzern.WerdendieBeteiligtenbefragt,handeltessichnatürlichumeineInnensicht,dieaufder(Selbst)WahrnehmungderAk-teureberuht(Walteretal.,2007).DieBefragtenkönnenTeilnehmer(alsoWissenschaftleroderPraxisakteure)oderProjekt-bzw.Programmverant-wortlichesein.Bergmann2007stellteinenFragenkatalogvon23Fragenfür eine „diskursive“ Evaluation vor, die jeweils mit „Ja“ oder „Nein“beantwortetwerdenkönnen.DasZielist,mitdenProjektakteurenüberdieQualitätderArbeitwährenddesProjektesinsGesprächzukommen.DerBergmannscheFragenkatalogerscheintdenAutorendiesesPapiersauch für eine summative Evaluation nutzbar.ÜberdieAnwendbarkeitdesErgebnissesfürDrittegebenderartigeBefragungenwenigAuskunft.Auchfüreineex-postEvaluationbietensichBefragungenan,sowohlmitNutzernalsauchmitProjektbeteiligten.
QUALITATIVE (OFFENE) INTERVIEWS Es gibt verschiedene Interviewformen, z.B. das „narrative“, das
problemfokussierte, das semistrukturierte, das geleitete Interview und
UmdieQualitätvontransdisziplinärerForschungzuverbessernundweitere verwertbare Erfahrungen zu sammeln, wäre es sinnvoll, einesummativeEvaluationtransdisziplinärerForschungsprojektezurRegelzumachen.Dadafürnatürlichsowohlzeitlichealsauchfachlichesowieper-sonelleRessourcenbenötigtwerden,könntedieMöglichkeitvonkleinenFolgeprojekten,dieandiesenZweckundaneineVeröffentlichungderEr-gebnissegebundensind,dazubeitragen,eineWissenslückezuschließen.
LITERATURBergmann M, Jahn T, Knobloch T, Krohn W, Pohl C,Brohmann B, Hoffmann E, Loibl MC, Rehaag R, Schramm E, Voß JP(2005)QualityCriteriaofTransdisciplinaryResearch-AGuidefortheFormativeEvalu-ation of Research Projects, ISOE-Studientexte, 13, Institute for Social-EcologicalResearch(ISOE),Frankfurt/M.
Bergmann M (2007)TransdisziplinäreQualitäten.Kriterienfürdiedis-kursive und formative Evaluation transdisziplinärer Forschung. Stoll-KleemannS,PohlC,Evaluationinter-undtransdisziplinärerForschung.EditionHumanökologie5,Oekom,München
Bergmann M, Jahn T (2008)IntendierteLerneffekte:FormativeEvalua-tioninter-undtransdiszipinärerForschung.MatthiesH,SimonD(Hrsg.)WissenschaftunterBeobachtung
Brinkmann C, Bergmann M, Huang-Lachmann JT, Rödder S, Schuck-Zöller S (2015) Zur Integration von Wissenschaft und PraxisalsForschungsmodus.Report23.ClimateServiceCenter.http://www.climate-service-center.de/products_and_publications/publications/de-tail/062692/index.php.de(abgerufenamam31.07.2015)
Climate Service Center Germany(2017)29publicationsreferringtotheevaluationofcriteriaand indicators,measuringco-creationprocesses.http://www.gerics.de/imperia/md/content/csc/gerics/literaturliste_re-view.pdf(abgerufenam26.10.2017)
Daschkeit A, Loibl M C (2007) Projektspezifische Evaluation human-ökologischer Nachhaltigkeitsforschung. In: Stoll-Kleemann S, Pohl C,Evaluationinter-undtransdisziplinärerForschung.HumanökologieundNachhaltigkeitsforschung auf dem Prüfstand. Edition Humanökologie5,Oekom,München
European Commission (2015) A European research and innovationRoadmap for Climate Services. https://publications.europa.eu/en/pub-lication-detail/-/publication/73d73b26-4a3c-4c55-bd50-54fd22752a39/language-en(abgerufenam03.01.2018)
Hall KL, Stokols D, Stipelman BA, Vogel AL, Feng A, Masimore B, Morgan G, Moser RP, Marcus SE, Berrigan D (2012)Assessing theValueofTeamScience.AmJPrevMed42(2)
DiesesEvaluationskonzeptentscheidetauchdarüber,obderProjekt-prozessoderdas-ergebnisGegenstandderEvaluationseinsoll.Darüberhinaus beinhaltet es als Bemessungsgrundlage u.a. die Auswahl derKriterien,diefür jedesProjektanhandder jeweiligenZielbeschreibungeigens vorzunehmen ist. Auch eine Gewichtung ist vorzunehmen, wiestarkdieunterschiedlichenDimensionenundKriterientransdisziplinärerProzesseindieBewertungeingehensollen.
Da die für transdisziplinäre Projekte so wichtigen Outcomes undImpactserstmiteinemgewissenzeitlichenNachlaufbewertetwerdenkönnen, spielt auch der Zeitpunkt der Evaluation eine wichtige Rolle.UnterUmständenbietetessichan,mehrstufigeEvaluationskonzeptezuentwerfen,sodassmanmitderBeurteilungvonOutcomeundImpactwartet, bis die Nutzer Zeit hatten, den Output zu testen und in ihrenArbeitsalltagzuintegrieren(Outcome).WelchengesellschaftlichenNut-zendasForschungsergebnisdannentwickelt,benötigtwiederumeinegewisseZeit.EinenangemessenenZeitpunktfürdieBewertungdesIm-pactszufinden,istschwierig.
Während zu „Transdisziplinarität“ und ihren Methoden inzwischenrelativvielMaterialvorliegt,stehtdieDiskussionüberkonkreteEvalua-tionsindikatorenundMessmethodennochamAnfang.DieAutoren,diesichdenFragenderEvaluationwidmen,plädierenzumallergrößtenTeilfürqualitativeBewertungsindikatoren.OftwerdenFragenformuliert,dienurpositivodernegativzubeantwortensindundsohelfenfestzustel-len,obgewissenAnforderungenFolgegeleistetwurde(z.B.Bergmann,2007).MessbareIndikatorenwerdenindergesichtetenLiteraturnursel-tenabgeleitet.EinengutenÜberblicküberEvaluationskonzepte liefernWolfetal.(2013).
AufderSuchenachmöglichstneutralenundgutvergleichbarenEva-luationsansätzenerscheintdiesequalitativeHerangehensweiseabernuralsersterbzw.zusätzlicherSchrittsinnvoll.EinAusweg,umqualitativeInterviews mit Projektbeteiligten und Nutzern in quantitativ messbareGrößenumzuwandeln,stellt–wieaufgezeigtwurde–dieLikertskaladar.
Wall TU, Meadow AM, Horganic A (2017)Developingevaluation in-dicatorstoimprovetheprocessofcoproducingusableclimatescience,Weather,Climate,andSociety,9,95-107
Walter A, Helgenberger S, Wiek A, Scholz RW(2007)Measuringso-cietaleffectsoftransdisciplinaryresearchprojects:Designansapplica-tionofanevaluationmethod.EvaluationandProgramPlanning30
Wolf B, Lindenthal T, Szerenscitis M, Holbrook JB, Heß J (2013)Eva-luatingResearchbeyondScientificImpact,GAIA,22/2,104-114
AUTHORSSUSANNE SCHUCK-ZÖLLERClimate Service Center GermanyHelmholtz-Zentrum GeesthachtE:[email protected]
JÖRG CORTEKARClimate Service Center GermanyHelmholtz-Zentrum GeesthachtE:[email protected]
DANIELA JACOBClimate Service Center GermanyHelmholtz-Zentrum GeesthachtE:[email protected]
DANKSAGUNGDie Autoren danken Stefan Füsers für die Literatursichtung und -aus-wertung.
Hassenforder E, Smajgl A, Ward JR (2015) Towards unterstandingparticipatoryprocesses:Framework,applicationandresults.JournalofEnvironmentalManagement157
Jahn T, Keil F (2015)Anactor-specificguidelineforqualityassuranceintransdisciplinaryresearch.In:Futures65
Masse LC, Moser RP, Stokols D, Taylor BK, Marcus SE, Morgan GD, Hall KL, Croyle RT, Trochim WM(2008)MeasuringCollaborationandTransdisciplinaryIntegrationinTeamScience.AmJPrevMed35(2S)
Mauser W, Klepper G, Rice M, Schmalzbauer BS, Hackmann H, Lee-mans R, Moore H(2013)Transdisciplinaryglobalchangeresearch:theco-creationofknowledgeforsustainability,CurrentOpinioninEnviron-mentalSustainability,5,420–431
Rafols I, Laydesdorff L, O‘Hare A, Nightingale P, Stirling A (2012)Howjournalrankingscansuppressinterdisciplinaryresearch,ResearchPolicy.doi:10.1016/J.respol.2012.03.015
Schuck-Zöller S, Cortekar J, Jacob D (2017)Evaluatingco-creationofknowledge:fromqualitycriteriaandindicatorstomethods,in:AdvancesinScienceandResearch14,305-312
Schuck-Zöller S, Brinkmann C, Rödder S(2018)IntegratingResearchand Practice - What Climate Services can learn from other Fields, in:CommunicatingClimateChange InformationforDecision-Making,Ser-rao-NeumannS,CoudrainA,CoulterL(eds)Springer,Heidelberg/NewYork(inprint)
BACKGROUND AND GOALSResearch,TechnologyandInnovationpolicyismorethaneverchargedwithdemonstrating societal impact.Thisraisesnewissuesatalllevelsofpolicydesign,implementationandevaluation.
ThislargestEuropeanR&Ipolicyevaluationconferenceisdevotedtothechallengeofgenerating, understanding and assessing societal impact through R&I policy.ItdiscussesnewpolicyrationalesandnewdemandsforR&Ipolicyinserviceofsociety,reflectschallengesinR&Ipolicy-makingtriggeredbytheserationalesanddemands,andscrutiniseswhatisexpectedanddeliveredfromdifferentpolicyintelligenceapproaches,inparticularimpactassessmentandevaluation.
TARGET AUDIENCETheconferenceaimstoengage around 250 participants from all over Europe andinternationalpartnercountries.ItwillgatherRTIpolicymakers,RTIcouncils,fundingagencies,academics,evaluators,researchmanagerstodebatethesechallengingdevelopmentsinRTIpolicyandtheireffectsonevaluationtheoryandpractice.
AUSTRIAN EU COUNCIL PRESIDENCY CONFERENCE ONIMPACT OF RESEARCH AND INNOVATION POLICY AT THE CROSSROADS OF POLICY DESIGN, IMPLEMENTATION AND EVALUATION 5-6 November, 2018
Austria Center Vienna
Bruno-Kreisky-Platz 1, 1220 Vienna, Austria
Impact of R&I Policy at the Crossroads of
39ISSUE 45 | MARCH 2018
CALL FOR PAPERSTheconferenceinvitessubmissions of extended abstracts and posters infourfocalthematicareas.Contributionsdonotneedtorefertoonlyonethematicareabutcanbecross-cutting.We explicitly encourage academic as well as policy and practice-based submissions.Thus,contributionsfrompolicy-makers,R&Icouncils,R&Ifundingagencies,policyexperts,intermediaryorganisationsandacademicsarehighlyappreciated!Papersandpostersfromotherpolicyfieldswhichdealwithmission-orientationandimpactevaluationarewelcomed.TheconferencealsoencouragescontributionswithaviewonEuropean perspec-tives.Theextendedabstractsandposterswillbepeer reviewedbytheScientificCommittee.Theselectedabstractsareinvited to make a presentationintheconference.Theyarealsoinvited to submit a full paperwhichwillbeprintedinaspecial conference proceedings issue of the fteval ‘Journal for Research and Technology Policy Evaluation’.Thesubmissionofafullpaper,however,isnot mandatoryanddoesnotaffectthepresentation.
politik.Erfasstezusammenundmoderierte, er blieb beharrlichbeimThema.InseinenHändenwuchs die Plattform von einerhastig erfundenen Veranstal-tungsreihe zu einer mächtigenund professionell geführtenOrganisation. Wer immer inÖsterreich mit Evaluationenim Forschungs- und Innovati-onsbereich zu tun hatte, hatteauchmitKlausZinöckerzutun.Zu Beginn über Joanneum Re-search,seit2005dannüberdenWiener Wissenschafts-, For-schungs-undTechnologiefondsWWTF. Auch dort hat er alsstellvertretender Geschäftsfüh-rer wesentlich zu Aufbau undEntwicklung des Fonds beige-tragen, Programme gestaltetundInstrumenteentwickelt.
Klaus ist am 3. März 2018 gestorben. Wir haben einen engagierten Mitstreiter, wertvollen Kollegen und besten Freund verloren. Der Verlust ist unermesslich.
KlausZinöckerwareineAusnahmeerscheinung.Einbisschenknochen-trocken auf den Punkt, ein bisschen absurde Intervention. Und sehrviel Empathie,die jabeiallemSarkasmus immeroffenda lag.ErwareinerdieserganzseltenenTalente,diezeitgenössischeForschungs-undTechnologiepolitik mit barockerSprache und alltagstauglicherKommunikation verbinden konn-te. Neben Forschungs- und In-novationspolitik, Evaluationenund Methoden zählten auch derFWF, ORCID, das Wandern unddieZubereitungeinesoberöster-reichischen Schweinsbratens zuseinenzentralenLeidenschaften.Die letzteEmail,die ichvon ihmam 7. Februar erhielt, trug denBetreff „Es gehört vielleicht vielmehrgekocht“.
Nach seinem Studium der„Volxwirtschaft“ wie er es zunennen pflegte, begann er imIHS und publizierte Studien wiebeispielsweiseBanknoteMigrati-oninStufe3Bund3CderEWU.AberwederdieThemennochdasUmfeldbegeistertenihnaufDau-erundsowechselteerkurzeZeitspäter, imJahr1998, indasdamals rechtneugegründeteJoanneumResearchinWienundlerntedortKolleginnenundKollegenkennen,dieihnGroßteilsseinLebenlangbegleiteten.Ichwareinevonihnen.
Klaus prägte Joanneum Research von Beginn an mit innovativenIdeenundneuenProjekten.Erbegannanforschungs-undinnovations-politischenThemenzuarbeiten,erevaluierteundpublizierte.Seinwohlwichtigstes Werk in den frühen 00er Jahren war die RTD EvaluationToolbox im Jahr 2002, an der er maßgeblich beteiligt war. Es folgtenweiterePublikationen,wenngleichderName„Zinöcker“ihnhäufigalsfalschgeschriebenenLetztautorpositionierte.
ErübernahmdannsehrbalddieGeschäftsführungderPlattformfürForschungs- und Technologiepolitikevaluation, konzipierte Inhalte undThemenundVeranstaltungen,allenvorandiegroßeinternationaleKon-
Die österreichische Plattform für Forschungs- und Technologiepolitikevaluierung trauert um
Klaus Zinöcker
EDITORIAL BOARDRebecca Allison, Technopolis UK; Balázs Borsi, Eszterházy Károly College; Elke Dall, Centre for Social Innovation; Michael Dinges, Austrian Institute of Technology; Leonid Gokhberg, National Research University Higher School of Economics; Wolgang Polt, Joanneum Research; Andreas Reinstaller, WIFO; Klaus Schuch, fteval (chief editor); Michael Stampfer, WWTF; Lena Tsipouri, University of Athens
AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATION (fteval)c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, A-1150 ViennaT +43 1 495 04 42 - 79F +43 1 495 04 42 - 40E [email protected] www.fteval.at
DESIGNW carotte.at
PRINTDruckwerkstatt Handels GmbHHosnedlgasse 16b, 1220 Wien
AUSTRIAN PLATFORM FOR RESEARCH AND TECHNOLOGY POLICY EVALUATIONPlatform fteval members:
Agency for Quality Assurance and Accreditation Austria (AQ), Austria Wirtschaftsservice Gesellschaft mbH (AWS), Austrian Academy of Science (ÖAW), Austrian Council for Research and Technology Development, Austrian Federal Ministry of Education, Science and Research (bmbwf), Austrian Federal Ministry for Digital and Economic Affairs (bmdw), Austrian Federal Ministry of Transport, Innovation and Technology (bmvit), Austrian Institute for SME Research, Austrian Institute of Economic Research (WIFO), Austrian Institute of Technology (AIT), Austrian Research Promotion Agency (FFG), Austrian Science Fund (FWF), Centre for Social Innovation (ZSI), Christian Doppler Research Association (CDG), Convelop – Cooperative Knowledge Design GmbH, Institute for Advanced Studies (IHS), Joanneum Research Forschungsgesellschaft mbH, Ludwig Boltzmann Society (LBG), Technopolis Austria, Vienna Business Agency (a service offered by the City of Vienna), WPZ Research GmbH, Vienna Science and Technology Fund (WWTF)
c/o ZSI – Centre for Social Innovation GmbHLinke Wienzeile 246, A-1150 Vienna
The fteval Journal for Research and Technology Policy Evaluation is a forum to discuss current evaluation practices in the field of research, technology and innovation policy.
