1,721,041 research outputs found
Stockmann Reinhard/Meyer Wolfgang (2010): Evaluation. Eine Einführung. Opladen & Farming Hills, Verlag Barbara Budrich [Rezension]
Get PDFRezension zu: Stockmann Reinhard/Meyer Wolfgang (2010): Evaluation. Eine Einführung. Opladen & Farming Hills, Verlag Barbara Budric
European university-based study programmes in evaluation: characteristics and future challenges
No full textThis chapter examines the state of evaluation training programs at European universities in 2012. It summarises the results of a survey that was conducted among representatives of 15 programs located in Belgium, Denmark, Greece, Italy, France, The Netherlands, Romania, Spain, Sweden and Switzerland. Some basic information about the programs are reported (e.g. organising body, degree offered, admission requirements, duration in months, price), as well as the programs’ core subjects and learning outcomes. The chapter discusses the challenges for university-based study programmes that arise from the current situation of the evaluation profession, and concludes with some thoughts on education and training as requirements for professionalisation in evaluatio
Sammelrezension
Get PDFRezension zu:
1. Stockmann, Reinhard: Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Sozialwissenschaftliche Evaluationsforschung, Bd. 5. Münster u.a.: Waxmann 2006, 367 S. ISBN 3-8309-1621-3.
2. Stockmann, Reinhard (Hrsg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung.
Sozialwissenschaftliche Evaluationsforschung, Bd. 6. Münster u.a.: Waxmann 2007, 367 S. ISBN 978-3-8309-17166-3
Manual for the evaluation of environmental consultance projects
No full textBei dem Dokument handelt es sich um einen bereits mehrfach eingesetzten Leitfaden für die Evaluation von Umweltberatungsprojekten auf der Basis des Analyserasters von R. Stockmann. Neben der Erfassung von Projektgrunddaten (Demographie, Design) werden vor allem die internen und externen Wirkungsfelder von Umweltberatungsprojekten beleuchtet. Unter internen Wirkungsfeldern sind diejenigen Bereiche zu verstehen, die sich auf den Projektträger selbst (Ziele, Organisationsstruktur, Mitarbeiter etc.) beziehen. Externe Wirkungsfelder hingegen liegen außerhalb des Projektträgers und können die Zielgruppe von Projekten, aber auch jegliche andere Wirkungen im Umfeld des Projektes einschließen
Soziologinnen und Soziologen im Beruf : Ergebnisse ausgewählter Absolventenstudien der 90er Jahre
No full textPublic policy and impact evaluation of micro-enterprises in Costa Rica : the case of the National Program of Support to Small and Medium Enterprises (PRONAMYPE).
Get PDFThis thesis makes an in-depth evaluation of National Program of Support to Small and Medium Enterprises (PRONAMYPE. Since 1992, this program is attached to the Ministry of Labor and Social Security of Costa Rica and it has been the most important state investment fund aimed at financing micro enterprises, hence, it is currently integrated on the axis of social welfare of the National Development Plan (NDP). The research problem is “to what extent PRONAMYPE, as an instrument of public employment policy, fulfills its objective of promoting employability and human capital of the workforce of micro and small enterprises of population in vulnerability and poverty?”. The methodological strategy is based on a mixed sequential explanatory method, where the dominant core was a quasi-experiment complemented by a strong qualitative component. Social Network Analysis was used for the evaluation of the context of the program. The empirical results are structured according to the theoretical-methodological logic of the CEval approach. Thus, the first part analyzes the external and internal context of the Program, while the second part focuses on the impact assessment according to the indicators of the statistical model and related qualitative data. In the External-Institutional Subsystem, the research found coherence between the objectives of the Program and those expressed by sectoral policy, nevertheless, PRONAMYPE’s place in the microfinance ecosystem is marginal, which reduces its incidence within microcredit sector and target population. Regarding the Internal Process Subsystem, the intervention was characterized by a complex execution and interannual inconsistent management. At the level of the Dimension Behaviour, the program achieved contradictory and statistically not significant impacts in the attended entrepreneurships, but qualitatively relevant effects in relation with the socio and familiar sphere and its basic needs. Overall evidence leads to affirm that the intervention does not fulfill the purpose of reducing inequality and promoting upward social mobility, which emphasizes the need for the program to achieve a comprehensive understanding of its intervention problem. Likewise, it is concluded that the public policy to promote microfinance for poverty reduction, it is not a matter that should be related solely to the existence of income distribution mechanisms (interventions) but is determined by quality of policy design and the need for a better execution under an inter-institutional care approach. Since public policy is an element of public scrutiny, the interventions and the stakeholders involved require greater analysis, support and control over their implementation. Structurally, the reflection on public policies and their essential role in social welfare, it is related to the (re) structuring of the State and its loss of capacity to meet the demands and needs of the population of the first and second quintile of national income. Therefore, this research represents a contribution to the understanding of the current opacity of the analyzed public action, because provides scientific information based on evidence to support the discussion oriented towards that necessary change of model and implementation of the NDP
The implementation of learning management systems in German institutions of higher education : promoting and obstructive factors
No full textDie Promotionsarbeit stellt einen explorativen Beitrag zur Implementationsforschung im Bereich Neuer Medien an Hochschulen dar und beschäftigt sich mit der Einführung von Learning Management Systemen (LMS) an deutschen Hochschulen. LMS sind web-basierte Lernumgebungen, die der Bereitstellung und Bearbeitung von Lerninhalten sowie der Organisation der Prozesse des Lehrens und Lernen dienen. Typische Kennzeichen von LMS sind mit einem Rechtemanagement verbundene Benutzer- und Kursverwaltungen, Kommunikationsmöglichkeiten sowie die Möglichkeit, Inhalte multimedial aufzubereiten und zu bearbeiten. Aus der Technikforschung ist bekannt, dass die Einführung technologischer Innovationen selten an technischen Hürden scheitert. Im Vergleich zu den Widerständen von Personen sind technische Unzulänglichkeiten sogar weniger gewichtig. Daraus wiederum sind die zentralen Fragestellungen dieser Arbeit abgeleitet: Welche sind die fördernden und hemmenden Faktoren bei der Einführung von LMS an Hochschulen? Unter welchen Rahmenbedingungen gelingen derartige Einführungsprozesse und führen zu einer nachhaltigen Nutzung an einer Hochschule? Zur Beantwortung dieser Fragen wurden die Einführungsprozesse von LMS an fünf unterschiedlichen Hochschulen betrachtet. Der Fokus liegt dabei auf den aus der vorliegenden Literatur abzuleitenden Themen- und Gestaltungsfeldern, in denen Maßnahmen und Aktivitäten das Gelingen (oder Misslingen) eines derartigen Vorhabens mitentscheiden. Dabei handelt es sich um (1) die Hochschulstrategie im IT-Bereich, (2) die Organisation des Einführungsprozesses, (3) die LMS-Auswahl, (4) digitale Lehr-Lern-Materialien, (5) IT-Infrastrukturaspekte, (6) Qualifizierungs- und (7) Support-Maßnahmen, (8) Öffentlichkeitsarbeit und schließlich um (9) Evaluation und Qualitätssicherung. Methodisch kamen im Rahmen der Studie sowohl quantitative als auch qualitative Instrumente zum Einsatz: Da an jeder Hochschule eine zentrale Einrichtung für die Einführung (sowie weitere Nutzung im laufenden Betrieb) des LMS verantwortlich ist, wurden leitfadengestützte Intensivinterviews mit Vertretern dieser Einrichtungen geführt. Hinzu kamen standardisierte Erhebungen, Sekundäranalysen vorliegender Daten sowie umfangreiche Dokumentenanalysen. In der Untersuchung wurde deutlich, dass keines der o.g. Themenfelder allein über Gelingen oder Misslingen des Einführungsprozesses entscheidet. Vielmehr ergibt sich ein gelungener Einführungsprozess als Kombination verschiedener Gesichtspunkte, wobei zu verschiedenen Zeitpunkten des Prozesses auch verschiedene Aspekte unterschiedlich bedeutsam sind. Aus den vielfältigen und zahlreichen Ergebnissen dieser explorativen Studie werden nicht nur zentrale Faktoren, die LMS-Einführungen behindern oder begünstigen, sondern auch konkrete Empfehlungen abgeleitet. Eine Berücksichtigung dieser Aspekte sollte Hürden antizipieren lassen und einer gelingenden LMS-Einführung an einer Hochschule dienlich sein, unabhängig davon, ob es sich um eine erstmalige Einführung oder um einen Wechsel von Systemen handelt.This PhD Thesis deals with the implementation of Learning Management Systems (LMS) in higher education organisations. LMS are understood as web-based learning environments that serve the handling of learning objects in all processes of learning and teaching. Characteristics of LMS are usually the possibilities to manage users (with different roles and thus possibilities on the platform) and courses, communication tools, and tools to deliver and handle learning objects. It is quite known from the sociology of invention, that the implementation of innovations does only rarely fail due to technological reasons. Out of this, the main questions of this Thesis are derived: Which are the obstructive or promoting factors when introducing LMS into organisations of higher education? Which framework conditions lead to a sustainable usage of an LMS? To answer these questions, the implementation processes of LMS at five universities were examined. Following a literature analysis, the focus of the examination was on these topics, in which activities determine the success or the failure of the LMS implementation: (1) the organisation’s strategy in IT, (2) the management of the implementation process, (3) the process of selecting the LMS, (4) availability of digital learning objects, (5) aspects of the IT infrastructure, (6) activities of qualification, (7) support and (8) public relations, and finally (9) evaluation and quality assurance. Methodically, quantitative as well as qualitative instruments were used: guided interviews, standardised questionnaires, secondary data analyses, document analyses etc. There is no single topic alone that determines the outcome of the implementation process. A successful implementation is rather a combination of different aspects, and even more so as different topics are of different importance at different points of time within the implementation process. The manifold results of this exploratory study do not only point out the central factors that hamper or promote LMS implementations but also lead to concrete recommendations. To consider these should help to anticipate obstacles and be beneficial to a successful LMS implementation, be it a first implementation or a change of systems
Critical factors for institutionalizing evaluation at national level : study on four countries in Asia - Sri Lanka, Nepal, Philippines and Bangladesh
Get PDFDie Bedeutung der Evaluierung für die Entwicklung, insbesondere im Hinblick auf die Verwirklichung der Ziele für nachhaltige Entwicklung (SDGs) im Rahmen der Agenda 2030, ist der Grund für das große Interesse an der wissenschaftlichen Untersuchung der Institutionalisierung der Evaluierung. Diese Untersuchung befasst sich mit dem Konzept der Institutionalisierung der Evaluierung auf nationaler Ebene und konzentriert sich auf Fallstudien in vier ausgewählten Ländern des asiatischen Raums. Diese Studie konzentrierte sich auf die Faktoren, die die Institutionalisierung auf nationaler Ebene beeinflussen, mit besonderem Augenmerk auf bestimmte Faktoren, die in der vorhandenen akademischen Literatur nicht ausreichend untersucht wurden. Dementsprechend lag der Schwerpunkt dieser Studie auf der Ermittlung von Faktoren, die die Institutionalisierung beschleunigen, auf der Bedeutung nationaler Evaluierungspolitiken und -systeme (NEPS) sowie auf der Rolle von Freiwilligenorganisationen für professionelle Evaluierung (FOPEs), Parlamentariern und Gruppen der Zivilgesellschaft. Diese Forschungslücken bildeten die Grundlage für die Forschungsfragen, die mit Hilfe der Methodik geprüft wurden. Die Diskussion und die Ergebnisse von vier Fallstudien zu den Evaluierungssystemen bilden den Kern dieser Dissertation.
Die Bedeutung der Evaluierung wurde weltweit anerkannt, wie aus der Resolution A/RES/69/237 der Generalversammlung der Vereinten Nationen von 2014 hervorgeht. Die Evaluierungsgruppe der Vereinten Nationen hebt die beiden wichtigsten Ziele der Evaluierung hervor: Rechenschaftspflicht und Lernen. Der Lernprozess durch Evaluierungen, um wirksame Entscheidungen zu treffen, wird in den meisten Ländern nicht gleichermaßen gefördert oder praktiziert. Dies kann auf nationaler Ebene nur durch die Institutionalisierung der Evaluierung erreicht werden. Die Institutionalisierung der Evaluierung sollte daher zu einer verstärkten Nutzung der Evaluierungsergebnisse führen.
In dieser Studie wurden frühere Forschungsarbeiten zur Institutionalisierung der Evaluierung analysiert. Dementsprechend gab es bereits einige frühere Forschungsstudien zu diesem Thema. Der von Furubo et al. (2002) herausgegebene International Atlas of Evaluation und die Folgestudie von Jacob et al. (2015) aus dem Jahr 2012 sowie die neuere Studie von Stockmann et al. (2020) im Evaluationszentrum der Universität des Saarlandes, Deutschland, sind einige der wichtigsten Forschungsbeiträge auf diesem Gebiet. Darüber hinaus bewertete der Internationale Atlas der Evaluierung von 2002 den Stand der Überwachung und Evaluierung (Ü&E) in 21 Ländern, hauptsächlich in Europa, wobei das Auswahlkriterium das Vorhandensein umfangreicher und vielfältiger Evaluierungsaktivitäten in jedem Land war. Die asiatisch-pazifische Region ist in dieser Studie durch Australien, Neuseeland, Japan, China und Korea vertreten. Jacob, et al (2015) versuchten, die Veränderungen im Ausmaß der Institutionalisierung von Evaluierung während des Jahrzehnts 2001-2011 zu untersuchen, indem sie die Ergebnisse der oben genannten Studie aktualisierten. Der Vergleich wurde für 19 Industrieländer und unter Verwendung der gleichen Kriterien für die Evaluierung durchgeführt, wobei der Unterschied in den antwortenden Experten aus verschiedenen Ländern bestand.
Darüber hinaus betrachtet die neueste Studie von Stockmann et al. (2020) die Institutionalisierung von Evaluation in einer disaggregierten Weise aus der Perspektive der politischen und sozialen Systeme und des Systems der Professionalisierung. In der Studie von Stockmann et al. (2020) wurden insgesamt 16 Indikatoren - 7 für das politische System, 5 für das soziale System und 4 für das berufliche System - verwendet, um den Reifegrad der Evaluierung in jedem der oben genannten Bereiche zu erfassen. Auf der Grundlage der oben genannten Kriterien und Indikatoren wurde in der Studie der Grad der Institutionalisierung der Evaluierung in den verschiedenen Ländern anhand einer Skala bewertet, die auch für die vorliegende Studie verwendet wurde. Im Vergleich zu früheren Studien über die Institutionalisierung der Evaluation werden in der folgenden Studie zwei zusätzliche Indikatoren im Rahmen des Professionalisierungssystems verwendet. Diese beiden zusätzlichen Indikatoren sind: i) Schulungen für junge und angehende Auswertende Personen (YEEs) und ii) die Existenz nationaler EvalYouth-Sektionen. Diese beiden Indikatoren wurden hinzugefügt, da es sich um neu entstehende Bereiche in der Asien-Pazifik-Region handelt, die zur Professionalisierung der Evaluierung beitragen werden. Diese Studien weisen darauf hin, dass der Prozess in den einzelnen Ländern unterschiedlich verlaufen ist und auch die Erfolge in den einzelnen Ländern nicht einheitlich sind.
Die derzeitigen Studien zur Institutionalisierung der Evaluierung beschränken sich jedoch überwiegend auf die entwickelten Länder, und auch dort handelt es sich hauptsächlich um westliche Systeme. Außerdem liegt der Schwerpunkt der meisten Studien nicht auf der Ermittlung von Faktoren, die den Prozess der Institutionalisierung von Evaluierungen beschleunigen oder verbessern. Für die vorliegende Studie über die vier asiatischen Länder wurde der von Stockmann et al. (2020) entwickelte Analyserahmen für die Evaluierung des Globus verwendet. Erstens wird ein Indikatorensatz verwendet, der umfassender, spezifischer und klarer als die beiden früheren Studien zu sein scheint und die Darstellung der Evaluierungskultur in politischen, sozialen und beruflichen Bereichen abdeckt. Zweitens würde es den Vergleich zwischen den neuesten verfügbaren Evaluierungen der Situation in den europäischen und asiatischen Ländern erleichtern, ohne durch konzeptionelle Unterschiede behindert zu werden. Drittens ist dies die erste Studie, die die Institutionalisierung der Evaluierung in den Ländern des asiatisch-pazifischen Raums untersucht. Und sie ist im Vergleich zu anderen Studien umfassender. Daher trägt diese Studie zur bestehenden Literatur über die Institutionalisierung der Evaluierung bei.
Die Studie stützt sich auf vier Fallstudien in ausgewählten Ländern: Sri Lanka, Nepal, Philippinen und Bangladesch. Die vier Länder für die Fallstudien wurden auf der Grundlage einer Evaluierung von neun Ländern anhand bestimmter Kriterien ausgewählt, darunter das Vorhandensein aktiver VOPEs, nationaler Evaluierungsgesetze und -systeme, institutioneller Mechanismen, Evaluierungsstandards und -leitlinien. Die ersten drei dieser Länder kommen aus Südasien und die Philippinen aus Ostasien. Alle vier Länder sind wirtschaftliche und soziale Entwicklungsländer, wenn auch auf leicht unterschiedlichen Entwicklungsstufen. Die Forschungsfragen wurden auf der Grundlage der Kriterien entwickelt, die im analytischen Rahmen der Evaluierungskugel vorgeschlagen wurden. Für diese Studie wurden die Daten durch Interviews mit Schlüsselinformanten, Fokusgruppendiskussionen und durch Beobachtungen aufgrund der Erfahrungen des Forschers gesammelt. Die Ergebnisse der Fallstudien ermöglichen einen Vergleich mit der Evaluation Globe Studie in Europa.
Was das politische System betrifft, so ist Nepal das einzige der vier Länder, in dem die nationale Verfassung gesetzliche Bestimmungen zur Evaluierung enthält. Die Verfassung enthält eindeutige Bestimmungen sowohl für die Überwachung als auch für die Evaluierung. In Sri Lanka, den Philippinen und Bangladesch hingegen gibt es keine gesetzlichen Bestimmungen für die Evaluierung, obwohl in Nepal, den Philippinen und Sri Lanka Entwürfe für Evaluierungsgesetze vorliegen, die noch genehmigt werden müssen. In Sri Lanka und auf den Philippinen gibt es jedoch eine nationale Evaluierungspolitik, die von den jeweiligen Regierungen genehmigt wurde. In den Philippinen wurde der Nationale Rahmen für die Evaluierungspolitik gebilligt und durch ein gemeinsames Memorandum im Jahr 2015 in Kraft gesetzt. Gemäß dem gemeinsamen Memorandum müssen alle öffentlichen Einrichtungen den nationalen Evaluierungsrahmen einhalten. In Sri Lanka wurde die nationale Evaluierungspolitik im Juni 2018 von der Regierung gebilligt, nachdem der erste Entwurf 15 Jahre alt war. Im Vergleich zu den europäischen Ländern gibt es in drei von 16 untersuchten Ländern Regelungen zur Evaluierung. Die Ergebnisse deuten darauf hin, dass der Rechtsstatus eine wichtige Komponente für die Professionalisierung der Evaluation ist. Es wird davon ausgegangen, dass die Gesetze das allgemeine Bewusstsein für die Bedeutung von Evaluierungen stärken werden. Auch in Europa gibt es mindestens fünf Länder, in denen Evaluierungsbezogene Verordnungen in Kraft sind. Dazu gehören Deutschland, Frankreich, Finnland, die Niederlande, Polen, die Schweiz, das Vereinigte Königreich und Lettland. In allen vier Ländern gibt es eine öffentliche Einrichtung, die für die Überwachung und Evaluierung zuständig ist, auch wenn sie sich nicht nur auf die Evaluierung beschränkt. In Nepal verfügt die Nationale Planungskommission (NPC) über ein spezielles Referat für die Evaluierung, darüber hinaus hat jede staatliche Einrichtung ein Monitoring und ist die benannte öffentliche Einrichtung, die über eine Evaluierungsstelle verfügt. Der NPC koordiniert und kommuniziert mit den M&E-Einheiten der jeweiligen öffentlichen Institutionen in Bezug auf die M&E-Funktion. Das Department of Project Management and Monitoring (DPMM) ist die zuständige Abteilung in Sri Lanka. In der Bezeichnung der Abteilung ist die Evaluierung nicht enthalten, aber durch den Arbeitsumfang ist die Evaluierung Teil des Mandats von DPMM. In Sri Lanka gibt es in anderen öffentlichen Einrichtungen keine M&E-Einheiten, auch wenn es in einigen wenigen auf Anfrage. solche Einheiten gibt. Das Landwirtschaftsministerium beispielsweise verfügt über eine M&E-Einheit mit eigenem M&E-Personal. Das DPMM verfügt über keine Evaluatoren oder Mitarbeiter mit technischen Kapazitäten für die Evaluierung, obwohl das Personal für die Evaluierung öffentlicher Projekte zuständig ist. Auf den Philippinen ist die Nationale Agentur für wirtschaftliche Entwicklung (NEDA) die für die Evaluierung zuständige öffentliche Einrichtung. Die NEDA verfügt über eine eigene Evaluierungsabteilung, die Evaluierungen durchführt und verwaltet. Und es gibt eine Reihe von öffentlichen Einrichtungen und Ministerien, die über M&E-Einheiten verfügen. Das Gesundheitsministerium ist ein Beispiel dafür. In Bangladesch ist die Abteilung für Umsetzungsüberwachung und Evaluierung (IMED) die zuständige öffentliche Einrichtung des Landes. Wie der Titel schon sagt, geht es auch um die Durchführung und Überwachung. Die Art der Arbeit zeigt, dass IMED sich stark auf die Überwachung von Infrastrukturprojekten und die Beschaffung konzentriert. Darüber hinaus hat das IMED die für die Überwachung und Evaluierung erforderlichen Formate und Instrumente entwickelt. Betrachtet man jedoch die Formate, scheint die Evaluierung eine einfache Übung zum Ausfüllen von Formaten zu sein. Auch die Evaluierungspraxis ist in allen vier Ländern eine Herausforderung, da es an einem System, an Leitlinien/Standards und an zugewiesenen Ressourcen für die Evaluierung mangelt. Außerdem sind in allen vier Ländern die zu bewertenden Sektoren nicht festgelegt. So werden beispielsweise in vielen Sektoren Evaluierungen durchgeführt, ohne dass es eine angemessene Vorgehensweise und ein angemessenes System gibt. Die sektorale Verteilung der Evaluierungen hängt also von der Finanzierung ab oder davon, wo die Spender beteiligt sind. Ein Vergleich dieser Ergebnisse mit europäischen Ländern zeigt, dass eine Reihe von Ländern über ausgewiesene M&E-Referate oder -Abteilungen in der Regierung verfügen. In Belgien ist dies zum Beispiel das Evaluierungsbüro für Entwicklungszusammenarbeit.
In allen vier Ländern sind Wirtschaftlichkeitsprüfungen und LeistungsEvaluierungen Teil des Rechnungshofs. In der Praxis finden jedoch in drei Ländern mit Ausnahme der Philippinen keine Leistungs- und Wirtschaftlichkeitsprüfungen in Bezug auf die technischen Anforderungen von Evaluierungen statt. Im Gegensatz dazu gibt es in mehreren europäischen Ländern wie Belgien, der Tschechischen Republik, Dänemark, Finnland, Lettland, den Niederlanden, Portugal und der Schweiz neben den Audits auch Evaluierungen. In der Schweiz zum Beispiel hat die Eidgenössische Finanzkontrolle zwischen 2000 und 2014 56 Evaluationen durchgeführt.
In Sri Lanka und Nepal begannen die Parlamentarier, mit ihren VOPEs, der Evaluierungsgemeinschaft und Entwicklungsorganisationen zusammenzuarbeiten, um die Evaluierung zu fördern. Die Institutionalisierung der Evaluierung begann im srilankischen Parlament erst nach der Colombo Declaration on Evaluation, die auf der EvalColombo2018 unterzeichnet wurde. Die Erklärung trug dazu bei, dass das Parlament von Sri Lanka den Institutionalisierungsprozess einleitete, einschließlich des parlamentarischen Sonderausschusses, des nationalen Evaluierungsgesetzes und des Aufbaus von Evaluierungskapazitäten bei den Parlamentsmitarbeitern. Ein nepalesischer Parlamentarier war maßgeblich an der Aufnahme der Evaluierung in die neue Verfassung von 2015 beteiligt. Er ist derselbe Parlamentarier, der das Parlamentarierforum in Südasien gegründet hat. Er war auch der Gründer des Nationalen Parlamentarierforums in Nepal. Das Parlament akzeptierte auch die Evaluierungsbestimmungen und billigte die Verfassung, womit es das erste Parlament in Asien ist, das Evaluierungsbestimmungen in der Verfassung angenommen hat. Andererseits hat das nepalesische Parlament keine andere Rolle bei der Institutionalisierung der Evaluierung oder der Förderung der Nutzung der Evaluierung im Parlament gespielt. Darüber hinaus war die Colombo-Erklärung zur Evaluierung und EvalColombo2018 auch für die Philippinen von Bedeutung. Der philippinische Senat begann nach der Veranstaltung mit dem Aufbau von Evaluierungskapazitäten für seine Mitarbeiter und regte außerdem an, einen Gesetzentwurf zur Evaluierung vorzulegen. Außerdem war ein Parlamentarier aus Bangladesch Gründungsmitglied des Parlamentarierforums, und einige andere Parlamentarier nahmen in den vergangenen Jahren an Evaluierungsveranstaltungen teil. Das Parlament von Bangladesch hat jedoch keine besondere Rolle bei der Institutionalisierung der Evaluierung oder der Nutzung der Evaluierung im Rahmen des Parlaments gespielt. Keines der vier Parlamente hat die Kapazität oder die Möglichkeit, Evaluierungen in Auftrag zu geben.
Trotz einiger Bemühungen und Initiativen einiger Parlamentarier in jedem untersuchten Land sind keine großen Fortschritte bei der Beauftragung von Evaluierungen oder der Nutzung der Ergebnisse von Evaluierungsberichten auf der Ebene der jeweiligen Parlamente zu beobachten. In vier Ländern spielt das Parlament bei der Evaluierung nur selten und meist spontan eine Rolle. Vergleicht man diese Ergebnisse mit früheren Studien, so ist festzustellen, dass auch in vielen europäischen Ländern die Parlamente keine besondere und wichtige Rolle bei der Evaluierung spielen. Die Ausnahme ist das Schweizer Parlament auf Bundes- und Kantonsebene, das zum Initiator und Anwender von Evaluationen geworden ist. Das Schweizer Parlament gibt Evaluationen in erster Linie deshalb in Auftrag, um seine Kontrollbefugnisse auszuüben. In allen vier Ländern sind die zu bewertenden Bereiche nicht spezifisch. In vielen Sektoren werden Evaluierungen durchgeführt, ohne dass es eine angemessene Politik und ein entsprechendes System gibt. Evaluierungen finden meist in Bereichen wie Gesundheit, Bildung, Umwelt, Armut und Infrastruktur statt, sind aber nicht darauf beschränkt. Die sektorale Verteilung der Evaluierungen hängt von der Finanzierung oder der Beteiligung der Geber ab. Alle vier Länder sind stark von Gebermitteln abhängig. Die Mittel der Geber werden in der Regel für die von ihnen initiierten Projekte verwendet und nicht für andere Maßnahmen der Regierung oder anderer Organisationen.
In Nepal sollten gemäß den nationalen Überwachungs- und Evaluierungsrichtlinien alle öffentlichen Programme evaluiert werden. Der NPC führt direkt Evaluierungen ausgewählter Programme durch, während die einzelnen Ministerien und Abteilungen mit der Durchführung von Evaluierungen durch ihre M&E-Referate beauftragt sind. Die meisten öffentlichen Programme werden von internen Mitarbeitern evaluiert, während die von Gebern finanzierten Projekte von externen Bewertern beurteilt werden. Die Studie hat jedoch gezeigt, dass die Regierungsstellen eher eine Überwachung als eine Evaluierung durchführen. Auch in Nepal werden die Überwachung und Evaluierung auf dezentraler Ebene eingeführt. Obwohl die nepalesische Verfassung Bestimmungen für die Evaluierung enthält und eine starke Institution für die Evaluierung sowie M&E-Einheiten in den Ministerien vorgesehen sind, ist es noch ein weiter Weg bis zu landesweiten Evaluierungen, die den politischen Entscheidungsträgern und den Bürgern als Entscheidungsgrundlage dienen. Starke gesetzliche Bestimmungen allein reichen nicht aus, um eine starke Evaluierungspraxis in einem Land zu erreichen. Das zeigt sich auch in Europa, zum Beispiel in Frankreich. Außerdem gibt es in einem Land wie Deutschland keine formale Gesetzgebung auf nationaler Ebene, aber interne und externe Evaluierungen werden in großem Umfang durchgeführt.
Auf den Philippinen verfügt die NEDA über eine Evaluierungsabteilung zur Durchführung von Evaluierungen. Einige Ministerien haben auch M&E-Abteilungen, aber nicht alle. Obwohl einige Ministerien über M&E-Abteilungen verfügen, gibt es Hindernisse wie fehlende Ressourcen und mangelndes technisches Know-how für die Durchführung von Evaluierungen. Die Institutionen, die über Ressourcen zur Durchführung von Evaluierungen verfügen, führen meist Ex-ante-Evaluierungen durch, die jedoch aufgrund der geringen internen Kapazitäten von externen Evaluatoren durchgeführt werden. Evaluierungen werden in der Regel bei ausländisch finanzierten Projekten unter der Leitung der Geber oder der finanzierenden Stelle wiederum durch externe Evaluatoren durchgeführt.
Der Fallstudie aus Sri Lanka zufolge wurden in der Vergangenheit regelmäßig Evaluierungen durchgeführt und für die Entscheidungsträger in der gesamten Regierung in einem Online-Repository veröffentlicht. Es hat sich eine Kultur herausgebildet, bei der die durchgeführten Evaluierungen weithin bekannt gemacht und den betroffenen Parteien vorgelegt werden, damit sie Maßnahmen ergreifen und der Öffentlichkeit zur Verfügung gestellt werden können. Da sich jedoch die institutionelle Struktur geändert hat, wurden die Evaluierungen spontan durchgeführt, und die Nutzung war nicht gewährleistet. Gegenwärtig gibt es in Sri Lanka keine systematische Methode zur Durchführung von Evaluierungen. Die Fachministerien und das DPMM führen Evaluierungen durch, die von internen Mitarbeitern durchgeführt werden, die anscheinend nur über sehr begrenzte technische Kapazitäten für die Durchführung von Evaluierungen verfügen. Obwohl Sri Lanka eine nationale Evaluierungspolitik verabschiedet hat, gibt es keine Beweise dafür, dass diese seit der Verabschiedung im Jahr 2018 Auswirkungen auf die Evaluierungspraxis hat.
In Bangladesch führt IMED Monitoring-Evaluierungen/Feldbesuche durch IMED-Mitarbeiter durch. Es werden auch Checklisten für Evaluierungen verwendet, die jedoch nicht als Evaluierungen angesehen werden können, da sie eine Art Überprüfung der Fortschritte darstellen, obwohl sie als Evaluierungen bezeichnet werden. Das IMED spielt eine wichtige Rolle im Evaluierungsprozess, von der Ausarbeitung der Aufgabenstellung über die Beauftragung der Berater bis hin zur Erstellung des Evaluierungsberichts durch das Evaluierungsteam. Obwohl IMED-Mitarbeiter die Überwachungsmaßnahmen und Vor-Ort-Besuche durchführen, werden die Evaluierungen von externen Evaluatoren durchgeführt.
In allen vier Ländern findet die Evaluierungspraxis in unterschiedlichem Maße statt, unabhängig von den geltenden Evaluierungsvorschriften. Nepal verfügt über klare gesetzliche Bestimmungen, während Sri Lanka und die Philippinen Dekrete verabschiedet haben und Bangladesch weder über Gesetze noch Dekrete verfügt. In allen vier Ländern gibt es mehrere Mängel in der Evaluierungspraxis, die es ermöglichen, das optimale Niveau zu erreichen, um die Nutzung und das Lernen für Verbesserungen zu erleichtern. Der Grad der Institutionalisierung der Evaluierung im Sozialsystem in den vier Ländern ähnelt der Situation in Europa, da sie in allen vier Ländern schwach ausgeprägt ist. Die Bürger und die Zivilgesellschaft nehmen an den Evaluierungen als Auskunftspersonen teil. Es stellt sich jedoch die Frage, ob die Bürger und die Zivilgesellschaft informierte Teilnehmer an den Evaluierungen sind, da sie meist eine passive Rolle bei den Evaluierungen spielen und vor der Teilnahme an der Evaluierung nicht umfassend informiert werden. Religiöse Einrichtungen beteiligen sich in der Regel nicht an Evaluierungen. In allen vier Ländern werden Evaluierungen von den Bürgern so gut wie gar nicht zur politischen Entscheidungsfindung herangezogen. Im europäischen Vergleich weisen nur Belgien und die Schweiz auf einen allgemeinen Einsatz der Evaluierung in der Zivilgesellschaft hin. In der Schweiz, die bei der Institutionalisierung der Evaluation im politischen System einen hohen Stellenwert einnimmt, wird die Evaluation zur Unterstützung der politischen Prozesse durch die Zivilgesellschaft eingesetzt. In Belgien wird die Evaluierung von der Zivilgesellschaft für die Entscheidungsfindung genutzt, obwohl sie keinen zentralen Stellenwert hat.
Darüber hinaus ist die Öffentlichkeit in allen vier Ländern mit dem Begriff "Evaluierung" nicht vertraut. Abgesehen davon gibt es in den jeweiligen Ländern keinen formellen oder informellen Prozess, um die Bürge
Going Beyond Counting First Authors in Author Co-citation Analysis
Get PDFThe present study examines one of the fundamental aspects of author co-citation analysis (ACA) - the way co-citation
counts are defined. Co-citation counting provides the data on which all subsequent statistical analyses and mappings
are based, and we compare ACA results based on two different types of co-citation counting - the traditional type that
only counts the first one among a cited work's authors on the one hand and a non-traditional type that takes into
account the first 5 authors of a cited work on the other hand. Results indicate that the picture produced through this non-traditional author co-citation counting contains more coherent author groups and is therefore considerably clearer. However, this picture represents fewer specialties in the research field being studied than that produced through the traditional first-author co-citation counting when the same number of top-ranked authors is selected and analyzed. Reasons for these effects are discussed
- …
