Measuring the Impact of Higher Education Interventions in Development

Abstract: 
Capacity strengthening is important in enabling Sub-Saharan Africa (SSA) to compete with growing global technological and economic developments. In the agriculture sector, Africa has to be in a position to achieve food and nutritional security and develop robust innovation systems for products appropriate for its use. The need to strengthen capacity has led to numerous programmes employing a variety of models of intervention. Many have appeared to be popular and successful. However, evaluation over the longer-term has proved difficult, with donors being particularly interested in the visible return on their investments. So renewed interest in capacity strengthening for international development has brought with it a debate about how best to monitor and evaluate capacity strengthening, efficiently and effectively. Even though the individual is the direct focus of many interventions, long-term and sustainable capacity strengthening is a complex process dependent on a range of different stakeholders and influencing players, requiring changes in systems and shifts in power relationships. It is not clear how capacity development contributes to international development. While conventional impact evaluations capture the more immediate and practical outcomes of Higher Education investment, there are also societal benefits to Higher Education interventions which relate to social awareness and change, and act over longer time periods. This study examines literature and evidence to understand whether and how HE interventions for development are being evaluated. The work also reflects the evidence for impact. This review highlights successful completion rates for many of the fellowship programmes due in part to rigorous and equitable selection methods. These are the most common programmes to be evaluated. There is evidence that alumni apply what they have learned, participate in the community and more widely through their institutions and through training others. Consortia do play a successful role in mobilising new knowledge and resources and transferring research knowledge skills to others (particularly in developing country partnerships). Thereis growing evidence of a shift towards home grown, local courses, doctoral programmes, leadership and skills and the establishment of centres of excellence. Many members have applied the skills learned and participate at the community level and more widely. There is evidence of successful capacity building in policy, infrastructure and academic support systems as well as institutional benefits in the form of recognition of the value of research and financial benefits in investing in research and incentives to researchers. The work illustrated strong evidence of North-South and South-South collaboration. There was a direct positive contribution to the scientific knowledge base, regional harmonisation, networking and indigenous doctoral programmes. But there appears to be little formal evidence for the development benefits of the three kinds of HE investment mentioned. Further, there are potential negative development effects of HE interventions, including ‘brain drain’ and inequitable, Northern-driven research partnerships. Finally, the internationalisation of universities, developments in ICTs, and private HE provision, particularly may have changed the landscape for HE interventions for development. HE investments still lack a convincing theory of change that will lead to development outcomes and positive societal impacts in different contexts and sectors. The relationship between individuals, institutions and society is poorly understood with much of the emphasis being on outputs and little comparison between different approaches. For all these limitations, there are new and innovative tools being developed and tested for evaluating HE interventions, and considerable potential to adapt and apply a range of new methods and complete analysis of different kinds of interventions from other development areas. These can be built into new interventions from their outset, or used to analyse historical data sets provided by long-running programmes. In conclusion there are lessons learnt from the literature review: • The importance of process; • The need to focus on learning; • The benefits of using several methods; • The need to include stakeholders in inclusive participatory ways, for design, effectiveness, implementation, impact and the coherence and relevance of the programme (duration, location, stakeholder involvement etc);The importance of initiating processes of reflection about assumptions and power; and learning by individuals, their behavioural changes and the contributions to institutional process and thinking including fellow mobility; · Being clear about the definitions of impact, hard vs. Soft skills development objectives, on careers, publications, promotions, behaviours, adoption of outputs, perceptions, citations, grants, fundraising, spin-off; • The need for ARD programmes to understand that different kinds of technologies have different social outcomes and that a technological solution may not be the desired solution every time; • The importance of stakeholder participation and deliberation at several junctures in time and space to build an understanding of complexity in rural social dynamics. Lastly, stakeholder deliberations must reflect on power relations and expose them with an aim to redress them towards real and equitable partnership. All capacity-development interventions are based on theories that are implicit in the minds of those who design and implement the interventions, because there is seldom a consensus among key stakeholders on the programme theory. ALINe’s literature review has highlighted alternative and complementary participatory methods to incorporate notions about complexity and the multi-stakeholder nature of research, and its impacts on social change.
Le renforcement des capacités est important pour permettre à l’Afrique sub-saharienne (ASS) de faire concurrence dans les développements économiques et technologiques croissants au niveau mondial. Dans le secteur agricole, l’Afrique doit être en mesure d’atteindre la sécurité alimentaire et nutritionnelle et développer des systèmes d’innovation robustes pour les produits appropriés à sa propre utilisation. La nécessité de renforcer les capacités a mené à de nombreux programmes qui emploient une variété de modèles d’intervention. Beaucoup ont semblé être à la fois populaires et réussis. Toutefois, l’évaluation à plus long terme, s’est avérée difficile, avec les bailleurs de fonds étant particulièrement intéressés par le bénéfice visible sur leurs investissements. Ainsi, le regain d’intérêt dans le renforcementdes capacités pour le développement international a apporté avec lui un débat sur la meilleure façon de suivre de près et d’évaluer le renforcement des capacités, d’une manière efficiente et efficace. Il est maintenant reconnu que, même si l’individu est le centre direct de plusieurs interventions, le renforcement des capacités durable et à long terme est un processus complexe qui dépend d’une multitude de différentes parties prenantes et d’acteurs influents, nécessitant des modifications dans les systèmes et les changements dans les relations de pouvoir. Ce qui n’est pas clair est comment le perfectionnement des capacités contribue au développement international. Alors que les évaluations d’impact classiques saisissent les résultats les plus immédiats et pratiques de l’investissement dans l’enseignement supérieur, il y a aussi des avantages sociaux pour des interventions de l’enseignement supérieur qui ont trait à la sensibilisation social et au changement social, et agissent sur des périodes de temps plus longues. Cette étude examine la littérature et l’évidence pour comprendre si et comment les interventions de l’enseignement supérieur ES pour le développement sont en cours d’évaluation. Le travail reflète également l’évidence de l’impact. Cette étude met en évidence le taux d’achèvement réussi de la plupart des programmes de bourses dus en partie aux méthodes de sélection rigoureuses et équitables. Ce sont les programmes les plus courants qui doivent être évalués. Il est évident que les anciens boursiers appliquent ce qu’ils ont appris, participent dans la communauté et plus largement à travers leurs institutions et par la formation des autres. Les consortiums doivent jouer un rôle réussi dans la mobilisation de nouvelles connaissances et des ressources et dans le transfert des connaissances concernant la recherche à d’autres (en particulier dans les partenariats des pays en développement). Il existe de plus en plus l’évidence d’un passage vers les produits locaux, les cours locaux, les programmes de doctorat, le leadership et les compétences, et la création des centres d’excellence. De nombreux membres ont mis en pratique les connaissances acquises et participent au niveau communautaire et plus largement encore. Il existe des preuves de renforcement des capacités avec succès des systèmes de soutien académique, des politiques et des infrastructures ainsi que des avantages institutionnels sous la forme de reconnaissance de la valeur de la recherche et des avantages financiers en investissant dans la recherche et les stimulations pour les chercheurs. Le travail a illustré des preuves solides de collaboration Nord-Sud et SudSud. Il y a eu une contribution positive directe au fondement des connaissances scientifiques, à l’harmonisation régionale, au travail en réseaux et aux programmes doctoraux indigènes. Mais, il semble y avoir peu d’évidence formelle pour les bénéfices du développement de trois types mentionnés d’investissement dans l’enseignement supérieur. En outre, il existe des potentiels effets négatifs du développement des interventions de l’enseignement supérieur, y compris la «fuite des cerveaux» et les partenariats de recherche inéquitables, dirigés par l’occident. Enfin, l’internationalisation des universités, l’évolution des TIC et la prestation de l’enseignement supérieur privé peuvent, en particulier, avoir changé le paysage des interventions de l’enseignement supérieur au développement. Les investissements de l’enseignement supérieur manquent encore une théorie convaincante de changement qui mènera aux résultats de développement et aux impacts positifs sociétaux dans différents contextes et secteurs. La relation entre les individus, les institutions et la société est mal comprise avec un grand accent mis sur les résultats et peu de comparaison mise entre les différentes approches. Pour toutes ces limitations, il y a des outils nouveaux et novateurs mis au point et testés pour évaluer les interventions de l’ES, et le potentiel considérable pour adapter et appliquer toute une gamme de nouvelles méthodes et l’analyse complète de différents types d’interventions des autres domaines de développement. Ceux-ci peuvent être intégrés dans les nouvelles interventions dès le début ou utilisés pour analyser les ensembles de données historiques fournies par les programmes de longue durée. En conclusion, il y a des leçons tirées de la revue de littérature: • L’importance du processus; • La nécessité de mettre l’accent sur l’apprentissage; • Les avantages de l’utilisation de plusieurs méthodes; • La nécessité d’inclure les parties prenantes dans une démarche participative inclusive pour la conception, l’efficacité, la mise en oeuvre, l’impact et, la cohérence et la pertinence du programme (durée, lieu, implication des parties prenantes, etc); • L’importance d’initier des processus de réflexion sur les hypothèses et le pouvoir, et l’apprentissage par les individus, leurs changements de comportement et les contributions auprocessus institutionnel et de la pensée, y compris la mobilité des individus; • Être clair sur les définitions de l’impact, des objectifs de développement des compétences solides ou faibles ; sur les carrières, les publications, les promotions, les comportements, l’adoption des résultats, les perceptions, les citations, les subventions, les collectes de fonds, les avantages inattendus; • La nécessité de programmes d’ARD à comprendre que différents types de technologies ont différents effets sociaux et qu’une solution technologique ne peut pas être la solution recherchée à chaque fois; • L’importance de la participation des parties prenantes et de la délibération à plusieurs moments dans le temps et l’espace pour construire une compréhension de la complexité dans la dynamique sociale des milieux ruraux. Enfin, les délibérations des parties prenantes doivent refléter les relations de pouvoir et les exposer dans le but d’y remédier vers un partenariat réel et équitable. Toutes les interventions de renforcement des capacités sont basées sur des théories qui sont implicites dans les esprits de ceux qui conçoivent et appliquent les interventions, car il y a rarement un consensus entre les principales parties prenantes sur la théorie du programme. La revue de littérature d’ALINe (Agricultural Learning and Impacts Network) a mis en évidence des méthodes participatives alternatives et complémentaires pour intégrer des notions sur la complexité et la nature de la multi-partie prenante de la recherche, et ses impacts sur le changement social.
Language: 
English
Extended abstracts submitted under Strengthening Science & Technology
Date of publication: 
2012
Region Focus: 
Central Africa
East Africa
North Africa
Southern Africa
West Africa
Author/Editor(s): 
Collection: 
RUFORUM Conferences and Workshops
Licence conditions: 
Open Access
Access restriction: 
Form: 
Printed resource
Publisher: 
ISSN: 
E_ISSN: 
Edition: 
Notes: 

The 2012 RUFORUM Biennial Conference is the third in the series. The main objective of the Biennial conferences is to provide a platform for agricultural research for development stakeholders in Africa and beyond to actively exchange findings and experiences, while at the same time learning lessons towards improving performance of the agricultural sector and ultimately people’s livelihoods. The biennial conference is RUFORUM’s most comprehensive meeting for the diversity of stakeholers in agriculture. It is especially dedicated to graduate students and their supervisors, grantees in RUFORUM member universities and alumni. It is a platform for peer review, quality control, mentorship, networking and shared learning. The third Biennial Conference was attended by 657 participants.This record contains an extended abstract accepted under the theme of Strengthening Science & Technology