小南有话说
突如其来的疫情面前，小南的朋友们都表现出十足的勇气与团结。大家虽然没能到达一线，但也通过捐款、捐物的方式贡献自己的一份力量。
然而，红会之类的风波，让我们不禁去想，到底如何评估我们的爱心是否起到了作用？如何评估不同公益组织的水平和能力？同样要捐，我们到底捐给哪个机构、哪个项目？
有人说，公益组织从捐款中少抽或不抽管理费就是好；有人说，公益组织拿了钱能迅速花出去就是好。真的吗？
有没有一套专业的方法，是可以用来评估一个公益组织及其项目到底做得如何的呢？
本篇，中南屋就来与你分享国际上公益项目的专业评估体系——是的，这种方法是存在的。文章较长，想真正学会怎么做公益的朋友们可以收藏了慢慢看哦～
欢迎来到M&E（Monitoring and Evaluation）的世界！
什么是M&E？
简单来说，M&E在这里指的是对公益、发展类项目（这两个概念有区别，但是在本篇中为了帮助大家理解，暂且合为一谈）的监测评估。
具体来说，M是监测（Monitoring），E是评估（Evaluation)。
监测 (Monitoring) 指的是建立效率(Efficiency)、效果(Effectiveness)和影响(Impact)的指标，设置机制以收集指标的相关信息，收集和记录信息，分析信息，最终使用相应信息进行日常监管。
评估 (Evaluation) 指的是明确该项目的目标——想带来什么改变、产生什么影响——并最终评估该项目实现目标、产生影响的效果的整个过程。
在这个过程中，我们观察：该项目的策略是否行之有效？如果不是，为什么不是？项目的运作过程是否有效利用资源？是否可持续？这种运作方式对于不同的利益相关者意味着什么?
在M&E中，我们主要考虑以下问题：
1. 相关性（Relevance)：是否与正在处理的问题或需求相匹配?
2. 效率（Efficiency)：项目的完成与交付是否及时且具有性价比?
3. 有效性（Effectiveness) ：在多大程度上实现了其目标?
4. 影响（Impact) :项目的结果是什么?（包括预期和非预期的，积极和消极的影响）
5. 可持续性(Sustainability:）:干预完成后是否有持久的益处?
听上去好复杂，不就是做好事、献爱心吗？有必要这么整吗？
▲加拿大国际援助人员在海地 图源：cbc.ca
公益项目为什么需要M&E？
在国际公益圈有这样一则故事：
阿富汗中部偏远地区的村民从收音机上听说，联合国实施了一项数百万美元的计划将为他们修建新家。
村民喜不自胜，左等右盼。然而，隔了好长一段时间，他们最后等到的是几根木条。这些木条是阿富汗政府官员通过前军阀伊斯梅尔·可汗所垄断的运输系统送进来的。
由于这些木条太过巨大，根本无法在当地建房使用。最后居民唯一的处理方法就是：把它当柴火烧了。
说好的数百万美元哪去了？
20%作为联合国的管理费，用在了联合国日内瓦总部；
另外80%被联合国转包给一个NGO（非政府组织）。于是这部分的20%又作为NGO的管理费，留在了该NGO在布鲁塞尔的总部；
经过两轮管理费收取，最开始的资金只剩下64%（80%*80%），被拿去向阿富汗西边的伊朗买木材，以及支付伊斯梅尔·可汗运输公司高昂的运费。
这样折腾下来，这些国外进口木条居然还能送到村里，真的算得上一项“奇迹”了。
这则听上去荒谬的故事，真实地发生在2001年的阿富汗。国际政治经济学著作《国家为什么会失败（Why Nations Fail）》将它记录了下来。
▲本书由美国麻省理工学院经济学教授Daron Acemoglu与哈佛大学政治经济学教授James A. Robinson合著，自2012年3月出版以来，就被认为是一本从政治和经济角度研究宏观社会发展的重要著作
书中讲到，当时数十亿美元的国际援助资金涌入阿富汗，但最后被用在基础设施建设、学校医疗或其他公共服务上的投入却微乎其微。这笔钱的相当一部分，被“不得不”用到了诸如这样的事情上：
委派一家航空公司，来回载运联合国及其他国际官员；雇佣司机和翻译——国际发展项目官雇佣了当地极少数能说英语的公务员及阿富汗学校仅存的教师，让他们开着车陪自己到处跑。而这些人的收入，是当时阿富汗平均薪资的好几倍。
▲讽刺援助有如“撒币”的漫画 图源：spectator.co.uk
从二战后的马歇尔计划到六七十年代发达国家给发展中国家的援助，国际发展援助体系逐渐建立。
在过去６０年间，国际社会向非洲提供的援助积累起来已经达到上万亿美元的规模。可是这些援助似乎并没有帮助到非洲。绝大多数非洲国家的经济状况不但没有好转，反而停滞，甚至大幅衰退——伴随着腐败丛生，战火不断。
对在这里面忙活的政府或非政府国际援助组织来说，这更像是一场生意：
政府承诺援助从而获得选票
国际发展专家获得报酬
跨国公司从贸易获利
而最后流入当地的资金
对当地产生的实质性影响
少之又少
▲讽刺欧盟援助项目的漫画 图源：tropicsofmeta.wordpress.com
上文阿富汗乡村的故事并非孤例。在非洲、亚洲和拉丁美洲等发展中地区的农村地区，遍布着国际发展项目留下的“白象工程”（“White Elephant Projects”译为“白象工程”，特指昂贵无用、华而不实的政府工程项目），例如闲置的水泥厂、空置的会展中心、废弃的道路和破旧的基础设施。
缺乏后续监管的发展项目竟沦为政客工具？
项目：乍得-喀麦隆通往大西洋的输油管道
捐助者：世界银行
费用：42亿美元
问题：该管道于2003年完工，是当时非洲最大的国际发展项目。根据项目设计，这个项目应该在国际监督下运作，以发展乍得当地经济。但是2005年，乍得总统Idriss Deby宣布：输油管道所获石油资金将纳入国家预算并用作武器购买，否则将驱逐该石油公司。自此，该管道带来的石油收益一律进入政府腰包，用来操纵选举、维护政权。
▲2003年，乍得总统Idriss Deby打开了连接乍得和喀麦隆大西洋海岸的665英里管道的一部分
授人以渔，不用管人家是否吃鱼？
项目：肯尼亚图尔卡纳湖鱼类制品加工厂
捐助者：挪威政府
成本：2200万美元
问题：该项目设计于1971年，旨在通过发展捕鱼业和鱼类制品加工业，为图尔卡纳人提供就业和出口创收机会。但是，图尔卡纳人是游牧民族，没有吃鱼的习惯，也并不擅于掌握钓鱼技能。并且，在沙漠中使用冰柜和清洁水的成本太高。因此，该工厂建成后只运行了几天就倒闭了。至今已经废弃的它仍然是肯尼亚干旱西北地区的一头“白象”。
▲挪威发展机构(NORAD)于80年代建造的现在已经废弃的鱼类加工设施
企业蚕食公益资金
捐助者：世界银行 欧洲投资银行 非洲开发银行
费用：35亿美元
问题：该项目始于1986年，是一个旨在从高地调水供给中心城市的水电项目。它的原意是使输出水的高地社区获得收入，发展经济。然而大量水的转移导致下游生态遭受巨大破坏。并且项目参与方——一个全球前三的建筑公司最终因在该项目中的腐败行为受到指控、该项目的首席执行官被判入狱。通过出售水而筹集的发展基金于2003年被迫关闭，只剩下数以万计因改河道而生活被毁的人在等待赔偿。
▲该工程采用的320米长的WIRTH 529隧道掘进机
这些让人啼笑皆非的失败案例的产生，多是因为项目制定不符合当地社区实际需求，又或者是项目执行过程监管不力导致腐败滋生。
正是这些国际上的历史教训，催生了今天公益组织评估的方法论和体系。
M&E进化简史
随着国际社会对于援助项目有效性逐渐产生质疑，M&E也经历了从诞生到完善的过程。
1967年，Albert Hirschman撰写的《发展项目观察》，是历史上向公众公开的第一份援助评估报告。它被认为是发展项目M&E的开端。
USAID（美国国际开发署）最早采用“逻辑-框架法（Logic Framework Approach）简称LFA”，让M&E走向规范化。
70年代Herb Tuner在此基础上发展，建立了4*4矩阵逻辑框架表。表格中，垂直逻辑的项目目标包括4个层次：总目标（goal)、目的（purpose)、产出（output)和投入（input），有助于研究者对应不同层次建立相关指标。
▲LFA 逻辑框架表 图源：mupg.com
国际发展的理论革新也影响着M&E的变化。
20世纪60年代拉丁美洲學者的依附理论，指出发达国家剥削和控制发展中国家经济社会发展的现实，并由此产生了一些与当时主流发展经济学不同的观点。他们关注的议题衍生到：性别与发展、环境资源的可持续发展、参与式发展、权利与发展。
因此，在进行M&E时，研究者的视角也从对于经济减贫的关注，扩展到更广阔的社会发展领域，指标设计也变得更加多元、多维度。除了单一的经济指标，研究者还将性别、环境、儿童等因素纳入M&E体系。
▲依附理论（Dependency Theory)图解
图源：prezi.com
80年代，联合国开始调整以“经济增长”战略为中心的思想，转向社会公平和其他的社会经济指标，M&E方法也日趋成熟。
1980年Halcrow进行的坦桑尼亚公路研究是全球第一批基线（Baseline)评估项目。
1982年印度的大学与英国的大学合作，完成了历史上第一个发达国家与发展中国家联合评估的援助项目。
1986年经合组织（OECD）出版的《在援助评估中的方法和程序》系统介绍了发展援助的评估方法。
1988年，Robert Chamber提出了自下而上的评估方法——参与式发展评估，这对发展评估产生了巨大影响。
这种评估方式强调项目的帮扶对象要参与到项目评估中来，而不是等着被专家和国际援助者评估。
受援助的农户可以通过打分排序、绘制资源图、季节历等方式直接参与到项目的评估当中——这种鼓励利益相关群体共同参与M&E的方法一直沿用至今。
▲联合国儿童基金会ECCD项目 图源：参与式农村评估（PRA）培训手册
人们一方面在评估发展项目，另一方面也在反思这种发展援助的项目本身。
1995年，Arturo Escobar的《遭遇发展：第三世界的形成与瓦解》将对于发展主义的批判声音推向了高潮。发展学者们开始反思“发展干预是否是必要的”，这从根本上动摇了发展的根基。
面对这个危机，联合国提出千年发展目标，将发展合作的理念推向国际社会。
由189个国家共同签署的《联合国千年宣言》意味着发达国家和发展中国家建立了相互认可的共同价值，共同致力于参与有效的国际发展事务。而这些具体的目标也成为日后评估指标建立的主要依据。
而今，可持续发展目标（Sustainable Development Goals，简称SDGs）又于2015年底替换了千年发展目标，成为当代国际发展援助项目M&E的重要依托。
▲联合国17个可持续发展目标SDGs
M&E具体怎么操作？
因为需要严格按照指定的步骤和体系来操作，专业的M&E大多需要1年甚至更长的时间来完成。它的一般步骤是：
1.确定参与M&E设计、执行和汇报的人。
2.明确评估的范围、目的、预期用途、受众和预算。
3.提出问题，明确希望从调研结果中获取的内容。
4.选择指标。
5 确定数据收集方法。例如：文献研究、问卷调查、访谈等。
6.分析和综合所获得信息。
7.解释这些发现，为项目提供反馈，并提出建议。
8.向利益相关者阐释发现和见解，并决定如何使用报告来完善后续工作。
▲在这个NGO的评估工具包中我们可以看到：M&E中“计划-执行-反馈”的步骤不是单向的，得到的反馈会再次影响项目执行和评估设计，由此构成一个闭环 图源：CIVICUS M&E Toolkit
这里面有一些比较值得注意的地方：
1 / 设定合适的评估指标。
指标是用来表明特定目标实现进展（或偏离情况）的一种具体测量方法，或一组数据。
在确定以什么作为指标的时候，应该注意：指标需要清晰（clear）、相关（relevant）、经济（economic）、充分（adequate）、可监测（monitorable）。
还要考虑许多因素以保证实际操作的可行性，例如数据从哪里来（如何获得）？数据的收集方法？谁能负责收集数据？收集数据的频率和成本？收集的难度？谁来负责分析和汇报？谁将使用数据？
▲图源：UNADIS National Aids Programmes M&E Guide. 2000
2 / 设定具体的产出目标。
设定具体产出目标（即预期时间内需要达到的预定效果）的时候，有一个公式：
指标基线水准（Baseline Indicator Level）+ 预计改善水平（Desired Level of Improvement) = 具体的目标（Target Performance）
基线水准是在实施项目或活动之前绩效指标的值,基线数据与目标数据的对比可以跟踪在该项目或活动执行期间发生的改变。
预计改善水平由投入(Input)、活动(Activity）、产出（Output)共同得出的。
▲图源：IPDET（The International Program for Development Evaluation Training）
发展评估项目案例分析.2011
3 / 选定数据搜集方法并使用数据
下一步，就可以考虑如何通过调研来搜集信息了。
搜集数据的方式多种多样，各有利弊，一般需要相互结合才能够得到较为全面且客观的基本信息。
具体来看有以下几种：
▲图源：Development Evaluation
世界银行经典项目评估研究 PPT
毕马威（KPMG）在年支出超过一百亿美元的国际发展机构中选取了35位项目负责人进行访谈，调研结果显示：目前国际机构中M&E最常采用的研究方法是：逻辑-框架（Logical Frameworks）、绩效指标（Performance Indicators）和焦点小组（Focus Group)。
▲图源：Monitoring and Evaluation in the Development Sector. KPMG. 2014
得到了数据后，就可以开始整理数据、分析数据、形成报告啦。
下面的逻辑框架展示了M&E的全过程：
▲图源：Tools4dev.org
通过M&E为项目提供反馈
撰写了评估报告不意味着任务结束。M&E的重要意义就在于可以帮助研究者根据实际情况随时调整计划，以解决项目过程中遇到的问题。
但是，现实执行中会有许多问题。据KPMG报告可知，超过半数的相关从业者认为M&E最终的反馈机制是匮乏（Poor）或不稳定（Variable）的。这说明最终形成的项目报告极少能对项目的改善和调整造成实际影响。
耗费大量的时间和资金所做出的M&E报告，如果只是为了应付上级交差，成为了一卷尘封且无用的废纸，实在不得不反思。
▲图源：Monitoring and Evaluation in the Development Sector. KPMG. 2014
有了M&E，
公益/发展项目就没问题了吗？
实践证明，看似严谨的M&E体系也不一定能为国际上的公益项目、发展项目保驾护航。
这不仅是因为上文提到的，现实操作中M&E对于项目实际改善的影响较弱，还因为M&E看似科学客观的形象背后，可能藏着很多“诡计”——你可以评估出你希望评估出的效果。
千年村计划（Millennium Villages Project，简称MVP）就是这样一个典型案例。
MVP在《联合国千禧年宣言》的背景下诞生，是由美国著名经济学家Jeffrey Sachs主导的项目。该项目计划投入1.2亿美元，通过国际发展援助建设部分非洲村庄，向世界证明通过援助让非洲村庄摆脱极端贫困是可能的。
▲图源：Millennium Villages Project. Wikipedia
非洲的治理不善是因为非洲很贫穷。
Africa"s governance is poor,because Africa is poor.
——《贫穷的终结（The End of Poverty）》
根据Sachs的说法，只要有了正确的政策和关键干预措施，我们就可以在20年内消除极端贫困（即每天生活费不足1美元）。
MVP涵盖农业、卫生、基础设施、教育、商业发展五个领域，包含通过改良种子使用化肥以提高农作物产量、建立小额信贷制度、免费分发经杀虫剂处理过的蚊帐以对抗疟疾等具体措施。该项目在十几个非洲国家及地区开展，覆盖50万余人，于2010年阶段性结束、于2015年全面结束。
▲学生们聚集在卢旺达MVP项目村的Mayange B小学 图源：csmonitor.com
其阶段性评估报告指出该项目是有效的，然而这引发了国际学界和国际公益圈的巨大争议。
首先，批评者们指出该项目初期阶段的设计存在缺陷：实验及对照组的主观选择、对照组基线数据不足、样本量小、时间间隔短。
他们认为，该项目因缺乏客观科学的M&E设计，最终的评估数据没有可信度。
同时，批评家不止质疑该项目的研究设计，还质疑该项目是否真的有如它描述得那般“成功”。
通过该项目的改善，五岁以下儿童死亡率的下降速度提高了三倍。
——MVP评估报告
▲千年村庄项目 图源：newafricanmagazine.com
对于这一点，进行了MVP评估的研究者后来也在《柳叶刀》上刊登论文回应错误，承认先前结论“毫无根据且具有误导性”。
“千年村项目中5岁以下儿童的年均死亡率降低速度是最近10年该国农村儿童死亡率下降速度的3倍（7.8% VS 2.6%），这个结论是具有误导性的。
该白皮书将2006年千年村的数据基线与2006-2009年的3年结果对比，得出了22%的下降率，并由此计算出5岁以下儿童死亡率的年均下降率。报告错误地将该比率与2001-2010年的DHS人口健康调研（Demographic and Health Survey）数据进行对比，而非2006-2009年的DHS数据。
由于使用了2001年较早的年均死亡率作为对比基线，因此实际低估了该国儿童死亡率的下降速度，从而使千年村的死亡率下降数据显得过于积极乐观。
同时根据复盘，研究者认为更为保守的估计是22%的增加应是在4年内完成，因此年均降低率应是5.9%而非7.8%。
报告中作为实验组的千年村的数据是与其选定的对比组（未接受援助的选定村落）进行对比，而非全国数据，我们将进一步使用全国数据进行估算。”
——Errors in a paper on the Millennium Villages Project. Paul Pronyk. 2012
公益与可持续发展到底怎样才能更好？
就像之前所说的，除了探讨如何进行项目评估，国际上人们也去思考公益、援助项目的本质缺陷。
过去数十年西方主导下的国际社会对非洲的援助政策已经走入了死胡同，援助不但无效，更是造成非洲发展失败的根本原因。
——《援助的死亡（Dead Aid）》
Dambisa Moyo. 2009
前世界银行顾问、赞比亚人Dambisa Moyo认为，外部世界对非洲长达数十年、总额达上万亿美元的援助，没有改善非洲的民生状态和推进非洲的发展进程。相反，这种带有外部支配性、居高临下的恩赐式的外部援助，实事上已经在非洲造成了严重的抑制发展的结构性障碍，让非洲灾难性地形成了对于援助的严重依赖，从根本上抑制了非洲人民自己的进取心与自立精神。这既造成非洲大陆普遍而严重的腐败，更断送了非洲自主发展的任何可能与机会。
The problem is not that foreign money is poorly spent (though much of it is) or that development programs are badly managed (though many of them are). No, the problem is more fundamental: Aid is "no longer part of the potential solution, it"s part of the problem -- in fact, aid is the problem.
这种“援助的死亡”或者说“致命的援助”，不是外国援助的资金不够充足或者发展项目管理不够完善导致的。问题的本质是援助。换句话说，援助不是社会问题的解决手段，而是问题本身。
—— Dambisa Moyo
尽管Moyo被许多学者指责，认为其“非洲女儿”的身份让她有了一些偏颇的判断，但这样的反思也确实引发了学者们的思考与讨论。
▲Dambisa Moyo 图源：网络
2015年诺贝尔经济学奖得主美国普林斯顿大学教授Angus Deaton也尝试回答“国际发展援助为何常常无效”这个问题。
他认为西方主导的援助体系的结构性缺陷和各种利益团体的角力导致了这个体系运作模式的低效。同时新兴国家的快速发展也正在改变着国际发展的传统格局，尤其是中国以国家主导的发展模式对国际发展合作产生了重大影响。
也许，在这方面，中国模式能为世界带去一种不同的结果？当然，创新之前，我们可能需要多去学习国际的经验与教训。
而对于公益的思考，对于世界的求索，无论何时开始都不算晚。
正如Moyo在《援助的死亡》结尾中所说：
The best time to plant a tree is twenty years ago.
The next best time is now.
种一棵树最好的时间是二十年前，
其次就是现在。
*免责声明：本站文章图文版权归原作者及原出处所有 ，文章内容为作者个人观点，并不代表本网站。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。
