情报分析三点半 admin on 29 Dec 2009 10:28 pm
建立指标体系需要注意的问题
在所谓“软科学”研究（实质是属于社会科学领域），指标用得很多，什么问题动不动就来个指标体系，它的好处似乎是“战无不胜”，没有数据就来个专家打分，随便什么问题总是能弄套指标出来，不像有些科研会失败，做不出结果来。
我在6月日的博文再谈数据问题里有一段讲到指标本质的认识，其实指标的应用中还有许多必须了解的知识，否则可能产生问题，我在看别人做的指标项目课题时常常看到有以下一些问题，值得讨论（本文早在几个月前就起草，一直没有写完，今天总算了结）。
一是注意测度（measurement）指标(indicator)和指数 (index)的区别和联系，其中测度是可以直接测量出来的的量，比如某煤矿的原煤产量，专家打分也可以算作测度。在实际应用中测度常常要经过转换成为指标，而指标的本意是“无法直接测度的概念的某种代理”（本人自己悟出来的“定义”），例如一年中国家财富创造多少无法直接测度，所以有了GDP，而这个指标是无数原煤、钢铁等经过货币计量的价值转换（否则无法加总）计算出来的。当然也有些测度可以被直接用来指代某个概念，所以同时就是一个指标。指数往往（但不一定）是有个基数的，或者是归一化处理的，最大值为1。
最近看到一个信息化指标系列，前几个是直接测度的值，但是最后一个却是引用来的一个指数，这就不合适。还有个信息系统评价指标项目直接把测度作为指标，我建议先把各种类型的测度（包括定标数据、定性数据等）转化为数值再列为指标。
二是注意指标数值的“饱和”。传统信息化指标将电话、家庭上网率作为指标，但是这些指标很快会到饱和值（不会100%，而是到90几%附近徘徊不前），作为分指标就不合适，对技术替代很快的项目选取指标特别要注意。对这类指标的办法是采用相对比较，即把同时代最先进水平列为100%，采取Benchmarking方法取得相对值，比如70%，到明年虽然我提高了数值，但是人家提高更快，也许我变成了60%，只要说清楚，这样也有意义。
三是指标必须“独立”，换言之，如果一个指标体系五个指标，其中两个是独立的，其变化不受其他影响，而另外三个是互相牵连的，“一荣俱荣”，请专家打权重分（目前实践中往往如此），因为相关所以会出现三个指标都打得很重要，如果这三个指标与另外两个正好相背，看上去好象三比二，实际的情况应该是一比二，结果就逆转了，出大偏差了。如果是大量数据构成的指标（比如有历史数据）可以用统计分析方法发现“多重共线性”，就是几个指标存在强关联，需要剔除一些，留下“主成分”
四是列入体系的指标要有适当的贡献。看到过一个指标设计，其中好几个在绝大多数情况下都是零，或是常数，就对指标想要“代理”的概念（往往是相对值）没有贡献。有人担心“不准确”，所以把体系搞得非常复杂，许多指标，还有一级二级，不仅指标越多越不准确（误差会放大），好的指标体系越简单越好，尽量把没有贡献或贡献不大的指标剔除才是本事。