情报评论 admin on 25 Mar 2009 11:25 pm
失真的数据和电影里的商业间谍
标题有点哗众取宠，实际是把最近几天在报纸上看到的与情报有关的两则消息放在一起了。
刚刚讲过定量分析的问题，就看到“汽车统计数据失真背后”（《经济观察报》2009年3月23日 33-4版）一文http://www.eeo.com.cn/industry/real_estate/2009/03/25/133347.shtml (缺表格)。 从事调查咨询的人早就知道这等怪事，比如海关数据，你正规去要那是秘密，但是有些“咨询公司”手上有，而且是真的，不是诈骗，当然要大价钱。这回明白了，原来各式用户为了得到本来是公共财产的汽车牌照数据，正在为“主管部门”的奖金做贡献呢！这个暂且不论，记者的调查让我们看到了数据可靠性问题。听左之说有些大的外商咨询公司居然自己来做中国经济的一些基础数据（推算、分析），不是问题严重，谁愿意花费那么大代价？
在情报分析中，不少人，特别是年轻一点学历高的，大多以为定量方法比定性方法好，见到年长的重视定性，嘴上不说，心里想“你们不懂罢了”。说得是有些道理，确实老些的较少接受过有关专业训练，真正做过定量的才真正知道定量的问题在那里，其中数据失真就是其中重要部分，还有对方法没有真正理解，结果是使用不当。
数据失真具有普遍性，看了这个例子，天下不会从此变得更美好，但是分析师可以从中（表格电子版上没有，可以看报纸34版）看出企业多报或少报的一些原因，对于以后判断有很大好处，比如国家统计局经常对各地上报数据“微调”，不排除有“政治正确”式的作假，但是我觉得即使不这样，调整有时也是必要的，据公布的情况，国有企业因为要政绩往往多报，而民营企业为了逃税往往少报。
数据挖掘中有个环节叫做“数据清洗”，以上这样的调整分析可以当作另类“清洗”。
另外在《环球时报》2009年3月24日12版上读到一条“大嘴美女”Julia Roberts消息，她主演的电影“口是心非（Duplicity）”最近在美国热映，这部片子讲一对原来分别美国CIA和英国MI6做特工的男女后来都为大公司做商业间谍（我猜想就是做竞争情报，媒体喜欢说成商业间谍），他们相恋，但背后的公司却是竞争对手，所以有了戏。为什么在这里为这个电影做广告因为这真是西方世界企业情报的现实，许多大公司的情报主管确实来自这些国家情报机关，业内有名的如Jan Herring就是一例，还有《财富》杂志前几年有篇长文章报道因伊拉克战争的情报失误成为牺牲品的一位前CIA研究女主管被迫退休转到某大公司，成为杰出的企业情报首脑。至于看电影来认识国外企业情报活动，当然有娱乐、学习两不误的企图，国外有些大片（以及其背后的大作）往往是作者深入调查的产物，例如一些畅销小说家亚瑟.黑利，政治侦探小说家福塞斯，和法律小说家格里森等，都是以准确描述细节著称，我们平时看“严肃”作品看不到的细节在文艺作品中可以看到。例如我就是看了《译林》上一篇格里森的小说，对硅谷高技术小企业被收购有了全景式的了解，这对我的理解美国技术创新是有很大好处的。又因为看了以这个作者小说改编的影片，后来去买了他几乎全部的小说简装本（大部进口版，个别出国时补，还缺1本），但是啃下来发现他最近几年的小说并没有那么好看。
on 26 Mar 2009 at 09:31 1.zzz0130 said …
以前我们曾为数据缺乏所困，如今我们为数据失真烦恼。后者比前者问题更大。
80年代末90年代初是中国定量分析的顶峰。宋健能当上国家科委主任与他那较为成功预测中国人口发展的模型有关吧？