一、一个漂亮的结果

这一讲要回答的问题是:前面三讲的方法在理论上无懈可击,为什么在实践中常常让人失望?

先看一个场景。

你学完了有效前沿,决定动手试一试。你下载了美国股票、海外股票和债券三只基金过去十年的年度收益,算出了它们的平均收益、波动率和相关系数,输入一个组合优化软件。软件很快给出了答案:

  • 最优组合:0% 美国股票、85% 海外股票、15% 债券。
  • 预计夏普比率:0.72。

0.72!第七讲说过,美国股票近一百年的夏普比率只有 0.43 左右。这个组合几乎是它的两倍。你很兴奋,准备照着做。

先别急。这一讲会告诉你,这个看起来很漂亮的结果,很可能是一个陷阱。而且这不是软件的问题,也不是你算错了,问题出在最优化这件事本身。

二、照着有错的地图开车

打个比方。你在一个陌生的城市开车,用导航软件找最快的路线。

导航软件做的事情很简单:它查看地图上每一条路的长度和限速,算出每条路线需要多长时间,然后选出最快的那一条。它非常聪明,也非常听话:地图上写什么,它就信什么。

现在假设这张地图有一些错误。大部分路的数据是对的,但有几条路的长度被标错了:有的标长了,有的标短了。

导航会怎么做?它会被那些被标短了的路吸引。一条实际上要走 20 分钟的小路,地图上只标了 8 分钟,导航一看,这是全城最快的捷径,于是把你引过去。结果你在小路上堵了半个小时。

这里的关键在于:导航不是随机地犯错。它专门挑那些看起来好得不寻常的路,而看起来好得不寻常的路,恰恰最可能是地图标错了的路。

组合优化器就是那个导航软件。它会严格按照你输入的期望收益、波动率和相关系数,找出"最好"的组合。可这些输入都是估计出来的,都有误差。优化器会专门挑那些估计值碰巧被高估得最多的资产,然后把大量的钱押上去。

这个比方后面会回来好几次。

三、输入差一点,权重差很多

3.1 改动半个百分点

先看看优化器对输入有多敏感。

回到第十二讲的三只基金:美国股票 9%、18%,海外股票 9%、21%,债券 4.5%、7%,国库券 3%。按这些数字,最优的风险组合(切点组合)是 31% 美股、10% 海外股、59% 债券。

现在只改动期望收益率,而且只改动半个百分点,看看最优组合会怎样变化(波动率和相关系数都不变):

输入的期望收益率(美股 / 海外股 / 债券) 最优组合(美股 / 海外股 / 债券)
9% / 9% / 4.5%(原来) 31% / 10% / 59%
9.5% / 8.5% / 4.5% 43% / 0% / 57%
8.5% / 9.5% / 4.5% 18% / 21% / 61%
9% / 9% / 5.0% 24% / 8% / 68%
9% / 9% / 4.0% 41% / 12% / 47%

只是把美股和海外股的期望收益各挪了半个百分点,海外股票的比例就从 0% 跳到了 21%,美股的比例从 43% 跳到了 18%。只是把债券的期望收益挪了半个百分点,债券的比例就从 47% 跳到了 68%。

⚠️ 半个百分点是什么概念?第七讲算过,就算用近一百年的数据,股票风险溢价的估计误差也有正负 2 个百分点左右。半个百分点远远小于任何人能达到的估计精度。换句话说,你对期望收益的估计里随便一点小小的误差,都足以让最优组合面目全非。

3.2 为什么会这么敏感

原因在于美股和海外股太像了:期望收益一样,相关系数高达 0.75。对优化器来说,它们几乎是可以互相替代的。

两样东西几乎可以互相替代时,只要其中一个看起来稍微好一点点,优化器就会倾向于把另一个换掉。回到导航:如果两条平行的路几乎一样长,地图上一条标了 10 分钟、另一条标了 10.5 分钟,导航会毫不犹豫地把所有车都引到那条 10 分钟的路上。它不会想到,这 0.5 分钟的差别可能只是测量误差。

四、赢家的诅咒

4.1 看起来最好的,往往是被高估最多的

导航被标短的小路吸引,背后有一个更普遍的规律,值得单独讲清楚。

假设有 10 只基金,它们的真实期望收益率全都是 8%,没有任何一只比别的更好。但你不知道真实值,只能从历史数据里估计。每只基金的估计都有误差,误差大约是正负 3 个百分点,有的被高估,有的被低估。

你把 10 只基金按估计出来的期望收益排序,挑出最高的那一只。它的估计值会是多少?

不是 8%。10 个随机误差里最大的那一个,平均来说大约是 1.54 倍的误差幅度。所以排名第一的那只基金,估计出来的期望收益率平均约为 8% + 1.54 × 3% ≈ 12.6%。

而它的真实期望收益率,和其他 9 只一样,还是 8%。

这叫赢家的诅咒:在一群有估计误差的候选者里挑出"看起来最好"的那个,你挑出来的东西,平均来说一定被高估了。你挑选得越用力(候选者越多、越只看估计值),这个高估就越严重。

4.2 优化器就是一个高效的挑选者

组合优化器做的正是这种挑选:它在所有可能的组合里,找出估计的夏普比率最高的那一个。所以它找到的组合,估计的夏普比率几乎一定高于真实的夏普比率。

开头那个软件给出的 0.72,就是这样来的。不是这个组合真的那么好,而是在十年的数据里,某些资产碰巧表现得特别好,优化器把它们找了出来,然后把它们碰巧的好运当成了未来的期望。

有研究者把均值-方差优化器戏称为误差最大化器,说的就是这个意思:它不是在最大化你的收益,而是在最大化你输入里的误差。

五、1,000 次模拟

5.1 做一个实验

上面的道理听起来有说服力,但到底有多严重?可以做一个实验来看。

实验的思路是这样的:

  1. 先规定一个"真实世界":三只基金的真实参数,就是第十二讲那组数字(美股 9%、18%,海外股 9%、21%,债券 4.5%、7%,相关系数 0.75、0.1、0.05)。在这个世界里,真正的最优组合是 31% / 10% / 59%,真实的夏普比率约是 0.385。
  2. 模拟一段历史:按照这些真实参数,随机生成三只基金十年的年度收益。这就像是"在这个世界里,你碰巧经历的那十年"。
  3. 像你一样做优化:用这十年的数据估计期望收益、波动率和相关系数,输入优化器(不允许卖空),找出"最优组合"。
  4. 用真实参数检验:把优化器找到的组合,放回真实世界,算出它真实的夏普比率。
  5. 把第 2 到第 4 步重复 1,000 次,相当于有 1,000 个平行世界里的你,每个人都碰上了不同的十年。

我用计算机把这个实验做了一遍(文章里不放代码,但所有数字都是真实算出来的)。

5.2 结果

结果
优化器估计的夏普比率,1,000 次平均 0.641
优化器找到的组合,真实的夏普比率,1,000 次平均 0.322
真正的最优组合,真实的夏普比率 0.385
三只基金各放 1/3,真实的夏普比率 0.358

几个结论:

优化器严重高估了自己。 它平均以为自己能拿到 0.641 的夏普比率,实际上只有 0.322,高估了一倍。开头那个 0.72,就是这种高估的一个典型例子。

按数据优化出来的组合,比什么都不想的"各 1/3"还差。 1,000 次里有约 79%,优化器找到的组合真实表现不如简单地三只基金各放 1/3。花了大力气做优化,结果大多数时候不如一个小学生都会的分法。

优化出来的组合常常极端。 1,000 次里约有 52%,优化器把 80% 以上的钱放在了某一只基金上。约有 29% 的情况,它完全不放债券;约有 45% 的情况,它完全不放海外股票。而真正的最优组合是三样都有的。

5.3 为什么十年不够

问题的根源,在于十年的数据里,平均收益的估计误差有多大。

美股的真实波动率是 18%,用十年数据估计平均收益,误差大约是 18% ÷ √10 ≈ 5.7%。在 1,000 次模拟里,美股的十年平均收益从 −7% 到 26% 都出现过。真实值是 9%,但你碰上的十年,可能让它看起来像 −7% 的烂资产,也可能看起来像 26% 的神奇资产。

而三只基金之间的真实差别只有几个百分点。用一把误差 5.7% 的尺子去量几个百分点的差别,量出来的主要是噪声。导航用的地图上,每条路的长度都可能错上一半,它找出来的"最快路线"当然不可靠。

六、怎样让优化器少犯错

既然问题出在输入的误差上,解决办法也就围绕着一个思路:不要完全相信地图。 下面是几种常见的做法。

6.1 给权重加上限

最简单的办法是规定:任何一只资产的比例都不能超过某个上限。在模拟里,规定"单只最多 50%",优化器的组合真实夏普比率平均从 0.322 提高到了 0.356,和"各 1/3"差不多。

为什么有用?优化器最大的问题是把大量的钱押在估计被高估的资产上。加上上限,就限制了它在任何一条"可疑的捷径"上押太多。回到导航:你告诉它,任何一条小路都不能走超过一半的路程,它就没法把你完全引到那条被标错的小路上去。

6.2 把期望收益往常识上拉

第二种办法是:不要直接用历史平均收益,而是把它和一个"常识性的"估计混合起来。比如,你相信长期来看股票的期望收益大约是 8.5%、债券大约是 4%,就用"四分之一的历史平均 + 四分之三的常识估计"作为输入。

这叫收缩:把估计值往一个更可信的中心收缩,减少极端值。在模拟里,这样做让真实夏普比率平均提高到了 0.350。

收缩的效果取决于你的"常识"靠不靠谱。如果你收缩的方向本身就错了,效果可能会打折扣。

一种更系统的做法是:用市场本身作为常识。 第十五讲会讲到,如果所有投资者都用均值-方差方法,那么市场组合本身就应该是最优的。于是可以反过来推算:市场组合要成为最优组合,各种资产的期望收益应该是多少?用这组推算出来的期望收益作为出发点,再根据自己确实有把握的观点做一些调整。这个方法由高盛的 Fischer Black 和 Robert Litterman 在 1990 年代初提出,叫布莱克-利特曼模型,现在在机构投资者中被广泛使用。

6.3 干脆不用期望收益

第三种思路:既然期望收益最难估计,那就干脆不用它。

最小方差组合只需要方差和协方差,不需要期望收益。第十三讲说过,协方差比平均收益好估计得多。不过在这个模拟里,最小方差组合几乎全是债券,真实夏普比率平均只有 0.301,比直接优化还低。原因是它完全不考虑收益,在这个例子里,债券的收益确实明显更低。最小方差组合在资产之间期望收益差别不大的时候(比如在一大堆股票之间挑选)效果更好。

等权重更彻底:每样资产放一样多,什么都不估计。它看起来很幼稚,但在模拟里,它比直接优化好了 79% 的时候。2009 年,三位研究者 DeMiguel、Garlappi 和 Uppal 用多组真实数据,比较了十几种复杂的组合优化方法和简单的等权重方法,发现在样本外,没有一种复杂方法能稳定地打败等权重。

6.4 把结果放在一起看

1,000 次模拟:不同做法在真实世界里的平均夏普比率

做法 真实夏普比率的平均值
知道真实参数时的最优组合 0.385
三只基金各 1/3 0.358
优化,但单只最多 50% 0.356
优化,期望收益向常识收缩 0.350
直接按十年数据优化 0.322
最小方差组合 0.301

(“知道真实参数时的最优组合"在现实中是做不到的,它只是一个参照:如果你有一张完全正确的地图,最好能做到多少。)

七、这对你意味着什么

讲了这么多优化器的问题,并不是说前面三讲的道理错了。分散是有价值的,相关系数是重要的,夏普比率是比较组合的正确标准,分离定理也是成立的。错的是把一个从有限数据里算出来的精确答案,当成真理去执行。

对个人投资者来说,这一讲有几个很实际的含义:

不要相信过于精确、过于漂亮的回测结果。 一个基于历史数据优化出来、夏普比率高得惊人的组合或策略,最可能的解释是它找到了历史数据里的偶然,而不是未来的规律。

简单、分散的组合往往比"最优"组合更可靠。 按大类资产做一个合理的、分散的比例,比如股票和债券各占多少、美国和海外各占多少,然后长期坚持,常常比根据最新数据不断"优化"更好。

你最没把握的数字,是期望收益。 波动率和相关系数可以从数据里估计得相对靠谱(虽然它们也会变,第十一讲讲过股债相关系数的变化),但期望收益的估计几乎总是充满噪声。任何一个对期望收益输入非常敏感的决定,都要格外小心。

低成本的市场组合是一个很好的起点。 下一讲会讲到,在某些条件下,整个市场组合本身就是最优的风险组合。它不需要你估计任何期望收益,也就没有这一讲讲的那些问题。

八、几个容易混淆的地方

“优化软件算出来的结果就是最优的。” 它只是在你输入的那些估计值下最优。输入有误差,结果就会被误差带偏,而且偏向被高估的那些资产。

“数据越多越好,用十年的数据就够准了。” 对平均收益来说,十年远远不够。年波动率 18% 的资产,十年数据估计的平均收益误差约为正负 5.7 个百分点。

“优化器估计的夏普比率很高,说明这个组合很好。” 赢家的诅咒意味着,优化器挑出来的组合,估计值几乎一定高于真实值。

“等权重太简单了,不可能比优化好。” 在估计误差很大的情况下,等权重往往比根据历史数据直接优化更好。

“这一讲说明组合理论是错的。” 不是。理论本身是对的,问题在于实践中的输入估计。解决办法是承认误差、限制优化器的自由度,而不是放弃分散和风险收益权衡的思想。

九、小结

回到开头那个夏普比率 0.72 的"最优组合”:它很可能只是优化器在十年数据里找到的偶然。

  • 组合优化器像一个照着有错的地图开车的导航:它完全相信输入,专门挑那些看起来好得不寻常的选项,而这些选项最可能是被高估的。
  • 最优组合对期望收益的输入极其敏感。 输入改动半个百分点,权重就可能从 0% 跳到 20% 以上,而期望收益的估计误差远远大于半个百分点。
  • 赢家的诅咒:在一群有误差的候选者里挑"看起来最好"的那个,挑出来的平均一定被高估了。
  • 在 1,000 次模拟里,按十年数据优化出来的组合,估计夏普比率平均 0.641,真实只有 0.322;约 79% 的情况不如三只基金各放 1/3;约一半的情况把 80% 以上的钱押在一只基金上。
  • 减少误差的办法:给权重加上限、把期望收益向常识收缩(包括用市场组合反推,即布莱克-利特曼模型)、等权重。它们的共同思路是:不要完全相信地图。
  • 对个人投资者:不要相信过于漂亮的回测,简单分散的组合往往更可靠,低成本的市场组合是一个很好的起点。

思考题

  1. 一只基金的年波动率是 15%,你用 20 年的数据估计它的平均收益。估计误差大约是多少?要让误差降到正负 1 个百分点,需要多少年的数据?
  2. 有 20 只基金,真实期望收益率都是 7%,每只的估计误差都是正负 4 个百分点。20 个随机误差里最大的那个,平均约是 1.87 倍的误差幅度。你挑出估计值最高的那只,它的估计期望收益率平均是多少?真实是多少?
  3. 第三节的表里,为什么改动美股和海外股的期望收益,比改动债券的期望收益,对权重的影响更"剧烈"(一个直接降到 0%)?
  4. 一位理财顾问给你看了一个组合,他说:“这是用过去 5 年的数据优化出来的,回测年化收益 18%,夏普比率 1.2,最大回撤只有 6%。“根据这一讲,你会问他哪些问题?
  5. 你打算给自己的退休账户定一个股票和债券的比例。结合这一讲,你认为应该更依赖"用过去 10 年数据精确优化出来的比例”,还是"一个根据自己风险承受力定下的、简单的比例”?为什么?

思考题提示

  1. 20 的平方根约 4.47,误差约 15% ÷ 4.47 ≈ 3.4%。要降到 1%,需要 (15 ÷ 1)² = 225 年。
  2. 估计值平均约 7% + 1.87 × 4% ≈ 14.5%。真实值仍然是 7%。高估了一倍多。
  3. 美股和海外股的期望收益相同、相关系数很高,对优化器来说几乎可以互相替代,一个稍微好一点,另一个就会被大量换掉。债券和股票的相关系数很低,它们不是替代品,而是互补的,所以改动债券的期望收益只会让它的比例按程度增减,而不会被完全替换掉。
  4. 可以问:优化时用了多少只资产?有没有限制单只的比例?5 年的数据里,平均收益的估计误差有多大?这个组合在优化所用的数据之外的时期表现如何(样本外检验)?最大回撤只有 6%,是不是因为这 5 年里没有发生过大的危机?如果把期望收益稍微改动一点,最优组合会变成什么样?
  5. 更依赖后者。10 年数据估计期望收益的误差很大,精确优化出来的比例很可能只是反映了那 10 年的偶然。根据自己的风险承受力定一个简单的比例(参考第九讲的方法,但不过分依赖精确的输入),并长期坚持,更不容易被估计误差带偏。