统计学必知！「标准差&方差」之间不得不说的关系

统计学必知！「标准差&方差」之间不得不说的关系

|作者

博客园|来源

标准差 ( )

简单地说，标准差是衡量一组值相对于平均值的散布程度的指标。较大的标准差意味着大多数值与均值显着不同，较小的标准差意味着大多数值更接近均值。

例如：

两组数字{0,5,9,14}和{5,6,8,9}的平均值是7，但第二组的标准差更小。

标准差可以被认为是不确定性的度量。在物理科学中，当进行重复测量时，一组测量值的标准差代表了这些测量的准确性。测量值的标准差在决定测量值是否与预测值相符时起着决定性作用。如果测量平均值与预测值相差太远（与标准偏差值相比），则称测量值和预测值相互矛盾。这很容易理解，因为如果测量值都落在一定的值范围之外，就可以合理地推断预测值是否正确。

标准差应用于投资，作为回报稳定性的衡量标准。标准差值越大，说明收益与过去的平均值相距较远，收益稳定性较差，风险也较高。相反，标准差值越小，收益越稳定，风险越小。

例如：

A、B组各有6名学生，参加相同的汉语考试。 A组成绩分别为95、85、75、65、55、45

B组成绩分别为73、72、71、69、68、67

两组的均值均为 70，但 A 组的标准差为 17.078 分，B 组的标准差为 2.160 分，表明 A 组学生之间的差距远大于 B 组学生之间的差距。

方差（）

他们的5项测试成绩如下：

A: 50, 100, 100, 60, 50-->(A) = 72

B: 73, 70, 75, 72, 70 --> (B) = 72

平均成绩相同，但A不稳定，高于平均成绩。

方差描述随机变量偏离数学期望的程度

您可以看到方差是标准差的平方

除了期望之外，()是另一个常见的分布描述量。如果期望代表分布的中心位置，那么方差就是分布的离差。方差越大，随机变量的值越离散。

例如射箭，优秀的选手可以将弓箭集中在目标点附近，而经验不足的选手则更容易将弓箭分散在很多地方。

上面的目标上有两组着陆点。虽然两组着陆点的平均中心位置都在原点（即期望相同），但两组着陆点的离散度明显不同。蓝点分布较少。

在数学上，我们使用方差来表示一组数据的分散度或概率分布。可以看出，方差是独立于期望的分布的另一种度量。两个分布完全有可能具有相同的期望但不同的方差，就像我们上面的箭头目标一样。

对于随机变量 XX，其方差为： Var(X)=E[(X−μ)2]Var(X)=E[(X−μ)2]

其中，μμ表示XX的期望值，即μ=E(X)μ=E(X)

我们可以替换所需的数学表达式。

例如，连续随机变量： Var(X)=E[(X−μ)2]=∫+∞−∞(x−μ)2f(x)dxVar(X)=E[(X−μ)2] =∫−∞+∞(x−μ)2f(x)dx

方差概念背后的逻辑很简单：一个值与期望值的“距离”表示为两者之差的平方。平方值代表该值与分布中心的偏离程度。平方的最小值为0。当该值与期望值相同时，此时不是离散的。平方为0，即“距离”最小；当随机变量偏离期望值时，平方增大。由于数值是随机的，不同数值的概率不同，我们根据概率对平方平均值进行加权，得到整体的分散程度——方差。

方差的平方根称为标准差 (std)。我们常用σσ来表示标准差。 σ=Var(X)−−−−−−√σ=Var(X)

标准差还表明分布的分散程度。

正态分布的方差

根据上面的定义，可以计算出正态分布：

E(X)=1σ2π−−√∫+∞−∞xe−(x−μ)2/2σ2dxE(X)=1σ2π∫−∞+∞xe−(x−μ)2/2σ2dx

方差为： Var(X)=σ2Var(X)=σ2

正态分布的标准差等于正态分布中的参数 σσ。这正是我们使用字母 σσ 来代表标准差的原因！

可以预见，正态分布的σ越大，分布离散度就越大，从下面的分布曲线可以看出：

当方差较小时，曲线下的面积更加集中在期望值 0 附近。当方差较大时，随机变量更加离散。这时，分布曲线的“尾巴”就很粗了。即使当该值距离0很远时，例如当x=4x=4时，仍然有很大的概率可以获得。

代码如下：

# By Vamei

from scipy.stats import normimport numpy as npimport matplotlib.pyplot as plt

# Note the difference in "scale"， which is stdrv1 = norm(loc=0， scale = 1)rv2 = norm(loc=0， scale = 2)

x = np.linspace(-5， 5， 200)

plt.fill_between(x， rv1.pdf(x)， y2=0.0， color="coral")plt.fill_between(x， rv2.pdf(x)， y2=0.0， color="green"， alpha = 0.5)

plt.plot(x， rv1.pdf(x)， color="red"， label="N(0，1)")plt.plot(x， rv2.pdf(x)， color="blue"， label="N(0，2)")

plt.legend()plt.grid(True)

plt.xlim([-5， 5])plt.ylim([-0.0， 0.5])

plt.title("normal distribution")plt.xlabel("RV")plt.ylabel("f(x)")

plt.show()

指数分布的方差

指数分布的表达式为：f(x)={λe−λ≥0x

其方差为：Var(X)=1λ2Var(X)=1λ2

如下图：

不等式

我们一直强调标准差（和方差）表示分布的离散程度。标准差越大，随机变量的值偏离均值的可能性就越大。如何从数量上解释这一点？我们可以计算随机变量偏离期望超过一定量的可能性。例如偏差超过2个标准差的可能性。即 P(|X−μ|>2σ)P(|X−μ|>2σ)

该概率取决于分布本身的类型。例如，对于正态分布 N(0,1)N(0,1)，该概率是 x 大于 2 或 x 小于 -2 的部分对应的曲线下面积：

事实上，无论μμ和σσ如何取值，对于正态分布，偏离期望超过两个标准差的概率是相同的，约等于0.0455（可以根据表达式计算）正态分布）。随机变量的值大约有 95.545% 的概率落在正负两个标准差的区间内，即从 -2 到 2。如果我们放大区间，例如正负三个标准差，则概率超过99%。我们可以有理由相信随机变量将落在正负三个标准差范围内。上述讨论并不取决于标准差的具体值。这里可以看出用标准差衡量的“离差”的真正含义：如果以同样的概率取一个极值区间，比如上面的0.0455，标准差越大，极值区间离中心越远价值。

然而，上述计算和表达式取决于分布类型（正态分布）。方差的类似含义如何应用于其他随机变量？

不平等使我们摆脱了对分配类型的依赖。其叙述如下：

换句话说，X的值超过两个正负标准差的概率最多为25%。换句话说，随机变量至少有 75% 的概率落在正负两个标准差内。 （显然这是“最坏”的情况。正态分布显然不是“最坏”的）

绘图代码如下：

from scipy.stats import normimport numpy as npimport matplotlib.pyplot as plt

# Note the difference in "scale"， which is stdrv1 = norm(loc=0， scale = 1)

x1 = np.linspace(-5， -1， 100)x2 = np.linspace(1， 5， 100)x = np.linspace(-5， 5， 200)plt.fill_between(x1， rv1.pdf(x1)， y2=0.0， color="coral")plt.fill_between(x2， rv1.pdf(x2)， y2=0.0， color="coral")plt.plot(x， rv1.pdf(x)， color="black"， linewidth=2.0， label="N(0，1)")

plt.legend()plt.grid(True)

plt.xlim([-5， 5])plt.ylim([-0.0， 0.5])

plt.title("normal distribution")plt.xlabel("RV")plt.ylabel("f(x)")

plt.show()

MAD绝对中位数

中位数：一个统计术语，指将统计总体中的变量值按大小顺序排列，形成一个序列。位于变量序列中间的变量值称为中位数。

MAD：首先求给定数据的中位数（注意不是均值），然后求原序列的每个值与中位数的绝对差，然后新序列的中位数就是MAD。

例如：

数据 A：8、5、9、6、3、2、4、92、3、4、5、6、8、9

中位数 = 5

A - 5 = 3, 0, 4, 1, 2, 3, 1, 40, 1, 1, 2, 3, 3, 4

疯狂=2

总结

我们引入了一个新的分布描述量：方差 --> 用于表达分布的离散程度：