概率转换

概率分布变换

定理

给定关于随机变量 的PDF(概率密度函数) ，如果随机变量之间满足关系 , 严格单调且可导，则有

$$f_Y(y)=\frac{f_X(x)}{|g'(x)|}$$

，其中 。

证明

因为 严格单调，所以 有反函数 ；由于 可导，则 也可导。

令 的CDF(累积分布函数) 为 ，有

$$F_Y(y) = P(Y\leq y)= P(g(X)\leq y)$$

由于 满足严格单调性，不妨假设 严格单调增，不等式两边同时套函数 ，所以有

$$P(g(X)\leq y) = P(X\leq h(y)) = F_X(h(y))$$

即

$$F_Y(y) = F_X(h(y))$$

等式两边同时对 求导

$$LHS=\frac{\partial F_Y(y)}{\partial y} = f_Y(y)$$ $$\begin{array}l RHS & = & \frac{\partial F_X(h(y))}{\partial y} \\ & = & \frac{\partial F_X(h(y))}{\partial h(y)}\cdot \frac{\partial h(y)}{\partial y}\\ & = & f_X(h(y))\cdot h'(y) \end{array}$$

即

$$f_Y(y)=f_X(h(y))\cdot h'(y)$$

当 严格单调递减时，类似地可得

$$f_Y(y)=f_X(h(y))\cdot -h'(y)$$

由于 单调减时，其反函数 也单调减，所以 ， 仍然非负。

综上所示，有

$$f_Y(y)=f_X(h(y))\cdot |h'(y)|$$

换元，令 ，则 ，则

$$f_Y(y)=\frac{f_X(x)}{|g'(x)|}$$

CDF是均匀分布

定理

对于任意随机变量 ，定义其 CDF 的随机变量为 ，则 服从 上的均匀分布。

证明

由于CDF严格单调增，且可导，由概率密度转换公式有

$$f_Y(y)=\frac{f_X(x)}{|F_X'(x)|}=\frac{f_X(x)}{|f_X(x)|}=1$$

且概率密度函数只在 上不为0，因此 。

应用：任意分布转均匀分布

对于给定的任意采样结果，计算其在 CDF 中对应的值，将其作为新的采样结果，所得新的采样即是在均匀分布上的采样。

• 给定所需转换的分布的 CDF 函数
• S1: 在任意分布上采样得到样本
• S2: 计算 CDF 得到
• S3:

应用：均匀分布转任意分布

类似任意分布转均匀分布，仅需将变换改为 CDF 的反函数即可。

• 给定转换得到的分布的 CDF 函数
• S1: 在均匀分布上在采样
• S2: 代入 CDF 的反函数得到
• S3: 即服从所需分布