- 伯努利分布:如果变量X服从伯努利分布 Ber(p) ,那么 X只有两种取值,记为{0,1},有:
- 二项分布:如果变量X服从二项分布B(n,p) ,那么X有 n + 1 种取值,有:
- categorical 分布:类别分布,范畴分布。 如果变量 X服从Categorical分布Cat(α1,α2,...,αk) ,其中满足 α从1到k求和=1 ,那么 X有 k 种取值,有一般,服从categorical分布的变量都是一个向量,而且是一个one-hot编码的形式。一个向量形式的变量X服从多项分布multi(n,α1,...,ak),且α从1到k求和为1,则X是一个长度为k的向量。并且向量从1到k求和=n,有:利用gumbel-max 技巧获得categorical的采样过程:假设现在有一组非归一化的参数(α1,α2,...,αk) ,通过这些数来采样一个One-hot形式的样本x,需要满足的条件:
- 将αi归一化得到pi
- 计算累计概率分布CDF,即(p1,p1+p2)
- 多项分布:
-
举例说明这些分布的关系:
-
将一个小球放入两个桶,记变量X为第一个桶里面有的小球个数,那么只有 0 个或者 1 个,所以是服从伯努利分布;
-
将 n 个小球放入两个桶,记变量X为第一个桶里面的小球个数,那么最少可能有 0 个,最多可能有 n 个,所以服从二项分布;
-
将一个小球放入 k 个桶,记变量X为 k 个桶内的小球个数,所以是一个向量,并且是One-hot的形式,因为这个小球只能在一个桶里面,所以是服从Categorical分布;
将 n 个小球放入 k 个桶,记变量 X为 k 个桶内的小球个数,是一个向量,并且向量元素的和为 n,所以是服从多项分布。 -
可以看出多项分布是其余三个分布的广义形式。将 n 设置为 1 即得到Categorical分布;将 k 设置为 2 即得到二项分布;将 n 设置为 1, k 设置为 2 得到伯努利分布。
-