随机变量的期望算子定义为
这个算子非常有用，我们可以用它来推导出随机变量的矩。
矩是一个包含有关随机变量的一些信息的数值。随机变量的n-矩定义为
随机变量的平均值或“平均值”定义为随机变量的一阶矩
我们将使用希腊字母μ来表示随机变量的平均值。
中心矩类似于矩，但它也依赖于随机变量的平均值
一阶中心矩始终为零。
随机变量的方差定义为二阶中心矩
方差的平方根，σ，被称为随机变量的标准差
随机变量的平均值和方差可以由以下公式关联
这是一个重要的函数，我们将在后面使用它。
随机变量 X {\displaystyle X} 的熵定义为
![{\displaystyle E[x]=\int _{-\infty }^{\infty }xf_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2b58e848d8e4a19c925ee5f8df3d9116c3492857)
![{\displaystyle E[x^{n}]=\int _{-\infty }^{\infty }x^{n}f_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e5c9508417239f7295b9d855ed46855f7fbae4c3)
![{\displaystyle E[x]=\mu _{X}=\int _{-\infty }^{\infty }xf_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/df58e6fb7c5930266820f0914979bc4b100d6421)
![{\displaystyle E[(x-\mu _{X})^{n}]=\int _{-\infty }^{\infty }(x-\mu _{X})^{n}f_{X}(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c78992ed4177626630e33fcda5c2840d085628c9)
![{\displaystyle E[(x-\mu _{X})^{2}]=\sigma ^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5487e3cff8e4f6a49b7806947dd24546331c9998)
![{\displaystyle \sigma ^{2}=\mu ^{2}+E[x^{2}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/afa26e70577291acb68de4c96271a582897254de)
的熵定义为![{\displaystyle H[X]=E\left[{\frac {1}{p(X)}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9ff9a80efbfd1c426a2d259c7ef8ffbcf89c29e4)
