概率定义与基本概念
概率是描述随机事件发生几何可能性的数值，通常用P(A)表示，其中A代表某个特定的事件。它是一个数值，范围在0到1之间，其中0表示事件不可能发生，而1则意味着事件一定会发生。然而，在实际应用中，我们更常用一个称为频率的量度来估计概率，即通过观察重复进行相同实验多次得到的结果比例。
乘法原理与独立性
在两个或多个独立事件同时发生时，可以使用乘法原理来计算总体概率。该原理表明，如果有n个互不相干的事件，每个都有已知的单独概率p1, p2, … , pn，那么这些事件同时发生的总体概率就是所有单独概率之积：
[ P(A_1 \cap A_2 \cap \dotsb \cap A_n) = P(A_1) \times P(A_2) \times \dotsb \times P(A_n) = p_1p_2\dotsb p_n.]
例如，如果你扔一枚公平骰子两次，并且想要知道一次获得双六（6）和下一次也获得双六这两个结果同时出现的情况，你可以这样计算：
[ P(\text{第一次掷出6}|\text{第二次掷出6}) = 1/6\times 1/6= 1/36.]
条件概论与贝叶斯定律
当我们对一个已经观察到的数据集或历史信息感兴趣时，就会涉及条件推断。在这种情况下，我们需要考虑一些先验知识或者说是基于过去经验得出的假设，这种方法被称为条件推断。贝叶斯定律提供了更新后验分布给定新信息的一种方式，它允许我们根据新的证据调整我们的信念。
[ P(H|E)=\frac{P(E|H)\cdot P(H)}{P(E)},]
其中H是某项假设，E是观测到的证据，(P(E|H))、(P(H))、(P(E))分别代表证据给定假设下的似然、先验信念以及证据本身的先验可能性。
连续型随机变量及其分布
连续型随机变量具有无限数量可能取值，每个点都有零确定性。这类变量的一个重要特征是它们遵循特定的统计分布，如正态分布、指数分布等。正态分布是一组以均值（均数）和标准差（离散程度）参数化，以高斯曲线形状所示，其累积分配函数（CDF）由以下公式给出：
[ F(x)=\Phi\left(\frac{x-\mu}{\sigma}\right),]
其中x为可测值，μ为平均值，σ为标准差，而Φ()函数即归一化累积密度函数，用来衡量落在区间[−∞, x]内样本中的部分区域占比。
极大似然估计与最大熵原则
极大似然估计是一种用于参数估计方法，它旨在找到那些使得数据最符合理论模型预期模式的一组参数。在最大似然估计中，我们寻找的是使得真实世界产生观察到的数据集合可能性最大的参数设置，即使这个集合对于其他任何设置来说都是“最不可能”的。
另一方面，最小熵原则指出了，当没有额外信息时，最合理的情况应当选择一种具有最高不确定性的状态，因为它包含了最少关于系统行为的具体细节。当能否做出准确预测完全取决于当前可用的信息时，该策略将导致系统表现最佳。此处谈论的是在没有偏见或主观判断的情况下处理未知事物的问题领域中所采取的一种哲学立场。