2.5 课后习题

1、 考虑对于一个一维的两类问题，采用下列判定规则： 如果 \(x>\theta\)，则判为 \(\omega_{1}\)，否则判为 \(\omega_{2}\)。

1. 证明此规则下的误差概率为

   \[P(\text { error })=P\left(\omega_{1}\right) \int_{-\infty}^{\theta} p\left(x | \omega_{1}\right) d x+P\left(\omega_{2}\right) \int_{\theta}^{\infty} p\left(x | \omega_{2}\right) d x\]

2. 通过微分计算，证明最小化 \(P(error)\) 的一个必要条件是 \(\theta\) 满足

   \[p\left(\theta | \omega_{1}\right) P\left(\omega_{1}\right)=p\left(\theta | \omega_{2}\right) P\left(\omega_{2}\right)\]

3. 此式可以唯一确定\(\theta\) 吗？

4. 给出一个例子，说明满足此式的一个 \(\theta\) 事实上有可能使误差概率最大化。

2、 假设我们将确定的判别函数 \(\alpha(\mathbf{x})\) 用一个随机规则替换，也即当观察\(x\)时所采取的行为 \(\alpha_{i}\)是随机的，其概率为\(P\left(\alpha_{i} | \mathbf{x}\right)\)。

1. 证明所得的风险为

   \[R=\int\left[\sum_{i=1}^{a} R\left(\alpha_{i} | \mathbf{x}\right) P\left(\alpha_{i} | \mathbf{x}\right)\right] p(\mathbf{x}) d \mathbf{x}\]

2. 证明与最小条件风险 \(R\left(\alpha_{i} | \mathbf{x}\right)\)相对应的行为\(\alpha_{i}\)就是选择\(P\left(\alpha_{i} | \mathbf{x}\right)=1\)。由此证明随机扰动最优判定规则将得不到任何好处。

3. 我们可以从随机扰动一个“次优”的判定规则中得到好处么？请解释原因。

3、 设 \(\omega_{\max }(\mathbf{x})\) 为类别状态，此时对所有的\(i\), \(i=1, \dots, c\)，有\(P\left(\omega_{\max } | \mathbf{x}\right) \geq P\left(\omega_{i} | \mathbf{x}\right)\)。

1. 证明 \(P\left(\omega_{\max } | \mathbf{x}\right) \geq 1 / c\)。

2. 证明对于最小误差率判定规则，平均误差概率为

   \[P(\text { error })=1-\int P\left(\omega_{\max } | \mathbf{x}\right) p(\mathbf{x}) d \mathbf{x}\]

3. 利用这两个结论证明 \(P(\text { error }) \leq(c-1) / c\).

4. 描述一种情况，在此情况下有 \(P(\text { error })=(c-1) / c\).