微积分优化方法/约束优化

介绍

表示 $\mathbf {R} ^{n}$ 的一个子集主要有两种方式 – **显式** 和 **隐式**。

显式表示将集合表示为一个函数的像，$X\to \mathbf {R} ^{n},$ 通常是从另一个欧几里得空间或立方体到 $\mathbf {R} ^{n}$ 的函数的像，$\mathbf {R} ^{k}\to \mathbf {R} ^{n}$ 或 $[0,1]^{k}\to \mathbf {R} ^{n}.$ 这个函数可以解释为一个具有 k 个输入和 n 个输出的向量值函数。

隐式表示将集合表示为一个函数或多个函数的原像，$\mathbf {R} ^{n}\to Y,$ 通常是到另一个欧几里得空间的函数的原像$\mathbf {R} ^{n}\to \mathbf {R} ^{k},$，这可以解释为 k 个单独的实值函数（每个都有 n 个输入），或作为 n 个输入中的单个向量值函数。隐式表示通常将子集表示为水平集 或次水平集：通过子集元素必须满足的等式或不等式。

简而言之，显式表示列出点，而隐式表示测试点：在显式表示中，当人们遍历输入时，会得到所有输出，而在隐式表示中，人们可以测试可能的点以查看它们是否落入集合中：它们是否满足约束。

有时可以在这两种表示之间进行转换，但通常这可能非常困难。

示例：圆和圆盘

圆

• $x^{2}+y^{2}=1$ 是一个隐式表示。
• $(\cos \theta ,\sin \theta )$ 其中 $\theta \in [0,1]\times [0,2\pi ]$ 是一个显式表示。
• $\left({\frac {1-t^{2}}{1+t^{2}}},{\frac {t}{1+t^{2}}}\right)$ 其中 $t\in \mathbf {R}$ 是一个显式表示。

圆盘

• $x^{2}+y^{2}\leq 1$ 是一个隐式表示
• $(r\cos \theta ,r\sin \theta )$ 对于 $(r,\theta )\in [0,1]\times [0,2\pi ]$ 是一个显式表示。
• $\left(u{\frac {1-t^{2}}{1+t^{2}}},u{\frac {t}{1+t^{2}}}\right)$ 对于 $t\in \mathbf {R} ,u\in [0,1]$ 是一个显式表示。

不同的表示可能或多或少有用。

注意事项：不完美的参数化

需要注意的是，显式表示有时会多次命中同一个点（在圆的第一个表示中，$\theta =0$ 和 $\theta =2\pi$ 映射到同一个点，在圆盘的表示中，所有 $r=0$ 的点都映射到同一个点，即原点，$(0,0)$），或者错过某个点（在第二个表示中，点 $(-1,0)$ 不会被任何有限的 t 命中 - 如果将域扩展到包括 $\infty ,$，那么它可以被某些输入命中）。这通常只是一个需要处理的小技术问题，例如通过排除 $\theta =2\pi$ 或包括 $t=\infty ,$，或者通过仔细检查未命中或多次命中的点来解决。根本的数学问题是，被参数化的空间可能不是与用于参数化的空间同胚或微分同胚的：有人说，在不出现这些缺陷的情况下进行参数化存在“拓扑障碍”。

通常不必关注拓扑的细节，拓扑学是数学的一个主要领域，但是，与有界性原理和最大值原理一样，拓扑理论是微积分优化方法有效性的基础。

然而，值得一提的一个拓扑学（更准确地说是几何学）观察结果是，在许多应用中，所考虑的子集是一个凸集 - 它向外凸出，而不是向内，并且，此外，它是连通的（整体）并且中间没有孔。在这些设置中，形状在拓扑上是一个圆盘，或者在更高维度上是一个球体，因此可以讨论形状的内部（开n-球体）和一个边界，在拓扑上将是一个简单的球体（( $n-1$)-球体）而不是更复杂的东西。因此，在考虑这些问题时，将圆盘作为子集的典型示例，其普遍性几乎没有损失。

显式：参数化

集合可以通过参数化显式给出，例如，对于曲线，可以使用一个参数的参数方程，或者对于曲面，可以使用参数曲面（两个参数的参数方程）。

隐式：约束

• 等式约束
• 不等式约束

讨论

在寻找$f(x_{1},x_{2},\cdots ,x_{n})$在约束$g(x_{1},x_{2},\cdots ,x_{n})=k$下的极值时，上面找到的驻点将不再适用。这个问题可以被认为是在点$(x_{1},x_{2},\dots ,x_{n})$被限制在曲面$g(x_{1},x_{2},\dots ,x_{n})=k$上时，寻找$f(x_{1},x_{2},\dots ,x_{n})$的极值。当曲面相互接触时，$f(x_{1},x_{2},\dots ,x_{n})$的值达到最大（最小），即，它们具有共同的切线。这意味着这两个曲面在该点的梯度向量平行，因此，

$\nabla f(x_{1},x_{2},\cdots ,x_{n})=\lambda \nabla g(x_{1},x_{2},\cdots ,x_{n}).$

方程式中的数$\lambda$称为拉格朗日乘子。