AI算法工程师手册-六、 约束优化

六、 约束优化

  1. 在有的最优化问题中,希望输入 ![六、 约束优化 - 图1] 中,这称作约束优化问题。 集合![六、 约束优化 - 图3] 也称作可行域。

  2. 约束优化的一个简单方法是:对梯度下降法进行修改,每次迭代后,将得到的新的 ![六、 约束优化 - 图6] 中。 如果使用线性搜索:则每次只搜索那些使得新的 ![六、 约束优化 - 图8] 。

  3. 另一个做法:将线性搜索得到的新的 六、 约束优化 - 图1 或者:在线性搜索之前,将梯度投影到可行域的切空间内。

  4. 在约束最优化问题中,常常利用拉格朗日对偶性将原始问题转换为对偶问题,通过求解对偶问题而得到原始问题的解。

  5. 约束最优化问题的原始问题:假设 ![六、 约束优化 - 图13] 上的连续可微函数。考虑约束最优化问题:

六、 约束优化 - 图1 可行域由等式和不等式确定:![六、 约束优化 - 图16] 。 6.1 原始问题

  1. 引入拉格朗日函数:

六、 约束优化 - 图1 这里 ![六、 约束优化 - 图18] 。 ![六、 约束优化 - 图20] 的多元非线性函数。

  1. 定义函数:

六、 约束优化 - 图2 其中下标 ![六、 约束优化 - 图23] 表示原始问题。则有:

六、 约束优化 - 图2

  • 六、 约束优化 - 图2

  • 六、 约束优化 - 图2

  • 若不满足 六、 约束优化 - 图2

  • 若不满足 六、 约束优化 - 图3

  • 考虑极小化问题:

六、 约束优化 - 图3 则该问题是与原始最优化问题是等价的,即他们有相同的问题。

  • 六、 约束优化 - 图3

  • 为了方便讨论,定义原始问题的最优值为:六、 约束优化 - 图3 6.2 对偶问题

  • 定义 ![六、 约束优化 - 图40],即:

六、 约束优化 - 图4 问题 ![六、 约束优化 - 图43] 称为广义拉格朗日函数的极大极小问题。它可以表示为约束最优化问题:

六、 约束优化 - 图4 称为原始问题的对偶问题。 为了方便讨论,定义对偶问题的最优值为:![六、 约束优化 - 图45] 。

  1. 定理一:若原问题和对偶问题具有最优值,则:

六、 约束优化 - 图4

  • 推论一:设 六、 约束优化 - 图4 如果有 ![六、 约束优化 - 图53] 分别为原始问题和对偶问题的最优解。
  • 定理二:假设函数 ![六、 约束优化 - 图55] 。
  • 定理三:假设函数 ![六、 约束优化 - 图68]` 条件:

六、 约束优化 - 图8

  1. 仿射函数:仿射函数即由1阶多项式构成的函数。 一般形式为 ![六、 约束优化 - 图82] 维列向量。 它实际上反映了一种从 ![六、 约束优化 - 图89] 维的空间线性映射关系。
  2. 凸函数:设 ![六、 约束优化 - 图91] 上的凸函数 。

文章列表

更多推荐

更多
  • Pharo敏捷人工智能-第一部分:神经网络
    Apache CN

  • Pharo敏捷人工智能-第二部分:遗传算法
    Apache CN

  • Pharo敏捷人工智能-# 第三部分:神经进化 第三部分:神经进化
    Apache CN

  • Azure数据工程指南-二十四、数据治理的权限 创建 azure 预览帐户,探索 azure 预览,探索词汇表,浏览资产,以编程方式使用预览,摘要,管理凭证和访问,创建扫描, 许多组织需要建立数据治理流程、标准和方法,并且已经能够使用内部 SQL Server 工具(如 Master
    Apache CN

  • Azure数据工程指南-二十二、Synapse 分析工作区 创建 Synapse 分析工作区,使用 Spark 探索样本数据,用 SQL 查询数据,用 SQL 创建外部表,摘要, 微软 Azure 数据平台的众多新增功能已经围绕许多类似的产品及其在现代 Azure 数据平台中的用途产生了兴奋和困
    Apache CN

  • Azure数据工程指南-二十三、数据块中的机器学习 创建 MLflow 实验,安装 MLflow 库,创建笔记本,选择性测井,自动记录,摘要, 寻求利用机器学习(ML)和人工智能能力的组织和开发人员花费大量时间构建 ML 模型,并寻求一种方法来简化他们的机器学习开发生命周期,以跟踪实验,
    Apache CN

  • Azure数据工程指南-二十一、将 Apache Spark 的 GraphFrame API 用于图形分析 安装 JAR 库,加载新数据表,将数据加载到数据块笔记本中,用顶点和边构建一个图,查询图表,寻找有图案的图案,用 PageRank 发现重要性,探索入度和出度度量,摘要,进行广度优先搜索,查找连接的组件, 图形技术使用户能够以图形的形式
    Apache CN

  • Azure数据工程指南-20 二十、部署 SQL 数据库先决条件,创建 Visual Studio SQL 数据库项目,安装 Visual Studio GitHub 扩展,导入 AdventureWorks 数据库,连接到 GitHub Repo 源代码控制,将
    Apache CN

  • Azure数据工程指南-十九、部署数据工厂更改 先决条件,创建 DevOps 持续集成构建管道,创建 DevOps 持续部署发布渠道,验证部署的数据工厂资源,摘要,Azure PowerShell 任务停止触发器,ARM 模板部署任务,Azure PowerShell 任务启动触发器
    Apache CN

  • Azure数据工程指南-十八、用于 Cosmos DB 的 Azure Synapse 链接 创建一个 Azure Cosmos DB 帐户,启用 Azure Synapse 链接,创建一个 Cosmos DB 容器和数据库,将数据导入 Azure Cosmos DB,在 Azure Synapse Analytics 中创建
    Apache CN

  • 近期文章

    更多
    文章目录

      推荐作者

      更多