程序员经验分享-hwhale

最优化算法汇总，及计算实例20220621（持续更新中）

2023-05-16

目录

0.最优化问题分类，求解方法分类

1. 最优化问题分类（线性规划与最小二乘法的关系）

1.1 请问什么才是线性规划，什么是线性回归呢？

1.2 线性规划与最小二乘法的关系

2.最小二乘法（解决线性）

3. 最速下降法（又名  梯度下降法、最速下降法）（解决无约束问题）

3.1 主要迭代公式

3.2 实例1：

3.3 实例2

4. 牛顿法（牛顿迭代法）

5. 拉格朗日乘数法（等式约束优化问题）

6. KKT条件（不等式约束优化问题）

0.最优化问题分类，求解方法分类

最优化问题综述_斜杠老A的博客-CSDN博客_最优化问题

1. 最优化问题分类（线性规划与最小二乘法的关系）

目标约束函数
最优化问题也称为规划问题。
如果最优化问题的目标函数为f(x)，约束条件为gi(x)≥0，i=1，2，…，m则：
当f(x)和gi(x)均为线性函数时，称此最优化问题为线性规划；
当f(x)和gi(x)不全为线性函数时，称此最优化问题为非线性规划；
当f(x)为二次函数，而gi(x)全为线性函数时，称此最优化问题为二次规划。
变量的类型
对于最优化问题，如果变量x=(x1，x2，…，xn)T的各分量只能取整数，则相应的最优化问题称为整数规划。
如果变量x=(x1，x2，…，xn)T 的部分分量只能取整数，则相应的最优化问题称为混合整数规划。
如果变量x=(x1，x2，…，xn)T 的各分量只能取0和1，则相应的最优化问题称为0-1规划。

1.1 请问什么才是线性规划，什么是线性回归呢？

请问什么才是线性规划，什么是线性回归呢？_百度知道

线性规划是运筹学的一个重要分支，研究线性约束条件下线性目标函数的极值问题的数学理论和方法。 线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

1.2 线性规划与最小二乘法的关系

线性规划是：求满足约束的最优目标，目标是变量的线性函数，约束是变量的等式或者不等式。

最小二乘法和线性规划
1.最小二乘法问题
最小二乘问题是一个无约束的优化问题和一个是形式项的平方和的目标


2.解决最小二乘法问题
最小二乘法问题的解可以简化为求解一组线性方程

最小二乘法其实就是用来做函数拟合的一种思想

3.线性规划
线性规划：求满足约束的最优目标，目标是变量的线性函数，约束是变量的相等或不等表达式。

最小二乘法和线性规划这两种分别代表一种最优化思想。
————————————————

最全最详细-线性规划(最小二乘、正交回归、梯度下降、仿真)_ningzian的博客-CSDN博客_线性规划方程公式详解

标题叫的有点问题，线性规划是有约束的，最小二乘、梯度下降都是无约束优化问题。

2.最小二乘法（解决线性）

主要参考来源，讲的很详细，强烈推荐：

①：从最简单的一元一次推导讲到二元

如何理解最小二乘法？_马同学图解数学的博客-CSDN博客_最小二乘法

②推导比较复杂的最小二乘法求解公式

最小二乘法_THE@JOKER的博客-CSDN博客_最小二乘法

这个里面讲了最速下降法和牛顿法

数值优化| 最速下降法与牛顿型方法 - 知乎

3. 最速下降法（又名  梯度下降法、最速下降法）（解决无约束问题）

主要来源：

最速下降法解析（理解笔记）_晓晨的博客的博客-CSDN博客_最速下降法

还可以看的资料

什么是梯度下降法？ - 知乎

3.1 主要迭代公式

其中\bigtriangledown f\left ( xk \right )为xk处的梯度，是一个向量，不是矩阵。||gk||是向量的模，也就是每个元素平方之和再求平方根。

备注：上式中，怎么找到一个最优步长tk，使得目标函数f(xk+tk*pk)最小呢？（xk与pk是已知值，上一步的值）

有两个方法

①简单粗暴的直接给 tk=0.1，或者觉得收敛太慢 那就tk=0.3。总之给个定值，收敛速度可能无法保证。

②寻找最优的tk。     此时，此问题转化为求目标函数f关于tk的极值问题，也就是将xk（已知）、pk（梯度，已知）、tk（未知）代入目标函数f(xk+tk*pk)，得到第k补 只关于tk的f(tk)

接着 求 d f(tk)/d tk=0时的解tk0，也就是当tk=tk0时，f(xk+tk*pk)取得极值。

3.2 实例1：

3.3 实例2

 

4. 牛顿法（牛顿迭代法）

可以看这个里面的过程

最优化-牛顿法（Newton）_michaelhan3的博客-CSDN博客

牛顿法迭代公式如下：

5. 拉格朗日乘数法（等式约束优化问题）

详细推导和实例可以看

拉格朗日乘数法，解决多元不等式的核武器

具体推导看

6. KKT条件（不等式约束优化问题）

 含有单个不等式约束的优化问题，这里面例题很经典

【第四章 最优化理论】4.2 带约束最优化 - 知乎

多个不等式约束的最优化问题，帮助理解

简单介绍KKT条件 - 哔哩哔哩
 

既有等式约束，也有不等式约束的优化问题，帮助理解

不等式约束的优化问题 - 知乎

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

最优化算法汇总，及计算实例20220621（持续更新中） 的相关文章

  • Microsoft Learn: Docker入门教程

    Microsoft Learn Docker入门教程 1 Introduction2 What is Docker3 How Docker images work4 How Docker containers work5 When to u

  • 将kitti数据集中的velodyne points转换为ROS bag文件

    kitti数据集中包含了相机图像 激光扫描得到的点云信息 高精度GPS测量信息和IMU加速度信息 xff0c 用于移动机器人与自动驾驶方面的研究 如下为数据采集平台示意图 kitti数据集中的激光扫描数据是以二进制文件形式存储的 xff0c

  • 使用 Dockerfile 创建一个简单的容器

    Dockerfile Dockerfile 是用于指导 docker 创建自定义 image 的一系列指令 xff0c 是用于创建 image 的蓝图 现在有一个简单的 node 项目 其中Dockerfile 是后面加的 xff0c 初始

  • 导航英语专业词汇——不停更新

    惯性导航 inertia 惯性INS 惯性导航系统GINS 平台惯性导航系统SINS 捷联惯性导航系统IMU 惯性导航元件gyroscope 陀螺仪accelerometer 加速度计 SLAM 词汇词性意思 导航中用 SLAM词组同步定位

  • 不止于linux SSH 基本用法-正反向代理-内外网穿透

    最近小伙伴们纷纷进了实验室 xff0c 就冒出了一系列关于控制远程机器的问题 xff0c 我觉得我还是有必要科普一下的 约定 本文不讲解 Linux 使用方法 xff0c 只讲解机器之间的通信方法 下文中行首的 local 以及 remot

  • 传感器数据滤波算法

    嵌入式应用中 xff0c 系统获取的传感器数据通常不能够直接供应用使用 xff08 存在噪声干扰 xff1a 低频噪声或高频噪声 xff09 xff0c 一般通过一种或者多种滤波算法结合 xff0c 对原始数据进行滤波处理 xff0c 在保

  • 写了一个生成reStructuredText表格的vim插件

    vim官网上有一个rst table xff0c 不过不太好用 xff0c 最大的问题是对中文的支持有欠缺在 f后 xff0c 中文所在的cell的长度会计算错误 扫了一眼它的源码使用了python写的插件 xff0c 所以我就心血来潮也想

  • Ubuntu 16.04 一系列软件安装命令，包括QQ、搜狗、Chrome、vlc、网易云音乐安装方法

    1 简介 Ubuntu 16 04安装完后 还需要做一些配置才能愉快的使用 包括添加软件源 安装搜狗输入法 Chrome浏览器 网易云音乐 配置快捷键 安装git等等 下面就跟着我来配置吧 just do it 2 版本选择 如果你是小白

  • 从入门到放弃之生产环境基于Kubernetes V1.21.10搭建高可用集群

    1 资源规划 名称系统配置IP组件k8s master01CentOS 7 94核8G 500G存储172 16 97 27kube apiserver lt br gt kube controller manager lt br gt k

  • ros c++ 开发错误“集锦”

    集锦 xff0c 才能经常回放 1 error s getMD5Sum is not a member2 ROS datatype md5sum错误 持续更新 1 error s getMD5Sum is not a member 目前观测

  • 嵌入式ARM算法移植与优化

    目录 一 算法优化指导思想 1 算法优化基本原则 2 算法优化方法 二 编译器优化 1 xff0c 函数内联 2 xff0c 消除公共子表达式 3 xff0c 循环展开 4 xff0c GCC优化选项 5 xff0c ARMCC优化选项 三

  • OV2640摄像头驱动与应用代码

    目录 一 摄像头基础 1 1 OV2640参数 1 2 视场角与镜头 二 OV2640驱动 三 OV2640视频接入

  • ubuntu16.04常用软件安装

    目录 1 办公软件 xff1a WPS 2 文本比较工具 Meld 3 版本管理 xff1a git 4 安装wine 5 安装常用库 6 配置阿里源 7 vim 8 OpenCV 9 QT 10 VSCode 11 gparted 1 办

  • RK1109 NPU算法测试demo

    目录 一 矩阵乘法测试 二 测试结果 一 矩阵乘法测试 通过一个简单的矩阵乘法 xff0c 和L2距离计算来测试NPU计算性能与启动NPU的一般方法 具体代码如下 xff1a Example Calculate x y 2 using Ma

  • VS2015远程连接虚拟机

    目录 一 安装VC Linux exe 二 打开VS 选择新建项目 三 配置VS 四 创建项目 一 安装VC Linux exe 下载地址 xff1a 二 打开VS 选择新建项目 三 配置VS 打开VS xff0c 菜单栏点击工具 gt 选

  • MiniFly微型四轴学习与开发日志（四）

    文章目录 任务创建和删除 API 函数任务调度器开启函数分析临界区atkp c 任务创建和删除 API 函数 FreeRTOS 最基本的功能就是任务管理 xff0c 而任务管理最基本的操作就是创建和删除任务 xff0c FreeRTOS 的

  • Git常用命令

    目录 一 提交代码 二 更新本地代码 三 修改项目中Git远程仓库地址 1 开启Git Bash 2 查看git远程仓库地址 3 修改远程仓库地址 4 检查新地址 Git常用命令备忘 一 提交代码 1 在项目内点击Git Bash Here

  • linux动态库找不到

    linux动态库找不到 一 分析二 解决方式一方式二方式三 三 如何检查RPATH的值 问题状态 xff1a xxx so cannot open shared object file No such file or directory 一

  • ubuntu14.04LTS下创建Qt5.5.1桌面快捷方式

    以下是网上的方法 xff0c 我试了一下 xff0c 反正没成功 Ubuntu14 04LTS在桌面上创建Qt5 4 1快捷方式 1 下载并安装Qt5 4 1 xff0c 我的安装路径时home cao Qt5 4 1 xff08 默认路径

  • Linux操作系统之一：简述Linux系统开机引导和启动过程

    Linux操作系统之一 xff1a 简述Linux系统开机引导和启动过程 操作系统的启动分为两个阶段 xff1a 引导boot 启动startup 引导阶段开始于打开电源开关 xff0c 结束于内核初始化完成和 systemd 进程成功运行

随机推荐

  • TCP IP与UDP含义 区别 总结

    TCP IP协议 xff08 一 xff09 网络基础知识 OSI参考模型中每个分层的作用 1 3 1 应用层 xff1a 为应用程序提供服务并规定应用程序中通信相关的细节 xff1b 包括的协议如下 xff1a xff1a 超文本传输协议

  • STM32F103 CAN总线配置总结

    stm32的can总线的配置如下 xff1a CAN InitStructure CAN TTCM 61 DISABLE 禁止时间触发通信模式 CAN InitStructure CAN ABOM 61 DISABLE CAN InitSt

  • 新版标准日本语初级_第四十八课

    语法 1 自谦语 xff1a 自谦语是通过压低说话人自身或说话人一方的形式表示敬意的表达方式 如跟别人谈到自己的家人或自己公司的上级时 xff0c 也使用自谦语 2 43 一类动 二类动 或 43 三类动的汉字部分 xff1a 这是自谦语中

  • STM32同时使用多个定时器

    代码如下 xff1a span class token keyword void span span class token function TIM2 IRQHandler span span class token punctuatio

  • Qt之定时器

    文章目录 QObject类的定时器定时器类QTimer Qt使用定时器有两种方法 xff0c 一种是使用QObiect类的定时器 xff0c 一种是使用QTimer类 定时器的精确性依赖于操作系统和硬件 xff0c 大多数平台支持20ms的

  • ucos信号量集

    事件标志组 信号量集 的使用 xff1a span class token keyword static span OS STK task testled span class token punctuation span STARTUP

  • Ubuntu 18.04 swap分区扩展

    在开始之前 xff0c 请先使用命令检查您的 Ubuntu 系统的SWAP 分区 sudo swapon show 创建 swap 的文件 xff08 分配 1G 的swap分区大小 xff09 sudo fallocate l 1G sw

  • ping通ipv6地址

    文章目录 WindowsLinux为什么Link local地址后面要有百分号 xff1f Windows ping ipv6主机名的方法如下 xff1a span class token function ping span 6 ipv6

  • STM32_串口的DMA接收

    STM32使用DMA在串口接收数据的方法如下 xff1a span class token macro property span class token directive hash span span class token direc

  • CopyMakeBorder函数

    其作用是复制图像并且制作边界 处理边界卷积 xff1a span class token keyword void span span class token function cvCopyMakeBorder span span clas

  • Altium designer中文化设置

    Altium designer中文化设置的步骤如下 xff0c 然后重启软件即可 xff1a

  • zipfile.BadZipFile: File is not a zip file

    zipfile BadZipFile File is not a zip file的问题复现步骤 xff1a 使用openpyxl的save函数 xff0c 将数据保存在Excel文件中 在没有保存完成的情况下 xff0c 又使用load

  • OpenCV_图像二值化

    对图像进行二值化的关键函数为cvThreshold xff0c 它采用Canny方法对图像进行边缘检测 xff1a span class token keyword void span span class token function c

  • cvSetImageROI函数

    有时候我们需要从一幅图像中获取感兴趣的区域 region of interesting xff0c ROI xff0c 将该区域裁剪成小图像 xff0c 作为后期处理的输入 利用cvSetImageROI函数便可以轻松搞定 xff1a sp

  • 原码、反码和补码

    文章目录 机器数和真值机器数真值 原码 反码和补码原码反码补码 编码原因 机器数和真值 机器数 一个数在计算机中的二进制表示形式叫做这个数的机器数 机器数是带符号的 xff0c 计算机用一个数的最高位来存放符号 xff0c 正数为0 xff

  • 阿里云服务器为Ubuntu配置图形化界面

    准备工作 xff1a 台云服务器 ubuntu系统20 04 连接网络 首先打开控制台 紧接着连接服务器 第一次登录需设置登录密码 xff0c 设置好之后会出现以下界面 xff0c 点击确定 配置图形界面 登陆好之后先切换root用户 su

  • 信用卡欺诈检测：2021 年顶级机器学习解决方案

    在公众号 python风控模型 里回复关键字 xff1a 学习资料 从电子商务支付系统出现的那一刻起 xff0c 总是有人会找到新的方法来非法获取某人的资金 这已成为现代时代的一个主要问题 xff0c 因为只需输入您的信用卡信息即可轻松在线

  • 矩阵分解

    1 先了解一下 矩阵乘法 xff08 内积 点乘 矩阵的内积参照向量的内积的定义的 xff0c 先说说向量 xff1a 两个向量对应乘积之和 比如 61 1 2 3 61 4 5 6 xff0c 则 的内积等于 1 4 43 2 5 43

  • 建立一个消息队列，OSQCreate()

    程序清单 L6 21是OSQCreate 函数的源代码 该函数需要一个指针数组来容纳指向各个消息的指针 该指针数组必须声名为void类型 OSQCreate 首先从空闲事件控制块链表中取得一个事件控制块 xff08 见图F6 3 xff09

  • 最优化算法汇总，及计算实例20220621（持续更新中）

    目录 0 最优化问题分类 xff0c 求解方法分类 1 最优化问题分类 xff08 线性规划与最小二乘法的关系 xff09 1 1 请问什么才是线性规划 xff0c 什么是线性回归呢 xff1f 1 2 线性规划与最小二乘法的关系 2 最小

热门标签