本人从2014年起从事可见光通信（Visible Light Communication, VLC）相关研究，主要包括：基于光电二极管（PD）、图像传感器（camera）的高精度可见光定位算法(Visible Light Positioning, VLP)、基于可见光通信的移动机器人定位与导航、成像可见光通信（Optical Camera Communications, OCC）、基于可见光通信的物联网（Internet of Things, IoT）应用、水下可见光通信等。
本博文为本人在可见光通信领域的工作及系列demo的总结。本人一直希望能促进可见光通信技术的进一步发展及产业化落地，希望能遇到更多从事可见光通信的朋友，多交流、合作。也希望此博客可以给大家一些motivation，共同促进行业的发展💪
特别鸣谢：华南理工大学-发光材料与器件国家重点实验室-文尚胜教授、华南理工大学-创新创业孵化基地、及R&C工作室历年学生的共同努力。
科研非一人之科研 As a researcher, I think there are two responsibilities: on one hand, to make a major breakthrough in my own research field; on the other hand, to vigorously cultivate a large number of talents in this professional field.
目录
项目演示
基于可见光通信的移动机器人定位与导航
基于可见定位的人机交互
基于可见光通信的物联网应用
实时LiFi通信及通显一体化系统
基于可见光通信的室内定位
可见光成像通信 (OCC)
代表性论文
已授权的可见光通信相关发明专利
更多关于可见光通信的介绍
下面演示为：本人受邀IEEE Photonics Journal Club session做的基于可见光通信的移动机器人定位与导航的讲座。
受邀出席IEEE Photonics Journal Club
下面演示为：本团队搭建的基于移动机器人的可见光通信与激光雷达融合定位系统，该系统在光通信顶会2022 Conference on Lasers and Electro-Optics (CLEO) 上做展示。
2022 CLEO Demo
下面演示为：本人给香港科技大学搭建的，基于可见光通信的移动机器人定位系统，该系统在光通信顶会2021 Optical Fiber Communication Conference and Exhibition (OFC) 上做展示。
本系统多次参与各类比赛与展示。最初搭建于2018年，参加《华南理工大学第十六届“挑战杯”大学生课外学术科技作品竞赛》并获终审决赛一等奖。其后，代表华南理工大学参加《2019年广东省第十五届“挑战杯”大学生课外学术科技作品竞赛》的作品，并获得广东省决赛的特等奖（请见下一演示）。同年，获《第五届中国“互联网+”大学生创新创业大赛》广东省决赛铜奖。2020年，本人将本系统引进华为创新实验室（iLab），在公司内部进行展示。此后，本人再带到香港科技大学。无偿把技术给公司评各类奖项，同时也把技术奉献给团队去进行各类产业化、商业化及科研。本系统亦曾连续两年（2020与2021）入选OFC Demo Zone。
2021 OFC Demo
一种具有通信与定位功能的智能LED灯具及其机器人定位系统——2020神灯奖申报技术 - 新品发布 - 阿拉丁-网上光亚展
下面演示为：我们搭建的世界首套基于移动机器人的可见光定位系统。该系统虽然比较简漏🤭（机器人同一时刻需要观察到至少两个LED，且覆盖LED数、高度均有限），但却是我们团队所搭建的移动机器人可见光定位与导航的原型体。此作品算是我们团队承上启后的工作，既涵盖了数年在可见光定位领域的积累（包括：LED-ROI Tracking、LED-ID detection、VLP算法），而后续大量工作基本都是基于此系统进行深层算法的改进。
广东省第十五届“挑战杯”大学生课外学术科技作品竞赛决赛特等奖
此作品荣获广东省第十五届“挑战杯”大学生课外学术科技作品竞赛决赛特等奖（全省116所参赛高校，共有1260项作品获奖，其中特等奖126项、一等奖191 项、二等奖245 项、三等奖698 项），此处展示当年的展板及查新报告。
下面演示为：我们将大挑战杯版本的简陋地图及定位显示改为基于ROS的UI，由激光雷达来预先绘制地图，并且加入路径规划等功能，实现了可见光通信提供准确的位置信息，同时基于避障及路径规划算法实现导航。
基于ROS的移动机器人可见光定位系统实验展示
下面演示为：我们实现的基于两盏LED的移动机器人VLP定位系统（属于大挑战杯获奖的升级版本），采用的更高以及可移动的LED灯杆方便移动展示，于此同时，通过开发Android App实现与ROS机器人更好的交互。
基于两盏LED的移动机器人可见光定位
下面演示为：我们实现的基于单盏LED灯的移动机器人VLP定位系统。对于平面上运动移动机器人，共有3个自由度，通过退化PnP（Perspective-n-Point）问题的分析，相机只需要观察到两盏LED即可实现定位。然而，这一要求会限制LED的间距不能太远，为此我们设计出基于角度传感器辅助的VLP定位系统，仅仅需要一盏LED即可实现移动机器人的高精度室内定位。除此以外，引入室内布局的地图作为map以达到更好的可视化效果。
基于角度传感器与单个LED的移动机器人可见光定位
下面演示为：我们实现的多机器人可见光协同定位。通过多个机器人分别对LED的观测及机器人相互之间的约束，实现多个机器人协调定位。
多机器人可见光协同定位
下面演示为：我们实现的基于惯导（IMU）与VLP松耦合的高精度移动机器人室内定位系统。为了应对短暂的LED被遮挡、NLOS（非视距通信）、及没有LED的情况，我们提出了基于扩展卡尔曼滤波（EKF）的IMU与VLP 松耦合方法，实现了在有LED的情况下，厘米级别的高精度定位，而在没有LED的情况下，靠IMU保证短时间的稳定定位。
基于扩展卡尔曼滤波的VLP与IMU松耦合定位系统
下面演示为：我们实现的基于LiDAR-SLAM及VLP的高精度机器人定位系统，在大小的场景下，仅仅通过4盏LED即可实现2cm左右的定位误差，且场景会有遮挡等情况。通过VLP提供全局信息，odometry提供局部信息，LiDAR提供精确的局部地图测量，保证了整个系统的稳定性。进一步地，此工作结合了障碍物检测及路径规划等算法，真正意义上的实现了可见光定位与导航功能。
值得一提的是，前面的工作中我们用到的地图有两类：LiDAR构建的栅格地图，与人工绘制的室内平面图。但两种均需要人为干预来保证LED安装的位置与地图的原点相对应（因为LED的位置需要已知才可以实现VLP定位）。而此工作中，最大的创新是只需要人工绘制地图的原点跟LED安装位置对应，LiDAR的栅格地图会通过算法自动跟人工绘制地图相对应，这也是实现LiDAR-SLAM与VLP融合的关键。在视频的后半部分，也展示了在两种地图下定位结果是相对应的。而在下一个工作中，我们实现了完全不需要任何预先绘制的地图。
激光雷达与VLP融合定位系统
下面演示为：我们提出的基于RGB-D camera，轮式里程计以及VLP的多传感器紧耦合SLAM系统，通过图优化来耦合多个传感器的观测约束，以此来提升系统的鲁棒性。该系统在实现高精度的可见光定位的同时，可以构建环境的地图（3D点云地图及LED-landmark地图）。
对于可见光定位而言，目前的工作均需要预先知道LED在环境中的位置（所谓的LED-ID识别就是通过VLC解码获取LED在世界坐标系下的位置）。但是对于大场景而言，如场景中有1000个LED，人为记录及测量这些LED的位置是非常的不现实的，为此我们提出的方法可以有效解决这一痛点。在实现高精度定位的同时，实时的记录及构建LED-landmark的地图，LED的位置无需预先知道，自动的把LED-ID序号与地图位置相关联，同时通过多传感器紧耦合进行联合优化提高定位与建图的精度。
基于图优化的RGB-D与VLP紧融合定位系统
下面演示为：基于ROS-Android交互框架，开发了一款安卓APP，可实现基于可见通信的机器人与行人同时定位。
通过可见光定位分别实现机器人与手机的高精度定位，同时基于ROS-Android交互框架，实现机器人与手机之间的位置共享。
人机交互
下面演示为：我们自主研发的基于可见光通信的光二维码应用。可通过APP扫灯接入链接，实现猜灯谜、信息接入等。
该系统亦在团队的广东省光电技术协会作科创分享：【科普作品】一盏有故事的月球灯
具有信息的“月亮”——光二维码
下面的演示为：我们自主研发了基于蓝牙调控的可见光调制驱动芯片，可通过手机APP用蓝牙直接改变LED灯具的VLC编码，而不同的编码对应不同的网络接口。通过另外一台手机的APP扫灯具，实现光二维码扫码接入不同的网页。
蓝牙+VLC物联网应用
下面的演示为：基于可见光通信的光二维码技术，扫灯接入网页。
光二维码
下面演示为：我们测试战略合作伙伴（深圳华创芯光科技有限公司）的LiFi产品。该系统可以实现实时的LiFi上网。如有需求，欢迎私信商业合作。
实时LiFi通信
下面演示为：我们团队与深圳利亚德光电有限公司合作的广东省科技计划项目（500万资助项目）《高带宽微芯片覆晶封装小间距显示器件开发与产业化》，项目主要探索了通信与显示器件相结合（通显一体化）的可见光通信系统。
项目简介：本项目开发了一种具有高带宽小间距的显示阵列器件。采用深沟槽蚀刻技术与新型覆晶技术对LED芯片的精确切割和小间距封装，制作出高清晰度的微型显示器件；同时，通过对芯片内部进行材料改性与结构优化实现芯片的高光效与高带宽；最后，设计出双重调制信号，实现显示器件通显一体化。
下面演示为：采用所述高带宽覆晶封装LED芯片设计的，基于STM32F4的，具有可见光通信功能的LED阵列的演示。演示中包含了如何测量带宽的过程。但由于采用的STM32F4的限制，发射信号的频率估计不超过0.5MHZ。但通过MIMO以阵列并行通信的形式，亦可保证通信速率。
基于stm32的具有可见光通信功能的LED阵列
下面演示为：采用FPGA实现的，具有可见光通信功能的LED阵列演示。可输出1MHZ频率的信号并加载到LED上。不同的LED芯片可以以不同的频率发射不同的OOK信号，进而实现空间、频率复用。
基于FPGA的具有可见光通信功能的LED阵列
下面演示为：仅仅基于一盏LED即可实现高精度可见光定位，与此同时，与PDR (Pedestrian Dead Reckoning) 相结合，在没有LED覆盖的区域（LED短缺或NLOS问题）仍然可以实现定位，而当检测到至少一盏LED时，即可实现PDR位置的矫正。
单灯VLP+PDR
下面的演示为：基于可见光通信的同时定位与校正算法。在实现高精度室内可见光定位的同时，可以矫正手机摄像头的参数，进一步提定位系统的稳定性与精度。虽然也是需要camera至少观测到两盏LED，但无需借助角度等传感器即可实现倾斜三维定位（六自由度定位）。
同时VLP定位与相机参数校正
下面的演示为：我们自主开发的可见光室内定位App，该算法可实现倾斜状态下的可见光定位（基于两盏LED灯）。
可见光倾斜定位
下面演示为：基于可见光通信的室内定位及基于不同位置的信息推送。主要演示demo为视频的后半段（1分13秒之前的均为概念演示，之后的为实测效果），通过PDR+VLP融合，在无LED的区域通过PRR进行定位，而检测到LED时，通过基于VLP的临近法进行粗定位（与前面提到的单灯定位算法不同，此处仅仅采用临近法定位）。看到在不同的LED灯下，通过VLC接收信号，实现基于位置信息的服务（location-based service），进而实现基于不同的位置给用户推送不同的信息。
基于VLC的室内定位及信息推送
下面演示为：我们搭建的水下可见光成像通信系统，该工作发表于2021年光通信顶级会议 Optical Fiber Communication Conference and Exhibition (OFC)。
2021 OFC Demo
下面演示为：本团队搭建的，实时可见光成像通信系统(基于C-OOK调制)。
实时可见光成像通信
希望有更多小伙伴一起学习交流，也希望多多引用我们的工作🤭
ESI高被引论文
PS：有点不太懂这个ESI高被引😂，比如《High-Accuracy Robot Indoor Localization Scheme Based on Robot Operating System Using Visible Light Positioning》的citation更高，而且是IEEE Photonics Journal历史最受欢迎论文之一（第三位，截止到2023年03月），却没进入到ESI高被引行列（不过也可能往年进入了我没留意吧hhh）。
专利详情及原文的获取，请见PatentGuru，SooPAT，中国知网或Google Patents
