通过机器学习识别鸟类
Cacophony Project的广阔愿景是使用最新技术来监视新西兰鸟类的数量，并人道地消除危害其的捕食者。
该项目始于我们创始人的后院，以评估他保护鸟类财产的努力的有效性。 从这个简单的开始，该项目便Swift发展成为一个包含两个边缘设备，一个云服务器以及使用机器学习自动识别动物的系统。 该项目从一开始就是完全开源的，并且收到了各种各样志愿者的定期捐款。
翠鸟。
在新西兰，鸟类是我们的taonga ，我们的珍贵事物。 新西兰与世界其他地区隔绝已有7000万年之久，我们的鸟类物种的进化不受哺乳动物（除了小蝙蝠）的影响。 结果，许多新西兰独特的鸟类，包括我们的国家标志猕猴桃，都没有针对天敌的防御策略。
奇异鸟。
不幸的是，在过去的两个世纪中，欧洲人定居后引入了诸如鼠，鼠和负鼠等入侵物种，使许多鸟类的数量减少了。 现在，80％的本地鸟类已经濒临灭绝或数量下降。
多年来，保护主义者通过将剩余的人口迁移到无捕食者的岛屿上，从灭绝的边缘拯救了我们的许多标志性物种。 这些岛屿已被艰苦清除所有引进的哺乳动物。 在这些岛屿上，您可以时光倒流，聆听迎接第一批欧洲探险家大声鸣叫的鸟叫声。
不仅环保主义者在为我们的鸟类而战。 近年来，许多新西兰人每天都组成当地团体，共同合作，捕食捕食者，以期在他们的后院听到我们本地鸟类的旋律鸟鸣。
我们相信，通过现代化他们使用的工具，我们可以使这些小组更加有效。 通过将数字诱饵与更有效的消除方法结合使用，我们认为这些程序的效率可能高达80,000倍 。
在过去的几年中，我们使用开源的快速原型制作方法，建立了一个组件生态系统，用于自动监视引入新西兰的鸟类和掠食者。 下图总结了该系统。
该架构显示了Cacophony生态系统的不同组件之间的交互。
我们的热视频平台使我们能够监视和观察有害生物的行为。 它专门设计用于检测小型和快速移动的食肉动物，例如小动物和老鼠。 它具有坚固的Raspberry Pi计算机和FLIR Lepton 3热像仪。 电源由电池或交流电源提供，其他自定义硬件提供电源和看门狗功能，引诱掠食者的音频输出以及远程通信。
散热视频平台硬件。
我们经过高度调整的运动检测算法可监视实时热像仪的进给并检测温暖，运动的物体（希望是动物）。 当检测到运动时，摄像机开始记录并将其上传到Cacophony Project API服务器进行存储和分析。 通过使用热像仪供稿，我们可以以比追踪相机（通常用于检测较大的哺乳动物，如猪和鹿）更高的灵敏度检测小型哺乳动物。
高灵敏度很重要，因为我们无法管理无法检测到的内容。 哺乳动物，例如小矮人，难以检测，因为它们体积小，速度快，并且很少与其他检测设备（如跟踪隧道和咀嚼卡）互动。
我们还创建了可在廉价手机上运行的Android录音机。 在现场安装后，它会进行定期的，客观的，GPS定位的，带时间戳的音频记录，并上传到我们的API服务器。 这些记录是监视一段时间内鸟类数量的理想选择。
最终，我们计划在这些记录上使用机器学习来确定给定位置的鸟类种群趋势，并在可能的情况下自动识别鸟类。 在继续致力于AI的同时，我们已经在全国多个地点进行记录，以建立逐年的数据集。
捕获的音频和热视频记录将上传到我们的API服务器进行存储和处理。 我们的机器学习管道处理热视频记录并标记出现的动物。 所有记录也都转换为易于查看的格式。
机器学习管道可以自动识别捕食者，这是使我们的方法特别有趣的一个方面。 首先分析上传的热视频录像，以在每帧中寻找温暖的移动物体。 这些区域从每个帧中剪切下来，并通过时间链接在一起，形成我们所谓的“轨道”。
在热图像中识别动物的步骤。 裁剪后的图像将被输入到我们的机器学习算法中，该算法会计算动物物种的预测。
然后使用流行的TensorFlow平台实现的卷积递归神经网络（CRNN）模型对这些轨道进行分类。 该模型使用分为三秒钟的大块人标签轨道进行训练。 输入轨迹被拉伸，翻转和剪切以增加输入数据的种类，并使模型在实际使用中更加健壮。
在分类时，从轨道分别向模型中的每个帧馈送模型，以在每个时间点生成每种动物类别的分类概率。 该模型的循环结构意味着其当前输出受先前输出的影响。 这使模型能够说明动物随时间移动的方式，从而大大提高了分类精度。 从直觉上讲这是有道理的：人类观察者经常发现很难从单个视频帧中识别出动物，但是看到动物移动几秒钟通常会使该物种消失。
我们创建了一个网络平台，以便用户可以查看和收听在其设备上制作的录音。 通过该平台，用户还可以在视频中手动标记动物并设置音频回放，以引诱动物更靠近相机。
我们系统的最后一部分是设备管理工具。 我们的管理服务器使我们能够监视在线设备的正常运行时间，并将新版本的软件和配置推送到我们的设备。
最后，我们有一个Sidekick，这是一个Android应用程序，可帮助用户设置热像仪。 对于没有移动数据覆盖范围的设备，Sidekick可以无线收集热量记录并在互联网连接可用时稍后上传。
借助一个小的团队和最少的管理，我们可以快速进行迭代，发现和改进。 围绕着如此之多的好主意，最艰难的事情之一就是让我们决定下一步该做什么。 我们始终必须在尝试新想法与使我们的技术更可靠，更易于人们使用之间取得平衡。
当前，我们正在努力调整我们的人工智能（AI）模型以在热像仪硬件上运行，以实现对捕食者的自动分类。 完成此操作后，我们计划将相机与仅在相机识别出目标物种时触发的陷阱配对。 这允许采取更有效的诱捕策略，提高捕食者的捕获率，同时消除非目标动物的副捕获。
其他即将到来的项目包括我们不断增加的录音集的可视化，应用机器学习来评估录音中的鸟鸣以及新的设备管理功能。 我们也有许多其他的想法可以尝试，不管大小，团队永远不会感到无聊！
如果您想了解更多信息，请访问Cacophony Project网站。 如果您想捐款，请使用此处列出的联系表格或电子邮件地址。 随着项目的发展如此之快，直接与我们联系通常是确定最有趣，最有用的方式为您提供帮助的最简单方法。
克莱尔·麦克伦南（Clare Mclennan）和Menno Finlay-Smits将于1月21日至25日在新西兰基督城的linux.conf.au上展示“ 将技术带到鸟类 ”。
通过机器学习识别鸟类
