深度学习相关资料总结

近这两年里deep learning技术在图像识别和跟踪等方面有很大的突破，是一大研究热点，里面涉及的数学理论和应用技术很值得深入研究，这里总结一些在微博发布和转载的相关资料，以便查阅：

一、
@winsty 

#NIPS2013# “Learning A Deep Compact Image Representation for Visual Tracking” 第一次结合deep learning和visual tracking的尝试，在GPU下可以在MATLAB里realtime，结果可以和state-of-the-art相比，还在等什么呢？小伙伴们请猛戳project page(有code!)： http://t.cn/zRakSQu

@丕子
Yoshua Bengio gave a recent presentation on “Deep Learning of Representation” and Generative Stochastic Networks (GSNs) at MSR and AAAI 2013. Slides of the talk can be accessed from this link. http://t.cn/zQI3EI1

二、
@邹宇华

从CVPR2013看计算机视觉研究的三个趋势：1.RGBD数据的分析；2.中层patch的分析；3.深度学习与特征学习 | bfcat-计算机视觉博客 http://t.cn/zQhiySm

 

@邹宇华

Andrew Ng 研究组在NIPS'2012的论文就融合了上一条微博所述的三种趋势，用深度学习技术分析RGBD数据，实现三维物体分类。Convolutional-Recursive Deep Learning For 3D Object Classification -  www.socher.org   http://t.cn/zQzQqut

三、
@图像视觉研究

PAMI的Special Section on Learning Deep Architectures终于出来了，2013年的第8期 http://t.cn/zHuYhzw 。一共7篇DL相关的文章，第一篇就是Representation Learning: A Review and New Perspectives 。Early Access里面还有好几篇DL文章不在这一期。

四、
@数据挖掘_PHP

【Deep Learning 相关资料汇总】1、DL能干什么>> http://t.cn/zY75Wsz   2、A tutorial on Deep Learning>> http://t.cn/zOyNTu

@张杰_NoahArk
这个是实战, 如何用Python实现深度学习  http://t.cn/SVDKZh  Code  http://t.cn/zYUtj3G  Survey Papers很多，不过初学看这两篇应该就够了 Representation Learning: A Review and New Perspectives （2012）， Learning Deep Architectures for AI. (2009).

五、
@邹宇华 

这里也有一个非常赞的Deep Learning学习笔记系列，博主结合Andrew Ng的教程来写，而且把教程每一部分的练习都做了一遍，目前已经写到第23篇了，佩服！  Deeplearning：一(基础知识_1) - tornadomeet - 博客园  http://t.cn/zYBHy0p

六、
@邹宇华

整理得很不错的Deep Learning学习笔记，推荐！ Deep Learning（深度学习）学习笔记整理系列之（一） - zouxy09的专栏 - 博客频道 - CSDN.NET  http://t.cn/zTGh2Ts

七、
@李岩_ICT_人脸识别

A good summary of Deep Learning at NIPS2012.  http://t.cn/zj8L6WF

@邹宇华 
不在北京的同学可以看看Andrew在NIPS 2012的同名报告，这里还有个100多页的ppt  http://t.cn/zYFa89k  。 Machine Learning and AI via Brain simulations | TechTalks.tv  http://t.cn/zjD7lK4

八、
@邹宇华 

Scaling Deep Learning by Jeff Dean in ICML'2012 | TechTalks.tv  http://t.cn/zW1L7pd

九、
@邹宇华 

Many useful links about Deep Learning in this blog - Notes from BayLearn 2012  http://t.cn/zTvuToC

十、
@Mr-Pandaria

DeepLearning的入门还是看Yoshua Bengio的综述文章就好了， 今年十月有一篇新的综述， http://t.cn/zW18qVs  。我只看了十几页，读起来很舒服，写的还比较诚恳， 承认了deep learning中很多不足和尚未解决的问题。

十一、
@邹宇华 

Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu (余凯)   http://t.cn/zjff9nE 

 

十二、

@微软亚洲研究院

通过实验验证，Andrew Ng斯坦福大学研究团队开发的深度学习算法准确度为19.2%，远远高于随机预测(0.005%)或者state-of-art方法(9.5%)。【Andrew Ng主题演讲：深度学习】Andrew Ng在微软教育峰会分享Deep Learning核心思想：把学习框架看作一个层级式网络，可以根据如下程序进行训练1)用无监督学习为每层网络训练2)前者训练结果作为更高一层的输入3)用监督学习调整全部层级，模拟人脑分析学习。Slides下载>> |andrew-ng_machinelearning.pdf http://t.cn/zQNKJgF 

 

十三、

@鲍捷AI

Kevin Duh关于深度学习的这两个教程不错，面带到了，深度适当，比较好懂．Deep Learning: An Introduction from the NLP Perspective， http://t.cn/zH3TzZ2  。Recent Advances in Deep Learning， http://t.cn/zH3TzZL 。

 

十四、

@王威廉

发现微软雷德蒙研究院语音组大牛邓力和俞栋研究员今年初写了一本《信号及信息处理的深度学习方法》来总结一些深度学习的最新进展，一共才100页不到，很容易就能读完。本书总结了深度学习各种trick，算是关于深度学习最新的教材了，而且非常适合做语音的同学阅读。下载地址： http://t.cn/zQv3gM2

 

十五、

//@陈利人:深度挖掘深度学习。 //@vinW: 原来还可以更古老//@老师木: Fukushima 的 neocognitron 更早，不过只是描述了how，我认为 linsker 在 88年左右的工作揭示了 why //@Hyperddr: 我上次转的那篇论文是98年的，这个好像更老。。不过@老师木 转的那篇是88年的, 全都是deeplearning的起源。
@vinW

话说机器学习界在深挖深度学习时，大多被1996年《自然》杂志上一篇牛文给震到。因为它直指深度学习的核心之一：稀疏编码。这挺像武侠江湖，你从藏经洞里找到的上古秘笈永远是最牛的 论文： http://t.cn/zHK5iNg  代码 http://t.cn/zHK5iNd

十六、

@余凯_西二旗民工: 同推荐。这是去年夏天在加州大学洛杉矶分校的summer school. 的确深度学习的主要人物都参加了。上面的讲义全面覆盖了深度学习的各个方面。
@cswhjiang
http://t.cn/zWyVo2h  IPAM Summer School on Deep Learning and Feature Learning的视频（有如下大牛：Geoffrey Hinton, Yann LeCun, Yoshua Bengio, Andrew Ng, Stephen Wright, Kai Yu@余凯_西二旗民工 等..）