Quick Links
kaggle
blogs
en
- pyimagesearch
- zubairahmed Deep Learning Practitioner
- LearnOpenCV
- MACHINE INTELLIGENCE
FOR HUMANS - zbigatron Computer Vision and AI
zh
less useful
themed topics
image video processing
Raspberry Pi
NCS(Neural Computing Stick)支持Caffe和Tensorflow框架训练出来的模型。
NCS SDK API提供了Python和C语言的支持。
Intel’s Movidius NCS and OpenVINO toolkit
Movidius APIv1—>Movidius APIv2—> OpenVINO
OpenVINO supports Intel CPUs, GPUs, FPGAs, and VPUs.
Movidius VPU (Vision Processing Unit)
papers
online books
Publisher
free books
specific books
online courses
cs231n
cs231n
github
self-driving cars
GitHub Tools
machine learning
combo: A Python Toolbox for Machine Learning Model Combination
-
pandas-profiling，一行代码生成超详细数据分析报告。
-
facebook的facets, Visualizations for machine learning datasets
debug
nvidia
mxnet
other
- Reveal.js
把 Reveal.js 以及类似的 HTML 5 幻灯免费存放在 Github 上，利用 Github Pages 在线播放和分享 Reveal.js 幻灯
- Pyecharts
- uber的kepler.gl
Train Skills
gan训练技巧
pytorch with dail for training
Architectures
basic
- lenet 1999,alexnet 2012,vggnet 2013,googlenet 2013,inception v1-v4, xception, resnet 2015,
- squeezenet, densenet, mobilenet, unet
- rcnn,fast rcnn,faster rcnn,mask rcnn
- ssd,yolo v1 v2 v3，retinanet(focal loss)
extension
- ResNeXt: ResNet的优化版ResNeXt,100层相当于resnet200层的精度。一个ResNet打所有，如果不行，那就Stacked Hourglass，还不行就SEResNet。
- SEResNet
- yolov3 tiny,yolov3 spp1,yolov3 spp3，slim yolov3 spp3(无人机目标检测)
Classification
- cnn倾向于学习到纹理信息，而不是形状信息。here
- 细粒度图像分类
- coordconv坐标卷积
Object Detection
- 目标检测综述Recent Advances in Deep Learning for Object Detection
- evolution-of-object-detection-and-localization-algorithms
- Evaluation of deep neural networks for traffic sign detection systems
本文比较各目标检测算法在交通标志检测任务中的综合性能。一共比较了8种模型(Faster R-CNN, R-FCN, SSD和 YOLO V2)，用5项指标（mAP/FPS/参数/内存/FLOPS）进行性能评价。
anchor-based
- 《IoU Loss for 2D/3D Object Detection》 注：可提高 2D/3D 目标检测的 mAP
- IoU-balanced RetinaNet: 专用于Single-stage目标检测的IoU损失函数，如 IoU-balanced RetinaNet 相对于RetinaNet涨点1.1%，特别是高IoU，如涨点2.3% for AP90
- 上交&中南&南理提出：R3Det 适用于旋转目标的检测网络，综合性能优于RRPN、R2CNN和RetinaNet-R等网络，在航拍图像和场景文本检测数据集上表现SOTA
anchor-free
- Matrix Net (xNet)
基于关键点的目标检测器中，18 年提出的 CornerNet 是开山之作，今年又沿着它提出了 CenterNet。这些非常厉害的 single-shot 检测器看起来效果都不如 xNet(matrix net)
Semantic Segmentation
Instance Segmentation
Optimizers
- lookahead,SGD,RMSProp, Adam基础之上的wrapper optimizer
- RAdam
Adam、RMSProp这些算法虽然收敛速度很快，当往往会掉入局部最优解的“陷阱”；原始的SGD方法虽然能收敛到更好的结果，但是训练速度太慢。
最近，一位来自UIUC的中国博士生Liyuan Liu提出了一个新的优化器RAdam。它兼有Adam和SGD两者的优点，既能保证收敛速度快，也不容易掉入局部最优解，而且收敛结果对学习率的初始值非常不敏感。在较大学习率的情况下，RAdam效果甚至还优于SGD。目前论文作者已将RAdam开源，FastAI现在已经集成了RAdam，只需几行代码即可直接调用。RAdam在图像分类、语言建模，以及机器翻译等等许多任务上，都证明有效。
上次的adabound出来的时候adam也退休了一波，但是现在还是在用adam。
Normization
- 新的归一化方法 AN：Attentive Normalization
注意力归一化，从性能上看，AN 要优于 BN、GN和SN等归一化方法，From 北卡罗来纳大学
Attention
GAN
AutoML
Graph NN
- pytorch_geometric: 几年来，图神经网络（GNN）在推荐系统、搜索引擎、计算机视觉等领域中都引起了较大的关注。Github有大量开源GNN实现，其中pytorch_geometric是最优秀的实现之一，曾被Yann LeCun推荐
Self-Driving
New Ideas
国内首发Nature子刊 Machine Intelligence论文：思想精妙，或对DNN有重大改进
在连续学习的标准任务disjoint MNIST与shuffled MNIST任务中，OWM算法的表现超过了同类的其他算法。并且，随着学习的任务数目增加，OWM算法的性能优势会进一步加大。
代码 OWM 22stars 8-9multi-Grained Cascade Forest(gcForest): 周志华教授指出了深度学习的另一方案，介绍了他们研究的技术 gcForest （multi-Grained Cascade Forest），借鉴 DNN 的特征表示学习，以及集成学习，利用决策树森林的方法，去达到深度模型的效果。
HSIC-Bottleneck： 研究者介绍了用于训练深度神经网络的希尔伯特·施密特独立准则（Hilbert-Schmidt independence criterion，HSIC）Bottleneck，用它来代替反向传播简直非常美妙了。表示，HSIC-Bottleneck 的表现在 MNIST/FashionMNIST/CIFAR10 分类中的表现与具有交叉熵目标函数的反向传播算法相当。
基于知识图谱的因果推理: Judea Pearl的因果革命，后面的突破口应该在基于知识图谱的因果推理上面。
Other
- 基于深度学习的推荐系统，代码数据集缺失，大多数结果无法复现。其次，效果也不如传统推荐算法。
- 视觉计数(Visual Counting): From Open Set to Closed Set: Counting Objects by Spatial Divide-and-Conquer
本算法在人群计数，车辆计数和植物计数这3个数据集上进行测试，表现SOTA。 From 华中科技&阿德莱德大学
geoai
ml for fiance
ml for football/sports
football with ml
best
关于赔率时间序列的dataset和其中的一个kernel
github repo
History
- 20190821: created.