dl notes

dl notes and refs

Refs

kaggle

blogs

en

zh

less useful

themed topics

image video processing

Raspberry Pi

NCS(Neural Computing Stick)支持Caffe和Tensorflow框架训练出来的模型。
NCS SDK API提供了Python和C语言的支持。
Intel’s Movidius NCS and OpenVINO toolkit
Movidius APIv1—>Movidius APIv2—> OpenVINO
OpenVINO supports Intel CPUs, GPUs, FPGAs, and VPUs.
Movidius VPU (Vision Processing Unit)

papers

online books

Publisher

free books

specific books

online courses

cs231n

cs231n

github

self-driving cars

GitHub Tools

machine learning

debug

nvidia

mxnet

other

Train Skills

gan训练技巧

pytorch with dail for training

Architectures

basic

  • lenet 1999,alexnet 2012,vggnet 2013,googlenet 2013,inception v1-v4, xception, resnet 2015,
  • squeezenet, densenet, mobilenet, unet
  • rcnn,fast rcnn,faster rcnn,mask rcnn
  • ssd,yolo v1 v2 v3,retinanet(focal loss)

extension

  • ResNeXt: ResNet的优化版ResNeXt,100层相当于resnet200层的精度。一个ResNet打所有,如果不行,那就Stacked Hourglass,还不行就SEResNet。
  • SEResNet
  • yolov3 tiny,yolov3 spp1,yolov3 spp3,slim yolov3 spp3(无人机目标检测)

Classification

Object Detection

anchor-based

  • 《IoU Loss for 2D/3D Object Detection》 注:可提高 2D/3D 目标检测的 mAP
  • IoU-balanced RetinaNet: 专用于Single-stage目标检测的IoU损失函数,如 IoU-balanced RetinaNet 相对于RetinaNet涨点1.1%,特别是高IoU,如涨点2.3% for AP90
  • 上交&中南&南理提出:R3Det 适用于旋转目标的检测网络,综合性能优于RRPN、R2CNN和RetinaNet-R等网络,在航拍图像和场景文本检测数据集上表现SOTA

anchor-free

  • Matrix Net (xNet)

    基于关键点的目标检测器中,18 年提出的 CornerNet 是开山之作,今年又沿着它提出了 CenterNet。这些非常厉害的 single-shot 检测器看起来效果都不如 xNet(matrix net)

Semantic Segmentation

Instance Segmentation

Optimizers

  • lookahead,SGD,RMSProp, Adam基础之上的wrapper optimizer
  • RAdam

    Adam、RMSProp这些算法虽然收敛速度很快,当往往会掉入局部最优解的“陷阱”;原始的SGD方法虽然能收敛到更好的结果,但是训练速度太慢。
    最近,一位来自UIUC的中国博士生Liyuan Liu提出了一个新的优化器RAdam。它兼有Adam和SGD两者的优点,既能保证收敛速度快,也不容易掉入局部最优解,而且收敛结果对学习率的初始值非常不敏感。在较大学习率的情况下,RAdam效果甚至还优于SGD。目前论文作者已将RAdam开源,FastAI现在已经集成了RAdam,只需几行代码即可直接调用。RAdam在图像分类、语言建模,以及机器翻译等等许多任务上,都证明有效。
    上次的adabound出来的时候adam也退休了一波,但是现在还是在用adam。

Normization

Attention

GAN

AutoML

Graph NN

  • pytorch_geometric: 几年来,图神经网络(GNN)在推荐系统、搜索引擎、计算机视觉等领域中都引起了较大的关注。Github有大量开源GNN实现,其中pytorch_geometric是最优秀的实现之一,曾被Yann LeCun推荐

Self-Driving

New Ideas

  • 国内首发Nature子刊 Machine Intelligence论文:思想精妙,或对DNN有重大改进

    在连续学习的标准任务disjoint MNIST与shuffled MNIST任务中,OWM算法的表现超过了同类的其他算法。并且,随着学习的任务数目增加,OWM算法的性能优势会进一步加大。
    代码 OWM 22stars 8-9

  • multi-Grained Cascade Forest(gcForest): 周志华教授指出了深度学习的另一方案,介绍了他们研究的技术 gcForest (multi-Grained Cascade Forest),借鉴 DNN 的特征表示学习,以及集成学习,利用决策树森林的方法,去达到深度模型的效果。

  • HSIC-Bottleneck: 研究者介绍了用于训练深度神经网络的希尔伯特·施密特独立准则(Hilbert-Schmidt independence criterion,HSIC)Bottleneck,用它来代替反向传播简直非常美妙了。表示,HSIC-Bottleneck 的表现在 MNIST/FashionMNIST/CIFAR10 分类中的表现与具有交叉熵目标函数的反向传播算法相当。

  • 基于知识图谱的因果推理: Judea Pearl的因果革命,后面的突破口应该在基于知识图谱的因果推理上面。

Other

  • 基于深度学习的推荐系统,代码数据集缺失,大多数结果无法复现。其次,效果也不如传统推荐算法。
  • 视觉计数(Visual Counting): From Open Set to Closed Set: Counting Objects by Spatial Divide-and-Conquer

    本算法在人群计数,车辆计数和植物计数这3个数据集上进行测试,表现SOTA。 From 华中科技&阿德莱德大学

geoai

ml for sports

football with ml

Reference

History

  • 20190821: created.