dl notes

Refs

kaggle

blogs

en

zh

less useful

themed topics

image video processing

Raspberry Pi

NCS(Neural Computing Stick)支持Caffe和Tensorflow框架训练出来的模型。
NCS SDK API提供了Python和C语言的支持。
Intel’s Movidius NCS and OpenVINO toolkit
Movidius APIv1—>Movidius APIv2—> OpenVINO
OpenVINO supports Intel CPUs, GPUs, FPGAs, and VPUs.
Movidius VPU (Vision Processing Unit)

papers

online books

Publisher

free books

specific books

online courses

cs231n

cs231n

github

self-driving cars

GitHub Tools

machine learning

debug

nvidia

mxnet

other

Train Skills

gan训练技巧

pytorch with dail for training

Architectures

basic

  • lenet 1999,alexnet 2012,vggnet 2013,googlenet 2013,inception v1-v4, xception, resnet 2015,
  • squeezenet, densenet, mobilenet, unet
  • rcnn,fast rcnn,faster rcnn,mask rcnn
  • ssd,yolo v1 v2 v3,retinanet(focal loss)

extension

  • ResNeXt: ResNet的优化版ResNeXt,100层相当于resnet200层的精度。一个ResNet打所有,如果不行,那就Stacked Hourglass,还不行就SEResNet。
  • SEResNet
  • yolov3 tiny,yolov3 spp1,yolov3 spp3,slim yolov3 spp3(无人机目标检测)

Classification

Object Detection

anchor-based

  • 《IoU Loss for 2D/3D Object Detection》 注:可提高 2D/3D 目标检测的 mAP
  • IoU-balanced RetinaNet: 专用于Single-stage目标检测的IoU损失函数,如 IoU-balanced RetinaNet 相对于RetinaNet涨点1.1%,特别是高IoU,如涨点2.3% for AP90
  • 上交&中南&南理提出:R3Det 适用于旋转目标的检测网络,综合性能优于RRPN、R2CNN和RetinaNet-R等网络,在航拍图像和场景文本检测数据集上表现SOTA

anchor-free

  • Matrix Net (xNet)

    基于关键点的目标检测器中,18 年提出的 CornerNet 是开山之作,今年又沿着它提出了 CenterNet。这些非常厉害的 single-shot 检测器看起来效果都不如 xNet(matrix net)

Semantic Segmentation

Instance Segmentation

Optimizers

  • lookahead,SGD,RMSProp, Adam基础之上的wrapper optimizer
  • RAdam

    Adam、RMSProp这些算法虽然收敛速度很快,当往往会掉入局部最优解的“陷阱”;原始的SGD方法虽然能收敛到更好的结果,但是训练速度太慢。
    最近,一位来自UIUC的中国博士生Liyuan Liu提出了一个新的优化器RAdam。它兼有Adam和SGD两者的优点,既能保证收敛速度快,也不容易掉入局部最优解,而且收敛结果对学习率的初始值非常不敏感。在较大学习率的情况下,RAdam效果甚至还优于SGD。目前论文作者已将RAdam开源,FastAI现在已经集成了RAdam,只需几行代码即可直接调用。RAdam在图像分类、语言建模,以及机器翻译等等许多任务上,都证明有效。
    上次的adabound出来的时候adam也退休了一波,但是现在还是在用adam。

Normization

Attention

GAN

AutoML

Graph NN

  • pytorch_geometric: 几年来,图神经网络(GNN)在推荐系统、搜索引擎、计算机视觉等领域中都引起了较大的关注。Github有大量开源GNN实现,其中pytorch_geometric是最优秀的实现之一,曾被Yann LeCun推荐

Self-Driving

New Ideas

  • 国内首发Nature子刊 Machine Intelligence论文:思想精妙,或对DNN有重大改进

    在连续学习的标准任务disjoint MNIST与shuffled MNIST任务中,OWM算法的表现超过了同类的其他算法。并且,随着学习的任务数目增加,OWM算法的性能优势会进一步加大。
    代码 OWM 22stars 8-9

  • multi-Grained Cascade Forest(gcForest): 周志华教授指出了深度学习的另一方案,介绍了他们研究的技术 gcForest (multi-Grained Cascade Forest),借鉴 DNN 的特征表示学习,以及集成学习,利用决策树森林的方法,去达到深度模型的效果。

  • HSIC-Bottleneck: 研究者介绍了用于训练深度神经网络的希尔伯特·施密特独立准则(Hilbert-Schmidt independence criterion,HSIC)Bottleneck,用它来代替反向传播简直非常美妙了。表示,HSIC-Bottleneck 的表现在 MNIST/FashionMNIST/CIFAR10 分类中的表现与具有交叉熵目标函数的反向传播算法相当。

  • 基于知识图谱的因果推理: Judea Pearl的因果革命,后面的突破口应该在基于知识图谱的因果推理上面。

Other

  • 基于深度学习的推荐系统,代码数据集缺失,大多数结果无法复现。其次,效果也不如传统推荐算法。
  • 视觉计数(Visual Counting): From Open Set to Closed Set: Counting Objects by Spatial Divide-and-Conquer

    本算法在人群计数,车辆计数和植物计数这3个数据集上进行测试,表现SOTA。 From 华中科技&阿德莱德大学

geoai

ml for football/sports

football with ml

Reference

History

  • 20190821: created.

Author: kezunlin
Reprint policy: All articles in this blog are used except for special statements CC BY 4.0 reprint polocy. If reproduced, please indicate source kezunlin !
评论
  TOC