• 甜粽还是咸粽?来看动物们的专属粽子有什么馅儿 2019-03-14
  • 当厕所被吹上天 场面有些凌乱 2019-03-13
  • 太原摇滚20年演唱会 齿轮橡皮等老牌乐队重出江湖 2019-03-13
  • 甘肃11选五玩法预测:Ground-truth数据面临哪些挑战?

    发表于 2019-03-12 16:03:04 收藏 已收藏
    赞(0) •  评论(0

    Ground-truth数据面临哪些挑战?

    发表于 2019-03-12 16:03:04

    甘肃11选五开奖查询 www.ambcx.com Ground-truth(真值)是什么?

    Ground-truth在机器学习中表示有监督学习的训练集的分类准确性,用于证明或者推翻某个假设。有监督的机器学习会对训练数据打标记,将那些正确打标记的数据成为ground truth。Ground truth就是参考标准,一般用来做误差量化,最终用于验证分类算法的准确性。真值标定的输入一般是视频文件。真值标定既可以手动一帧一帧地标定,也可以半自动化标定后再手工修正,最终可以将结果保存成真值数据库。

    Ground-truth在自动驾驶汽车产业具有很高的的附加值,它涉及以下数据处理流程:数据采集、数据标注、模型训练、应用、验证。拥有最高质量Ground-truth数据的公司将会处于自动驾驶汽车的最前沿。

    Ground-truth质量影响算法质量。

    一、Ground-truth数据面临哪些挑战

    丢失或模糊的对象

    不一致的标记(行人手中有物体或没有物体)

    不同种类车辆之间不明确的边界

    系统性的标记误差

    不精确性

    定义不佳的需求

    1.1 丢失或模糊的对象

    1.2 不一致的标记 (行人手中有物体或没有物体)

    1.3 不同种类车辆之间不明确的边界

    1.4 系统化标记误差

    原始的标记框不精确,通过对顶部和底部的修正以及更详细的注释使得标记框更加精确。

    二、实验:Ground Truth质量对于算法性能的影响

    2.1 实验

    我们展示了标记框实验的初步结果

    1. 复合分类(定义不佳的标签需求)

    2. 不精确的真值标记

    复合分类

    图中骑车人和行人被标记了出来,自行车没有被标记出来。

    2.2 复合Caltech:新数据集

    行人与携带行李的行人的对比

    Caltech完成了从原始不精确标记框到更为精确的标记框,再到高质量复合型标记框的转变。

    2.3 复合型Caltech训练

    1. 用于重复性结果的框外物体检测器

    2. 体系结构:更快的 rcnn_resnet101_coco (coco预训练)

    3. Caltech数据库微调(任何一个变量都有一个独立的模型,没有超参数调优)

    2.4 Caltech检测器评估

      Caltech 改进的Caltech 复合Caltech
    [email protected] 0.2170 0.3030 0.2916

     

    初步结果:复合Caltech降低了精确度

    2.5 扭曲VOC边界框

    2.6实验总结

    标记不精确(质量)对高精度区域的性能影响显著。

    三、解决方案

    加速标注过程:更高速、精确并且具有成本效益

    人工标注过程从90分钟压缩到35分钟 

    可视化不确定的地方,引导标记人员

    四、Understand.ai 质量保证办法

    一是依靠智能算法

    深度学习推理,与不确定性计算共同加快标注员的工作

    算法质量检测与物体追踪

    二是依靠人类智慧

    每一幅图像都经过人类标注员的验证

    通过内部专家提供额外的质量保证

    通过智能算法与人类智慧,共同完成高质量的标注。

    通过算法推荐,计算不确定的地方,以及标记人员解决不确定性的地方,共同完成高质量的标注。

    LIDAR标注

    通过算法和工具,使得速度最高能提高5倍。

    收藏

    相关话题

    评论(0)

    加载更多评论

    分享到

    QQ空间 甘肃11选五开奖查询QQ好友 微博
    取消
  • 甜粽还是咸粽?来看动物们的专属粽子有什么馅儿 2019-03-14
  • 当厕所被吹上天 场面有些凌乱 2019-03-13
  • 太原摇滚20年演唱会 齿轮橡皮等老牌乐队重出江湖 2019-03-13