AMiner 会议论文推荐第十五期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Exploiting Mutual Information for Substructure-aware Graph Representation Learning

在本文中，作者设计并评估了一种新的子结构感知图形表示学习（GRL）方法。GRL旨在将图结构信息映射为低维表示形式。尽管已经为建模全局和/或局部结构信息做了大量的努力，但GRL可以通过子结构信息来改进。最近的一些研究利用对抗性学习来整合子结构意识，但受到不稳定收敛的阻碍。
这项研究将解决主要的研究问题：是否有更好的方法将子结构意识融入到GRL中？作为图结构的子集，感兴趣的子结构（即子图）对于区分图具有唯一性和代表性，导致图级结构和子结构的表示具有高度的相关性。由于互信息（MI）用于评估两个变量之间的相互依赖性，作者开发了一种MI诱导的子结构感知GRL方法。作者将GRL流水线分解为两个阶段：（1）节点级，作者通过原始表示和学习表示应该高度相关的直觉，引入以最大化原始表征和学习表征之间的MI；（2）图级，通过最大化图级结构和子结构表示之间的MI来保留子结构。最后，作者展示了广泛的实验结果，以通过实际数据证明他们方法的改进性能。

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef27721ae?conf=ijcai2020

会议链接：https://www.aminer.cn/conf/ijcai2020



Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling

Dirichlet Belief Networks（DirBN）是最近被提出的一种很有前途的学习对象的可解释性深层潜在表示的方法。
在这项工作中，作者利用其可解释的建模架构，提出了一个深层的动态概率框架-递归Dirichlet Belief Networks（Recurrent-DBN）-从动态关系数据中研究可解释的隐藏结构。提出的Recurrent-DBN具有以下优点：（1）它能在时间步长内和跨时间步长内为对象推导出可解释的、有组织的分层潜藏结构；（2）它能实现递归的长期时间依赖性建模，这优于大多数动态概率框架中的一阶马尔科夫描述。此外，作者开发了一种新的推理策略，该策略首先向上和向后传播潜在计数，然后向下和向后传播采样变量，以实现Recurrent-DBN的高效吉布斯采样。
作者将Recurrent-DBN应用于动态关系数据问题。大量关于真实数据的实验结果证明了Recurrent-DBN在可解释的潜在结构发现和提高链路预测性能方面优于最新模型的优势。
论文链接：https://www.aminer.cn/pub/5e54f1813a55acae32a25f55?conf=ijcai2020
会议链接：https://www.aminer.cn/conf/ijcai2020


Generating Interpretable Poverty Maps using Object Detection in Satellite Images

准确衡量地方一级贫困是*和人道主义组织追踪改善生计和分配稀缺资源的进展的一项重要任务。使用卫星图像预测贫困的计算机视觉最新进展显示出越来越高的准确性，但它们并未生成决策者可以解释的特征，从而阻碍了从业人员的采用。

文中作者展示了一个可解释的计算框架，可以通过将对象检测器应用于高分辨率（30厘米）卫星图像来准确地预测局部贫困。使用对象的加权计数作为特征，在预测乌干达的村级贫困时达到了0.539 Pearson的r ^ 2，比现有（且较难解释）的基准提高了31％。特征重要性和消解分析揭示了对象计数与贫困预测之间的直观关系。作者的结果表明，至少在这个重要领域中，可解释性并不一定要以性能为代价。
论文链接：https://www.aminer.cn/pub/5e3be3c33a55ac29c4ae7d26?conf=ijcai2020
会议链接：https://www.aminer.cn/conf/ijcai2020

NeurIPS 2020 论文推荐

Big Self-Supervised Models are Strong Semi-Supervised Learners

一种充分利用大量未标记数据，同时从少量标记示例中学习的范式是无监督的预训练，然后是有监督的微调。尽管这种范式以与任务无关的方式使用未标记数据，但是与大多数以前的计算机视觉半监督学习方法相比，作者表明它对于ImageNet上的半监督学习非常有效。

作者方法的关键要素是在预训练和微调过程中使用一个大的（深而广）网络。作者发现，标签越少，这种方法（与任务无关的未标签数据的使用）从更大的网络中受益越多。经过微调后，可以通过第二次使用未标记的示例（以特定于任务的方式）来进一步改进大型网络并将其提炼成较小的网络，而分类精度几乎不会损失。

所提出的半监督学习算法可以概括为三个步骤：使用SimCLRv2（对SimCLR的修改）对大型ResNet模型进行无监督的预训练，对一些带标签的示例进行有监督的微调，以及通过无标签的示例进行精炼和迁移特定任务的知识。

该程序使用ResNet-50时仅用1%的标签（每类<=13张标签图像）就能达到73.9%的ImageNet top-1准确率，比之前的最先进的标签效率提高了10倍。在使用10%的标签时，使用作者的方法训练的ResNet-50达到了77.5%的top-1准确率，超过了所有标签的标准监督训练。

论文链接：https://www.aminer.cn/pub/5eede0b091e0116a23aafc15?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020

Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases

自监督的表示学习方法最近在对象检测和图像分类等下游任务上超过了监督学习的方法。令人惊讶的是，最近的性能提升来自训练实例分类模型，该模型将每个图像及其增强版本视为单个类的样本。
在这项工作中，作者首先提出定量实验来解读这些收益。作者证明了像MOCO和PIRL这样的方法可以学习遮挡不变的表示。但是，它们无法捕获视点和类别实例不变性，而这些是对象识别的关键组成部分。其次，作者证明了这些方法可以从访问一个干净的以对象为中心的训练数据集（如Imagenet）中获得进一步的收益。最后，作者提出了一种方法来利用非结构化视频来学习拥有更高视角不变性的表示。
作者的结果表明，在编码不变性以及在下游图像分类和语义分割任务上，学习的表示优于在相同数据上训练的MOCOv2。

论文链接：https://www.aminer.cn/pub/5f21421391e011f62007affb?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020


Flows for simultaneous manifold learning and density estimation

作者介绍了流形建模流程（MFMF），这是一类新的生成模型，可同时学习数据流形以及该流形上的可处理概率密度。它们将归一化流、GANs、自动编码器和基于能量的模型的各个方面结合起来，具有更忠实地表示具有多种结构的数据集的潜力，并提供了降维、降噪和分布失调检测的处理方法。

作者论证了为什么这类模型不应该仅仅通过最大似然来训练，并提出了一种将流形和密度更新分开的新训练算法。

通过两个教学示例，作者展示了流形建模流程如何使我们学习数据流形并提供了比环境数据空间中的标准流更好的推理。

论文链接：https://www.aminer.cn/pub/5e85c28491e0114016e821e7?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020

本文地址：https://blog.csdn.net/AI_Conf/article/details/110396353