选择，提取和生成：具有语法指导的神经关键字生成
近年来，深度神经序列到序列框架已经证明了关键短语生成中的有希望的结果。但是，使用这种深度神经网络处理长文档需要大量的计算资源。为了降低计算成本，通常在将文档作为输入之前将其截断。结果，模型可能会遗漏文档中传达的要点。而且，大多数现有方法要么是提取性的（从文档中识别出重要的短语），要么是生成性的（逐个…
对抗性重量扰动可以注入神经后门吗？
对抗机器学习已经暴露了神经模型的一些安全隐患，并且已经成为最近的重要研究课题。迄今为止，“对抗性扰动”的概念已专门用于输入空间，指的是细微的，不可察觉的变化，这可能导致ML模型出错。在这项工作中，我们将“对抗性扰动”的概念扩展到模型权重的空间，特别是在经过训练的DNN中注入后门，这暴露了使用公开可用…
基于共识波纹的SISSLE：速度，安全性，最后一英里连接性和易用性方面的一些改进
加密货币正在诸如实时总结算和支付系统等领域迅速找到广泛的应用。 Ripple是一种加密货币，在银行和支付提供商中倍受关注。它使用波纹协议共识算法（RPCA）解决了拜占庭将军的问题，该协议中的每个服务器都维护一个服务器列表，称为唯一节点列表（UNL），该列表代表服务器的网络，并且不会集体对其进行欺诈。…
头脑和机器中的单词含义
由于自然语言处理（NLP）的最新进展，机器显示出越来越广泛的语言能力。许多算法源于心理学领域过去的计算工作，提出了一个问题，即他们是否像人们一样理解单词。在本文中，我们比较了人类和机器如何表示单词的含义。我们认为，当代的NLP系统是人类单词相似性的有前途的模型，但是在许多其他方面都存在不足。当前的模…
FaceOff：使用腕戴式加速度计检测人脸触摸
根据疾病预防控制中心的说法，防止自己感染冠状病毒（COVID-19）的关键步骤之一是避免用未洗的手触摸眼睛，鼻子和嘴巴。但是，触摸脸部是一种频繁且自发的行为-一项研究发现，受试者平均每小时触摸23次。创意解决方案已经出现在一些最近的商业和业余爱好者项目中，但是大多数要么是开源的，要么缺乏性能验证。我…
图神经网络：体系结构，稳定性和可转移性
图神经网络（GNN）是图上支持的信号的信息处理体系结构。它们在这里作为卷积神经网络（CNN）的概括提出，其中各个层包含图卷积滤波器组，而不是经典卷积滤波器组。否则，GNN充当CNN。滤波器由点状非线性组成，并逐层堆叠。结果表明，GNN架构表现出对排列的等方差和对图形变形的稳定性。这些特性提供了一种可…
预测急诊科COVID-19患者病情恶化的人工智能系统
在大流行COVID-19期间，急诊科对患者进行快速而准确的分诊对于制定决策至关重要。我们提出了一种数据驱动的方法，该方法使用从胸部X射线图像中学习的深度神经网络和从常规临床变量中学习的梯度增强模型来自动预测恶化风险。我们的AI预后系统经过3,661名患者的数据训练，在96小时内预测恶化时可达到0.7…
浅单变量ReLu网络作为样条曲线：初始化，损失面，粗麻布和梯度流动力学
理解神经网络（NNs）的学习动力学和归纳偏差受到NN参数与所表示函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续的分段线性样条。使用样条透镜，我们研究了浅单变量ReLU NN中的学习动态，发现了一些令人困惑的现象的出乎意料的见解和解释。我们对损耗表面的结构，包括其临界点和固定点…
PAI-BPR：具有属性解释性的个性化服装推荐方案
时尚是人类经验的重要组成部分。诸如采访，会议，结婚等活动通常基于服装样式。时装业的兴起及其对社会影响力的影响已使服装兼容性成为必要。因此，需要一个服装兼容性模型来帮助人们推荐服装。但是，由于兼容性的主观性，必须考虑个性化。我们的论文设计了一种具有个人偏好模型的可解释属性的兼容方案，该方案可以捕获用户…
理解CNN：用INN解释深度表示及其不变性
为了解决日益复杂的任务，它已经成为神经网络学习抽象表示的基本能力。这些特定于任务的表示形式，尤其是它们捕获的不变性，将神经网络变成缺乏可解释性的黑盒模型。因此，要打开这样的黑匣子，至关重要的是揭露模型学到的以及模型学到的不变的语义概念。我们提出了一种基于INN的方法，（i）通过解开数据中剩余的变异因…
弱导对象定位的熵导对抗模型
由于缺少边界框注释，弱监督对象本地化具有挑战性。先前的作品倾向于生成类激活图，即CAM以定位对象。不幸的是，网络仅激活区分对象的功能，而没有激活整个对象。一些方法倾向于删除对象的某些部分以强制CNN检测其他特征，而其他方法则更改网络结构以从模型的不同级别生成多个CAM。在本文中，我们建议利用网络的泛…
基于物理的张量列车ConvLSTM用于体积速度预测
根据美国国家科学院的资料，每周预报环流（LC）及其涡流的速度，垂直结构和持续时间对于了解海洋学和生态系统以及减轻墨西哥湾人为和自然灾害的后果至关重要（GoM）。但是，由于LC行为受多个时间范围内的远程空间连接的支配，因此该预测是一个具有挑战性的问题。在本文中，我们将时空预测学习扩展到4D模型（即针对…
基于深度学习的帕金森病早期诊断
在世界范围内，大约有7到1000万老年人患有帕金森氏病（PD）。帕金森氏病是一种常见的神经退行性疾病，其临床特征是震颤，僵硬，运动迟缓和自主神经减少。其临床表现与多系统萎缩症（MSA）疾病非常相似。研究表明，帕金森氏病患者在诊断时常常会遇到无法挽回的局面，因此，由于可以将帕金森氏病与MSA疾病区分开…
可解释的预测过程监控
预测性业务流程监控正成为组织提供在线操作支持的组织的基本帮助。本文解决了为基础的预测业务流程监视配备解释功能的根本问题，因此，在预测诸如剩余时间或活动执行之类的通用KPI时，不仅报告了原因，还报告了原因。我们使用Shapley值的博弈论来获得对预测的可靠解释。该方法已经在现实的基准上实施和测试，这首…
浅层ReLU模型中粗麻布的解析特征：一个对称的故事
我们考虑与用$ k $神经元拟合两层ReLU网络相关的优化问题。我们利用丰富的对称结构来分析各种杂散局部极小值族中的Hessian及其光谱密度。特别地，我们证明对于具有$ d \ ge k $的标准$ d $维高斯输入：（a）与第一层权重相对应的$ dk $特征值，$ dk-O（d）$集中接近零，（…
从基于源的论文评分中使用神经网络注意力得分自动提取局部成分
虽然自动作文评分（AES）可以可靠地对论文进行大规模评分，但自动写作评估（AWE）还可提供形成性反馈，以指导论文的修订。但是，神经AES通常不提供支持AWE的有用特征表示。本文提出了一种通过使用注意层的中间输出从源文本提取表示证据的主题成分（TC）来链接AWE和神经AES的方法。我们使用基于特征的A…
具有远距离约束的高分辨率神经纹理合成
近年来，纹理合成领域取得了重要进展，最显着的是通过使用卷积神经网络。然而，神经合成方法仍然难以再现大规模结构，尤其是具有高分辨率纹理的情况。为了解决这个问题，我们首先介绍一个简单的多分辨率框架，该框架有效地说明了长期依赖性。然后，我们证明了附加的统计约束条件进一步改善了具有规则性的纹理的再现。这可以…
用于视图合成的深多深度全景图
我们提出了一种基于学习的方法，用于多相机360 $ ^ {\ circ} $全景拍摄设备的新颖视图合成。先前的工作从此类数据构建RGBD全景图，从而允许使用少量平移进行视图合成，但无法处理由大平移导致的遮挡和与视图相关的效果。为了解决此问题，我们提出了一种新颖的场景表示形式-多深度全景图（MDP）-…
边缘计算中自适应深度神经网络的一个案例
在将来自对隐私敏感且对性能至关重要的应用程序的原始数据传输到云数据中心之前，边缘计算可提供一个更靠近数据源的计算基础架构层。深度神经网络（DNN）是一类应用程序，据报告可从边缘和云之间的协作计算中受益。对DNN进行分区，以便将DNN的特定层部署到边缘和云上，以满足性能和隐私目标。但是，对以下方面的理…
PB级医学成像数据湖的高性能按需取消识别
随着人工智能驱动方法的增加，研究人员正在要求空前的医学成像数据量，这远远超过了传统的本地客户端-服务器方法的能力，以使数据研究可随时进行分析。我们正在提供一种灵活的按需身份识别解决方案，该解决方案将成熟软件技术的使用与基于现代云的分布式计算技术相结合，可加快医学成像研究的周转速度。该解决方案是更广泛…
利用对抗性人口进行稳健的强化学习
强化学习（RL）是用于控制器设计的有效工具，但可能会遇到鲁棒性问题，当底层系统动态受到干扰时，灾难性地失败。健壮的RL公式通过向动力学中添加最坏情况的对抗性噪声并将噪声分布构造为零和最小极大游戏的解决方案来解决此问题。但是，现有的针对鲁棒RL公式的学习解决方案的工作主要集中于针对单个对手训练单个RL…
DAEMON：使用多阶段特征挖掘的与数据集无关的可解释恶意软件分类
变异引擎每天都会自动生成大量变态和多态恶意变体，这些变异引擎会在保留其功能的同时转换恶意程序的代码，从而逃避基于签名的检测。这些自动过程极大地增加了恶意软件变体的数量，认为不可能进行完全手动的分析。恶意软件分类是确定新的恶意变体属于哪个家族的任务。同一恶意软件家族的变体显示出相似的行为模式。因此，对…
预测AI进度：研究议程
预测AI进度对于减少不确定性至关重要，以便适当地计划AI安全和AI治理的研究工作。尽管通常认为这是一个重要的主题，但对此却很少进行任何工作，也没有公开的文件给出该领域的客观概述。而且，该领域是非常多样的，关于其方向还没有公开的共识。本文描述了用于预测AI进度的研究议程的开发，该议程利用Delphi技…
通过深度学习从人间质基质细胞到骨肉瘤细胞分类
癌症的早期诊断通常可以提供更多的治疗机会。癌症诊断后，分期可提供有关体内疾病程度以及对特定治疗的预期反应的基本信息。在早期阶段将癌症患者分为高风险或低风险组的首要重要性已导致来自生物医学和生物信息学领域的许多研究团队对深度学习（DL）方法的应用进行了研究。 DL从复杂数据集中检测关键特征的能力是早期…
自我学习在主动学习中对语义分割的重要性
我们在语义分段的上下文中解决了主动学习的任务，并表明自我一致性可以成为自我监督的强大来源，从而可以通过仅访问少量标记数据来极大地提高数据驱动模型的性能。自洽性是一种简单的观察，即特定图像的语义分割结果在诸如水平翻转的转换下不应改变（即仅应翻转结果）。换句话说，模型的输出在等变变换下应该是一致的。自我…
药物处方的跨全球注意力图内核网络预测
我们提出了一种端到端，可解释的深度学习架构，以学习可预测慢性疾病药物处方结果的图形内核。这是通过使用电子病历的图形表示与支持向量机目标协作进行深度度量学习来实现的。我们通过在患者图之间进行新颖的跨全局关注节点匹配，将预测模型公式化为具有自适应学习图内核的二元图分类问题，同时在多个图上进行计算而无需训…
用于智能建筑控制的强化学习的再学习方法
本文证明，使用增量式深度强化学习（RL）不断重学习控制策略可以改善非平稳过程的策略学习。我们为数据驱动的“智能建筑环境”演示了这种方法，我们将其用作开发HVAC控制器以减少大学校园内大型建筑能耗的试验台。由于建筑物运营和天气模式的不稳定，因此必须制定适应变化条件的控制策略。策略上的RL算法（例如近端…
深度神经网络中的隐式显着性
在本文中，我们证明了尚未暴露于眼睛跟踪数据或任何显着性数据集中的现有识别和定位深层体系结构能够预测人类的视觉显着性。我们称其为深度神经网络中的隐式显着性。我们以无监督的方式使用期望不匹配假设计算此隐式显着性。我们的实验表明，与最新的监督算法相比，以这种方式提取显着性可提供可比的性能。此外，当我们向输…
使用自由点变压器网络的多模态生物医学图像配准
我们描述了一种基于新型自由点变换器（FPT）网络的点集注册算法，该算法针对从多峰生物医学图像中提取的用于注册任务（例如在超声引导的介入程序中经常遇到的任务）提取的点而设计。 FPT由全局特征提取器构造而成，该特征提取器接受可变大小的无序源和目标点集。提取的特征由共享的多层感知器点转换器模块进行调节，…
在文化场所中对单阶段艺术品识别进行合成的真实无监督域自适应
使用从用户角度（第一人称视角）获取的图像识别文化站点中的艺术品，可以为访问者和站点管理员构建有趣的应用程序。然而，当前的在完全监督的环境下工作的物体检测算法需要使用大量的标记数据进行训练，其采集需要很多时间和高成本才能获得良好的性能。使用从文化场所的3D模型生成的合成数据来训练算法可以减少这些成本。…
多模式模仿学习的广义保证
由于不完善的演示或模仿学习算法无法准确推断专家的策略，因此模仿学习的控制策略通常无法推广到新颖的环境。在本文中，我们通过利用可能近似正确（PAC）-贝叶斯（Bayes）框架为模仿环境中的政策预期成本提供了上限，从而为模仿学习提供了严格的概括保证。我们提出了一种两阶段的训练方法，其中先使用条件变分自动…
基于渐进式构造的深度网络的反事实解释
为了理解深度网络的黑匣子特征，反事实解释不仅引起了输入空间的重要特征的推论，而且还提出了应如何修改这些特征以将输入分类为目标类的反事实，引起了越来越多的兴趣。深度网络从训练数据集中学习的模式可以通过观察各个类别之间的特征变化来掌握。然而，当前方法执行特征修改以增加目标类别的分类概率，而与深度网络的内…
不仅仅是隐私：在人工智能的关键领域应用差异化隐私
近年来，人工智能（AI）引起了极大的关注。但是，除了其所有进步之外，还出现了一些问题，例如侵犯隐私，安全问题和模型公平性。作为一种有前途的数学模型，差异隐私具有多种吸引人的属性，可以帮助解决这些问题，使其成为非常有价值的工具。因此，差异隐私已在AI中得到广泛应用，但迄今为止，尚无任何文献记录可以或已…
生成集合回归：从离散粒子集合观测中学习随机动力学
我们提出了一种通过观察离散和稀疏时刻（即多个“快照”）处的粒子集合来推论控制随机常微分方程的新方法。每个快照中都记录了单个时刻（可能有噪声或被截断）的粒子坐标，但在快照之间未配对。通过训练生成“伪”样本路径的生成模型，我们旨在用概率测量空间中的曲线拟合观察到的粒子集合分布，该曲线由推断的粒子动力学诱…
具有未知材料特性的物体平面滑动的概率模型：识别和鲁棒规划
本文介绍了一种新技术，用于学习未知对象的质量和摩擦分布的概率模型，并使用所学习的模型执行鲁棒的滑动动作。所提出的方法在两个连续的阶段中执行。在探索阶段，用机器人从不同角度戳桌面物体。使用各种假设的质量和摩擦模型，将观察到的对象运动与模拟运动进行比较。然后相对于未知质量和摩擦参数来区分仿真到实际的间隙…
几何数据及其以外的图形信号处理：理论与应用
从现实世界场景中获取的几何数据，例如2D深度图像，3D点云和4D动态点云，已经发现了广泛的应用，包括身临其境的智真，自动驾驶，监视等。几何数据，传统的图像/视频处理方法是有限的，而图信号处理（GSP）-信号处理社区中的一个快速发展的领域-使得能够处理驻留在不规则域上的信号，并在众多领域发挥关键作用从…
组件分而治之，实现真实世界的图像超分辨率
在本文中，我们提出了一个大规模的，多样化的现实世界图像超分辨率数据集，即DRealSR，以及一个分治式超分辨率（SR）网络，探索了低分辨率指导SR模型的实用性级图像组件。 DRealSR建立了具有各种现实世界退化过程的新SR基准，从而减轻了传统模拟图像退化的局限性。通常，SR的目标随具有不同低级图像…
当您不能做所有事情时该怎么办：具有软时序逻辑约束的时序逻辑规划
在本文中，我们考虑了一个时间逻辑规划问题，该问题的目标是从线性时间逻辑（LTL）表示的一组软规范中找到满足最优选择的无限轨迹，同时又要满足LTL表示的硬规范。我们以前的工作考虑了类似的问题，其中使用有限迹线（LDLf）而不是LTL的线性动态逻辑来表示软约束。在该工作中，使用LDLf对无限轨迹的有限前…
COALESCE：通过学习综合连接来组装零件
我们介绍了COALESCE，这是第一个用于基于组件的形状组装的数据驱动框架，该框架利用深度学习来合成零件连接。为了处理零件之间的几何和拓扑不匹配，我们通过腐蚀去除不匹配的部分，并依靠从数据中获悉的接头合成步骤来填补空白，并得出自然而合理的零件接头。给定从不同对象中提取的一组输入零件，COALESCE…
GloDyNE：保留动态网络嵌入的全局拓扑
由于许多现实世界网络的时间演变特性，在动态环境中学习网络的低维拓扑表示受到了广泛的关注。动态网络嵌入（DNE）的主要和共同目标是有效地更新节点嵌入，同时保留每个时间步的网络拓扑。大多数现有DNE方法的想法是捕获受影响最大的节点（而不是所有节点）处或周围的拓扑变化，并相应地更新节点嵌入。不幸的是，这种…
在GPU上通过管道实现解决动态编程问题
在本文中，我们展示了在GPU上进行动态编程（DP）的管道实现的有效性。例如，我们说明如何通过DP在GPU上解决矩阵链乘法（MCM）问题。该问题可以由DP按$ O（n ^ 3）$步长顺序解决，其中$ n $是矩阵的数目，因为它的解决方案表的大小为$ n \ times n $，并且可以计算表中的每个元…
抗体观察：从文献中挖掘文本抗体特异性
动机：抗体是广泛用于测试蛋白质表达的试剂。但是，当它们未与提供者为其设计的目标蛋白特异性结合时，它们可能无法始终可靠地产生结果，从而导致不可靠的研究结果。尽管已开发出许多解决抗体特异性问题的建议，但它们可能无法很好地扩展以处理研究人员可获得的数百万种抗体。在这项研究中，我们调查了通过提取文献中有关抗…
功能监督的生成对抗网络，用于在朦胧的日子进行环境监控
不利的雾霾天气条件在基于视觉的环境应用中带来了相当大的困难。虽然直到现在，大多数现有的环境监测研究都是在普通条件下进行的，而复杂的霾天气条件的研究却被忽略了。因此，本文提出了一种基于生成对抗网络（GAN）的功能监督学习网络，用于朦胧的环境监测。它的主要思想是从地面真实情况在特征图的监督下训练模型。本…
MusPy：用于生成符号音乐的工具包
在本文中，我们介绍了MusPy，这是一个用于生成符号音乐的开源Python库。 MusPy为音乐生成系统中的基本组件提供了易于使用的工具，包括数据集管理，数据I / O，数据预处理和模型评估。为了展示其潜力，我们介绍了MusPy当前支持的十一个数据集的统计分析。此外，我们通过在每个数据集上训练自回归…
词嵌入中语法性别编码的探索
单词的向量表示（称为单词嵌入）为语言研究开辟了一种新的研究方法。这些表示可以捕获有关单词的不同类型的信息。名词的语法性别是基于其形式和语义特性的典型名词分类。对基于单词嵌入的语法性别的研究可以为有关如何确定语法性别的讨论提供深刻见解。在这项研究中，我们根据确定名词语法性别的神经分类器的准确性，比较了…
Structure-SLAM：室内环境中的低漂移单目SLAM
本文针对室内场景提出了一种低漂移单眼SLAM方法，其中单眼SLAM通常由于缺少纹理表面而失败。我们的方法将跟踪过程的旋转和平移估计解耦，以减少室内环境的长期漂移。为了充分利用场景中可用的几何信息，通过卷积神经网络从每个输入RGB图像实时预测表面法线。首先，利用虚弱的“曼哈顿世界”假设，使用球面均值漂…
最大加权独立集概念的过程计划与调度问题新方法
流程计划和计划（PPS）是必不可少的实用主题，但在制造系统中却是一个非常棘手的问题。许多研究使用迭代方法来解决此类问题。但是，它们在质量和计算速度上都无法获得令人满意的结果。其他研究将调度问题表述为图形着色问题（GCP）或其扩展，但这些表述仅限于某些类型的调度问题。在本文中，我们提出了一种新颖的方法…
Trove：由本体论驱动的对医疗实体分类的弱监督
动机：识别命名实体（NER）及其相关属性（例如，否定）是自然语言处理中的核心任务。但是，为实体任务手动标记数据既耗时又昂贵，这为在新的医疗应用中使用机器学习造成了障碍。弱监督学习会根据低成本，不太准确的标签规则自动构建不完善的培训集，从而提供了潜在的解决方案。医学本体是产生标签的引人注目的来源，但是…
退火遗传GAN以减少少数民族过采样
克服阶级失衡问题的关键是准确把握少数民族阶级的分布。生成对抗网络（GAN）由于具有足够的训练数据样本来再现数据分布的能力，因此具有解决类不平衡问题的潜力。然而，一门或多门课程的稀缺样本仍然给GAN带来了巨大的挑战，要他们学习少数族裔课程的准确分布。在这项工作中，我们提出了一种退火遗传GAN（AGGA…