7 Papers & Radios | 陈丹琦关系抽取新SOTA；上海交大医疗版MNIST数据集

原标题：7Pape&Radio|陈丹琦关系抽取新SOTA；上海交大医疗版MNIST数据集
机器之心&AXiWeeklyRadioaio
参与：杜伟、楚航、罗若天

本周的重要论文包括上海交大发布的医疗版MNIST数据集，以及陈丹琦在关系抽取方面的新探索。

目录：

MedMNISTClaiicaioDecahlo:ALighweighAuoMLBechmakoMedicalImageAalyi
ASueyoMuli-oucePeoRe-ideiicaio
CombiigLabelPopagaioadSimpleModelou-peomGaphNeualNewok
AFuaiglyEayAppoachoJoiEiyadRelaioExacio
Sel-aiigadPe-aiigaeComplemeayoSpeechRecogiio
ASueyoCoaieSel-upeiedLeaig
ImageSeimeTae
AXiWeeklyRadioaio：NLP、CV、ML更多精选论文附音频

论文1：MedMNISTClaiicaioDecahlo:ALighweighAuoMLBechmakoMedicalImageAalyi

作者：JiachegYag、RuiShi、BigbigNi
论文链接：hp://axi.og/pd/2010.149251.pd

摘要：在AI技术的发展中，数据集发挥了重要的作用。然而，医疗数据集的创建面临着很多难题，如数据获取、数据标注等。近期，上海交通大学的研究人员创建了医疗图像数据集MedMNIST，共包含10个预处理开放医疗图像数据集其数据来自多个不同的数据源，并经过预处理。和MNIST数据集一样，MedMNIST数据集在轻量级28×28图像上执行分类任务，所含任务覆盖主要的医疗图像模态和多样化的数据规模。
它在全部10个数据集上评估AuoML算法的性能，且不对算法进行手动微调。研究人员对比了多个基线方法的性能，包括早停ReNe[6]、开源AuoML工具auo-klea[7]和AuoKea[8]，以及商业化AuoML工具GoogleAuoMLViio。研究人员希望MedMNISTClaiicaioDecahlo可以促进AuoML在医疗图像分析领域的研究。

MedMNIST数据集概览，涵盖数据集的名称、来源、数据模态、任务和数据集分割情况。

研究人员对比了多个基线方法的性能。

算法在规模较小的数据集上容易过拟合。
推荐：上海交大研究人员创建新型开放医疗图像数据集MedMNIST，并设计MedMNIST分类十项全能，旨在促进AuoML算法在医疗图像分析领域的研究。
论文2：ASueyoMuli-oucePeoRe-ideiicaio

作者：YEYu、WANGZheg、LIANGChao等

摘要：行人重识别是近年来计算机视觉领域的热点问题，经过多年的发展，基于可见光图像的一般行人重识别技术已经趋近成熟。然而，目前的研究多基于一个相对理想的假设，即行人图像都是在光照充足的条件下拍摄的高分辨率图像。因此虽然大多数的研究都能取得较为满意的效果，但在实际环境中并不适用。多源数据行人重识别即利用多种行人信息进行行人匹配的问题。除了需要解决一般行人重识别所面临的问题外，多源数据行人重识别技术还需要解决不同类型行人信息与一般行人图片相互匹配时的差异问题，如低分辨率图像、红外图像、深度图像、文本信息和素描图像等。因此，与一般行人重识别方法相比，多源数据行人重识别研究更具实用性，同时也更具有挑战性。
本文首先介绍了一般行人重识别的发展现状和所面临的问题，然后比较了多源数据行人重识别与一般行人重识别的区别，并根据不同数据类型总结了5类多源数据行人重识别问题，分别从方法、数据集两个方面对现有工作做了归纳和分析。与一般行人重识别技术相比，多源数据行人重识别的优点是可以充分利用各类数据学习跨模态和类型的特征转换。最后，本文讨论了多源数据行人重识别未来的发展。

多源数据行人重识别类型。

三类多源数据行人重识别方法描述。

几种多源数据行人重识别方法在常用的行人数据集上的识别结果。
推荐：这项研究在自动化学报上发表。
论文3：CombiigLabelPopagaioadSimpleModelou-peomGaphNeualNewok

作者：QiaHuag、HoaceHe、AbhaySigh等
论文链接：hp://axi.og/pd/2010.13993.pd

摘要：图神经网络GNN是图学习方面的主要技术。但是我们对GNN成功的奥秘以及它们对于优秀性能是否必然知之甚少。近日，来自康奈尔大学和Facebook的一项研究提出了一种新方法，在很多标准直推式节点分类aducieodeclaiicaio基准上，该方法超过或媲美当前最优GNN的性能。
这一方法将忽略图结构的浅层模型与两项简单的后处理步骤相结合，后处理步利用标签结构中的关联性：(i)误差关联：在训练数据中传播残差以纠正测试数据中的误差；(ii)预测关联：平滑测试数据上的预测结果。研究人员将这一步骤称作CoecadSmooh(C&S)，后处理步骤通过对早期基于图的半监督学习方法中的标准标签传播LP技术进行简单修正来实现。
该方法在多个基准上超过或接近当前最优GNN的性能，而其参数量比后者小得多，运行时也快了几个数量级。例如，该方法在OGB-Poduc的性能超过SOTAGNN，而其参数量是后者的1/137，训练时间是后者的1/100。该方法的性能表明，直接将标签信息纳入学习算法可以轻松实现显著的性能提升。这一方法还可以融入到大型GNN模型中。

模型架构图。

实验所用的9个数据集。

OGB-Poduc数据集上参数与性能准确率的变化曲线图。
推荐：将传统标签传播方法与简单模型相结合即在某些数据集上超过了当前最优GNN的性能。
论文4：AFuaiglyEayAppoachoJoiEiyadRelaioExacio

作者：ZexuaZhog、DaqiChe
论文链接：hp://axi.og/pd/2010.12812.pd

摘要：端到端关系抽取旨在识别命名实体，同时抽取其关系。近期研究大多采取joi方式建模这两项子任务，要么将二者统一在一个结构化预测网络中，要么通过共享表示进行多任务学习。
而近期来自普林斯顿大学的ZexuaZhog、陈丹琦介绍了一种非常简单的方法，并在标准基准ACE04、ACE05和SciERC上取得了新的SOTA成绩。该方法基于两个独立的预训练编码器构建而成，只使用实体模型为关系模型提供输入特征。通过一系列精心检验，该研究验证了学习不同的语境表示对实体和关系的重要性，即在关系模型的输入层融合实体信息，并集成全局语境信息。
此外，该研究还提出了这一方法的高效近似方法，只需要在推断时对两个编码器各执行一次，即可获得8-16倍的加速，同时准确率仅小幅下降。

该研究提出的模型包括一个实体模型和一个关系模型。

研究人员在三个端到端关系抽取数据集ACE04、ACE054和SciERC上进行方法评估，使用F1分数作为评估度量指标。不同方法的对比结果。

完全关系模型和近似模型的F1分数与推断速度。
推荐：端到端关系抽取任务中，pipelie方法重回巅峰
论文5：Sel-aiigadPe-aiigaeComplemeayoSpeechRecogiio

作者：QiaogXu、AlexeiBaeki、TaiaaLikhomaeko等
论文链接：hp://axi.og/pd/2010.11430.pd

摘要：自训练和无监督预训练成为使用无标注数据改进语音识别系统的有效方法。但是，我们尚不清楚它们能否学习类似的模式，或者它们能够实现有效结合。
最近，Facebook人工智能研究院FAIR一项研究展示了，伪标注和使用wa2ec2.0进行预训练在多种标注数据设置中具备互补性。
只需来自Libi-ligh数据集的10分钟标注数据和来自LibiVox数据集的5.3万小时无标注数据，该方法就能在Libipeechclea和ohe测试集上取得3.0%/5.2%的WER词错率，甚至打败了仅仅一年前基于960个小时标注数据训练的最优系统。在Libipeech所有标注数据上训练后，该方法可以达到1.5%/3.1%的词错率。

在所有低资源数据设置中，结合预训练和自训练(wa2ec2.0+ST)后的性能超过仅使用预训练(wa2ec2.0)的性能。在10hlabeled设置中，该方法相比迭代伪标注方法[14]有大幅提升。

在100hlabeled设置下，LS-960作为无标注数据时该研究提出的方法无法超过基线模型。但是使用更大规模的LV-60k作为无标注数据时，该方法性能有所提升，在e-ohe测试集上的词错率比wa2ec2.0降低了10%。

在没有语言模型的10milabeled设置下这一效应尤其显著：在e-ohe数据集上，wa2ec2.0+ST(2cach)将基线方法(wa2ec2.0-LM)的词错率降低了83%。
推荐：来自FAIR的研究者提出结合自训练和无监督预训练执行语音识别任务，证明这两种方法存在互补性，并取得了不错的结果。
论文6：ASueyoCoaieSel-upeiedLeaig

作者：AhihJaiwal、AhwiRamehBabu、MohammadZakiZadeh等
论文链接：hp://axi.og/ab/2011.00362

摘要：在本文中，来自德州大学阿灵顿分校的研究者解释了对比学习设置中常用的自监督任务以及截止目前提出的不同架构，然后对图像分类、目标检测和动作识别等多个下游任务的不同方法进行性能比较，最后总结了目前方法的局限性和未来的发展方向。

用于自监督训练的对比学习pipelie。

对比预测编码示意图。

对比学习的不同架构pipelie。
推荐：论文一作AhihJaiwal为UTAligo二年级博士生。
论文7：ImageSeimeTae

作者：TialagChe、WeiXiog、HaiiaZheg、JieboLuo
论文链接：hp://axi.og/pd/2006.11337.pd

摘要：计算机视觉领域中有很多任务，如目标检测、图像转换、风格迁移等，但你听说过图像情感迁移吗罗切斯特大学罗杰波团队提出了这项研究任务。与其他计算机视觉任务相比，图像情感迁移更有挑战性，需要对图像中的每个物体进行不同的情感迁移。该研究提出一种灵活有效的物体级图像情感迁移框架和新模型SeiGAN，实验证明该框架可以有效执行物体级图像情感迁移。

本研究提出的图像风格迁移框架。

核心组件SeiGAN的架构。

验证物体级情感迁移的效果。
推荐：图像风格迁移语音情感迁移不，是图像情感迁移。
AXiWeeklyRadioaio
机器之心联合由楚航、罗若天发起的AXiWeeklyRadioaio，在7Pape的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
本周10篇NLP精选论文是：
1.Semi-upeiedRelaioExacioiaIcemealMeaSel-Taiig.(omPhilipS.Yu)
2.SLM:LeaigaDicoueLaguageRepeeaiowihSeeceUhulig.(omChiopheD.Maig)
3.PhoemeBaedNeualTaduceoLageVocabulaySpeechRecogiio.(omHemaNey)
4.Topic-PeeigSyheicNewGeeaio:AAdeaialDeepReiocemeLeaigAppoach.(omHuaLiu)
5.SimulMToSimulST:AdapigSimulaeouTexTalaiooEd-o-EdSimulaeouSpeechTalaio.(omPhilippKoeh)
6.Co-DomaiSeimeClaiicaioWihCoaieLeaigadMuualIomaioMaximizaio.(omKuKeuze)
7.ImpoigEeDuaioPedicioiaTime-awaePe-aiig.(omClaieCadie)
8.AuomaicDeeciooMachieGeeaedTex:ACiicalSuey.(omLakV.S.Lakhmaa)
9.AiicialIelligece(AI)iAcio:AddeigheCOVID-19PademicwihNaualLaguagePoceig(NLP).(omZhiyogLu)
10.WapedLaguageModeloNoieRobuLaguageUdeadig.(omDilekHakkaiTü)
本周10篇CV精选论文是：
1.VolumeicMedicalImageSegmeaio:A3DDeepCoae-o-ieFamewokadIAdeaialExample.(omEllioK.Fihma,AlaL.Yuille)
2.Leaigubiaedegiaioadjoiegmeaio:ealuaioologiudialdiuioMRI.(omWioJ.Niee,MeikeW.Veooij)
3.LeaigaGeeaieMoioModelomImageSequecebaedoaLaeMoioMaix.(omHeéDeligee,NicholaAyache)
4.Ou-o-DiibuioDeeciooAuomoiePecepio.(omRoladSiegwa)
5.Caheaeoeleaeuoiadeepeualewokeeaidicaoodeecigadeaialaack?.(omTieTuyelaa)
6.Ed-o-edAimalImageMaig.(omSepheJ.Maybak,DachegTao)
7.Mui-iewMoueSocialBehaiouRecogiiowihDeepGaphicalModel.(omDachegTao,XuelogLi)
8.ReiiigSeeoDephEimaioFomaSequece-o-SequecePepeciewihTaome.(omRuellH.Taylo)
9.VEGA:TowadaEd-o-EdCoiguableAuoMLPipelie.(omTogZhag)
10.Apaialhueimilaiymeaueoaemeocolouiaio.(omPaulF.Whela)
本周10篇ML精选论文是：
1.CompeheibleCoueacualIepeaiooKolmogoo-SmioTe.(omJiaPei)
2.HadligMiigDaawihGaphRepeeaioLeaig.(omJueLekoec)
3.AgEBO-Tabula:JoiNeualAchiecueadHypepaameeSeachwihAuouedDaa-PaallelTaiigoTabulaDaa.(omIabelleGuyo)
4.HumaeuMachieAeioiDeepReiocemeLeaigTak.(omMayHayhoe,DaaBallad,PeeSoe)
5.DaaAugmeaioiaSucuedAdeaialPeubaio.(omSamyBegio)
6.AuoecodigFeaueoAiaioMachieLeaigPoblem.(omKeihCampbell)
7.TowadaUiiedQuadaueFamewokoLage-ScaleKeelMachie.(omJohaA.K.Suyke)
8.AugmeigOgaizaioalDeciio-MakigwihDeepLeaigAlgoihm:Piciple,Pomie,adChallege.(omGeogoKogh)
9.CoolVAE:Tuig,AalyicalPopeie,adPeomaceAalyi.(omTaekAbdelzahe)
10.BayeiaVaiaioalOpimizaiooCombiaoialSpace.(omAláApuu-Guzik)