7 Papers & Radios

admin

呆板之心&ArXiv Weekly Radiostation

介入：杜伟，楚航，罗若天

本周的首要论文有阿里达摩院在主動駕驶范畴的新功效，和复旦大學邱锡鹏傳授颁發的預練習模子综述论文。

目次：

MIP∗ = RE

Rapid online learning and robust recall in a neuromorphic olfactory circuit

Disrupting Deepfakes: Adversarial Attacks Against Conditional Image Translation Networks and Facial Manipulation Systems

ReZero is All You Need: Fast Convergence at Large Depth

Structure Aware Single-Stage 3D Object Detection from Point Cloud

Pre-trained Models for Natural Language Processing: A Survey

AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data

A壯陽藥,rXiv Weekly Radiostation：NLP、CV、ML更多精選论文（附音频）

论文 1：MIP∗ = RE

论文链接：

擇要：這篇长达 165 页的论文所揭露的鑽研功效，一經公布，就在學界激發了遍及的存眷，《Nature》杂志也對此举行了先容。在该论文中，五位计较機科學家為可經由過程计较方法驗證的常識确立了一個新的鸿沟。基于此，他們又為量子物理學和纯数學范畴仍未获得解决的重浩劫题带去了谜底。這個新證實就是：在理论上，利用胶葛态量子比特（qubit）而非經典的 1 和 0 举行计较的量子计较機可用于驗證很是多的問题的谜底。

该證實的作者有多伦多大學的 Henry Yuen、悉尼科技大學的季铮锋（Zhengfeng Ji）、加州理工學院的 Anand Natarajan 和 Thomas Vidick 和德克萨斯州大學奥斯汀分校的 John Wright。這五位鑽研者都是计较機科學家。

举薦：针對這篇「不明觉厉」的 165 页长篇论文，有網友暗示「如今要获得科學上的新冲破，把物理與数學慎密连系構成团队举行深刻鑽研是很是有用的一種方法。像之前仅仅靠单打独斗的方法或只斟酌本身本學科的鑽研系统已不顺應现今科學成长的必要。交织學科的有機交融将會带来科學大成长的新一轮機會。」

论文 2：Rapid online learning and預防白髮保健品, robust recall in a neuromorphic olfactory circuit

论文链接：

擇要：近日，来自英特尔和康奈尔大學的鑽研者颁布發表，团队已在神經形态芯片 Loihi 上樂成設計了基于大脑嗅觉電路的算法，實现了在线進修和强影象力能力。這项鑽研颁發在最新一期天然杂志子刊上《Nature Machine Intelligence》上，并成為封面文章。

在该鑽研中，鑽研者展现了英特尔神經形态鑽研芯片 Loihi 在存在较着噪声和粉飾的环境放學習和辨認伤害化學品的能力。该體系基于英特尔的神經形态鑽研芯片 Loihi 和 72 個化學傳感器，Loihi 被编程為仿照嗅球中神經元的運作——後者是區别分歧气息的大脑區域。鑽研职員暗示，這一體系将来可被用于监督氛围中的有害物資，嗅出暗藏的福寿膏或爆炸物，或帮忙举行醫學诊断。

举薦：由于效力颇高，Pohoiki Beach 和 Loihi 有望成為人工智能算法成长的新動力。英特尔称，新形态的芯片可以在图象辨認、主動駕驶和主動化呆板人等方面带来庞大技能晋升。

论文 3：Disrupting Deepfakes: Adversarial Attacks Against Conditional Image Translation Networks and Facial Manipulation Systems

论文链接：

擇要：匹敌進兒，常见于坑骗各類图象辨認模子，固然也能用于图象天生模子，但彷佛意义不是那末大。不外若是能用在 deepfake 這種换脸模子，那就很是有远景了。在這篇论文中，鑽研者恰是沿着匹敌進兒這条路「坑骗」deepfake 的换脸操作。

详细而言，鑽研者起首提出并樂成利用了：可以泛化至分歧類此外可迁徙匹敌進兒，這象征着進兒者不必要领會图象的種别；用于天生匹敌收集（GAN）的匹敌性練習，這是實现鲁棒性图象轉换收集的第一步；在灰盒（gray-box）場景下，使输入图象變模胡可以樂成地防御進兒，鑽研者展现了一個可以或许規避這類防御的進兒法子。

举薦：這篇波士顿大學的鑽研放出来没多久，就遭到不少鑽研者的热议，在 Reddit 上也有很是多的會商。

论文 4：ReZero is All You Need: Fast Convergence at Large Depth

论文链接：

擇要：在本文中，為了促成深度旌旗灯号傳布，来自加州大學圣迭戈分校的鑽研者提出了 ReZero，對付将肆意层初始化為恒等映照（identity map）的架構，ReZero 做了简略的更改，并在每层利用单個學得的附加参数。他們将這類法子利用到说话建模中，成果發明可以或许在 100 多個层上輕松地練習 ReZero-Transformer 收集。

當利用于 12 层的 Transformers 時，ReZero 在 enwiki8 数据集上的收敛速率晋升了 56%。除 Transformer，ReZero 還能利用于其他残差收集，使得深度全毗连收集的收敛速率晋升 1,500%，在 CIFAR 10 数据集上練習的 ResNet-56 的收敛速率也晋升了 32%。

举薦：利用本文提出的 ReZero，鑽研者可以或许高效地練習数百层深度的 Transformers，并信赖更深度的 Transformers 将有助于将来進一步的鑽研摸索。

论文 5：Structure Aware Single-Stage 3D Object Detection from Point Cloud

论文链接：

擇要：阿里巴巴达摩院在主動駕驶 3D 物體檢测方面又有新功效公布。达摩院一篇名為《Structure Aware Single-Stage 3D Object Detection from Point Cloud》的论文入選 CVPR 2020。

该论文提出了一個通用、高機能的檢测器，初次實现 3D 物體檢测精度與速率的兼得，有用晋升主動駕驶體系平安機能。该论文团队暗示，「檢测器是主動駕驶體系的焦點组件之一，但這一范畴一向以来缺乏立异和冲破，這次咱們提出的檢测器交融了单阶段檢测器和两阶段檢测器的上風，是以同時實现了 3D 檢测精读和速率的晋升，将来檢测器的立异鑽研還可以解决主動駕驶财產的更多灾题。」

举薦：鑽研成果显示，该檢测器在 KITTI BEV（bird`s eye view）排行榜上排名第一, 檢测速率到达 25FPS，同時精度也跨越其他的单阶段檢测器。

论文 6：Pre-trained Models for Natural Language Processing: A Survey

论文链接：

擇要：咱們晓得 BERT、ALBERT、XLNet 等浩繁優异模子，但它們之間的瓜葛、不同、分類究竟是甚麼样的？這仍是主流模子，若是没读過详细论文，咱們是很難分清晰的，對付更多的變體與扩大，根基上就力所不及了。但近日复旦大學邱锡鹏等鑽研者發了一篇论文，它以两张图具體展现了預練習说话模子的近况與分類。复旦的這篇综述性论文很是丰硕，它以 25 页的篇幅展现了預練習说话模子的各個方面，不管是别致的預練習使命，仍是各類模子针對范畴常識的扩大，咱們都能快速 Get 到。

详细而言，以邱锡鹏為第一作者的鑽研者們對用于 NLP 的預練習模子举行了周全的回首，文章體布局以下：起首扼要先容了说话暗示進修及相干鑽研希望；其次從四個方面临现有 PTM 举行體系分類（Contextual、Architectures、Task Types、Extensions）；再次描写了若何将 PTM 的常識利用于下流使命；最後預测了将来 PTM 的一些潜伏成长標的目的。

举薦：鑽研者暗示，本文旨在為读者理解、利用和開辟合用于分歧 NLP 使命的預練習模子供给一份适用指南，這篇论文在呆板進修社區上也获得了很遍及的相應。

论文 7：AutoGluon-Tabular: Robust and Accurate AutoML for Structured Data

论文链接：

擇要：在本文中，来自亚马逊的鑽研者提出了新的 AutoML 開源框架 AutoGluon-Tabular，它只必要几行 Python 代码便可以在 CSV 文件等未處置的纯属性数据集上練習高精度的呆板進修模子。與當前偏重于模子/超参数選擇的 AutoML 框架分歧，經由過程集成多個模子并将它們重叠在多层上，AutoGluon-Tabular 取患了樂成。實现表白，本文中多個模子的多层组合可以或许更好地操纵分派的時候。

举薦：文中周全的實證性评估表白，AutoGluon-Tabular 比專注于组合算法選擇和超参数優化（CASH）的風行 AutoML 框架表示出更高的正确度。

ArXiv Weekly Radiostation

呆板之心結合由楚航、罗若天倡议的ArXiv Weekly Radiostation，在 7 Papers 的根本上，精選本周更多首要论文，包含NLP、CV、ML范畴各10篇精選，并供给音频情势的论文擇要简介，详情以下：

本周 10 篇 NLP 精選论文是：

1. Stanza: A Python Natural Language Processing Toolkit for Many Human Languages. (from Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton, Christopher D. Manning)

2. Recent Advances and Challenges in Task-oriented Dialog System. (from Zheng Zhang, Ryuichi Takanobu, Minlie Huang, Xiaoyan Zhu)

3. A Formal Analysis of Multimodal Referring Strategies Under Co妹妹on Ground. (from Nikhil Krishnaswamy, James Pustejovsky)

4. Rethinking Batch Normalization in Transformers. (from Sheng Shen, Zhewei Yao, Amir Gholami, Michael Mahoney, Kurt Keutzer)

5. TTTTTackling WinoGrande Schemas. (from Sheng-Chieh Lin, Jheng-Hong Yang, Rodrigo Nogueira, Ming-Feng有機黃金奇異果乾, Tsai, Chuan-Ju Wang, Ji妹妹y Li)

6. Developing a Multilingual Annotated Corpus of Misogyny and Aggression. (from Shiladitya Bhattacharya, Siddharth Singh, Ritesh Kumar, Akanksha Bansal, Akash Bhagat, Yogesh Dawer, Bornini Lahiri, Atul Kr. Ojha)

7. MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space. (from Xiaoyuan Yi, Ruoyu Li, Cheng Yang, Wenhao Li, Maosong Sun)

8. Diversity, Density, and Homogeneity: Quantitative Characteristic Metrics for Text Collections. (from Yi-An Lai, Xuan Zhu, Yi Zhang, Mona Diab)

9. Word Sense Disambiguation for 158 Languages using Word Embeddings Only. (from Varvara Logacheva, Denis Teslenko, Artem Shelmanov, Steffen Remus, Dmitry Ustalov, Andrey Kutuzov, Ekaterina Artemova, Chris Biemann, Simone Paolo Ponzetto, Alexander Panchenko)

10. Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent. (from Anoop Kunchukuttan, Pushpak Bhattacharyya)

本周 10 篇 CV 精選论文是：

1. Child Face Age-Progression via Deep Feature Aging. (fromDebayan Deb, Divyansh Aggarwal, Anil K. Jain)

2. Generalizing Face Representation with Unlabeled Data. (from Yichun Shi, Anil K. Jain)

3. Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation. (from Zhonghao Wang, Mo Yu, Yunchao Wei, Rogerior Feris, Jinjun Xiong, Wen-mei Hwu, Thomas S. Huang, Honghui Shi)

4. Deep Affinity Net: Instance Segmentation via Affinity. (from Xingqian Xu, Mang Tik Chiu, Thomas S. Huang, Honghui Shi)

5. High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification. (from Guan'an Wang, Shuo Yang, Huanyu Liu, Zhicheng Wang, Yang Yang, Shuliang Wang, Gang Yu, ErjinZhou, Jian Sunn)

6. PointINS: Point-based Instance Segmentation. (from Lu Qi, Xiangyu Zhang, Yingcong Chen, Yukang Chen, Jian Sun, Jiaya Jia)

7. Frustratingly Simple Few-Shot Object Detection. (from Xin Wang, Thomas E. Huang, Trevor Darrell, Joseph E. Gonzalez, Fisher Y)

8. Personalized Taste and Cuisine Preference Modeling via Images. (from Nitish Nag, Bindu Rajanna, Ramesh Jain)

9. Semantic Pyramid for Image Generation. (from Assaf Shocher, Yossi Gandelsmam, Inbar Mosseri, Michal Yarom, Michal Irani, William 歐博百家樂，T. Freeman, Tali Dekel)

10. Curriculum DeepSDF. (from Yueqi Duan, Haidong Zhu, He Wang, Li Yi, Ram Nevatia, Leonidas J. Guibas)

本周 10 篇 ML 精選论文是：

1. Post-Estimation Smoothing: A Simple Baseline for Learning with Side Information. (from Esther Rolf, Michael I. Jordan, Benjamin Recht)

2. Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML. (from Giuseppe Di Guglielmo, Javier Duarte, Philip Harris, Duc Hoang, Sergo Jindariani, Edward Kreinar, Mia Liu, Vladimir Loncar, Jennifer Ngadiuba, Kevin Pedro, Maurizio Pierini, Dylan Rankin, Sheila Sagear, Sioni Su妹妹ers, Nhan Tran, Zhenbin Wu)

3. Semi-supervised Disentanglement with Independent Vector Variational Autoencoders. (from Bo-Kyeong Kim, Sungjin Park, Geonmin Kim, Soo-Young Leee)

4. Tensor Graph Convolutional Networks for Multi-relational and Robust Learning. (from Vassilis N. Ioannidis, Antonio G. Marques, Georgios B. Giannakis)

5. Toward Interpretable Machine Learning: Transparent Deep Neural Networks and Beyond. (from Wojciech Samek, Grégoire Montavon, Sebastian Lapuschkin, Christopher J. Anders, Klaus-Robert Müller)

6. Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks. (from Amir Rahimi, Amirreza Shaban, Ching-An Cheng, Byron Boots, Richard Hartley)

7. Deep Multi-Agent Reinforcement Learning for Decentralized Continuous Cooperative Control. (from Christian Schroeder de Witt, Bei Peng, Pierre-Alexandre Kamienny, Philip Torr, Wendelin Böhmer, Shimon Whiteson)

8. ParKCa: Causal Inference with Partially Known Causes. (from Raquel Aoki, Martin Ester)

9. Anomalous Instance Detection in Deep Learning: A Survey. (from Saikiran Bulusu, Bhavya Kailkhura, Bo Li, Pramod K. Varshney, Dawn Song)

10. Regret Bound of Adaptive Control in Linear Quadratic Gaussian (LQG) Systems. (from Sahin Lale, Kamyar Azizzadenesheli, Babak Hassibi, Anima Anandkumar)