人类和动物在其一生中可以不断学到新的知识,如说话、开车、书本上的知识等,并且在学习过程中,以前学习到的知识也不会轻易忘掉,这种能力被称为持续学习的能力。对于机器学习和神经网络模型,持续学习(continual learning)研究从无限流数据中学习的问题,其目的是逐渐扩充,知识并将其用于未来的学习中。数据可以是领域不同的,也可以是任务不同的,也可以是单纯的类别不同(incremental class/domain/task)。持续学习也被称lifelong learning/ sequential learning/ incremental learning。这类学习的一个关键特征是其序列特性(sequential nature):在某一时刻只有一个或部分数据/任务可获得。持续学习的主要挑战是灾难遗忘(catastrophic forgetting):当新任务被学习时过去获得的知识被遗忘,亦即之前任务的表现不如以往。在本次分享中,会从持续学习相关的主要挑战和比较现有的在不同程度上缓解灾难性遗忘的神经网络方法这两个部分来介绍持续学习的内容。
具体内容访问链接:https://www.bilibili.com/video/BV1wY411j7mQ?spm_id_from=333.999.0.0&src=25a1988494