谷歌AI掌门谈2020年机器学习趋势:多任务和多模态会有大进展
加拿大温哥华举办的NeurIPS期间,在接受外媒VB采访时,Jeff Dean交出了自己的展望。
他认为,在多任务学习和多模态学习将会有很大进展,以及会出现更加有趣的设备,让机器学习模型的作用更好地发挥出来。
此外,他还谈到了如何利用机器学习构建AI芯片、以及谷歌对BERT的看法等等。
作为谷歌AI的掌门人,他的思考对于从业者来说,有极大的参考价值。量子位编译如下:
问:对BERT来说,今年是重要的一年。到处都是 BERT,还有各种各样的 BERT。BERT有什么变化?接下来会有什么样的变化?
Jeff Dean:BERT很有趣,是因为它建立在其他研究成果的进展之上。他在某种程度上取决于一年前完成的Transformer工作。
Transformer的工作,实际上是在处理早期基于LSTM的序列模型看到的问题。我认为,整个研究线索在实际生产机器学习模型方面非常有成效。
现在让我们去处理更加复杂的NLP任务,我们能够做得更多。在一堆/任意文本上,对预训练的BERT进行微调,对于许多 NLP 问题来说,这是一个很好的范例,我们希望能解决这些问题。
因此在谷歌内部,我们也在自己的产品中看到了不同的应用场景,比如我们最近在搜索引擎中应用了BERT来提高搜索质量。
我认为,你也应该在更加广泛场景中看到了这一点。我们仍然希望看到,能做更多上下文的模型。
就像现在,BERT和其他模型在数百个单词文本上工作得很好,但在上万个单词上就很难处理好了。
这是一个有趣的方向。我认为多模态模型非常有趣??梢杂糜腥さ姆绞浇谋居胪枷?、音频或视频结合起来。
我们已经在这方面做了一些工作,社区的其他成员也做了一些工作,但我认为这在未来会变得更加重要。我相信,人们会基于BERT进行改进。
因此,基础研究也将继续下去。
问:是的,我看到了很多MT-DNN、 RoBERTta之类的东西。
Jeff Dean:是的,它们每个都有一个可爱的名字。但我确实认为,大家有点过分强调在某些特定问题上取得前所未有的、稍微好一点的、最先进的结果。
以及对完全不同的解决问题的方法有点缺乏欣赏。因为很难,这些方法可能没有达到最先进的水平,但它们是一个非常值得探索的领域。
问:比如鲁棒性?
Jeff Dean:是的,或者“是认为用完全不同的方式来解决一个问题很重要,并看到了希望”。如果人们追求这些方向,那将会很有趣。
问:而不是试图登上GLUE排行榜的榜首?
(责任编辑:喜来乐棋牌)