如何评价NLP算法ELECTRA的表现?

如何评价NLP算法ELECTRA的表现?

推一下自己写的小解读:

有些小遗憾,论文中只讲了能达到RoBERTa的效果,但现在已经有T5了,我有点想看到ELECTRA的极限在哪里。其实还有很多想象的空间,也有很多待研究的地方,比如我们用wwm、spanBERT去做generator能不能提升效果,可不可以任务数据上用这种方式精调等等。希望后续的研究越来越精彩。