在自然语言处理这个机器学习的典型方向引入预训练。
无疑等同于将部分优秀学生在学习中会用到的一种特殊的技巧“移植”过来。
这种思路无疑很是很巧妙。
思路固然很巧妙。
但正如路边李苦的道理一样。
为什么这种很巧妙的思路以前却没人尝试过呢？
尹芙·卡莉觉得未必是没人想过这方面。
但别人却无一例外的失败了。
涉及到知识的汲取，或许绝大多数人也知道先将80%有共性的知识搞定再搞定另外的20%可以省力。
但从过往的学业上看，尹芙·卡莉觉得她身边能够做到先将知识80%的共性找出来再去攻克疑难处的人少之又少。
甚至于除了尹芙·卡莉眼中的学霸之外根本没啥人能做到这一点。
尹芙·卡莉眼中的学霸又能有多少人呢？可以说是寥寥无几了。
也就是说这种先将80%有共性的知识搞定再搞定另外的20%这种很明智的做法实际很少有人应用。
明明是看起来更加容易的方式。
什么没多少人这么做？
尹芙·卡莉觉得主要原因是：
——大部分人并不善于找到知识的共性。
在不善于找到知识共性的情况下，一部分人虽然会尝试着找知识共性。
但实际上操作的时候找到80%知识的共性完全是奢望。
可能只能找到30%、20%甚至更少知识的共性。
如此一来这些人非但没有能够找到主体知识的共性。
反而在找共性的时候不知不觉将其余一些原本是普通的内容给异化成了这些人眼中的“非共性知识”。
而非共性知识在这些人心中又被这些尝试找共性的人心理暗示成了比较麻烦的知识。
这些原本并不是特别难的知识，在心理暗示的debuff下。
效率甚至比不找共性时的效率还要低。
如此，未找到共性的人反而有可能成为这些尝试寻找共性的人的所需要耗费大量时间去攻克的内容。<.
这种情况下，找知识的共性非但没对他们造成帮助。
反而成为了他们学习时候的拖累。
就很苦逼了。
与其出现这种情况，这些人干脆放弃了找知识的共性。
直接一视同仁，至少不会聪明反被聪明误。
类似于学习上这些人面对的窘境。
或许机器学习方面的学者也是因为同样的境遇才放弃了对训练数据共性的寻找。
至少在尹芙·卡莉这是因为这个原因。
纵然是现在知道了林灰在模型训练中引入了预训练方式。
尹芙·卡莉现在也不知道林灰究竟是如何做的。
按照林灰在论文中补充内容进行的阐述。
传统的训练机制下，文本摘要模型的产生思路是：
语料训练→模型
而按照林灰的思路引入预训练机制后。
文本摘要模型的产生思路是：
语料预训练→预训练模型→微调→模型
这个思路的本身是没问题的。
但尹芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。
具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率？
什么样的预训练模型才是预训练的目标？
对于预训练模型的“微调”究竟应该如何理解呢？
前两个问题是就林灰鼓捣的理论而产生的疑问。
第三个问题是因为语言方面的阐述而产生的一些疑问。
尽管尹芙·卡莉最近在向米娜·卡莉努力地学习汉语了。
但汉语显然并不是短时期内能够速成的。
对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢？
只是一点点小小的调整么？
还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。
尹芙·卡莉觉得应该是后者。
不太可能是微小的调整。
为什么尹芙·卡莉这样想呢？
尹芙·卡莉觉得涉及到文本摘要方面的模型往往都是极其复杂的。
一个正式模型所涉及到的参数都是极其繁多的。
更何况是预训练产生的预训练模型呢？
这种先于正式模型产生的粗模型可能参数要更加复杂。
当然，这只是尹芙·卡莉的一点猜测。
涉及到这些问题只有林灰本人才可能有真正的答桉。
自从来到林灰的身边之后。
原本尹芙·卡莉以为自己的问题会逐渐变少。
但实际却是问题愈发变得多了起来。
至少刚才的那几个问题在美国的时候尹芙·卡莉就从来没疑惑过。
但对此尹芙·卡莉并没有灰心丧气。
科研方面从来都是提出问题比解决问题更重要。
尹芙·卡莉很清楚，虽然此时她的疑惑比在美国时候的疑惑还要多。
但这无关紧要，至少她现在提出的问题相比于以往那些问题现在才更接近技术的本质了。
而这就是学术方面的成长。
尹芙·卡莉也不是一无所获。
原本她一向是比较好奇林灰这个此前几乎在文本摘要方面及及无名的人究竟是怎样在短时间做到弯道超车的。
毕竟涉及到语言模型的构建往往需要大量的时间。
但现在知道林灰搞的这个预处理之后。
尹芙·卡莉则感觉这个问题似乎不是太大问题。
按照林灰在论文补充内容提出的预训练机制的这个思路进行操作。
虽然引入预训练机制后仍然需要进行训练。
甚至看起来步骤要更繁琐了一些。
但尹芙·卡莉估计同等规模语料库下的训练
引入预训练机制的训练要比常规的至少能够节省50%的时间。
模型的训练引入预训练的处理方式会带来效率的提升。
这里面的道理通过学习方面的例子做类比很容易明白。
通常情况下，通过掌握知识的共性之后再攻克疑难显然效率上是比按部就班进行学习要高的。
同样的道理，机器学习的时候让机器掌握数据的共性之后再搞剩下的标注数据也会带来效率的提升。
林灰一度就是尹芙·卡莉眼中绝对意义上的天才。
在尹芙·卡莉看来天才的重点不在于“才能”，而在于“天分”
所有人似乎都知道的走出房间要找到门，却各种找不到门路。
而天才就是那个在众人茫然眼光之下信步走到门前并轻轻推开门的那个人。