一種基于BERT的自動文本摘要模型構建方法

摘要：針對傳統詞向量在自動文本摘要過程中因無法對多義詞進行有效表征而降低文本摘要準確度和可讀性的問題,提出一種基于BERT(Bidirectional Encoder Representations from Transformers)的自動文本摘要模型構建方法。該方法引入BERT預訓練語言模型用于增強詞向量的語義表示,將生成的詞向量輸入Seq2Seq模型中進行訓練并形成自動文本摘要模型,實現對文本摘要的快速生成。實驗結果表明,該模型在Gigaword數據集上能有效地提高生成摘要的準確率和可讀性,可用于文本摘要自動生成任務。