NEURAL ABSTRACTIVE SUMMARIZATION OF ONLINE NEWS DISCUSSION THREADS

Abstract

Resumir automáticamente normalmente ha dependido de resúmenes realizados por expertos para poder entrenar modelos. Las redes sociales agregan nuevos desafíos a las técnicas de resumen ya que requieren revisar enfoques multi-documento y multi-autor. En este trabajo revisamos esta tarea introduciendo un método que genera resúmenes abstractivos de discusiones en artículos de noticias en línea. El método extiende a una arquitectura basada en BERT, incluyendo una capa de atención a la que se le entregan los “Me gusta” de los comentarios durante entrenamiento. Para entrenar el modelo, se definió una tarea que consiste en la reconstrucción de comentarios de alto impacto, basados en su popularidad. De esta forma, el modelo logra aprender a resumir discusiones basado en los comentarios mas relevantes. Nuestro novedoso enfoque provee un resumen que representa los aspectos mas importantes de la noticia que la gente comento, incorporporando el contexto social como base de información para hacerlo. Nuestro modelo fue validado con ROUGE Recall entre el resumen generado y cada uno de los comentarios del hilo, ponderados según popularidad. Basada en esta evaluación, nuestro modelo con su capa de atención, sobrepasa significativamente a modelos base extractivos y abstractivos sin atención.

Summarization has usually relied on gold standard summaries to train extractive or abstractive models. Social media brings a hurdle to summarization techniques since it requires addressing a multi-document multi-author approach. We address this challenging task introducing a novel method that generates abstractive summaries of online news discussions. Our method extends a BERT-based architecture, including an attention encoding that fed comments’ likes during the training stage. To train our model, we define a task which consists of reconstructing high impact comments, based on popularity (likes). Accordingly, our model learns to summarize online discussions based on their most relevant comments. Our novel approach provides a summary that represents the most relevant aspects of a news item that users comment on, incorporating the social context as a source of information to summarize texts in online social networks. Our model is evaluated using ROUGE recall between the generated summary and each comment on the thread, weighted by its popularity. Based on such evaluation, our model, including the social attention encoding, significantly outperforms both an extractive summarization baseline and a baseline abstractive model without an attention encoding.