Aplicacion de un modelo hıbrido de aprendizajeprofundo para el Analisis de Sentimiento en Twitter
Application of a hybrid deep learning model for SentimentAnalysis in Twitter
Rosa Montanes, Rocıo Aznar, Rafael del HoyoGrupo de Big Data y Sistemas Cognitivos
ITAINNOVA (Instituto Tecnologico de Aragon)C/ Marıa de Luna, no 7. 50018 Zaragoza{rmontanes,raznar,rdelhoyo}@itainnova.es
Resumen: En este artıculo se describe la participacion de ITAINNOVA en la tareade analisis de sentimiento a nivel de Tweet dentro del taller TASS 2018. Este trabajopretende explorar modelos presentes en el estado del arte actual del aprendizajeprofundo aplicado al modelado y clasificacion de texto. Se ha analizado el uso demodelos de redes convolucionales (CNN), Long short Term Memory (LSTM), LSTMbidireccionales (BI-LSTM) y una aproximacion hıbrida entre CNN y LSTM para suuso en el analisis de sentimiento en Twitter. Se ha optado por la combinacion CNN-LSTM ya que integra los beneficios de ambos modelos. Finalmente se presentan losresultados obtenidos y se plantea una posible lınea de trabajo futura que combine eluso de esta arquitectura con el algoritmo de representacion de texto que presentamosen la anterior edicion del TASS.Palabras clave: Analisis de sentimiento, Twitter, Aprendizaje profundo
Abstract: This paper describes the participation of ITAINNOVA at sentimentanalysis at Tweet level task within TASS 2018 workshop. This work explores currentstate of the art models used in deep learning for modelling and classification tasksover text. It analyzes convolutional neural models (CNN), Long short Term Memory(LSTM), Bidirectional LSTM (BI-LSTM) and an hybrid approach of CNN-LSTM,for its use in sentiment analysis on Twitter data. CNN-LSTM combination has beenchosen as it integrates the benefits provided from both models. Finally, obtained re-sults are presented and a possible future work line which combines this architecturewith the algorithm presented in the previous TASS edition.Keywords: Sentiment analysis, Twitter, Deep learning
1 Introduccion
El taller de Analisis de Sentimiento celebradoen el marco del congreso internacional de lasociedad espanola para el procesamiento dellenguaje natural (SEPLN), es un importantepunto de encuentro para profesionales e in-vestigadores en el que compartir y discutirnuevos avances en el campo del PLN en ge-neral y del analisis de sentimiento en particu-lar (Martınez-Camara et al., 2018). En estaedicion se proponen cuatro tareas distintas,dando un salto cualitativo hacia el analisissemantico, en busca de modelos de compren-sion de lenguaje mas completos y realistas.
El grupo de Big Data y Sistemas Cogni-
tivos de ITAINNOVA ha participado en latarea 1: “Analisis de sentimiento a nivel deTweet”, cuyo objetivo principal es la clasifi-cacion de la opinion expresada en estos textoscortos en espanol. La novedad principal deesta edicion viene dada por la expansion delcorpus de tweets utilizado en ediciones pre-vias, el corpus InterTASS. Este ano se hanincorporado publicaciones escritas por usua-rios de Peru y Costa Rica, variaciones del es-panol que presentan ciertas diferencias lexi-cas y gramaticales que han de ser considera-das en el desarrollo de sistemas de procesadode lenguaje natural. Nuestro grupo se ha en-focado en el desarrollo de un sistema de clasi-
TASS 2018: Workshop on Semantic Analysis at SEPLN, septiembre 2018, págs. 51-56
ficacion multiclase basado exclusivamente enla variedad de espanol hablado en Espana,utilizando para ello el dataset InterTASS ESjunto con un subconjunto del corpus gene-ral utilizado desde las primeras ediciones, quepermitira predecir la polaridad de los tweetsen base a cuatro niveles: P (Positiva), N (Ne-gativa), NEU (Neutra), NONE (sin opinion).Finalmente los resultados obtenidos nos per-mitiran comprobar la capacidad de genera-lizacion del modelo a las otras variantes deespanol.
Nuestro grupo cuenta con experiencia departicipacion en ediciones anteriores de ta-lleres de analisis de opinion (Montanes Salaset al., 2017)(del Hoyo Alonso et al., 2015).En ellas verificamos y desarrollamos recursospara el procesado del texto previo a su clasifi-cacion, tales como la generacion de un diccio-nario afectivo, y experimentamos con el algo-ritmo FastText, capaz de aprender eficiente-mente representaciones de palabras partiendode corpus de tamano reducido. En el tallerde 2017 (Dıaz-Galiano et al., 2018) se pre-sentaron una amplia variedad de solucionesbasadas en redes neuronales profundas (deeplearning) demostrando el gran potencial delas mismas en tareas de analisis de lenguaje.Las conclusiones extraıdas en dicha edicionhan motivado que en nuestra participacionen el taller de 2018 hayamos centrado nues-tro desarrollo en el estudio e implementacionde un algoritmo basado en una combinacionde este tipo de redes neuronales. Los resul-tados obtenidos nos permiten comprobar lacapacidad de aprendizaje de este tipo de al-goritmos en esta tarea de procesamiento dellenguaje natural.
Este artıculo se organiza como sigue. En laseccion 2 se presenta el conjunto de trabajosrelacionados que han inspirado la aproxima-cion propuesta. En la seccion 3 se describe laimplementacion realizada y en la seccion 4 sepresentan los resultados experimentales obte-nidos. Finalmente, en la seccion 5 se recogenlas conclusiones de nuestro estudio practico yse presentan posibles lıneas de trabajo futuroa abordar.
2 Trabajos relacionados
La investigacion actual en el area de deeplearning ha dado lugar al desarrollo de diver-sos tipos de redes neuronales que presentanunas caracterısticas optimas para el apren-dizaje de ciertos tipos de informacion. Por
ejemplo, las redes convolucionales (CNNs)han demostrado su excepcional capacidad deaprendizaje en el area de vision por compu-tador, donde es necesario extraer correlacio-nes locales en estructuras espacio-temporalespara el reconocimiento y clasificacion de ob-jetos (Galteri et al., 2017). Del mismo mo-do, este tipo de redes, aplicadas al area dePLN, son capaces de extraer automatica-mente los vectores de caracterısticas sobren-gramas mediante filtrado convolucional ypooling consiguiendo aprender relaciones demas alto nivel entre los componentes del tex-to, tal como demuestra en sus experimentosKim (2014). Existen otro tipo de arquitec-turas mas enfocadas al modelado de seriestemporales, estas son las conocidas LSTM(Long Short-term Memory RNN), que incor-poran un novedoso mecanismo de memoriapara el modelado de dependencias a largoplazo lo que resuelve algunos de los proble-mas derivados del calculo del gradiente enredes recurrentes mas simples, convirtiendoseen una de las mejores opciones para el desa-rrollo de modelos de minerıa de opinion (Liu,Joty, y Meng, 2015). Como ampliacion a es-te tipo de redes, Zhou et al. (2016) introdu-jo las LSTM bidireccionales (BiLSTM), queanaden la capacidad de preservar informa-cion pasada y tambien futura. Estos mode-los basan su funcionamiento en el uso de lospopulares Word Embeddings (Mikolov et al.,2013), siendo uno de los metodos de represen-tacion de la informacion textual en vectoresn-dimensionales mas eficiente y ampliamenteutilizado en la actualidad.
Adicionalmente, en el campo del procesa-do de texto, la necesidad de realizar un co-rrecto tratamiento de este tipo de datos parasu posterior uso en algoritmos de Inteligen-cia Artificial, ha sido estudiada extensamen-te, desde el punto de vista del analisis de sen-timiento en general (Haddi, Liu, y Shi, 2013)como en el caso concreto de analisis de senti-mientos sobre textos cortos informales comoson los tweets (Sing y Kumari, 2016). En am-bos artıculos se ofrecen conclusiones que de-muestran la importancia y el papel que juegael preprocesamiento de textos en tareas comoel analisis de sentimientos, con el objetivo deeliminar ruido y reducir la dimensionalidaddel problema para mejorar la clasificacion.
La solucion propuesta en el taller de 2017(Montanes Salas et al., 2017) tenıa su funda-mento en dos de las anteriores aproximacio-
Rosa Montañés, Rocío Aznar y Rafael del Hoyo
52
nes, por un lado la aplicacion de un algorit-mo basado en el uso de representaciones depalabras (word embeddings enriquecidos coninformacion de n-gramas) y por otro lado laaplicacion de una fase previa de procesado detexto que mejoro ligeramente los resultadosobtenidos, por lo que, siguiendo un plantea-miento similar, se ha decidido continuar tra-bajando con dichas aproximaciones e ir unpaso mas lejos con el uso de arquitecturas dedeep learning.
3 Solucion propuesta
Previamente a la eleccion del algoritmo fi-nal utilizado, se han realizado varias prue-bas de concepto con la intencion de verificarla benevolencia de la hibridacion de tecnicasconvolucionales y recurrentes en el procesadode lenguaje natural. Para ello, por un lado,se han estudiado varios algoritmos convolu-cionales y recurrentes, en particular, una redneural convolucional (CNN), una red neuro-nal recurrente LSTM y una red recurrenteLSTM bidireccional (BILSTM) y, por otro la-do, el algoritmo hıbrido que combina la redconvolucional con la red recurrente LSTM.Los conjuntos de entrenamiento y desarrollousados son los utilizado en la tarea (Inter-TASS ES). Las metricas de accuracy se mues-tran en la tabla 1.
Como se ha adelantado en la seccion ante-rior, las redes neuronales CNN y LSTM sonalgoritmos que ofrecen resultados satisfacto-rios en el estado del arte actual del analisis deopinion. La solucion propuesta permite com-binar estos dos algoritmos, beneficiandose delas ventajas de ambos: la extraccion de termi-nos relevantes y correlaciones a nivel local delas redes convolucionales junto con la capaci-dad de aprendizaje sobre secuencias de datostemporales y la estabilidad de las LSTMs. Elalgoritmo propuesto se basa en la publicacion(Zhou et al., 2015) y se explica con mas de-talle en la siguiente seccion.
Los resultados obtenidos que se muestran
en la tabla 1 ponen de manifiesto que la so-lucion hıbrida (CLSTM) es la mejor opcion.
La implementacion del sistema se ha lle-vado a cabo en Python, haciendo uso de lalibrerıa Tensorflow con soporte para GPU.
3.1 Modelo C-LSTM
A la vista de los resultados expuestos, el sis-tema elegido para la participacion en el tallerde este ano es una implementacion del mode-lo C-LSTM descrito por Zhou et al. (2015).
Este se compone principalmente de 2 redesneuronales: una red neuronal convolucional(CNN) y una red neuronal recurrente de me-moria a corto y largo plazo (LSTM). En laFigura 1 se muestra un diagrama de la arqui-tectura CLSTM.
Figura 1: Arquitectura CLSTM.
Como paso previo al entrenamiento delmodelo de analisis de sentimiento, el siste-ma calcula de forma no supervisada la repre-sentacion vectorial del vocabulario presenteen el corpus, creando un conjunto de wordembeddings con los que se generara la re-presentacion matricial de las sentencias quealimentan el sistema. La red convolucionalque recibe dicho input, aplica un filtrado con-volucional segun los tamanos de filtros defi-nidos, generandose varios mapas de featuresque son reorganizados secuencialmente obte-niendo una representacion del texto a un ni-vel conceptual mas alto que los embeddings.La red LSTM, compuesta por un conjuntode celdas que se definira en la configuracion,recibe estas features como entrada, y se en-carga determinar que informacion almacenaen la memoria de cada celda o descarta encada paso temporal de la secuencia, captu-rando de este modo dependencias a corto ylargo plazo en las sentencias. La salida delmodelo viene dada por la ultima capa ocultade la red LSTM.
Aplicación de un Modelo Híbrido de Aprendizaje Profundo para el Análisis de Sentimiento en Twitter
53
3.2 Preprocesado de texto
Adicionalmente, y del mismo modo que enla edicion TASS 2017, se ha realizado un pre-procesado de los textos, aplicando las siguien-tes tecnicas:
Eliminacion de patrones como URLs,emails, menciones, etc., tıpicos en publi-caciones de redes sociales.
Conversion a minusculas.
Lematizacion en espanol.
Eliminacion de stopwords.
Sinonimos basados en diccionarios emo-cionales.
Las etapas de lematizacion, eliminacion destopwords y aplicacion de sinonimos basadosen diccionarios emocionales, utilizan recursospropios desarrollados para el espanol habladoen Espana, por lo que se ha llevado a caboesta fase en el experimento monolingue conel objetivo de comprobar su efectividad en elcontexto de las redes neuronales profundas.
4 Resultados experimentales
En la Tabla 2 se muestran los resultados obte-nidos en las subtareas evaluadas por ITAIN-NOVA.
Los dos modelos (cl-base y cl-proc) se hanentrenado con el mismo conjunto de hiper-parametros, elegidos a partir de las recomen-daciones expuestas en (Zhou et al., 2015) yrealizando una busqueda empırica con pe-quenas variaciones en los valores:
Tamano del embedding: 256
Mınima frecuencia de palabra: 0
Numero de filtros (CNN): 128
Tamano de los filtros (CNN): 2,3,4
Numero de capas: 2 (1 CNN + 1 LSTM)
Learning rate: 0.001
Tamano del batch: 32
Numero de epocas: 100
Si bien nuestro sistema no ha quedadodentro del ranking de los 10 mejores respec-to al resto de sistemas presentados en estaedicion, los resultados obtenidos se aproxi-man a lo resultados publicados en el paper
de referencia para la clasificacion de polari-dad en 5 niveles. Tras analizar los resulta-dos de la evaluacion observamos que el mo-delo presenta ciertas deficiencias en la clasi-ficacion de publicaciones como NEU y NO-NE, clases semanticamente y conceptualmen-te muy proximas y por tanto difıciles de cla-sificar. Aunque pensamos que su diferencia-cion podrıa ser factible usando un modelo derepresentacion de palabras que disponga deun vocabulario mas extenso modelizando deforma mas precisa el lenguaje espanol.
Asimismo, el experimento monoligue rea-lizado, nos indica que en este caso, el prepro-cesado de los textos no mejora la predicciondel sentimiento. Idea que ya apuntaba Zhouet al. (2015) en su publicacion mencionandola independencia del modelo de conocimientodel lenguaje a traves de recursos externos ninecesidad de un complejo procesado que re-duzca excesivamente la dimensionalidad delsistema.
En cuanto a los experimentos entre varian-tes del espanol, aplicando el modelo de Es-pana a los textos de Peru (PE) y Costa Rica(CR), se observa que el sistema es bastanterobusto a las diferencias lexicas y gramatica-les que se pueden presentar en estos textoscortos.
5 Conclusiones y trabajo futuro
En este artıculo se ha presentado la apro-ximacion llevada a cabo por el equipo deITAINNOVA en el TASS 2018. Dicha aproxi-macion tenıa como objetivo principal la apli-cacion de tecnicas basadas en redes neurona-les profundas para la clasificacion de la pola-ridad en tweets. Los resultados obtenidos dela aplicacion de algoritmos de CNN y LSTMy un algoritmo hıbrido combina ambos algo-ritmos mostraron obtener una mayor metri-ca de accuracy en el algoritmo hıbrido, razonpor la que dicho algoritmo fue el elegido comosolucion propuesta a la tarea.
El conjunto de entrenamiento sobre el quese ha trabajado es el INTERTASS ES unifi-cado con un subconjunto de las publicacionesdel corpus general. Los resultados obtenidosen la tarea ’Monolingual ES’ muestran que elpreprocesado de textos considerado no me-jora la prediccion del sentimiento. Por otrolado, se observa que el algoritmo entrenadosolamente con el conjunto de datos en espanolde Espana produce resultados similares en elconjunto de test de textos de Peru y Costa Ri-
ca. No obstante, la solucion propuesta no haconseguido quedarse en el ranking de las 10propuestas con mejores valores en las metri-cas, obteniendo incluso metricas inferiores alas obtenidas en la solucion que propusimosen la tarea de 2017 (Montanes Salas et al.,2017).
En base a los resultados obtenidos en di-cha tarea y en la tarea de 2017 en la queparticipamos, vemos la necesidad de aumen-tar el corpus en este tipo de redes o la uti-lizacion de modelos de word embedding masextensos para introducir mas informacion alsistema. Consideramos explorar una posiblelınea de trabajo futuro que podrıa conducira la participacion en esta tarea de analisis desentimiento de proximas ediciones con un al-goritmo que integre las aspectos mas valiososde las aproximaciones consideradas. En con-creto, se aplicarıa el algoritmo de FastTextutilizado en la tarea de 2017 para la repre-sentacion vectorial de los tweets que ademasofrece una eficiencia computacional bastanteelevada. Posteriormente se aplicarıa el algo-ritmo hıbrido de CNN y LSTM para la clasi-ficacion, redes neuronales profundas con granpotencial en tareas de procesamiento de len-guaje natural y que, como se ha demostra-do en nuestros resultados y en (Zhou et al.,2015) mejora a los algoritmos simples (no-hıbridos) de redes CNN y LSTM. Se piensaque los resultados obtenidos en esta nuevalınea podrıan mejorar considerablemente losconseguidos hasta ahora.
Bibliografıa
del Hoyo Alonso, R., V. Rodrigalvarez Cha-marro, J. Vea-Murguıa Merck, y R. M.Montanes Salas. 2015. Ensemble algo-rithm with syntactical tree features to im-prove the opinion analysis. En Procee-dings of TASS 2015: Workshop on Senti-ment Analysis at SEPLN, volumen 1397de CEUR Workshop Proceedings, pagi-
nas 53–58, Alicante, Spain, September.CEUR-WS.
Dıaz-Galiano, M. C., E. Martınez-Cama-ra, M. A. G. Cumbreras, M. G. Vega,y J. Villena-Roman. 2018. The de-mocratization of deep learning in tass2017. Procesamiento del Lenguaje Natu-ral, 60(0):37–44.
Galteri, L., L. Seidenari, M. Bertini, yA. Del Bimbo. 2017. Spatio-temporalclosed-loop object detection. IEEETransactions on Image Processing, PP:1–1, 01.
Haddi, E., X. Liu, y Y. Shi. 2013. The role oftext pre-processing in sentiment analysis.Procedia Computer Science, 17:26 – 32.First International Conference on Infor-mation Technology and Quantitative Ma-nagement.
Kim, Y. 2014. Convolutional neural net-works for sentence classification. En Pro-ceedings of the 2014 Conference on Empi-rical Methods in Natural Language Proces-sing, EMNLP 2014, October 25-29, 2014,Doha, Qatar, A meeting of SIGDAT, aSpecial Interest Group of the ACL, pagi-nas 1746–1751, September.
Liu, P., S. R. Joty, y H. M. Meng. 2015.Fine-grained opinion mining with recu-rrent neural networks and word embed-dings. En EMNLP, paginas 1433–1443.The Association for Computational Lin-guistics.
Martınez-Camara, E., Y. Almeida Cruz,M. C. Dıaz-Galiano, S. Estevez Velar-de, M. A. Garcıa-Cumbreras, M. Garcıa-Vega, Y. Gutierrez Vazquez, A. Monte-jo Raez, A. Montoyo Guijarro, R. MunozGuillena, A. Piad Morffis, y J. Villena-Roman. 2018. Overview of TASS2018: Opinions, health and emotions. EnE. Martınez-Camara Y. Almeida Cruz
Aplicación de un Modelo Híbrido de Aprendizaje Profundo para el Análisis de Sentimiento en Twitter
55
M. C. Dıaz-Galiano S. Estevez Velar-de M. A. Garcıa-Cumbreras M. Garcıa-Vega Y. Gutierrez Vazquez A. Monte-jo Raez A. Montoyo Guijarro R. MunozGuillena A. Piad Morffis, y J. Villena-Roman, editores, Proceedings of TASS2018: Workshop on Semantic Analysisat SEPLN (TASS 2018), volumen 2172de CEUR Workshop Proceedings, Sevilla,Spain, September. CEUR-WS.
Mikolov, T., K. Chen, G. Corrado, y J. Dean.2013. Efficient estimation of word re-presentations in vector space. CoRR,abs/1301.3781.
Montanes Salas, R. M., R. del Hoyo Alonso,J. Vea-Murguıa Merck, R. Aznar Gimeno,y F. J. Lacueva-Perez. 2017. Fasttextcomo alternativa a la utilizacion de deeplearning en corpus pequenos. En Pro-ceedings of TASS 2017: Workshop on Se-mantic Analysis at SEPLN, volumen 1896de CEUR Workshop Proceedings, paginas65–69, Murcia, Spain, September. CEUR-WS.
Sing, T. y M. Kumari. 2016. Role of text pre-processing in twitter sentiment analysis.Procedia Computer Science, 89:549–554.Twelfth International Multi-Conferenceon Information Processing (IMCIP-2016).
Zhou, C., C. Sun, Z. Liu, y F. Lau. 2015. A c-lstm neural network for text classification.CoRR, abs/1511.08630.
Zhou, P., W. Shi, J. Tian, Z. Qi, B. Li,H. Hao, y B. Xu. 2016. Attention-basedbidirectional long short-term memory net-works for relation classification. En Pro-ceedings of the 54th Annual Meeting of theAssociation for Computational Linguistics(Volume 2: Short Papers), paginas 207–212. Association for Computational Lin-guistics.
