CHANNEL-BASED ATTENTION FOR LCC USING SENTINEL-2 TIME SERIES ; Attention spectrale et explicabilité pour la classification de séries temporelles satellitaires par réseaux de neurones profonds

International audience ; Deep Neural Networks (DNNs) are getting increasing attention to deal with Land Cover Classification (LCC) relying on Satellite Image Time Series (SITS). Though high performances can be achieved, the rationale of a prediction yielded by a DNN often remains unclear. An architecture expressing predictions with respect to input channels is thus proposed in this paper. It relies on convolutional layers and an attention mechanism weighting the importance of each channel in the final classification decision. The correlation between channels is taken into account to set up shared kernels and lower model complexity. Experiments based on a Sentinel-2 SITS show promising results. ; Les réseaux profonds de neurones sont de plus en plus plébiscités, à fortiori, en classification d'occupation des sols, à partir de séries temporelles d'images satellites. Malgré leurs performances, ces réseaux souffrent de manque d'explicabilité. Dans ce cadre, nous étudions différentes architectures de réseaux profonds convolutionnels qui extraient les caractéristiques spectro-temporelles des séries pour ensuite classifier chaque pixel. Afin d'expliquer ses décisions, nous y intégrons, de deux manières différentes, un module d'attention donnant la contribution de chaque caractéristique spectrale. Des expériences ont été menées sur des données Sentinel-2 de la Réunion. Les corrélations spectrales, inhérentes à ce type de séries, sont prises en compte en factorisant les convolutions sur des bandes fortement corrélées afin d'obtenir le meilleur compromis complexité/performance du modèle. Les résultats semblant prometteurs en termes d'explicabilité et de performances, des développements sont à l'étude pour étendre les attentions au niveau spectral et temporel (cartes de chaleur) et pour comprendre plus finement le fonctionnement des réseaux "multi-sorties" qui permettent d'entraîner le module d'attention.