Le rapport entre le verbal et le non verbal dans des mondes synthétiques et son rôle de soutien pour la production et la participation verbales en langue étrangère

This research focuses on multimodal pedagogical communication in synthetic (virtual) worlds. The study investigates the interplay between verbal and nonverbal interaction which supports verbal participation and production in a foreign language. This is analysed from a socio-semiotic perspective of multimodality within the context of a course held in the synthetic world Second Life, which adopted a Content and Language Integrated Learning (CLIL) approach. The course, entitled 'Building Fragile Spaces', formed part of the European project ARCHI21. It was designed for higher education students of Architecture whose foreign language was either French or English.The interplay between verbal and nonverbal interaction is examined from three different angles. Firstly, considering the opportunities synthetic worlds offer for the co-creation of the environment through building activities and for collaboration, the role played by the nonverbal mode during a collaborative building activity is investigated. The study questions whether the use of the nonverbal mode impacts on the participation of students in the verbal mode, and whether any interplay exists between these two modes that influences verbal production. Secondly, use of the nonverbal mode by students in inworld identity construction is addressed and considered with reference to their verbal interaction, and participation, in the foreign language. Thirdly, the research concentrates upon interplay between the audio and textchat modalities in the verbal mode. More specifically, the focus is on whether the textchat plays a role during interaction, considering it is in competition not only with the audio modality but also with several nonverbal modalities; and on whether the textchat modality can serve for feedback provision on language form.This thesis seeks to contribute to the methodological considerations to allow research to move beyond speculative and anecdotal examples of multimodal pedagogical communication in synthetic worlds. A typology of nonverbal and verbal modalities is proposed, and then drawn upon, to extend a previous methodology suggested for multimodal transcription to interactions in synthetic worlds. Considering, within the fields of Social Sciences and Language Sciences, the more general research problem to render research data used for analyses visible and publically accessible, the study adopts a LEarning and TEaching Corpus (LETEC) methodological approach. Constituting a structured corpus allows for contextual analyses of the data collected during the 'Building Fragile Spaces' course.This research offers insights into how verbal participation increases with reference to the proxemic organisation of students, the customization of students' avatar appearance and an increased use of nonverbal acts. Concerning verbal production, the study shows how avatar movement in the nonverbal mode was used as a strategy to overcome verbal miscommunication when expressing direction and orientation and also the benefits of using the textchat modality for feedback on language form in order to support learners’ productions in the audio modality. In light of these results, the study suggests some considerations concerning the design of pedagogical activities for language learning within synthetic worlds.; Cette recherche vise à analyser la communication pédagogique multimodale dans des mondes synthétiques (virtuels). L'étude se focalise sur le rapport entre le verbal et le non verbal et son rôle de soutien pour la production et la participation verbales en langue étrangère. Celui-ci est analysé dans une perspective socio-sémiotique de la multimodalité, dans le contexte d'une formation conduite dans le monde synthétique Second Life selon une approche Enseignement d'une Matière Intégré à une Langue Étrangère (Emile). La formation, 'Building Fragile Spaces' menée dans le cadre du projet européen ARCHI21 a été conçue pour des étudiants d'architecture dont la langue étrangère était soit le français soit l'anglais.Le rapport entre le verbal et le non verbal est examiné selon trois angles différents. Premièrement, le rôle du non verbal pendant une activité de construction collaborative est analysé au vu des opportunités offertes par des mondes synthétiques pour la co-création de l'environnement et pour la collaboration. A travers cette étude, nous nous demandons si l'utilisation du mode non verbal a un impact sur la participation des étudiants dans le mode verbal et si le rapport entre ces deux modes a une influence sur la production verbale. Deuxièmement, l'utilisation du non verbal pour la construction des identités est abordée et est considérée en rapport avec l'interaction et la participation verbale des étudiants dans la langue étrangère. Finalement, la recherche se concentre sur le rapport entre les modalités audio et clavardage dans le mode verbal. Plus particulièrement, l'étude s'intéresse au rôle du clavardage dans l'interaction puisqu'il est en compétition non seulement avec l'audio mais également avec plusieurs modalités non verbales. La possibilité d'utiliser le clavardage pour la rétroaction est également abordée.Cette thèse cherche à contribuer aux considérations méthodologiques exigées pour que la recherche concernant la communication pédagogique multimodale dans des mondes synthétiques puisse aller au-delà des exemples spéculatifs et anecdotiques. Une typologie de modalités verbales et non verbales est proposée. Elle sert à étendre une méthodologie proposée pour la transcription des interactions multimodales aux interactions possibles dans les mondes synthétiques. En vue de la problématique plus générale, dans les domaines des Sciences Humaines et des Sciences du Langage, il s'agit de rendre visibles et accessibles publiquement les données utilisées pour les analyses. En effet, cette étude se réfère à un corpus d'apprentissage dans son approche méthodologique. La construction d'un corpus structuré permet d'effectuer des analyses contextualisées des données recueillies lors de la formation 'Building Fragile Spaces'.Cette recherche propose quelques éléments de réponse concernant l'augmentation de la participation verbale en rapport avec l'organisation proxémique des étudiants, la customisation de l'apparence des avatars des étudiants et l'utilisation importante des actes non verbaux. Concernant la production verbale, l'étude décrit comment, dans le mode non verbal, le mouvement de l'avatar est employé en tant que stratégie pour surmonter des difficultés de communication dans le mode verbal. Ces difficultés concernent, en particulier, l'expression de la direction et de l'orientation. L'étude montre également l'intérêt d'utiliser le clavardage pour offrir de la rétroaction concernant la forme linguistique dans le but de soutenir la production verbale des apprenants dans la modalité audio. Au vu des résultats, l'étude propose quelques considérations concernant la conception des activités pédagogiques pour l'apprentissage des langues dans des mondes synthétiques.