Requirements Intelligence : On the Analysis of User Feedback

Traditionally, software requirements engineering involved users through workshops, interviews, and observations in the early software development phases. Although beneficial to software teams, these approaches are challenging to carry out continuously and can involve only a limited number of users. In recent years, requirements stakeholders started analyzing explicit user feedback, such as written app reviews, and implicit user feedback like app usage data as continuous sources for requirements-related information. Yet, research highlights that stakeholders rarely use explicit and implicit user feedback in their decision-making process because they receive it in large and unfiltered amounts, making a manual analysis unfeasible. As user satisfaction is crucial for the success of an app, stakeholders need automated approaches for analyzing user feedback to understand user needs and to guide their decision-making. In an interview study, we found that stakeholders need to know how their apps perform, to efficiently identify innovative features, and to understand reported issues and bugs. This dissertation introduces requirements intelligence, a framework that continuously collects, preprocesses, filters, as well as transforms and matches explicit and implicit user feedback to requirements. The framework aims to generate insights for stakeholders in an integrated interactive visualization. The core enablers for requirements intelligence include two main analysis activities on explicit and implicit feedback: Feedback filtering and feedback to requirements analysis. Feedback filtering is the activity that identifies requirements-relevant feedback, such as problem reports, inquiries, and feature requests. Feedback to requirements extracts the software features users discuss and matches them with the features as documented on, e.g., app pages. We developed and empirically evaluated supervised machine learning approaches for both feedback types and activities. Our approaches rely on crowdsourcing studies for training machine learning models and on benchmarking experiments for identifying the optimal machine learning models. Based on our requirements intelligence framework, we iteratively developed the prototype feed.ai. We evaluated feed.ai with a total of 15 stakeholders from a major telecommunication company for 12 months. We found that the stakeholders agreed with 92% of the automated filtering results indicating high accuracy. The stakeholders found requirements intelligence beneficial for departments working with user feedback like customer care, marketing, and technology innovation. In a final survey, ten stakeholders anonymously rated feed.ai’s functionality, on average, with 4.1/5 and its usability with 4.3/5. They further reported that feed.ai helped them to reduce 70% of their time spent on analyzing user feedback, indicating a high effectiveness of our approach.

Traditionell werden Nutzer im Anforderungsmanagements in Workshops, Interviews und Beobachtungen in den frühen Projektphasen eingebunden. Obwohl das Anforderungsmanagement von der Einbeziehung der Nutzer mit diesen Ansätzen profitiert, ist es eine große Herausforderung, diese kontinuierlich durchzuführen. Nur eine begrenzte Anzahl an Nutzern können auf diese Weise eingebunden werden. In den letzten Jahren haben Stakeholder deswegen damit begonnen explizites Nutzerfeedback, wie z.B. App-Reviews und implizites Nutzerfeedback, wie z.B. Nutzungsdaten von Apps zu betrachten. Beide Arten von Feedback dienen als kontinuierliche Quellen, die wertvolle Informationen für das Anforderungsmanagement bereitstellen. Die Forschung zeigt jedoch, dass Stakeholder nur selten explizites und implizites Nutzerfeedback in ihren Entscheidungsprozess berücksichtigen. Der Grund ist, dass Nutzerfeedback in großen und ungefilterten Mengen auftritt, weshalb eine manuelle Analyse erschwert ist. Da die Zufriedenheit der Nutzer aber über den Erfolg einer App entscheidet, benötigen Stakeholder automatisierte Ansätze für die Analyse des Nutzerfeedbacks, die sie dabei unterstützen, die Bedürfnisse der Nutzer zu verstehen und Entscheidungen zu treffen. Durch eine Interviewstudie konnten wir belegen, dass Stakeholder wissen müssen, wie ihre App wahrgenommen wird, welche innovativen Funktionen Nutzer diskutieren und wie sie gemeldete Fehler reproduziert werden können. Diese Dissertation führt ein Requirements Intelligence Framework ein, das explizites und implizites Nutzerfeedback kontinuierlich sammelt, verarbeitet, filtert, sowie transformiert und vergleicht. Ziel des Frameworks ist es, Stakeholdern neue Erkenntnisse in einer integrierten interaktiven Visualisierung aufzuzeigen. Die Analysen des expliziten und impliziten Feedbacks sehen dabei zwei Aktivitäten vor. Die Aktivität „Feedback filtern“ identifiziert anforderungsrelevantes Feedback, wie zum Beispiel Problemberichte, Anfragen und Wünsche für neue Funktionen. Die Aktivität „Feedback zu Anforderungen“ identifiziert Software-Funktionen die Nutzer beschreiben und gleicht diese mit den von Stakeholdern dokumentierten Funktionen ab. Wir haben beide Aktivitäten durch maschinelles Lernen umgesetzt und empirisch evaluiert. Hierbei basieren unsere Lösungsansätze für beide Aktivitäten auf Crowdsourcing-Studien, mit denen wir die maschinellen Ansätze trainiert haben. Außerdem haben wir durch die Anwendung von Benchmarks identifiziert, wie wir die maschinellen Ansätze optimal konfigurieren können. Basierend auf dem Requirements Intelligence Framework und unseren Ansätzen haben wir dann den Prototypen feed.ai iterativ entwickelt. Wir haben feed.ai über 12 Monate zusammen mit insgesamt 15 Stakeholdern eines großen Telekommunikationsunternehmen evaluiert. Wir fanden heraus, dass die Stakeholder den Ergebnissen des automatisierten Filteransatzes zu 92% zustimmten. Die Stakeholder berichteten außerdem darüber, dass die Abteilungen am meisten von feed.ai profitieren können, die mit Nutzerfeedback arbeiten, z.B. das Marketing oder das Customer-Relationship. In einer abschließenden Befragung bewerteten zehn Stakeholder die Funktionalität von feed.ai mit 4,1/5 und die Benutzerfreundlichkeit mit 4,3/5. Weiterhin konnten sie mit feed.ai 70% ihrer Zeit für die Analyse des Nutzerfeedbacks einsparen.