Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction

Hosseini, Peyman ; Hosseini, Mehran ; et al.

2023

Online report

Zugriff:

We study the influence of different activation functions in the output layer of deep neural network models for soft and hard label prediction in the learning with disagreement task. In this task, the goal is to quantify the amount of disagreement via predicting soft labels. To predict the soft labels, we use BERT-based preprocessors and encoders and vary the activation function used in the output layer, while keeping other parameters constant. The soft labels are then used for the hard label prediction. The activation functions considered are sigmoid as well as a step-function that is added to the model post-training and a sinusoidal activation function, which is introduced for the first time in this paper.

Comment: Accepted in ACL 2023 SemEval Workshop as selected task paper

Titel:	Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction
Autor/in / Beteiligte Person:	Hosseini, Peyman ; Hosseini, Mehran ; Al-Azzawi, Sana Sabah ; Liwicki, Marcus ; Castro, Ignacio ; Purver, Matthew
Link:	View this record from Arxiv (Volltext)
Veröffentlichung:	2023
Medientyp:	report
DOI:	10.18653/v1/2023.semeval-1.185
Schlagwort:	Computer Science - Computation and Language Computer Science - Machine Learning I.2.7
Sonstiges:	Nachgewiesen in: arXiv Collection: Computer Science Document Type: Working Paper

Klicken Sie ein Format an und speichern Sie dann die Daten oder geben Sie eine Empfänger-Adresse ein und lassen Sie sich per Email zusenden.

BibTeX Citavi, JabRef, u.a.
(Literaturverwaltung)

PDF kein Volltext!
(Merkzettel, Notizen)

RIS Endnote, Citavi u.a.
(Literaturverwaltung)

MODS
(XML zur Weiterverarbeitung)

oder

Wählen Sie das für Sie passende Zitationsformat und kopieren Sie es dann in die Zwischenablage, lassen es sich per Mail zusenden oder speichern es als PDF-Datei.

Gewünschter Zitations-Stil:

oder

Bitte prüfen Sie, ob die Zitation formal korrekt ist, bevor Sie sie in einer Arbeit verwenden. Benutzen Sie gegebenenfalls den "Exportieren"-Dialog, wenn Sie ein Literaturverwaltungsprogramm verwenden und die Zitat-Angaben selbst formatieren wollen.