Contribuições da Semântica de Frames para a anotação de gêneros multimodais na área de Tecnologia Linguística

Authors

DOI:

https://doi.org/10.34019/2179-3700.2024.v24.46181

Keywords:

Tecnologia Linguística, Multimodalidade., Semântica de Frames.

Abstract

The present article presents the results of the project Semantic Representation of Multimodality: defining analytical parameters for multimodal genres in the field of Linguistic Technology, conducted at FrameNet Brasil (FN-Br). In this study, the efforts of FN-Br's computational lexicographic description, anchored in Frame Semantics, were expanded to include other modes of signification beyond the verbal. Verbal text and dynamic images from the first season of GNT's travel program “Pedro pelo Mundo” were annotated using FN-Br tools. Results reinforce the need for annotations that take into consideration communicative modes other than verbal text.

Downloads

References

BATEMAN, J., WILDFEUER, J., & HIIPPALA, T. Multimodality: Foundations, research and analysis–A problem-oriented introduction. Berlin: Walter de Gruyter GmbH & Co KG, 2017.

BELCAVELLO, F. FrameNet Annotation for Multimodal Corpora: devising a methodology for the semantic representation of text-image interactions in audiovisual productions. 135f. Tese (Doutorado em Linguística) — Faculdade de Letras, Universidade Federal de Juiz de Fora, Juiz de Fora, 2023.

BELCAVELLO, F.; TORRENT, T. T.; MATOS, E. E.; PAGANO, A. S.; GAMONAL, M. A.; SIGILIANO, N. S.; DUTRA, L. V.; ABREU, H. A.; SAMAGAIO, M. M.; PINTO, M. C.; CAMPOS, F.; BRAZ, G. A.; MAZZEI, B.; OLIVEIRA, M. F.; LUZ, A. C. L.; RUIZ, L. P.; XAVIER, J. B.; PESTANA, A.; COSTA, J.; RABELO, I.; SILVA, A. B.; ROZA, R.; MOTA, M. S.; OLIVEIRA, I. Frame2: A FrameNet-based Multimodal Dataset for Tackling Text-image Interactions in Video. In: Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). Torino: ELRA/ICCL, 2024, p.7429 – 7437.

BELCAVELLO, F.; VIRIDIANO, M.; DINIZ DA COSTA, A.; MATOS, E. E.; TORRENT, T. T. Frame-Based Annotation of Multimodal Corpora: Tracking (A)Synchronies in Meaning Construction. In: Proceedings of the LREC International FrameNet Workshop 2020: Towards a Global, Multilingual FrameNet. Marseille, France: ELRA, 2020, p. 23-30.

BELCAVELLO, F.; VIRIDIANO, M.; MATOS, E.; TORRENT, T. T. Charon: A FrameNet Annotation Tool for Multimodal Corpora. In: Proceedings of The 16th Lingusitic Annotation Workshop (LAW-XVI) within LREC2022. Marseille, France: ELRA, 2022, p. 91-96.

GUALBERTO, C. L.; SANTOS, Z. B. dos. Multimodalidade no contexto brasileiro: um estado de arte. DELTA: Documentação E Estudos Em Linguística Teórica e Aplicada, 35(2), 2019.

FILLMORE, C. J. Frame semantics. In.: Linguistics in the morning calm. Korea: Hanshin Publishing Company, 1982, p.111-137.

FILLMORE, C. J.; BAKER, C. A Frames Approach To Semantic Analysis. In: HEINE, B.; NARROG, H. (Orgs.). The Oxford Handbook Of Linguistic Analysis. (p.313–340). Oxford: Oxford University Press, 2009.

LUZ, A.; BRAZ, G.; RUIZ, L.; PINTO, M. C.; BELCAVELLO, F.; SIGILIANO, N. S.; TORRENT, T. Anotação do Dataset Multimodal da ReINVenTA. In: Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL), 14. Porto Alegre: Sociedade Brasileira de Computação, 2023, p. 352-356.

RUPPENHOFER, J.; ELLSWORTH, M.; PETRUCK, M. R. L.; JOHNSON, C. R.; SCHEFFCZYK, J. FrameNet II: Extended theory and practice. Berkeley, International Computer Science Institute, 2016. Disponível em: http://framenet.icsi.berkeley.edu/. Acesso em: 14 jul. 2024.

SALOMÃO, M. FrameNet Brasil: um trabalho em progresso. Calidoscópio, 7(3), 2009, p. 171–182.

TORRENT, T. T., MATOS, E. E. D. S., BELCAVELLO, F., VIRIDIANO, M., GAMONAL, M. A., COSTA, A. D. D., & MARIM, M. C. Representing context in FrameNet: A multidimensional, multimodal approach. Frontiers in Psychology, 13, 838441, 2022.

TORRENT, T. T.; MATOS, E. E. S.; COSTA, A. D.; GAMONAL, M. A.; PERON-CORREA, S. R.; PAIVA, V. R. L. A Flexible Tool for a Qualia-Enriched FrameNet: the FrameNet Brasil WebTool. Language Resources and Evaluation, 58(1), 2024, p. 1-29.

Published

2025-04-09

How to Cite

Carvalho Pinto, M. de, Braz, G. A., & Sigiliano, N. S. (2025). Contribuições da Semântica de Frames para a anotação de gêneros multimodais na área de Tecnologia Linguística. Principia: Caminhos Da Iniciação Científica, 24. https://doi.org/10.34019/2179-3700.2024.v24.46181

Issue

Section

Artigos originais - Linguística, Letras e Artes