Constraint Grammar is a hand-crafted Transformer

Show full item record



Permalink

http://hdl.handle.net/10138/310444

Citation

Yli-Jyrä , A 2019 , Constraint Grammar is a hand-crafted Transformer . in E Bick & T Trosterud (eds) , Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland . , 9 , NEALT Proceedings Series , no. 33 , Linköping Electronic Conference Proceedings , no. 168 , Linköping University Electronic Press , Linköping , pp. 45-49 , NoDaLiDa 2019 workshop on Constraint Grammar - Methods, Tools, and Applications , Turku , Finland , 30/09/2019 . < http://www.ep.liu.se/ecp/168/009/ecp19168009.pdf >

Title: Constraint Grammar is a hand-crafted Transformer
Author: Yli-Jyrä, Anssi
Other contributor: University of Helsinki, Language Technology
Bick, Eckhard
Trosterud, Trond
Publisher: Linköping University Electronic Press
Date: 2019-12-03
Language: eng
Number of pages: 5
Belongs to series: Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland
Belongs to series: NEALT Proceedings Series - Linköping Electronic Conference Proceedings
ISBN: 978-91-7929-918-7
URI: http://hdl.handle.net/10138/310444
Abstract: Syvät neuroverkot (DNN) ja lingvistiset säännöt ovat tällä hetkellä luonnollisen kielen käsittelyteknologioiden ääripäitä. Aina viime aikoihin asti on ollut epäselvää kuinka näitä teknologioita voitaisiin yhdistää. Sen vuoksi näitä teknologioita on tutkittu lähes täysin toisistaan erillään olevissa tutkimusyhteisöissä. Muistutan tässä artikkelissa ensimmäiseksi siitä että sekä sekä Rajoitekieliopilla (CG) että tavallisilla rekurrenteilla neuroverkoilla (RNN) on äärellistilaisia ominaisuuksia. Sitten suhteutan CG:n Google Transformer-arkkitehtuuriin (jossa käytetään kahdenlaista attention-mekanismia) sekä argumentoin, että näiden näennäisesti toisistaan riippumattomien arkkitehtuurien välillä on merkittäviä samankaltaisuuksia.
Subject: 113 Computer and information sciences
constraint grammar
finite-state capacity
recurrent neural networks
self-attention
attention
rule conditions
Transformer
Rights:


Files in this item

Total number of downloads: Loading...

Files Size Format View
ecp19168009.pdf 825.9Kb PDF View/Open

This item appears in the following Collection(s)

Show full item record