Constraint Grammar is a hand-crafted Transformer

Show full item record



Permalink

http://hdl.handle.net/10138/310444

Citation

Yli-Jyrä , A 2019 , Constraint Grammar is a hand-crafted Transformer . in E Bick & T Trosterud (eds) , Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland . , 9 , NEALT Proceedings Series , no. 33 , Linköping Electronic Conference Proceedings , no. 168 , Linköping University Electronic Press , Linköping , pp. 45-49 , NoDaLiDa 2019 workshop on Constraint Grammar - Methods, Tools, and Applications , Turku , Finland , 30/09/2019 . < http://www.ep.liu.se/ecp/168/009/ecp19168009.pdf >

Title: Constraint Grammar is a hand-crafted Transformer
Author: Yli-Jyrä, Anssi
Other contributor: Bick, Eckhard
Trosterud, Trond
Contributor organization: Language Technology
Publisher: Linköping University Electronic Press
Date: 2019-12-03
Language: eng
Number of pages: 5
Belongs to series: Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland
Belongs to series: NEALT Proceedings Series - Linköping Electronic Conference Proceedings
ISBN: 978-91-7929-918-7
ISSN: 1650-3686
URI: http://hdl.handle.net/10138/310444
Abstract: Syvät neuroverkot (DNN) ja lingvistiset säännöt ovat tällä hetkellä luonnollisen kielen käsittelyteknologioiden ääripäitä. Aina viime aikoihin asti on ollut epäselvää kuinka näitä teknologioita voitaisiin yhdistää. Sen vuoksi näitä teknologioita on tutkittu lähes täysin toisistaan erillään olevissa tutkimusyhteisöissä. Muistutan tässä artikkelissa ensimmäiseksi siitä että sekä sekä Rajoitekieliopilla (CG) että tavallisilla rekurrenteilla neuroverkoilla (RNN) on äärellistilaisia ominaisuuksia. Sitten suhteutan CG:n Google Transformer-arkkitehtuuriin (jossa käytetään kahdenlaista attention-mekanismia) sekä argumentoin, että näiden näennäisesti toisistaan riippumattomien arkkitehtuurien välillä on merkittäviä samankaltaisuuksia.Deep neural networks (DNN) and linguistic rules are currently the opposite ends in the scale for NLP technologies. Until recently, it has not been known how to combine these technologies most effectively. Therefore, the technologies have been the object of almost disjoint research communities. In this presentation, I first recall that both Constraint Grammar (CG) and vanilla RNNs have finite-state properties. Then I relate CG to Google’s Transformer architecture (with two kinds of attention) and argue that there are significant similarities between these two seemingly unrelated architectures.
Subject: 113 Computer and information sciences
constraint grammar
finite-state capacity
recurrent neural networks
self-attention
attention
rule conditions
Transformer
Peer reviewed: Yes
Rights: cc_by
Usage restriction: openAccess
Self-archived version: publishedVersion
Funder: Suomen tietokirjailijat
Grant number:


Files in this item

Total number of downloads: Loading...

Files Size Format View
ecp19168009.pdf 825.9Kb PDF View/Open

This item appears in the following Collection(s)

Show full item record