Constraint Grammar is a hand-crafted Transformer

Show simple item record

dc.contributor.author Yli-Jyrä, Anssi
dc.contributor.editor Bick, Eckhard
dc.contributor.editor Trosterud, Trond
dc.date.accessioned 2020-01-27T13:32:04Z
dc.date.available 2020-01-27T13:32:04Z
dc.date.issued 2019-12-03
dc.identifier.citation Yli-Jyrä , A 2019 , Constraint Grammar is a hand-crafted Transformer . in E Bick & T Trosterud (eds) , Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland . , 9 , NEALT Proceedings Series , no. 33 , Linköping Electronic Conference Proceedings , no. 168 , Linköping University Electronic Press , Linköping , pp. 45-49 , NoDaLiDa 2019 workshop on Constraint Grammar - Methods, Tools, and Applications , Turku , Finland , 30/09/2019 . < http://www.ep.liu.se/ecp/168/009/ecp19168009.pdf >
dc.identifier.citation workshop
dc.identifier.other PURE: 130695261
dc.identifier.other PURE UUID: 3762585d-0b1a-479c-b8e8-a695f6e2bf3d
dc.identifier.other ORCID: /0000-0003-0731-2114/work/68612746
dc.identifier.uri http://hdl.handle.net/10138/310444
dc.description.abstract Syvät neuroverkot (DNN) ja lingvistiset säännöt ovat tällä hetkellä luonnollisen kielen käsittelyteknologioiden ääripäitä. Aina viime aikoihin asti on ollut epäselvää kuinka näitä teknologioita voitaisiin yhdistää. Sen vuoksi näitä teknologioita on tutkittu lähes täysin toisistaan erillään olevissa tutkimusyhteisöissä. Muistutan tässä artikkelissa ensimmäiseksi siitä että sekä sekä Rajoitekieliopilla (CG) että tavallisilla rekurrenteilla neuroverkoilla (RNN) on äärellistilaisia ominaisuuksia. Sitten suhteutan CG:n Google Transformer-arkkitehtuuriin (jossa käytetään kahdenlaista attention-mekanismia) sekä argumentoin, että näiden näennäisesti toisistaan riippumattomien arkkitehtuurien välillä on merkittäviä samankaltaisuuksia. fi
dc.description.abstract Deep neural networks (DNN) and linguistic rules are currently the opposite ends in the scale for NLP technologies. Until recently, it has not been known how to combine these technologies most effectively. Therefore, the technologies have been the object of almost disjoint research communities. In this presentation, I first recall that both Constraint Grammar (CG) and vanilla RNNs have finite-state properties. Then I relate CG to Google’s Transformer architecture (with two kinds of attention) and argue that there are significant similarities between these two seemingly unrelated architectures. en
dc.format.extent 5
dc.language.iso eng
dc.publisher Linköping University Electronic Press
dc.relation.ispartof Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland
dc.relation.ispartofseries NEALT Proceedings Series
dc.relation.ispartofseries Linköping Electronic Conference Proceedings
dc.relation.isversionof 978-91-7929-918-7
dc.rights cc_by
dc.rights.uri info:eu-repo/semantics/openAccess
dc.subject 113 Computer and information sciences
dc.subject constraint grammar
dc.subject finite-state capacity
dc.subject recurrent neural networks
dc.subject self-attention
dc.subject attention
dc.subject rule conditions
dc.subject Transformer
dc.title Constraint Grammar is a hand-crafted Transformer en
dc.type Conference contribution
dc.contributor.organization Language Technology
dc.description.reviewstatus Peer reviewed
dc.relation.issn 1650-3686
dc.rights.accesslevel openAccess
dc.type.version publishedVersion
dc.relation.funder Suomen tietokirjailijat
dc.identifier.url http://www.ep.liu.se/ecp/article.asp?issue=168&article=009&volume=
dc.identifier.url http://www.ep.liu.se/ecp/168/009/ecp19168009.pdf
dc.relation.grantnumber

Files in this item

Total number of downloads: Loading...

Files Size Format View
ecp19168009.pdf 825.9Kb PDF View/Open

This item appears in the following Collection(s)

Show simple item record