Constraint Grammar is a hand-crafted Transformer

Näytä kaikki kuvailutiedot



Pysyväisosoite

http://hdl.handle.net/10138/310444

Lähdeviite

Yli-Jyrä , A 2019 , Constraint Grammar is a hand-crafted Transformer . in E Bick & T Trosterud (eds) , Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland . , 9 , NEALT Proceedings Series , no. 33 , Linköping Electronic Conference Proceedings , no. 168 , Linköping University Electronic Press , Linköping , pp. 45-49 , NoDaLiDa 2019 workshop on Constraint Grammar - Methods, Tools, and Applications , Turku , Finland , 30/09/2019 . < http://www.ep.liu.se/ecp/168/009/ecp19168009.pdf >

Julkaisun nimi: Constraint Grammar is a hand-crafted Transformer
Tekijä: Yli-Jyrä, Anssi
Muu tekijä: Bick, Eckhard
Trosterud, Trond
Tekijän organisaatio: Language Technology
Julkaisija: Linköping University Electronic Press
Päiväys: 2019-12-03
Kieli: eng
Sivumäärä: 5
Kuuluu julkaisusarjaan: Proceedings of the NoDaLiDa 2019 Workshop on Constraint Grammar - Methods, Tools and Applications, 30 September 2019, Turku, Finland
Kuuluu julkaisusarjaan: NEALT Proceedings Series - Linköping Electronic Conference Proceedings
ISBN: 978-91-7929-918-7
ISSN: 1650-3686
URI: http://hdl.handle.net/10138/310444
Tiivistelmä: Syvät neuroverkot (DNN) ja lingvistiset säännöt ovat tällä hetkellä luonnollisen kielen käsittelyteknologioiden ääripäitä. Aina viime aikoihin asti on ollut epäselvää kuinka näitä teknologioita voitaisiin yhdistää. Sen vuoksi näitä teknologioita on tutkittu lähes täysin toisistaan erillään olevissa tutkimusyhteisöissä. Muistutan tässä artikkelissa ensimmäiseksi siitä että sekä sekä Rajoitekieliopilla (CG) että tavallisilla rekurrenteilla neuroverkoilla (RNN) on äärellistilaisia ominaisuuksia. Sitten suhteutan CG:n Google Transformer-arkkitehtuuriin (jossa käytetään kahdenlaista attention-mekanismia) sekä argumentoin, että näiden näennäisesti toisistaan riippumattomien arkkitehtuurien välillä on merkittäviä samankaltaisuuksia.Deep neural networks (DNN) and linguistic rules are currently the opposite ends in the scale for NLP technologies. Until recently, it has not been known how to combine these technologies most effectively. Therefore, the technologies have been the object of almost disjoint research communities. In this presentation, I first recall that both Constraint Grammar (CG) and vanilla RNNs have finite-state properties. Then I relate CG to Google’s Transformer architecture (with two kinds of attention) and argue that there are significant similarities between these two seemingly unrelated architectures.
Avainsanat: 113 Computer and information sciences
constraint grammar
finite-state capacity
recurrent neural networks
self-attention
attention
rule conditions
Transformer
Vertaisarvioitu: Kyllä
Tekijänoikeustiedot: cc_by
Pääsyrajoitteet: openAccess
Rinnakkaistallennettu versio: publishedVersion
Rahoittaja: Suomen tietokirjailijat
Rahoitusnumero:


Tiedostot

Latausmäärä yhteensä: Ladataan...

Tiedosto(t) Koko Formaatti Näytä
ecp19168009.pdf 825.9KB PDF Avaa tiedosto

Viite kuuluu kokoelmiin:

Näytä kaikki kuvailutiedot