101 - The Lottery Ticket Hypothesis, With Jonathan Frankle NLP Highlights podcast

Artwork

Artificial Intelligence Tech Science NLP Highlights Allen Institute for Artificial Intelligence Tell Us

Innehåll tillhandahållet av NLP Highlights and Allen Institute for Artificial Intelligence. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av NLP Highlights and Allen Institute for Artificial Intelligence eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

NLP Highlights « »
101 - The lottery ticket hypothesis, with Jonathan Frankle

4+ y ago 41:16

Dela

MP3•Episod hem

Innehåll tillhandahållet av NLP Highlights and Allen Institute for Artificial Intelligence. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av NLP Highlights and Allen Institute for Artificial Intelligence eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

In this episode, Jonathan Frankle describes the lottery ticket hypothesis, a popular explanation of how over-parameterization helps in training neural networks. We discuss pruning methods used to uncover subnetworks (winning tickets) which were initialized in a particularly effective way. We also discuss patterns observed in pruned networks, stability of networks pruned at different time steps and transferring uncovered subnetworks across tasks, among other topics. A recent paper on the topic by Frankle and Carbin, ICLR 2019: https://arxiv.org/abs/1803.03635 Jonathan Frankle’s homepage: http://www.jfrankle.com/

… continue reading

145 episoder

#Artificial Intelligence #Tech #Science #NLP Highlights #Allen Institute for Artificial Intelligence #Tell Us

Artwork

101 - The lottery ticket hypothesis, with Jonathan Frankle

286 subscribers

published 4+ y ago

Dela

MP3•Episod hem

Innehåll tillhandahållet av NLP Highlights and Allen Institute for Artificial Intelligence. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av NLP Highlights and Allen Institute for Artificial Intelligence eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

In this episode, Jonathan Frankle describes the lottery ticket hypothesis, a popular explanation of how over-parameterization helps in training neural networks. We discuss pruning methods used to uncover subnetworks (winning tickets) which were initialized in a particularly effective way. We also discuss patterns observed in pruned networks, stability of networks pruned at different time steps and transferring uncovered subnetworks across tasks, among other topics. A recent paper on the topic by Frankle and Carbin, ICLR 2019: https://arxiv.org/abs/1803.03635 Jonathan Frankle’s homepage: http://www.jfrankle.com/

… continue reading

145 episoder

#Artificial Intelligence #Tech #Science #NLP Highlights #Allen Institute for Artificial Intelligence #Tell Us

Alla avsnitt

×

Välkommen till Player FM

Player FM scannar webben för högkvalitativa podcasts för dig att njuta av nu direkt. Den är den bästa podcast-appen och den fungerar med Android, Iphone och webben. Bli medlem för att synka prenumerationer mellan enheter.

Lyssna på 500+ ämnen