Beyond Position: How Rotary Embeddings Shape Representations And Memory In Autoregressive Transfomers Arxiv Papers podcast

Artwork

Science Igor Melnyk

Innehåll tillhandahållet av Igor Melnyk. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av Igor Melnyk eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

Arxiv Papers « »
Beyond position: how rotary embeddings shape representations and memory in autoregressive transfomers

8d ago 20:50

Dela

MP3•Episod hem

Innehåll tillhandahållet av Igor Melnyk. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av Igor Melnyk eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

This paper explores how Rotary Positional Embeddings (RoPE) affect Transformer model dynamics, introducing phase shifts that influence embeddings, information retention, and attention through oscillatory behaviors and frequency components.

https://arxiv.org/abs//2410.18067

YouTube: https://www.youtube.com/@ArxivPapers

TikTok: https://www.tiktok.com/@arxiv_papers

Apple Podcasts: https://podcasts.apple.com/us/podcast/arxiv-papers/id1692476016

Spotify: https://podcasters.spotify.com/pod/show/arxiv-papers

--- Support this podcast: https://podcasters.spotify.com/pod/show/arxiv-papers/support

… continue reading

1639 episoder

#Science #Igor Melnyk

Artwork

Beyond position: how rotary embeddings shape representations and memory in autoregressive transfomers

published 8d ago

Dela

MP3•Episod hem

Innehåll tillhandahållet av Igor Melnyk. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av Igor Melnyk eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

This paper explores how Rotary Positional Embeddings (RoPE) affect Transformer model dynamics, introducing phase shifts that influence embeddings, information retention, and attention through oscillatory behaviors and frequency components.

https://arxiv.org/abs//2410.18067

YouTube: https://www.youtube.com/@ArxivPapers

TikTok: https://www.tiktok.com/@arxiv_papers

Apple Podcasts: https://podcasts.apple.com/us/podcast/arxiv-papers/id1692476016

Spotify: https://podcasters.spotify.com/pod/show/arxiv-papers

--- Support this podcast: https://podcasters.spotify.com/pod/show/arxiv-papers/support

… continue reading

1639 episoder

#Science #Igor Melnyk

All episodes

×

Välkommen till Player FM

Player FM scannar webben för högkvalitativa podcasts för dig att njuta av nu direkt. Den är den bästa podcast-appen och den fungerar med Android, Iphone och webben. Bli medlem för att synka prenumerationer mellan enheter.

Lyssna på 500+ ämnen