Asynchronous Versus Synchronous Execution PyTorch Developer podcast

Artwork

Tech PyTorch Edward Yang Team PyTorch Deep Learning Machine Learning

Innehåll tillhandahållet av PyTorch, Edward Yang, and Team PyTorch. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av PyTorch, Edward Yang, and Team PyTorch eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

PyTorch Developer Podcast « »
Asynchronous versus synchronous execution

3y ago 15:03

Dela

MP3•Episod hem

Innehåll tillhandahållet av PyTorch, Edward Yang, and Team PyTorch. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av PyTorch, Edward Yang, and Team PyTorch eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

CUDA is asynchronous, CPU is synchronous. Making them play well together can be one of the more thorny and easy to get wrong aspects of the PyTorch API. I talk about why non_blocking is difficult to use correctly, a hypothetical "asynchronous CPU" device which would help smooth over some of the API problems and also why it used to be difficult to implement async CPU (but it's not hard anymore!) At the end, I also briefly talk about how async/sync impedance can also show up in unusual places, namely the CUDA caching allocator.

Further reading.

CUDA semantics which discuss non_blocking somewhat https://pytorch.org/docs/stable/notes/cuda.html
Issue requesting async cpu https://github.com/pytorch/pytorch/issues/44343

… continue reading

82 episoder

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Artwork

Asynchronous versus synchronous execution

PyTorch Developer Podcast

33 subscribers

published 3y ago

Dela

MP3•Episod hem

Innehåll tillhandahållet av PyTorch, Edward Yang, and Team PyTorch. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av PyTorch, Edward Yang, and Team PyTorch eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

CUDA is asynchronous, CPU is synchronous. Making them play well together can be one of the more thorny and easy to get wrong aspects of the PyTorch API. I talk about why non_blocking is difficult to use correctly, a hypothetical "asynchronous CPU" device which would help smooth over some of the API problems and also why it used to be difficult to implement async CPU (but it's not hard anymore!) At the end, I also briefly talk about how async/sync impedance can also show up in unusual places, namely the CUDA caching allocator.

Further reading.

CUDA semantics which discuss non_blocking somewhat https://pytorch.org/docs/stable/notes/cuda.html
Issue requesting async cpu https://github.com/pytorch/pytorch/issues/44343

… continue reading

82 episoder

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Alla avsnitt

×

Välkommen till Player FM

Player FM scannar webben för högkvalitativa podcasts för dig att njuta av nu direkt. Den är den bästa podcast-appen och den fungerar med Android, Iphone och webben. Bli medlem för att synka prenumerationer mellan enheter.

Lyssna på 500+ ämnen