Azure API Management's GenAI Gateway With Andrei Kamenev .NET Rocks! podcast

Artwork

Windows Operating Systems Microsoft Visual Studio Vista Tech Carl Franklin and Richard Campbell Carl Franklin Richard Campbell NET ASP Orca

Innehåll tillhandahållet av Carl Franklin and Richard Campbell, Carl Franklin, and Richard Campbell. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av Carl Franklin and Richard Campbell, Carl Franklin, and Richard Campbell eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

.NET Rocks! « »
Azure API Management's GenAI Gateway with Andrei Kamenev

3M ago 51:00

Dela

MP3•Episod hem

Innehåll tillhandahållet av Carl Franklin and Richard Campbell, Carl Franklin, and Richard Campbell. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av Carl Franklin and Richard Campbell, Carl Franklin, and Richard Campbell eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

How do you manage APIs to GenAI, and how can GenAI help with API management? Carl and Richard chat with Andrei Kamenev about the latest features coming to Azure API Management. On the one hand, there are Copilot tools to help craft and understand APIM policies, which can get very complex. Then, there is the provisioning of access to GenAI-related APIs like the Azure OpenAI service, which utilize tokens - and those tokens mean money, so they need to be controlled. The GenAI Gateway provides the ability to rate-limit token issuing and all the other capabilities you expect from APIM. Prompt caching is in preview and can decrease the cost of repeated use of the same prompts. Many of the features are new, and more are coming!

… continue reading

596 episoder

#Windows #Operating Systems #Microsoft #Visual #Studio #Vista #Tech #Carl Franklin and Richard Campbell #Carl Franklin #Richard Campbell #NET #ASP #Orca

Artwork

Azure API Management's GenAI Gateway with Andrei Kamenev

334 subscribers

published 3M ago

Dela

MP3•Episod hem

Innehåll tillhandahållet av Carl Franklin and Richard Campbell, Carl Franklin, and Richard Campbell. Allt poddinnehåll inklusive avsnitt, grafik och podcastbeskrivningar laddas upp och tillhandahålls direkt av Carl Franklin and Richard Campbell, Carl Franklin, and Richard Campbell eller deras podcastplattformspartner. Om du tror att någon använder ditt upphovsrättsskyddade verk utan din tillåtelse kan du följa processen som beskrivs här https://sv.player.fm/legal.

How do you manage APIs to GenAI, and how can GenAI help with API management? Carl and Richard chat with Andrei Kamenev about the latest features coming to Azure API Management. On the one hand, there are Copilot tools to help craft and understand APIM policies, which can get very complex. Then, there is the provisioning of access to GenAI-related APIs like the Azure OpenAI service, which utilize tokens - and those tokens mean money, so they need to be controlled. The GenAI Gateway provides the ability to rate-limit token issuing and all the other capabilities you expect from APIM. Prompt caching is in preview and can decrease the cost of repeated use of the same prompts. Many of the features are new, and more are coming!

… continue reading

596 episoder

#Windows #Operating Systems #Microsoft #Visual #Studio #Vista #Tech #Carl Franklin and Richard Campbell #Carl Franklin #Richard Campbell #NET #ASP #Orca

Alla avsnitt

×

Välkommen till Player FM

Player FM scannar webben för högkvalitativa podcasts för dig att njuta av nu direkt. Den är den bästa podcast-appen och den fungerar med Android, Iphone och webben. Bli medlem för att synka prenumerationer mellan enheter.

Lyssna på 500+ ämnen