))
Exploring RAG Pipelines with Private AI Foundation and NVIDIA
Manage episode 451990262 series 2952236
A tartalmat a Virtually Speaking Podcast biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Virtually Speaking Podcast vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.
In this episode of the Virtually Speaking Podcast, we delve into the world of AI with Justin Murray, Product Marketing Engineer, and Frank Denneman, Chief Technologist for AI at Broadcom. We discuss retrieval augmented generation (RAG), a powerful approach that combines large language models with real-time, trusted data. Learn how RAG pipelines can be architected using Private AI Foundation with NVIDIA, including insights into key components like LLMs, NVIDIA Inference Microservices, and Vector DB. We also explore best practices for GPU sizing and when to use fractional or multiple GPUs for optimal performance. Join us for this fascinating conversation!
111 epizódok
Megosztás
