Artwork

A tartalmat a Databricks biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Databricks vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.
Player FM - Podcast alkalmazás
Lépjen offline állapotba az Player FM alkalmazással!

Benchmarking Domain Intelligence | Data Brew | Episode 45

31:41
 
Megosztás
 

Manage episode 478821138 series 2814833
A tartalmat a Databricks biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Databricks vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks.
Highlights include:
- Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI.
- An introduction to the Databricks Intelligence Benchmarking Suite (DIBS).
- Evaluating models on real-world applications like RAG, text-to-JSON, and function calling.
- The evolving landscape of open-source vs. closed-source LLMs.
- How industry and academia can collaborate to improve AI benchmarking.

  continue reading

44 epizódok

Artwork
iconMegosztás
 
Manage episode 478821138 series 2814833
A tartalmat a Databricks biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Databricks vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.

In this episode, Pallavi Koppol, Research Scientist at Databricks, explores the importance of domain-specific intelligence in large language models (LLMs). She discusses how enterprises need models tailored to their unique jargon, data, and tasks rather than relying solely on general benchmarks.
Highlights include:
- Why benchmarking LLMs for domain-specific tasks is critical for enterprise AI.
- An introduction to the Databricks Intelligence Benchmarking Suite (DIBS).
- Evaluating models on real-world applications like RAG, text-to-JSON, and function calling.
- The evolving landscape of open-source vs. closed-source LLMs.
- How industry and academia can collaborate to improve AI benchmarking.

  continue reading

44 epizódok

Minden epizód

×
 
Loading …

Üdvözlünk a Player FM-nél!

A Player FM lejátszó az internetet böngészi a kiváló minőségű podcastok után, hogy ön élvezhesse azokat. Ez a legjobb podcast-alkalmazás, Androidon, iPhone-on és a weben is működik. Jelentkezzen be az feliratkozások szinkronizálásához az eszközök között.

 

Gyors referencia kézikönyv

Hallgassa ezt a műsort, miközben felfedezi
Lejátszás