Artwork

المحتوى المقدم من Kabir. يتم تحميل جميع محتويات البودكاست بما في ذلك الحلقات والرسومات وأوصاف البودكاست وتقديمها مباشرة بواسطة Kabir أو شريك منصة البودكاست الخاص بهم. إذا كنت تعتقد أن شخصًا ما يستخدم عملك المحمي بحقوق الطبع والنشر دون إذنك، فيمكنك اتباع العملية الموضحة هنا https://ar.player.fm/legal.
Player FM - تطبيق بودكاست
انتقل إلى وضع عدم الاتصال باستخدام تطبيق Player FM !

AI Fact Checking | Future of Truth Online Using

10:52
 
مشاركة
 

Manage episode 461284977 series 3605659
المحتوى المقدم من Kabir. يتم تحميل جميع محتويات البودكاست بما في ذلك الحلقات والرسومات وأوصاف البودكاست وتقديمها مباشرة بواسطة Kabir أو شريك منصة البودكاست الخاص بهم. إذا كنت تعتقد أن شخصًا ما يستخدم عملك المحمي بحقوق الطبع والنشر دون إذنك، فيمكنك اتباع العملية الموضحة هنا https://ar.player.fm/legal.

This episode is about Search-Augmented Factuality Evaluator (SAFE), a novel, cost-effective method for automatically evaluating the factuality of long-form text generated by large language models (LLMs). SAFE leverages LLMs and Google Search to assess the accuracy of individual facts within a response, outperforming human annotators in accuracy and efficiency. The researchers also created LongFact, a new benchmark dataset of 2,280 prompts designed to test long-form factuality across diverse topics, and proposed F1@K, a new metric that incorporates both precision and recall, accounting for the desired length of a factual response. Extensive benchmarking across thirteen LLMs demonstrates that larger models generally exhibit higher factuality, and the paper thoroughly addresses reproducibility and ethical considerations.

Send us a text

Support the show

Podcast:
https://kabir.buzzsprout.com
YouTube:
https://www.youtube.com/@kabirtechdives
Please subscribe and share.

  continue reading

191 حلقات

Artwork
iconمشاركة
 
Manage episode 461284977 series 3605659
المحتوى المقدم من Kabir. يتم تحميل جميع محتويات البودكاست بما في ذلك الحلقات والرسومات وأوصاف البودكاست وتقديمها مباشرة بواسطة Kabir أو شريك منصة البودكاست الخاص بهم. إذا كنت تعتقد أن شخصًا ما يستخدم عملك المحمي بحقوق الطبع والنشر دون إذنك، فيمكنك اتباع العملية الموضحة هنا https://ar.player.fm/legal.

This episode is about Search-Augmented Factuality Evaluator (SAFE), a novel, cost-effective method for automatically evaluating the factuality of long-form text generated by large language models (LLMs). SAFE leverages LLMs and Google Search to assess the accuracy of individual facts within a response, outperforming human annotators in accuracy and efficiency. The researchers also created LongFact, a new benchmark dataset of 2,280 prompts designed to test long-form factuality across diverse topics, and proposed F1@K, a new metric that incorporates both precision and recall, accounting for the desired length of a factual response. Extensive benchmarking across thirteen LLMs demonstrates that larger models generally exhibit higher factuality, and the paper thoroughly addresses reproducibility and ethical considerations.

Send us a text

Support the show

Podcast:
https://kabir.buzzsprout.com
YouTube:
https://www.youtube.com/@kabirtechdives
Please subscribe and share.

  continue reading

191 حلقات

كل الحلقات

×
 
Loading …

مرحبًا بك في مشغل أف ام!

يقوم برنامج مشغل أف أم بمسح الويب للحصول على بودكاست عالية الجودة لتستمتع بها الآن. إنه أفضل تطبيق بودكاست ويعمل على أجهزة اندرويد والأيفون والويب. قم بالتسجيل لمزامنة الاشتراكات عبر الأجهزة.

 

دليل مرجعي سريع

استمع إلى هذا العرض أثناء الاستكشاف
تشغيل