मुख्य सामग्री पर जाएं
अनुवाद जारी है — आपकी भाषा का संस्करण तैयार होने तक यह सामग्री अंग्रेज़ी में दिखाई जा रही है।
चर्चाओं पर वापस जाएं

Who Grades the AI Models? | Ben Horowitz & Rayan Krishnan

प्रौद्योगिकी
वैश्विक
10 सितंबर 2026 को शुरू किया गया

a16z’s Erik Torenberg, Ben Horowitz, and Jennifer Li sit down with Vals founder and CEO Rayan Krishnan to discuss one of AI’s increasingly difficult problems: how do you actually measure whether a model is getting better? As public benchmarks saturate and models get better at optimizing for the tests themselves, Rayan makes the case for independent, continuously evolving evaluations. They unpack why self-reported model scores can be misleading, how VALS evaluates models in the hours before a ...

स्रोत लेख

कथन जोड़ें विश्लेषण 0/5
कोई ख़ास दावा ढूँढ रहे हैं? सभी कथन खोजें
🗳️ बातचीत में शामिल हों
10 मतदान के लिए कथन • आपका नज़रिया विश्लेषण को आकार देता है
📊 सर्वसम्मति विश्लेषण की ओर प्रगति 7+ प्रतिभागी और 20+ वोट चाहिए। हर कथन 3+ वोट मिलते ही शामिल हो जाता है।
प्रतिभागी 0/7
कथन (10+ अनुशंसित) 10/10
कुल वोट 0/20
💡 प्रगति यहाँ लाइव अपडेट होती है। तीनों शर्तें पूरी होते ही विश्लेषण चल सकता है।

आपके वोट मायने रखते हैं

खाते की ज़रूरत नहीं। आपके वोट सहेजे जाते हैं और सर्वसम्मति विश्लेषण में शामिल किए जाते हैं। अपने वोटों का रिकॉर्ड रखने के लिए खाता बनाएँ।

दावा द्वारा पोस्ट admin • 10 सित॰ 2026
Whoever grades AI models must maintain transparency about their evaluation methods and funding sources to avoid hidden conflicts of interest.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
Requiring independent evaluations of AI models will slow down innovation and create unnecessary regulatory burden on developers.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
AI model evaluations should prioritize real-world performance over controlled test conditions.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
AI model evaluations should evolve continuously to keep pace with technological advancements.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
Measuring AI model improvements should incorporate both quantitative and qualitative metrics for a holistic view of performance.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
Evaluation systems must measure real-world AI performance on tasks that matter to users, not abstract benchmark scores.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
The evaluation process for AI models must include diverse perspectives to avoid bias and promote fairness.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
AI model evaluations should continuously evolve rather than rely on static standardized tests that models can overfit to.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
AI developers should have a vested interest in the evaluation process, as their input is critical for accurate assessments.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें
दावा द्वारा पोस्ट admin • 10 सित॰ 2026
A single standardized evaluation framework for all AI models is impossible because different models serve different purposes.

अनुवाद लंबित है

इस कथन के लिए वोट के विकल्प: सहमत, असहमत या अनिश्चित
💬 चर्चा देखें
सबसे पहले जवाब दें
नतीजे देखने के लिए वोट करें

💡 यह कैसे काम करता है

  • • कथन जोड़ें: दावे या प्रश्न पोस्ट करें (10 से 500 अक्षर)।
  • • वोट करें: हर कथन पर सहमत, असहमत या अनिश्चित।
  • • जवाब दें: पक्ष या विपक्ष में सबूत के साथ विस्तृत तर्क जोड़ें।
  • • सर्वसम्मति: जब पर्याप्त लोग भाग ले लेते हैं, तो विश्लेषण राय समूह दिखाता है और यह भी कि वे कहाँ सहमत हैं।

Society Speaks खुला और स्वतंत्र है। आपका समर्थन नागरिक चर्चा को विज्ञापन और व्यावसायिक प्रभाव से मुक्त रखता है।

हमारा समर्थन करें