कंपनी के आंतरिक बेंचमार्किंग के अनुसार, हाल ही में जारी Google AI मॉडल अपने पूर्ववर्ती की तुलना में कुछ सुरक्षा परीक्षणों पर बदतर है।
में एक तकनीकी प्रतिवेदन इस सप्ताह प्रकाशित, Google ने खुलासा किया कि इसका मिथुन 2.5 फ्लैश मॉडल पाठ उत्पन्न करने की अधिक संभावना है जो मिथुन 2.0 फ्लैश की तुलना में अपने सुरक्षा दिशानिर्देशों का उल्लंघन करता है। दो मेट्रिक्स पर, “टेक्स्ट-टू-टेक्स्ट सेफ्टी” और “इमेज-टू-टेक्स्ट सेफ्टी,” जेमिनी 2.5 फ्लैश क्रमशः 4.1% और 9.6% को वापस लेती है।
टेक्स्ट-टू-टेक्स्ट सुरक्षा उपाय कितनी बार एक मॉडल Google के दिशानिर्देशों का उल्लंघन करता है, जबकि एक संकेत दिया जाता है, जबकि छवि-टू-टेक्स्ट सुरक्षा मूल्यांकन करता है कि मॉडल इन सीमाओं का कितनी निकटता से पालन करता है जब एक छवि का उपयोग करके संकेत दिया जाता है। दोनों परीक्षण स्वचालित हैं, न कि मानव-पर्यवेक्षित।
एक ईमेल किए गए बयान में, एक Google प्रवक्ता ने पुष्टि की कि मिथुन 2.5 फ्लैश “टेक्स्ट-टू-टेक्स्ट और इमेज-टू-टेक्स्ट सेफ्टी पर खराब प्रदर्शन करता है।”
ये आश्चर्यजनक बेंचमार्क परिणाम आते हैं क्योंकि एआई कंपनियां अपने मॉडलों को अधिक अनुमेय बनाने के लिए आगे बढ़ती हैं – दूसरे शब्दों में, विवादास्पद या संवेदनशील विषयों पर प्रतिक्रिया देने से इनकार करने की संभावना कम है। लामा मॉडल की अपनी नवीनतम फसल के लिए, मेटा ने कहा कि यह मॉडल को “दूसरों पर कुछ विचारों” का समर्थन नहीं करने और अधिक “बहस” राजनीतिक संकेतों का जवाब देने के लिए तैयार है। Openai ने इस साल की शुरुआत में कहा था कि वह भविष्य के मॉडल को संपादकीय रुख नहीं लेने और विवादास्पद विषयों पर कई दृष्टिकोण प्रदान करने के लिए ट्विस्ट करेगा।
कभी -कभी, उन अनुमति प्रयासों को पीछे छोड़ दिया जाता है। TechCrunch ने सोमवार को बताया कि डिफ़ॉल्ट मॉडल पावरिंग OpenAI के CHATGPT ने नाबालिगों को कामुक बातचीत उत्पन्न करने की अनुमति दी। Openai ने “बग” पर व्यवहार को दोषी ठहराया।
Google की तकनीकी रिपोर्ट के अनुसार, मिथुन 2.5 फ्लैश, जो अभी भी पूर्वावलोकन में है, निर्देशों का अनुसरण करता है, जो कि मिथुन 2.0 फ्लैश की तुलना में अधिक ईमानदारी से है, जो कि समस्याग्रस्त लाइनों को पार करने वाले निर्देशों को शामिल करता है। कंपनी का दावा है कि प्रतिगमन को आंशिक रूप से झूठी सकारात्मकता के लिए जिम्मेदार ठहराया जा सकता है, लेकिन यह भी स्वीकार करता है कि मिथुन 2.5 फ्लैश कभी -कभी स्पष्ट रूप से पूछे जाने पर “उल्लंघनशील सामग्री” उत्पन्न करता है।
TechCrunch घटना
बर्कले, सीए
|
5 जून
अभी बुक करें
“स्वाभाविक रूप से, संवेदनशील विषयों और सुरक्षा नीति उल्लंघनों पर (अनुदेश निम्नलिखित) के बीच तनाव है, जो हमारे मूल्यांकन में परिलक्षित होता है,” रिपोर्ट में पढ़ते हैं।
स्पीचमैप से स्कोर, एक बेंचमार्क जो यह जांचता है कि मॉडल कैसे संवेदनशील और विवादास्पद संकेतों पर प्रतिक्रिया करते हैं, यह भी सुझाव देते हैं कि मिथुन 2.5 फ्लैश में मिथुन 2.0 फ्लैश की तुलना में विवादास्पद सवालों के जवाब देने से इनकार करने की संभावना कम है। TechCrunch के AI प्लेटफ़ॉर्म OpenRouter के माध्यम से मॉडल के परीक्षण ने पाया कि यह AI के साथ मानव न्यायाधीशों को बदलने के समर्थन में निबंध लिखेगा, अमेरिका में उचित प्रक्रिया सुरक्षा को कमजोर करेगा, और व्यापक वारंटलेस सरकारी निगरानी कार्यक्रमों को लागू करेगा।
द सिक्योर एआई प्रोजेक्ट के सह-संस्थापक थॉमस वुडसाइड ने कहा कि Google ने अपनी तकनीकी रिपोर्ट में दिए गए सीमित विवरणों को मॉडल परीक्षण में अधिक पारदर्शिता की आवश्यकता को दर्शाया है।
वुडसाइड ने TechCrunch को बताया, “निर्देश-निम्नलिखित और नीति निम्नलिखित के बीच एक व्यापार-बंद है, क्योंकि कुछ उपयोगकर्ता उन सामग्री के लिए पूछ सकते हैं जो नीतियों का उल्लंघन करेंगे।” “इस मामले में, Google का नवीनतम फ्लैश मॉडल नीतियों का अधिक उल्लंघन करते हुए भी निर्देशों का अनुपालन करता है। Google उन विशिष्ट मामलों पर अधिक विस्तार प्रदान नहीं करता है जहां नीतियों का उल्लंघन किया गया था, हालांकि वे कहते हैं कि वे गंभीर नहीं हैं। अधिक जाने बिना, स्वतंत्र विश्लेषकों के लिए यह जानना मुश्किल है कि क्या कोई समस्या है।”
Google पहले अपने मॉडल सुरक्षा रिपोर्टिंग प्रथाओं के लिए आग में आ गया है।
कंपनी को अपने सबसे सक्षम मॉडल, मिथुन 2.5 प्रो के लिए एक तकनीकी रिपोर्ट प्रकाशित करने में सप्ताह लग गए। जब रिपोर्ट अंततः प्रकाशित हुई, तो इसने शुरू में प्रमुख सुरक्षा परीक्षण विवरण छोड़ दिया।
सोमवार को, Google ने अतिरिक्त सुरक्षा जानकारी के साथ एक अधिक विस्तृत रिपोर्ट जारी की।