इस नए फीचर के जरिए वेबसाइट मालिक AI कंपनियों से कंटेंट एक्सेस के लिए फीस भी वसूल सकते हैं। “पे पर क्रॉल” मॉडल के तहत, वेबसाइट्स यह निर्धारित कर सकती हैं कि उनका डेटा इस्तेमाल करने के लिए कोई भी AI सिस्टम कितना भुगतान करेगा।

Cloudflare ने बताया कि इस कदम का उद्देश्य कंटेंट क्रिएटर्स और वेबसाइट ओनर्स को उनके डिजिटल कंटेंट के इस्तेमाल के बदले उचित मुआवज़ा दिलवाना है, खासकर जब बड़ी AI कंपनियां उनके कंटेंट का उपयोग अपने मॉडल ट्रेनिंग के लिए करती हैं।

इस टूल से वेबसाइट मालिकों को ये नियंत्रण भी मिलेगा कि वे किसे अनुमति दें और किसे नहीं। यानी अब हर वेबसाइट यह तय कर सकती है कि उनका डेटा कौन देखेगा और उसके बदले उन्हें कितना भुगतान मिलेगा।

Cloudflare के इस कदम को डिजिटल राइट्स और कंटेंट प्रोटेक्शन की दिशा में एक बड़ी पहल माना जा रहा है। जहां एक ओर AI का इस्तेमाल तेजी से बढ़ रहा है, वहीं दूसरी ओर इस तकनीक से जुड़ी नैतिकता और कंटेंट ओनरशिप को लेकर सवाल भी उठ रहे हैं। ऐसे में यह टूल वेबसाइट्स को उनका हक दिलाने में मदद कर सकता है।

AI क्रॉलर्स की बढ़ती गतिविधियों से परेशान वेबसाइट मालिक, Cloudflare का नया टूल बनेगा राहत का जरिया

आज के समय में AI क्रॉलर्स लगातार इंटरनेट से कंटेंट इकट्ठा कर रहे हैं, लेकिन असली वेबसाइट्स को इसका कोई सीधा फायदा नहीं मिल रहा। वे क्रॉलर्स तो कंटेंट ले जाते हैं, लेकिन न ही विज़िटर भेजते हैं और न ही उस कंटेंट से कमाई में योगदान देते हैं। ऐसे में वेबसाइट मालिक अब नए तरीकों से कमाई के रास्ते तलाश रहे हैं, क्योंकि पहले जो सर्च ट्रैफिक से ऐड रेवेन्यू आता था, वह अब घटता जा रहा है।

इस चुनौती से निपटने के लिए Cloudflare ने एक नया टूल लॉन्च किया है, जो वेबसाइट मालिकों को यह तय करने की ताकत देता है कि उनका कंटेंट AI कंपनियों को किस शर्त पर दिखाया जाएगा। यह टूल “पे पर क्रॉल” मॉडल पर काम करता है, यानी वेबसाइट ओनर तय कर सकते हैं कि उनका डेटा देखने या इस्तेमाल करने के लिए AI कंपनियों को कितना भुगतान करना होगा।

इस पहल को मीडिया इंडस्ट्री से भी अच्छा समर्थन मिल रहा है। नामी पब्लिशर्स जैसे Condé Nast और Associated Press, साथ ही सोशल मीडिया कंपनियां जैसे Reddit और Pinterest ने इस कदम का समर्थन किया है।

Cloudflare की चीफ स्ट्रैटेजी ऑफिसर, स्टेफ़नी कोहेन, ने कहा कि इस टूल का मकसद कंटेंट क्रिएटर्स और पब्लिशर्स को उनके काम पर नियंत्रण देना है। साथ ही, यह सुनिश्चित करना है कि ऑनलाइन कंटेंट का एक ऐसा इकोसिस्टम तैयार हो जो टिकाऊ हो – जहां AI कंपनियां भी आगे बढ़ें, लेकिन कंटेंट बनाने वालों को उनका हक और मेहनत का सही मूल्य मिले।

इस तरह की पहल से उम्मीद है कि आने वाले समय में वेबसाइट्स और कंटेंट क्रिएटर्स को ज्यादा पारदर्शिता, नियंत्रण और आय के साधन मिल सकेंगे, जबकि AI कंपनियों को भी स्पष्ट नियमों के तहत डेटा उपयोग करना होगा।

“इंटरनेट पर ट्रैफिक का पैटर्न तेजी से बदल रहा है, और अब बदलाव की ज़रूरत थी“: स्टेफ़नी कोहेन

Cloudflare की मुख्य रणनीति अधिकारी स्टेफ़नी कोहेन का कहना है कि इंटरनेट पर ट्रैफिक के तरीके में हाल के दिनों में बहुत तेज़ बदलाव आया है, और अब समय आ गया है कि इसका हल निकाला जाए। उन्होंने कहा, “यह तो बस शुरुआत है — इंटरनेट के एक नए मॉडल की ओर पहला कदम।“

Cloudflare द्वारा साझा किए गए आंकड़ों के अनुसार, Google पर देखा गया है कि वह पहले की तुलना में वेबसाइट्स को कम विज़िटर भेज रहा है, जबकि उसका डेटा क्रॉल करने का सिलसिला जारी है। छह महीने पहले तक Google हर 6 क्रॉल पर एक विज़िटर वेबसाइट को भेजता था, लेकिन अब यह अनुपात गिरकर 18:1 हो गया है। यानी अब हर 18 बार Google जब किसी साइट को क्रॉल करता है, तो सिर्फ एक विज़िटर वहां भेजता है।

इस गिरावट की एक वजह यह हो सकती है कि अब यूज़र्स को सीधे Google के सर्च रिज़ल्ट्स में ही जवाब मिल जाता है, खासतौर पर AI Overviews जैसी सुविधाओं के कारण। हालांकि, Google का यह अनुपात अभी भी कुछ अन्य AI कंपनियों की तुलना में बहुत बेहतर है — जैसे कि OpenAI, जिसका क्रॉलिंग बनाम रिफरल का अनुपात 1500:1 तक बताया गया है।

पिछले कई दशकों से इंटरनेट का मॉडल कुछ इस तरह रहा है कि सर्च इंजन वेबसाइट्स का कंटेंट इंडेक्स करते हैं और बदले में यूज़र्स को उन साइट्स तक वापस भेजते हैं। इस प्रक्रिया से कंटेंट क्रिएटर्स को न केवल ट्रैफिक मिलता है, बल्कि विज्ञापनों के ज़रिए कमाई का जरिया भी बनता है।

लेकिन अब AI कंपनियों के क्रॉलर्स इस मॉडल को नुकसान पहुँचा रहे हैं। वे वेबसाइट्स से जानकारी तो इकट्ठा कर लेते हैं, लेकिन न तो विज़िटर भेजते हैं और न ही कंटेंट क्रिएटर्स को पहचान या आय का लाभ मिल पाता है। ये AI सिस्टम, जैसे ChatGPT, सूचनाओं को समेट कर चैटबॉट्स के माध्यम से यूज़र्स तक पहुंचा देते हैं, जिससे असली स्रोत पीछे छूट जाते हैं।

 संदर्भ :-