ChatGPT पर मजाक में पूछा "अपने दोस्त का कत्ल करने का तरीका", गिरफ्तार हुआ स्टूडेंट

अमेरिका के फ्लोरिडा राज्य में एक मिडिल स्कूल के 13 साल के स्टूडेंट को पुलिस ने गिरफ्तार कर लिया, जब उसने स्कूल कंप्यूटर पर ChatGPT में लिखा, "How to kill my friend in the middle of class." यानी "क्लास के बीच अपने फ्रेंड को कैसे मारूं"। यह मजाकिया कोशिश उसे महंगी पड़ गई, क्योंकि स्कूल की डिजिटल मॉनिटरिंग सिस्टम ने इसे तुरंत खतरे का सिग्नल मान लिया और पुलिस को अलर्ट भेज दिया।

यह मामला Southwestern Middle School (Deland, Florida) का है, जहां स्कूल अपने स्टूडेंट्स की ऑनलाइन एक्टिविटीज को मॉनिटर करने के लिए Gaggle नाम के सॉफ्टवेयर का इस्तेमाल करता है। यह सिस्टम अपने AI एल्गोरिदम और ह्यूमन मॉडरेशन की मदद से ऐसे कंटेंट को फ्लैग करता है जो हिंसा, खुद को नुकसान या किसी खतरे की तरफ इशारा करता हो।

मीडिया रिपोर्ट्स के मुताबिक, जैसे ही बच्चे ने ChatGPT में वह सवाल टाइप किया, Gaggle ने उसे "potential threat" के तौर पर डिटेक्ट किया और कुछ ही सेकंड में स्कूल प्रशासन व पुलिस को नोटिफिकेशन भेज दिया। इसके बाद Volusia County Sheriff's ऑफिस की टीम स्कूल पहुंची और छात्र से पूछताछ की।

स्टूडेंट ने सफाई देते हुए कहा कि वो सिर्फ “अपने दोस्त को ट्रोल” कर रहा था क्योंकि वह उसे परेशान कर रहा था। हालांकि, पुलिस ने इसे गंभीरता से लिया और एहतियातन उसे गिरफ्तार कर लिया। फिलहाल उस पर कौन-से चार्ज लगाए गए हैं, यह जानकारी सामने नहीं आई है।

Volusia Sheriff's Office ने इस घटना पर रिएक्ट करते हुए कहा, "फिर से एक ‘मजाक' जिसने कैंपस में इमरजेंसी पैदा कर दी। पेरेंट्स से रिक्वेस्ट है कि अपने बच्चों से बात करें ताकि वे ऐसी गलती ना करें।"

Gaggle एक स्कूल सेफ्टी मॉनिटरिंग सॉफ्टवेयर है, जिसे 1999 में Jeff Patterson ने लॉन्च किया था। शुरुआत में इसे सिर्फ ऑनलाइन सेफ्टी टूल के तौर पर बनाया गया था, लेकिन अब यह AI और ह्यूमन रिव्यू के साथ मिलकर स्कूल सिस्टम्स में डीप मॉनिटरिंग करता है। यह सॉफ्टवेयर स्टूडेंट्स के ईमेल, क्लाउड डॉक्युमेंट्स, चैट्स और यहां तक कि ChatGPT या Google Gemini जैसी AI चैट्स को भी ट्रैक कर सकता है। Gaggle का कहना है कि इसका मकसद बच्चों की सुरक्षा सुनिश्चित करना है, चाहे वो खुद से जुड़ा खतरा हो या किसी और के लिए।