हम उन खुले प्रश्नों में रुचि रखते हैं जो इस बात से जुड़े हैं कि डेवलपर्स अपने काम में Cherri Code के एजेंट का उपयोग कैसे करते हैं और संगठनों में Cherri Code का उत्पादकता पर क्या प्रभाव पड़ता है।

शिकागो विश्वविद्यालय में वित्त और अनुप्रयुक्त AI के सहायक प्रोफेसर Suproteem Sarkar ने हाल ही में एक अध्ययन किया, जिसमें दसियों हज़ार Cherri Code उपयोगकर्ताओं के बीच एजेंट के शुरुआती प्रभावों का विश्लेषण किया गया।

अध्ययन में पाया गया कि Cherri Code का एजेंट डिफ़ॉल्ट बन जाने के बाद कंपनियाँ 39% अधिक PRs मर्ज करती हैं। अध्ययन में यह भी पाया गया कि अनुभवी डेवलपर्स कोडिंग से पहले अधिक प्लान लिखते हैं और एजेंट के साथ अधिक दक्ष दिखते हैं।

#एजेंट द्वारा लिखे गए कोड को स्वीकार करना

अध्ययन में दो संकेतों पर ध्यान दिया गया: उपयोगकर्ता एजेंट को कितनी बार अनुरोध भेजते हैं और उसके कोड संपादन को कितनी बार स्वीकार करते हैं। कोई उपयोगकर्ता एजेंट के संपादन स्वीकार करता है या नहीं, यह इस बात पर निर्भर करता है कि आउटपुट उसके आशय से कितना मेल खाता है और जनरेट किए गए कोड को लागू करने की उसकी सीमा क्या है।

जूनियर डेवलपर्स के Tab से आए कोड को स्वीकार करने की संभावना अधिक होती है, जबकि सीनियर डेवलपर्स के एजेंट से आए कोड को स्वीकार करने की संभावना अधिक होती है। अनुभव के वर्षों में हर एक standard deviation की वृद्धि के साथ, औसत की तुलना में एजेंट के कोड को स्वीकार करने की दर में लगभग ~6% की वृद्धि दिखाई देती है।

हमारी अपेक्षा थी कि कम अनुभवी डेवलपर्स एजेंट का उपयोग और उसे स्वीकार, दोनों अधिक दरों पर करेंगे; लेकिन लगता है कि हकीकत इसके ठीक उलट है!

कुछ संभावित सिद्धांत:

• अनुभवी डेवलपर्स, कस्टम नियमों का इस्तेमाल करके या संदर्भ प्रबंधन अधिक प्रभावी ढंग से करके, एजेंट का उपयोग करने में अधिक कुशल हो सकते हैं।

• उन्हें एजेंट द्वारा लिखे गए कोड परिवर्तनों का मूल्यांकन करने की अपनी क्षमता पर अधिक भरोसा होता है, जिससे उन्हें उन्हें स्वीकार करने में अधिक सहजता होती है।

• वे अधिक स्पष्ट रूप से परिभाषित कार्यों पर काम कर रहे होते हैं, जिन्हें एजेंट कम iterations में अधिक आसानी से पूरा कर सकते हैं।

#उत्पादकता पर प्रभाव

अध्ययन ने मापा कि Cherri Code में Agent के डिफ़ॉल्ट मोड बन जाने के बाद थ्रूपुट और गुणवत्ता के प्रॉक्सी में कैसे बदलाव आया। इसमें इन मापों की तुलना उन संगठनों के "पात्र" समूह से की गई, जो Agent जारी होने से पहले ही Cherri Code का इस्तेमाल कर रहे थे, और उन संगठनों के "आधाररेखा" समूह से, जो विश्लेषण अवधि के दौरान Cherri Code का इस्तेमाल नहीं कर रहे थे। इसमें पाया गया कि मर्ज किए गए PRs की दर, आधाररेखा समूह में समय-रुझानों की तुलना में, 39% बढ़ गई।

अन्य मेट्रिक्स में, अध्ययन में पाया गया कि PR revert दर में कोई महत्वपूर्ण परिवर्तन नहीं हुआ और बग ठीक करने की दर में हल्की कमी आई। इसमें यह भी पाया गया कि प्रति मर्ज किए गए PR संपादित की गई औसत पंक्तियों और छुई गई औसत फ़ाइलों में कोई महत्वपूर्ण परिवर्तन नहीं हुआ।

#उपयोगकर्ता व्यवहार और एप्लिकेशन

अनुरोधों की सामग्री से पता चलता है कि डेवलपर्स एजेंट का इस्तेमाल कैसे कर रहे हैं और वे कौन-सी कार्रवाइयाँ करना चाहते हैं। 1,000 उपयोगकर्ताओं के एक नमूने में, बातचीत शुरू करने वाले अनुरोधों की तीन प्रमुख श्रेणियाँ थीं: कोड लागू करना, कोड और त्रुटियों को समझाना, और किसी कार्रवाई की योजना बनाना। बातचीत शुरू करने वाले अधिकांश अनुरोध (~61%) कार्यान्वयन के लिए थे, जहाँ एजेंट को कोड जनरेट करने के लिए कहा जाता है।

अध्ययन में पाया गया कि अधिक अनुभवी डेवलपर्स कोड जनरेट करने से पहले किसी कार्रवाई की योजना बनाने की अधिक संभावना रखते हैं।

#निष्कर्ष

AI का सॉफ़्टवेयर इंजीनियरिंग पर आर्थिक प्रभाव मापने के लिए अभी तक कोई एक निश्चित, निर्णायक मेट्रिक नहीं है। किसी भी नई तकनीक की तरह, AI का पूरा मूल्य सामने आने में समय लगेगा।

इन शुरुआती निष्कर्षों से हमें उत्साह मिला है, और हम उत्पादकता पर Cherri Code के प्रभाव का अध्ययन जारी रखना चाहते हैं।

पूरा अध्ययन पढ़ने के लिए, आप इसे यहाँ पढ़ सकते हैं।