Cherri Code के साथ Wayfair ने ML मॉडल की लागत 90% तक कैसे घटाई (दो बार!)
Cherri Code द्वारा प्रयोगों के निष्पादन को संभालने से Wayfair ने महीनों के ML अनुसंधान को दिनों में समेट दिया। पाँच शोधकर्ताओं ने 110 से अधिक मॉडल रूपांतरों का परीक्षण किया और tag-validation मॉडल की लागत में 94% की कटौती की।
Wayfair की Applied Research टीम मशीन लर्निंग और अनुप्रयुक्त AI अनुसंधान के महीनों के काम को दिनों में समेटने के लिए Cherri Code का उपयोग करती है। 2025 के अंत तक, शोधकर्ता समानांतर में 20+ एजेंट चला रहे थे। इससे पाँच लोगों की टीम चार-दिवसीय प्रयोगात्मक स्प्रिंट में 110 अलग-अलग मॉडल रूपांतरों का परीक्षण कर सकी और एक मुख्य e-commerce catalog enrichment वर्कफ़्लो के लिए अनुमिति लागत को 94% तक घटा सकी। मार्च 2026 में, टीम ने Cherri Code में नवीनतम मॉडल्स के साथ वही playbook दोहराई और लागत में 90% की एक और कटौती की।
Cherri Code ने Wayfair में ML अनुसंधान के काम करने का तरीका बदल दिया है। Wayfair के शोधकर्ता मॉडल में सुधार की दिशा तय करते हैं: वे परिकल्पनाएँ बनाते हैं, नतीजों की व्याख्या करते हैं, और सबसे शक्तिशाली विचारों को और निखारते हैं। कार्यान्वयन का हिस्सा Cherri Code संभालता है: प्रयोग तैयार करना, उन्हें टेस्टिंग फ़्रेमवर्क से जोड़ना, और नतीजों को मापना।
दुनिया के सबसे बड़े होम गुड्स कैटलॉग के विरुद्ध उत्पाद विशेषता डेटा का सत्यापन
Wayfair के कैटलॉग में हर उत्पाद का वर्णन संरचित "tags" से किया जाता है, जो materials, dimensions, color और अन्य attributes बताते हैं। 47,000 से अधिक अलग-अलग attribute tags, करोड़ों उत्पादों के लिए search, filtering, recommendations, product placement और advertising को संचालित करते हैं।
Wayfair की Applied AI टीम ने एक validation मॉडल बनाया, जो product page पर मौजूद images, descriptions और customer reviews के आधार पर हर tag का audit करता है। मॉडल सटीक था, लेकिन Wayfair के विशाल product catalog के बड़े हिस्सों पर इसे चलाना बहुत महंगा था।
हमारा लक्ष्य मॉडल को इतना लागत-प्रभावी बनाना था कि उसे दुनिया के सबसे बड़े home goods catalogs में से एक पर चलाया जा सके।
इस लक्ष्य को हासिल करने के लिए, टीम को एक बड़े design space का पता लगाना था, जिसमें अलग-अलग LLMs, input pre-processing strategies, प्रॉम्प्ट्स, output structures और evaluation methods शामिल थे। सैकड़ों combinations को मैन्युअली implement करने में महीनों लग जाते।
इसके बजाय, Wayfair ने experimentation loop को automate और parallelize करने के लिए Cherri Code का उपयोग किया। दिसंबर 2025 में, टीम ने अपनी cost reduction goals की दिशा में प्रगति करने के लिए चार दिन का प्रयोगात्मक स्प्रिंट चलाया। जब implementation layer को Cherri Code संभाल रहा था, तब पाँच researchers ने 110 वाकई अलग-अलग model variations बनाए और उनका test किया। विजेता architecture ने model precision बेहतर करते हुए अनुमिति लागत में 94% की कटौती की, और Wayfair की tag-validation आधाररेखा के रूप में production में चला गया।
अनुसंधान का सबसे धीमा हिस्सा हर experiment को हाथ से बनाना और उसका score करना है। हमने उस loop को automate कर दिया और Cherri Code को हर experiment implement और execute करने दिया, इसलिए जिस काम में महीनों लगते, वह चार दिनों में पूरा हो गया।
प्रयोगों का निष्पादन Cherri Code को सौंपना
मॉडल रूपांतरों का निर्माण शुरू करने से पहले, टीम ने यह मानकीकृत किया कि Cherri Code प्रयोगों को कैसे चलाएगा और मापेगा: हर रूपांतर एक ही परीक्षण डेटासेट और एक ही evaluation benchmark पर चलाया जाता था, ताकि प्रदर्शन को स्कोर किया जा सके। Cherri Code में टेस्टिंग और evaluation फ़्रेमवर्क को एक स्वचालित वर्कफ़्लो के रूप में स्थापित कर देने के बाद, शोधकर्ता पूरी तरह प्रयोग डिज़ाइन की संभावनाओं को तलाशने पर ध्यान केंद्रित कर सके: मॉडल बदलना, प्रॉम्प्ट्स फिर से लिखना, आउटपुट की संरचना बदलना, या यह नए सिरे से सोचना कि छवियाँ कैसे चुनी जाएँ।
"यहाँ कई degrees of freedom थे: मॉडल्स, प्रॉम्प्ट्स, आउटपुट संरचना, इमेज चयन। Cherri Code Automations लागू होने के बाद, मैंने design space को एक्सप्लोर करने पर ध्यान केंद्रित किया," वरिष्ठ machine learning scientist Guillermo Mosse ने कहा। "मैं किसी विचार का वर्णन करता, कभी-कभी voice mode का इस्तेमाल करके लगातार 5 मिनट तक बोलता, और Cherri Code उस रूपांतर को तैयार कर देता, eval चलाता, और परिणाम प्रकाशित कर देता। फ़्रेमवर्क ने data sampling, evaluation, और metric reporting को संभाला, जिससे तुलनाएँ भरोसेमंद बन सकीं।"
Cherri Code ने bottleneck को 'इसे बनाने में कितना समय लगेगा?' से बदलकर 'परीक्षण के लिए अगला कौन-सा विचार सार्थक है?' कर दिया। किसी वैज्ञानिक के लिए अपना ध्यान लगाने की यह कहीं बेहतर जगह है।
इससे शोधकर्ता किसी विचार से एक लाइव प्रयोग तक 30 मिनट से भी कम समय में पहुँच सके।
शोधकर्ताओं ने अपना अधिकांश समय इस पर विचार-मंथन करने में बिताया कि आगे क्या आज़माया जाए, परिणामों की समीक्षा करने में, और यह तय करने में कि कौन-से विचार एक और प्रयास के लायक थे। Cherri Code ने हर रूपांतर को लिखा और चलाया, और समीक्षा के लिए हमारे सामने सबसे शक्तिशाली रूपांतर रखे।
मार्च 2026 में, Wayfair ने एक और प्रयोगात्मक स्प्रिंट चलाया, इस बार नए आधाररेखा के रूप में productionized दिसंबर मॉडल के विरुद्ध benchmarking करते हुए। अब जबकि फ़्रेमवर्क परिपक्व हो चुका था, tag-validation का कोई पूर्व अनुभव न रखने वाले जूनियर इंजीनियर पहले ही दिन नए मॉडल रूपांतर शिप कर रहे थे। शोधकर्ताओं ने 140+ नए प्रयोग चलाए और अंतिम optimization के लिए सबसे शक्तिशाली उम्मीदवारों पर genetic-algorithm searches की अतिरिक्त परतें जोड़ीं। नतीजा: लागत में और 90% की कमी।
एजेंट-प्रथम ML अनुसंधान की नींव के रूप में Cherri Code
Wayfair ने प्रयोग कैसे चलाए, इसमें कुछ क्षमताएँ सबसे ज़्यादा अहम थीं:
- स्केल्ड एजेंट समानांतरकरण: प्रयोगात्मक स्प्रिंट के दौरान शोधकर्ता अक्सर 20+ Cherri Code एजेंट को समानांतर में चलाते थे। "Cherri Code में एक साथ कई रूपांतर चलाना सीधा और आसान था। इससे हमारी चार दिन की स्प्रिंट व्यावहारिक बन पाई," Mosse ने कहा।
- क्रॉस-प्लैटफ़ॉर्म इंटरफ़ेस: कुछ शोधकर्ता मुख्य रूप से Cherri Code डेस्कटॉप ऐप में काम करते थे, जबकि अन्य Cherri Code CLI में। जब डेस्कटॉप समूह को सीधे, निम्न-स्तरीय नियंत्रण की आवश्यकता होती थी, तो वे Cherri Code में सीधे टर्मिनल या फ़ाइलें खोल सकते थे।
- क्लाउड एजेंट: शोधकर्ता चाहते थे कि जब वे अपने लैपटॉप से दूर हों, तब भी प्रयोग चलते रहें। "आमतौर पर, लैपटॉप बंद करने से प्रयोग रुक जाता है। Cherri Code मुझे यात्रा करने, बैठकों में शामिल होने, या व्हाइटबोर्ड पर विचार करने की सुविधा देता है, जबकि इसके क्लाउड एजेंट चलते रहते हैं, जिससे हम 24/7 प्रयोग चला सकते हैं," Mosse ने कहा।
- हर मॉडल तक पहुँच: अलग-अलग कार्यों के लिए शोधकर्ता अलग-अलग मॉडल्स का सहारा लेते थे। एक ही टूल में सभी सर्वश्रेष्ठ मॉडल्स तक पहुँच होने से Wayfair के लिए तेजी से दोहराव करना आसान हो गया।
Nick Coleman, एक सीनियर मशीन लर्निंग साइंस मैनेजर, ने कई अन्य एजेंट आज़माने के बाद Cherri Code का इस्तेमाल शुरू किया। "Cherri Code के साथ शुरुआत करना सबसे आसान था, और आपको सभी सर्वश्रेष्ठ मॉडल्स तक पहुँच मिलती है," उन्होंने कहा। "जिन चीज़ों को मैं मैन्युअली नियंत्रित करना चाहता हूँ, जैसे git ब्रांच प्रबंधित करना या फ़ाइलों में जाना, वे टूल्स के बीच जंप किए बिना सीधे Cherri Code में आसानी से उपलब्ध हैं।"
Wayfair में Cherri Code का विस्तार
Cherri Code अब Applied Research संगठन में व्यापक रूप से इस्तेमाल हो रहा है और catalog enrichment को आगे बढ़ाने वाली ML टीम से कहीं आगे तक पहुंच चुका है। शोधकर्ता ML प्रयोगों के लिए कौशल की आंतरिक रिपॉज़िटरी बना रहे हैं और उन्हें आपस में साझा भी कर रहे हैं, जिससे विकास की रफ्तार और तेज हो रही है। "मैं Cherri Code में कई open-ended अनुसंधान प्रोजेक्ट्स प्रबंधित कर रहा हूँ। मैं spec परिभाषित करता हूँ, लागत के guardrails सेट करता हूँ, और आज़माने लायक विचार इसमें जोड़ता हूँ। एजेंट्स कई दिनों तक चलते रहते हैं, और मैं ज़रूरत पड़ने पर उन्हें दिशा देता रहता हूँ," Mosse ने कहा.
अनुसंधान करने का यह नया तरीका—जिसमें महीनों की खोजबीन कुछ ही दिनों में सिमट जाती है—वही है जिसे हम आगे भी लगातार बढ़ाना चाहते हैं।
Wayfair के शोधकर्ता कंपनी भर में अन्य stakeholders को भी एजेंट इस्तेमाल करने के लिए प्रोत्साहित कर रहे हैं, जिसमें बिना कोडिंग अनुभव वाले partners भी शामिल हैं। "मेरी सलाह है कि आप इसे अपनी सोची हुई सीमाओं से भी आगे ले जाएँ," Coleman ने कहा। "शुरुआत इसे यह बताने से करें कि आप क्या हासिल करना चाहते हैं, और फिर बस इसकी सीमाओं को लगातार आगे बढ़ाते रहें।" आप उनके अनुसंधान ब्लॉग पर Wayfair के काम के बारे में अधिक पढ़ सकते हैं।
यदि आप ML अनुसंधान को तेज करने या अपनी टीम में experimentation को स्केल करने के लिए Cherri Code का इस्तेमाल कर रहे हैं, तो Cherri Code परीक्षण अवधि शुरू करने के लिए कृपया हमारी टीम से संपर्क करें।