
कंट्रोल ग्रुप के ज़रिए इंक्रीमेंटैलिटी मापना: एक गाइड
रिडेम्पशन बताते हैं कि क्या हुआ। कंट्रोल ग्रुप बताता है कि ऑफ़र की वजह से क्या हुआ। कार्ड-लिंक्ड ऑफ़र के लिए होल्डआउट टेस्ट कैसे डिज़ाइन करें, चलाएँ और उनके नतीजे कैसे पढ़ें।
हर ऑफ़र डैशबोर्ड रिडेम्पशन दिखा सकता है। लेकिन बहुत कम डैशबोर्ड उस सवाल का जवाब दे पाते हैं जो एक फ़ाइनेंस डायरेक्टर असल में पूछता है: इसमें से कितना तो वैसे भी हो ही जाता?
इसका भरोसेमंद जवाब देने का तरीका है कंट्रोल ग्रुप, जिसे कभी-कभी होल्डआउट भी कहा जाता है। यह गाइड बताती है कि कार्ड-लिंक्ड ऑफ़र के लिए कंट्रोल ग्रुप कैसे काम करते हैं, उन्हें कैसे डिज़ाइन करें, और उन गलतियों से कैसे बचें जो नतीजों को भ्रामक बना देती हैं।
एक पैराग्राफ़ में पूरी बात
किसी कैंपेन के लिए पात्र ग्राहकों को लें। उनमें से एक हिस्से को रैंडम तरीके से अलग रख दें, जिन्हें कैंपेन नहीं मिलेगा। बाकी सभी के लिए कैंपेन चलाएँ। अंत में दोनों ग्रुप की तुलना करें। चूँकि बँटवारा रैंडम था, इसलिए शुरुआत में दोनों ग्रुप एक जैसे थे, इसलिए बाद में व्यवहार में दिखने वाले किसी भी अंतर का श्रेय कैंपेन को दिया जा सकता है। यही अंतर इंक्रीमेंटल प्रभाव है।
पहले-और-बाद की तुलना क्यों भ्रामक होती है
कंट्रोल ग्रुप के बिना, टीमें अक्सर कैंपेन के दौरान के खर्च की तुलना कैंपेन से पहले के खर्च से करती हैं। दिक्कत यह है कि उसी समय कई और चीज़ें भी बदलती हैं: सैलरी का समय, मौसम, छुट्टियाँ, स्कूल सत्र, प्रतिस्पर्धियों के कैंपेन और यहाँ तक कि मौसम का मिज़ाज भी। रमज़ान के दौरान या सैलरी आने के बाद खर्च में बढ़ोतरी का आपके ऑफ़र से शायद कोई लेना-देना न हो।
कंट्रोल ग्रुप भी वही मौसम, वही सैलरी साइकिल और वही प्रतिस्पर्धी माहौल अनुभव करता है। यह इन सभी प्रभावों को समाहित कर लेता है, जिससे सिर्फ़ ऑफ़र का असर बचता है।
ग्रुप डिज़ाइन करना
सही तरीके से रैंडमाइज़ करें
ग्रुप में ग्राहकों को रैंडम तरीके से रखा जाना चाहिए, चुनकर नहीं। "कम मूल्यवान" ग्राहकों को या उन ग्राहकों को अलग न रखें जो "वैसे भी रिस्पॉन्ड नहीं करते"। इससे तुलना बिगड़ जाती है। पात्र ऑडियंस के भीतर रैंडम बँटवारा करें।
होल्डआउट का साइज़ चुनें
होल्डआउट इतना बड़ा होना चाहिए कि अंतर सार्थक हों, लेकिन इतना बड़ा नहीं कि कैंपेन के फ़ायदे का बहुत बड़ा हिस्सा छोड़ना पड़े। आम तौर पर बड़े पोर्टफ़ोलियो के लिए ऑडियंस का छोटा हिस्सा और छोटे कैंपेन के लिए बड़ा हिस्सा चुना जाता है। मोटे तौर पर नियम यह है कि छोटी ऑडियंस को अनुपात में बड़े होल्डआउट की ज़रूरत होती है।
खर्च में कितना उतार-चढ़ाव होता है और आप कितना बड़ा प्रभाव पकड़ना चाहते हैं, इसके आधार पर आपकी एनालिटिक्स टीम ज़रूरी साइज़ का अनुमान लगा सकती है।
ग्रुप को स्थिर रखें
होल्डआउट में शामिल ग्राहक को पूरे कैंपेन के दौरान उसी में रहना चाहिए, और उसे वही ऑफ़र किसी दूसरे चैनल से नहीं मिलना चाहिए। अगर होल्डआउट ग्राहक फिर भी ऑफ़र देख लेते हैं, तो मापा गया प्रभाव घट जाता है।
स्थायी होल्डआउट पर विचार करें
कुछ बैंक एक छोटा, लंबे समय तक चलने वाला होल्डआउट रखते हैं जिसे एक अवधि तक कोई भी ऑफ़र नहीं मिलता। इससे सिर्फ़ अलग-अलग कैंपेन का नहीं, बल्कि पूरे प्रोग्राम का कुल प्रभाव मापा जाता है। इसके लिए सावधानीपूर्ण गवर्नेंस ज़रूरी है, क्योंकि ये ग्राहक फ़ायदों से वंचित रहते हैं, इसलिए इसे छोटा रखें और इसमें ग्राहकों को बदलते रहें।
किन चीज़ों की तुलना करें
कैंपेन शुरू होने से पहले ही अपने मेट्रिक्स तय कर लें। आम विकल्पों में शामिल हैं:
- ऑफ़र की कैटेगरी में प्रति ग्राहक आपके कार्ड पर खर्च;
- उस कैटेगरी में प्रति ग्राहक ट्रांज़ैक्शन;
- रीएक्टिवेशन कैंपेन के लिए एक्टिव कार्ड दर;
- मर्चेंट एक्विज़िशन लक्ष्यों के लिए नए ग्राहकों की मर्चेंट विज़िट;
- यह जाँचने के लिए कि व्यवहार बना रहा या नहीं, कैंपेन के बाद का खर्च।
पूरे ग्रुप में प्रति ग्राहक औसत की तुलना करें, सिर्फ़ रिडीम करने वालों के बीच नहीं। रिडीम करने वालों की तुलना रिडीम न करने वालों से करना एक आम गलती है: रिडीम करने वाले ग्राहक अक्सर शुरू से ही ज़्यादा जुड़े हुए होते हैं।
नतीजे पढ़ना
कैंपेन खत्म होने पर, यह गणना करें:
- एक्सपोज़्ड और होल्डआउट ग्रुप के बीच प्रति ग्राहक मेट्रिक में अंतर।
- कुल इंक्रीमेंटल प्रभाव: उस अंतर को एक्सपोज़्ड ग्राहकों की संख्या से गुणा करें।
- कॉन्फ़िडेंस: स्वाभाविक उतार-चढ़ाव को देखते हुए क्या अंतर इतना बड़ा है कि उसके संयोग होने की संभावना कम हो। आपकी एनालिटिक्स टीम कॉन्फ़िडेंस इंटरवल की गणना कर सकती है।
फिर रिटर्न का अनुमान लगाने के लिए इसकी तुलना कैंपेन की लागत से करें, जिसमें बैंक द्वारा फ़ंड किए गए रिवॉर्ड और संचालन लागत शामिल हों।
एक काल्पनिक उदाहरण
मान लीजिए कोई बैंक ग्रॉसरी ऑफ़र के साथ 50,000 पात्र कार्डधारकों को टारगेट करता है और उनमें से 5,000 को रैंडम तरीके से अलग रखता है। हमारे काल्पनिक उदाहरण में, चार हफ़्तों में एक्सपोज़्ड ग्रुप बैंक के कार्ड से ग्रॉसरी पर होल्डआउट की तुलना में औसतन थोड़ा ज़्यादा खर्च करता है। प्रति ग्राहक अंतर को 45,000 एक्सपोज़्ड ग्राहकों से गुणा करने पर कैंपेन का इंक्रीमेंटल खर्च मिलता है। अगर अंतर सामान्य उतार-चढ़ाव के दायरे में है, तो ईमानदार निष्कर्ष यह है कि कैंपेन का कोई स्पष्ट प्रभाव नहीं पड़ा, और ऑफ़र का डिज़ाइन बदलना चाहिए।
आम गलतियाँ
- दूषित होल्डआउट: कंट्रोल ग्रुप के ग्राहक ऑफ़र को मर्चेंट के अपने चैनलों पर या किसी दोस्त के ज़रिए देख लेते हैं।
- कैंपेन के बीच में नियम बदलना: लॉन्च के बाद ऑडियंस में बदलाव करने से रैंडमाइज़ेशन टूट जाता है।
- बहुत कम समय तक मापना: कुछ प्रभाव, जैसे आदत बनना, कैंपेन खत्म होने के बाद ही दिखते हैं।
- मनपसंद मेट्रिक्स चुनना: बाद में जो मेट्रिक सबसे अच्छा दिखे, उसे चुन लेना। पहले से तय करें।
- छोटे प्रभावों को नज़रअंदाज़ करना: बड़े ग्राहक आधार में प्रति ग्राहक छोटी बढ़ोतरी भी मूल्यवान हो सकती है।
इसे रूटीन बनाना
कंट्रोल ग्रुप तब सबसे अच्छा काम करते हैं जब वे विशेष प्रोजेक्ट नहीं, बल्कि मानक प्रक्रिया हों। आदर्श रूप से, आपके ऑफ़र प्लेटफ़ॉर्म को:
- हर कैंपेन के लिए अपने-आप होल्डआउट बनाना चाहिए;
- होल्डआउट ग्राहकों को किसी भी चैनल पर ऑफ़र देखने से रोकना चाहिए;
- एक्सपोज़्ड और होल्डआउट के नतीजे साथ-साथ दिखाने चाहिए;
- कॉन्फ़िडेंस साफ़ तौर पर दिखाना चाहिए, ताकि टीमें नॉइज़ का ज़रूरत से ज़्यादा मतलब न निकालें।
आप कोई भी प्लेटफ़ॉर्म इस्तेमाल करें, पूछें कि क्या वह ये चार काम कर सकता है। जब तक ऐसा न हो, ग्राहक IDs का रैंडम बँटवारा और एक साधारण स्प्रेडशीट भी आपको काफ़ी हद तक मंज़िल तक पहुँचा देती है।
मुख्य निष्कर्ष
रिडेम्पशन गतिविधि मापते हैं। कंट्रोल ग्रुप प्रभाव मापते हैं। रैंडम और स्थिर होल्डआउट, पहले से तय मेट्रिक्स और नतीजों को ईमानदारी से पढ़ने के साथ, बैंक ठीक-ठीक दिखा सकते हैं कि कौन-से ऑफ़र मूल्य पैदा करते हैं, और भरोसे के साथ निवेश कर सकते हैं।



