ऑप्टिमाइझली इंटेलिजन्स क्लाउड: A/B टेस्ट स्मार्ट आणि जलद करण्यासाठी स्टॅट्स इंजिन कसे वापरावे

ऑप्टिमाइझली स्टॅट्स इंजिन आणि ए/बी टेस्टिंग स्ट्रॅटेजीज

आपण आपल्या व्यवसाय चाचणी आणि शिकण्यात मदत करण्यासाठी एक प्रयोग कार्यक्रम चालवण्याचा विचार करत असल्यास, आपण वापरत आहात अशी शक्यता आहे ऑप्टिमाइझली इंटेलिजन्स क्लाउड - किंवा आपण किमान ते पाहिले आहे. ऑप्टिमाइझली हे गेममधील सर्वात शक्तिशाली साधनांपैकी एक आहे, परंतु अशा कोणत्याही साधनाप्रमाणे, आपण ते कसे कार्य करते हे समजत नसल्यास आपण त्याचा चुकीचा वापर करू शकता. 

ऑप्टिमाइझली इतके शक्तिशाली काय बनवते? त्याच्या वैशिष्ट्य संचाच्या मुळाशी तृतीय-पक्षाच्या साधनातील सर्वात माहितीपूर्ण आणि अंतर्ज्ञानी आकडेवारी इंजिन आहे, जे आपल्याला महत्त्वपूर्ण चाचण्या थेट मिळवण्यावर अधिक लक्ष केंद्रित करण्यास अनुमती देते-आपण आपल्या परिणामांचा चुकीचा अर्थ लावत आहात याची काळजी न करता. 

औषधांच्या पारंपारिक अंध अभ्यासाप्रमाणे, A / B चाचणी यादृच्छिकपणे भिन्न दर्शवेल उपचार आपल्या साइटच्या वेगवेगळ्या वापरकर्त्यांशी नंतर प्रत्येक उपचारांच्या प्रभावीपणाची तुलना करा. 

आकडेवारी नंतर आम्हाला दीर्घकालीन उपचार किती प्रभावी असू शकतात याचा अंदाज लावण्यास मदत करते. 

बहुतेक A/B चाचणी साधने दोन प्रकारच्या सांख्यिकीय अनुमानांवर अवलंबून असतात: फ्रिक्वेंटीस्ट किंवा बायेसियन आकडेवारी. प्रत्येक शाळेत विविध साधक आणि बाधक असतात - फ्रिक्वेंटीस्ट आकडेवारीसाठी प्रयोग चालवण्यापूर्वी नमुना आकार निश्चित करणे आवश्यक असते आणि बायेसियन आकडेवारी प्रामुख्याने परिणामासाठी कोणतीही एकल आकृती निर्दिष्ट करण्यापेक्षा चांगले दिशात्मक निर्णय घेण्याची काळजी घेते, दोन उदाहरणे नावे. ऑप्टिमाइझलीची महाशक्ती म्हणजे आज बाजारात एकमेव साधन आहे दोन्ही जगातील सर्वोत्तम दृष्टीकोन

अंतिम परिणाम? ऑप्टिमाइझ्ली वापरकर्त्यांना प्रयोग जलद, अधिक विश्वासार्ह आणि अधिक अंतर्ज्ञानीपणे चालविण्यास सक्षम करते.

त्याचा पुरेपूर फायदा घेण्यासाठी, पडद्यामागे काय चालले आहे हे समजून घेणे महत्त्वाचे आहे. येथे 5 अंतर्दृष्टी आणि धोरणे आहेत जी आपल्याला प्रो सारखी ऑप्टिमाइझ्लीची क्षमता वापरण्यास मदत करतील.

धोरण #1: समजून घ्या की सर्व मेट्रिक्स समान नाहीत

बहुतेक चाचणी साधनांमध्ये, एक सामान्यतः दुर्लक्षित समस्या अशी आहे की आपण जितके अधिक मेट्रिक्स जोडता आणि आपल्या चाचणीचा भाग म्हणून ट्रॅक करता, यादृच्छिक संधीमुळे आपल्याला काही चुकीचे निष्कर्ष दिसण्याची शक्यता असते (आकडेवारीमध्ये, याला "एकाधिक चाचणी समस्या" म्हणतात ”). त्याचे परिणाम विश्वासार्ह ठेवण्यासाठी, ऑप्टिमाइझली शक्य तितक्या कमी होण्याच्या शक्यता ठेवण्यासाठी नियंत्रण आणि दुरुस्त्यांची मालिका वापरते. 

जेव्हा आपण ऑप्टिमाइझलीमध्ये चाचण्या सेट करण्यासाठी जाता तेव्हा त्या नियंत्रणे आणि सुधारणांचे दोन परिणाम होतात. प्रथम, आपण नियुक्त केलेले मेट्रिक तुमचे प्राथमिक मेट्रिक सांख्यिकी महत्त्व सर्वात वेगाने पोहोचेल, इतर सर्व गोष्टी स्थिर. दुसरे म्हणजे, तुम्ही एका प्रयोगात जितके अधिक मेट्रिक्स जोडता, तितके तुमचे नंतरचे मेट्रिक्स सांख्यिकीय महत्त्व गाठण्यास जास्त वेळ घेतील.

प्रयोगाचे नियोजन करताना, तुमच्या निर्णय प्रक्रियेत कोणते खरे मेट्रिक तुमचे खरे उत्तर असेल याची तुम्हाला खात्री आहे, ते तुमचे प्राथमिक मेट्रिक करा. नंतर, अनावश्यक किंवा स्पर्शिक कोणतीही गोष्ट काढून आपली उर्वरित मेट्रिक्स सूची दुबळी ठेवा.

धोरण #2: आपले स्वतःचे सानुकूल गुण तयार करा

आपले प्रयोग परिणाम विभाजित करण्यासाठी आपल्याला अनेक मनोरंजक आणि उपयुक्त मार्ग देण्यासाठी ऑप्टिमाइझ्ली उत्तम आहे. उदाहरणार्थ, डेस्कटॉप विरुद्ध मोबाईलवर काही उपचार अधिक चांगले आहेत की नाही हे तुम्ही तपासू शकता किंवा रहदारीच्या स्त्रोतांमध्ये फरक पाहू शकता. तुमचा प्रयोग कार्यक्रम परिपक्व होत असताना, तुम्ही पटकन नवीन विभागांची इच्छा कराल-हे तुमच्या वापराच्या बाबतीत विशिष्ट असू शकतात, जसे एक-वेळ वि. सबस्क्रिप्शन खरेदीचे विभाग, किंवा "नवीन वि. परत येणारे अभ्यागत" (जे, खरं सांगायचं तर, ते अजूनही बॉक्सच्या बाहेर का पुरवले जात नाही हे आम्ही समजू शकत नाही).

चांगली बातमी अशी आहे की ऑप्टिमाइझ्लीच्या प्रोजेक्ट जावास्क्रिप्ट फील्डद्वारे, ऑप्टिमाइझलीशी परिचित अभियंते अभ्यागतांना नियुक्त आणि विभागले जाणारे कितीही मनोरंजक सानुकूल गुणधर्म तयार करू शकतात. क्रो मेट्रिक्समध्ये, आम्ही आमच्या स्टॉक क्लायंटसाठी त्यांच्या प्रोजेक्ट जावास्क्रिप्ट द्वारे स्थापित केलेल्या अनेक स्टॉक मॉड्यूल (जसे "नवीन वि. परत येणारे अभ्यागत") तयार केले आहेत. या क्षमतेचा फायदा घेणे ही प्रौढ कार्यसंघांकडे एक महत्त्वाचा फरक आहे ज्यांच्याकडे योग्य तांत्रिक संसाधने आहेत त्यांना कार्य करण्यास मदत करण्यासाठी आणि जे संघ प्रयोगाची पूर्ण क्षमता ओळखण्यासाठी संघर्ष करतात.

धोरण #3: ऑप्टिमाइझ्लीचे आकडे प्रवेगक एक्सप्लोर करा

"बहु-सशस्त्र डाकू" वापरण्याची क्षमता, एक बहु-सशस्त्र डाकू वापरण्याची क्षमता आहे, एक प्रयोग शिकवण्याच्या अल्गोरिदमचा एक प्रकार जो प्रयोगादरम्यान आपल्या रहदारीचे वाटप केले जाते तेथे गतिशीलतेने बदलते, "विजेत्या" ला जास्तीत जास्त अभ्यागत पाठवण्यासाठी शक्य तितकी भिन्नता. बहु-सशस्त्र डाकूंची समस्या अशी आहे की त्यांचे परिणाम दीर्घकालीन कामगिरीचे विश्वासार्ह सूचक नाहीत, म्हणून या प्रकारच्या प्रयोगांसाठी वापराचे प्रकरण विक्री प्रमोशनसारख्या वेळ-संवेदनशील प्रकरणांपुरते मर्यादित आहे.

ऑप्टिमाइझली, तथापि, उच्च योजनांवर वापरकर्त्यांसाठी वेगळ्या प्रकारचे डाकू अल्गोरिदम उपलब्ध आहे - आकडेवारी प्रवेगक (आता बँडिट्समध्ये "एक्सेलरेट लर्निंग" पर्याय म्हणून ओळखले जाते). या सेटअपमध्ये, उच्च-कार्यक्षमतेच्या विविधतेसाठी ट्रॅफिकचे गतिमान वाटप करण्याचा प्रयत्न करण्याऐवजी, ऑप्टिमाइझ्ली डायनॅमिकली ट्रॅफिकला विविधतेसाठी वाटप करते जे शक्य तितक्या लवकर सांख्यिकीय महत्त्व गाठण्याची शक्यता असते. अशा प्रकारे, आपण जलद शिकू शकता आणि पारंपारिक A/B चाचणी निकालांची प्रतिकृती टिकवून ठेवू शकता.

धोरण #4: आपल्या मेट्रिक नावांमध्ये इमोजी जोडा

पहिल्या दृष्टीक्षेपात, ही कल्पना कदाचित स्थानाबाहेर वाटेल, अगदी क्षुल्लक. तथापि, तुम्ही योग्य प्रयोग परिणाम वाचत आहात याची खात्री करण्याचा एक महत्त्वाचा पैलू तुमच्या प्रेक्षकांना प्रश्न समजेल याची खात्री करून सुरू होते. 

कधीकधी आमच्या सर्वोत्तम प्रयत्नांना न जुमानता, मेट्रिकची नावे गोंधळात टाकणारी ठरू शकतात (प्रतीक्षा करा - ऑर्डर स्वीकारल्यावर ती मेट्रिक फायर होते का, किंवा वापरकर्त्याने थँक्यू पृष्ठावर दाबल्यावर?), किंवा एका प्रयोगामध्ये इतके मेट्रिक्स आहेत जे परिणाम वर आणि खाली स्क्रोल करत आहेत पृष्ठ एकूण संज्ञानात्मक ओव्हरलोडकडे नेतो.

आपल्या मेट्रिक्सच्या नावांमध्ये इमोजी जोडणे (लक्ष्य, हिरवे चेकमार्क, अगदी मोठ्या पैशाची पिशवी देखील काम करू शकते) पृष्ठे अधिक स्कॅन करण्यायोग्य असू शकतात. 

आमच्यावर विश्वास ठेवा - निकाल वाचणे खूप सोपे वाटेल.

धोरण #5: आपल्या सांख्यिकीय महत्त्व पातळीवर पुन्हा विचार करा

ऑप्टिमाइझली प्रयोगाच्या संदर्भात जेव्हा ते गाठले जातात तेव्हा निकाल निर्णायक मानले जातात सांख्यिकीय महत्त्व. सांख्यिकीय महत्त्व एक कठीण गणिती संज्ञा आहे, परंतु मूलत: ही शक्यता आहे की तुमची निरीक्षणे दोन लोकसंख्येमधील वास्तविक फरकाचा परिणाम आहेत, आणि केवळ यादृच्छिक संधी नाही. 

ऑप्टिमाइझलीची नोंदवलेली सांख्यिकीय महत्त्व पातळी "नेहमी वैध" आहे ज्याला गणितीय संकल्पना म्हणतात अनुक्रमिक चाचणी - हे प्रत्यक्षात त्यांना इतर चाचणी साधनांपेक्षा अधिक विश्वासार्ह बनवते, जे आपण खूप लवकर वाचल्यास सर्व प्रकारच्या "डोकावून" समस्यांना बळी पडतात.

आपण आपल्या चाचणी कार्यक्रमासाठी कोणत्या पातळीवरील सांख्यिकीय महत्त्व महत्त्वाचे मानता हे विचारात घेण्यासारखे आहे. 95% वैज्ञानिक समुदायाचे अधिवेशन असताना, आम्ही वेबसाइट बदलांची चाचणी करत आहोत, लसींची नाही. प्रायोगिक जगात आणखी एक सामान्य निवड: 90%. परंतु प्रयोग अधिक जलद चालवण्यासाठी आणि अधिक कल्पनांची चाचणी घेण्यासाठी आपण थोडी अधिक अनिश्चितता स्वीकारण्यास तयार आहात का? आपण 85% किंवा 80% सांख्यिकीय महत्त्व वापरत आहात? आपल्या जोखीम-बक्षीस शिल्लक बद्दल जाणूनबुजून असणे कालांतराने घातांक लाभांश देऊ शकते, म्हणून याचा काळजीपूर्वक विचार करा.

Optimizely Intelligence Cloud बद्दल अधिक वाचा

ऑप्टिमायझली वापरताना हे पाच द्रुत तत्त्वे आणि अंतर्दृष्टी लक्षात ठेवण्यासाठी आश्चर्यकारकपणे उपयुक्त ठरतील. कोणत्याही साधनाप्रमाणे, पडद्यामागील सर्व सानुकूलनांची आपल्याला चांगली समज आहे याची खात्री करण्यासाठी हे उकळते, जेणेकरून आपण हे सुनिश्चित करू शकता की आपण साधन प्रभावीपणे आणि प्रभावीपणे वापरत आहात. या समजुतींसह, जेव्हा आपल्याला त्यांची आवश्यकता असेल तेव्हा आपण शोधत असलेले विश्वसनीय परिणाम मिळवू शकता. 

तुला काय वाटत?

ही साइट स्पॅम कमी करण्यासाठी अकिस्मेट वापरते आपल्या टिप्पणी डेटावर प्रक्रिया कशी केली जाते ते जाणून घ्या.