ಆಪ್ಟಿಮೈಸ್ಲಿ ಇಂಟೆಲಿಜೆನ್ಸ್ ಕ್ಲೌಡ್: ಎ/ಬಿ ಟೆಸ್ಟ್ ಸ್ಮಾರ್ಟರ್ ಮತ್ತು ಫಾಸ್ಟರ್ ಗೆ ಸ್ಟಾಟ್ಸ್ ಇಂಜಿನ್ ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು

ಅತ್ಯುತ್ತಮವಾಗಿ ಅಂಕಿಅಂಶಗಳ ಎಂಜಿನ್ ಮತ್ತು ಎ/ಬಿ ಪರೀಕ್ಷಾ ತಂತ್ರಗಳು

ನಿಮ್ಮ ವ್ಯಾಪಾರ ಪರೀಕ್ಷೆ ಮತ್ತು ಕಲಿಯಲು ಸಹಾಯ ಮಾಡಲು ನೀವು ಪ್ರಯೋಗ ಕಾರ್ಯಕ್ರಮವನ್ನು ನಡೆಸಲು ಬಯಸಿದರೆ, ನೀವು ಬಳಸುತ್ತಿರುವ ಸಾಧ್ಯತೆಗಳಿವೆ ಅತ್ಯುತ್ತಮವಾಗಿ ಗುಪ್ತಚರ ಕ್ಲೌಡ್ - ಅಥವಾ ನೀವು ಕನಿಷ್ಠ ಅದನ್ನು ನೋಡಿದ್ದೀರಿ. ಆಪ್ಟಿಮೈಜಲಿ ಆಟದಲ್ಲಿನ ಅತ್ಯಂತ ಶಕ್ತಿಶಾಲಿ ಸಾಧನಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ, ಆದರೆ ಅಂತಹ ಯಾವುದೇ ಉಪಕರಣದಂತೆ, ಅದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂದು ನಿಮಗೆ ಅರ್ಥವಾಗದಿದ್ದರೆ ನೀವು ಅದನ್ನು ತಪ್ಪಾಗಿ ಬಳಸಬಹುದು. 

What makes Optimizely so powerful? At the core of its feature set lies the most informed and intuitive statistics engine in a third-party tool, allowing you to focus more on getting important tests live – without needing to worry that you’re misinterpreting your results. 

ವೈದ್ಯಕೀಯದಲ್ಲಿ ಸಾಂಪ್ರದಾಯಿಕ ಕುರುಡು ಅಧ್ಯಯನದಂತೆಯೇ, ಎ / ಬಿ ಪರೀಕ್ಷೆ ಯಾದೃಚ್ಛಿಕವಾಗಿ ವಿಭಿನ್ನವಾಗಿ ತೋರಿಸುತ್ತದೆ ಚಿಕಿತ್ಸೆಗಳು ಪ್ರತಿ ಚಿಕಿತ್ಸೆಯ ಪರಿಣಾಮಕಾರಿತ್ವವನ್ನು ಹೋಲಿಸಲು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ವಿವಿಧ ಬಳಕೆದಾರರಿಗೆ. 

ಅಂಕಿಅಂಶಗಳು ದೀರ್ಘಾವಧಿಯಲ್ಲಿ ಆ ಚಿಕಿತ್ಸೆಯು ಎಷ್ಟು ಪರಿಣಾಮಕಾರಿಯಾಗಬಹುದು ಎಂಬುದರ ಕುರಿತು ತೀರ್ಮಾನಗಳನ್ನು ಮಾಡಲು ನಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. 

Most A/B testing tools rely on one of two types of statistical inference: Frequentist or Bayesian stats. Each school has various pros and cons – Frequentist statistics require a sample size to be fixed in advance of running an experiment, and Bayesian statistics mainly care about making good directional decisions rather than specifying any single figure for impact, to name two examples. Optimizely’s superpower is that it’s the only tool on the market today to take a ಎರಡೂ ಪ್ರಪಂಚಗಳಲ್ಲಿ ಉತ್ತಮ ವಿಧಾನ.

ಅಂತಿಮ ಫಲಿತಾಂಶ? ಪ್ರಯೋಗಗಳನ್ನು ವೇಗವಾಗಿ, ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಮತ್ತು ಹೆಚ್ಚು ಅರ್ಥಗರ್ಭಿತವಾಗಿ ನಡೆಸಲು ಬಳಕೆದಾರರನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸುತ್ತದೆ.

In order to take full advantage of that, though, it’s important to understand what’s happening behind the scenes. Here are 5 insights and strategies that will get you using Optimizely’s capabilities like a pro.

ತಂತ್ರ #1: ಎಲ್ಲಾ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಸಮಾನವಾಗಿ ರಚಿಸಲಾಗಿಲ್ಲ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ

ಹೆಚ್ಚಿನ ಪರೀಕ್ಷಾ ಸಾಧನಗಳಲ್ಲಿ, ನಿಮ್ಮ ಪರೀಕ್ಷೆಯ ಭಾಗವಾಗಿ ನೀವು ಹೆಚ್ಚು ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಸೇರಿಸುತ್ತೀರಿ ಮತ್ತು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತೀರಿ, ಸಾಮಾನ್ಯವಾಗಿ ಯಾದೃಚ್ಛಿಕ ಅವಕಾಶದಿಂದಾಗಿ ಕೆಲವು ತಪ್ಪಾದ ತೀರ್ಮಾನಗಳನ್ನು ನೀವು ನೋಡುತ್ತೀರಿ (ಅಂಕಿಅಂಶಗಳಲ್ಲಿ ಇದನ್ನು "ಬಹು ಪರೀಕ್ಷಾ ಸಮಸ್ಯೆ" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ) "). ಅದರ ಫಲಿತಾಂಶಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಡಲು, ಸಂಭವಿಸುವ ಸಾಧ್ಯತೆಗಳನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಕಡಿಮೆ ಇರಿಸಲು ಆಪ್ಟಿಮೈಜಲ್ ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ತಿದ್ದುಪಡಿಗಳ ಸರಣಿಯನ್ನು ಬಳಸುತ್ತದೆ. 

ನೀವು ಆಪ್ಟಿಮೈಸ್ಲಿ ಪರೀಕ್ಷೆಗಳನ್ನು ಹೊಂದಿಸಲು ಹೋದಾಗ ಆ ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ತಿದ್ದುಪಡಿಗಳು ಎರಡು ಪರಿಣಾಮಗಳನ್ನು ಹೊಂದಿವೆ. ಮೊದಲಿಗೆ, ನಿಮ್ಮದು ಎಂದು ನೀವು ಗೊತ್ತುಪಡಿಸುವ ಮೆಟ್ರಿಕ್ ಪ್ರಾಥಮಿಕ ಮೆಟ್ರಿಕ್ ಅಂಕಿಅಂಶಗಳ ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ವೇಗವಾಗಿ ತಲುಪುತ್ತದೆ, ಎಲ್ಲಾ ಇತರ ವಸ್ತುಗಳು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ. ಎರಡನೆಯದಾಗಿ, ನೀವು ಪ್ರಯೋಗಕ್ಕೆ ಹೆಚ್ಚು ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಸೇರಿಸಿದರೆ, ನಿಮ್ಮ ನಂತರದ ಮಾಪನಗಳು ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಮಹತ್ವವನ್ನು ತಲುಪಲು ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ.

ಪ್ರಯೋಗವನ್ನು ಯೋಜಿಸುವಾಗ, make sure you know which metric will be your True North in your decision-making process, make that your Primary Metric. Then, keep the rest of your metrics list lean by removing anything that’s too superfluous or tangential.

ತಂತ್ರ #2: ನಿಮ್ಮ ಸ್ವಂತ ಕಸ್ಟಮ್ ಗುಣಲಕ್ಷಣಗಳನ್ನು ನಿರ್ಮಿಸಿ

Optimizely is great at giving you several interesting and helpful ways to segment your experiment results. For example, you can examine whether certain treatments perform better on desktop vs. mobile, or observe differences across traffic sources. As your experimentation program matures though, you’ll quickly wish for new segments – these may be specific to your use case, like segments for one-time vs. subscription purchases, or as general as “new vs. returning visitors” (which, frankly, we still can’t figure out why that isn’t provided out of the box).

The good news is that via Optimizely’s Project Javascript field, engineers familiar with Optimizely can build any number of interesting custom attributes that visitors can be assigned to and segmented by. At Cro Metrics, we’ve built a number of stock modules (like “new vs. returning visitors”) that we install for all of our clients via their Project Javascript. Leveraging this ability is a key differentiator between mature teams who have the right technical resources to help them execute, and teams who struggle to realize the full potential of experimentation.

ತಂತ್ರ #3: Explore Optimizely’s Stats Accelerator

One often-overhyped testing tool feature is the ability to use “multi-armed bandits”, a type of machine learning algorithm that dynamically changes where your traffic is allocated over the course of an experiment, to send as many visitors to the “winning” variation as possible. The issue with multi-armed bandits is that their results aren’t reliable indicators of long-term performance, so the use case for these types of experiments are limited to time-sensitive cases like sales promotions.

ಆಪ್ಟಿಮೈಸ್ ಆಗಿ, ಹೆಚ್ಚಿನ ಯೋಜನೆಗಳಲ್ಲಿ ಬಳಕೆದಾರರಿಗೆ ವಿಭಿನ್ನ ರೀತಿಯ ಡಕಾಯಿತ ಅಲ್ಗಾರಿದಮ್ ಲಭ್ಯವಿದೆ - ಅಂಕಿಅಂಶ ವೇಗವರ್ಧಕ (ಈಗ ಡಕಾಯಿತರಲ್ಲಿ "ಕಲಿಕೆಗಳನ್ನು ವೇಗವರ್ಧನೆ" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ). ಈ ಸೆಟಪ್‌ನಲ್ಲಿ, ಟ್ರಾಫಿಕ್ ಅನ್ನು ಅತ್ಯುನ್ನತ ಕಾರ್ಯಕ್ಷಮತೆಯ ವ್ಯತ್ಯಾಸಕ್ಕೆ ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ನಿಯೋಜಿಸಲು ಪ್ರಯತ್ನಿಸುವ ಬದಲು, ಆಪ್ಟಿಮೈಸ್ ಆಗಿ ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ಟ್ರಾಫಿಕ್ ಅನ್ನು ವ್ಯತ್ಯಾಸಗಳಿಗೆ ವರ್ಗಾಯಿಸುತ್ತದೆ. ಈ ರೀತಿಯಾಗಿ, ನೀವು ವೇಗವಾಗಿ ಕಲಿಯಬಹುದು ಮತ್ತು ಸಾಂಪ್ರದಾಯಿಕ A/B ಪರೀಕ್ಷಾ ಫಲಿತಾಂಶಗಳ ಪುನರಾವರ್ತನೆಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳಬಹುದು.

ತಂತ್ರ #4: ನಿಮ್ಮ ಮೆಟ್ರಿಕ್ ಹೆಸರುಗಳಿಗೆ ಎಮೋಜಿಗಳನ್ನು ಸೇರಿಸಿ

ಮೊದಲ ನೋಟದಲ್ಲಿ, ಈ ಕಲ್ಪನೆಯು ಬಹುಶಃ ಸ್ಥಳದಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆ, ಅಸಂಬದ್ಧವಾಗಿದೆ. ಆದಾಗ್ಯೂ, ನೀವು ಸರಿಯಾದ ಪ್ರಯೋಗ ಫಲಿತಾಂಶಗಳನ್ನು ಓದುತ್ತಿದ್ದೀರಿ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವ ಒಂದು ಪ್ರಮುಖ ಅಂಶವೆಂದರೆ ನಿಮ್ಮ ಪ್ರೇಕ್ಷಕರು ಪ್ರಶ್ನೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬಹುದೆಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳುವುದು. 

ಕೆಲವೊಮ್ಮೆ ನಮ್ಮ ಅತ್ಯುತ್ತಮ ಪ್ರಯತ್ನಗಳ ಹೊರತಾಗಿಯೂ, ಮೆಟ್ರಿಕ್ ಹೆಸರುಗಳು ಗೊಂದಲಕ್ಕೊಳಗಾಗಬಹುದು (ನಿರೀಕ್ಷಿಸಿ - ಆದೇಶವನ್ನು ಸ್ವೀಕರಿಸಿದಾಗ ಅಥವಾ ಬಳಕೆದಾರರು ಧನ್ಯವಾದ ಪುಟವನ್ನು ಒತ್ತಿದಾಗ? ಪುಟವು ಸಂಪೂರ್ಣ ಅರಿವಿನ ಓವರ್‌ಲೋಡ್‌ಗೆ ಕಾರಣವಾಗುತ್ತದೆ.

ನಿಮ್ಮ ಮೆಟ್ರಿಕ್ ಹೆಸರುಗಳಿಗೆ ಎಮೋಜಿಗಳನ್ನು ಸೇರಿಸುವುದು (ಗುರಿಗಳು, ಹಸಿರು ಚೆಕ್‌ಮಾರ್ಕ್‌ಗಳು, ದೊಡ್ಡ ಹಣದ ಬ್ಯಾಗ್ ಕೂಡ ಕೆಲಸ ಮಾಡಬಹುದು) ಹೆಚ್ಚು ಸ್ಕ್ಯಾನ್ ಮಾಡಬಹುದಾದ ಪುಟಗಳಿಗೆ ಕಾರಣವಾಗಬಹುದು. 

ನಮ್ಮನ್ನು ನಂಬಿರಿ - ಫಲಿತಾಂಶಗಳನ್ನು ಓದುವುದು ಹೆಚ್ಚು ಸುಲಭವಾಗುತ್ತದೆ.

ತಂತ್ರ #5: ನಿಮ್ಮ ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಮಹತ್ವದ ಮಟ್ಟವನ್ನು ಮರು-ಪರಿಗಣಿಸಿ

Results are deemed conclusive in the context of an Optimizely experiment when they’ve reached ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಮಹತ್ವ. ಸಂಖ್ಯಾಶಾಸ್ತ್ರೀಯ ಪ್ರಾಮುಖ್ಯತೆಯು ಕಠಿಣವಾದ ಗಣಿತದ ಪದವಾಗಿದೆ, ಆದರೆ ಮೂಲಭೂತವಾಗಿ ನಿಮ್ಮ ಅವಲೋಕನಗಳು ಎರಡು ಜನಸಂಖ್ಯೆಗಳ ನಡುವಿನ ನಿಜವಾದ ವ್ಯತ್ಯಾಸದ ಫಲಿತಾಂಶವಾಗಿದೆ, ಮತ್ತು ಕೇವಲ ಯಾದೃಚ್ಛಿಕ ಅವಕಾಶವಲ್ಲ. 

Optimizely’s reported statistical significance levels are “always valid” thanks to a mathematical concept called ಅನುಕ್ರಮ ಪರೀಕ್ಷೆ - ಇದು ನಿಜವಾಗಿಯೂ ಅವುಗಳನ್ನು ಇತರ ಪರೀಕ್ಷಾ ಸಾಧನಗಳಿಗಿಂತ ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಸುತ್ತದೆ, ನೀವು ಅವುಗಳನ್ನು ಬೇಗನೆ ಓದಿದರೆ ಎಲ್ಲಾ ರೀತಿಯ "ಪೀಕಿಂಗ್" ಸಮಸ್ಯೆಗಳಿಗೆ ಒಳಗಾಗುತ್ತಾರೆ.

It’s worth considering what level of statistical significance you deem important to your testing program. While 95% is the convention in the scientific community, we’re testing website changes, not vaccines. Another common choice in the experimental world: 90%.  But are you willing to accept a little more uncertainty in order to run experiments faster and test more ideas? Could you be using 85% or even 80% statistical significance? Being intentional about your risk-reward balance can pay exponential dividends over time, so think this through carefully.

ಆಪ್ಟಿಮೈಸ್ಲಿ ಇಂಟೆಲಿಜೆನ್ಸ್ ಕ್ಲೌಡ್ ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ಓದಿ

ಈ ಐದು ತ್ವರಿತ ತತ್ವಗಳು ಮತ್ತು ಒಳನೋಟಗಳು ಆಪ್ಟಿಮೈಸ್ ಆಗಿ ಬಳಸುವಾಗ ನೆನಪಿನಲ್ಲಿಡಲು ನಂಬಲಾಗದಷ್ಟು ಸಹಾಯಕವಾಗುತ್ತವೆ. ಯಾವುದೇ ಉಪಕರಣದಂತೆ, ನೀವು ತೆರೆಮರೆಯ ಎಲ್ಲಾ ಗ್ರಾಹಕೀಕರಣಗಳನ್ನು ಚೆನ್ನಾಗಿ ಅರ್ಥಮಾಡಿಕೊಂಡಿದ್ದೀರಿ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಇದು ಕುದಿಯುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ಉಪಕರಣವನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬಳಸುತ್ತಿದ್ದೀರಿ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಬಹುದು. ಈ ತಿಳುವಳಿಕೆಯೊಂದಿಗೆ, ನಿಮಗೆ ಬೇಕಾದಾಗ ನೀವು ಹುಡುಕುತ್ತಿರುವ ವಿಶ್ವಾಸಾರ್ಹ ಫಲಿತಾಂಶಗಳನ್ನು ನೀವು ಪಡೆಯಬಹುದು. 

ನೀವು ಏನು ಆಲೋಚಿಸುತ್ತೀರಿ ಏನು?

ಸ್ಪ್ಯಾಮ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಈ ಸೈಟ್ ಅಕಿಸ್ಸೆಟ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ನಿಮ್ಮ ಕಾಮೆಂಟ್ ಡೇಟಾವನ್ನು ಹೇಗೆ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲಾಗುತ್ತಿದೆ ಎಂಬುದನ್ನು ತಿಳಿಯಿರಿ.