Chúng ta tới bài cuối của cả chương trình. Nếu bạn đã đi qua các series trước, bạn có một hệ thống đầy đủ: chiến lược đo lường, cài đặt kỹ thuật, marketing analytics, và quy mô dữ liệu. Bài này là đỉnh: chuyển từ biết cái gì tương quan sang biết cái gì gây ra kết quả.
Đây là khác biệt lớn. Nhà Gọn thấy trang sản phẩm có video thì chuyển đổi cao hơn. Nhưng đó là tương quan: có thể người chịu khó xem video vốn đã quan tâm hơn. Câu hỏi thật là: nếu thêm video vào một trang, chuyển đổi có tăng không. Chỉ thử nghiệm có kiểm soát trả lời được, và đó là chủ đề bài này.
Thử nghiệm A/B: ngẫu nhiên hóa loại bỏ nhiễu
Thử nghiệm A/B chia người dùng ngẫu nhiên thành hai nhóm: nhóm đối chứng thấy phiên bản hiện tại, nhóm thử nghiệm thấy phiên bản có đúng một thay đổi. Rồi so chỉ số mục tiêu giữa hai nhóm.
Việc chia ngẫu nhiên là mấu chốt. Vì hai nhóm giống nhau về mọi mặt trừ thay đổi bạn áp, mọi chênh lệch chỉ số giữa chúng là do thay đổi đó gây ra, không phải do nhiễu. Đây là cách duy nhất khẳng định nhân quả thay vì đoán từ tương quan.
Mỗi thử nghiệm bắt đầu từ một giả thuyết có cấu trúc: "Vì [quan sát], nếu [thay đổi] thì [chỉ số] sẽ [tăng hoặc giảm] vì [lý do]." Không có giả thuyết rõ thì không biết đo gì để kết luận thành hay bại.
Một chỉ số chính, một chỉ số bảo vệ
Chọn đúng một chỉ số chính để quyết thắng thua. Nhiều chỉ số chính dẫn tới cám dỗ chọn con số nào đẹp nhất sau khi có kết quả, tức tự lừa mình.
Kèm theo, chọn một chỉ số bảo vệ: thứ không được xấu đi dù chỉ số chính có tăng. Ví dụ Nhà Gọn thử một nút thanh toán nổi bật hơn để tăng tỷ lệ hoàn tất đơn (chỉ số chính), nhưng phải canh chừng tỷ lệ hủy đơn sau đó (chỉ số bảo vệ), kẻo nút đẩy người ta bấm vội rồi hối hận. Thắng chỉ số này mà làm hỏng chỉ số kia không phải thắng.
Bẫy lớn nhất: nhìn lén và dừng sớm
Đây là sai lầm phá hỏng nhiều thử nghiệm nhất. Người ta chạy thử nghiệm, nhìn kết quả mỗi ngày, và dừng ngay khi thấy nhóm thử nghiệm vừa vượt lên "đủ đẹp". Vấn đề: nếu nhìn liên tục và dừng khi vừa đẹp, bạn gần như chắc chắn sẽ gặp một khoảnh khắc đẹp do ngẫu nhiên, và kết luận sai.
Cách đúng: tính trước cần bao nhiêu người mỗi nhóm và chạy bao lâu để kết luận đáng tin, rồi chờ đủ mới đọc. Con số này phụ thuộc mức cải thiện nhỏ nhất bạn muốn phát hiện và độ chắc chắn mong muốn. Có công cụ tính sẵn, chỉ cần nhập vài số.
Vài bẫy khác cần biết:
- Hiệu ứng mới lạ: người dùng phản ứng với cái mới một cách tạm thời, rồi trở lại bình thường. Chạy thử nghiệm ít nhất một chu kỳ kinh doanh, thường một tới hai tuần, để tránh.
- Lệch tỷ lệ chia nhóm: nếu tỷ lệ hai nhóm lệch bất thường so với mức bạn đặt, thử nghiệm có lỗi kỹ thuật, kết quả không tin được.
Nền tảng kỹ thuật để chạy thử nghiệm là cờ tính năng: bật hoặc tắt một tính năng cho một nhóm người dùng mà không cần triển khai lại code. Nó cũng cho phép tung dần một thay đổi ra thị trường sau khi thắng.
Quy công nâng cao: tính gia tăng là chuẩn vàng
Ở bài 2 chúng ta nói về các mô hình gán công cho các điểm chạm. Nhưng mọi mô hình gán công đều có một giới hạn chung: chúng chia công cho các lượt chạm đã xảy ra, mà không trả lời được câu quan trọng nhất: nếu không có quảng cáo này, khách có mua không.
Cách duy nhất trả lời câu đó là tính gia tăng: giữ lại một nhóm khách cố tình không cho thấy quảng cáo (nhóm đối chứng), rồi so tỷ lệ mua giữa nhóm thấy quảng cáo và nhóm không thấy. Chênh lệch đó là phần khách quảng cáo thật sự tạo thêm, không phải phần vốn dĩ đã mua.
Chọn công cụ quy công theo câu hỏi
| Câu hỏi | Công cụ phù hợp |
|---|---|
| Kênh nào chạm nhiều trong hành trình | Mô hình gán công đa điểm chạm |
| Quảng cáo có thật sự thêm khách không | Tính gia tăng, dùng nhóm đối chứng |
| Phân bổ ngân sách tổng thể, nhất là thời hậu cookie | Mô hình hỗn hợp marketing trên dữ liệu tổng hợp |
Với quyết định chi tiền lớn, ưu tiên tính gia tăng, vì nó đo tác động thật chứ không chỉ chia công cho các lượt chạm. Các mô hình gán công vẫn hữu ích để hiểu hành trình, nhưng hiểu chúng chỉ là gần đúng.
Để chọn thử nghiệm nào chạy trước khi có nhiều ý tưởng, dùng một cách chấm điểm đơn giản theo ba yếu tố: tác động nếu thắng, độ tự tin vào giả thuyết, và độ dễ triển khai. Chạy cái điểm cao trước, và thường là ở gần nút thắt lớn nhất trong phễu mà bạn đã tìm ra ở series trước.
Ba lỗi thường gặp với thử nghiệm
| Lỗi | Vì sao hại | Cách sửa |
|---|---|---|
| Không có giả thuyết rõ | Không biết đo gì để kết luận | Viết giả thuyết có cấu trúc |
| Nhìn lén và dừng sớm | Kết luận dương tính giả | Tính trước cỡ mẫu, chờ đủ |
| Tin tuyệt đối vào mô hình gán công | Phân bổ ngân sách sai | Bổ sung tính gia tăng cho quyết định lớn |
Khép lại cả chương trình
Nếu bạn đã đi hết ba series, hãy nhìn lại chặng đường. Bạn bắt đầu ở Đo lường để quyết định: North Star, cây chỉ số, phễu, giữ chân, memo quyết định tuần. Bạn qua Google Analytics: cài đặt kỹ thuật đầy đủ. Và series này khép lại lớp trên cùng: marketing analytics đo tới tận đồng tiền, quyền riêng tư, kho dữ liệu, kích hoạt, và thử nghiệm chứng minh nhân quả.
Đó là một hệ thống dữ liệu hoàn chỉnh cho một doanh nghiệp Việt muốn ra quyết định bằng dữ liệu, từ câu hỏi đầu tiên cho tới thử nghiệm cuối cùng. Nhà Gọn đi cùng bạn suốt chặng, từ một dashboard đẹp mà không ra quyết định, tới một cỗ máy đo lường dẫn tới hành động ở mọi cấp.
Còn nếu bạn muốn có hệ thống này mà không phải tự dựng qua ba tầng, đó là việc chúng tôi làm cùng bạn: từ chiến lược đo lường trong gói triển khai 30 ngày, tới kho dữ liệu và thử nghiệm khi bạn lớn hơn, trong gói đồng hành. Để mỗi quyết định của bạn, nhỏ hay lớn, đều dựa trên số chứ không phải cảm giác.
Đọc tiếp
Bài 2, Quy công quảng cáo: Pixel, Conversions API và khử trùng lặp
Đây là nơi analytics đụng thẳng vào tiền: conversion sai thì thuật toán đấu thầu tối ưu sai và đốt ngân sách. Bài này giải thích cách gửi conversion tin cậy bằng Pixel và Conversions API song song, khử trùng lặp bằng event_id, các mô hình quy công, và vì sao số của GA4, Google Ads và Meta không bao giờ khớp nhau.
Đọc bàiBài 1, Content và SEO analytics: đo nội dung nào thật sự ra khách
Phần lớn doanh nghiệp đo nội dung bằng lượt xem, nên không biết bài nào ra khách. Bài này ghép nửa trước click (Search Console) với nửa sau click (GA4) thành một phễu SEO đầy đủ, giới thiệu ma trận nội dung để quyết định mở rộng hay bỏ, và cách đo tới tận chuyển đổi thay vì dừng ở view.
Đọc bàiBài 3, CRM, email và consent: quyền riêng tư và Consent Mode v2
Dữ liệu bên thứ nhất có consent là tài sản trong thế giới hết cookie bên thứ ba. Bài này giải thích cách nối web với CRM và email qua mã người dùng thay vì email thô, triển khai Consent Mode phiên bản 2 với bốn tín hiệu, phân biệt chế độ cơ bản với nâng cao, và vì sao làm consent đúng còn giúp giữ tín hiệu chứ không chỉ để tuân thủ.
Đọc bài