Upzi

Bài 3: Attribution ≠ incrementality
eBay từng tắt hẳn quảng cáo search cho từ khóa thương hiệu. Traffic gần như không đổi.

Người gõ "eBay" vốn đã định vào eBay. Report attribution vẫn ghi công cho quảng cáo, nhưng không trả lời được câu quan trọng hơn: nếu không chạy campaign, khách có đến không?

Ngân hàng cũng có tình huống y vậy. Gửi push mời mở tiết kiệm online cho nhóm khách vừa nhận lương, report ghi công cho campaign toàn bộ số sổ mở, nhìn rất đẹp. Nhưng nhiều khách vốn đã định gửi. Có người chỉ chuyển tiền từ CASA sang sổ: số sổ tăng, tiền mới không tăng, chi phí vốn còn tăng.

Nên với campaign tiền gửi, tôi đo tiền gửi mới từ ngoài vào, không đếm số sổ.

Muốn biết campaign tạo thêm được bao nhiêu, cách đáng tin nhất là holdout group: chia ngẫu nhiên audience, giữ lại một nhóm không gửi, rồi so kết quả hai nhóm. Ba lỗi hay gặp:
1. Lấy đại 10% làm holdout. Cỡ nhóm phải tính từ conversion nền và mức uplift nhỏ nhất cần thấy; nhóm quá nhỏ thì chênh lệch chỉ là nhiễu.
2. Chỉ giữ holdout ở một kênh. Trong lúc test, nhóm này phải đứng ngoài mọi kênh: push, SMS, cả RM gọi.
3. Chốt ngưỡng thành công sau khi đã thấy số.

Với paid ads, khó giữ holdout kiểu này. Khi đó dùng conversion lift của nền tảng, geo test, hoặc MMM cho góc nhìn dài hạn.

Số liệu: trong thí nghiệm của eBay (Blake, Nosko & Tadelis, Econometrica 2015), khi tắt quảng cáo từ khóa thương hiệu, gần như toàn bộ lượng truy cập từ quảng cáo đó (99,5%) chuyển sang đến qua kết quả tìm kiếm tự nhiên.

Attribution trả lời "khách đến từ đâu". Holdout trả lời "có đáng tiền không".

Campaign gần nhất của team bạn có holdout không? Kết quả lệch report attribution bao nhiêu?

#Martech #Incrementality #Attribution #MarketingAnalytics #MartechNganHang