第六章 分析階段
假設你在為一個手機上新設計的註冊流程執行A/B測試,你知道在白天購物的人通常會是學生(才會有時間白天註冊)， 我在晚上和週末註冊的人通常是上班族。 如果只有將週六和週日的使用者移致測試項目，那你可能會無意間偏誤抽樣較多上班族到你的測試項目，而你應該要確保測試項目有抽樣到整週的使用者。 要避開所有的變數是很有挑戰性的事。
測試的細節是有假設自己決定的。 假設做的不好測試的細節也會受影響
在結果出現的時候，要確保你已經準備好收集數據，才能做出完善而有資訊支持的決定。
理智檢驗 諮詢你自己的問題
1.我在嘗試要學習什麼？ 是否還相信我的設計可以傳達我想要學習的東西？
2.如果我的試驗成功或失敗、 我要做什麼？ (你是否有感覺下一步可能是什麼？）
3.我的測試是否有足夠大的樣本尺寸、 可在我想要的顯著等級提供足夠的檢定力？
4.你是否了解測試中的所有變數？ (在得到結果的時候，你會有那些概念會影響什麼改變。）
5.你是否有好的次要指標？ 或是在測試中有追蹤額外的東西？讓你能在需要的時候進行更深入的分析6.這個數據能否提供資訊協助發展新假設或未來的試驗？
在心中懷有這些問題，你會準備好來推行富有資訊的測試，幫助你了解你的使用者和產品
評估結果
A/ B測試提供巨大的潛能讓你學習關於你的使用者以及你的設計如何影響他們，但是這要靠你在分析階段的工作才能凝聚出洞見。 在分析時、 聚焦在類似下列的問題：
1. 你的改變對於重點指標有什麼影響？ 這個影響是意外的嗎？ 它是否符合你的期待？
2.你是否觀察到對任何其他關鍵、 代理、 或次級指標的影響？ 若有的話是什麼？
3. 是否有任何結果需要使用其他技術來進一步調查？
4. 這些結果顯露出關於假設的什麼？
數據在說什麼？
記得你在定義假設時、 應該有定出你想要改變的指標以及預期想改變的方向，你可能看到三種類型的結果： 符合期待的結果、 不符期待的結果或是持平的結果。
符合期待正面的結果
但要記得你在A/B测試的目標並不是一看到想要的結果就立刻要推出接受測試的設計，而是要了解結果背後的學習、 以及那對於你的使用者和產品來說代表什麼。
不符預期和不想要的負面結果
雖然A/ B測試的結果和你所希望的不同會讓人很沮喪、 但要提醒你這些失敗有時反而是最好的學機會。而這樣的挑戰會迫使你重新評估自己對使用者的直覺覚。
永遠要去反思是什麼讓你寫出一個使用者沒有共鳴的假設。 你可以從這幾個問題開始：
1.他們用你所想的方式來使用功能嗎？
2.他們是否關心你沒想到的其他東西？
3.你是否專注於只適用於群體中一小部分細分的東西、 而不適用於大多數人？
當世界是平的
在實務上、 許多A/ B測試都是沒有結論的、 也就是測試體驗和控制之間看不出什麼可量測的差別。 虛無或是持平的結果很平常。
有兩種方式可以詮釋這樣的結果
1.你的假設可能具有價值、 但你還沒找到正確的表達方式(你弄的還不夠大） 。 更準確的來說、 可能是你的試驗檢定力不足。 真的有效應存在、 但效應小於你為試驗設計的檢定力
2.你測試的假設對使用者行為的影響並沒有大到能改變指標
運用次要指標找錯誤
如果次要指標和主要指標表現一致，對結果就更有信心。
為了要看到全貌、 大數據和厚數據都很重要因為它們會提供規模和深度不同的洞見
你在A/ B測試的目標是要學習、 並使用學到的東西來決定接下來要做什麼。
進行探索性的A/B測試是在幫助你找到後續要進行評的設計
進行A/ B測試的目標是要找出體驗改變及使用者行為之間的因果關係。全面及局部A/ B測試的主要差異之一在於，當你一次改變許多變數（ 全面測試） 時、 很難指出改變的哪個部分造成觀察到的影響。
逐步擴增
逐步將體驗推行給更大的客群、 會需要持續注意這個新體驗對於指標的影響。請記住如果你有統計顯著的結果、 在推行給更廣大的群組時、 就會有相當程度的信心結果會是相同的。
延遲組
常見及最好的實務手法是將新體驗發行給大多數的使用者群體以及一群「 延遲」 組、 保持有小比例的使用者（ 通常是1％ 或5％ ） 使用舊的體驗（ 之前的控制組） 。 這樣的方法讓你能持續量測設計變更的長期影響。
自我評估
發想流程中不會進行審查、 但你可以透過收集數據、 以及在使用者身上驗證、 來量测設計的價值與影響
以下是你能用來問自己的問題：
1.你是否有正確找出想要改變的行為？ 你的指標是否能適當的反應那個行為？
2.你的團隊（ 以及利害關係人） 是否對於量測的東西以及成功指標有共識？
3.你是否打造了清楚的假設、 能夠準確地反映出你想要學習的東西以及你預測會發生的事情？
4.你設計的體驗是否有足夠的差異、 讓你能將學習最大化？ 是否有足夠的影響讓你能夠觀察並量測到使用者行為的差異？
5.你的測試是否太限縮了？ 還是太發散了？
6. 你的設計對使用者行為有什麼影響？ 基於這樣的結果、 你做了什麼？ 為什麼會做這樣的決策？
7.重新檢視你的數據、 下次設計試驗的時候你會做什麼樣的改變嗎？
留言列表
