量化設計價值（三）：如何創建體系化的監控系統

編輯導語：在用戶體驗設計中，數據也是一個十分重要的衡量因素。通過數據指標的建立，設計師可以更好地觀察到用戶行為、用戶特征等信息。本篇文章里，作者結合其實際工作案例，總結、分享了量化設計中的數據類型與后續的數據可視化等環節流程，一起來看一下。

隨著用戶體驗設計的發展，我們已經過了僅依賴需求和直覺就可以完成產品設計決策的階段了。

數據對用戶體驗設計師的價值可以總結為兩點：

1. 數據可以在「產品設計決策階段」提供了更多元的參考意見；
2. 數據可以在「產品設計復盤階段」提供更客觀的評價標準。

一、數據使用的場景

無論所處哪一種設計階段，總的來說，設計師的數據需求主要可以分為兩大類。

1. 探索事物間關系的“內因/外因”

是什么東西影響了用戶的購買決策 ？我的新版網站首頁的改版是否為產品提升了注冊的轉化率 ？

這類需求的本質是探究一種事物間的歡喜和因果性，常用「推論性統計」、「相關&非參數校驗」進行分析。對于這類需求，往往會有專業的數據分析師，用戶研究設計師，數據產品經理承接。

2. 發現數據中的“模式/異常”

在一天之中隨著時間的變化，用戶的訪問量有什么規律 ？這類需求的本質是在對已經發生的事物規律做一種總結 ，使用的統計方法更多的是「描述性統計」。對于絕大多數設計師而言，能夠做到發現數據中的 “模式/異常” 基本可以覆蓋絕大多數日常工作的需求。

本文主要關注解決設計師的第二類使用場景——發現數據中的“模式/異常”。目前各大互聯網企業內部都會提供自研或者第三方的BI工具，因此筆者建議設計師可以通過建立一個包含關鍵的體驗指標的數據看板系統，對自己負責的業務進行系統的總結和復盤。

以我曾經的工作內容為例。

我們的產品是服務商家進行“前后端對接生產”的訂單審核系統。【效率】是制造業至關重要的關注面，在一個企業用戶的付費決策中也起到了相當重要的分量，客戶使用我們的工具進行訂單審核和流轉的效率是整個用戶體驗模型中的重要部分。

因此我們需要構建一系列合理的指標來判斷訂單系統的處理效率。除【效率】外，【用戶行為】【用戶特征】等都是設計師關系的信息。以【效率】為起點，最終我們構建了一個籠統的包含設計師所有要監測的信息看板系統。

二、關鍵概念

本質上互聯網產品中的看板（kanban）與自然科學領域研究人員的用 R 或者 Seaborn 繪制的精美圖表沒有本質上的區別，差異點可能在于看板更加關注時效性，同時更加具備可交互性。

隨著儀表盤工具和各種BI軟件產品在人群中的普及，人們對儀表盤，指標（Metric）和關鍵績效指標（KPI）的組成有不同的理解。為了確保我們都說相同的語言，我將定義一組術語，這些術語將構成我們討論的基礎：

• 度量（Measure）：度量是一段數字上可量化的數據。銷售額、利潤、留存率，都是具體衡量的例子。
• 維度（Dimension）：維度表示給定指標的不同方面屬性。例如，時間通常被用作分析不同度量的維度。其他一些常見的維度包括地區、產品、部門、細分市場等。
• 層次結構（Hierarchy）：維度可以進一步分解為層次結構。例如，時間維度還可以形成層次結構，例如，年>季度>月>日。
• 粒度（Grain）：層次結構中的每個級別都稱為維度的粒度。例如，年 > 季度 > 月 > 日 ，中的“年”是一個特定的粒度。
• 指標（Metric）：指標是我們經常在儀表板中顯示的數據類型，它表示一個度量（Measure）的數據段與一個或多個特定維度（Dimension）和相關粒度（Grain）的關系。

上圖是在Tableau中一個標準的指標示例-“每周銷售總額” 的構建方式。

在這個指標中，我們需要量化的“度量”是美元——即總銷售額，用來觀察量化數據的“維度”——即時間，而時間維度可以被進一步分解為“年>季度>周”的層級結構，“每周銷售總額”需要關聯的維度中的特定“粒度”——即周。

• 看板（Cards or KanBan）: 觀察一個或多個指標（Metric）運行情況的圖表。
• 儀表板（Dashboard）: 儀表板是多個圖形、圖表、量表或其他直觀表示的集合。多個看板可組成一個儀表板。
• 報告（Report）: 報告可以是對應圖表和其他可視化的表示，也可以是可能直接相關或不直接相關的大量圖表和可視化。多個儀表盤可組成一個報告。

“實時、受眾群體、流量獲取、行為……” 上圖為Google Analytics 中提供的多種類型的數據分析報告，報告可以非常廣泛地涵蓋廣泛的相關信息。每一種特定報告內包含了若干個回答特定問題的dashboard，一個dashboard內可以包含多個相互關聯的指標的看板。

一個可分析、可追蹤的數據系統中，最原子的構成單位理解成一個“看板”。如何從0-1構建一個客觀有效的數據看板系統？我們可以類比【一個人學習做菜】的過程，做菜的過程可以總結為三個階段：

1. 學習菜譜&列一個采購清單；
2. 采購食材&烹飪食材；
3. 擺盤料理&品嘗美食。

對應到數據看板系統的創建，我們亦可以總結為三個階段：

1. 了解數據的特性、明確自己需要哪些數據；
2. 通過技術手段獲取數據、將粗數據加工成意義明確的指標；
3. 將指標數據可視化，觀察數據并嘗試分析現象。

三、度量 Measure & 維度 Dimension

“ Data is more than numbers, and to visualize it, you must know what it represents. ”數據不僅僅是數字，數字、數組、表格、都可以被稱之為數據。要將數據形象化，你必須知道它代表什么。

為了構建有效的效率指標，第一步是：明確為了解決當前的問題，要觀察的【度量】是哪些，以及這些度量又需要從哪些【維度】進行觀察。

1. 了解數據類型

一個線上的項目每天都在收集成百上千種數據，怎樣確定自己需要什么數據作為度量（Measure）呢？首先值得注意的是，不是所有類型的數據都適合作為度量（Measure）被加工成指標。

不同學科、不同課程、不同領域，對于數據類型的定義基本一樣，但稱呼并不完全一樣。

統計學中，數據類型分為四種：定類，定序，定距，和定比。這四種類型是從低到高的遞進關系，高級的類型可以用低級類型的分析方法來分析，而反過來卻不行。

定性數據與定量數據

從宏觀角度分析，數據類型分為定性和定量兩種。

一個通俗的例子，以自身為例：例如衣服的顏色，頭發的類型和鼻子的形狀這些標識標識的是定性數據；例如身高、體重、年齡和鞋子的尺碼，這些可測量的是定量數據。

1）定量數據

定量數據是統計數據，通常具有自然結構性，意味著它更加嚴格和明確，可再細分為連續/離散兩種。

此類數據使用數字和值進行測量，這使其更適合進行數據分析。可以通過以下方式獲取定量數據：

• 測量；
• 實驗；
• 調查；
• 市場報告；
• ……

2）定性數據

定性數據是非統計數據，本質上通常是非結構化或半結構化的。

定性數據可以用來問“為什么”的問題。它是調查性的，在進行進一步研究之前通常是開放性的。從定性研究中生成的數據用于理論化、解釋、發展假設和初步理解。

可以通過以下方法獲取定性數據：

• 文字和文件；
• 音頻和視頻記錄；
• 圖片和符號；
• 訪談筆錄和焦點小組；
• ……

想要了解訂單流轉的效率是怎樣，最簡單的方法是通過和我們的客戶進行面聊一下使用情況、并記錄一下反饋，但這樣的產物并不方便進行統計分析和展示。

盡管有一些對定性數據“結構化”的方法，比如對定類數據進行的非參數校驗，但實施起來成本較高。定量數據因為本身結構化的特點更適合分析，因此在這里建議設計師在構建自己的dashboard系統時，需要跟蹤分析的數據盡量選擇定量數據。

2. 確定需要觀察的度量&維度

明確需要觀察的度量有哪些，首先需要從要解決的問題出發。

但是沒有一個整體的分析模型，往往會導致我們的分析遺漏很多信息和細節，導致數據分析師無法理解彼此的需求，最終導致最后產出的看板難產或答非所問。

3. 使用的問題分析工具——KPI wheel

在這里介紹一種名為KPI Wheel的簡單工具，可用于收集將用于定義和可視化指標的前期必備信息。您可以將 KPI wheel 的圖片打印在紙上，然后開始嘗試依次思考這四個方面：

1. “ 要解決的問題是什么？”
2. “誰在關心這個問題？”
3. “我需要去哪里獲取這些數據？”
4. “為什么這個數據很重要？”

在解答的上述的幾個問題的過程中隨手記錄：

• 可能引發什么進一步的疑問；
• 使用此信息可以采取什么行動或決定。

不斷地提出問題并進行進一步分析，這么做的目的是讓用戶不斷分解問題，直到他們有足夠的信息來采取行動或做出決定。

經過幾輪完整的分析后，用戶就可以大致確定指標的「度量」和 所需要的「維度」。

以我曾經的工作內容為例：我們的產品是服務商家進行“前后端對接生產”的訂單審核系統，我們需要構建一系列合理的指標來判斷訂單系統的處理效率。

以下是與產品經理討論過程中的具體流程。

第一輪 KPI Wheel ——

Answer KPI Wheel：“ WHAT？WHO? WHERE? WHY? ”

1）what：我們需要一種途徑，了解用戶進行訂單審核的效率如何。

針對這個問題我們聯想到：

• 想要了解訂單處理效率，首先需要定義什么叫訂單的效率；在行業中有一種叫做「訂單生命周期」的專有名詞來表示訂單從創建到結束的時長，是一個可借鑒的概念。
• 針對我們的業務，一個工單的生命周期經歷了從創建——流轉&審核——通過，一個工單從創建到通過所經歷的時間是我們需要記錄的【度量】。

2）who：產品/運營/設計 三個業務方都關注訂單的效率

針對這個問題我們聯想到：

• 對于不同的角色，在檢測數據的時候都關注哪些維度？
• 訂單類型分審核單&生產單這兩種，兩種類型的訂單，訂單類型是一個必要維度。
• 時間是上述三個相關方都需要關注的維度，一個訂單在通過審核時的時間，是一種重要的分析維度；而“時間”維度，我們可以繼續拆分為：年——月——周——日的層次結構。
• 對于運營，了解不同行業的商家的訂單效率，對進行深入運營是必要的。而“行業”維度根據分類方式的不同，又可以歸類為一級行業（軟裝設計/板式家具/……），二級行業（整木定制/辦公家具定制/暖通/地板/瓷磚……）。
• 對于產品，為了更好地維護客情，對于特定的大客戶的數據需要重點關注。因此商家賬號的ID，也是重要的分析維度。

3）where：我們需要的數據要在哪里獲取？

針對這個問題我們聯想到：

• 與一般的用戶行為數據不同，訂單的數據都儲存在后臺的操作日志中。
• 需要的“行業”維度，可以復用其它團隊已經制定好的標簽。

4）why：效率是企業的生命，制造業中存在各種效率指標，如“人效”/“屏效”等。糟糕的使用效率會造成我們的產品在根本上是不可接受的，因此效率指標非常重要。

針對這個問題我們聯想到：

• 通過【訂單生命周期】統計的時間，可以在整體上評估訂單系統的流轉效率。但是僅僅依靠一個這樣的指標，缺少一些更細致的視角。可以增加對方案（訂單的載體）的停留時長的統計，來計算審核在整個生命周期中所耗時間的占比。
• The Rising Questions & Action：“ 根據問題1的答案，這還會引發什么其他問題，或者您將采取什么行動？”

在回答上面的4W的過程中，會引發其它衍生問題，例如 “訂單審核周期的時間的最小單位是什么？” 等等。

針對上述的其中衍生問題，可以再進行一輪kpi wheel的自問自答。比較簡單的衍生問題，不需要4個方面都進行問題分析。

4. 最終

在多次重復上述的兩個過程后，最終我們確定了要在產品中量化哪些 度量（Measure），以及這些度量需要哪些分析維度，并將所有需要的度量和相關的維度都用表格的形式記錄下來。

例如，“訂單從創建到最終通過的時長（h）”，是一個需要被量化的度量。它需要關聯的維度（Dimension）有時間、商家ID、一級行業、二級行業。

四、指標 Metric

研究完成菜譜，記錄✍️采購清單后，接下來的帶班過程就是準備食材并進行烹飪。

當你已經明確了要觀察的度量（Measure）、和需要關聯的維度（Dimension），下一步就是通過數據建設獲取這些度量，然后將度量加工成指標。

1. 建設埋點

獲取度量的過程就是“取數”的過程。想要創建看板，數據分析師需要通過各種方式獲取一張包含所有你需要的信息的寬表。

如何獲得這張包含一切關鍵信息的表格？我們需要借助埋點獲取數據。

所謂埋點就是在應用中特定的流程收集一些信息，用來跟蹤應用使用的狀況。

您可以把用戶在與您的網站或應用互動時觸發交互行為理解為一個“事件”，一個時間存在一個觸發的條件，當達到這個觸發條件后就會上傳請求，請求中會攜帶需要的“參數”。

例如“用戶點擊按鈕將商品加購到購物車”這個行為，每次用戶觸發這個行為后都會發送一個請求，而這個請求中會記錄：加購商品的金額/加購商品的類型/加購商品的商品ID……等信息。這些結構化的信息構成了我們需要的度量（Measure）與維度（Dimension）。

在完成了最基礎的埋點后，我們就獲得了最基礎的數據。

2. 如何建立有效指標建議

“指標”是量化衡量標準，未經加工的數據不具備可觀察的價值。

通過埋點，我們單純只是得到了若干張包含所有用戶信息的巨型表格，我們是分析不出什么有用信息的。為了更有效地去觀察和分析作為度量（Measure）的數據，就需要對埋點數據進行一定的加工，變得更加易于理解和表達。

當一個度量（Measure）的數據段與一個或多個特定維度（Dimension）之間互相聯系了起來，度量就成為了指標。

例如，同樣的一份關于【訪問用戶人數】這一度量，可以根據關聯的時間維度的不同，創建 DUV 和 MUV 等多個不同的指標。

如何創建一個有效的指標，結合筆者的工作經驗，下面給出三點建議。

1）為一個指標設想一個高級概念

首先指標的名稱需要客觀，要讓人乍一聽就能大概會意，例如：「加購商品操作每日點擊次數」。

而如果您定義的是類似：“軟件上手度”，這種概念比較晦澀、在業內又沒有約定俗成的定義的指標，可能需要重新考慮概念是否恰當。

每周訪問站點的用戶總數/ 每日訪問站點的用戶數/ 每日訪問站點的新手用戶數……這些指標既相互獨立，但反應的又是同一件事的客觀熟悉的時候，我們可以把這些詳細的指標統一用一個高級的指標概念來做一個歸納，例如“站點訪問用戶數”。

2）檢查并確定定義指標的細節

確定了指標的基礎概念后，需要檢查一遍指標的細節。

例如，“訂單生命周期”這個指標的定義中，生命周期是指一個訂單從創建到最后通過審核耗時，而與其關聯的維度有時間、訂單類型等。

需要強調的是，一個訂單可能會存在：創建時間、通過時間，這兩種不同的時間戳。而在“訂單生命周期”這個指標我們需要關聯的時間維度是【通過時間】。如果關聯是【創建時間】，則會得到另外一種完全不同的生命周期計算方式。

3）將測量到的度量數據，通過計算總結為一個指標

通過埋點收集到的是大量的數據，是一個巨大的整體，而指標則是描述總體特性的參數。

而把原始數據組織并總結成更易處理的形式的技術叫做描述性統計，一種最常見的方法是通過計算平均數的方法總結一組數據。

這些描述總體特性的參數中又存在不同的用途，有的用來描述頻數分布，有的用來描述集中趨勢：平均數，眾數、中位數，有的用來描述變異性：四分衛距、方差。我們需要根據自己的用途選擇合適的統計方式來構建指標。

根據統計方法的不同，常見的指標類型有以下幾種，他們擁有不同的分布類型和方差的計算公式

• 【 計數 Count 】
• 【 概率 Probability】
• 【 平均數 Average 】
• 【 中位數（或其它位數）Percentile】
• 【 比率 Rate 】
• 【 一般比例 Ratio 】

五、可視化 Visualize

烹飪好食材之后，接下來的工作就是擺盤與上菜。優秀的擺盤可以讓料理更加精致和高級，優秀的數據可視化可以幫助我們更好地觀察與分析數據，反之糟糕的數據可視化可能會讓我們丟失很多重要信息。

1. Why visual ？

為什么一定要使用看板（圖表）來觀察和分析數據？僅關注幾個關鍵指標的數據是否就已經足夠？

使用看板對指標進行觀察和分析的意義在于：相比單純的數字，圖表可以攜帶更多的展示維度（大小、長度、顏色、面積……），能幫助我們多維度地觀察數據、避免疏漏。

例如，安斯庫姆四重奏（Anscombe’s quartet）是四組基本的統計特性一致的數據，但由它們繪制出的圖表則截然不同。如果僅依靠基本的統計特性來觀察數據，我們很容易忽略一些重要信息。

選擇合適的圖表類型

BI工具中支持多種圖表類型，比如展示瀏覽路徑的“桑基圖”、展示轉化率的“漏斗圖”、甘特圖、散點圖等。

如何選擇合適的圖表來展示并分析你的數據可以參考下圖：

圖表種類繁多，但只要掌握其中的一小部分就能滿足絕大多數需求。對于大部分設計師，以下3種最基礎的圖表類型是最常用的：

1. 條形圖：條形圖是最常用的圖表類型。條形圖易于閱讀，我們用眼睛比較條形圖的末端，很容易快速得出結論：哪一類最大、哪一類最小以及類別之間的增減區別。
2. 線圖：線圖最常用于繪制連續的數據。因為線連接了點，這就暗示了點與點之間存在著離散數據（一系列數據分隔成不同的類別）間沒有的聯系。通常，連續性數據都以時間為單位：天、月、季度和年度。
3. 餅圖：餅圖在總量間各部分的占比時比較高效。

最后，當我們創建了許多看板后如何進行歸納？

我們可以將關注相同的問題的看板歸納在一起，就形成了一個關注同一類問題的Dashboard；對不同的 Dashboard 提取共性，將同一個業務的不同Dashboard組織起來，就形成了一個Report。一個Report內可以籠統的包含當前業務需要關注的所有信息。

例如：【訂單生命周期】關注的是企業的訂單效率問題，但并不是唯一關注效率的指標。

另外還有諸如：“審單員平均審核時長”這樣的人效指標的看板，這些看板同樣反饋的是訂單的效率。我們將關注相同的問題的看板歸納在一起，就形成了一個Dashboard，Dashboard內的看板與指標都有關注同樣的問題—效率。

除了效率，身為設計師的我們還需要關注很多其他的問題：比如使用的用戶的特征、流量的來源、用戶發起的行為等等，這些問題都可以擁有自己獨立的Dashboard。

最后這些Dashboard組織在一起，就成為了一個支持系統的觀察分析當前業務的體驗指標的完整報告。

2. 觀察與分析數據

“我們需要的不是數據，而是數據告訴我們的實事”。通過建立一個系統的監測體系的目的主要是為了從數據中探索：模式/異常。不管圖表的形式是什么，我們都需要留心觀察這兩者。

1）何為「模式」

模式即數據中的某項規律。

比如機場每月的旅客人數，雖然隨著時間推移變化不定，但是通過幾年的數據對比，我們可能發現旅客人數存在著季節性或周期性的變化，某些月份的旅客數量一致偏低，某些月份則一直偏高。

根據數據畫像我們可得知，某個產品的成熟期用戶占絕對多數的現狀，了解了這個「模式」，就可以更好地制定符合絕大多數用戶心智的設計策略

2）何為「異常」

異常即問題數據。

異常數據并非是錯誤數據，也有可能是設備記錄或人工錄入數據時出現的問題。我們通過異常異常分析，一方面可以分析異常原因；一方面可以發現現有系統的漏洞。

蘋果公司通過監控異常值、發現了位于深圳的AppleCare灰色產業，進而改善了AppleCare的產品策略，避免了巨大的損失

最后在觀察分析數據的過程中，有三個需要特別關注的數據的特性不要忘記。

① 數據具有可變性（VARIABILITY）

數據的可變性這一重要的特性讓我們可以從數據中獲取規律和關系。如果您構建的指標本身并不具備可變性了，那您很可能需要嘗試其他指標進行跟蹤和分析。

② 數據具有不確定性（UNCERTAINTY ）

很多數據都是只能提供一個估計而不是絕對準確的數量。例如：分析人員通常會通過樣本的數據，進而對整體的數據分布進行進行猜測。

③ 數據需要聯系上下文（ CONTEXT ）

數據分析離不開情境。我們知道，數據的產生必然是有其情境的，不過統計數據時，我們通常都要剝離情境；而當我們進一步分析數據時，又必須回到具體的情境中去。

例如：某個羽絨服經銷商發現某一年冬季的銷售額產生了明顯的下降。

這本應該是一個異常的信號，但我們不能簡單粗暴地定義這是一個糟糕的數據。因為實際上，銷售額下滑的哪一年是一個暖冬，且和同類的競品相比自己的產品銷售額下滑趨勢的更低。結合情景分析數據，往往能得到意想不到的結論。

本文參考文獻：

文章：Dashboard Design: Key Performance Indicators and Metrics —— Thomas Gonzalez

文章：【統計學】區分定類、定序、定距、定比變量——YYIverson

書籍：Tableau：數據可視化之極速BI —— 沈浩

書籍：Which chart or graph is right for you?——Tableau圖表白皮書

書籍：Data Points：Visualization That Means Something —— Nathan Yau

書籍：Storytelling With Data —— Cole Nussbaumer Knaflic

 

作者：曉虎；公眾號：酷家樂用戶體驗設計

本文由 @酷家樂用戶體驗設計 原創發布于人人都是產品經理，未經許可，禁止轉載

題圖來自 Unsplash，基于 CC0 協議