??? 摘 要：提出統計分析系統不應該歸入普通管理信息系統，而應該根據用戶具體需求，充分分析其本質，利用數據倉庫技術進行開發和實現，并闡述了如何利用數據倉庫技術從需求分析到最終表現的開發全過程。
??? 關鍵詞：數據倉庫;統計分析;需求分析;工作流

?

??? 統計分析系統（Statistic Analysis System）不是歸入到普通管理信息系統MIS中的模塊或插件，而是建立在MIS基礎之上，具有一定輔助決策能力的獨立系統。往往在傳統MIS中嵌入統計分析系統，會造成MIS運行的數據吞吐瓶頸，給客戶帶來MIS運行緩慢的錯覺。尤其是當業務數據量很大的時候，這種情況會突顯出來。為此，使用有效的技術手段構造獨立的統計分析系統是很有必要的。在開發“文化稽查統計分析系統”項目的時候，采用了數據倉庫技術，構建起運行在“文化稽查管理信息系統”之上的統計分析系統。本文介紹了相關的構建過程和關鍵技術的實施。
1 需求分析
1.1 需求特點
??? 建立統計分析系統依然要經過嚴格的需求分析階段，只有在明確的需求指導下，才能開發出滿足客戶真正需要的系統。MIS系統是建立在非信息化的原始手工平臺上的全新系統，而該系統則是在原有的MIS系統開放平臺上構造上層系統，因此具兩大特點：(1)業務過程信息化。在需求分析階段不需要重新分析整個業務過程，因為這些復雜的業務流程已經整理并實現在良構的MIS中，需關注的應該是對于領導決策層關心的業務數據及其表現形式上。(2)無需采集數據。由于數據的采集過程已經由MIS完成，因此，只需要去分析現有的數據集即可。
1.2 關鍵業務需求
??? 正因為上述需求特點，可以將工作重心從整理業務流程上轉移到數據分析上。通過與客戶的交流，建立起共性需求。對于任何統計分析系統，都有對數據進行歸并和分類的過程，并且提供給決策層的數據往往是在某個層面上的匯總結果。因此，將“文化稽查統計分析系統”的需求歸納成：(1)建立分項統計功能。即對決策層面臨的“舉報”、“稽查”、“立案”、“處罰”等業務主題建立各自獨立的統計模塊。(2)確立統計方式為：匯總與分類，同時要多維度表現。即可以在任何統計分項上，考核各統計指標，建立起按照時間、地點、任務劃分的統計過程。(3)同時要采用靈活的表現方式。即可以以表格和圖形的方式展現給最終用戶。
??? 對整個統計過程簡單建模如圖1所示。這在需求上就確立了該系統的特點符合構造數據倉庫的特點，即面向主題，用于決策支持，與時間刻度相關的系統。

?

?

2 數據預處理
??? 采用基于工作流（Workflow）方式的數據預處理過程。在原有的MIS系統上很容易總結工作流。例如在該系統中，從原有的MIS中截獲的基本過程是：舉報、稽查、立案和處罰，但是這些只是基本工作過程，在它們之間還有一定的關聯關系，這就要通過對業務過程進行分析（ Business Process Analysis），以便更好地建立數據集。
2.1 工作流分析
??? 對于整個文化稽查業務基本上劃分出上述的5個過程（Process），在各過程之間是判斷與選擇的關聯關系。基本工作流程描述如圖2所示。

?

?

??? 對于一般的系統，可以從定義過程開始進行分析。
??? 定義 1：
???
??? P是定義在業務過程上的集合；R是定義在P上的關系對與條件判斷C的有序對集合。通過給定這樣兩組集合，可以在確立主題統計指標之間關系的時候進行直接關聯。
??? 這樣上述過程可以更加精確的描述：
??? P={p₁: 舉報, p₂: 稽查, p₃: 立案, p₄: 處罰, p₅: 終結 }
??? R={ (1, p₂>, c₁), (2, p₃>, c₂), (2, p₄>, c₃), (2, p₅>, c₄), (3, p₄>, c₅), (4, p₅>, c₆) }
??? C = {c₁: 接受, c₂: 待處理, c₃: 現場裁決, c₄: 正常, c₅: 裁決, c₆: 結案}
2.2 數據準備
??? 基于上述定義的工作流過程，可以確定需要數據的范疇，并且建立指標集。在數據預處理階段，將原有業務數據庫中的數據按照上述過程進行了劃分，確立了分別反映前4個過程的4個關鍵數據表，并且在它們之間建立了以集合C為條件的關聯關系。
??? JuBao(ID#, …)
??? JiCha(ID#, JuBaoID, LiAnID…)
??? ChuFa(ID#, JiChaID, …)
??? JieAn(ID#, ChuFaID, JiChaID)
??? 按照這4個表中的主外鍵確立過程關系，同時根據具體情況去除一些異常數據，如圖3所示。

?

?

3 數據倉庫建模
3.1 確立主題
??? 依照工作流總結的4個基本過程，可以定義出4個主題，如圖4所示，按照它們在需求階段確定的內容，劃分數據間的粒度大小。

?

?

??? 在粒度劃分上要遵循客戶實用性原則，即依照客戶需求將各維度（Dimension）劃分成不同的類別，以便于用戶識別。例如：時間維度，可以劃分成按年、季度、月份、周和日期的不同粒度。地區維度，可以劃分為市、區（縣）、街道等。
3.2 建立信息包
??? 確立主題之后，在主題的作用域內確立維度、事實（Facts），并建立起信息包（Information Package）。
??? 例如：對于“稽查”主題，在用戶看來需要了解的信息包括，稽查單位數、處罰數量、代立案數量等一些業務指標，而這些正好構成了我們要求解的事實。同時關心在不同時間片斷，不同地區，以及考量各業務部門之間的這些指標的變化情況，這樣就構成了統計時需要的維度。依次，建立如圖5所示的信息包。

?

?

3.3 建立星型模型
??? 信息包的確立是建立數據集合的基礎，但是需要將這種二維表現模型轉換成具有多維度表現的星型模型，如圖6所示。

?

?

4 實現數據倉庫并開發系統
4.1 基本過程
??? 星型模型指導我們去發現和抽取維度信息、事實數據，最終建立數據倉庫，為統計分析系統的開發奠定基礎。由模型到物理實現需要經歷如圖7所示的基本過程。

?

?

??? 建立數據倉庫前期需要對業務數據進行凈化，消除異常數據，提煉符合要求的基礎數據集，并在此之上依照星型模型構建各個主題的數據立方（Data Cube），最后將數據立方登臺到物理數據庫中，實現統計分析的進一步處理。
??? 例如對于“稽查”主題，我們首先尋找和構建維度表。 一般地，可以將維度表描述為：D = {di | i ∈N∧di ∈ R}。同時發現事實數據提取的業務表。在這里的事實業務表為上述4個基本表中的JiCha。在清理完上述事實表和構建好維度表之后，需要利用這些表格建立數據立方，計算出各項指標值。
??? 續上過程，一般在構建數據立方過程，可以采用標準SQL完成。一般可以描述為：
??? d_i×d_j（0< i,j ≤ Count(維度表) ∧i≠j） 即各維度的笛卡爾積。或：
??? SELECT COUNT(*), Date, District, …
??? FROM JICHA
??? GROUP BY Date, District, …
??? 最后將此結果集記錄在專門用于統計分析使用的物理數據庫中。
4.2 構建前端統計分析系統
??? 在完成數據倉庫的物理實現后，可以在此基礎上開發相應的統計分析系統，并且需要利用到很多表現豐富的前端處理技術。在此系統中，基本采用以下過程來建造這個前端，如圖8所示。

?

?

??? 在對統計結果進行展現的時候往往需要滿足客戶適時調整展現結果的需要，這就需要采用數據鉆取（Data Drill）技術，而這個技術在很多商業化的開發工具中都作為包的形勢提供給開發人員，因此，開發過程會相對方便和快捷。
??? 數據倉庫技術自提出到現在，具體在工程界的應用并不是十分到位，其中一個重要的原因在于客戶與開發組織在實現與之相關的項目時，往往不區分傳統業務系統和數據倉庫系統，這樣就會在概念和技術實現上受到阻礙，從而不能滿足最終用戶的需要。本文從建立統計分析系統在需求上的本質特征，提出兩者分離并形成層次關系，利用數據倉庫技術，從而很好地解決了上述不足。但是在實現過程中發現，對于實現這種統計分析系統，并非只限于采用數據倉庫技術的直接結果，項目的實施還要受到開發成本、用戶概念接受程度、現有MIS的完備程度等諸多因素影響，因此在實際開發過程中要權衡考慮。
參考文獻
[1]? KANTARDZI M. Data mining Concepts, Model, Methods and Algorithms[M]. Tsinghua University Publisher, 2003.
[2]? HAMMERGREN T. Data Warehouse Technology[M].Ventana Communications Group, Inc., 1997.