ERP系統(tǒng)中數(shù)據(jù)倉庫的應用
時間：
楊照華1由 分享
摘要：隨著信息的日益豐富，知識爆炸成為必然，從數(shù)據(jù)中發(fā)現(xiàn)知識（KDD）和數(shù)據(jù)挖掘已成為重要的技術(shù)。在廣泛實施了ERP后，如何從海量的業(yè)務信息中找到有價值的知識已成為企業(yè)經(jīng)營成敗的關(guān)鍵，在這種背景下，將數(shù)據(jù)遷移到數(shù)據(jù)倉庫變得非常重要。數(shù)據(jù)倉庫的建設是一個復雜、長期的過程，特別是針對企業(yè)ERP系統(tǒng)的建設。我們通過一個汽修行業(yè)進銷存系統(tǒng)數(shù)據(jù)倉庫的構(gòu)建，系統(tǒng)闡述了如何在ERP環(huán)境中構(gòu)建數(shù)據(jù)倉庫，并對系統(tǒng)的物理實施進行了論述。
關(guān)鍵詞：信息；ERP；數(shù)據(jù)倉庫；OLTP；OLAP；數(shù)據(jù)挖掘
當今社會是一個信息爆炸的時代，信息豐富而知識貧乏的現(xiàn)象非常普遍。“啤酒搭著尿布賣”的故事曾經(jīng)觸動了多少人的神經(jīng)。信息作為現(xiàn)代企業(yè)的寶貴資源，占據(jù)著越來越重要的地位，已經(jīng)成為現(xiàn)代企業(yè)科學管理的基礎，正確決策的前提，有效調(diào)控的手段。
目前，面對激烈的市場競爭，許多大型企業(yè)紛紛實施“以客戶為中心，以服務求發(fā)展”的經(jīng)營策略。 如何優(yōu)化客戶關(guān)系，增強企業(yè)的競爭優(yōu)勢已經(jīng)成為現(xiàn)代企業(yè)關(guān)注的焦點?，F(xiàn)有的應用系統(tǒng)往往以“產(chǎn)品”為中心，以“單據(jù)（票證）”處理為基礎，是面向聯(lián)機事務處理（Online Transaction Processing，簡稱OLTP）的系統(tǒng)，而以客戶為中心的經(jīng)營管理模式要求對現(xiàn)有業(yè)務系統(tǒng)的數(shù)據(jù)進行有效的集成并加以重組，建立面向聯(lián)機分析處理（Online Analysis Processing，簡稱OLAP）的系統(tǒng)。通過分析客戶的行為，掌握不同類型客戶的特征，進而為客戶提供更加優(yōu)質(zhì)的服務，尤其是個性化的服務，同時全面掌握并理解、分析企業(yè)業(yè)務的發(fā)生情況，充分發(fā)揮企業(yè)現(xiàn)已積累的數(shù)據(jù)，為各級管理人員提供科學化管理和決策的有力依據(jù)，以提高企業(yè)的經(jīng)營業(yè)績，保證利潤的持續(xù)增長。
同時，隨著企業(yè)信息化程度的不斷提高，各類應用系統(tǒng)同時并存并支撐著企業(yè)的業(yè)務應用。越來越多企業(yè)的信息化主管在開發(fā)企業(yè)應用時已經(jīng)考慮到數(shù)據(jù)集成和將來對數(shù)據(jù)的整體有效利用，因此，在實施了ERP解決方案之后，很多企業(yè)選擇實施數(shù)據(jù)倉庫產(chǎn)品來避免信息孤島，實現(xiàn)應用的內(nèi)部聯(lián)系和信息的共享。
什么是數(shù)據(jù)倉庫呢？一般認為，數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策(Decision Making Support)。
面向主題：操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務處理任務，各個業(yè)務系統(tǒng)之間各自分離，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織的。
集成的：數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。
相對穩(wěn)定的：數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。
反映歷史變化：數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。
一個典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理、OLAP服務器以及前端工具與應用四個部分。
數(shù)據(jù)源：是數(shù)據(jù)倉庫系統(tǒng)的基礎，是整個系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。
數(shù)據(jù)的存儲與管理：是整個數(shù)據(jù)倉庫系統(tǒng)的核心。在現(xiàn)有各業(yè)務系統(tǒng)的基礎上，對數(shù)據(jù)進行抽取、清理，并有效集成，按照主題進行重新組織，最終確定數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu)，同時組織存儲數(shù)據(jù)倉庫元數(shù)據(jù)（具體包括數(shù)據(jù)倉庫的數(shù)據(jù)字典、記錄系統(tǒng)定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)加載頻率以及業(yè)務規(guī)則等信息）。
OLAP服務器：對分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進行再次重組，以支持用戶多角度、多層次的分析，發(fā)現(xiàn)數(shù)據(jù)趨勢。其具體實現(xiàn)可以分為：ROLAP、MOLAP和HOLAP。
前端工具與應用：前端工具主要包括各種數(shù)據(jù)分析工具、報表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市開發(fā)的應用。其中數(shù)據(jù)分析工具主要針對OLAP服務器，報表工具、數(shù)據(jù)挖掘工具既針對數(shù)據(jù)倉庫，同時也針對OLAP服務器。
在傳統(tǒng)的ERP系統(tǒng)中，一般的核心應用都是進銷存管理和賬務管理，數(shù)據(jù)庫中的數(shù)據(jù)也是緊緊圍繞產(chǎn)品信息、票據(jù)和賬目明細進行的。這樣的數(shù)據(jù)層可以很好地實現(xiàn)OLTP，但如果要為企業(yè)高層提供決策數(shù)據(jù)的話，就有必要對這樣原始的、松散的、孤立的數(shù)據(jù)進行抽取、清洗、加上時間標記并進行合理的分類，以使之能夠進入數(shù)據(jù)倉庫并支持OLAP。
下面通過一個小型汽修行業(yè)進銷存系統(tǒng)（以下簡稱A系統(tǒng)）數(shù)據(jù)倉庫的建立，來說明ERP系統(tǒng)數(shù)據(jù)倉庫建立的步驟及應注意的一些問題。
A系統(tǒng)原有的數(shù)據(jù)層是典型的數(shù)據(jù)庫系統(tǒng)，核心表為產(chǎn)品信息表、客戶信息表、供應商信息表、庫存表、銷售表、客戶明細表和供應商明細表等。這些表格在運行中很好地解決了OLTP，同時可對企業(yè)高層提供基本的一些OLAP，如庫存查詢、銷售查詢等，但這些功能相對高層決策的需求是遠遠不夠的，因此有必要對原系統(tǒng)的數(shù)據(jù)庫進行改造，建立合理有效的數(shù)據(jù)集市或數(shù)據(jù)倉庫，以適應企業(yè)遠期的戰(zhàn)略目標。
數(shù)據(jù)倉庫的建立是一個復雜的過程，首先要進行規(guī)劃和分析，我們對原系統(tǒng)的數(shù)據(jù)進行分析，將原來孤立分散的數(shù)據(jù)元素進行抽取和清洗分類，把數(shù)據(jù)劃分成了以下幾個類：客戶類（包含原有系統(tǒng)中的客戶信息、客戶賬目明細等相關(guān)客戶信息）、供應商類（包含相關(guān)供應商所有信息）、賬目類（包含進銷存的帳目往來及明細數(shù)據(jù)）、票據(jù)類（包含相關(guān)帳目票據(jù)）等。數(shù)據(jù)類的劃分將原來松散孤立的數(shù)據(jù)根據(jù)使用特征有機地結(jié)合到了一起，可以有效地支持OLAP，同時為以后系統(tǒng)的擴展及升級也打下了良好的基礎。不致于因一發(fā)而動全身。
將原有的數(shù)據(jù)庫數(shù)據(jù)進行清洗分類后，下一步即開始數(shù)據(jù)倉庫物理結(jié)構(gòu)及存儲的實施。目前，IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有實力的公司相繼（通過收購或研發(fā)的途徑）推出了自己的數(shù)據(jù)倉庫解決方案，BO和Brio等專業(yè)軟件公司也在前端在線分析處理工具市場上占有一席之地。在A項目數(shù)據(jù)倉庫解決方案的選擇上，我們選擇了Microsoft的SQL Server 2005作為數(shù)據(jù)倉庫實現(xiàn)工具。做為微軟新一代的數(shù)據(jù)庫產(chǎn)品，SQL Server 2005提供了很多新的功能，性能更加強大，同時，A系統(tǒng)原來的數(shù)據(jù)層是采用SQL Server 2000，因此采用SQL Server 2005可以很好地實現(xiàn)數(shù)據(jù)的提取和轉(zhuǎn)換。同時，由于都是微軟的產(chǎn)品，我們今后擴充A系統(tǒng)時，前臺的查詢和報表工具就可以采用dot net平臺實現(xiàn)，無論采用C#還是VB.NET語言都可以實現(xiàn)強大的OLAP分析功能。
最終，由于經(jīng)過了詳細的設計和建模，A系統(tǒng)數(shù)據(jù)倉庫的實施取得了良好的效果，系統(tǒng)的轉(zhuǎn)換較為成功，新系統(tǒng)在數(shù)據(jù)倉庫的支持下為高層決策提供了極好的支持。同時，由于采用了數(shù)據(jù)倉庫，A系統(tǒng)的功能和擴展性也有了很大提高。為以后進一步進行操作數(shù)據(jù)存儲（ODS）和數(shù)據(jù)挖掘(DATA MINEING)打下了堅實的基礎。
參考文獻：
[1]張友生，徐峰 《系統(tǒng)分析師技術(shù)指南》 清華大學出版社 2004
[2]http://www.enet.com.cn/article/2006/1212/A20061212332464.shtml 《九大數(shù)據(jù)倉庫解決方案的性能和特點比較》
[3]http://www.enet.com.cn/article/2006/1212/A20061212332464_2.shtml《九大數(shù)據(jù)倉庫解決方案的性能和特點比較》
[4]朱德利《SQLServer2005數(shù)據(jù)挖掘與商業(yè)智能完全解決方案》 電子工業(yè)出版社 2007
[5]飛思科技產(chǎn)品研發(fā)中心編《Oracle 9i數(shù)據(jù)倉庫構(gòu)建技術(shù)》電子工業(yè)出版社 2003。
關(guān)鍵詞：信息；ERP；數(shù)據(jù)倉庫；OLTP；OLAP；數(shù)據(jù)挖掘
當今社會是一個信息爆炸的時代，信息豐富而知識貧乏的現(xiàn)象非常普遍。“啤酒搭著尿布賣”的故事曾經(jīng)觸動了多少人的神經(jīng)。信息作為現(xiàn)代企業(yè)的寶貴資源，占據(jù)著越來越重要的地位，已經(jīng)成為現(xiàn)代企業(yè)科學管理的基礎，正確決策的前提，有效調(diào)控的手段。
目前，面對激烈的市場競爭，許多大型企業(yè)紛紛實施“以客戶為中心，以服務求發(fā)展”的經(jīng)營策略。 如何優(yōu)化客戶關(guān)系，增強企業(yè)的競爭優(yōu)勢已經(jīng)成為現(xiàn)代企業(yè)關(guān)注的焦點?，F(xiàn)有的應用系統(tǒng)往往以“產(chǎn)品”為中心，以“單據(jù)（票證）”處理為基礎，是面向聯(lián)機事務處理（Online Transaction Processing，簡稱OLTP）的系統(tǒng)，而以客戶為中心的經(jīng)營管理模式要求對現(xiàn)有業(yè)務系統(tǒng)的數(shù)據(jù)進行有效的集成并加以重組，建立面向聯(lián)機分析處理（Online Analysis Processing，簡稱OLAP）的系統(tǒng)。通過分析客戶的行為，掌握不同類型客戶的特征，進而為客戶提供更加優(yōu)質(zhì)的服務，尤其是個性化的服務，同時全面掌握并理解、分析企業(yè)業(yè)務的發(fā)生情況，充分發(fā)揮企業(yè)現(xiàn)已積累的數(shù)據(jù)，為各級管理人員提供科學化管理和決策的有力依據(jù)，以提高企業(yè)的經(jīng)營業(yè)績，保證利潤的持續(xù)增長。
同時，隨著企業(yè)信息化程度的不斷提高，各類應用系統(tǒng)同時并存并支撐著企業(yè)的業(yè)務應用。越來越多企業(yè)的信息化主管在開發(fā)企業(yè)應用時已經(jīng)考慮到數(shù)據(jù)集成和將來對數(shù)據(jù)的整體有效利用，因此，在實施了ERP解決方案之后，很多企業(yè)選擇實施數(shù)據(jù)倉庫產(chǎn)品來避免信息孤島，實現(xiàn)應用的內(nèi)部聯(lián)系和信息的共享。
什么是數(shù)據(jù)倉庫呢？一般認為，數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策(Decision Making Support)。
面向主題：操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務處理任務，各個業(yè)務系統(tǒng)之間各自分離，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織的。
集成的：數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。
相對穩(wěn)定的：數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。
反映歷史變化：數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。
一個典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理、OLAP服務器以及前端工具與應用四個部分。
數(shù)據(jù)源：是數(shù)據(jù)倉庫系統(tǒng)的基礎，是整個系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。
數(shù)據(jù)的存儲與管理：是整個數(shù)據(jù)倉庫系統(tǒng)的核心。在現(xiàn)有各業(yè)務系統(tǒng)的基礎上，對數(shù)據(jù)進行抽取、清理，并有效集成，按照主題進行重新組織，最終確定數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu)，同時組織存儲數(shù)據(jù)倉庫元數(shù)據(jù)（具體包括數(shù)據(jù)倉庫的數(shù)據(jù)字典、記錄系統(tǒng)定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)加載頻率以及業(yè)務規(guī)則等信息）。
OLAP服務器：對分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進行再次重組，以支持用戶多角度、多層次的分析，發(fā)現(xiàn)數(shù)據(jù)趨勢。其具體實現(xiàn)可以分為：ROLAP、MOLAP和HOLAP。
前端工具與應用：前端工具主要包括各種數(shù)據(jù)分析工具、報表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市開發(fā)的應用。其中數(shù)據(jù)分析工具主要針對OLAP服務器，報表工具、數(shù)據(jù)挖掘工具既針對數(shù)據(jù)倉庫，同時也針對OLAP服務器。
在傳統(tǒng)的ERP系統(tǒng)中，一般的核心應用都是進銷存管理和賬務管理，數(shù)據(jù)庫中的數(shù)據(jù)也是緊緊圍繞產(chǎn)品信息、票據(jù)和賬目明細進行的。這樣的數(shù)據(jù)層可以很好地實現(xiàn)OLTP，但如果要為企業(yè)高層提供決策數(shù)據(jù)的話，就有必要對這樣原始的、松散的、孤立的數(shù)據(jù)進行抽取、清洗、加上時間標記并進行合理的分類，以使之能夠進入數(shù)據(jù)倉庫并支持OLAP。
下面通過一個小型汽修行業(yè)進銷存系統(tǒng)（以下簡稱A系統(tǒng)）數(shù)據(jù)倉庫的建立，來說明ERP系統(tǒng)數(shù)據(jù)倉庫建立的步驟及應注意的一些問題。
A系統(tǒng)原有的數(shù)據(jù)層是典型的數(shù)據(jù)庫系統(tǒng)，核心表為產(chǎn)品信息表、客戶信息表、供應商信息表、庫存表、銷售表、客戶明細表和供應商明細表等。這些表格在運行中很好地解決了OLTP，同時可對企業(yè)高層提供基本的一些OLAP，如庫存查詢、銷售查詢等，但這些功能相對高層決策的需求是遠遠不夠的，因此有必要對原系統(tǒng)的數(shù)據(jù)庫進行改造，建立合理有效的數(shù)據(jù)集市或數(shù)據(jù)倉庫，以適應企業(yè)遠期的戰(zhàn)略目標。
數(shù)據(jù)倉庫的建立是一個復雜的過程，首先要進行規(guī)劃和分析，我們對原系統(tǒng)的數(shù)據(jù)進行分析，將原來孤立分散的數(shù)據(jù)元素進行抽取和清洗分類，把數(shù)據(jù)劃分成了以下幾個類：客戶類（包含原有系統(tǒng)中的客戶信息、客戶賬目明細等相關(guān)客戶信息）、供應商類（包含相關(guān)供應商所有信息）、賬目類（包含進銷存的帳目往來及明細數(shù)據(jù)）、票據(jù)類（包含相關(guān)帳目票據(jù)）等。數(shù)據(jù)類的劃分將原來松散孤立的數(shù)據(jù)根據(jù)使用特征有機地結(jié)合到了一起，可以有效地支持OLAP，同時為以后系統(tǒng)的擴展及升級也打下了良好的基礎。不致于因一發(fā)而動全身。
將原有的數(shù)據(jù)庫數(shù)據(jù)進行清洗分類后，下一步即開始數(shù)據(jù)倉庫物理結(jié)構(gòu)及存儲的實施。目前，IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有實力的公司相繼（通過收購或研發(fā)的途徑）推出了自己的數(shù)據(jù)倉庫解決方案，BO和Brio等專業(yè)軟件公司也在前端在線分析處理工具市場上占有一席之地。在A項目數(shù)據(jù)倉庫解決方案的選擇上，我們選擇了Microsoft的SQL Server 2005作為數(shù)據(jù)倉庫實現(xiàn)工具。做為微軟新一代的數(shù)據(jù)庫產(chǎn)品，SQL Server 2005提供了很多新的功能，性能更加強大，同時，A系統(tǒng)原來的數(shù)據(jù)層是采用SQL Server 2000，因此采用SQL Server 2005可以很好地實現(xiàn)數(shù)據(jù)的提取和轉(zhuǎn)換。同時，由于都是微軟的產(chǎn)品，我們今后擴充A系統(tǒng)時，前臺的查詢和報表工具就可以采用dot net平臺實現(xiàn)，無論采用C#還是VB.NET語言都可以實現(xiàn)強大的OLAP分析功能。
最終，由于經(jīng)過了詳細的設計和建模，A系統(tǒng)數(shù)據(jù)倉庫的實施取得了良好的效果，系統(tǒng)的轉(zhuǎn)換較為成功，新系統(tǒng)在數(shù)據(jù)倉庫的支持下為高層決策提供了極好的支持。同時，由于采用了數(shù)據(jù)倉庫，A系統(tǒng)的功能和擴展性也有了很大提高。為以后進一步進行操作數(shù)據(jù)存儲（ODS）和數(shù)據(jù)挖掘(DATA MINEING)打下了堅實的基礎。
參考文獻：
[1]張友生，徐峰 《系統(tǒng)分析師技術(shù)指南》 清華大學出版社 2004
[2]http://www.enet.com.cn/article/2006/1212/A20061212332464.shtml 《九大數(shù)據(jù)倉庫解決方案的性能和特點比較》
[3]http://www.enet.com.cn/article/2006/1212/A20061212332464_2.shtml《九大數(shù)據(jù)倉庫解決方案的性能和特點比較》
[4]朱德利《SQLServer2005數(shù)據(jù)挖掘與商業(yè)智能完全解決方案》 電子工業(yè)出版社 2007
[5]飛思科技產(chǎn)品研發(fā)中心編《Oracle 9i數(shù)據(jù)倉庫構(gòu)建技術(shù)》電子工業(yè)出版社 2003。