一、商務智能的定義
學術界對商務智能的定義并不統一。商務智能通常被理解為將企業中現有的數據轉化為知識,幫助企業做出明智的業務經營決策的系統化工具。這里的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據,以及來自企業所處的其他外部環境中的各種數據。而商務智能輔助的業務經營決策者,既可以是操作層的,也可以是戰術層和戰略層的決策。為了將數據轉化為知識,需要利用數據倉庫、聯機分析處理( OLAP) 和數據挖掘等技術。
筆者認為: 將商務智能利用現代信息技術收集、管理和分析結構化和非結構化的商務數據和信息,使之轉換成有用信息,并以可視化的形式加以表現,使企業的各級決策者獲得知識和洞察力,采取有效的商務行動。它是完善各種商務流程、提升各方面商務績效、增強綜合競爭力的有力工具,它是數據倉庫、OLAP 和數據挖掘等技術的綜合運用。
目前,各個行業都面對著激烈的競爭,及時、準確的決策,已成為企業生存與發展的生命線。隨著信息技術在企業中的普遍應用,企業產生了大量有價值的數據,但這些數據大都存儲于不同的系統中,數據的定義和格式也不統一,商務智能系統能從不同的數據源搜集的數據中提取有用的信息,并對這些數據進行清洗,以確保數據的正確性,在對數據進行轉換、重構等操作后,將其存入數據倉庫或數據集市中,再運用適合的查詢分析工具、數據挖掘工具、OLAP 工具等管理分析工具對信息進行處理,使信息變為輔助決策的知識,并將知識以適當的方式展示在決策者面前,供決策者運籌帷幄。
二、商務智能系統的基本架構
1. 數據源層。數據源層是商務智能系統的數據來源,它保存著系統所需的最原始數據以及數據之間的關系,保持著歷史的真實性。
2. 數據整合層。數據整合層是商務智能系統的根本要求,它將來自不同數據源的信息合并為相同的信息結構,消除重復、無效的數據,提取、凈化和傳遞數據到數據倉庫的文件中。
3. 數據倉庫層。數據倉庫層是商務智能系統的基礎,是數據分析的源數據,保存著大量的、面向主題的、集成的數據。
4. 數據分析層。數據分析層是智能系統的關鍵,一般采用 OLAP 技術和數據挖掘技術對數據進行分析和處理。
5. 數據展現層。數據展現層向商務智能環境的收益者提供實際的分析結果,同時保證系統分析結果的可視化,有報表、圖表、數據表形式的信息等。
三、商務智能系統的關鍵技術
( 一) 數據倉庫技術。數據倉庫(Data Warehouse)是一種數據集合,這些數據來自于異地、異構數據源或數據庫,經加工后在數據倉庫中存儲、提取和維護,面向復雜的數據分析,用于支持管理決策。數據倉庫一般規模極大,數據純凈度極高并且檢索性能極佳。有些數據倉庫包含多達 200 - 500G 的數據,但是巨大的規模并未以質量低下為代價,數據的全面過濾使它們比一般商用數據庫品質高。
數據倉庫專家 Inmon W.H.在其著作中描述如下: 數據倉庫 (Data Warehouse) 是一個面向主題的 (Subject Oriented)、集成的 (Integrate)、相對穩定的 (Non Volatile)、反映歷史變化( Time Variant ) 的數據集合,用于支持管理決策。
數據倉庫具有以下 6 個特點:
1. 面向主題。數據倉庫中的數據是按照一定的主題組織起來的。所謂主題,是指一個在高層次上對數據進行抽象分類的標準,每個主題對應一個目標分析領域或者叫做職能域,各領域彼此獨立,各有自己的邏輯內涵,相互之間沒有交叉。如一個銀行的數據倉庫的主題可以是客戶、財務、結算等,這些主題基本與銀行各職能劃分相對應。
2. 集成性。由于數據來源的異構性,所有歷史數據在進入數據倉庫之前,必須經過數據重組,以有效地支持后續的聯機數據分析和數據挖掘等技術。即必須消除源數據中的不一致性,以保證數據倉庫內的信息是整個企業的一致的、全局的信息。
3. 反映歷史變化。數據倉庫中的數據都是歷史數據,記錄著企業從過去某一時點到目前的各個階段的信息,通過這些信息,可以對企業的發展歷程和未來趨勢做出定量分析和預測。數據的保存時限要能夠滿足決策分析的需要,一般為5-10 年。
4. 相對穩定性 。數據倉庫的數據主要供企業決策分析用,所涉及的數據操作主要是數據查詢,某個數據一旦進入數據倉庫,一般情況下將被長期保留,對數據倉庫修改和刪除操作很少,通常只進行定期的加載、刷新,不進行實時更新。
5. 數據的集合性。數據的集合性是指數據倉庫必須以某種數據集合的形式存儲起來,數據倉庫采用的數據集合方式主要以多維數據庫方式存儲的多維模式、以關系數據庫方式存儲的關系模式,以及多維模式和關系模式的混合模式。
6. 決策支持作用。決策支持作用是數據倉庫核心的應用,建立數據倉庫的目的是將企業多年來收集到的數據按照一個統一的規則組織存儲,然后通過對海量的數據進行分析、提供決策,幫助企業及時、準確地把握機會,以在激烈的市場競爭中取得最大的利潤。
數據倉庫技術是信息技術飛速發展的結果,它與傳統的面向操作的數據庫技術相比有很大的不同,從結構上看,數據倉庫主要包括: 數據源、數據準備區、數據倉庫數據庫、數據集市、知識挖掘庫、管理工具和應用工具等部分。
數據源——— 數據倉庫的數據來源。
數據準備區——— 數據源中的數據經抽取、轉換,最終成為數據倉庫所需要的數據。
數據倉庫數據庫——— 負責存儲用于分析、決策的數據,包含對元數據的管理。
數據集市、知識挖掘庫——— 局部數據倉庫或部門數據倉庫,為指定的應用提供數據。
管理工具和應用工具——— 包括各種對數據倉庫的數據分析和數據訪問,如利用 OLAP 進行數據分析,數據倉庫應用程序等。
( 二) OLAP 分析技術。聯機分析處理技術是基于數據倉庫的數據分析,并將其轉換成輔助決策的信息。它是針對特定問題的聯機數據訪問和數據分析而產生的一種技術,它滿足 OLTP 從多種角度對數據進行快速、一致、交互地分析,克服傳統 OLTP 交互能力差的弊病,使決策者能夠對數據進行深入觀察。
OLAP 是由 E.F.Godd 于1993年提出的,Godd認為聯機事務處理已經不能滿足終端用戶對數據庫查詢分析的需要,SQL 對大數據庫進行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關系數據庫進行大量計算才能得到結果,而查詢的結果并不能滿足決策者提出的需求。因此,Godd 提出了多維數據庫和多維分析的概念,即 OLAP。它是針對特定問題的聯機數據訪問和分析。通過對多維數據的多種可能的觀察形式進行快速、穩定、一致和交互性的存取,允許管理決策人員對數據進行深入觀察。
OLAP 的多 維 分 析 是指 對 多 維 數據 集 中的 數 據 用 切 片( 一維 ) 切塊 ( 二維 ) ,鉆取 ( 向下鉆取和向上鉆取,鉆取的深度與維數劃分的層次相對應)、旋轉 (通過旋轉可以得到不同視角的數據) 等方式分析數據,使用戶從多個角度、多個側面去觀察數據倉庫中的數據。通過這些方法能夠使分析人員深入地了解數據倉庫中數據所蘊含的信息,從而挖掘隱藏在數據背后的商業模式。
在商務智能的建設過程中,數據倉庫和數據集市都是數據的存儲區域,都在為數據的在線分析和挖掘提供數據源。數據倉庫和數據集市主要是范圍的不同。數據倉庫面向企業的所有部門,所以它的需求是全企業范圍的,一般情況下,它的數據按照第三范式組織。數據集市是面向企業的某一個部門的,需求比較集中,以多維方式的形式管理數據。
(三) 數據挖掘技術。數據挖掘(Data M fining)指的是從大型數據庫或數據倉庫中提取人們感興趣的知識,這些知識是隱含的、事先未知的、潛在的、有用的信息。通過決策樹、遺傳算法、神經網絡、聚類等數據挖掘方法,對存在于數據庫或數據倉庫中的大量原始數據進行深層次的挖掘,為決策者提供有用的信息。
1. 數據挖掘研究的主要內容
數據挖掘所發現的知識最常見的有以下 4 類:
(1) 廣義知識: 廣義知識是指類別特征為概括性描述的知識,是根據數據的微觀特性發現其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識,反映同類事物共同性質,是對數據的概括精煉和抽象。廣義知識的發現方法和實現技術有很多,如數據立方體、面向屬性的歸約等。
(2) 關聯知識: 關聯知識是指反映一個事件和其他事件之間信賴或關聯的知識。如果兩項或多項屬性之間存在關聯,那么其中一項的屬性值就可以依據其他屬性值進行預測。著名的關聯規則發現方法是 R. Agrawal 提出來的 Apriori算法。
(3) 分類知識: 分類知識是反映同類事物共同性質的特征型和不同事物之間的差異特征型知識。最為典型的分類方法是基于決策樹的分類方法,還有統計、粗糙集 (Rough Set)、神經網絡等方法。
(4) 預測型知識: 預測型知識根據時間序列型數據,由歷史的和當前的數據去推測未來的數據,也可以認為它是以時間為關鍵屬性的關聯知識。目前,時間序列預測方法有經典的統計方法、神經網絡和機器學習等。
此外,還可以發現其他類型的知識,如偏差型知識,它是對差異和極端特例的描述,揭示事物偏離常規的異常現象,如標準類外的特例、數據聚類外的離群值等。所有這些知識都可以在不同的概念層次上被發現,并隨著概念層次的提升,從微觀到中觀、到宏觀,以滿足不同用戶不同層次決策的需要。
2. 數據挖掘的常用技術
(1) 神經網絡: 它從結構上模仿生物神經元結構,是一種通過訓練來學習的非線性預測模型,可以完成分類、聚類、特征采掘等多種挖掘任務。
(2) 決策樹: 代表著決策集的樹形結構。
(3) 規則推導: 從統計意義上對數據中的“如果——— 那么”規則進行尋求和推導。
(4) 遺傳算法: 基于進化理論,并采用遺傳結合、遺傳變異以及自然選擇等設計方法的優化技術。
(5) 近鄰算法: 將數據集合中每一記錄進行分類的方法。這種技術通過 n 個與之最相近的歷史記錄的組合來辨別新的記錄。
( 四) 數據倉庫和 OLAP 與數據挖掘的關系。數據挖掘不是必須基于數據倉庫的,數據挖掘能夠通過數據抽取、數據預處理和轉換等操作來完成數據挖掘前的準備工作,繼而進行數據挖掘。然而,這部分的工作需要耗費大量的時間和精力,而進行數據挖掘又無法避開這些操作,因此,將數據挖掘工作基于數據倉庫技術來進行,能夠省去數據的前期準備等工作,大大提高數據挖掘效率,因為數據倉庫在建立的時候,已經完成了數據的抽取、轉換和加載等操作。
OLAP 作為數據倉庫中的關鍵技術,不僅可以在使用多維數據模型的數據倉庫或數據集市上進行,充分發揮 OLAP的聯機分析的功能和特性。將 OLAP 與數據挖掘進行結合,能夠為數據挖掘提供基礎數據支持,提高數據挖掘的效率,而且還可以實現聯機分析數據挖掘的功能。用戶常常希望穿越數據庫,選擇相關數據,在不同的粒度上進行分析,并以不同的形式顯示結果。聯機分析數據挖掘提供在不同的數據子集和不同的抽象層上進行數據挖掘的工具,在數據立方體和挖掘的中間結果數據上進行下鉆、上卷、旋轉、切片、切塊等操作,提高數據挖掘探測性的數據分析的能力和靈活性。
采用數據挖掘與數據倉庫和 OLAP 技術有機結合的方式,可以使數據挖掘具有更高的實用性和高效性。
四、結束語
隨著市場競爭的日益加劇,國內外眾多商務智能軟件公司開發了數據分析和數據挖掘軟件來分析海量數據,幫助管理者穿越數據迷霧,賦予數據第二次生命,相信在不久的將來,人們在面對大量的數據時不再感到迷茫,而是能夠以用戶需要的方式重新組織這些數據,并通過對這些數據的分析,挖掘出潛在的模式,有效地預測市場的行為,做出正確的決策。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.vmgcyvh.cn/
本文標題:商務智能系統實現的關鍵技術
本文網址:http://www.vmgcyvh.cn/html/consultation/10825915989.html