在電信行業，運營商構建了非常多的應用系統為廣大消費者提供各種特色服務，有一些系統的功能由于在業務操作的上下文中，涉及到多個業務系統的子功能，需要多個系統共同提供服務才能正常工作，導致任何系統出現異常都會影響到其余的系統，對企業形象和社會造成非常惡劣的影響。
而各業務系統的應用日志是了解業務系統是否正常運行的最直接可靠的窗口，通過統一收集、分類應用日志，并實現日志分析，可實現如下價值：
- 加強網絡運營效率：收集各類設備和應用的關聯行為，分析網絡通信服務質量，實現系統運維監控，提升網絡工作效率，改善客戶使用體驗。
- 合理配置渠道資源：針對不同類型與喜好特點的客戶群體，按渠道投放差異化的產品和服務，提高渠道利用效率。
- 客戶畫像與精確營銷：記錄客戶在各種渠道的行為和接觸信息，預測客戶行為動機，從而準確地推送個性化的服務和產品。
因此，電信運營商對于應用日志的監控力度非常大，一旦出現異常信號，需要及時通知操作人員進行問題定位與問題解決。但這種方式只能進行問題的事后補救處理，不能預先發現應用系統的隱藏問題。而且由于日志數據是典型的文本類半結構化大數據，傳統的關系型數據庫無法滿足海量日志數據的存儲與實時查詢分析需求。
1.用戶業務需求
- 業務問題溯源查詢，響應時間3秒內
- 基于日志的錯誤信息分析
- 日志關聯匹配分析
- 基于日志的系統問題探索和預警
- 多維度分析結果的聚集與實時展現
2.業務與技術挑戰
原解決方案
如下圖所示，用戶在項目初期基于Hadoop HDFS及Greenplum構建日志監控系統，并將原始日志文件保存在NAS文件系統中。
然后通過流處理引擎將日志中的每個交易號對應的日志報文對應文件的偏移記錄（位置）轉換成一個格式化記錄，并將生成的數據保存在 GP(Greenplum) 中。
用戶如果希望查詢某個交易號的明細日志，需要先到GP 庫中查找這個交易號對應在哪個文件中，并且知道了它在文件的偏移情況，打開文件，跳轉到對應的偏移上，才能看在完整的明細日志。
原方案存在問題與不足如下：
- 當應用日志數據量越來越大時，流處理引擎、GP 和NAS 的管理會越加復雜、困難。
- 將日志存放在NAS 的方法，Hadoop分布式計算框架很難與其整合，無法使用簡單工具（如Hive等）進行日志分析。
3.解決方案
用戶基于SequoiaDB數據庫+Hadoop框架重構了智能日志分析系統，在已有日志監控系統基礎上增加智能日志分析功能，可自動根據應用日志分析錯誤隱患，提高應用的糾錯能力。
如上圖所示，數據采集端將新增數據實時加載到SequoiaDB數據庫集群中，系統定時觸發程序每隔5分鐘啟動Hadoop MapReduce分析程序，分析結果通過GP進行多維分析查詢展現，當系統出現操作異常或者是用戶違規操作時，立刻通過進行系統操作告警。業務人員用戶可在Web操作界面通過SQL接口實時查詢應用日志，實現對錯誤信息的實時定位。
在此系統架構中，SequoiaDB巨杉數據庫發揮三大作用：
- 海量應用日志的數據存儲：大量的原始日志保存到SequoiaDB數據庫中，并按時間、交易號兩個字段均勻的分布到五個節點服務器的各自數據磁盤中。由于SequoiaDB數據庫原生就支持數據備份功能，保證數據安全的同時，解決了數據災備問題。
- 向Hadoop提供分析的原始數據：SequoiaDB數據庫能與Hadoop深度整合， MapReduce程序能無縫對接SequoiaDB數據源進行高效的迭代計算，也可以通過Hive SQL對分布的日志數據進行檢索，完成并行分布式計算。
- 實時SQL查詢：用戶在查詢某個交易號的明細日志，只需以SQL形式提交相應的交易號，SequoiaDB數據庫即按索引機制進行索引匹配，實時反饋出完整的日志報文，實現基于交易號的實時查詢，將處理流程大大簡化。
4.項目成果
智能運維監控
系統很好地滿足了對應用日志數據的實時統計及異常檢測的功能需求。
實時統計
異常檢測
運維簡單方便
相比起單純的HDFS文件系統，SequoiaDB數據庫在實現了對應用日志數據的集中統一存儲的同時，滿足了全量日志實時SQL查詢及向分析程序輸送數據的需求。
相比于引入HBase，Impala， Storm， Pig等框架的方法，基于SequoiaDB數據庫的方案運維簡單，開發方便，管理快捷，功能完善。
核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.vmgcyvh.cn/
本文標題：巨杉案例：基于日志的大數據運維管理平臺
相關文章
