在近日上海舉辦的“2013中華架構師大會”上，來自多個互聯(lián)網(wǎng)領域的架構師們分享有關大數(shù)據(jù)架構、電商技術架構、網(wǎng)頁游戲架構等技術以及實踐案例，從中，使架構師們相互了解到不同產品及需求所需要的架構設計、支撐系統(tǒng)以及大數(shù)據(jù)處理及存儲等方面的干貨。

在當天的架構分享中，來自唯品會的架構師主要介紹了唯品會網(wǎng)站的日志平臺架構方面的數(shù)據(jù)收集及海量處理和實時處理，對于電商網(wǎng)站而言，數(shù)據(jù)的收集和處理關乎著網(wǎng)站是否能更好的挖掘到有用信息以及更好的運用，唯品會的平臺架構中主要運用了Flume、Kafka、ElasticSearch、Storm、Zookeeper、Redis、MySQL、Hive這幾種工具，其中Kafka是一個高吞吐量分布式消息系統(tǒng)，kafka的數(shù)據(jù)只會順序append，數(shù)據(jù)的刪除策略是累積到一定程度或者超過一定時間再刪除。Kafka另一個獨特的地方是將消費者信息保存在客戶端而不是MQ服務器，這樣服務器就不用記錄消息的投遞過程，每個客戶端都自己知道自己下一次應該從什么地方什么位置讀取消息，消息的投遞過程也是采用客戶端主動pull的模型，這樣大大減輕了服務器的負擔。

針對這樣的架構設計，用戶在網(wǎng)頁的瀏覽和體驗方面，也同樣離不開頁面加速架構，以帝聯(lián)科技的靜態(tài)頁面加速為例：首先，靜態(tài)頁面包含了圖片、文字、flash動畫等文件，所以對于CDN的節(jié)點架構就需要考慮到靜態(tài)頁面的文件屬性。靜態(tài)頁面區(qū)別于其他動態(tài)以及流媒體文件，它的更新頻率相對來說較低，所以利用緩存技術是優(yōu)質的快速加載方法。

帝聯(lián)科技的靜態(tài)頁面加速服務是針對ICP運營商網(wǎng)站上的html文件、flash動畫以及各種文件類型的圖片而專門設計的加速產品，它的CDN架構屬性是建立在緩存技術的基礎上，在終端用戶的訪問周邊建立Cache節(jié)點，同時網(wǎng)站上的所有文件可以通過定期和不定期的方式在帝聯(lián)CDN節(jié)點上進行更新，定期更新時CDN中心網(wǎng)絡主動更新源站數(shù)據(jù)，再通過智能解析系統(tǒng)將內容進行優(yōu)化分發(fā)到帝聯(lián)CDN邊緣節(jié)點，不定期更新可以通過帝聯(lián)CDN客戶服務系統(tǒng)進行主動推送更新完成。這樣便構成了靜態(tài)頁面加速的CDN架構系統(tǒng)，以此保證終端用戶的高速訪問和網(wǎng)絡體驗。

除了走在前端的架構師需要思考更多的架構設計和數(shù)據(jù)收集處理等方面的知識，作為維護平臺運轉的運維也是其中不可忽視的重要環(huán)節(jié)，架構師做運維需要有工匠之心，一定要保證數(shù)據(jù)的準確性（不要不在乎0.1%的數(shù)據(jù)差異），因為網(wǎng)站的核心內容即是數(shù)據(jù)，同時需要更加細心以及有大局觀。