該項(xiàng)目依托HadoopJava開(kāi)發(fā)環(huán)境，協(xié)同分布式協(xié)作服務(wù)框架Zookeeper，通過(guò)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)實(shí)時(shí)的從各大家裝網(wǎng)站，各大網(wǎng)絡(luò)電商家電銷售數(shù)據(jù)的爬取，結(jié)合Hive數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行數(shù)據(jù)的歸集整理，通過(guò)相應(yīng)的數(shù)據(jù)模型，復(fù)雜的算法分析計(jì)算，數(shù)據(jù)可視化分析，為客戶提供精準(zhǔn)的裝修材料品牌，使供應(yīng)商能夠更為精準(zhǔn)的抓住市場(chǎng)需求，提升公司的效益。

該項(xiàng)目使用Spark技術(shù)生態(tài)棧中的Spark Core、Spark SQL 和Spark Streaming技術(shù)框架，對(duì)各大婚戀網(wǎng)站上爬取的網(wǎng)頁(yè)數(shù)據(jù)信息，通過(guò)Jsoup技術(shù)網(wǎng)頁(yè)數(shù)據(jù)解析，采集線上數(shù)據(jù)，以及通過(guò)線下婚介數(shù)據(jù)的分析整理，進(jìn)行線上數(shù)據(jù)的實(shí)時(shí)計(jì)算業(yè)務(wù)和離線數(shù)據(jù)統(tǒng)計(jì)分析，經(jīng)過(guò)數(shù)據(jù)信息的清洗，篩選，依托科學(xué)的數(shù)據(jù)模型，使婚戀匹配的成功率大幅的提升。

該項(xiàng)目后臺(tái)采用Storm、Kafka、Hbase框架技術(shù)進(jìn)行整合開(kāi)發(fā)，前端采用jQuery動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)和HighCharts各類圖表開(kāi)發(fā)，實(shí)現(xiàn)實(shí)時(shí)無(wú)刷新加載數(shù)據(jù)?，通過(guò)系統(tǒng)能夠?qū)崟r(shí)的了解平臺(tái)商品的銷售情況，庫(kù)存情況，預(yù)測(cè)未來(lái)的商品需求，使平臺(tái)能夠節(jié)約成本的同時(shí)實(shí)現(xiàn)利潤(rùn)最大化。

該項(xiàng)目采用Flume+Hadoop+Hbase+SpringMVC+
MyBatis+MySQL+Highcharts框架實(shí)現(xiàn)的電商離線數(shù)據(jù)分析。依托平臺(tái)的數(shù)據(jù)信息，日志收集分析、用戶的瀏覽行為，點(diǎn)擊行為，挖掘用戶更深層次的喜歡，精準(zhǔn)推薦符合用戶需求的旅游線路，推送符合用戶需要的周邊產(chǎn)品，旅游商品的廣告，提高擴(kuò)大產(chǎn)出。