前端數(shù)據(jù)開發(fā)有哪些

　　你有兩年以上的前端開發(fā)經(jīng)驗嗎?你會用數(shù)據(jù)開發(fā)輔助技能嗎?下面由學(xué)習(xí)啦小編為大家整理的前端數(shù)據(jù)開發(fā)，希望大家喜歡!

　　前端數(shù)據(jù)開發(fā)

　　01、Spark

　　一個高速、通用大數(shù)據(jù)計算處理引擎。擁有Hadoop MapReduce所具有的優(yōu)點，但不同的是Job的中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的MapReduce的算法。它可以與Hadoop和Apache Mesos一起使用，也可以獨立使用。

　　02、Kinesis

　　可以構(gòu)建用于處理或分析流數(shù)據(jù)的自定義應(yīng)用程序，來滿足特定需求。Amazon Kinesis Streams 每小時可從數(shù)十萬種來源中連續(xù)捕獲和存儲數(shù)TB數(shù)據(jù)，如網(wǎng)站點擊流、財務(wù)交易、社交媒體源、IT日志和定位追蹤事件。

　　03、Trident

　　是對Storm的更高一層的抽象，除了提供一套簡單易用的流數(shù)據(jù)處理API之外，它以batch(一組tuples)為單位進行處理，這樣一來，可以使得一些處理更簡單和高效。

　　前端數(shù)據(jù)查詢開發(fā)

　　01、Presto

　　是一個開源的分布式SQL查詢引擎，適用于交互式分析查詢，可對250PB以上的數(shù)據(jù)進行快速地交互式分析。Presto的設(shè)計和編寫是為了解決像Facebook這樣規(guī)模的商業(yè)數(shù)據(jù)倉庫的交互式分析和處理速度的問題。Facebook稱Presto的性能比諸如Hive和MapReduce要好上10倍有多。

　　02、 Drill

　　于2012年8月份由Apache推出，讓用戶可以使用基于SQL的查詢，查詢Hadoop、NoSQL數(shù)據(jù)庫和云存儲服務(wù)。它能夠運行在上千個節(jié)點的服務(wù)器集群上，且能在幾秒內(nèi)處理PB級或者萬億條的數(shù)據(jù)記錄。它可用于數(shù)據(jù)挖掘和即席查詢，支持一系列廣泛的數(shù)據(jù)庫，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亞馬遜S3、Azure Blob Storage、谷歌云存儲和Swift。

　　03、Phoenix

　　是一個Java中間層，可以讓開發(fā)者在Apache HBase上執(zhí)行SQL查詢。Phoenix完全使用Java編寫，并且提供了一個客戶端可嵌入的JDBC驅(qū)動。Phoenix查詢引擎會將SQL查詢轉(zhuǎn)換為一個或多個HBase scan，并編排執(zhí)行以生成標準的JDBC結(jié)果集。

　　前端數(shù)據(jù)框架開發(fā)

　　01、 Hadoop

　　一個開源框架，適合運行在通用硬件，支持用簡單程序模型分布式處理跨集群大數(shù)據(jù)集，支持從單一服務(wù)器到上千服務(wù)器的水平scale up。Apache的Hadoop項目已幾乎與大數(shù)據(jù)劃上了等號，它不斷壯大起來，已成為一個完整的生態(tài)系統(tǒng)，擁有眾多開源工具面向高度擴展的分布式計算。高效、可靠、可伸縮，能夠為你的數(shù)據(jù)存儲項目提供所需的YARN、HDFS和基礎(chǔ)架構(gòu)，并且運行主要的大數(shù)據(jù)服務(wù)和應(yīng)用程序。

　　02、Samza

　　出自于LinkedIn，構(gòu)建在Kafka之上的分布式流計算框架，是Apache頂級開源項目?？芍苯永肒afka和Hadoop YARN提供容錯、進程隔離以及安全、資源管理。

　　03、Storm

　　Storm是Twitter開源的一個類似于Hadoop的實時數(shù)據(jù)處理框架。編程模型簡單，顯著地降低了實時處理的難度，也是當下最人氣的流計算框架之一。與其他計算框架相比，Storm最大的優(yōu)點是毫秒級低延時。