Spark介紹
按照官方的定義，Spark 是一個(gè)通用，快速，適用于大規(guī)模數(shù)據(jù)的處理引擎。
通用性：我們可以使用Spark SQL來(lái)執(zhí)行常規(guī)分析， Spark Streaming 來(lái)流數(shù)據(jù)處理， 以及用Mlib來(lái)執(zhí)行機(jī)器學(xué)習(xí)等。Java，python，scala及R語(yǔ)言的支持也是其通用性的表現(xiàn)之一。
快速： 這個(gè)可能是Spark成功的最初原因之一，主要?dú)w功于其基于內(nèi)存的運(yùn)算方式。當(dāng)需要處理的數(shù)據(jù)需要反復(fù)迭代時(shí)，Spark可以直接在內(nèi)存中暫存數(shù)據(jù)，而無(wú)需像Map Reduce一樣需要把數(shù)據(jù)寫(xiě)回磁盤(pán)。官方的數(shù)據(jù)表明：它可以比傳統(tǒng)的Map Reduce快上100倍。
大規(guī)模：原生支持HDFS，并且其計(jì)算節(jié)點(diǎn)支持彈性擴(kuò)展，利用大量廉價(jià)計(jì)算資源并發(fā)的特點(diǎn)來(lái)支持大規(guī)模數(shù)據(jù)處理。
環(huán)境準(zhǔn)備
mongodb下載
解壓安裝
啟動(dòng)mongodb服務(wù)
$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log
pom依賴
dependency>
groupId>org.mongodb.spark/groupId>
artifactId>mongo-spark-connector_2.11/artifactId>
version>${spark.version}/version>
/dependency>
實(shí)例代碼
object ConnAppTest {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.master("local[2]")
.appName("ConnAppTest")
.config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb輸入
.config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb輸出
.getOrCreate()
// 生成測(cè)試數(shù)據(jù)
val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
// 存儲(chǔ)數(shù)據(jù)到mongodb
MongoSpark.save(documents)
// 加載數(shù)據(jù)
val rdd = MongoSpark.load(spark)
// 打印輸出
rdd.show
}
}
總結(jié)
以上所述是小編給大家介紹的Spark整合Mongodb的方法，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
您可能感興趣的文章:- linux環(huán)境不使用hadoop安裝單機(jī)版spark的方法
- 淺談七種常見(jiàn)的Hadoop和Spark項(xiàng)目案例
- Python搭建Spark分布式集群環(huán)境
- 使用docker快速搭建Spark集群的方法教程
- centOS7下Spark安裝配置教程詳解
- Spark學(xué)習(xí)筆記（一）Spark初識(shí)【特性、組成、應(yīng)用】
- 初識(shí)Spark入門(mén)
- 詳解Java編寫(xiě)并運(yùn)行spark應(yīng)用程序的方法
- java 中Spark中將對(duì)象序列化存儲(chǔ)到hdfs
- Spark學(xué)習(xí)筆記 （二）Spark2.3 HA集群的分布式安裝圖文詳解
