數(shù)據(jù)技術(shù)：資源、隊(duì)列與集群

前幾天，壯實(shí)在網(wǎng)上沖浪的時(shí)候，收到一個(gè)目瞪狗呆的提問(wèn)邀請(qǐng)。

第一反應(yīng)是，握草，這算法是把“身價(jià)”和“負(fù)債”整混了吧……

不過(guò)，定睛一看，好啊，這不就是人民大眾喜聞樂(lè)見(jiàn)的話(huà)題嗎？

好吧，看看你國(guó)凡爾賽文學(xué)的水平發(fā)展的如何。

當(dāng)我津津有味的欣賞時(shí)，直到我看到最后一句：

好家伙， 2080的顯卡？不同意？

身價(jià)千萬(wàn)的有錢(qián)人裝逼失敗，下一個(gè)。

還2080，愛(ài)他，就給他3090！

啥是2080？那今天文章你一定要看?。?/p>

不然被假冒高富帥套娃??！

好啦，今天壯實(shí)跟大家聊聊數(shù)據(jù)背后的底層技術(shù)：資源、隊(duì)列和集群。（內(nèi)涵2080是啥）

每天，有大量的數(shù)據(jù)查詢(xún)?nèi)蝿?wù)需要在機(jī)器上完成運(yùn)行，這就需要高功能的計(jì)算機(jī)——服務(wù)器來(lái)完成。

所以我們常說(shuō)的資源就是服務(wù)器資源，物理表現(xiàn)形式就是物理機(jī)。如下圖：

那么：

廣泛定義上，資源包括服務(wù)器資源和網(wǎng)絡(luò)。

狹義定義上，資源是指服務(wù)器資源中的 內(nèi)存、CPU、顯卡等。

CPU和內(nèi)存是一組概念，GPU和顯存是一組概念。

CPU和GPU都是用于計(jì)算，內(nèi)存和顯存都是用于存儲(chǔ)，相應(yīng)的計(jì)算對(duì)應(yīng)相應(yīng)的存儲(chǔ)。

●CPU：CPU（Central Processing Unit，中央處理器）是解釋計(jì)算機(jī)指令和處理計(jì)算機(jī)軟件中數(shù)據(jù)的核心部件。

●內(nèi)存：俗名是內(nèi)存條。CPU在計(jì)算后會(huì)把數(shù)據(jù)存儲(chǔ)到內(nèi)存中。如電腦上顯示的8G、16G，就是指內(nèi)存條的容量。

CPU、內(nèi)存和輸入/輸出設(shè)備是電子計(jì)算機(jī)三大核心部件。

●GPU：GPU（Graphics Processing Unit，圖形處理器）是顯卡上的一塊芯片，專(zhuān)門(mén)進(jìn)行圖像運(yùn)算工作的微處理器。因GPU強(qiáng)大的運(yùn)算能力，還廣泛運(yùn)用于密碼破解、機(jī)器學(xué)習(xí)、金融分析等領(lǐng)域。

●顯存：顯存是顯卡的組成部分，主要用來(lái)存儲(chǔ)GPU需要處理的各種數(shù)據(jù)、模型。

你知道顯卡是什么嗎？

顯卡包括GPU、顯存、電路板和BIOS固件，GPU是顯卡的核心。

如果你清楚口紅對(duì)于女生的意義，那你就能get到顯卡對(duì)于男生的嗨皮。

簡(jiǎn)單來(lái)說(shuō)，計(jì)算機(jī)按上顯卡，就會(huì)讓游戲畫(huà)質(zhì)更清晰、操作更流暢。

雙12、圣誕節(jié)、元旦、新年、情人節(jié)就要到了，你可以挑一個(gè)好節(jié)日送給他顯卡。

好的，型號(hào)都給你準(zhǔn)備好了！?。≥^好的配置就是3個(gè)sk2禮盒的價(jià)格！

2080和3090都在里面了……

隨著公司的數(shù)據(jù)量越來(lái)越大，出于節(jié)省成本的考慮，就需要考慮 每個(gè)業(yè)務(wù)線(xiàn)需要多少機(jī)器（機(jī)器背后資源）；這些資源如何分配；分配后，這些資源使用的先后順序等等問(wèn)題。這時(shí)，就需要進(jìn)行「資源管理」。

有的資源管理會(huì)用到「隊(duì)列」這種方式，隊(duì)列可以幫助劃分離線(xiàn)計(jì)算任務(wù)先后運(yùn)行的順序，達(dá)到計(jì)算過(guò)程中使用的資源可管理。

如上圖所示，假設(shè)有4個(gè)離線(xiàn)計(jì)算任務(wù)同時(shí)在跑。如果隊(duì)列上只能跑3個(gè)任務(wù)，那么隊(duì)列就被跑滿(mǎn)了，第4個(gè)任務(wù)就需要等待隊(duì)列空余，才能繼續(xù)跑了。

除此之外，還有鏈?zhǔn)疥?duì)列、雙端隊(duì)列、循環(huán)隊(duì)列等等的隊(duì)列處理順序的方式，我們大致介紹一種符合FIFO（先進(jìn)先出）的隊(duì)列處理方式，以供參考。

集群是一種多維度管理資源方式，它按業(yè)務(wù)線(xiàn)劃分，劃分方式跟公司對(duì)資源的管理方式有關(guān)。

• 實(shí)時(shí)計(jì)算集群

類(lèi)型：storm、kafka、flink集群

• 離線(xiàn)計(jì)算集群

類(lèi)型：hadoop集群

綜上所述，我們簡(jiǎn)單的來(lái)理解：

1.資源就是數(shù)據(jù)在計(jì)算、存儲(chǔ)所消耗的資源，物理表現(xiàn)進(jìn)行就是機(jī)房中的物理機(jī)。

2.隊(duì)列就是資源消耗&使用如何分配的一種規(guī)則。

3.集群是多維管理資源的方式。

而根據(jù)Google曾經(jīng)公布用電量數(shù)據(jù)，2010年Google用電量22.6億千瓦時(shí)。

對(duì)比2010年北京市年用電量為809.902億千瓦時(shí)。Google2010年的用電量會(huì)占到北京市一天總用電量的3%。

當(dāng)然，據(jù)我所致，現(xiàn)在的大廠已經(jīng)降低到%零點(diǎn)幾了，但是這些物理機(jī)器一天消耗的電量，還是可供3萬(wàn)多人使用24小時(shí)。

所以，互聯(lián)網(wǎng)還真是講規(guī)模效應(yīng)的一個(gè)行業(yè)～

要不，電費(fèi)，也挺貴的……

引用數(shù)據(jù)：

《北京市統(tǒng)計(jì)局：2018年常駐人口2154.2萬(wàn)人 同比下降0.8%》

《北京全社會(huì)用電量情況》

-End-

　　以上就是為大家介紹的數(shù)據(jù)技術(shù)：資源、隊(duì)列與集群，希望對(duì)大家有所幫助，現(xiàn)在互聯(lián)網(wǎng)已經(jīng)進(jìn)入到了短視頻時(shí)代，如果需要抖音廣告開(kāi)戶(hù)，抖音直播間付費(fèi)推廣開(kāi)戶(hù)或者托管的，都可以找我們咨詢(xún)，現(xiàn)在開(kāi)戶(hù)優(yōu)惠多多，還有返點(diǎn)，添加微信了解：veteran88