正文

收集多平臺(tái)數(shù)據(jù)的平臺(tái)（收集多平臺(tái)數(shù)據(jù)的平臺(tái)有哪些）

發(fā)布時(shí)間：2023-05-25 02:13:27 稿源：創(chuàng)意嶺閱讀： 105

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于收集多平臺(tái)數(shù)據(jù)的平臺(tái)的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁(yè)版、PC客戶端和批量生成器

問(wèn)友Ai官網(wǎng)：https://ai.de1919.com。

本文目錄:

了解下數(shù)據(jù)的平臺(tái)都有哪些呢？謝了
數(shù)據(jù)分析平臺(tái)有哪些
大數(shù)據(jù)平臺(tái)的軟件有哪些？
數(shù)據(jù)分析平臺(tái)有哪些
大數(shù)據(jù)采集平臺(tái)有哪些？

收集多平臺(tái)數(shù)據(jù)的平臺(tái)（收集多平臺(tái)數(shù)據(jù)的平臺(tái)有哪些）

了解下數(shù)據(jù)的平臺(tái)都有哪些呢？謝了

眾所周知，百度憑借在大數(shù)據(jù)領(lǐng)域多年的深厚技術(shù)積累，一直沖在產(chǎn)業(yè)智能化的最前線。在去年的百度AI開(kāi)發(fā)者大會(huì)上，百度大數(shù)據(jù)發(fā)布了全新的大數(shù)據(jù)產(chǎn)品技術(shù)棧，覆蓋了數(shù)據(jù)工程、數(shù)據(jù)科學(xué)、數(shù)據(jù)產(chǎn)品和行業(yè)解決方案，并推出了百度點(diǎn)石大數(shù)據(jù)開(kāi)放平臺(tái)。今年，百度大數(shù)據(jù)又會(huì)帶來(lái)哪些新的突破和進(jìn)展呢？
在7月3日的百度大腦論壇上，百度大數(shù)據(jù)部高級(jí)總監(jiān)郭謝以“百度大數(shù)據(jù)技術(shù)開(kāi)放平臺(tái)”為主題進(jìn)行了演講，讓我們通過(guò)下面精彩內(nèi)容分享來(lái)深入了解一下。
百度大數(shù)據(jù)部高級(jí)總監(jiān) 郭謝
經(jīng)過(guò)持續(xù)的建設(shè)，百度點(diǎn)石已成為國(guó)內(nèi)第一家落地的大數(shù)據(jù) iPaaS 平臺(tái)，聚焦解決大數(shù)據(jù)產(chǎn)業(yè)中的安全和效率兩大問(wèn)題。點(diǎn)石平臺(tái)有三大核心特性：“安全的數(shù)據(jù)融合加工環(huán)境”，是聚焦解決安全問(wèn)題，這也是大數(shù)據(jù)應(yīng)用的關(guān)鍵前提。“多層次開(kāi)放的可定制組件”以及“功能一體化的大數(shù)據(jù)開(kāi)發(fā)平臺(tái)”，則是聚焦解決效率問(wèn)題，只有降低了大數(shù)據(jù)的開(kāi)發(fā)及應(yīng)用門檻，才能使大數(shù)據(jù)價(jià)值更加充分地釋放出來(lái)。
安全的數(shù)據(jù)融合加工環(huán)境，為打破數(shù)據(jù)孤島提供強(qiáng)力支撐
隨著大數(shù)據(jù)行業(yè)的迅速發(fā)展，數(shù)據(jù)如何安全地應(yīng)用是擺在每一家企業(yè)和機(jī)構(gòu)面前的難題，任何一個(gè)環(huán)節(jié)的疏漏，都可能造成寶貴的數(shù)據(jù)資產(chǎn)的流失。
針對(duì)可信云端計(jì)算、多方安全計(jì)算、聯(lián)合建模等安全計(jì)算的常見(jiàn)場(chǎng)景，百度大數(shù)據(jù)部研發(fā)了相關(guān)核心技術(shù)，通過(guò)技術(shù)手段來(lái)保證數(shù)據(jù)安全。由于信息學(xué)、密碼學(xué)知識(shí)的復(fù)雜性，計(jì)算效率往往會(huì)大幅下降，難以工業(yè)化落地。百度通過(guò)強(qiáng)大的工程能力和對(duì)核心技術(shù)的攻關(guān)，同時(shí)提供了云、端兩套安全方案，大幅提升了計(jì)算性能，使這些場(chǎng)景都可以在當(dāng)前算力條件下實(shí)際落地，使數(shù)據(jù)安全解決方案可以適配更多的場(chǎng)景。
案例：與清華大學(xué)攜手為城市治理提供新思路
城市品質(zhì)評(píng)估是近年各地政府智慧城市建設(shè)中的重要課題，粗放式城市發(fā)展導(dǎo)致城市空間品質(zhì)良莠不齊，甚至出現(xiàn)空間失序。清華大學(xué)建筑學(xué)院基于大規(guī)模街景圖片數(shù)據(jù)，使用人工判別與計(jì)算機(jī)深度學(xué)習(xí)等方法對(duì)城市空間失序現(xiàn)象的分布、程度、類型與原因等進(jìn)行分析，開(kāi)發(fā)城市品質(zhì)評(píng)估模型力圖解決該難題。
通過(guò)點(diǎn)石平臺(tái)云端的隔離域和安全建模環(huán)境，清華大學(xué)將自有數(shù)據(jù)和數(shù)據(jù)供應(yīng)商的街景數(shù)據(jù)進(jìn)行了安全的融合建模，依托更加豐富的街景數(shù)據(jù)樣本，模型效果大幅提升，并在此過(guò)程中保證了數(shù)據(jù)的可用不可見(jiàn)，防止數(shù)據(jù)流失，有力保障了街景數(shù)據(jù)所有方的利益，也為這些寶貴數(shù)據(jù)以后的變現(xiàn)提供了實(shí)際支撐。
多層次開(kāi)放的可定制組件，積木式快捷搭建企業(yè)級(jí)應(yīng)用
百度在多年的大數(shù)據(jù)實(shí)踐過(guò)程中，積累了眾多業(yè)界領(lǐng)先的核心技術(shù)能力。現(xiàn)在通過(guò)點(diǎn)石平臺(tái)將這些能力開(kāi)放出來(lái)，使開(kāi)發(fā)者可以充分復(fù)用已有的各種開(kāi)放組件，采用積木式應(yīng)用構(gòu)建理念，盡可能降低大數(shù)據(jù)開(kāi)發(fā)應(yīng)用的綜合成本。其中，開(kāi)放的可定制組件分成了多個(gè)層次，既有粒度細(xì)、可定制性高的基礎(chǔ)算法組件；也有粒度粗的場(chǎng)景化業(yè)務(wù)組件。開(kāi)發(fā)者通過(guò)融入深層次的業(yè)務(wù)理解，將平臺(tái)開(kāi)放組件進(jìn)行二次集成與開(kāi)發(fā)，即可低成本地建立定制化的應(yīng)用服務(wù)，并發(fā)布到點(diǎn)石平臺(tái)的應(yīng)用市場(chǎng)，為更多的使用方提供服務(wù)。
案例：與天聞數(shù)媒共建智能稿件審核新場(chǎng)景
傳統(tǒng)的稿件審校流程需要經(jīng)過(guò)人工的三道審核才可被發(fā)布出來(lái)。隨著互聯(lián)網(wǎng)和新媒體的發(fā)展，各類媒體生產(chǎn)的內(nèi)容越來(lái)越多，傳播效率和影響面也越來(lái)越大，但現(xiàn)有的審校機(jī)制還依然停留在傳統(tǒng)的人工逐字逐句的審核上。
百度和合作伙伴天聞數(shù)媒聯(lián)合開(kāi)發(fā)的智能稿件審核系統(tǒng)利用百度在智能勘誤領(lǐng)域的AI技術(shù)沉淀，結(jié)合合作伙伴天聞對(duì)媒體行業(yè)的深刻理解，為某頭部報(bào)業(yè)客戶提供智能稿件糾錯(cuò)服務(wù)，對(duì)文本中的錯(cuò)誤信息進(jìn)行識(shí)別和提示，保證重要表述的準(zhǔn)確性。
功能一體化的大數(shù)據(jù)開(kāi)發(fā)平臺(tái)，打通應(yīng)用開(kāi)發(fā)全流程
在點(diǎn)石平臺(tái)上做大數(shù)據(jù)開(kāi)發(fā)的優(yōu)勢(shì)主要體現(xiàn)在三方面：高效、易用、先進(jìn)。
首先，在高效方面，點(diǎn)石平臺(tái)提供一站式的大數(shù)據(jù)開(kāi)發(fā)環(huán)境，解決以往開(kāi)發(fā)過(guò)程中組件分散、協(xié)同運(yùn)維難度高的難題，大幅提升開(kāi)發(fā)者的工作效率。
其次，在易用性方面，通過(guò)自動(dòng)機(jī)器學(xué)習(xí)可以完成自動(dòng)搜索優(yōu)化模型，充分釋放數(shù)據(jù)價(jià)值，不再需要付出高昂的人力成本去進(jìn)行模型的構(gòu)建優(yōu)化等工作。
最后，在先進(jìn)性方面，點(diǎn)石平臺(tái)原生集成了百度先進(jìn)的AI技術(shù)，如PaddlePaddle、NLP技術(shù)等，讓業(yè)界領(lǐng)先的AI技術(shù)為你所用。
案例：助力卓思快速搭建智能營(yíng)銷新模式
在日趨激烈的汽車市場(chǎng)競(jìng)爭(zhēng)環(huán)境下，汽車廠商越來(lái)越多依賴互聯(lián)網(wǎng)大數(shù)據(jù)分析，輔助制定營(yíng)銷方案、選擇投放策略等。通過(guò)優(yōu)化營(yíng)銷及銷售政策，實(shí)現(xiàn)優(yōu)化分配資源、優(yōu)化銷售效果的目的。
通過(guò)使用點(diǎn)石平臺(tái)的數(shù)據(jù)安全融合服務(wù)，卓思實(shí)現(xiàn)了多方數(shù)據(jù)的安全融合建模。同時(shí)，根據(jù)具體的應(yīng)用場(chǎng)景，集成了平臺(tái)相關(guān)的開(kāi)放組件，最終快速搭建起SaaS產(chǎn)品，形成汽車營(yíng)銷產(chǎn)品矩陣，并在點(diǎn)石平臺(tái)發(fā)布。在實(shí)際生產(chǎn)效果驗(yàn)證中，營(yíng)銷拉新和流失會(huì)員召回等核心指標(biāo)都取得了很好的效果，大幅提升了產(chǎn)品競(jìng)爭(zhēng)力。
為個(gè)人開(kāi)發(fā)者提供提升舞臺(tái)，讓大數(shù)據(jù)普惠千萬(wàn)行
點(diǎn)石平臺(tái)在過(guò)去一年多的時(shí)間里，支持了多場(chǎng)國(guó)內(nèi)外大數(shù)據(jù)競(jìng)賽，提供了從底層算力、數(shù)據(jù)處理、特征工程、在線編程環(huán)境、模型訓(xùn)練及調(diào)優(yōu)的全流程支持。參賽選手只需要一臺(tái)電腦，即可完成整個(gè)比賽。通過(guò)成本和門檻的大幅降低，參賽選手可以把精力聚焦到最需要?jiǎng)?chuàng)造性的工作上。未來(lái)，會(huì)有更多的機(jī)構(gòu)發(fā)布它們的產(chǎn)業(yè)難題，讓全世界的開(kāi)發(fā)者通過(guò)“眾智眾創(chuàng)”的大數(shù)據(jù)技術(shù)，幫助機(jī)構(gòu)尋找解決良方。
以上就是在本次百度開(kāi)發(fā)者大會(huì)上百度大數(shù)據(jù)發(fā)布的重要理念和進(jìn)展，可以清晰可見(jiàn)百度大數(shù)據(jù)正在生態(tài)賦能中積極發(fā)力。隨著大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展，百度期望通過(guò)產(chǎn)品、技術(shù)、渠道等多方位合作與伙伴共同挖掘數(shù)據(jù)價(jià)值，攜手幫助廣大的企業(yè)和機(jī)構(gòu)實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)，點(diǎn)石成金，共創(chuàng)未來(lái)。

數(shù)據(jù)分析平臺(tái)有哪些

作為一個(gè)新興的市場(chǎng)領(lǐng)域，自助式BI的廠商眾多，不同廠商推出的自助式BI產(chǎn)品，在易用性、復(fù)雜性和功能上各不相同。有些產(chǎn)品可能主要用于簡(jiǎn)單的儀表盤和可視化，而不能承擔(dān)更復(fù)雜的任務(wù)，如自助數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)發(fā)現(xiàn)或交互式可視化探索。也有類似于Smartbi的全能型BI工具，支持從多數(shù)據(jù)源整合、ETL數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)可視化、數(shù)據(jù)分析、數(shù)據(jù)填報(bào)、移動(dòng)應(yīng)用的全線功能?？傊x擇適合自己的自助式BI，大幅降低商業(yè)智能的使用門檻，是企業(yè)從數(shù)據(jù)分析中獲益的最快路徑。像思邁特軟件開(kāi)發(fā)的Smartbi自助分析平臺(tái)，它主要圍繞業(yè)務(wù)人員提供企業(yè)級(jí)數(shù)分析工具和服務(wù)，以業(yè)務(wù)、問(wèn)題為向?qū)?，讓企業(yè)里的每一個(gè)人釋放數(shù)據(jù)價(jià)值，讓大數(shù)據(jù)應(yīng)用和分析走進(jìn)員工和管理者工作中，激發(fā)各層人員對(duì)數(shù)據(jù)的認(rèn)知、挖掘和運(yùn)用；通過(guò)推動(dòng)全員自助分析、數(shù)據(jù)共享，提升企業(yè)數(shù)據(jù)資產(chǎn)價(jià)值，促進(jìn)業(yè)務(wù)發(fā)展、風(fēng)險(xiǎn)控制和內(nèi)部管理，進(jìn)而推動(dòng)數(shù)字化轉(zhuǎn)型大數(shù)據(jù)可視化是進(jìn)行各種大數(shù)據(jù)分析解決的最重要組成部分之一，通過(guò)思邁特軟件Smartbi數(shù)據(jù)加工工作都得到了極大的簡(jiǎn)化，采用“類Excel數(shù)據(jù)透視表”的設(shè)計(jì)，多維分析不再需要建立模型，就能夠組合維度、匯總計(jì)算、切片、鉆取，洞察數(shù)據(jù)。不僅如此，任何字段都可直接作為輸出字段或篩選條件，輕松實(shí)現(xiàn)對(duì)數(shù)據(jù)的查詢與探索。
Smartbi產(chǎn)品功能設(shè)計(jì)全面，涵蓋數(shù)據(jù)提取、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)共享四個(gè)環(huán)節(jié)，幫助客戶從數(shù)據(jù)的角度描述業(yè)務(wù)現(xiàn)狀，分析業(yè)務(wù)原因，預(yù)測(cè)業(yè)務(wù)趨勢(shì)，推動(dòng)業(yè)務(wù)變革。
思邁特軟件Smartbi個(gè)人用戶全功能模塊長(zhǎng)期免費(fèi)試用
馬上免費(fèi)體驗(yàn):Smartbi一站式大數(shù)據(jù)分析平臺(tái)

大數(shù)據(jù)平臺(tái)的軟件有哪些？

這個(gè)要分好幾塊來(lái)講，首先我要說(shuō)明的是大數(shù)據(jù)項(xiàng)目也是要有很多依賴的模塊的。每個(gè)模塊的軟件不一樣，下面分別聊一下。

一、大數(shù)據(jù)處理

這個(gè)是所謂大數(shù)據(jù)項(xiàng)目中最先想到的模塊。主要有spark，hadoop，es，kafka，hbase，hive等。

當(dāng)然像是flume，sqoop也都很常用。

這些軟件主要是為了解決海量數(shù)據(jù)處理的問(wèn)題。軟件很多，我只列幾個(gè)經(jīng)典的，具體可以自行百度。

二、機(jī)器學(xué)習(xí)相關(guān)

大部分大數(shù)據(jù)項(xiàng)目都和機(jī)器學(xué)習(xí)相關(guān)。因此會(huì)考慮到機(jī)器學(xué)習(xí)的一些軟件，比如說(shuō)sklearn，spark的ml，當(dāng)然還有自己實(shí)現(xiàn)的代碼。

三、web相關(guān)技術(shù)

大部分項(xiàng)目也都跑不了一個(gè)web的展示，因此web就很重要的，java的ssh，python的django都可以，這個(gè)看具體的項(xiàng)目組習(xí)慣了。

四、其它

還有一些很常用的東西，個(gè)人感覺(jué)不完全算是大數(shù)據(jù)特定使用范圍。反正我在做大數(shù)據(jù)項(xiàng)目的時(shí)候也都用到了。

比如說(shuō)數(shù)據(jù)存儲(chǔ)：redis，mysql。

數(shù)據(jù)可視化：echart，d3js。

圖數(shù)據(jù)庫(kù)：neo4j。

再來(lái)說(shuō)說(shuō)大數(shù)據(jù)平臺(tái)的軟件或者工具：

1、數(shù)據(jù)庫(kù)，大數(shù)據(jù)平臺(tái)類，星環(huán)，做Hadoop生態(tài)系列的大數(shù)據(jù)平臺(tái)公司。Hadoop是開(kāi)源的，星環(huán)主要做的是把Hadoop不穩(wěn)定的部分優(yōu)化，功能細(xì)化，為企業(yè)提供Hadoop大數(shù)據(jù)引擎及數(shù)據(jù)庫(kù)工具。

2、大數(shù)據(jù)存儲(chǔ)硬件類，浪潮，很老牌的IT公司，國(guó)資委控股，研究大數(shù)據(jù)方面的存儲(chǔ)，在國(guó)內(nèi)比較領(lǐng)先。

3、云計(jì)算，云端大數(shù)據(jù)類，阿里巴巴，明星產(chǎn)品-阿里云，與亞馬遜AWS抗衡，做公有云、私有云、混合云。實(shí)力不差，符合阿里巴巴的氣質(zhì)，很有野心。

4、數(shù)據(jù)應(yīng)用方面這個(gè)有很多，比如帆軟旗下的FineReport報(bào)表系統(tǒng)和FineBI大數(shù)據(jù)分析平臺(tái)等。

帆軟是商業(yè)智能和數(shù)據(jù)分析平臺(tái)提供商，從報(bào)表工具到商業(yè)智能，有十多年的數(shù)據(jù)應(yīng)用的底子，在這個(gè)領(lǐng)域很成熟，目前處于快速成長(zhǎng)期，但是很低調(diào)，是一家有技術(shù)有實(shí)力而且對(duì)客戶很真誠(chéng)的公司。

收集多平臺(tái)數(shù)據(jù)的平臺(tái)（收集多平臺(tái)數(shù)據(jù)的平臺(tái)有哪些）

數(shù)據(jù)分析平臺(tái)有哪些

數(shù)據(jù)分析平臺(tái)通常有如下：
1.國(guó)家數(shù)據(jù)： http://data.stats.gov.cn可以查詢到國(guó)家統(tǒng)計(jì)局調(diào)查統(tǒng)計(jì)的各專業(yè)領(lǐng)域的主要指標(biāo)時(shí)間序列數(shù)據(jù)。

2.阿里指數(shù)： https://index.1688.com最權(quán)威專業(yè)的行業(yè)價(jià)格、供應(yīng)、采購(gòu)趨勢(shì)分析。

3.微指數(shù)： https://data.weibo.com/index微指數(shù)是對(duì)提及量、閱讀量、互動(dòng)量加權(quán)得出的綜合指數(shù)，更加全面的體現(xiàn)關(guān)鍵詞在微博上的熱度情況。

4.微信指數(shù)：微信里面搜一搜“微信指數(shù)”就能直接找到。立足于微信生態(tài)，依托海量用戶數(shù)據(jù)，微信指數(shù)具有天生優(yōu)勢(shì)。

5.淘寶生意參謀： https://sycm.taobao.com生意參謀基于“支付金額=訪客數(shù)*轉(zhuǎn)化率*客單價(jià)”這一公式，幫你快速定位生意波動(dòng)的核心因素。

6.搜狗指數(shù)： http://zhishu.sogou.com/全網(wǎng)熱門事件、品牌、人物等查詢?cè)~的搜索熱度變化趨勢(shì)，掌握網(wǎng)民需求變化.

7.頭條指數(shù)： https://index.toutiao.com/頭條指數(shù)是巨量引擎云圖推出的一種數(shù)據(jù)產(chǎn)品。

8.360指數(shù)： http://index.haosou.com360趨勢(shì)是以360產(chǎn)品海量用戶數(shù)據(jù)為基礎(chǔ)的大數(shù)據(jù)展示平臺(tái)。

9.飛瓜數(shù)據(jù)： https://www.feigua.cn/飛瓜數(shù)據(jù)是短視頻領(lǐng)域權(quán)威的數(shù)據(jù)分析平臺(tái)，提供抖音數(shù)據(jù)和快手?jǐn)?shù)據(jù)等。

10.七麥數(shù)據(jù)： https://www.qimai.cn/七麥數(shù)據(jù)是國(guó)內(nèi)專業(yè)的移動(dòng)應(yīng)用APP數(shù)據(jù)分析平臺(tái)。

11.百度指數(shù)： http://index.baidu.com你可以研究關(guān)鍵詞搜索趨勢(shì)、洞察網(wǎng)民興趣和需求、監(jiān)測(cè)輿情動(dòng)向、定位受眾特征。

12.京東商智： https://sz.jd.com豐富的運(yùn)營(yíng)數(shù)據(jù)，覆蓋電商全域，提升運(yùn)營(yíng)效率。多維度行業(yè)競(jìng)爭(zhēng)數(shù)據(jù)，刻畫行業(yè)趨勢(shì)，洞察消費(fèi)特性，輔助運(yùn)營(yíng)決策。

大數(shù)據(jù)采集平臺(tái)有哪些？

針對(duì)這個(gè)問(wèn)題，我們先來(lái)了解下大數(shù)據(jù)采集平臺(tái)提供的服務(wù)平臺(tái)流程包括：

1，首先平臺(tái)針對(duì)需求對(duì)數(shù)據(jù)進(jìn)行采集。

2，平臺(tái)對(duì)采集的數(shù)據(jù)進(jìn)行存儲(chǔ)。

3，再對(duì)數(shù)據(jù)進(jìn)行分析處理。

4，最后對(duì)數(shù)據(jù)進(jìn)行可視化展現(xiàn)，有報(bào)表，還有監(jiān)控?cái)?shù)據(jù)。

優(yōu)秀的大數(shù)據(jù)平臺(tái)要能在大數(shù)據(jù)分析方法,大數(shù)據(jù)編程，大數(shù)據(jù)倉(cāng)庫(kù)，大數(shù)據(jù)案例，人工智能,數(shù)據(jù)挖掘方面都能表現(xiàn)出優(yōu)秀的性能。

現(xiàn)在來(lái)推薦幾個(gè)主流且優(yōu)秀的大數(shù)據(jù)平臺(tái)：

1，ApacheFlume

Apache旗下的一款開(kāi)源、高可靠、高擴(kuò)展、容易管理、支持客戶擴(kuò)展的數(shù)據(jù)采集系統(tǒng),它是一個(gè)分布式、可靠、可用的系統(tǒng)，是java運(yùn)行時(shí)環(huán)境j用于從大量不同的源有效地收集、聚合、移動(dòng)大量日志數(shù)據(jù)進(jìn)行集中式數(shù)據(jù)存儲(chǔ)。

主要的功能表現(xiàn)在:

1.日志收集:日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。

2.數(shù)據(jù)處理:提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力,提供了從console（控制臺(tái)）、RPC（Thrift-RPC）、text（文件）、tail（UNIXtail）、syslog（syslog日志系統(tǒng)，支持TCP和UDP等2種模式），exec（命令執(zhí)行）等數(shù)據(jù)源上收集數(shù)據(jù)的能力。

2，F(xiàn)luentd

Fluentd是一個(gè)用于統(tǒng)一日志層的開(kāi)源數(shù)據(jù)收集器。Fluentd允許您統(tǒng)一數(shù)據(jù)收集和使用，以便更好地使用和理解數(shù)據(jù)。Fluentd是云端原生計(jì)算基金會(huì)(CNCF)的成員項(xiàng)目之一，遵循Apache2License協(xié)議。FLuentd的擴(kuò)展性非常好，客戶可以自己定制(Ruby)Input/Buffer/Output。

官網(wǎng)：

articles/quickstart

主要的功能表現(xiàn)在:

1,Input:負(fù)責(zé)接收數(shù)據(jù)或者主動(dòng)抓取數(shù)據(jù)。支持syslog，http，filetail等。

2,Buffer:負(fù)責(zé)數(shù)據(jù)獲取的性能和可靠性，也有文件或內(nèi)存等不同類型的Buffer可以配置。

3,Output:負(fù)責(zé)輸出數(shù)據(jù)到目的地例如文件，AWSS3或者其它的Fluentd。

3，Chukwa

Chukwa可以將各種各樣類型的數(shù)據(jù)收集成適合Hadoop處理的文件保存在HDFS中供Hadoop進(jìn)行各種MapReduce操作。Chukwa本身也提供了很多內(nèi)置的功能，幫助我們進(jìn)行數(shù)據(jù)的收集和整理。

1，對(duì)應(yīng)用的各個(gè)節(jié)點(diǎn)實(shí)時(shí)監(jiān)控日志文件的變化，并將增量文件內(nèi)容寫入HDFS，同時(shí)還可以將數(shù)據(jù)去除重復(fù)，排序等。

2，監(jiān)控來(lái)自Socket的數(shù)據(jù)，定時(shí)執(zhí)行我們指定的命令獲取輸出數(shù)據(jù)。

優(yōu)秀的平臺(tái)還有很多，筆記淺談為止，開(kāi)發(fā)者根據(jù)官方提供的文檔進(jìn)行解讀，才能深入了解，并可根據(jù)項(xiàng)目的特征與需求來(lái)為之選擇所需的平臺(tái)。

以上就是關(guān)于收集多平臺(tái)數(shù)據(jù)的平臺(tái)相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。