打造泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺 EMS電力解決方案

摘要：隨著社會經(jīng)濟(jì)和信息化的發(fā)展，物聯(lián)網(wǎng)服務(wù)平臺也得到了迅猛的發(fā)展，這也標(biāo)志著大數(shù)據(jù)技術(shù)時代接踵而來，并且滲透到了我們生活中的各個方面，由于人們對于信息化服務(wù)的要求也在不斷提高，而大數(shù)據(jù)技術(shù)具有復(fù)雜性和多樣性的特點，進(jìn)而物聯(lián)網(wǎng)服務(wù)平臺的發(fā)展就必須要有效借助大數(shù)據(jù)技術(shù)。本文分析了大數(shù)據(jù)技術(shù)以及物聯(lián)網(wǎng)服務(wù)平臺的含義，找出了兩者之間的關(guān)系，并對泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺的運用進(jìn)行了探究。

關(guān)鍵詞：泛在電力物聯(lián)網(wǎng)；大數(shù)據(jù)平臺

引言

建設(shè)泛在電力物聯(lián)網(wǎng)，是國家電網(wǎng)有限公司推進(jìn)“三型兩網(wǎng)"建設(shè)的重要內(nèi)容和關(guān)鍵環(huán)節(jié)。而其中，如何構(gòu)建一個強大的數(shù)據(jù)平臺，是加快推進(jìn)泛在電力物聯(lián)網(wǎng)建設(shè)的前提和基礎(chǔ)。

1大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)產(chǎn)業(yè)中的應(yīng)用價值

現(xiàn)如今，物聯(lián)網(wǎng)的架構(gòu)主要包括：感知層、網(wǎng)絡(luò)層和應(yīng)用層。感知層能夠采集信息、識別物體等感知功能，從而形成大量數(shù)據(jù)。比如微博每天評論功能可以達(dá)到1.2億條評論，上傳新的短片和視頻近800萬個，將這樣龐大的數(shù)據(jù)的信息匯集在一起，能夠形成PB級別的數(shù)據(jù)量，物聯(lián)網(wǎng)產(chǎn)業(yè)憑借PB級別的數(shù)據(jù)量，能夠掌握消費者的整體用戶細(xì)習(xí)慣。物聯(lián)網(wǎng)的網(wǎng)絡(luò)層能夠?qū)崿F(xiàn)數(shù)據(jù)信息的傳輸和交流，網(wǎng)絡(luò)層是基于感知層收集到的數(shù)據(jù)，進(jìn)行分析、加工，挖掘用戶的喜好、習(xí)慣，從眾多的信息中找到共性，并對產(chǎn)品做出調(diào)整和優(yōu)化，來滿足不同用戶的需求，實現(xiàn)定制化服務(wù)，而這也是物聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)技術(shù)的目的。從物聯(lián)網(wǎng)產(chǎn)業(yè)的角度來講，大數(shù)據(jù)技術(shù)可以為物聯(lián)網(wǎng)提供從客戶到?jīng)Q策方面的各類商業(yè)信息，進(jìn)而促使物聯(lián)網(wǎng)產(chǎn)業(yè)不斷發(fā)展。

2大數(shù)據(jù)與物聯(lián)網(wǎng)的關(guān)系

2.1大數(shù)據(jù)豐富物聯(lián)網(wǎng)應(yīng)用

大數(shù)據(jù)發(fā)展下的物聯(lián)網(wǎng)，讓大數(shù)據(jù)的價值得到了很好的體現(xiàn)，在物聯(lián)網(wǎng)技術(shù)應(yīng)用中，通過搭建遙感勘測、智能建筑、智能運輸、檢測保護(hù)等信息手段，收集大數(shù)據(jù)，然后對收集的數(shù)據(jù)進(jìn)行分析，把有用的數(shù)據(jù)篩選出來形成有價值以及有用的信息，實現(xiàn)其作用。一家頂級汽車公司，通過使用遙感技術(shù)來識別車主的身份，該技術(shù)可以有效記憶車主的重量、開車姿勢等一系列的信息，如果出現(xiàn)和這些數(shù)據(jù)不吻合的人駕駛車輛，傳感器就會把信息反饋給車主，避免車輛被盜。大數(shù)據(jù)技術(shù)是物聯(lián)網(wǎng)中的技術(shù)手段，不僅僅是收集各種數(shù)據(jù)，對數(shù)據(jù)進(jìn)行分析處理以后，找出問題來完善物聯(lián)網(wǎng)系統(tǒng)，它也使得物聯(lián)網(wǎng)的應(yīng)用更加的豐富多彩。

2.2物聯(lián)網(wǎng)促進(jìn)大數(shù)據(jù)

我們目前正處于大數(shù)據(jù)時代，物聯(lián)網(wǎng)的發(fā)展，產(chǎn)生數(shù)據(jù)的終端由PC向包含PC在內(nèi)的智能手機，平板電腦等多樣化的終端，以及利用各行業(yè)、各領(lǐng)域的感知設(shè)備，快速入網(wǎng)并且匯總在一起，物聯(lián)網(wǎng)中傳感器把各種各樣的信息轉(zhuǎn)化成電信號，然后利用網(wǎng)絡(luò)輸送到上層應(yīng)用系統(tǒng)，物聯(lián)網(wǎng)在很短的時間內(nèi)就能夠產(chǎn)生大量的信息，在物聯(lián)網(wǎng)上，進(jìn)而產(chǎn)生大量的數(shù)據(jù)。大量的非結(jié)構(gòu)化的數(shù)據(jù)快速增長的趨勢已經(jīng)在悄然形成。然而這些數(shù)據(jù)的增長并不是線性的，它是隨著越來越多的傳感器的研究、制造、使用，數(shù)據(jù)量會產(chǎn)生一種不可阻擋的指數(shù)性增長趨勢。

3構(gòu)建相適應(yīng)的大數(shù)據(jù)平臺

隨著泛在電力物聯(lián)網(wǎng)的加快建設(shè)，現(xiàn)有的互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)平臺將遇到巨大的挑戰(zhàn)，因為電力數(shù)據(jù)規(guī)模將增加幾個數(shù)量級，數(shù)據(jù)分析的量也更多，實時性要求也更高。因此，需要進(jìn)一步加大信息技術(shù)的創(chuàng)新力度，構(gòu)建和完善適應(yīng)泛在電力物聯(lián)網(wǎng)建設(shè)需求的大數(shù)據(jù)平臺。

這個新一代的大數(shù)據(jù)平臺，要有以下幾個特點：充分利用泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)特點，在技術(shù)上做各種優(yōu)化，大幅度提高數(shù)據(jù)插入、查詢的性能，降低電網(wǎng)運營成本；必須能實時處理各種數(shù)據(jù)插入、查詢請求，提升電網(wǎng)運行效率；必須是水平擴展的，隨著數(shù)據(jù)量的增加，只需要增加服務(wù)器擴容即可；支持邊緣計算與云計算的邊緣協(xié)同；必須是易于維護(hù)的，降低對運維人員的要求；必須是開放的，有業(yè)界流行的標(biāo)準(zhǔn)SQL接口，便于各種應(yīng)用集成；必須通過Python、R或其他接口來方便集成各種機器學(xué)習(xí)、人工智能算法。

當(dāng)前，國內(nèi)外諸多互聯(lián)網(wǎng)企業(yè)已經(jīng)注意到物聯(lián)網(wǎng)興起后，傳統(tǒng)的大數(shù)據(jù)技術(shù)正面臨新的考驗和挑戰(zhàn)，并開始著手研發(fā)新一代大數(shù)據(jù)平臺。相信隨著泛在電力物聯(lián)網(wǎng)建設(shè)不斷加快，必將構(gòu)建新一代的能源電力大數(shù)據(jù)平臺，從而進(jìn)一步挖掘和利用好電網(wǎng)的數(shù)據(jù)資源，提升電網(wǎng)運營的效率和效益，保障電網(wǎng)安全穩(wěn)定運行，為社會提供新的應(yīng)用和服務(wù)。

4泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)量將大幅增加

電力行業(yè)歷來重視數(shù)據(jù)和信息技術(shù)，從上世紀(jì)80年代起，就采用實時數(shù)據(jù)庫處理發(fā)電以及電網(wǎng)采集的各種數(shù)據(jù)。但隨著電網(wǎng)規(guī)模的擴大，數(shù)據(jù)采集量的大幅增加，傳統(tǒng)的實時數(shù)據(jù)庫和IT架構(gòu)已經(jīng)無法滿足海量數(shù)據(jù)的處理需求。最近幾年，電力行業(yè)開始采用互聯(lián)網(wǎng)行業(yè)的大數(shù)據(jù)平臺技術(shù)，最典型的就是將Kafka、Hadoop、HBase、Spark、Redis等技術(shù)集成在一起處理海量數(shù)據(jù)。比如智能電表的用電信息采集系統(tǒng)、電費的計算等，都采用這類方案。

從配網(wǎng)的情況來看，即使采集點和采集頻率不顯著增加，但以D5000、CC2000為代表的主流產(chǎn)品，受限于歷史數(shù)據(jù)處理能力，依然只能圍繞實時采集數(shù)據(jù)、歷史斷面數(shù)據(jù)構(gòu)建應(yīng)用，拓?fù)浞治黾夹g(shù)無法在時間維度縱向擴展。

電網(wǎng)數(shù)據(jù)采集及監(jiān)控系統(tǒng)（SCADA）作為物聯(lián)網(wǎng)的一部分，不但要看實時數(shù)據(jù)，還需要看歷史數(shù)據(jù)，不單需要實時監(jiān)控，更需要故障預(yù)警、趨勢分析、運營指標(biāo)分析、效率分析等。通過快速存取、分析高頻采集數(shù)據(jù)，將為電網(wǎng)的安全高效運行提供更精準(zhǔn)的數(shù)據(jù)決策支撐。

另一方面，泛在電力物聯(lián)網(wǎng)與通用的物聯(lián)網(wǎng)一樣，不僅會存在云端的數(shù)據(jù)中心，也會存在邊緣節(jié)點。這些邊緣節(jié)點具備一定的計算和存儲能力，能進(jìn)行數(shù)據(jù)的預(yù)處理和緩存，大幅緩解數(shù)據(jù)中心平臺的壓力，而且能更好地保證邊緣節(jié)點覆蓋的區(qū)域有更好的數(shù)據(jù)實時響應(yīng)能力，更好地支撐本地業(yè)務(wù)實時智能化決策與執(zhí)行。但是邊緣計算與云計算需要通過緊密協(xié)同才能更好地滿足各種需求場景的匹配，從而邊緣計算和云計算的應(yīng)用價值。

采集點的增加和采集頻次提高，能帶來什么樣的效益呢？以智能電表為例，如果將所有電表的數(shù)據(jù)采集頻次提高到1次/15分鐘，電網(wǎng)將實現(xiàn)對每個臺區(qū)線損的實時監(jiān)測，而不是現(xiàn)在的T-1模式，從而對異常線損實時處理。同時，對輸電線路故障實時監(jiān)測，再也無需客戶上報，大大提升運維效率和服務(wù)質(zhì)量。

以Hadoop體系為代表的互聯(lián)網(wǎng)大數(shù)據(jù)解決方案，主要處理的是互聯(lián)網(wǎng)領(lǐng)域的非結(jié)構(gòu)化數(shù)據(jù)，比如爬蟲數(shù)據(jù)、微博與微信數(shù)據(jù)等。但是，泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)有顯著不同的特點，表現(xiàn)在幾個方面：數(shù)據(jù)都是時序的，由傳感器和設(shè)備不斷產(chǎn)生，形成一個數(shù)據(jù)流；除視頻、圖像外，都是結(jié)構(gòu)化的數(shù)據(jù)；數(shù)據(jù)是機器日志類型的，不會有刪除或更新的動作；數(shù)據(jù)是有保留時長的，到期刪除；數(shù)據(jù)流量是平穩(wěn)可預(yù)測，知道測點數(shù)、采集頻率，能較為準(zhǔn)確估算流量大小；數(shù)據(jù)需要進(jìn)行實時計算、分析；數(shù)據(jù)的分析、計算一般都是基于某一個時間段和地域進(jìn)行；數(shù)據(jù)量巨大，一天產(chǎn)生幾百億條記錄。

除數(shù)據(jù)特征不一樣之外，在數(shù)據(jù)處理上，泛在電力物聯(lián)網(wǎng)與典型的互聯(lián)網(wǎng)相比，還有不一樣的需求。比如插值計算、數(shù)學(xué)函數(shù)計算以及某個具體時間點的斷面數(shù)據(jù)等。而且這些數(shù)據(jù)的處理往往與采集設(shè)備的管理直接掛鉤，需要依據(jù)采集設(shè)備的歸屬、地域以及其他屬性進(jìn)行各種分類統(tǒng)計。

結(jié)語

綜上所述，大數(shù)據(jù)技術(shù)在現(xiàn)代的生產(chǎn)生活中的應(yīng)用十分廣泛，而其在物聯(lián)中的應(yīng)用還處于比較初級的階段，需要研究者對其進(jìn)行不斷地研究，促進(jìn)大數(shù)據(jù)技術(shù)的發(fā)展，從而提高大數(shù)據(jù)在電力物聯(lián)網(wǎng)中的應(yīng)用價值。

參考文獻(xiàn):

[1]張亞飛,閻東.大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)產(chǎn)業(yè)中的應(yīng)用分析[J].通訊世界,2018(1).

[2]段為.大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)服務(wù)平臺中的應(yīng)用[J].電信工程技術(shù)與標(biāo)準(zhǔn)化,2016,29(2):8-13.