航天遙感大數據集群處理工(gōng)廠将滿足不同業(yè)務的大量用戶同時登錄、數據入庫、數據處理、信息計算(suàn)等功能(néng),工(gōng)廠采用高(gāo)性能(néng)存儲計算(suàn)節點。航天遙感大數據集群處理工(gōng)廠是一(yī)套自(zì)主研發、全流程、高(gāo)效快速遙感數據處理平台,其核心部分是基于高(gāo)性能(néng)集群/GPU 計算(suàn)環境的海量遙感影像自(zì)動處理算(suàn)法。
工(gōng)廠采用先進的數字攝影測量技(jì)術(shù)、多(duō)任務調度技(jì)術(shù)、高(gāo)性能(néng)計算(suàn)技(jì)術(shù),集 數據生(shēng)産、任務管理調度、成果質檢為(wèi)一(yī)體,通(tōng)過合理調配計算(suàn)資源與數據資源, 實現規模化、快速、智能(néng)化的遙感數據處理流程。 工(gōng)廠能(néng)夠接收和處理多(duō)種國(guó)内外中高(gāo)分辨率遙感影像,快速生(shēng)成多(duō)種數據處 理産品及遙感解譯産品;系統建立了規範化、标準化的海量影像數據生(shēng)産流程, 同時構建了完備的全過程質量控制體系,最終可以為(wèi)用戶提供專業(yè)級及消費(fèi)級應用。
為(wèi)了減少數據遷移造成的資源消耗,在技(jì)術(shù)方案上(shàng)拟用“存儲—計算(suàn)”一(yī)體化的集群系統;為(wèi)了滿足對時空大數據快速積累的需要,存儲和計算(suàn)節點必須能(néng)夠動态配置,實現熱插拔式的即插即用。同時,集群架構采用機(jī)架式。
采用适合于海量數據的大規模存儲與高(gāo)性能(néng)并行處理的“存儲—計算(suàn)”一(yī)體化的分布式高(gāo)性能(néng)構架是一(yī)種典型的無共享系統構架,分而治之的辦法,将數據規律地分布到(dào)節點上(shàng),充分利用節點主機(jī)的I/O能(néng)力,以使總體達到(dào)最大的I/O速率。
航天遙感大數據挖掘解譯工(gōng)廠是一(yī)個(gè)面向多(duō)源空間數據實時挖掘解譯的複雜(zá)系統,以攝影測量與遙感技(jì)術(shù)為(wèi)核心的,GIS/CAD以及諸多(duō)IT技(jì)術(shù)相(xiàng)集成的,軟、硬件(jiàn)一(yī)體化的超大規模空間數據生(shēng)産系統,我們把它叫做現代航測遙感數據挖掘解譯工(gōng)廠(GDF)。該平台支持衛星、航空、地面等多(duō)種來源的光(guāng)學、雷達、激光(guāng)等空間數據的靈活處理解譯,滿足影像、地圖、三維模型等地理信息産品的快速制作。
目标自(zì)動識别模塊
遙感影像植被檢測效果圖
平台适用于國(guó)内外各類遙感影像數據,挖掘解譯自(zì)傳感器(qì)下(xià)行原始數據至各級地形産品、影像産品、三維産品及信息産品。平台本身自(zì)帶完整多(duō)源遙感影像數據完整處理業(yè)務,并支持集成及擴展新型遙感應用業(yè)務,集處理平台與集成平台與一(yī)體。
智慧行業(yè)專題圖制作工(gōng)廠可以進行集群硬件(jiàn)狀況與性能(néng)的監控;能(néng)夠實現大規模栅格數據的接入、存儲、管理、檢索、快速可視化與制圖、共享服務等(數據單景可達500GB,數據總量可達500TB);同樣實現大規模矢量數據的接入、存儲、管理、檢索、快速可視化與制圖、共享服務等(單個(gè)數據可達3GB,屬性字段支持中文,并支持WCS、WFS等标準服務);還(hái)有實現大規模三維模型數據的接入、存儲、管理、檢索、快速可視化與制圖、共享服務等(支持三維模型的漸進傳輸模型的存儲與抽取);與此之外還(hái)可以提供非時空數據的接入、存儲、管理、共享等支持,設計實現大規模時空數據的計算(suàn)框架,支持集群/多(duō)核/GPU等多(duō)層次的高(gāo)性能(néng)計算(suàn)技(jì)術(shù),實現分布式的空間計算(suàn)(調用計算(suàn)工(gōng)具);提供空間數據模型(多(duō)種栅格與矢量數據格式),開(kāi)放(fàng)計算(suàn)框架接口與工(gōng)具編寫規範,并可由用戶自(zì)主開(kāi)發計算(suàn)工(gōng)具;提供10~20個(gè)具有代表性的計算(suàn)工(gōng)具(RS計算(suàn)工(gōng)具、GIS計算(suàn)工(gōng)具),實現多(duō)層次的空間大數據計算(suàn)與分析;大規模時空大數據的實時渲染與交互制圖,支持地圖配置、圖層配置、樣式配置等;達到(dào)單個(gè)地圖瓦片的服務響應時間控制在45ms以内。
在平台功能(néng)服務的需求上(shàng),要求該平台技(jì)術(shù)先進、成熟,核心技(jì)術(shù)自(zì)主研發;所有服務的使用都通(tōng)過完善的加密控制和權限管理,确保用戶的數據安全;支持分布式和集群式部署,能(néng)夠實現系統服務能(néng)力的動态擴充。
基于智慧行業(yè)專題圖制作工(gōng)廠,根據行業(yè)的特點和需求,本著(zhe)急用先建的原則,開(kāi)展智慧行業(yè)應用示範。主要開(kāi)展水(shuǐ)、綠、地、文、環等行業(yè)的實時監測、管理、執法等專題服務。
1、水(shuǐ)專題圖服務
主要針對智慧水(shuǐ)務行業(yè)提供水(shuǐ)污染在線監測服務以及水(shuǐ)資源分布及資源量分布專題圖服務。平台主要利用衛星和航空遙感手段,利用多(duō)光(guāng)譜高(gāo)光(guāng)譜和紅(hóng)外遙感反演,獲得水(shuǐ)體的位置、面積以及水(shuǐ)污染變化情況,同時快速監測水(shuǐ)質(水(shuǐ)體透明度、葉綠素濃度和懸浮物(wù)濃度),分析城(chéng)市(shì)黑(hēi)臭水(shuǐ)體等級,進行排污口的高(gāo)頻次監測識别,獲得水(shuǐ)污染的精确位置、源頭位置及時追溯排污企業(yè)和個(gè)人。
2、綠專題圖服務
航天遙感大數據平台主要針對智慧園林及林業(yè)行業(yè)提供綠被動态監測服務以及林木(mù)分布專題圖等服務。利用多(duō)源遙感數據,開(kāi)展綠被監測技(jì)術(shù)、不透水(shuǐ)面監測技(jì)術(shù)和水(shuǐ)提取技(jì)術(shù)等手段,獲得城(chéng)市(shì)區域内的景觀布局、城(chéng)市(shì)宜居環境及功能(néng)區分布情況。利用無人機(jī)、系留飛(fēi)艇等平台,及時發現城(chéng)市(shì)綠地破壞行為(wèi)。
3、地專題圖服務
主要針對規劃國(guó)土(tǔ)行業(yè)提供地災監測以及地災風險分布專題圖等服務。基于多(duō)時相(xiàng)衛星和航空遙感數據,提取地面塌陷前後的紋理特征和幾何特征,利用深度學習的開(kāi)展地面塌陷動态監測和風險預測。結合合成孔徑雷達,分析地面沉降趨勢,提供可行的預警措施。
4、文專題圖服務
主要針對規劃及城(chéng)市(shì)建設行業(yè)提供城(chéng)市(shì)違法建設及文物(wù)保護專題圖等服務。違章建築一(yī)般通(tōng)過城(chéng)市(shì)管理執法來解決,而違章建築的界定是這一(yī)過程的關鍵前置工(gōng)作,其界定标準主要包括規模、時間以及地域等三方面内容。對于城(chéng)市(shì)違章建築的界定,采用人工(gōng)巡查、航空遙感和衛星遙感等天空地一(yī)體化手段。利用天基衛星數據全面普查,依托航空平台監測,從(cóng)空、地兩個(gè)維度對區域建築進行大範圍、多(duō)視角的長(cháng)期監控,及時發現,快速定位,為(wèi)行政執法提供有力證據。
5、環專題圖服務
主要針對環保行業(yè)提供空氣污染監測以及城(chéng)市(shì)熱島效應等服務。整合地面監測資源,輔以激光(guāng)雷達或飛(fēi)艇和無人機(jī)、衛星遙感等垂直監測,構建并完善立體監測網絡,開(kāi)展區域大氣污染物(wù)立體監測、源解析和機(jī)制分析。聚焦工(gōng)業(yè)排放(fàng)、居民(mín)散燒、稭稈燃燒、汽車排放(fàng)等排放(fàng)源,利用遙感等技(jì)術(shù)手段追溯霾污染來源。
城(chéng)市(shì)熱島效應監測,通(tōng)過多(duō)通(tōng)道的熱紅(hóng)外遙感數據,結合大氣廓線、風場和地形分布,反演獲得地表溫度和發射率等産品,分析城(chéng)市(shì)熱島效應,提供城(chéng)市(shì)高(gāo)溫預警和公共場所安全保障,指導城(chéng)市(shì)規劃,構建宜居城(chéng)市(shì)。
火情監測專題圖服務:指利用高(gāo)頻次氣象衛星進行火點判識,主要是遙感分析的手段判識火點像元的經緯度、所在位置的行政區劃、土(tǔ)地利用類型、火點判識的可信度(火點、可能(néng)火點、雲區火點等)等。同時加入了可能(néng)影響到(dào)火勢發展的實況風力、天氣、相(xiàng)對濕度、氣壓、降水(shuǐ)等,同時可提供天氣及自(zì)然災害預警,給森林防火監測、稭稈焚燒監測等帶來了時效性更高(gāo)的監測方式,與此同時可提供緊急調度、災害專報(bào)自(zì)動生(shēng)成、曆史回顧,全面滿足火情監測的需求。