自PC、移動通信、互聯(lián)網(wǎng)誕生以來,每次技術(shù)進步所生產(chǎn)的計算機終端以億萬計,每臺終端幾乎每天都在不停地生產(chǎn)數(shù)據(jù)信息。如果想將這些數(shù)據(jù)集中起來處理和分析,則現(xiàn)有技術(shù)遠不能及,這就是大數(shù)據(jù)問題產(chǎn)生的根源。隨著數(shù)字化設(shè)備的大規(guī)模、持續(xù)性生產(chǎn)和使用,大數(shù)據(jù)問題必然愈演愈烈,而且由于摩爾定律的限制,這類問題很難從根本上得到解決。
鄔江興院士以“黑洞的照片”為例,“這張照片花費了科學(xué)家近兩年的時間才‘沖洗’完成。過程如此艱辛,一是因為龐大的數(shù)據(jù)不可能靠網(wǎng)絡(luò)傳輸,二是數(shù)據(jù)同步計算問題不容易解決。整個過程中涉及到數(shù)據(jù)量之多,難度之大都是前所未有的”。
“計算技術(shù)、存儲技術(shù)、網(wǎng)絡(luò)通信技術(shù)的進步的速度,如何跟上數(shù)據(jù)增長的速率是亟待解決的問題,一個智慧城市的大腦首先面臨的挑戰(zhàn)就是城市計算問題。”鄔江興院士認為,未來計算的特征要具備異地分布聯(lián)合計算能力、數(shù)據(jù)流計算能力、領(lǐng)域?qū)S密浻布f(xié)同計算能力。而達到以上特征需要以下幾個條件,如實現(xiàn)高密度、高速率、長壽命、極便宜、超級容量存儲,實現(xiàn)存儲、傳輸、交換全鏈條具有泛在化、全域協(xié)同計算,實現(xiàn)場景構(gòu)建。在此基礎(chǔ)上,構(gòu)建出一個大型開發(fā)研究試驗平臺,即大數(shù)據(jù)對撞機,包括與之配套的研究試驗工具和其他服務(wù)設(shè)施??尚械淖龇ㄊ亲寯?shù)據(jù)增長和計算技術(shù)進步交替前行,進步與迭代、突變與顛覆。
“大數(shù)據(jù)試驗場的愿景是建設(shè)國家重大科學(xué)基礎(chǔ)設(shè)施,包括服務(wù)產(chǎn)業(yè)的轉(zhuǎn)型升級和實體經(jīng)濟的發(fā)展質(zhì)量的提升。其目標(biāo)是支撐科學(xué)研究、技術(shù)創(chuàng)新、產(chǎn)業(yè)創(chuàng)新、創(chuàng)新創(chuàng)業(yè)。”據(jù)鄔江興院士透露,目前在復(fù)旦大學(xué)已建成先導(dǎo)技術(shù)系統(tǒng),上海大數(shù)據(jù)試驗場即將啟動建設(shè)功能轉(zhuǎn)化平臺,并正在醞釀建設(shè)國家大數(shù)據(jù)科學(xué)基礎(chǔ)設(shè)施。
“大數(shù)據(jù)的發(fā)展必須腳踏實地。只有從底層做起,才有可能在大數(shù)據(jù)領(lǐng)域?qū)崿F(xiàn)并跑、領(lǐng)跑。”鄔江興院士說。