主頁（http://m.by236.com）：《智慧城市的數據管理》鄔賀銓院士報告  10月25日中國智慧城市網現場報道，中國工程院原副院長、秘書長鄔賀銓在無錫舉行的第三屆中國國際物聯網大會上以《智慧城市的數據管理》為題做主題演講，其中分析到：數據挖掘是物聯網和智慧城市重點，但之前我們更多的把關注點放在了數據感知和應用上，這是需要糾正的。以下是鄔賀銓院士報告全文： 尊敬的各位專家，下午好，我的報告題目是《智慧城市的數據管理》。先說一下智慧城市的基礎設施。 什么是智慧城市？最初是無線城市，無線設施是數字城市設施的關鍵組成，但無線城市僅僅是數字城市的第一步，數字城市可能要求比電信網絡有更多的有線寬帶設施。 智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效。對人力與社會資源和傳統及現代設施的投資，促進可持續經濟發展和高質量生活，同時通過提供參與治理的機會實現對自然資源叢明的管理，這時一個城市就被稱為智慧城市。 智慧城市本身應該是可測量的，可監控的，可分析的。另外是能整合的，還是創新的，以及協作的。 那么智慧城市跟物聯網以及跟未來網絡有什么關系呢？物聯網是智慧城市網絡能力的基礎。但智慧城市的網絡能力內涵更為豐富，具有對未來網絡所期待的特征�？梢詮膱D上看到，傳感網僅僅是未來網絡的一部分，除了英特爾以外，未來網絡還應該包括，數據與內容、物品與傳感器、用戶與知識等等。未來感知包括服務感知、數據感知、環境感知和社會與經濟感知。 物聯網底層有很多感知對象和感知的單元，通過網絡把它們匯集，然后通過應用領域將實現更智慧的決策。智慧城市的信息要有非常強大的基礎設施，包括有線網絡、無線網絡、移動網絡，有時候還需要利用衛星等等手段。除了傳統手段以外，靠近用戶端有物聯網網端，有時候還需要云計算平臺的支撐。 智慧城市的信息基礎設施是下一代互聯網和未來網絡，我們希望這個網絡更安全，能夠具有移動性的普適計算，能夠跨越物力與Cyber空間，而且還是自治連網。 那么智慧城市跟云計算是什么關系呢？這個圖上可以看到，我們國家很多智慧城市都以建立云計算基地和提供云服務為主要目標。像北京有祥云工程，上海有“云海計劃”，天津有六云產業和三云應用，重慶希望建立云端智能城市，廣州有天云計劃。 我舉個例子，比如上海的智慧閔行，閔行有很多很多的數據庫，然后建立閔行區私有云和民生云，希望通過數據挖掘，智能圖像識別和網絡檢索的技術，來實現智慧政務、智慧醫療、智慧交通。 早年我們沒有談云計算，八十年代談數據庫，九十年代談IDC，現在我們更多是談云計算，實際上更多的是云服務。在云計算上面有Iaas系統，上面有Paa市系統，再上面有SaaS系統。但是我個人認為，僅僅做iaaS僅僅是數字房地產，房地產隨著時間是增值的，那么Iaas隨著時間會貶值，更多的應該做paas，提供很多的開發環境，利用這個環境開發企業需要的軟件。對于更多的中小企業，即使有Paas自身也不會開發，因此需要提供Saas，這里面就需要提供非常多的軟件。 通常，云計算一般企業來講可以利用共有云，對于大企業來講，往往自己建自己的云，但并不妨礙跟共有云發生關系。更多企業既想把一些裝置放在公用平臺上，但又擔心安全，所以經常是使用私有云。美國政府IT預算25%要投到云計算平臺上。 下面是我報告的重點，要講一下智慧城市的數據管理。這個圖上大家可以看到，互聯網上的一分鐘可以干一些什么？到2015年，大概1個人要花五年時間，才能看完在互聯網上一秒鐘所傳的所有視頻。 那么互聯網上一天可以干什么呢？對Twitter，一天新增2億條微博，7個TB。50億個單詞，幾乎是60年來紐約時報單詞量的兩倍。對于Facebook，一天可以上載2.5億張照片，相當于300個TB。那么在中國淘寶網站一天又交易數千萬筆，大概數據量是20個TB。全世界互聯網上一天的信息量如果裝在DVD光盤上，要裝1.68億張光盤，大概是80萬個硬盤，約占800EB。 那么互聯網流量的變化。1998年平均一個網民一個月的流量才一個MB，到2000年，達到10MB，到2008年平均一個網民是1000MB，到2014年是10000MB。 2011年4月美國國會圖書館收集了235TB無數據。全球新產生的數據年增40%，全球信息總量每兩年就可以翻番。而對新增數據的處理能力以及其利用率的增長則不足5%。而且所有數據量的90%的數字內容屬于非結構化內容。 最近兩個月在YouTube上載的視頻超過了ABC、NBC和CBS電視臺自子948年以來247/365連續播出的內容。 那么什么是大數據呢？大數據是指沒有辦法在容許的時間內用常規的軟件工具對它技術抓取、管理和處理的數據。也就是說，你在規定的時間里頭用常規軟件工具做不到的。大數據目前的標準是支單一數據集的大小在幾十TB到數PB之間。 大數據本身有四個特征，超量、高速、變異、價值。大數據的應用領域很廣泛，有醫療、交通、財務、物流、安全等等，應該說想得到的領域都可以發生很多應用。 比如企業，企業有管理部門、開發部門、銷售部門、服務部門、這些部門是有交互的，如果通常的企業管理可能很難得到最優化，如果利用大數據管理，可以改善它的管理，性能上可以提高40%-60%。 美國有一個公司InFormatica為幫助美國一家零售公司把交易型的數據與社交媒體產生的數據能夠關聯分析，找到“最佳客戶”并分析他們的購買行為。亞馬遜公司從銷售數據分析適搭配在一起買的商品。 硅谷有個氣候公司，從美國氣象局等數據庫中獲得幾十年的天氣數據，將各地的降雨、氣溫和土壤狀況及歷年農作物產量做成精密圖表，從而預測任一農場的明年產量，向農戶出售個性化保險，如果出現未能預測的惡劣天氣損壞莊稼，氣候公司將及時賠付。 我曾經在山東壽光的菜市場看到，當地有一個顯示屏，北京黃瓜3塊錢，當地黃瓜1塊錢。我問農民說，你怎么不到北京去賣呢？他說，我要去北京賣，價格8毛錢都賣不出去。我說信息化對你沒有用嗎？他說，不是，信息化只有我知道的，別人不知道的信息對我才有用的，因此所有的市場信息都應該是個性化的。 美國紐約的警察分析交通擁堵跟犯罪發生地點的關系，能有效改進治安。美國紐約的交通部門從交通違規和事故的統計數據終發現規律。 我們的電信運營商也擁有大量的手機數據，通過對手機數據的挖掘，不針對個人而是著眼于群體行為，可以從中分析出：這個時候有多少人在這個地方。 前一段時間我去廣東，廣東省委領導提出來現在的經濟下行了，究竟農民工走了多少？往往這個數據統計不準確。因為經濟好的時候，人們不會多吃鹽，經濟不好的時候，也不會少吃鹽，所以鹽的銷量相應反映出人的數量，那么為了核實這個數字，我問了一下廣東的通信公司，我說你們能不能從用戶活躍數量上判斷結果。結果從這個上面判斷出這個數字，也是20%左右。所以通過數據可以很好的反映人的來源。 比如說我們可以很好的掌握，現在在天安門廣場有多少人，我可以知道多少人來自河南，多少人來自四川的，多少人來自江蘇的。如果你是來旅游的，一兩個小時就走了，如果上訪的，可能三四個小時，這個時候上訪部門就要注意了。 還有根據手機在馬路上走的運行速度可以判斷這條馬路是不是堵，實際上這些都是可以挖掘的數據。 3000億美元，美國保健的年度潛在價值，相當于戲班言年度醫療保健開支兩倍。2500億歐元，歐洲公共管理的潛在年度價值，比希臘GDP的兩倍還多。所以世界經濟論壇上大數據就是新財富，大數據的價值堪比石油。 當然了，要挖掘大數據不是那么容易的事，首先要進行數據管理，數據來自不同的地方和不同標準，數據量的大小、結構形式、實時性都不一樣，會增加采集、編索與整合的困難，需要對傳統的數據傳輸工具ETL無流程進行重新設計。 數據存儲，傳統的集中式數據庫、數據倉庫系統已經不能有效的處理大數據的存儲和分析，需要分布式處理，Hadoop就是分布式結構化數據存儲方案。 數據挖掘，為了處理具有高維特征的圖像等多媒體數據，將高維數據看成位于一個相對低維子流形上，利用流形的性質將數據降維后度量與處理。 總的來說，物聯網也好，智慧城市也好，數據挖掘是重點，今天我看到無錫這個展覽會，我們很多都關注數據感知、應用，實際上幾乎沒有看到數據挖掘，沒有看到智能決策，實際上這是需要智能決策的。首先在數據收集層不僅僅是收集傳感器的數據，需要手機政府和市民的數據，才知道這個時候這個地方發生了什么，然后才對得出傳感器的數據有一個合理的解釋。 獲得這些數據以后，不是簡單從數據分析，需要建立一些模型進行仿真，得出的結果需要有可視化的表現，甚至要增強現實。 另外是不是發布？是不是在發布之前進行仿真？我發布之后有什么樣的后果？這都需要在數據挖掘上做的。 比如說藍藻爆發監測模型。通過傳感器捕獲太湖水里的成份，我們根據經驗可以知道，藍藻的發生強度跟溶解氧有比較高的相關程度，跟水溫有比較高的相關程度，跟電導率有比較高的相關程度，但跟氨氮、PH值、硝酸鹽沒有這么高，這些可以作為參考。但僅僅這些還不夠，還需要圖像，根據視頻結果，一起來結合分析，才有可能得出是不是會有藍藻爆發的結果。 而且我剛才說了，不僅僅基于傳感器，還基于人工采集的數據，基于衛星遙感的數據，通過多元的數據收集，才能保證確認這個事件的可靠性。收了這些數據以后，需要有數據湖泊模型，通過跟歷史的比對，進行分析挖掘，得出結果以后進行網絡發布，所以這是一個復雜的過程，我們需要合理的制定感知數據的存儲期。 我們城市有大量的攝像頭，很多城市提出來存三個月，那幾十個攝像頭存儲這是需要非常大的資源，這就需要壓縮去掉重復用于的數據。比如關注某個倉庫有沒有異常事件，那絕大部分是沒有人的，這段可以壓縮掉。而且要堅固歷史數據和新數據，提供一個使數據精度隨時間逐漸降低的數據老化方法。另外存進行還要考慮以什么樣的規律挖出來。 數據的隱私和保護也是非常重要的問題，這里有技術性問題，一些數據可能需要加密，這要分配密鑰，而加密對于傳感器來講需要采用高能效的加密算法，當然還有可介入性認證，可信性認證、數據完整性認證、隱私增強技術和身份管理等等。 法律上規定有些數據必須開放，老百姓也能看見。還有責任性、數據擁有權。從經濟角度要有行為規范，為了商業利益也要有隱私保護。在社會倫理上要保證公眾有知情權、保證消費者有權利，保證消費者的主張。 數據訪問認證與安全管理有網絡訪問控制、網絡數據保密、網絡數據完整性、網絡可用性、網絡不可否認性等等。 另外在大數據的挖掘里頭很重要的一點，要解析非結構的信息。文字信息我們比較好過濾，有一個關鍵詞就可以選擇了。有一個小企業，它做不到每個員工一人一臺電腦，很多時候是兩三個員工一臺電腦，有一個員工覺得很不方便，就向領導發了一個短信，他說我申請一臺獨立電腦。計算機一分析“臺獨”，實際上計算機本身沒有這個智能，它需要上下文關聯，通過工具找出真正的含義。把復雜的、模凌兩可的矛盾的數據導出可理解的內容，這就需要進行大量的解釋。 另外大數據的量非常大，我們不能等它存在計算機數據庫里再調出來分析，我們需要在一邊輸入，一邊分析。過去分析是把數據帶進程序，現在我們是把程序帶進數據，就是實時進行工作。 剛才說到分析結果要進行可視化，只有可視化才能更直觀，更能夠被決策者所看得見，也能夠在發布的時候，讓老百姓所能理解。舉個例子，上海延安路上我們布了很多很多攝像頭，每個攝像頭后面都連著一個電視屏幕，往往在交通監控中心，一面墻上放了很多很多電視屏幕，再多也不可能把整個上海交通電視屏放上去，只能每十秒鐘更換一次，可能每一個點要半小時/一小時看到一次。 現在我要把整個錄像合成一個視頻，我就可以看到延安路上交通狀況如何。我還可以合成全上海的視頻情況，在某一個經緯度上對應某一條路上，在某一個時段上演，哪個時候車最多？哪個時候行車速度最慢？因此可視化能夠讓我們直觀看到上海市同一個時間交通流量圖。 這是籃球場的半場，NBA統計2011-2012年投籃位置和投籃命中率的關系，這里面點值越大，表示在那個點上發生投籃概率最大。顏色發紅的表示投籃的成功率最高，你可以看到在半圓以外投籃率都很高，在籃板下投籃也比較高，其他地方并不是很高，這就是很簡單的可視化的例子。 其實在城市里頭有多種多樣的物聯網，我們不太可能把電力、交通、工業、海水的合為一個物聯網。一個城市有這么多物聯網組成，關鍵是這些信息能不能共享？所以這是城市數據管理一個很重要的內容。 往往某個地方發生火災了，可能打119，如果交通部門不去，那堵車了，救火車開不進去，如果供水部門不去，那個地方開不了水，如果120不去，可能不能急救，所以城市的服務系統應該是互相關聯的 最后，我們正在進入寬帶時代和移動互聯網時代，將要面對后摩爾時代、后PC時代，云計算時代和物聯網時代及大數據時代也將向我們走來，網絡技術正走向換代發展的轉折點。 無線城市、數字城市、寬帶城市、感知城市是智慧城市的必要條件； 智慧城市是城鎮化進程的下一階段，是城市信息化的新高度，是現代城市發展的愿景。 智慧城市每天產生大量的數據，大數據的收集、存儲和分析處理及使用對智慧城市是很大的挑戰，這不僅是技術也是法律和政策需要關注的問題。大數據的挖掘對智慧城市的經濟發展和社會管理是無形的管理。 謝謝大家！ (中國集群通信網 | 責任編輯：陳曉亮) |
