資源簡(jiǎn)介

(共26張PPT)
——認(rèn)識(shí)智能停車場(chǎng)中的數(shù)據(jù)整理
第6課 數(shù)據(jù)的整理
學(xué)習(xí)目標(biāo)
了解數(shù)據(jù)采集的常用方法和工具
了解數(shù)據(jù)的組織方式
了解數(shù)據(jù)的存儲(chǔ)方式
了解表格數(shù)據(jù)的加工方法
導(dǎo)入
思考1：
引導(dǎo)屏上的信息如何得到的？
思考2：
智能停車場(chǎng)的數(shù)據(jù)如何處理？
思考3：
智能停車場(chǎng)如何計(jì)算停車費(fèi)？
01
數(shù)據(jù)采集的方法
數(shù)據(jù)采集方法和工具
如何采集這些數(shù)據(jù)？
數(shù)據(jù)采集的方法：
1
自動(dòng)采集數(shù)據(jù)；
人工獲取數(shù)據(jù)；
2
數(shù)據(jù)采集方法和工具
數(shù)據(jù)采集是數(shù)據(jù)處理的工作的前提和基礎(chǔ)。
采集方法 人工獲取 自動(dòng)采集
調(diào)查 訪談 觀察 實(shí)驗(yàn) 文獻(xiàn)調(diào)研 物聯(lián)感知 視頻監(jiān)控 網(wǎng)絡(luò)平臺(tái)
采集工具 問(wèn)卷 表格 文獻(xiàn)檢索工具 傳感器 攝像機(jī) 采集軟件
網(wǎng)絡(luò)爬蟲
移動(dòng)APP
是指人直接從社會(huì)現(xiàn)象、自然現(xiàn)象或文獻(xiàn)中獲取數(shù)據(jù)。
1、人工獲取數(shù)據(jù)
調(diào)查訪談
社會(huì)科學(xué)研究經(jīng)常通過(guò)調(diào)查或訪談的方法獲得一手?jǐn)?shù)據(jù)。問(wèn)卷是調(diào)查、訪談時(shí)常見的數(shù)據(jù)采集工具。相比傳統(tǒng)紙質(zhì)很多網(wǎng)絡(luò)工具可以幫助調(diào)查者更快捷、更精準(zhǔn)地獲得調(diào)查數(shù)據(jù)。
觀察實(shí)驗(yàn)
在觀察自然現(xiàn)象和進(jìn)行科學(xué)實(shí)驗(yàn)時(shí)，需要設(shè)計(jì)各種表格，科學(xué)地記錄通過(guò)觀察或?qū)嶒?yàn)得到的各種數(shù)據(jù)。
文獻(xiàn)調(diào)研
文獻(xiàn)數(shù)據(jù)既包括正式出版、發(fā)行的紙質(zhì)書刊、表、年鑒，也包括政府機(jī)構(gòu)、職能部門網(wǎng)站定期發(fā)布的公報(bào)、統(tǒng)計(jì)信息、研究報(bào)告等，還包括企業(yè)、機(jī)構(gòu)網(wǎng)站上免費(fèi)或有償提供的數(shù)據(jù)庫(kù)數(shù)據(jù)。文獻(xiàn)數(shù)據(jù)可以通過(guò)文獻(xiàn)檢索工具獲取，如利用搜索引擎工具在網(wǎng)絡(luò)上搜索專業(yè)的數(shù)據(jù)庫(kù)。
自動(dòng)采集數(shù)據(jù)的方法通常有物聯(lián)感知采集、視頻監(jiān)控采集、網(wǎng)絡(luò)平臺(tái)采集以及從已有數(shù)據(jù)庫(kù)中采集等。
2、自動(dòng)采集數(shù)據(jù)
物聯(lián)感知
是指對(duì)在物聯(lián)網(wǎng)中使用電子標(biāo)簽或無(wú)線終端標(biāo)識(shí)的智能化物體，通過(guò)傳感器感知它們的數(shù)據(jù)變化，采集相關(guān)數(shù)據(jù)，并利用各種通信技術(shù)上傳至網(wǎng)絡(luò)信息中心存儲(chǔ)。
視頻監(jiān)控采集
是指借助不同監(jiān)控點(diǎn)的攝像機(jī)采集監(jiān)控區(qū)域的數(shù)據(jù)。
網(wǎng)絡(luò)平臺(tái)采集
主要是指用戶在訪問(wèn)網(wǎng)站或使用APP時(shí)，網(wǎng)站服務(wù)器上安裝的采集軟件自動(dòng)采集用戶的各種行為數(shù)據(jù)。
02
數(shù)據(jù)保護(hù)
數(shù)據(jù)保護(hù)的方法
某居民小區(qū)擬在出入口安裝車牌識(shí)別攝像頭，但部分車主擔(dān)心自己的個(gè)人信息、車牌信息、停車數(shù)據(jù)等隱私被泄露。你覺得他們的顧慮有道理嗎？
思考與討論：
1、數(shù)據(jù)備份
數(shù)據(jù)在傳輸、存儲(chǔ)、交換的過(guò)程中會(huì)面臨各種風(fēng)險(xiǎn)因素，為避免風(fēng)險(xiǎn)，通常需要進(jìn)行數(shù)據(jù)備份。數(shù)據(jù)備份是周期性地將數(shù)據(jù)以某種方式制作一個(gè)或多個(gè)備份，并將其存放在專門設(shè)備上加以保護(hù)，以便在數(shù)據(jù)丟失或損壞時(shí)能夠有效地進(jìn)行數(shù)據(jù)恢復(fù)。
個(gè)人數(shù)據(jù)備份
主要是通過(guò)文件的復(fù)制完成。
企業(yè)數(shù)據(jù)備份
企業(yè)要制定數(shù)據(jù)備份策略，明確數(shù)據(jù)備份內(nèi)容、數(shù)據(jù)備份時(shí)間和數(shù)據(jù)備份方式等。企業(yè)的信息管理系統(tǒng)一般都包含數(shù)據(jù)備份的功能，以自動(dòng)、全面、高效地在服務(wù)器上進(jìn)行數(shù)據(jù)備份。
2、數(shù)據(jù)的隱私保護(hù)
大數(shù)據(jù)背景下，哪些行為會(huì)被大數(shù)據(jù)采集分析，也可能會(huì)暴露個(gè)人隱私？
網(wǎng)上閱讀習(xí)慣
網(wǎng)上聊天與好友的聯(lián)絡(luò)情況
網(wǎng)上購(gòu)物習(xí)慣
網(wǎng)上搜索習(xí)慣
發(fā)送郵件聯(lián)絡(luò)方式
網(wǎng)上觀影習(xí)慣
思考：
數(shù)據(jù)隱私保護(hù)
立法
技術(shù)
管理
數(shù)據(jù)采集時(shí)的隱私保護(hù)，如數(shù)據(jù)精度處理
數(shù)據(jù)共享、發(fā)布時(shí)的隱私保護(hù)，如數(shù)據(jù)的匿名處理、人工干擾等
數(shù)據(jù)分析時(shí)的隱私保護(hù)
生命周期的的隱私保護(hù)
隱私數(shù)據(jù)的可信銷毀
數(shù)據(jù)隱私保護(hù)技術(shù)
03
數(shù)據(jù)的組織和存儲(chǔ)
數(shù)據(jù)組織形式及存儲(chǔ)
數(shù)據(jù)存儲(chǔ)形式
數(shù)據(jù)以文件或數(shù)據(jù)庫(kù)的形式永久存儲(chǔ)在外存儲(chǔ)器中。
■ 文件
按照數(shù)據(jù)的組織和編碼方式，文件可以分為不同的類型，可以由文件的后綴名加以區(qū)分。
■ 數(shù)據(jù)庫(kù)
數(shù)據(jù)庫(kù)按照特定的數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)，它相當(dāng)于建立在計(jì)算機(jī)存儲(chǔ)設(shè)備上的倉(cāng)庫(kù)。數(shù)據(jù)庫(kù)有很多種類型，從最簡(jiǎn)單的存儲(chǔ)各種數(shù)據(jù)的表格，到能夠進(jìn)行海量數(shù)據(jù)存儲(chǔ)的大型數(shù)據(jù)庫(kù)系統(tǒng)，都有著十分廣泛的應(yīng)用。
數(shù)據(jù)存儲(chǔ)形式
1、確定關(guān)系表中每一個(gè)屬性的數(shù)據(jù)類型。
2、設(shè)置屬性值的數(shù)據(jù)約束（屬性值是否唯一、是否可以為空、是否要在一定的數(shù)據(jù)范圍內(nèi)等）
如：視頻文件、音頻文件、圖像文件、文本文件等。
結(jié)構(gòu)化數(shù)據(jù)通常存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)或表格文件中。
非結(jié)構(gòu)化數(shù)據(jù)主要以媒體格式文件存儲(chǔ)。
04
表格數(shù)據(jù)的加工方法
數(shù)據(jù)計(jì)算、數(shù)據(jù)排序、數(shù)據(jù)篩選、數(shù)據(jù)分類匯總
（1）數(shù)值數(shù)據(jù)（一般由阿拉伯?dāng)?shù)字、小數(shù)點(diǎn)和正負(fù)號(hào)構(gòu)成，數(shù)據(jù)處理軟件提供了百分比、貨幣、科學(xué)計(jì)數(shù)法等）
1、數(shù)據(jù)的計(jì)算
算術(shù)運(yùn)算：+ - * /
關(guān)系運(yùn)算：= > < >= <= <>
運(yùn)算結(jié)果為TURE 或者FALSE
常用函數(shù)：
求和 SUM 計(jì)數(shù) COUNT 求平均 AVERAGE
求最大值 MAX 求最小值 MIN
求平方根 SQRT 求余數(shù) MOD
例如：
SUM（A1:C1）
計(jì)算A1到C3所有數(shù)值的和。
AVERAGE（A1:C3）
求A1到C3所有數(shù)值的平均值
A B C
1 80 75 62
2 15 63 55
3 42 34 90
（2）文本數(shù)據(jù)（一般包含字母、漢字等字符，也可以是完全由數(shù)字構(gòu)成的文本數(shù)據(jù)，如身份證號(hào)碼、工號(hào)等）
文本運(yùn)算：&
常用函數(shù)：
求字符串的長(zhǎng) LEN
求子串的 LEFT（從左邊截取字符串） RIGHT（從右邊截取字符串） MID(截取指定子串）
查找字符串 FIND
刪除空格 TRIM
例如：
LEFT（A1,3） =433
RIGTH（A1,3） =521
MID(A1,7,8) =20081010
A B C
1 433031200810101521
2
3
（3）日期時(shí)間數(shù)據(jù)（一般日期和時(shí)間兩部分，輸入方式為YYYY-MM-DD HH:MM:SS）
常用函數(shù)：
返回當(dāng)天日期 TODAY
返回當(dāng)前日期和時(shí)間 NOW
返回兩日期間相差的實(shí)足年數(shù)、月數(shù)、天數(shù) DATEDIF
例如：
DATE(2029,10,1)-TODAY() 求舉例2029年國(guó)慶節(jié)還有多少天
（4）邏輯數(shù)據(jù)（TURE、FALSE。沒(méi)有運(yùn)算，但關(guān)系運(yùn)算和邏輯函數(shù)都會(huì)產(chǎn)生邏輯數(shù)據(jù)）
常用函數(shù)：
IF 函數(shù) 是否滿足條件返回不同的結(jié)果。可支持多個(gè)條件判斷。
例如：
DATE(2029,10,1)-TODAY() 求舉例2029年國(guó)慶節(jié)還有多少天
BMI指數(shù) 評(píng)價(jià)
MBI<18.5 體重輕
18.5<=BMI<24 健康
24<=BMI<28 超重
BMI>=28 肥胖
序號(hào) 體檢號(hào) 身高 體重 BMI 評(píng)價(jià)
1 1230001 1.56 63.1 25.93 超重
2 1230002 1.6 48.7 19.02 健康
IF(E2<18.5,”體重輕”,IF(E2<24,”健康”,IF(E2<28,”超重”,“肥胖”)))
2、數(shù)據(jù)的排序
數(shù)據(jù)排序即對(duì)表格中的一列或多列數(shù)據(jù)按制定的順序重新顯示。
排序兩種方式：
升序 降序
■數(shù)值數(shù)據(jù)按照數(shù)值的大小排序
■文本數(shù)據(jù)按照ASCII碼值的大小排序
■漢字的排序兩種：按拼音的字典順序排序；按筆畫的多少逐字排序。
3、數(shù)據(jù)的篩選
當(dāng)要從表格中找出滿足一定條件的幾行或幾列數(shù)據(jù)時(shí)，就需要用到數(shù)據(jù)篩選功能。
■數(shù)值數(shù)據(jù)按照值域范圍、平均值、最大最小值等來(lái)設(shè)定
■文本數(shù)據(jù)按照所包含的字符或字符串模糊查找
■日期、時(shí)間數(shù)據(jù)支持按年、月、日分級(jí)選擇，也可以根據(jù)日期的大小和范圍設(shè)定
■邏輯數(shù)據(jù)只有兩個(gè)值，只需選擇相應(yīng)的值進(jìn)行篩選
4、數(shù)據(jù)的分類匯總
表格數(shù)據(jù)可以按照不同的類別進(jìn)行匯總統(tǒng)計(jì)，匯總統(tǒng)計(jì)包括求總和、計(jì)數(shù)、求平均值、取最大最小值、求偏差、求方差等。
（1）單方向的分類匯總
按數(shù)據(jù)分類字段先排序，利用匯總工具對(duì)匯總方式、匯總項(xiàng)等進(jìn)行設(shè)定
（2）交叉分類匯總
通常使用工具是數(shù)據(jù)透視表。數(shù)據(jù)透視表是一種交互式的表，可以進(jìn)行某些計(jì)算，如求和與計(jì)數(shù)等。所進(jìn)行的計(jì)算與數(shù)據(jù)跟數(shù)據(jù)透視表中的排列有關(guān)。之所以稱為數(shù)據(jù)透視表，是因?yàn)榭梢詣?dòng)態(tài)地改變它們的版面布置，以便按照不同方式分析數(shù)據(jù)，也可以重新安排行號(hào)、列標(biāo)和頁(yè)字段。每一次改變版面布置時(shí)，數(shù)據(jù)透視表會(huì)立即按照新的布置重新計(jì)算數(shù)據(jù)。另外，如果原始數(shù)據(jù)發(fā)生更改，則可以更新數(shù)據(jù)透視表。
謝謝您的聆聽！

展開更多......

收起↑