資源簡介

(共22張PPT)
3.2
數(shù)據(jù)采集與整理
學(xué)習(xí)目標(biāo)：
通過應(yīng)用實例，掌握數(shù)據(jù)采集和整理的基本方法，能夠根據(jù)任務(wù)需求，選擇適當(dāng)?shù)牟杉ぞ吆头椒ā?br/>了解網(wǎng)絡(luò)爬蟲的功能和工作原理。
了解數(shù)據(jù)安全面臨的威脅和進(jìn)行數(shù)據(jù)保護的意義及方法，增強數(shù)據(jù)安全意識，學(xué)會數(shù)據(jù)備份和用數(shù)字化工具對文件和數(shù)據(jù)進(jìn)行保護。
南水北調(diào)中線工程.mp4
思考：我國確定南水北調(diào)這一偉大工程的依據(jù)是什么？
實踐1：明確數(shù)據(jù)需求
利用互聯(lián)網(wǎng)查找我國水資源分布的圖文資料，回答下列問題：
我國水資源最缺乏的地區(qū)是哪里？水資源壓力最大的哪里
？為什么呢？
實踐2：確定數(shù)據(jù)來源
黃河流域水資源數(shù)據(jù)匯總表
項目
2014
年
2015
年
2016
年
水資源總量/108m3
653.7
541.0
601.8
供水總量/108m3
387.5
395.5
390.4
用水總量/108m3
387.5
395.5
390.4
數(shù)據(jù)來源
水利部網(wǎng)站
水利部網(wǎng)站
水利部網(wǎng)站
各小組參照上表，查詢其他流域的水資源情況，并填寫下頁表格：
（
）流域水資源數(shù)據(jù)匯總表
項目
2014
年
2015
年
2016
年
水資源總量/108m3
供水總量/108m3
用水總量/108m3
數(shù)據(jù)來源
填寫表格提交至教師機，展示結(jié)果：
體驗探究：
如何既準(zhǔn)確又快速地得到這些數(shù)據(jù)？
網(wǎng)絡(luò)爬蟲
自主學(xué)習(xí)：
http://www.jleduyun.cn/index.php?r=center/person/blog/view&id=5281799
傳感器
紅外傳感器.mp4
調(diào)查問卷
體驗交流：
手機中采用了哪些傳感器來采集數(shù)據(jù)？
手機中的傳感器1
.mp4
手機中的傳感器2
.mp4
實踐3：數(shù)據(jù)采集
獲取2007-2016年全國各地區(qū)用水量數(shù)據(jù)，保存為CSV文件。
實踐4：數(shù)據(jù)整理
編寫程序檢測用水量為負(fù)值的數(shù)據(jù)
問題:采集到的全國各地區(qū)2007
-2016
年用水量數(shù)據(jù)，存儲為"yongshui.csv"
文件，如圖所示。采集的數(shù)據(jù)由于誤輸入，傳輸錯誤等可能存在問題。例如，河北省2013年用水量中的-191.29和-219.99兩個值，不屬于正常用水量，需要檢測出所有類似的異常數(shù)據(jù)，并提示用戶對數(shù)據(jù)進(jìn)行檢查和修改。
（1）分析問題
已知條件:
“yonghui.csv”
文件中保存了各地區(qū)2007-
2016
年用水總量，如果其中的數(shù)據(jù)為負(fù)值，則認(rèn)為數(shù)據(jù)異常;
求解目標(biāo):檢測出異常數(shù)據(jù)，提醒用戶核對;
已知與未知的關(guān)系:可通過檢測每個用水量數(shù)據(jù)是否為負(fù)值，發(fā)現(xiàn)異常的數(shù)據(jù)。
(2)規(guī)劃問題求解流程
首先讀人CSV文件中的全部數(shù)據(jù):經(jīng)觀察發(fā)現(xiàn)，從第3行開始，每行的第4列之后是各年用水量數(shù)據(jù)，因此從第4列開始逐行依次檢查每個數(shù)據(jù)，判斷其值是否為負(fù)值:如果為負(fù)值，則提示“數(shù)據(jù)異常，請核對!”
pandas簡介：
pandas?是Python的一個數(shù)據(jù)分析庫。最初是被作為金融數(shù)據(jù)分析工具而開發(fā)出來的，它提供了許多高效易用的數(shù)據(jù)分析工具和適合科學(xué)計算的數(shù)據(jù)結(jié)構(gòu)，使得處理更加簡潔，同時在處理速度上也做了不少優(yōu)化。
調(diào)用pandas庫可實現(xiàn)數(shù)據(jù)查找、刪除、排序和索引等功能。
TimeSeries：
以時間為索引的Series。
pandas數(shù)據(jù)結(jié)構(gòu)：
Series：
一維數(shù)組，與Numpy中的一維數(shù)組類似，與Python中的基本數(shù)據(jù)結(jié)構(gòu)list也很相近。它能保存不同數(shù)據(jù)類型的數(shù)據(jù)，包括字符串、布爾值和數(shù)字等。
DataFrame：
二維表格型數(shù)據(jù)結(jié)構(gòu)，可以將DataFrame理解為Series的容器。
Panel
：
三維數(shù)組，可以理解為DataFrame的容器。
DataFrame數(shù)據(jù)結(jié)構(gòu)：
本課主要是針對DataFrame數(shù)據(jù)結(jié)構(gòu)的學(xué)習(xí)與使用。
DataFrame是Python的pandas庫中的一種數(shù)據(jù)結(jié)構(gòu)，它類似Excel，是一種二維表。DataFrame的單元格可以存放數(shù)值、字符串等，這和Excel表很像。同時，DataFrame可以設(shè)置列名columns與行名index，可以通過位置獲取數(shù)據(jù)，也可以通過列名和行名定位。
import
pandas
as
pd
df
=
pd.read_CSV(“yongshui.csv”,
encoding=“gbk”,
header=1)
for
i
in
range(3,
len(df.
columns)):
current_col
=
df.columns[i]
display_cols
.=
[“地區(qū)”,current_col]
error_data=df.loc[df[current_col]
<
0,
display_cols]
error_rows_count,_
=
error_data.
shape
if
error_rows_count>
0:
print(error_data,
”數(shù)據(jù)異常，請核對！
")
print("\n")
（3）編程實現(xiàn)與調(diào)試
思考活動：
1.我們的網(wǎng)上數(shù)據(jù)是否安全？
2.我們的網(wǎng)上行為數(shù)據(jù)可能存儲在哪里？如果這些數(shù)據(jù)被泄露可能會帶來哪些風(fēng)險和問題？
3.通過哪些措施可以使我們的網(wǎng)絡(luò)行為數(shù)據(jù)更安全？
數(shù)據(jù)保護的方法
數(shù)據(jù)防護的安全：
主要是采用存儲手段保證數(shù)據(jù)的安全，如數(shù)據(jù)備份：可移動存儲設(shè)備備份和網(wǎng)絡(luò)備份
數(shù)據(jù)本身的安全：
可采用加密的方式對數(shù)據(jù)進(jìn)行保護：壓縮文件時設(shè)置密碼
數(shù)據(jù)安全
1.搜索引擎通常提供高級搜索指令，幫助使用者更有效地進(jìn)行檢索。
上網(wǎng)學(xué)習(xí)搜索引擎使用技巧
2.
小明同學(xué)準(zhǔn)備參加一門網(wǎng)絡(luò)課程的學(xué)習(xí)，但是在注冊賬號時，系統(tǒng)提示密碼安全強度低。試分析安全強度低的原因，并說明小明應(yīng)如何重新設(shè)計密碼。
3.
在桌面上新建一個文件夾，試著壓縮這個文件夾，壓縮時設(shè)置好密碼。
上網(wǎng)搜索其加密原理
作業(yè)：(
裝
訂
線
)課
題
3.2
數(shù)據(jù)采集與整理
課型
新授課
課時安排
2
教
學(xué)
過
程
(
授課教師
：
授課班級
：
)教學(xué)目標(biāo)
通過應(yīng)用實例，掌握數(shù)據(jù)采集和整理的基本方法，能夠根據(jù)任務(wù)需求，選擇適當(dāng)?shù)牟杉ぞ吆头椒ā?br/>了解數(shù)據(jù)安全面臨的威脅和進(jìn)行數(shù)據(jù)保護的意義及方法，增強數(shù)據(jù)安全意識，學(xué)會數(shù)據(jù)備份和用數(shù)字化工具對文件和數(shù)據(jù)進(jìn)行保護。
一、情景引入：
1.播放宣傳短片《南水北調(diào)中線工程》.mp4
學(xué)生思考：我國確定南水北調(diào)這一偉大工程的依據(jù)是什么？
二、新知探究：
1.實踐學(xué)習(xí)：
實踐1：明確數(shù)據(jù)需求
利用互聯(lián)網(wǎng)查找我國水資源分布的圖文資料，回答下列問題：
我國水資源最缺乏的地區(qū)是哪里？水資源壓力最大的哪里
？為什么呢？
實踐2：確定數(shù)據(jù)來源
各小組參照上表，查詢其他流域的水資源情況，并填寫下頁表格：
（
）流域水資源數(shù)據(jù)匯總表
項目2014
年2015年2016年水資源總量/108m3供水總量/108m3用水總量/108m3數(shù)據(jù)來源
體驗探究：如何既準(zhǔn)確又快速地得到這些數(shù)據(jù)？
(1).網(wǎng)絡(luò)爬蟲
播放《網(wǎng)絡(luò)爬蟲》.mp4
自主學(xué)習(xí)：訪問老師的空間，理解網(wǎng)絡(luò)爬蟲的原理
網(wǎng)址：http://www.jleduyun.cn/index.php?r=center/person/blog/view&id=5281799
教師講授網(wǎng)絡(luò)爬蟲的原理，加深學(xué)生的理解。
(2).傳感器（溫度傳感器、壓力傳感器、紅外傳感器、距離傳感器等）
演示紅外傳感器.mp4,學(xué)生上網(wǎng)了解其他幾種傳感器
(3).調(diào)查問卷(問卷星)
體驗交流：
手機中采用了哪些傳感器來采集數(shù)據(jù)？
觀看視頻：手機中的傳感器1.mp4
、手機中的傳感器2.mp4
實踐3：數(shù)據(jù)采集
獲取2007-2016年全國各地區(qū)用水量數(shù)據(jù)，保存為CSV文件。
教師運用云課堂演示，然后由學(xué)生實際操作。
教學(xué)難點
教學(xué)重點
重點：數(shù)據(jù)采集的基本方法、數(shù)據(jù)保護的方法
難點：了解網(wǎng)絡(luò)爬蟲的功能和工作原理、根據(jù)需求選擇恰當(dāng)?shù)姆椒ūＷo數(shù)據(jù)。
教學(xué)
方法
任務(wù)驅(qū)動、分組探究法、討論法、云課堂演示等
板書設(shè)計
3.2
數(shù)據(jù)采集與整理
確定數(shù)據(jù)需求→.確定數(shù)據(jù)來源→選擇采集方法→實施數(shù)據(jù)采集
（社會調(diào)查、公眾媒體、科學(xué)實驗……）
傳感器和網(wǎng)絡(luò)
網(wǎng)絡(luò)爬蟲、在線問卷（問卷星）
教學(xué)反思
繼續(xù)以“南水北調(diào)”為情境引出本節(jié)課題并貫穿本節(jié)內(nèi)容，學(xué)生易于接受，通過實踐探索讓學(xué)生體驗數(shù)據(jù)采集和數(shù)據(jù)處理的過程，學(xué)生對使用爬蟲程序獲取數(shù)據(jù)比較陌生，需要重點講解。可以讓學(xué)生繪制思維導(dǎo)圖來總結(jié)本節(jié)課的內(nèi)容，這樣能讓學(xué)生對數(shù)據(jù)安全有更深刻的認(rèn)識，能夠更好的增強數(shù)據(jù)安全意識。
實踐4：數(shù)據(jù)整理
編寫程序檢測用水量為負(fù)值的數(shù)據(jù)
（1）.分析問題
已知條件:
“yonghui.csv”
文件中保存了各地區(qū)2007-
2016
年用水總量，如果其中的數(shù)據(jù)為負(fù)值，則認(rèn)為數(shù)據(jù)異常;
求解目標(biāo):檢測出異常數(shù)據(jù)，提醒用戶核對;
已知與未知的關(guān)系:可通過檢測每個用水量數(shù)據(jù)是否為負(fù)值，發(fā)現(xiàn)異常的數(shù)據(jù)。
（2）.規(guī)劃問題求解流程
首先讀人CSV文件中的全部數(shù)據(jù):經(jīng)觀察發(fā)現(xiàn)，從第3行開始，每行的第4列之后是各年用水量數(shù)據(jù)，因此從第4列開始逐行依次檢查每個數(shù)據(jù)，判斷其值是否為負(fù)值:如果為負(fù)值，則提示“數(shù)據(jù)異常，請核對!”
（3）.編程實現(xiàn)與調(diào)試
import?pandas?as?pd
df?=?pd.read_CSV(“yongshui.csv”,?encoding=”gbk”,?header=1)
for?i?in?range(3,?len(df.?columns)):
current_col?=?df.columns[i]
display_cols?.=?[“地區(qū)”,current_col]
error_data=df.loc[df[current_col]?error_rows_count,_?=?error_data.?shape
if?error_rows_count>?0:
print(error_data,?”數(shù)據(jù)異常，請核對！?")
print("\n")
學(xué)生在Python中運行并調(diào)試成功即可。
思考活動：
1.我們的網(wǎng)上數(shù)據(jù)是否安全？
2.我們的網(wǎng)上行為數(shù)據(jù)可能存儲在哪里？如果這些數(shù)據(jù)被泄露可能會帶來哪些風(fēng)險和問題？
3.通過哪些措施可以使我們的網(wǎng)絡(luò)行為數(shù)據(jù)更安全？
教師講授：
（1）數(shù)據(jù)安全的威脅：計算機病毒、黑客攻擊、數(shù)據(jù)存儲介質(zhì)損壞和個人失誤等多方面。
（2）數(shù)據(jù)保護的方法
數(shù)據(jù)防護的安全：
主要是采用存儲手段保證數(shù)據(jù)的安全，如數(shù)據(jù)備份：可移動存儲設(shè)備備份和網(wǎng)絡(luò)備份
數(shù)據(jù)本身的安全：
可采用加密的方式對數(shù)據(jù)進(jìn)行保護：壓縮文件時設(shè)置密碼
三、課堂小結(jié)
教師和學(xué)生共同總結(jié)本節(jié)知識內(nèi)容。
四、作業(yè)：
?
1.
上網(wǎng)學(xué)習(xí)搜索引擎使用技巧
?
2.
小明同學(xué)準(zhǔn)備參加一門網(wǎng)絡(luò)課程的學(xué)習(xí)，但是在注冊賬號時，系統(tǒng)提示密碼安全強度低。試分析安全強度低的原因，并說明小明應(yīng)如何重新設(shè)計密碼。
教師詳解：
1.Pandas簡介：?是Python的一個數(shù)據(jù)分析庫。最初是被作為金融數(shù)據(jù)分析工具而開發(fā)出來的，它提供了許多高效易用的數(shù)據(jù)分析工具和適合科學(xué)計算的數(shù)據(jù)結(jié)構(gòu)，使得處理更加簡潔，同時在處理速度上也做了不少優(yōu)化。
調(diào)用pandas庫可實現(xiàn)數(shù)據(jù)查找、刪除、排序和索引等功能。
2.
pandas數(shù)據(jù)結(jié)構(gòu)：
Series：
一維數(shù)組，與Numpy中的一維數(shù)組類似，與Python中的基本數(shù)據(jù)結(jié)構(gòu)list也很相近。它能保存不同數(shù)據(jù)類型的數(shù)據(jù)，包括字符串、布爾值和數(shù)字等。
DataFrame：
二維表格型數(shù)據(jù)結(jié)構(gòu)，可以將DataFrame理解為Series的容器。
TimeSeries：
以時間為索引的Series。
Panel
：
三維數(shù)組，可以理解為DataFrame的容器。
DataFrame數(shù)據(jù)結(jié)構(gòu)：
DataFrame是Python的pandas庫中的一種數(shù)據(jù)結(jié)構(gòu)，它類似Excel，是一種二維表。DataFrame的單元格可以存放數(shù)值、字符串等，這和Excel表很像。同時，DataFrame可以設(shè)置列名columns與行名index，可以通過位置獲取數(shù)據(jù)，也可以通過列名和行名定位。
?
3.
在桌面上新建一個文件夾，試著壓縮這個文件夾，壓縮時設(shè)置好密碼。上網(wǎng)搜索其加密原理

展開更多......

收起↑