資源簡介

(共36張PPT)
第8課
人工智能安全
（浙教版）九年級
全
01
教學目標
02
新知導入
03
人工智能助力安全
04
人工智能內生安全
05
人工智能安全發(fā)展
06
拓展延伸
08
課堂小結
09
板書設計
07
課堂練習
01
教學目標
1、信息意識：能夠認識到人工智能在生活中的廣泛應用，主動關注人工智能安全相關的新聞和事件，了解其對個人和社會的影響。
2、計算思維：能夠運用邏輯推理和問題求解的能力，提出解決人工智能安全問題的思路和方法，培養(yǎng)批判性思維。
3、數(shù)字化學習與創(chuàng)新：能運用所學知識，嘗試創(chuàng)新地設計和開發(fā)簡單的人工智能安全解決方案或工具，培養(yǎng)創(chuàng)新意識和實踐能力。
4、信息社會責任：明確在使用人工智能技術時應遵守的道德規(guī)范和法律法規(guī)，自覺維護人工智能安全和個人隱私。
02
新知導入
通過分析人工智能與安全的辯證關系，能理解人工智能既能賦能安全，又會伴生安全問題;通過學習人工智能內生安全的內容，認識到人工智能系統(tǒng)的設計、制造和使用等環(huán)節(jié)須在法律法規(guī)、國家政策、倫理道德、標準規(guī)范的約束下進行。
探究：
1、我們熟悉的語音識別或圖像識別在應用中存在哪些安全隱患
2、人工智能會不會是隱私的泄密者 為什么
02
新知導入
人工智能技術具有安全賦能和安全伴生兩大效應。所謂安全賦能是指人工智能為保障網(wǎng)絡空間安全、提升經濟社會風險防控能力等方面提供了新手段和新途徑。所謂安全伴生是指當人工智能發(fā)展到一定階段后，在不斷的應用中發(fā)現(xiàn)新的安全問題伴生而來，其安全性將受到更嚴峻的挑戰(zhàn)。
03
人工智能助力安全
在公共安全領域，人工智能依托其強大的數(shù)據(jù)分析和自主學習能力，可以充分挖掘數(shù)據(jù)價值，預測預警經濟社會運行中可能存在的潛在風險，在智能安防監(jiān)控、惡意代碼檢測、垃圾郵件檢測、用戶實體行為分析等方面發(fā)揮助力安全的作用。
03
人工智能助力安全
1.智能安防監(jiān)控
安防監(jiān)控涉及的人工智能技術有智能視頻監(jiān)控、體態(tài)識別與行為預測和智能安防機器人等技術。
智能視頻監(jiān)控能夠將人的各種屬性進行關聯(lián)分析與數(shù)據(jù)挖掘，實現(xiàn)安防監(jiān)管的實時響應與預警。
03
人工智能助力安全
以往的監(jiān)控攝像頭把圖像、視頻數(shù)據(jù)傳輸?shù)椒斩撕笤儆煞斩诉M行特定處理，近年來安防行業(yè)越來越多的數(shù)據(jù)和計算從云中心遷移到攝像頭、傳感器等“邊緣”位置，用以節(jié)省帶寬、提升服務響應速度與可靠性。基于邊緣計算的人臉識別攝像頭能夠直接在本地設備上完成識別得到相關數(shù)據(jù)。在深山、礦井、遠海航船等網(wǎng)絡難以覆蓋的地方，搭載邊緣計算的視頻監(jiān)控系統(tǒng)能夠實時處理數(shù)據(jù)，及時做出響應，確保安全。
03
人工智能助力安全
2.垃圾郵件檢測
人工智能技術發(fā)展的初期，使用規(guī)則對垃圾郵件進行檢測。在垃圾郵件的檢測中，當郵件中出現(xiàn)事先指定的一些可能屬于垃圾郵件的詞語時，這封郵件很可能就是垃圾郵件，當郵件里出現(xiàn)網(wǎng)址時，也可能是垃圾郵件。
03
人工智能助力安全
但隨著規(guī)則越來越多，這樣的檢測系統(tǒng)也變得越來越復雜。機器學習算法可以自動地從數(shù)據(jù)的某些特征中學習它們之間的關系，并且通過對數(shù)據(jù)的不斷學習，提升垃圾郵件檢測的能力和性能。
03
體驗使用貝葉斯分類器算法進行垃圾郵件判定。
使用貝葉斯分類器進行垃圾郵件判定，需先收集正常郵件和垃圾郵件數(shù)據(jù)并預處理，轉換為特征向量。接著在訓練階段計算先驗概率和條件概率，構建分類器。測試時用分類器對郵件分類并評估性能。體驗中，準確性較高時能正確識別垃圾郵件且不誤判正常郵件，可解釋性強，能查看單詞條件概率了解對判定的貢獻，但也有局限性，對新類型或特定領域郵件可能表現(xiàn)不佳，且受郵件多樣性和復雜性影響。
親身體驗
人工智能助力安全
03
我們熟悉的語音識別或圖像識別在應用中存在哪些安全隱患
語音識別安全隱患： 1. 聲音模仿與偽造，如利用語音合成技術或錄音重放攻擊欺騙系統(tǒng)。 2. 背景噪聲干擾影響識別準確性。 3. 隱私泄露，語音數(shù)據(jù)若保護不當易被竊取。
圖像識別安全隱患： 1. 圖像偽造與篡改，包括使用圖像編輯軟件和對抗樣本攻擊。 2. 模型竊取與逆向攻擊，侵犯知識產權并獲取敏感信息。 3. 隱私泄露，圖像含個人信息，安全措施不足易泄露。 4. 物理攻擊，如放置物體干擾或破壞攝像頭組件。
新知拓展
人工智能助力安全
03
新知拓展
人工智能助力安全
04
人工智能內生安全
人工智能可以助力安全，但人工智能系統(tǒng)涉及數(shù)據(jù)、框架、算法、模型、運行等多個復雜環(huán)節(jié)，這些環(huán)節(jié)都可能導致人工智能系統(tǒng)內在的安全問題。
1.數(shù)據(jù)安全
數(shù)據(jù)是人工智能的重要基礎。數(shù)據(jù)集的質量會直接影響人工智能算法的執(zhí)行效果。使用不同質量的數(shù)據(jù)集會在訓練之后得到不同的模型參數(shù)，產生不同的執(zhí)行效果，進而影響人工智能算法的安全性。
04
人工智能內生安全
數(shù)據(jù)集的質量取決于數(shù)據(jù)集的規(guī)模、均衡性、準確性等。人為地對數(shù)據(jù)進行修改在很大程度上能改變人工智能算法的執(zhí)行效果。即便是已經用高質量數(shù)據(jù)集訓練完畢的人工智能算法模型，只要對輸入的數(shù)據(jù)進行一些人眼無法感知的微小擾動，即可讓算法的輸出產生巨大的變化，這些經過微小擾動的輸入數(shù)據(jù)就是對抗樣本。圖8-1顯示了對抗樣本及其錯誤辨識的結果。
圖8-1 對抗樣本及其錯誤辨識結果
04
人工智能內生安全
如果惡意使用對抗樣本，可以欺騙自動駕駛汽車，使其不能正確識別道路停車標志，從而引發(fā)事故;可以欺騙語音識別系統(tǒng)，讓系統(tǒng)誤認為是“主人語音”而執(zhí)行虛假命令;可以入侵城市交通系統(tǒng)甚至武器系統(tǒng)。這種通過對抗樣本對智能系統(tǒng)發(fā)起的欺騙被稱為“對抗性攻擊”。
04
人工智能內生安全
親身體驗
體驗“對抗樣本”對人工智能模型可靠性的影響。實踐內容如下:
1.準備原始圖片數(shù)據(jù)和添加噪聲后的圖片數(shù)據(jù)。
一、準備階段
（1）.收集原始圖片數(shù)據(jù)
可以從公開的圖像數(shù)據(jù)集（如 CIFAR-10、MNIST 等）中選取一定數(shù)量的具有代表性的圖片，涵蓋不同的類別和場景。
確保原始圖片的質量和多樣性，以便更好地觀察對抗樣本對不同類型圖像的影響。
（2）.生成添加噪聲后的圖片數(shù)據(jù)
采用不同的方法添加噪聲，例如可以使用快速梯度符號法（FGSM）等攻擊算法。
調整噪聲的強度和類型，生成一系列對抗樣本，觀察其對人工智能模型的影響程度。
04
人工智能內生安全
親身體驗
2.在Keras上使用RexNet分類模型:
二、使用 RexNet 分類模型
（1）.在 Keras 中導入 RexNet 模型
確保已經正確安裝了 Keras 和相關的依賴庫。
使用 Keras 的應用模塊可以方便地導入預訓練的 RexNet 模型，或者根據(jù)需要自行構建和訓練模型。
（2）.對原始圖片和對抗樣本進行分類
將原始圖片數(shù)據(jù)和添加噪聲后的圖片數(shù)據(jù)分別輸入到 RexNet 模型中進行分類。
記錄模型對每一張圖片的分類結果和預測概率。
04
人工智能內生安全
親身體驗
三、查看實驗結果并分析
比較原始圖片和對抗樣本的分類結果
觀察模型對原始圖片的分類準確性，通常情況下，預訓練的模型在原始圖片上應該能夠取得較高的準確率。
對比模型對對抗樣本的分類結果，是否出現(xiàn)錯誤分類的情況。如果模型對對抗樣本的分類結果與原始圖片有較大差異，說明對抗樣本對模型的可靠性產生了影響。
分析對抗樣本的影響因素
研究不同噪聲強度和類型對模型分類結果的影響。一般來說，噪聲強度越大，模型越容易受到干擾，分類錯誤的可能性也越高。
觀察不同類別的圖片對對抗樣本的敏感性是否不同。有些類別可能更容易受到對抗樣本的影響，而有些類別則相對較穩(wěn)定。
04
人工智能內生安全
2.算法安全
如果想保證算法的完全正確，需要從理論上對算法進行證明，證明算法在任何情況下都能產生正確的結果。
深度神經網(wǎng)絡在很多領域能取得遠超傳統(tǒng)算法的準確率，但缺乏可解釋性。
04
人工智能內生安全
針對不同任務需要多少隱藏層，每個隱藏層抽取了何種特征還未能完全說明。在一些對準確率要求高、可解釋性要求強的場景中，神經網(wǎng)絡造成的失誤會產生巨大影響。人工智能算法可以借助海量數(shù)據(jù)進行自我學習和進化，可以在無人干預下自主處理問題，這也使得人工智能的行為和決策難以被事先預料和干預，從而增加安全風險。
04
人工智能內生安全
3.模型安全
人工智能算法往往需要訓練大量的模型參數(shù)，經過訓練之后生成的模型一般以實體文件的形式保存在服務器。如果攻擊者攻擊了云端服務器，利用服務器漏洞獲取模型參數(shù)，可能造成嚴重后果。
04
人工智能內生安全
隨著人工智能的普及，很多開發(fā)者將訓練好的模型共享給更多用戶，如果攻擊者對開源的模型進行攻擊，向其中注入惡意代碼或參數(shù)，生成“變異”的神經網(wǎng)絡模型并再次共享，在遇到特定情況或數(shù)據(jù)時，觸發(fā)執(zhí)行特定的惡意行為，會引起重大的安全問題。
05
人工智能安全發(fā)展
在人工智能涉及的網(wǎng)絡安全、數(shù)據(jù)安全、隱私保護方面，相關法律法規(guī)條款部分已在現(xiàn)有法律體系中體現(xiàn)。我國目前正在多層面推進數(shù)據(jù)安全和個人信息保護法律法規(guī)的制定，加速完善相關保護和監(jiān)管準則，對人工智能相關應用進一步明確監(jiān)管要求。
05
人工智能安全發(fā)展
我國《新一代人工智能發(fā)展規(guī)劃》中明確提出“建立人工智能安全監(jiān)管和評估體系”，包括“建立健全公開透明的人工智能監(jiān)管體系，實行設計問責和應用監(jiān)督并重的雙層監(jiān)管結構，實現(xiàn)對人工智能算法設計、產品開發(fā)和成果應用等的全流程監(jiān)管;促進人工智能行業(yè)和企業(yè)自律，切實加強管理，加大對數(shù)據(jù)濫用、侵犯個人隱私、違背道德倫理等行為的懲戒力度”。認識到自主可控對國家安全的重要性，加強核心技術的自主可控，以自主可控為根基，通過理論創(chuàng)新、技術突破形成核心競爭力。
05
人工智能安全發(fā)展
新知拓展
人工智能會不會是隱私的泄密者 為什么
人工智能有可能成為隱私的泄密者。原因如下： 在數(shù)據(jù)收集環(huán)節(jié)，大規(guī)模數(shù)據(jù)采集及數(shù)據(jù)共享合作可能導致用戶個人信息泄露，如智能設備和應用收集行為、位置信息，數(shù)據(jù)提供商出售用戶數(shù)據(jù)等。在模型訓練與應用環(huán)節(jié)，可能面臨模型反演攻擊、數(shù)據(jù)殘留以及惡意應用帶來的隱私泄露風險，如醫(yī)療領域攻擊者可推斷患者信息，云計算中數(shù)據(jù)未徹底清除可能被獲取，惡意軟件利用人工智能竊取敏感信息。此外，技術不斷進步帶來新的攻擊手段和隱私泄露風險，而監(jiān)管的滯后性使得企業(yè)缺乏約束，處罰力度不夠，難以有效保護用戶隱私。
05
人工智能安全發(fā)展
新知拓展
06
隨堂練習
1.個性化智能推薦已深度應用于新聞信息行業(yè)，也廣泛應用于旅游出行、電子商務、金融服務等行業(yè)。智能推薦系統(tǒng)在給人們生活帶來便利的同時，在實際應用中也暴露出一些安全風險。請結合生活中的應用體驗，分析智能推薦的風險挑戰(zhàn)，并提出相應的安全監(jiān)管措施建議。
智能推薦雖帶來便利，但也有風險挑戰(zhàn)。如新聞領域易致信息繭房，電子商務領域可能讓用戶錯過新商品；存在隱私泄露風險，可能被不良商家出售數(shù)據(jù)或遭黑客攻擊；有算法偏見問題，會加劇社會不平等；還可能傳播虛假信息。 安全監(jiān)管措施包括加強算法監(jiān)管，規(guī)范設計使用并公開原理接受監(jiān)督；保護用戶隱私，制定嚴格標準；促進信息多元化，打破信息繭房；提高用戶意識；建立行業(yè)自律機制。
06
隨堂練習
2.搜索并學習我國有關人工智能安全方面的政策文件。
我國有關人工智能安全方面的政策文件有：《生成式人工智能服務管理暫行辦法》及其支撐文件《生成式人工智能服務安全基本要求》，《全球安全倡議概念文件》提及人工智能安全治理，《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》，《中共中央關于進一步全面深化改革推進中國式現(xiàn)代化的決定》提到建立人工智能安全監(jiān)管制度，還有《人工智能安全標準化白皮書（2019 版）》和《人工智能安全標準化白皮書（2023 版）》。
07
拓展延伸
1、防護ai換臉詐騙
07
拓展延伸
2、人工智能安全的國際合作
了解國際上在人工智能安全方面的合作與交流情況，如國際標準制定、聯(lián)合研究等。
明白人工智能安全是全球性問題，需要各國共同努力，培養(yǎng)全球視野和合作意識。
關注國際人工智能安全動態(tài)，積極參與相關的活動和討論。
07
拓展延伸
3、人工智能教育
了解人工智能在教育領域的應用，如個性化學習推薦、智能輔導系統(tǒng)等。
探討人工智能如何根據(jù)我們的學習特點和需求提供個性化的教育服務，同時也要注意數(shù)據(jù)的安全保護。
體驗一些智能教育產品，感受人工智能對學習的幫助。
08
課堂小結
本次《人工智能安全》課程，我們認識到人工智能雖帶來便利，但也有信息繭房、隱私泄露、算法偏見、虛假信息傳播等風險。應對這些挑戰(zhàn)需加強算法監(jiān)管、保護用戶隱私、促進信息多元化、提高用戶意識和建立行業(yè)自律機制。我們還學習了我國相關政策文件，希望同學們在享受人工智能便利的同時關注安全風險，共同營造安全的應用環(huán)境。
09
板書設計
人工智能安全
一、人工智能助力安全
二、人工智能內生安全
三、人工智能安全發(fā)展
課后作業(yè)：
利用課余時間，嘗試使用一款具有智能推薦功能的應用程序（如新聞客戶端、購物軟件等），觀察其推薦內容，并思考如何判斷這些推薦是否存在信息繭房的問題。記錄下你的觀察和思考結果。
https://www.21cnjy.com/recruitment/home/fine中小學教育資源及組卷應用平臺
信息技術 第8課 人工智能安全
課題 人工智能安全 單元 第二單元 學科 信息技術 年級 九年級
教學目標 1、信息意識：能夠認識到人工智能在生活中的廣泛應用，主動關注人工智能安全相關的新聞和事件，了解其對個人和社會的影響。 2、計算思維：能夠運用邏輯推理和問題求解的能力，提出解決人工智能安全問題的思路和方法，培養(yǎng)批判性思維。3、數(shù)字化學習與創(chuàng)新：能運用所學知識，嘗試創(chuàng)新地設計和開發(fā)簡單的人工智能安全解決方案或工具，培養(yǎng)創(chuàng)新意識和實踐能力。 4、信息社會責任：明確在使用人工智能技術時應遵守的道德規(guī)范和法律法規(guī)，自覺維護人工智能安全和個人隱私。
重點 一、人工智能助力安全二、人工智能內生安全三、人工智能安全發(fā)展
難點 1、人工智能安全發(fā)展
教學過程
教學環(huán)節(jié) 教師活動 學生活動 設計意圖
導入新課 通過分析人工智能與安全的辯證關系，能理解人工智能既能賦能安全，又會伴生安全問題;通過學習人工智能內生安全的內容，認識到人工智能系統(tǒng)的設計、制造和使用等環(huán)節(jié)須在法律法規(guī)、國家政策、倫理道德、標準規(guī)范的約束下進行。 探究： 1、我們熟悉的語音識別或圖像識別在應用中存在哪些安全隱患 2、人工智能會不會是隱私的泄密者 為什么 人工智能技術具有安全賦能和安全伴生兩大效應。所謂安全賦能是指人工智能為保障網(wǎng)絡空間安全、提升經濟社會風險防控能力等方面提供了新手段和新途徑。所謂安全伴生是指當人工智能發(fā)展到一定階段后，在不斷的應用中發(fā)現(xiàn)新的安全問題伴生而來，其安全性將受到更嚴峻的挑戰(zhàn)。 通過老師講解和學生之間的相互討論人工智能與安全的辯證關系。 幫助學生理解人工智能與安全的辯證關系，打開課堂。
講授新課 一 、人工智能助力安全在公共安全領域，人工智能依托其強大的數(shù)據(jù)分析和自主學習能力，可以充分挖掘數(shù)據(jù)價值，預測預警經濟社會運行中可能存在的潛在風險，在智能安防監(jiān)控、惡意代碼檢測、垃圾郵件檢測、用戶實體行為分析等方面發(fā)揮助力安全的作用。1.智能安防監(jiān)控安防監(jiān)控涉及的人工智能技術有智能視頻監(jiān)控、體態(tài)識別與行為預測和智能安防機器人等技術。智能視頻監(jiān)控能夠將人的各種屬性進行關聯(lián)分析與數(shù)據(jù)挖掘，實現(xiàn)安防監(jiān)管的實時響應與預警。 以往的監(jiān)控攝像頭把圖像、視頻數(shù)據(jù)傳輸?shù)椒斩撕笤儆煞斩诉M行特定處理，近年來安防行業(yè)越來越多的數(shù)據(jù)和計算從云中心遷移到攝像頭、傳感器等“邊緣”位置，用以節(jié)省帶寬、提升服務響應速度與可靠性。基于邊緣計算的人臉識別攝像頭能夠直接在本地設備上完成識別得到相關數(shù)據(jù)。在深山、礦井、遠海航船等網(wǎng)絡難以覆蓋的地方，搭載邊緣計算的視頻監(jiān)控系統(tǒng)能夠實時處理數(shù)據(jù)，及時做出響應，確保安全。 2.垃圾郵件檢測 人工智能技術發(fā)展的初期，使用規(guī)則對垃圾郵件進行檢測。在垃圾郵件的檢測中，當郵件中出現(xiàn)事先指定的一些可能屬于垃圾郵件的詞語時，這封郵件很可能就是垃圾郵件，當郵件里出現(xiàn)網(wǎng)址時，也可能是垃圾郵件。 但隨著規(guī)則越來越多，這樣的檢測系統(tǒng)也變得越來越復雜。機器學習算法可以自動地從數(shù)據(jù)的某些特征中學習它們之間的關系，并且通過對數(shù)據(jù)的不斷學習，提升垃圾郵件檢測的能力和性能。親身體驗體驗使用貝葉斯分類器算法進行垃圾郵件判定。使用貝葉斯分類器進行垃圾郵件判定，需先收集正常郵件和垃圾郵件數(shù)據(jù)并預處理，轉換為特征向量。接著在訓練階段計算先驗概率和條件概率，構建分類器。測試時用分類器對郵件分類并評估性能。體驗中，準確性較高時能正確識別垃圾郵件且不誤判正常郵件，可解釋性強，能查看單詞條件概率了解對判定的貢獻，但也有局限性，對新類型或特定領域郵件可能表現(xiàn)不佳，且受郵件多樣性和復雜性影響。新知拓展我們熟悉的語音識別或圖像識別在應用中存在哪些安全隱患 語音識別安全隱患： 1. 聲音模仿與偽造，如利用語音合成技術或錄音重放攻擊欺騙系統(tǒng)。 2. 背景噪聲干擾影響識別準確性。 3. 隱私泄露，語音數(shù)據(jù)若保護不當易被竊取。 圖像識別安全隱患： 1. 圖像偽造與篡改，包括使用圖像編輯軟件和對抗樣本攻擊。 2. 模型竊取與逆向攻擊，侵犯知識產權并獲取敏感信息。 3. 隱私泄露，圖像含個人信息，安全措施不足易泄露。 4. 物理攻擊，如放置物體干擾或破壞攝像頭組件。二 、人工智能內生安全 人工智能可以助力安全，但人工智能系統(tǒng)涉及數(shù)據(jù)、框架、算法、模型、運行等多個復雜環(huán)節(jié)，這些環(huán)節(jié)都可能導致人工智能系統(tǒng)內在的安全問題。 1.數(shù)據(jù)安全 數(shù)據(jù)是人工智能的重要基礎。數(shù)據(jù)集的質量會直接影響人工智能算法的執(zhí)行效果。使用不同質量的數(shù)據(jù)集會在訓練之后得到不同的模型參數(shù)，產生不同的執(zhí)行效果，進而影響人工智能算法的安全性。 數(shù)據(jù)集的質量取決于數(shù)據(jù)集的規(guī)模、均衡性、準確性等。人為地對數(shù)據(jù)進行修改在很大程度上能改變人工智能算法的執(zhí)行效果。即便是已經用高質量數(shù)據(jù)集訓練完畢的人工智能算法模型，只要對輸入的數(shù)據(jù)進行一些人眼無法感知的微小擾動，即可讓算法的輸出產生巨大的變化，這些經過微小擾動的輸入數(shù)據(jù)就是對抗樣本。圖8-1顯示了對抗樣本及其錯誤辨識的結果。 如果惡意使用對抗樣本，可以欺騙自動駕駛汽車，使其不能正確識別道路停車標志，從而引發(fā)事故;可以欺騙語音識別系統(tǒng)，讓系統(tǒng)誤認為是“主人語音”而執(zhí)行虛假命令;可以入侵城市交通系統(tǒng)甚至武器系統(tǒng)。這種通過對抗樣本對智能系統(tǒng)發(fā)起的欺騙被稱為“對抗性攻擊”。親身體驗體驗“對抗樣本”對人工智能模型可靠性的影響。實踐內容如下:1.準備原始圖片數(shù)據(jù)和添加噪聲后的圖片數(shù)據(jù)。一、準備階段.收集原始圖片數(shù)據(jù)可以從公開的圖像數(shù)據(jù)集（如 CIFAR-10、MNIST 等）中選取一定數(shù)量的具有代表性的圖片，涵蓋不同的類別和場景。確保原始圖片的質量和多樣性，以便更好地觀察對抗樣本對不同類型圖像的影響。.生成添加噪聲后的圖片數(shù)據(jù)采用不同的方法添加噪聲，例如可以使用快速梯度符號法（FGSM）等攻擊算法。調整噪聲的強度和類型，生成一系列對抗樣本，觀察其對人工智能模型的影響程度。2.在Keras上使用RexNet分類模型:二、使用 RexNet 分類模型.在 Keras 中導入 RexNet 模型確保已經正確安裝了 Keras 和相關的依賴庫。使用 Keras 的應用模塊可以方便地導入預訓練的 RexNet 模型，或者根據(jù)需要自行構建和訓練模型。.對原始圖片和對抗樣本進行分類將原始圖片數(shù)據(jù)和添加噪聲后的圖片數(shù)據(jù)分別輸入到 RexNet 模型中進行分類。記錄模型對每一張圖片的分類結果和預測概率。三、查看實驗結果并分析比較原始圖片和對抗樣本的分類結果觀察模型對原始圖片的分類準確性，通常情況下，預訓練的模型在原始圖片上應該能夠取得較高的準確率。對比模型對對抗樣本的分類結果，注意是否出現(xiàn)錯誤分類的情況。如果模型對對抗樣本的分類結果與原始圖片有較大差異，說明對抗樣本對模型的可靠性產生了影響。分析對抗樣本的影響因素研究不同噪聲強度和類型對模型分類結果的影響。一般來說，噪聲強度越大，模型越容易受到干擾，分類錯誤的可能性也越高。觀察不同類別的圖片對對抗樣本的敏感性是否不同。有些類別可能更容易受到對抗樣本的影響，而有些類別則相對較穩(wěn)定。 2.算法安全 如果想保證算法的完全正確，需要從理論上對算法進行證明，證明算法在任何情況下都能產生正確的結果。深度神經網(wǎng)絡在很多領域能取得遠超傳統(tǒng)算法的準確率，但缺乏可解釋性。針對不同任務需要多少隱藏層，每個隱藏層抽取了何種特征還未能完全說明。在一些對準確率要求高、可解釋性要求強的場景中，神經網(wǎng)絡造成的失誤會產生巨大影響。人工智能算法可以借助海量數(shù)據(jù)進行自我學習和進化，可以在無人干預下自主處理問題，這也使得人工智能的行為和決策難以被事先預料和干預，從而增加安全風險。3.模型安全人工智能算法往往需要訓練大量的模型參數(shù)，經過訓練之后生成的模型一般以實體文件的形式保存在服務器。如果攻擊者攻擊了云端服務器，利用服務器漏洞獲取模型參數(shù)，可能造成嚴重后果。 隨著人工智能的普及，很多開發(fā)者將訓練好的模型共享給更多用戶，如果攻擊者對開源的模型進行攻擊，向其中注入惡意代碼或參數(shù)，生成“變異”的神經網(wǎng)絡模型并再次共享，在遇到特定情況或數(shù)據(jù)時，觸發(fā)執(zhí)行特定的惡意行為，會引起重大的安全問題。三、人工智能安全發(fā)展在人工智能涉及的網(wǎng)絡安全、數(shù)據(jù)安全、隱私保護方面，相關法律法規(guī)條款部分已在現(xiàn)有法律體系中體現(xiàn)。我國目前正在多層面推進數(shù)據(jù)安全和個人信息保護法律法規(guī)的制定，加速完善相關保護和監(jiān)管準則，對人工智能相關應用進一步明確監(jiān)管要求。我國《新一代人工智能發(fā)展規(guī)劃》中明確提出“建立人工智能安全監(jiān)管和評估體系”，包括“建立健全公開透明的人工智能監(jiān)管體系，實行設計問責和應用監(jiān)督并重的雙層監(jiān)管結構，實現(xiàn)對人工智能算法設計、產品開發(fā)和成果應用等的全流程監(jiān)管;促進人工智能行業(yè)和企業(yè)自律，切實加強管理，加大對數(shù)據(jù)濫用、侵犯個人隱私、違背道德倫理等行為的懲戒力度”。認識到自主可控對國家安全的重要性，加強核心技術的自主可控，以自主可控為根基，通過理論創(chuàng)新、技術突破形成核心競爭力。新知拓展人工智能會不會是隱私的泄密者 為什么 人工智能有可能成為隱私的泄密者。原因如下：在數(shù)據(jù)收集環(huán)節(jié)，大規(guī)模數(shù)據(jù)采集及數(shù)據(jù)共享合作可能導致用戶個人信息泄露，如智能設備和應用收集行為、位置信息，數(shù)據(jù)提供商出售用戶數(shù)據(jù)等。在模型訓練與應用環(huán)節(jié)，可能面臨模型反演攻擊、數(shù)據(jù)殘留以及惡意應用帶來的隱私泄露風險，如醫(yī)療領域攻擊者可推斷患者信息，云計算中數(shù)據(jù)未徹底清除可能被獲取，惡意軟件利用人工智能竊取敏感信息。此外，技術不斷進步帶來新的攻擊手段和隱私泄露風險，而監(jiān)管的滯后性使得企業(yè)缺乏約束，處罰力度不夠，難以有效保護用戶隱私。四 、隨堂練習1.個性化智能推薦已深度應用于新聞信息行業(yè)，也廣泛應用于旅游出行、電子商務、金融服務等行業(yè)。智能推薦系統(tǒng)在給人們生活帶來便利的同時，在實際應用中也暴露出一些安全風險。請結合生活中的應用體驗，分析智能推薦的風險挑戰(zhàn)，并提出相應的安全監(jiān)管措施建議。智能推薦雖帶來便利，但也有風險挑戰(zhàn)。如新聞領域易致信息繭房，電子商務領域可能讓用戶錯過新商品；存在隱私泄露風險，可能被不良商家出售數(shù)據(jù)或遭黑客攻擊；有算法偏見問題，會加劇社會不平等；還可能傳播虛假信息。 安全監(jiān)管措施包括加強算法監(jiān)管，規(guī)范設計使用并公開原理接受監(jiān)督；保護用戶隱私，制定嚴格標準；促進信息多元化，打破信息繭房；提高用戶意識；建立行業(yè)自律機制。2.搜索并學習我國有關人工智能安全方面的政策文件。我國有關人工智能安全方面的政策文件有：《生成式人工智能服務管理暫行辦法》及其支撐文件《生成式人工智能服務安全基本要求》，《全球安全倡議概念文件》提及人工智能安全治理，《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》，《中共中央關于進一步全面深化改革推進中國式現(xiàn)代化的決定》提到建立人工智能安全監(jiān)管制度，還有《人工智能安全標準化白皮書（2019 版）》和《人工智能安全標準化白皮書（2023 版）》。五、知識拓展1、防護ai換臉詐騙2、人工智能安全的國際合作3、人工智能教育 學生之間互相討論人工智能助力安全。學生分享日常生活中的人工智能內生安全。學生通過觀看課件和聽老師講解，了解人工智能安全發(fā)展。學生查找資料，相互討論對于本堂課中老師提出的問題進行解答。 學生通過觀看視頻和自我思考安全保護服務器。 幫助學生積極融入課堂，提高學生學習積極性。 幫助學生更多的掌握人工智能內生安全。學生通過邊看邊聽的形式了解人工智能安全發(fā)展。 讓學生鞏固本堂課的內容，加深學生對所學知識的印象。讓學生通過視頻思考，進一步加深對課堂所學內容的理解。
布置作業(yè) 利用課余時間，嘗試使用一款具有智能推薦功能的應用程序（如新聞客戶端、購物軟件等），觀察其推薦內容，并思考如何判斷這些推薦是否存在信息繭房的問題。記錄下你的觀察和思考結果。 完成作業(yè) 培養(yǎng)學生查閱資料的能力，分析解決問題的能力
課堂小結 本次《人工智能安全》課程，我們認識到人工智能雖帶來便利，但也有信息繭房、隱私泄露、算法偏見、虛假信息傳播等風險。應對這些挑戰(zhàn)需加強算法監(jiān)管、保護用戶隱私、促進信息多元化、提高用戶意識和建立行業(yè)自律機制。我們還學習了我國相關政策文件，希望同學們在享受人工智能便利的同時關注安全風險，共同營造安全的應用環(huán)境。 分組總結歸納 鍛煉學生的總結能力，邏輯思維、語言表達能力。
板書 一、人工智能助力安全二、人工智能內生安全三、人工智能安全發(fā)展 學習、記憶及勾畫知識點 明確教學內容及重點和難點
21世紀教育網(wǎng) www.21cnjy.com 精品試卷·第 2 頁 （共 2 頁）
HYPERLINK "http://www.21cnjy.com/" 21世紀教育網(wǎng)(www.21cnjy.com)

展開更多......

收起↑