iPAS AI應用規劃師考試重點整理 - L12303 生成式AI風險管理

#1

★★★★★

生成式AI風險的定義與範疇

核心概念

生成式AI風險指的是在使用GenAI (Generative Artificial Intelligence) 技術時可能產生的各種潛在負面影響與挑戰。這些風險涵蓋技術、倫理、法律、社會、營運等多個層面。理解這些風險是有效管理和安全應用GenAI的前提。金融業指引與公部門手冊均強調了風險辨識的重要性。

#2

★★★★★

資料隱私風險 (Data Privacy Risk)

核心概念

GenAI模型通常需要大量數據進行訓練，如果訓練數據中包含個人可識別資訊 (PII - Personally Identifiable Information) 或敏感個人資料，模型可能會記住這些資訊，並在生成的內容中無意間洩露。此外，使用者與GenAI互動時輸入的提示 (Prompt) 也可能包含敏感資訊，若未妥善管理，可能導致隱私外洩。(金融業指引 L11203, 公部門手冊 4.3)

#3

★★★★★

模型幻覺風險 (Hallucination Risk)

核心概念

幻覺 (Hallucination) 指的是GenAI模型產生看似真實但實際上不正確或無意義的資訊。這可能是因為訓練資料不足、模型內部錯誤或對提示的誤解。在需要高準確性的應用場景（如金融建議、醫療諮詢）中，幻覺可能導致嚴重的負面後果。(公部門手冊 1.2, 4.2)

#4

★★★★

訓練資料偏見風險 (Training Data Bias Risk)

核心概念

如果用於訓練GenAI模型的資料存在系統性偏見（例如，數據代表性不足、反映社會刻板印象），模型可能會學習並放大這些偏見，導致其生成的內容帶有歧視性或不公平。這違反了公平性 (Fairness) 原則。(金融業指引 L11102, 公部門手冊 4.2)

#5

★★★★

輸出內容的公平性風險 (Output Fairness Risk)

核心概念

即使訓練資料沒有明顯偏見，GenAI模型本身也可能因為演算法設計或目標函數的原因，產生對特定群體不公平的輸出。例如，在資源分配或資格審核的應用中，模型可能對某些群體系統性地不利。需要進行公平性評估與稽核。(金融業指引原則二, 公部門手冊 4.2)

#6

★★★★

資料安全風險 (Data Security Risk)

核心概念

儲存和處理GenAI訓練數據及模型本身的基礎設施需要強大的安全防護措施，以防止未經授權的訪問、數據竊取或篡改。若模型或數據被惡意攻擊者獲取，可能被用於惡意目的，或導致敏感資訊洩漏。(金融業指引原則四, 公部門手冊 4.3, 4.4)

#7

★★★★

提示注入風險 (Prompt Injection Risk)

核心概念

攻擊者可以設計惡意的提示 (Prompt)，誘導GenAI模型繞過其安全限制或預設行為，執行非預期的操作，例如洩露敏感資訊、產生有害內容或被用於惡意程式碼生成。(公部門手冊 4.4)

#8

★★★

智慧財產權與版權風險 (Intellectual Property & Copyright Risk)

核心概念

GenAI生成的內容（如文章、圖像、程式碼）可能與現有的受版權保護的作品相似或直接複製其片段，引發侵權爭議。同時，由AI生成的內容的版權歸屬也是一個複雜的法律問題。

#9

★★★

惡意使用風險 (Malicious Use Risk)

核心概念

GenAI可能被用於製造虛假資訊 (Disinformation)、深度偽造 (Deepfakes)、進行詐騙、自動化網路攻擊或其他非法活動，對個人、組織或社會造成危害。(金融業指引前言, 公部門手冊 1.2)

#10

★★★★

風險緩解的基本策略

核心概念

管理GenAI風險需要多層次的策略，包括：

高品質且經過審核的訓練資料
模型效能與公平性的持續監控與測試
設計安全護欄 (Safety Guardrails) 和內容過濾機制
強化提示 (Prompt) 設計與輸入驗證
保持人類監督 (Human-in-the-loop) 機制
建立清晰的治理框架與問責機制

(金融業指引各章節措施, 公部門手冊各章節措施)

#11

★★★★★

AI治理 (AI Governance) 的重要性

核心概念

AI治理是一套指導AI開發和部署的原則、政策、標準和流程，旨在確保AI系統的負責任、合乎道德和符合法規的運作。對於GenAI，治理框架需要特別關注其獨特的風險，如內容生成、偏見和幻覺。(金融業指引第一章, 公部門手冊 4.5)

#12

★★★★

負責任AI (Responsible AI) 原則

核心概念

負責任AI強調在設計、開發和部署AI系統時，應考慮其對個人和社會的潛在影響。核心原則通常包括公平性、透明度、可解釋性、可靠性、安全性、隱私保護和問責制。這些原則是GenAI風險管理的基礎。(金融業指引核心原則, 公部門手冊 4.2, 4.5)

#13

★★★

人類監督 (Human Oversight / Human-in-the-loop) 機制

核心概念

在GenAI應用中，保留人類的審查、干預和最終決策權至關重要。特別是在高風險應用中，不應完全依賴AI的輸出。人類監督可以發現和糾正模型的錯誤、偏見或不當內容，降低潛在風險。(金融業指引 P10, P12, 公部門手冊 4.2)

#14

★★★

透明度 (Transparency) 與可解釋性 (Explainability)

核心概念

透明度指了解AI系統如何運作的能力，而可解釋性指能夠解釋AI為何做出特定決策或生成特定內容的能力。對於GenAI，由於其複雜性（尤其是大型模型），完全的透明度和可解釋性具有挑戰性，但仍需追求在適當程度上讓使用者和監管者理解其行為，以建立信任和進行問責。(金融業指引第五章, 公部門手冊 4.2)

#15

★★★★

管理第三方GenAI服務的風險

核心概念

當組織使用第三方提供的GenAI平台或服務時（例如 API），需要仔細評估服務提供商的安全措施、隱私政策、數據使用條款以及模型的限制。組織仍需對通過第三方服務處理的數據和產生的結果承擔最終責任。需要建立供應商風險管理流程。(金融業指引 P5, P7, P12, 公部門手冊 3.1)

#16

★★★

資料最小化原則 (Data Minimization Principle)

核心概念

在收集和使用資料進行GenAI訓練或應用時，應僅處理為達成特定目的所必需的最少量資料。這有助於降低隱私風險和數據洩露時的影響。特別是避免收集不必要的敏感個人資訊。(金融業指引 P13, 公部門手冊 4.3)

#17

★★★

內容過濾與安全護欄 (Content Filtering & Safety Guardrails)

核心概念

為防止GenAI產生有害、不當或非法內容，需要實施輸入提示過濾和輸出內容審核機制。這些安全護欄有助於確保模型的使用符合道德和法律規範。

#18

★★★★

法規遵循 (Regulatory Compliance) 風險

核心概念

GenAI的應用必須遵守現有的法律法規，例如個人資料保護法、著作權法、資通安全管理法等。隨著AI技術發展，未來可能會有更專門的AI法規出現，組織需要持續關注並確保其應用符合最新的法律要求。(金融業指引 P17, 公部門手冊 1.6, 4.5)

#19

★★

模型版本控制與紀錄保存

核心概念

對於GenAI模型的不同版本、訓練數據、測試結果和部署紀錄應進行妥善管理和保存。這有助於追溯問題來源、重現結果以及滿足稽核和合規要求。(金融業指引 P7-8, 公部門手冊 4.5)

#20

★★★

倫理考量與社會影響評估

核心概念

在部署GenAI之前，應評估其可能帶來的倫理問題和社會影響，例如對就業市場的衝擊、加劇數位落差、影響公共輿論等。需要考慮如何設計和使用AI以促進公共利益，並減輕潛在的負面效應。(公部門手冊 4.2)

#21

★★★

風險評估框架的應用

核心概念

組織應建立系統性的風險評估框架來識別、分析和評估GenAI應用的潛在風險。可以參考國際標準或指引（如 NIST AI RMF）來定義風險等級和對應的管理措施。(金融業指引 P4, P6)

#22

★★★

應急計畫與事故應對

核心概念

針對GenAI系統可能出現的故障、錯誤輸出或安全事件，應制定應急響應計畫。包括如何快速檢測問題、限制損害、恢復服務以及向相關方通報。

#23

★★★★

問責機制 (Accountability)

核心概念

需要明確界定GenAI系統開發、部署和使用過程中各方的責任。當系統產生問題或造成損害時，能夠追溯責任歸屬。這包括開發者、部署者、使用者以及管理者的責任。(金融業指引第一章, 公部門手冊 4.2)

#24

★★★

去識別化 (De-identification) 與匿名化 (Anonymization)

核心概念

在處理涉及個人資料的GenAI應用時，應盡可能採用去識別化或匿名化技術，移除或模糊化可直接或間接識別個人的資訊，以保護個人隱私，同時允許數據用於模型訓練或分析。(金融業指引 P6)

#25

★★

模型穩健性 (Robustness) 測試

核心概念

評估GenAI模型在面對非預期輸入、雜訊數據或對抗性攻擊時的表現穩定性。穩健的模型不易被輕易干擾或產生錯誤結果，是確保系統可靠運行的關鍵。(金融業指引第四章)

#26

★★★

對抗性攻擊 (Adversarial Attack) 風險

核心概念

攻擊者可能故意製造微小的、人眼難以察覺的擾動添加到輸入數據中，導致GenAI模型做出錯誤的判斷或生成不當的內容。需要採取防禦措施來提高模型對抗性攻擊的抵抗能力。(金融業指引 P16)

iPAS AI應用規劃師 考試重點

iPAS AI應用規劃師考試重點