互動式人工智慧藝術設計


一、課程說明(Course Description)

本課程是門 AI 實作課程,旨在培養學生理解 AI 的原理、工具、技術與藝術創意的設計原理與操作,讓學生用動手做的方式配合眾多 AI 工具搭建起基本的互動控制能力。課程以「自己做一個小型 AI 模型,並放到手機與網頁上」為主軸:學生從收集資料開始,使用免程式與低程式工具訓練影像、手勢、聲音與感測器模型,再部署到網頁,以手機開啟展示。全程以瀏覽器與免費額度工具為主,不需購買硬體或 GPU,成本接近零。課程中將介紹各種互動創意設計作品,引導學生進行創意設計,更引領同學從互動設計中探索 AI 介面(AI Interactive Interface)與情境感知(Context Aware),進而探索 AI 與人、AI 與介面、AI 與環境的互動關係。

學習目標

  1. 理解機器學習的基本概念:資料、訓練、評測、部署
  2. 能自行收集、標註並整理小型資料集,並理解資料倫理與隱私
  3. 能訓練影像、手勢、聲音或感測器的小型模型,並分析其失敗原因
  4. 能將模型部署為網頁,並在手機上展示與測試
  5. 能設計「感知 → 模型 → 回應」的互動作品,並用 AI 工具進行創作共創
  6. 能撰寫模型說明文件(Model Card),並負責任地公開作品

Keywords : 互動, 感測, AI, 藝術, 互動設計, 創意, 人文, 資訊應用, 動手做, 環境感知

 

二、課程內容規畫(Course Planning)

本課程為16週,學習目的為提升學習自主性的高密度學習模式。內容由淺入深分為四個階段:

階段 週次 目標
① 認識與準備 1–3 建立 AI 共創工作流,理解資料是創作素材
② 動手做小模型 4–8 影像、手勢、聲音的模型訓練與評測,部署到網頁與手機
③ 進階與整合 9–13 遷移學習、模型公開、情境感知與互動介面設計
④ 專題與發表 14–16 期末專題開發、使用者測試與成果發表

使用工具(皆有免費使用額度,開課第一週會再確認現況)

  • 訓練與實驗:Teachable Machine、MediaPipe、Google Colab
  • 網頁與部署:ml5.js / TensorFlow.js、GitHub Pages、Hugging Face Spaces(Gradio)
  • AI 共創:大型語言模型,例如Gemini、ChatGPT(協助發想、撰寫網頁程式碼、除錯)
  • 學生需自備:筆電、智慧型手機

學生先備條件:無程式基礎也可修習;具備基本電腦操作與帳號申請能力即可。

三、參考用書(Text Books)
指定用書:無。講義與範例程式由授課教師自編,每週於清大課程平台提供 (eeclass)。

參考資源(線上文件)

  1. Teachable Machine 官方教學
  2. MediaPipe 官方文件
  3. ml5.js 官方文件與範例
  4. TensorFlow.js 官方文件
  5. Hugging Face 官方課程與 Spaces 文件
  6. Google Colab 入門筆記本

四、教學方式(Teaching Method)

教學方式 比例 堂數 對應週次
1. 理論講述與課堂實作 60% 9 堂 第 1、3、4、5、6、10、11、12、13 週
2. 作品賞析 10% 1 次報告 第 2 週(題目發布)
3. 個人作業 30% 3 堂 第 7、8、14 週

另有 3 週為成果週(期中發表、使用者測試、期末發表),不計入上述比例:第 9、15、16 週。

五、課程進度安排(Syllabus)

週 主題 課堂內容 作業與產出
1 AI 與互動藝術總覽 課程介紹、互動 AI 作品賞析、帳號與環境建置(Google、GitHub、Hugging Face) 完成所有帳號設定
2 AI 共創工作流 以 LLM 作為創作夥伴、Teachable Machine 快速體驗、作品賞析方法 發布作品賞析報告題目
3 資料就是素材 用手機收集影像與聲音、標註、資料集設計;資料倫理、版權與隱私
4 影像分類 Teachable Machine 訓練並匯出模型 / 作品賞析上台報告 發布小作業一
5 身體與手勢 手勢與姿態辨識(MediaPipe)、手指數量辨識,用手勢控制畫面元素
6 聲音與手機感測器 音訊分類、手機加速度等感測資料,動作或聲音觸發回應
7 評測與失敗分析 混淆矩陣、資料偏誤、迭代改進
8 部署 I:放上網頁(個人作業) ml5.js / TensorFlow.js、GitHub Pages、以手機開啟 小作業一繳交
9 期中成果發表 每人展示網頁版小模型與互動作品 期中成果作品
10 進階:遷移學習與 Model Card Colab 微調影像模型、撰寫 Model Card 發布小作業二
11 部署 II:Hugging Face Spaces Gradio 介面、分享連結、手機使用體驗
12 情境感知 多輸入組合(時間、手機感測、影像)與環境回應設計,AI 與環境的互動草圖
13 AI 與人:介面與回饋 視覺、聲音、文字回饋設計;選修加入 LLM 對話;發布期末專題規格 小作業二繳交
14 期末專題開發 I 需求釐清、資料集擴充、模型訓練,進度檢核
15 期末專題開發 II: 同學互相試用作品、記錄問題並修正,可邀請他系同學或助教旁聽試用 使用者測試紀錄與修正
16 期末成果發表 展示、互評、公開發佈 期末成果作品

作業說明

  • 作品賞析報告(個人作業):選一件 AI 互動作品,分析其感知方式、模型類型、回應設計與創意概念,並附 Survey。
  • 小作業一:用 Teachable Machine 製作影像或手勢模型,放上網頁,手機可開啟。
  • 小作業二:在 Colab 微調模型並發布到 Hugging Face,附 Model Card 與簡短 Demo。
  • 期中成果作品:網頁版小模型與互動作品。
  • 期末成果作品:自選情境(展演、教育、公共空間等),完成「感知 → 模型 → 回應」的網頁作品,並附資料集說明、失敗紀錄與 Model Card。

六、成績考核(Evaluation)

1、平時成績 15% (出席率,上課互動)
2、個人作業 10% (作品賞析報告與Survey)
3、指定小作業 15% (小作業一、小作業二)
4、期中成果作品 25%
5、期末成果作品 35%

評量重點

  • 重視過程紀錄與自己的判斷:資料集來源與說明、失敗案例與改進、Model Card
  • 創意概念、互動設計品質,與技術完成度並重
  • 期末作品需能在手機上實際操作展示

八、AI 的使用規則

完全開放使用且無須註明,學生必需運用AI進行共創。