多模態是什麼？別再只會打字問 AI：拍照、截圖、用講的，7 個日常用法（ChatGPT、Claude、Gemini）

你是不是也一直用打字的方式問 AI？

看到一張看不懂的報表，先把數字一格一格打進對話框；開完會，自己先把重點整理成文字，再貼給 AI 潤飾；出國看到一塊說明牌，打開翻譯 App 一個字一個字對。

其實這些事，都不用自己先打字。現在的 ChatGPT、Claude、Gemini 都能直接「看」圖片、「聽」錄音，有些還能開著鏡頭邊看邊聊。這種能力有一個名字，叫做「多模態」。

這篇文章會先用白話講清楚多模態是什麼、哪些算、哪些不算，再分享我實際測過的 7 個日常用法，每一個都附上可以直接複製的指令和截圖。最後整理三家 AI 的入口在哪，還有用之前要注意的幾件事。

多模態是什麼？從「筆友」升級成「視訊朋友」

多模態（Multimodal）的意思是：AI 不只能讀文字，圖片、聲音、影片也能看、能聽、能生成。

「模態」指的是資訊的形式。文字是一種模態，圖片是一種，聲音、影片又各是一種。一個 AI 能處理越多種形式，就越「多模態」。

我在 AI 名詞牆 裡用過一個比喻：以前的 AI 像只能筆談的筆友，你寫一封信、它回一封信；多模態的 AI 則像能視訊的朋友，你可以拿東西給它看、直接開口跟它講。

多模態可以分成兩個方向來看：

• 輸入：你丟給它。拍照、截圖、上傳檔案、錄音、用講的、開鏡頭。
• 輸出：它做給你。畫圖、用語音回答你、做影片、做音樂。

很多人知道 AI 會畫圖，卻很少用到「輸入」這一半。這篇文章的 7 個用法，前 6 個都在講輸入，最後 1 個講輸出。

上傳檔案、語音對話，算多模態嗎？

這三種情況最容易讓人搞混，一個一個來看：

• 截圖、照片：算。 AI 是真的在「看」畫面，連表格排版、手寫字、圖表的顏色都會一起讀。
• 上傳檔案：看是什麼檔。 有圖表、照片、掃描頁的 PDF 算；純文字的 Word 或 txt 檔，AI 讀的其實還是文字，嚴格來說不算多模態。
• 語音對話：算。 你用講的，它也用講的回你。

不過實際使用時，不用分得這麼細。我自己的判斷方式很簡單：只要「不用自己先打字整理」，就是在用多模態。

7 個日常用法（附指令與實測截圖）

以下的測試，我主要用 Gemini 的免費帳號，因為這是多數人最容易拿到的版本。用法 1 另外拿付費版的 ChatGPT 和 Claude 做了對照。

測試用的報表和會議錄音，都是我為了這篇文章準備的示範素材，品牌「木栖烘豆所」是教學用的虛擬品牌，數據也是設計出來的。

1. 截圖報表，請 AI 幫你找重點

主管丟來一張後台數據截圖，你看了半天不知道該注意哪裡。這時候不用把數字抄下來，直接截圖貼進對話框就好。

在電腦上，截完圖按 Cmd＋V（Windows 是 Ctrl＋V）就能貼上，不用另外存檔。

可以直接複製的指令：

這是我們上週的 Instagram 週報截圖。幫我找出 3 個最需要注意的數字，說明原因，再給我下週可以調整的做法。

Gemini 挑出的 3 個數字都對：新追蹤者成長 65%、網站點擊下降 31%、LINE 好友新增下降 52%，也看出新追蹤者主要是那支 Reels 帶來的。

但它也有讀錯的地方。品牌名「木栖」被讀成「木棲」，「耶加雪菲」少了一個「耶」字。

我原本以為三家看同一張圖，結論應該差不多。實際把同一張截圖分別丟給 ChatGPT 和 Claude（這兩個我用的是付費帳號），看到的重點其實不一樣：

• ChatGPT 算出每一篇貼文的收藏率，發現雙 11 那篇只有 0.3%。它還提到「木栖烘豆所 2027 年的目標是提升官網營收」，這句報表上沒有，是從我帳號的記憶功能裡拿的。
• Claude 直接把「雙 11 預告」列為三個重點之一，指出這篇是整週觸及最低、互動最差的貼文。我驗算過它引用的數字，都是對的。
• Gemini 則沒有注意到雙 11 那篇表現最差，還建議下週繼續推「全館 85 折」。

這不代表哪一家比較好。三家用的方案不同，ChatGPT 又多了記憶裡的背景資料，條件本來就不一樣。我想說的是：數字 AI 讀得到，但它不知道你的狀況，最後的判斷還是要自己做。

截圖前記得先遮掉客戶名稱、金額這類敏感資料。

2. 拍照看不懂的外文：菜單、說明書、說明牌

出國旅遊看到看不懂的說明牌，或是買了國外的產品，說明書只有外文，都可以直接拍照問。

這是我去日本時在神社拍的說明牌，文字是直書的，還有不少古文用法：

我在日本神社拍到這塊說明牌，看不懂日文。請翻成繁體中文，再用兩三句話告訴我這個地方有什麼典故、我可以做什麼。

Gemini 把整段翻對了，包括年份、人名、「左邊是源賴朝、右邊是北條政子坐過的石頭」，連下方小木牌上寫的「請隨意坐下休息」都有讀到。比起翻譯 App 一個字一個字對，它多做了一件事：告訴你這個地方的典故，還有你可以做什麼。

用手機的話更快，在對話框按「＋」，選「相機」，拍完直接送出就好。

3. 錯誤訊息截圖，直接問怎麼解決

電腦或軟體跳出一串看不懂的錯誤訊息，與其自己把錯誤訊息打一遍（還很容易打錯），不如直接截圖。

我拿一張試算表的錯誤畫面來測：同樣的公式，第 2、5 列正常，第 3、4 列卻跑出 #N/A。

我的 Google 試算表跳出這個錯誤，第 2 列和第 5 列明明正常。為什麼第 3、4 列會這樣？要怎麼改？

真正的原因是品項名稱後面多了一個看不見的空白，Gemini 第一點就講中了，也給了修正公式。

不過它一口氣列了三個可能原因，第三個（範圍要加 $ 鎖定）在這個情況其實用不到。AI 解錯誤訊息常常會這樣，把可能的原因都列出來。我的建議是：照順序一個一個試，第一個就解決了，後面的就不用管。

4. 會議錄音丟給 AI，整理成紀錄和待辦

開完會、跟客戶講完電話，錄音檔直接丟給 AI，請它整理成會議紀錄。

我用一段約 1 分鐘的示範錄音來測，內容是烘豆店老闆和小編討論冬季禮盒。錄音檔跟圖片一樣，可以直接拖曳或貼上：

這是我們剛開完的會議錄音。請整理成會議紀錄：1. 決定了哪些事 2. 誰要在什麼時候前做什麼（列成待辦清單） 3. 有提到的數字。

決議、待辦事項、截止日期，還有會議裡提到的 11 個數字，全部都對。

唯一的問題是：它不知道誰是誰，只能用聲音把負責人寫成「男方」「女方」。解決方法很簡單，上傳時順便告訴它「講話比較低沉的是老闆，另一位是小編」，或是列出參加的人和各自負責什麼。

如果你常常需要整理很多份錄音、文件，可以參考我寫的 Gemini Notebook 完整教學，一次放進多份資料再提問會更方便。

另外提醒，錄音前要先徵得對方同意。

5. 用講的跟 AI 對話

通勤、做家事、手上沒空打字的時候，可以直接用講的。

這裡要分清楚兩個按鈕。三家的對話框旁邊，通常都有一個麥克風和一個聲波圖示：

• 麥克風：講話轉成文字。 你講完，它把內容變成文字放進對話框，你可以先檢查再送出。
• 聲波圖示：語音對話。 你講、它也用講的回你，可以一來一往聊下去。

語音對話很適合拿來「想事情」。例如準備一場簡報，散步時跟 AI 講你的想法，讓它幫你找漏洞；或是練習英文口說、模擬面試。

如果你想要的是「講話自動轉成文字」，用在任何軟體裡打字，可以看我之前寫的 Handy 語音輸入教學。

6. 開鏡頭，邊看邊問

這個用法是拍照的進階版：不用拍照，直接開著鏡頭，對著東西問。適合組家具、設定機器、看不懂的商品，邊操作邊問「下一步要做什麼」。

目前最容易用到的是 Gemini 手機 App 的 Gemini Live，Google 從 2025 年起開放免費使用。步驟是：

1. 點對話框右邊的聲波圖示，進入 Gemini Live
2. 點畫面下方的鏡頭圖示，打開相機
3. 鏡頭對準要問的東西，直接開口問
4. 結束後，對話內容會留在聊天紀錄裡

我對著一包日文包裝的保健食品問「這個東西是什麼？」，Gemini 馬上用語音回答「這是 DHC 的藍莓精華補充劑，主要是用來保養眼睛的」。實際操作過程可以看這段影片：

ChatGPT 也有類似功能，但目前只有手機 App 的「進階（Advanced）」語音模式支援開鏡頭和分享螢幕，而且限符合資格的付費訂閱用戶。OpenAI 官方說明寫到，進階模式預計在 2026 年 12 月 11 日退役，之後會不會在新的語音模式補上，目前沒有說明，以官方公告為準。Claude 的官方說明裡則沒有開鏡頭這個功能。

7. 反過來，請 AI 給你圖、給你聲音

前面講的都是「你丟給它」，最後一個用法是輸出：請 AI 畫圖、做影片、做音樂。

我請 Gemini 幫烘豆店畫一張冬季禮盒的 Instagram 貼文圖：

幫我畫一張 Instagram 貼文圖（1:1）：冬季限定濾掛咖啡禮盒，牛皮紙盒裡放 12 包濾掛，旁邊有一杯手沖咖啡和松果，溫暖的木桌、早晨的光。畫面上方放中文字「冬季限定濾掛禮盒」。

畫面上方的中文大標寫對了，整體氛圍也符合描述。但放大看細節，包裝上的英文小字拼錯了，我指定的「12 包」也沒有畫到 12 包。我的經驗是：AI 生圖的大字可以用，小字和數量一定要放大檢查。

三家在輸出端的能力不太一樣。ChatGPT 和 Gemini 都可以直接生圖，Gemini 的「＋」選單裡還有「建立影片」和「創作音樂」；Claude 的選單裡則沒有生圖選項。想多玩一點，可以參考我寫過的 ChatGPT Images 動圖教學和 Google Flow Music 作曲教學。

ChatGPT、Claude、Gemini 的入口在哪？

整理成一張表，方便你對照：

功能	ChatGPT	Claude	Gemini
上傳照片、截圖、檔案	網頁、手機	網頁、手機	網頁、手機
手機直接拍照問	有	有	有
語音對話	網頁、手機	網頁、手機（測試版）	只有手機（Gemini Live）
開鏡頭邊看邊問	手機進階語音模式（付費），預計 12/11 退役	官方說明未提供	手機 Gemini Live
生圖	有	選單裡沒有	有，另有影片、音樂

各家的功能和方案限制隨時可能調整，以官方公告為準。三家的方案費用比較，可以看這篇整理。

網頁版的入口都在對話框左下角的「＋」：

手機版也是按「＋」，再選「相機」：

第一次在 Gemini 上傳圖片時，會跳出一個提醒視窗，請你確認有權利使用這張圖片，按「同意」之後才能送出。這是正常的，不用緊張。

用多模態之前，要注意的 3 件事

1. 截圖和照片會拍到你沒注意的東西

截圖時，螢幕上的通知、Email、客戶名稱很容易一起被截進去；手機照片的檔案裡，也可能藏著拍攝地點的資訊。上傳前先裁切或打碼，不想被拿去訓練模型的話，可以參考三家關閉模型訓練的設定教學。

語音也一樣。依照官方說明，ChatGPT 語音對話的錄音片段會跟文字紀錄一起保存 30 天；Claude 則是把語音轉成文字後就刪除錄音，只保留文字紀錄。

2. AI 也會看錯

這次實測，Gemini 把「木栖」讀成「木棲」、漏了「耶加雪菲」的「耶」，生圖的小字也拼錯了。小字、手寫字、表格欄位對不齊的時候特別容易出錯。重要的名稱、數字、金額，一定要自己再對一次。

3. 檔案有大小和數量上限

各家的上傳限制不同，也會因方案而異。遇到上傳失敗，可以先把檔案拆小，或是只截需要的那一部分。

結語：試一次「拍、截、錄」

跟 AI 溝通，已經不只剩打字這一種方式。

這次測完，我最大的感想是：多模態省下的，主要是「把東西整理成文字」的那段時間。報表不用抄、錯誤訊息不用打、會議不用自己先寫重點，AI 直接從原始資料開始處理。

建議你這週挑一個用法試試看：下次看到讀不懂的報表，就截圖丟給 AI；下次開完會，就把錄音丟給 AI 整理。試過一次，你就會發現很多事其實不用自己打字。

想看「多模態」用動畫講解的版本，可以到 AI 名詞牆找這張卡片。

我每週會寫一封電子報，把當週實測過的 AI 工具、實際用得上的指令整理給你。想收到的話，可以在這裡訂閱：訂閱明淳的電子報

參考資料

• OpenAI 說明中心〈ChatGPT Voice〉：https://help.openai.com/en/articles/20001274-chatgpt-voice
• Google Gemini 說明中心〈和 Gemini Live 自然對話〉：https://support.google.com/gemini/answer/15274899?hl=zh-Hant
• Claude 說明中心〈Use voice mode〉：https://support.claude.com/en/articles/11101966-use-voice-mode
• 9to5Google〈Gemini Live camera and screen sharing now free〉（2025-04-16）：https://9to5google.com/2025/04/16/gemini-live-camera-free/