跳到主要內容
研究與觀察AI 工程
AI ENGINEERING / MULTIMODAL RAG
AI 工程 · 圖文文件檢索

多模態 RAG:讓 AI 看懂圖文操作手冊,還能找到正確的畫面

圖文操作手冊常把答案藏在截圖裡。本文解說多模態 Embedding、步驟與圖片分層索引、混合檢索、權限與版本治理,並提出能驗證來源定位的評測方法。

AI 生成揭露|本篇公開資料蒐集、研究整理及全文撰寫由 AI 完成;Luke Hou 負責選題與審閱,未親自撰寫正文。

TL;DR

操作手冊的答案有時藏在截圖裡。只搜尋文件文字,即使找到了相似章節,也可能跳到錯誤步驟,或漏掉按鈕、箭頭與快捷鍵。多模態 RAG(Retrieval-Augmented Generation,檢索增強生成)把文字與圖片納入檢索,幫助系統找到相關畫面;要得到可靠的操作說明,還需要保存每張圖所屬的步驟、文件版本與來源位置,並逐項驗證檢索結果。本文另以 Google 的多模態 Embedding 模型示範可自行重現的文字找圖流程。

Takeaways|重點整理

  • 先整理文件結構。 把操作步驟與對應截圖建立關聯,確認導覽連結指向真正的內容;向量搜尋才能回到可核對的來源。
  • 圖文可以分兩層索引。 步驟層回答「怎麼操作」,圖片層回答「在哪張圖」。Gemini Embedding 2 等模型能處理多模態輸入,實際定位品質仍須用題集比較。
  • 保留精確詞搜尋。 快捷鍵、欄位與錯誤代碼往往需要字面比對;混合搜尋能把精確詞與語意候選一起排序。
  • 驗證畫面、版本與權限。 找對章節後仍須核對原圖及有效版次。沒有合法存取資格的資料,不能進入候選答案。

圖文操作手冊為何容易找錯畫面

一份操作手冊可能在文字中說明「匯出報表」,把按鈕位置放在截圖裡。使用者問「PDF 按鈕在哪裡」,純文字搜尋找到「報表預覽」段落,畫面卻沒有匯出選項。這種問題發生在文件結構與搜尋方式之間:可讀的段落、圖片和導覽錨點,未必保留了操作時所需的關聯。

以下使用完全合成的「報表操作入門」教材解釋。它有四個步驟:S01 查詢報表、S02 預覽結果、S03 匯出 PDF、S04 快捷鍵清單。圖 C 對應 S03 的匯出按鈕,圖 D 則是只有圖片的快捷鍵表。示例首頁的「匯出 PDF」導覽誤連到 S02;連結雖然存在,搜尋結果仍可能把讀者帶向預覽畫面。

這個例子提示兩種不同的錯誤。文字抽取可能漏掉圖 D 中的快捷鍵;導覽錨點即使通過網址存在性檢查,也可能指錯章節。系統需要保留真正的步驟標題、圖片位置與文件內容,才能在回覆中提供正確的來源。

把一個步驟和它的截圖一起保存

Embedding(嵌入向量)把文字或圖片轉為可比較的數值表示,讓系統搜尋意思相近的內容。Google 在 2026 年 4 月將 Gemini Embedding 2 推向正式可用版本,支援文字、圖片與其他媒體建立共用的向量空間。這使「以文字描述找圖片」及「以圖文段落找對應內容」有了更直接的技術路線。[1][2]

手冊適合保留兩種檢索單位。步驟層存放 S03 的標題、說明及相關圖片,供「如何匯出 PDF」這類流程問題使用。圖片層讓圖 C 擁有獨立的圖片 ID、所屬步驟、圖序與原圖位置,供「哪一張圖出現 PDF 按鈕」定位。使用者看見結果時,可以從圖片連回 S03,而不用猜測它來自哪一段文字。

這兩層資料也影響模型的輸出。Google 文件說明,文字加圖片可以產生一筆聚合向量;若將輸入分開封裝,也能取得個別向量。[2] 前者適合搜尋整個操作步驟,後者更利於查找指定截圖。向量相似度提供候選排名,按鈕位置和操作順序仍要回讀原圖與說明確認。

將 HTML 整檔送去建立索引,容易把導覽、樣式、重複文字甚至 Base64 圖片資料混在一起。保留每個步驟的文字、圖片關係和來源識別,能讓後續更新與查錯更清楚。只有截圖承載的資訊,還須依實際品質評估視覺檢索或文字辨識;圖中小字若無法辨認,應如實顯示資料不足。

搜尋結果需要經過一次來源核對

完整的查詢可以沿著一條清楚的資料路徑前進。

  1. 確認可搜尋範圍。 先根據使用者身分、文件版本與存取權限選出可讀資料。醫院不同院區或不同版本的操作說明,不能因畫面相似就混在一起。
  2. 取得兩路候選。 一路比對固定字串,例如 PDF、錯誤碼與快捷鍵;另一路使用語意向量找出不同說法下的相關步驟與截圖。對「匯出」與「下載檔案」這類問句,語意檢索尤其值得與全文基準比較。
  3. 合併排名。 Hybrid Search(混合搜尋)可以將關鍵字與向量結果融合。Supabase 官方示例使用 RRF(倒數排名融合),依兩份結果的名次計算新的排序,不需要將不同來源的相似度分數直接相加。[3]
  4. 回到原始圖文。 用命中的 step_id、image_id 和來源版次取回實際段落與圖片。S03 的描述與圖 C 一致,才提供對應畫面。來源缺失、權限不足或畫面不可辨識時,回覆應指出目前能確認的部分。

這條流程讓回答能攜帶清楚的定位:文件名稱、有效版本、步驟標題、截圖與可開啟的來源。當使用者需要重新操作或請同事確認時,也能查回同一個地方。

託管檢索與自建索引的取捨

2026 年 5 月,Google 擴充 Gemini API File Search 的多模態能力、文件 metadata 與頁面引用。[4] 對一般文件問答,託管工具可省下部分索引與檢索整合工作;遇到需要「精確跳回哪個 HTML 步驟」的操作手冊,就值得先測試工具如何拆分圖文、處理導覽錨點以及取回原始圖片。

方案適合先回答的問題設計時要核對
精確詞與全文搜尋固定功能名、快捷鍵、錯誤碼是否能直接找到?圖片中的文字是否缺漏;同義問句是否漏查
Gemini API File Search能否快速建立帶引用的圖文知識搜尋?圖片匯入與切塊、來源定位、資料處理條款及文件權限
自建 Postgres/pgvector是否需要保存每筆 step/image 的來源、版本與角色授權?索引維護、權限隔離、向量維度、查詢效能及營運成本

若使用 Gemini Embedding 2 自建索引,模型允許設定向量輸出維度;Supabase 官方文件指出,pgvector 0.7.0 以上一般 vector 索引最多支援 2,000 維,halfvec 則可達 4,000 維。[2][5] 因此選用 3,072 維輸出時,必須先確認儲存型別與索引方式。以 768 維建立研究基準較易開始比較,但最終維度仍取決於相同題集的檢索品質與資源使用情況。

在圖片版面、表格結構特別複雜時,也可評估 ColPali 這類以頁面影像和多向量比對進行視覺文件搜尋的方法。它在 ICLR 2025 發表的研究提供了不同於單向量搜尋的路線;需要額外考慮多向量儲存及計算負擔,不能直接把論文基準成績套用到中文醫療操作畫面。[6]

使用 Gemini Embedding 2 親手查找操作畫面

截至 2026/11/07,Google Gemini API 最新正式多模態嵌入模型是 gemini-embedding-2。它在 2026/04/22 正式發布,能把文字、圖片等資料映射到共用向量空間;單次最多六張圖片、總輸入上限 8,192 tokens,輸出可選 128~3,072 維。這裡以官方建議的 768 維建立最小示範,省去資料庫,先檢查跨模態檢索本身。[1][2][9]

這個實作使用由程式產生的四張合成操作畫面。S01 是日期篩選、S02 是預覽、S03 是匯出 PDF,S04 的圖片寫有 F3 快捷鍵,但相鄰說明文字沒有 F3。查詢「F3 快捷鍵在哪張截圖?」時,純文字精確比對會沒有結果;接著由模型計算查詢與步驟/圖片的相似度,檢查能否找到 S04。案例不使用院內教材或病患畫面。

Google 官方 Python SDK 為 google-genai。先在本機設定環境變數 GEMINI_API_KEY,安裝依賴後執行下方程式;金鑰不可寫進原始碼或版本庫。

python -m pip install -U google-genai Pillow
python google_multimodal_rag_example.py
Python · Gemini Embedding 2 · 75 行展開完整程式碼收合程式碼
"""以合成圖文教材測試 Google 多模態檢索。"""
import io
import math
import os

from PIL import Image, ImageDraw
from google import genai
from google.genai import types

MODEL = "gemini-embedding-2"
DIM = 768
STEPS = [
    ("S01", "日期篩選", "設定報表查詢日期", "DATE FILTER"),
    ("S02", "預覽結果", "檢查查詢結果清單", "PREVIEW"),
    ("S03", "匯出 PDF", "下載報表檔案", "EXPORT PDF"),
    ("S04", "快捷鍵一覽", "詳細按鍵請看附圖", "F3 = SEARCH"),
]

def synthetic_png(label):
    image = Image.new("RGB", (480, 180), "white")
    draw = ImageDraw.Draw(image)
    draw.rectangle((16, 24, 464, 155), outline="navy", width=3)
    draw.text((48, 75), label, fill="black")
    out = io.BytesIO()
    image.save(out, format="PNG")
    return out.getvalue()

def cosine(left, right):
    dot = sum(x * y for x, y in zip(left, right))
    a = math.sqrt(sum(x * x for x in left))
    b = math.sqrt(sum(y * y for y in right))
    return dot / (a * b) if a and b else 0.0

client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

def embed(contents):
    result = client.models.embed_content(
        model=MODEL,
        contents=contents,
        config=types.EmbedContentConfig(output_dimensionality=DIM),
    )
    if len(result.embeddings) != 1:
        raise ValueError("預期每次請求只產生一筆向量")
    vector = result.embeddings[0].values
    if len(vector) != DIM:
        raise ValueError("向量維度與索引設定不符")
    return vector

index = []
for step_id, title, note, label in STEPS:
    part = types.Part.from_bytes(
        data=synthetic_png(label), mime_type="image/png"
    )
    step_vector = embed([f"title: {title} | text: {note}", part])
    image_vector = embed([part])
    index.append((step_id, label, step_vector, image_vector))

question = "F3 快捷鍵在哪張截圖?"
query_vector = embed(f"task: search result | query: {question}")
exact_hits = [
    sid for sid, title, note, _ in STEPS if "F3" in title + note
]
print("文字精確比對:", exact_hits)

for name, pos in (("步驟圖文檢索", 2), ("單張截圖檢索", 3)):
    ranking = sorted(
        index,
        key=lambda row: cosine(query_vector, row[pos]),
        reverse=True,
    )
    print(name)
    for row in ranking[:3]:
        score = cosine(query_vector, row[pos])
        print(f"  {row[0]}: {row[1]},相似度={score:.4f}")
    print("  Hit@3 (S04):", any(row[0] == "S04" for row in ranking[:3]))

程式每個步驟建立一筆文字與圖片聚合向量,再為同張截圖建立一筆圖片向量,最後用繁體中文查詢取得排名。這是九次 Embedding 請求的最小檢索練習,沒有生成式回答與資料庫。Google 文件對多個輸入 part 的匯總方式、對個別 Content 的獨立輸出方式,以及 768 維的設定都有範例。[2][9]

執行時觀察三個具體結果:文字精確比對的空清單、兩種索引的前三名排名、S04 是否命中 Hit@3。相似度不是按鈕辨識的正確率。S04 排在前面,仍須打開原圖核實 F3;若落在前三名之外,也應如實保留這次失敗。程式沒有設定保證命中的排名或預填任何分數。

另一條值得一起關注的路線是 Google 在 2026/10/06 推出的 EmbeddingGemma 2。它是可地端執行的開放權重多模態模型,採 Apache 2.0 授權,文字加視覺模組約 4.4 億參數,產生 768 維向量。官方提供 sentence-transformers 6.1.0 以上的範例;若操作教材無法合法送往雲端,可以在符合資料治理與設備條件的情況下,用相同合成題目比較本機檢索。[10][11]

Python · EmbeddingGemma 2 · 20 行展開完整程式碼收合程式碼
# 地端對照:先安裝 sentence-transformers、transformers、Pillow。
from PIL import Image, ImageDraw
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
query = model.encode(
    "F3 快捷鍵在哪張圖?",
    prompt_name="SearchQuery",
    normalize_embeddings=True,
)
for label in ["DATE FILTER", "PREVIEW", "F3 = SEARCH"]:
    picture = Image.new("RGB", (320, 120), "white")
    ImageDraw.Draw(picture).text((24, 48), label, fill="black")
    image_vector = model.encode(
        {"image": picture}, normalize_embeddings=True
    )
    print(label, float(model.similarity(query, image_vector)[0][0]))

地端範例首次執行需取得模型權重並準備相應記憶體與運算資源,實際跑分取決於硬體與題目。雲端 Gemini Embedding 2 與地端 EmbeddingGemma 2 的向量屬於不同模型空間,必須各自建立索引,不能將兩者的向量直接混存後比較分數。

Google 在 2026 年 4 月的官方工程文章曾介紹 Nuuly 使用 Gemini Embedding 2 做倉庫衣物影像搜尋。文章轉述其自家系統的 Match@20 由 60% 提升至接近 87%,商品辨識成功率由 74% 提升至超過 90%。這是 Google 公開轉述的企業案例結果,資料集、指標與本篇合成操作手冊不同,不能拿來推論醫療介面截圖的命中率。[9]

這兩條 Google 路線可用同一批合成題目做公平對照;除了排名,還要記錄模型版本、索引維度、圖片預處理、查詢前綴、失敗題型、延遲及資料出站條件。若文字搜尋原本就能準確找到來源,加入模型前也值得先量測它帶來多少額外收益。

怎麼知道 AI 真的找到正確的圖

答案讀起來順暢,未必能證明來源正確。多模態 RAG 的評估至少要把「找到步驟」「找到圖片」和「回答忠實」拆開。

指標想確認的事
Step Recall@3前三個候選步驟有沒有包含人工確認的正解
Screenshot Hit@3前三張候選截圖是否有正確的畫面
引用與版次一致性回答是否指向實際有權閱讀、且版次符合的來源
不可回答題處理圖片模糊、來源過期或文件不存在時,是否停止猜測
權限與效能無權資料是否被隔離,並記錄查詢延遲與總成本

可先用約 30~50 題人工標註的合成/授權題集作研究設計,依序比較全文搜尋、純文字 Embedding、步驟圖文 Embedding,以及加上截圖子索引的混合檢索。這是建議的實驗規模,目前沒有對任何模型執行上述評測,也沒有可公布的正確率或成本改善數字。

題目應納入故意出錯的導覽錨點、只有圖片的快捷鍵、同名不同功能、跨版本截圖及不存在的按鈕。如果系統把 S02 的預覽畫面當成 PDF 匯出依據,評測就應判錯,即使回答使用的詞彙很流暢。這些負向問題會讓評估從「找得到相關內容」深入到「能否給出可用的操作來源」。

想延伸了解如何建立可重跑的對照與回歸評測,可參考站內的 Agent Skill Eval:從觸發測試到成效驗證。該篇討論 Agent Skill 的驗證方法,本文仍需另外定義圖文檢索專用的步驟與截圖指標。

圖文知識需要與來源權限一起維護

操作截圖可能包含個人資料、帳號或醫療紀錄。正式收錄前須確認資料所有權、圖片遮罩、第三方服務條款及實際用途授權;Base64 只是一種編碼方式,無法保護圖片中的資訊。若沒有合法資料出站權限,先使用合成畫面或經核准的地端方案評估。

在自行管理的系統裡,檢索權限也要約束來源回讀。Supabase 的 RLS(資料列層級存取控制)可限制使用者能查詢哪些文件;相應的資料表權限及圖片儲存權限仍須核對,管理金鑰不能交給一般網頁使用者。[7] OWASP 的向量與嵌入安全風險整理則提醒,索引污染、跨權限資料洩漏與檢索文字中的惡意指令,都可能影響 RAG 的結果。[8]

如果目前的文字搜尋已能準確查到每個步驟,維持簡單方案有其價值。當使用者確實需要查找截圖中的按鈕、表格或局部畫面,再使用同一批題目比較多模態檢索。回答最有用的部分,通常是一個可打開的正確步驟,以及確實對得上的那張圖。

主要參考資料

  1. Google|Gemini Embedding 2 正式推出(2026/04/22)。
  2. Google AI for Developers|Embeddings 與 Gemini Embedding 2 文件。
  3. Supabase|Hybrid Search。
  4. Google|Gemini API File Search 多模態更新(2026/05/05);File Search 官方文件。
  5. Supabase|Vector Indexes。
  6. Faysse 等|ColPali: Efficient Document Retrieval with Vision Language Models,ICLR 2025。
  7. Supabase|RAG with Permissions;Row Level Security。
  8. OWASP|LLM08:2025 Vector and Embedding Weaknesses。
  9. Google Developers Blog|Building with Gemini Embedding 2(2026/04/30);Gemini Embedding 2 模型說明。
  10. Google|EmbeddingGemma 2(2026/10/06)。
  11. Google Developers Blog|EmbeddingGemma 2 Developer Guide(2026/10/06)。