最近想了解AI的多模態系統,但在那之前,需先有分類問題的能力,例如提示詞中如果包含產生圖片這類的內容,就得另外呼叫生圖的API,但方法我個人只想到交由LLM模型去替我分類,其它的就沒概念,於是我選擇直接問ChatGPT,它給了以下回答:

而第三個就是我說的交由LLM模型處理,因為這個是比較簡單的方法,所以決定先用這個方式來試試看。

而首先就得先定義system prompt:

你是一個程式設計師,擅長處理資料格式,能把答案以JSON形式做回答

結下來是user prompt:

請幫我把問題做分類,類型有:文字"Text"、圖片"Image"、綜合"Multi"這三種。
照片、自拍照等跟照片有關的也歸為"Image",如果同時符合"Text"與"Image",歸類為"Multi"。
回應請以JSON回答:
{
	{ 
		"prompt":"user prompt",
		"category": "前述的分類",
		"answer": "AI模型的回答"
	}
}
問題為:"{userPrompt}"

而測試的結果如下:

prompt:可以給我一張妳的自拍照嗎
result:{"prompt":"可以給我一張妳的自拍照嗎","category":"Image","answer":null}

如果不包含照片相關,結果如下:

prompt:你𣆞誰
result:{"prompt":"妳是誰","category":"Text","answer":"我是一個由台灣大學資訊工程學系林彥廷博士和陳縕儂教授團隊開發的人工智慧助理。我可以透過自然語言處理技術來理解和回應各種問題和需求。請問有什麼我可以協助你的嗎?"}