(相關(guān)資料圖)
站長之家(ChinaZ.com) 6月14日 消息:微軟的研究人員展示了 LLaVA-Med,這是一種用于生物醫(yī)學的多模式 AI 助手,可以處理圖像和文本。
使用生物醫(yī)學圖像文本對應大型數(shù)據(jù)集來訓練多模態(tài) AI 模型。該數(shù)據(jù)集包括胸部 X 光、MRI、組織學、病理學和 CT 圖像等。首先,該模型學習描述此類圖像的內(nèi)容以及重要的生物醫(yī)學概念。然后,使用GPT-4生成的指令數(shù)據(jù)集對 LLaVA-Med(生物醫(yī)學的大型語言和視覺助手)進行訓練。
該數(shù)據(jù)集由 GPT-4基于生物醫(yī)學文本創(chuàng)建,其中包含有關(guān)每個圖像的所有信息,可用于生成有關(guān)圖像的問答。微調(diào),然后在圖像和相應的 GPT-4示例上訓練 LLaVA-Med。結(jié)果是一個可以用自然語言回答有關(guān)生物醫(yī)學圖像的問題的助手。
使用的訓練方法允許 LLaVA-Med 在不到15小時的時間內(nèi)在八個 Nvidia A100GPU 上進行訓練。它基于Vision Transformer和Vicuna語言模型,后者又基于 Meta 的LLaMA。據(jù)該團隊稱,該模型具有“出色的多模式對話能力”。在用于回答視覺問題的三個標準生物醫(yī)學數(shù)據(jù)集上,LLaVA-Med 在某些指標上優(yōu)于之前的最先進模型。
LLaVA-Med 等多模式助手有朝一日可以用于各種生物醫(yī)學應用,例如醫(yī)學研究、復雜生物醫(yī)學圖像的解釋以及醫(yī)療保健中的對話支持。
研究團隊表示:“雖然我們認為 LLaVA-Med 代表了朝著構(gòu)建有用的生物醫(yī)學視覺助手邁出的重要一步,但我們注意到 LLaVA-Med 受到許多 LMM 常見的幻覺和弱深度推理的限制未來的工作將側(cè)重于提高質(zhì)量和可靠性。”。
(舉報)
關(guān)鍵詞:
免責聲明:本網(wǎng)站所有信息,并不代表本站贊同其觀點和對其真實性負責,投資者據(jù)此操作,風險請自擔。
上一篇: 市應急局來松開展基層應急救援體系建設調(diào)研指導
下一篇:最后一頁
2023年第24周(6 05-6 11),理想汽車的周銷量再創(chuàng)新高,達到了0 84萬
施肥機有哪些常見分類?施肥機械根據(jù)施肥方式的不同分為用于全面撒施的撒肥機、用于條播的施肥機。主要有固體化肥施用機械(撒肥機械、種肥施
施肥機的工作原理是什么?離心式撒肥機是由動力輸出軸帶動旋轉(zhuǎn)的撒肥盤利用離心力將化肥撒出。有單盤式與雙盤式兩種。氣力式寬幅撒肥機是利
新華社南昌6月13日電(記者李美娟)為建立東江流域補償長效機制,經(jīng)過
新華社北京6月13日電題:文化遺產(chǎn)傳承保護的“青春身影”和“科技力量
新華社北京6月13日電題:警惕城市綠化里的形式主義跟風引進“網(wǎng)紅”樹