視覺(jué)語(yǔ)言模型VLM

• 如何訓(xùn)練并評(píng)價(jià)VLM/VLA模型，13大開源數(shù)據(jù)集一覽

  典型VLM包含四個(gè)組件：視覺(jué)編碼器vision encoder、駕駛視覺(jué)適配器driving adapter、文本編碼器text encoder和大型語(yǔ)言模型（LLM），VLA與VLM相比則多了一個(gè)軌跡規(guī)劃器，一般是基于擴(kuò)散模式。有時(shí)adapter也稱為Input Projector：將不同模態(tài)的輸入數(shù)據(jù)映射到共享的語(yǔ)義空間。無(wú)論是VLM還是VLA，LLM都是核心。

  佐思產(chǎn)研

  136

  9小時(shí)前

  VLA 視覺(jué)語(yǔ)言模型VLM

  
• 一文深度看懂視覺(jué)語(yǔ)言模型 (VLM)

  在本文來(lái)自于encord，從VLM 算法架構(gòu)，原理，到應(yīng)用方向，挑戰(zhàn)難點(diǎn)方面探討VLM 的架構(gòu)、評(píng)估策略和主流數(shù)據(jù)集，以及該領(lǐng)域的主要挑戰(zhàn)和未來(lái)趨勢(shì)。

  Vehicle

  1.1萬(wàn)

  2024/12/25

  視覺(jué)語(yǔ)言模型VLM

  

正在努力加載...