Articolul prezintă modelul lingvistic vizual Qwen2.5-VL, o îmbunătățire semnificativă față de predecesorul său. Acesta se remarcă prin capacitatea de a înțelege imagini și videoclipuri complexe, inclusiv text, diagrame și evenimente temporale, generând rezultate structurate. Modelul este disponibil în diverse dimensiuni și pe mai multe platforme, demonstrând performanțe competitive în diverse teste. Dezvoltatorii anunță îmbunătățiri viitoare, vizând extinderea capacităților de rezolvare a problemelor și integrarea mai multor modalități.

Document Briefing: Qwen2.5-VL

Acest document oferă un rezumat detaliat al informațiilor cheie și a principalelor teme prezentate în sursa "Qwen2.5 VL! Qwen2.5 VL! Qwen2.5 VL! | Qwen". Sursa este un articol de blog ce anunță lansarea modelului vision-language Qwen2.5-VL, evidențiind caracteristicile, performanța și capacitățile sale avansate.

Lansarea și Caracteristicile Principale ale Qwen2.5-VL

Qwen2.5-VL este noul model "flagship" de tip vision-language al seriei Qwen, reprezentând un salt semnificativ față de predecesorul său, Qwen2-VL. Modelul este disponibil în trei dimensiuni (3B, 7B și 72B) și include atât versiuni de bază, cât și versiuni instruite ("instruct"), disponibile pe Hugging Face și ModelScope. Înțelegerea vizuală avansată: Modelul recunoaște obiecte comune (flori, păsări, etc.), dar și texte, grafice, diagrame, icoane și layout-uri în imagini. Capacități agentice: Qwen2.5-VL poate acționa ca un agent vizual, capabil să raționeze și să utilizeze instrumente în mod dinamic, inclusiv aplicații de computer și telefon. Înțelegerea videoclipurilor lungi: Modelul poate înțelege videoclipuri de peste o oră și poate localiza evenimente specifice în cadrul acestora. Localizare vizuală precisă: Qwen2.5-VL poate localiza obiecte în imagini prin generarea de "bounding boxes" sau puncte, furnizând rezultate JSON stabile. Generarea de rezultate structurate: Modelul poate genera date structurate din documente, facturi, formulare și tabele, având aplicații în finanțe și comerț.

Performanța Modelului

Modelul "flagship", Qwen2.5-VL-72B-Instruct, atinge performanțe competitive în diverse benchmark-uri, inclusiv probleme de nivel universitar, matematică, înțelegerea documentelor, răspunsuri generale, înțelegerea videoclipurilor și rolul de agent vizual. Qwen2.5-VL demonstrează avantaje semnificative în înțelegerea documentelor și diagramelor, putând acționa ca un agent vizual fără a necesita "fine-tuning" specific sarcinilor. Modelele mai mici (7B, 3B):Qwen2.5-VL-7B-Instruct depășește performanțele GPT-4o-mini în mai multe sarcini. Qwen2.5-VL-3B, o soluție pentru edge AI, depășește chiar și modelul 7B al versiunii anterioare, Qwen2-VL.

Capacitățile Modelului în Detaliu

Recunoașterea imaginilor la nivel global: Modelul a extins semnificativ gama de imagini pe care le poate recunoaște, inclusiv plante, animale, puncte de reper faimoase, personaje din filme și seriale, precum și o varietate mare de produse. "Qwen2.5-VL has significantly enhanced its general image recognition capabilities, expanding the categories of images to an ultra-large number. It not only includes plants, animals, landmarks of famous mountains and rivers, but also IPs from film and TV series, as well as a wide variety of products."

Localizarea precisă a obiectelor

Modelul utilizează "bounding boxes" și reprezentări bazate pe puncte pentru localizare, facilitând poziționarea ierarhică și rezultate JSON standardizate. "Qwen2.5-VL utilizes bounding boxes and point-based representations for grounding, enabling hierarchical positioning and standardized JSON output." Recunoaștere și înțelegere text îmbunătățite: Qwen2.5-VL a îmbunătățit semnificativ capabilitățile OCR, performând în diverse scenarii, limbi și orientări ale textului. Modelul este mai performant în extragerea informațiilor, satisfăcând cerințele de digitalizare în domenii precum analiza documentelor și afaceri financiare. Analiza documentelor puternică: Modelul folosește formatul "QwenVL HTML" pentru a extrage informații despre layout-ul documentelor (reviste, lucrări de cercetare, pagini web, capturi de ecran mobile). Înțelegerea îmbunătățită a videoclipurilor: Modelul suportă videoclipuri lungi (până la o oră), folosind training dinamic FPS și codare temporală absolută. Este capabil să înțeleagă conținutul videoclipurilor, să localizeze evenimente specifice și să rezume punctele cheie din diferite segmente. Agent superior de computer și mobil: Qwen2.5-VL poate asista utilizatorii în sarcini pe computer și telefon, cum ar fi rezervări, trimiterea de mesaje, căutarea informațiilor despre vreme, îmbunătățirea fotografiilor și instalarea de plugin-uri.

Actualizări ale Modelului

Percepția timpului și a dimensiunii imaginii: Modelul convertește dinamic imaginile de diferite dimensiuni în "tokens" de lungimi variabile, reprezentând coordonatele cu scara reală a imaginii. Utilizează un training dinamic FPS și codare temporală absolută pentru a alinia mRoPE id-urile cu viteza timpului. "In the spatial dimension, Qwen2.5-VL not only dynamically converts images of different sizes into tokens of varying lengths but also directly represents coordinates such as detection boxes and points using the actual size scale of the image, without performing traditional coordinate normalization." Encoder vizual mai concis și eficient: Modelul a antrenat de la zero un ViT (Vision Transformer) cu rezoluție dinamică, folosind Window Attention pentru a reduce sarcina de calcul. Arhitectura ViT a fost aliniată cu LLM-urile prin adoptarea structurilor RMSNorm și SwiGLU. "We trained a native dynamic resolution ViT from scratch, including stages for CLIP, vision-language model alignment, and end-to-end training. To address the issue of load imbalance in ViT during the training and testing phases of multimodal large models, we introduced Window Attention to effectively reduce the computational load on the ViT side."

Direcții Viitoare

În viitorul apropiat, echipa Qwen va continua să îmbunătățească capacitățile de rezolvare a problemelor și de raționament ale modelului, încorporând în același timp mai multe modalități de intrare, în ideea creării unui "omni-model" integrat.

Idei sau fapte importante

Progrese semnificative în înțelegerea vizuală: Qwen2.5-VL poate analiza diverse elemente vizuale (obiecte, texte, diagrame, etc.) cu o precizie și o versatilitate remarcabile. Capacități agentice: Modelul poate interacționa cu instrumente și aplicații, devenind un asistent inteligent pentru diverse sarcini. Procesarea eficientă a videoclipurilor lungi: Modelul poate înțelege și localiza informații cheie în videoclipuri de o oră, deschizând oportunități pentru analiza video la scară largă. Arhitectură eficientă: Îmbunătățirile în structura și metodele de antrenament au condus la un model mai performant, dar și mai eficient din punct de vedere al resurselor. Deschiderea modelului către comunitate: Lansarea pe platforme precum Hugging Face și ModelScope permite cercetătorilor și dezvoltatorilor să utilizeze și să îmbunătățească în continuare modelul.

Concluzie

Qwen2.5-VL reprezintă un pas important în evoluția modelelor vision-language, oferind performanțe competitive, capabilități avansate și o abordare eficientă a procesării datelor multimodale. Cu îmbunătățiri semnificative în recunoașterea vizuală, înțelegerea textului, procesarea videoclipurilor și capacitățile agentice, modelul promite să deschidă noi posibilități în diverse domenii, de la cercetare științifică și afaceri, până la asistență personală și aplicații mobile.