Den 16. december udgav Alibaba officielt den nye generation af Tongyi Wanxiang 2.6-modelserien. Det er den første videogenereringsmodel i Kina, der understøtter en rollebesætningsfunktion, hvor en enkelt videogenereringslængde når op på førende 15 sekunder nationalt.
Ved at integrere flere funktioner såsom audiovisuel synkronisering, multishot-generering og lyddrevet videooprettelse, beskrives Wan 2.6 af sine udviklere som en af de mest omfattende videogenereringsmodeller med hensyn til global funktionsdækning.
Denne opdatering er ikke kun en trinvis forbedring af en enkelt kapacitet; i stedet blev fem nye modeller lanceret samtidigt, herunder tekst-til-video, billede-til-video og tekst-til-billede, der dækker nøgleaspekter fra billede til videogenerering. Det betyder, at Wan 2.6 kan yde omfattende support til både professionel filmproduktion og hverdagsbilledoprettelse.
01 Tre gennembrud: Kernefunktionerne i Wan 2.6#
Gennembruddet for Wan 2.6 ligger ikke kun i den øgede genereringslængde, men også i dens multifunktionelle integration og outputkvalitet i professionel kvalitet.
Ved at bygge videre på omfattende forbedringer i videokvalitet, lydeffekter og instruktionsoverholdelse introducerer den nye version rollebesætnings- og shotkontrolfunktioner, hvilket gør den til den mest komplette videogenereringsmodel i Kina.
Sammenlignet med Wan 2.5, der blev udgivet i september, har version 2.6 opnået betydelige forbedringer på tværs af flere dimensioner. Efter allerede at have rangeret som nummer et i Kina for billede-til-videogenerering på det autoritative LMArena-benchmark, skubber 2.6-versionen dette forspring endnu længere.
02 Rollebesætning: Almindelige mennesker kan spille hovedrollen i deres egne film#
Den mest iøjnefaldende funktion i Wan 2.6 er dens banebrydende rollebesætningsfunktion i Kina. Denne funktion giver gennemsnitlige brugere mulighed for at levere fantastiske præstationer i optagelser i filmisk kvalitet.
En bruger skal blot uploade en personlig video og indtaste en tekstprompt, der beskriver et scenarie. Wan 2.6 kan derefter hurtigt håndtere opgaver som shotdesign, karakterskuespil og dubbing og generere en komplet kortfilm med sammenhængende fortælling og filmisk filmfotografering på få minutter, hvilket hjælper brugerne med at opfylde deres drøm om at blive filmstjerne.
Teknisk set har Tongyi Wanxiang integreret flere innovative teknologier i modelarkitekturen. Den udfører multimodal fælles modellering og læring på inputreferencevideoen og analyserer tidsmæssigt sekventielle funktioner som subjekts følelser, kropsholdning og visuelle karakteristika fra flere vinkler, samtidig med at den udtrækker akustiske funktioner såsom klangfarve og talehastighed.
03 Shotkontrol: Automatisk generering af multishot-fortællinger#
Shotkontrolfunktionen i Wan 2.6 adskiller den fra almindelige videogenereringsværktøjer. Denne funktion kan omdanne simple brugerprompter til multishot-scripts, der producerer sammenhængende fortællingsvideoer bestående af flere kamerashots.
Ved hjælp af semantisk forståelse på højt niveau kan Tongyi Wanxiang konstruere det originale input til professionelle multishot-segmenter med komplette historielinjer og fortællingsspænding. Under den problemfri skift af shots opretholder den samlet modellering af kernesubjektet, sceneopsætningen og den miljømæssige atmosfære, hvilket sikrer høj konsistens i indhold, rytme og stemning i hele videoen.
Denne funktion gør det muligt for Wan 2.6 at forstå og udføre komplekse filmiske sproginstruktioner og udføre arbejdet for professionelle fotografer og redaktører med en enkelt kommando.
04 Multi-lyddrev: En unik global innovation#
Wan 2.6 er også anerkendt som en videogenereringsmodel med den mest omfattende globale funktionalitet. Den er kendt for at inkorporere en "multi-lyddrev"-funktion, hvor flere lydspor kan fungere som "drivsignaler", der påvirker karakterhandlinger, mundbevægelser og shot-tempo, hvilket går ud over simpel efterproduktionsdubbing for mere naturlig audiovisuel synkronisering.
Dette tekniske højdepunkt giver Wan 2.6 mulighed for at opnå mere realistiske audiovisuelle synkroniseringseffekter. Ved at udføre multimodal fælles modellering på referencevideoen og samtidig udtrække tidsmæssige visuelle funktioner og akustiske funktioner opnår modellen fuld sensorisk konsistensmigration af billede og lyd under genereringsprocessen.
05 Praktiske anvendelsesscenarier: Fra personlig underholdning til professionel skabelse#
Fremkomsten af Wan 2.6 vil yderligere sænke barrieren for videooprettelse og udvide anvendelsesgrænserne for AI-videogenerering.
For individuelle brugere tilbyder Wan 2.6 en meget attraktiv underholdningsoplevelse. Ved blot at uploade en personlig video og indtaste en tekstprompt kan brugerne generere kreative kortfilm med sig selv i hovedrollen, såsom sci-fi- eller spændingsklip.
Inden for det professionelle skabelsesfelt, såsom reklamedesign og kort dramaproduktion, kan Wan 2.6 generere komplette fortællende kortfilm baseret på sekventielle prompter.
For eksempel giver indtastning af en prompt, der beskriver et reklamekoncept, Wan 2.6 mulighed for at producere en kommerciel video med karakterer og produkter, der opretholder konsistens af nøgleinformation som emnet og scenen på tværs af flere shotændringer.
I øjeblikket understøtter Wanxiang-modelfamilien mere end 10 forskellige visuelle oprettelsesfunktioner, herunder tekst-til-billede, billedredigering, tekst-til-video, billede-til-video og rollebesætning. Det er allerede meget udbredt i områder som AI-tegneserieserier, reklamedesign og kort videooprettelse.
06 Sådan får du adgang: Praktisk multiplatformoplevelse#
Wan 2.6 er nu tilgængelig på flere platforme, hvilket giver brugerne forskellige valgmuligheder for adgang:
- Tongyi Wanxiang officielle websted: Individuelle brugere kan direkte opleve grundlæggende funktioner gratis på det officielle websted.
- Alibaba Cloud Bailian-platform: Leverer API-grænseflader til virksomheder og udviklere til at integrere i deres egne applikationer.
- story321.com-platform: Brugere kan også bruge Wan 2.6 på denne platform, der er fokuseret på AI-historiegenerering. Den er især optimeret til at generere fortællende indhold, hvilket gør den velegnet til at skabe korte videohistorier, animationer og lignende indhold.
For professionelle brugere og virksomheder anbefales det at få adgang til API-tjenesterne via Alibaba Cloud Bailian-platformen for mere stabil ydeevne og support. For individuelle brugere og kreative entusiaster giver Wanxiangs officielle websted og story321.com muligheder for oplevelse uden tærskel. Story321.com er et ideelt valg, især for brugere, der ønsker at skabe sammenhængende historieindhold.
Ankomsten af Wan 2.6 betyder, at AI-videogenereringsteknologi har udviklet sig fra simpel billedsekvensoprettelse til et nyt stadium af omfattende filmisk skabelse. Det sænker ikke kun tærsklen for professionel videoproduktion, men giver også alle mulighed for at udtrykke deres kreativitet bekvemt og realisere visionen om, at "alle kan være instruktør".
I øjeblikket er Wan 2.6 tilgængelig på Alibaba Cloud Bailian, det officielle Tongyi Wanxiang-websted og story321.com-platformen. Alle kan direkte opleve det på disse platforme, og virksomhedsbrugere kan også kalde model-API'en via Alibaba Cloud Bailian. Det rapporteres, at Qianwen APP også snart vil lancere modellen, hvilket giver rigere måder at interagere med den på.
