Kolors — это мас­штаб­ная модель гене­ра­ции изоб­ра­же­ний по тек­сту, осно­ван­ная на латент­ной диф­фу­зии и раз­ра­бо­тан­ная коман­дой Kuaishou Kolors. Обу­чен­ная на мил­ли­ар­дах пар “текст-изоб­ра­же­ние”, Kolors демон­стри­ру­ет зна­чи­тель­ные пре­иму­ще­ства как перед откры­ты­ми, так и закры­ты­ми моде­ля­ми в таких аспек­тах, как визу­аль­ное каче­ство, точ­ность слож­ных семан­ти­че­ских кон­струк­ций и отоб­ра­же­ние тек­ста как на китай­ском, так и на англий­ском язы­ках. Более того, Kolors под­дер­жи­ва­ет ввод как на китай­ском, так и на англий­ском язы­ке, пока­зы­вая отлич­ные резуль­та­ты в пони­ма­нии и гене­ра­ции кон­тен­та, спе­ци­фич­но­го для китай­ско­го язы­ка. Допол­ни­тель­ные подроб­но­сти мож­но най­ти в нашем тех­ни­че­ском отчете.

Оценка

Раз­ра­бот­чи­ки собра­ли обшир­ный набор дан­ных для оцен­ки гене­ра­ции изоб­ра­же­ний по тек­сту, назван­ный KolorsPrompts, что­бы срав­нить Kolors с дру­ги­ми пере­до­вы­ми откры­ты­ми и закры­ты­ми моде­ля­ми. KolorsPrompts вклю­ча­ет более 1000 запро­сов, охва­ты­ва­ю­щих 14 кате­го­рий и 12 оце­ноч­ных изме­ре­ний. Про­цесс оцен­ки вклю­ча­ет как чело­ве­че­ские, так и машин­ные оцен­ки. В соот­вет­ству­ю­щих бенч­мар­ках Kolors про­де­мон­стри­ро­вал очень кон­ку­рен­то­спо­соб­ные резуль­та­ты, достиг­нув отрас­ле­вых стандартов.

Оценка человеком

Для чело­ве­че­ской оцен­ки были при­гла­ше­ны 50 экс­пер­тов в обла­сти визу­а­ли­за­ции, что­бы про­ве­сти срав­ни­тель­ные оцен­ки резуль­та­тов, сге­не­ри­ро­ван­ных раз­ны­ми моде­ля­ми. Экс­пер­ты оце­ни­ва­ли сге­не­ри­ро­ван­ные изоб­ра­же­ния по трем кри­те­ри­ям: визу­аль­ная при­вле­ка­тель­ность, точ­ность соот­вет­ствия тек­сту и общая удо­вле­тво­рен­ность. В этой оцен­ке Kolors полу­чил наи­выс­ший общий балл удо­вле­тво­рен­но­сти и зна­чи­тель­но опе­ре­дил дру­гие моде­ли по визу­аль­ной привлекательности.