标题 摘要 内容
    详情
    刚刚,腾讯混元文生图大模型,全面升级并对外开源!


    作为业内首个中文原生的DiT架构开源模型,腾讯混元文生图支持中英文双语输入及理解。

    直接用于文生图,也可作为视频等多模态视觉生成的基础。


    图片



    介绍一下,我的几项标签:

    //DiT架构



    优秀的大模型,离不开领先的技术架构。


    去年7月,腾讯混元文生图团队就明确了基于DiT架构的模型方向。


    (DiT是基于Transformer的扩散模型架构,是Sora、Stable Diffusion 3 也选用的关键技术。)


    今年初,腾讯混元文生图完成了模型架构的全面升级,相比上一代整体效果提升超过20%。



    //中文原生

    此前,Stable Diffusion等主流文生图开源模型,核心数据集以英文为主,基于Stable Diffusion的中文应用本质上是通过中译英的方式处理文本。



    碰上古诗词、民间俚语、传统建筑等中国元素,又或者「红烧狮子头」「老婆饼」「鱼香肉丝」等特色词汇,容易出现较大的理解偏差。


    中文原生的腾讯混元文生图,母语就是中文:



    图片


    通过对汉语字符系统、文化内涵的深度学习,对国风元素和中文复杂性有更深刻的理解。


    文生图提示词:请将“杞人忧天”的样子画出来


    图片

    中文输入后,直接中文理解,不会因翻译产生语义分歧。

    //表现提升

    - 多轮对话:通过自然语言对话不断微调,修改主体、背景、元素及风格,整体画面保持高一致性。

    多轮文生图提示词:(1)画一名德国男性;