就在华尔街周一严重评价“DeepSeek风暴”之际，这家我国公司再度甩出新品：在图画生成基准测验中逾越OpenAI“文生图”模型DALL-E 3的多模态大模型Janus-Pro，相同也是开源的。
岁除清晨钟声敲响前不久，DeepSeek工程师们在“抱抱脸”渠道上传了Janus Pro 7B和1.5B模型。这俩模型是对上一年10月发布的Janus模型的晋级。
15亿和70亿的参数量，意味着这两个模型具有在消费级电脑上本地运转的潜力。与R1相同，Janus Pro选用MIT许可证，在商用方面没有约束。
据DeepSeek介绍，Janus-Pro是一个新颖的自回归结构，一致了多模态了解和生成。经过将视觉编码别离为“了解”和“生成”两条途径，一起仍选用单一的Transformer架构做处理，处理了以往办法的局限性。这种别离不只缓解了视觉编码器在了解和生成中的角色冲突，还提升了结构的灵活性。
尽管DALL-E 3是OpenAI在2023年发布的一款“老模型”，一起Janus Pro现在只能剖析和生成标准较小的图画（384 x 384）。DeepSeek在如此紧凑的模型尺度中仍然展示了令人形象十分深入的功能。
技能陈述数据显现，在视觉生成方面，Janus-Pro经过增加7200万张高质量组成图画，使得在一致预练习阶段实在数据与组成数据的份额到达1：1，完成“更具视觉吸引力和安稳才能的图画输出”。在多模态了解的练习数据方面，新模型参阅了DeepSeek VL2并增加了大约9000万个样本。
作为一个多模态模型，Janus-Pro不光能够“文生图”，相同也能对图片进行描绘，辨认地标景点（例如杭州的西湖），辨认图画中的文字，并能对图片中的常识（例如下图中的“猫和老鼠”蛋糕）进行介绍。
