到目前为止，我们大多数人都已经涉足了生成图像创作。我们在文本字段中输入一个奇怪的小提示，然后像StableDiffusion、Midjourney或DALL-E这样的在线平台就会吐出一些美丽的、奇怪的或两者兼而有之的东西。所有这些平台的一个共同点是需要在线连接。如果有一种方法可以仅用手中的手机进行类似的(也许更好)生成人工智能图像创建，并且根本不需要连接到互联网或云，那会怎样呢?高通认为它有一个名为ControlNet的解决方案，这个解决方案的名字一点也不可怕。

ControlNet于本周在加拿大温哥华举行的计算机视觉和模式识别会议(CVPR)上亮相，它是一种新型移动AI图像生成模型，具有两个诱人的核心优势：1)该模型是本地的，因此ControlNet几乎可以在任何平台上工作无需在线连接。2)ControlNet不是仅使用文本来生成AI图像，而是从您提供的种子图像开始，然后根据文本提示对其进行操作。

在某些方面，这类似于Adob​​e的FireflyAI，它可以生成AI部分来增强现有图像。然而，该模型也需要在线连接才能工作。

这个开源模型的引入，部分基于StableDiffusion，但在模型现有10亿个参数的基础上额外增加了5亿个参数，并且可以供第三方公司自由使用，这并不是纯粹的利他主义。

当然，ControlNet可以在Windows、Mac、iOS和Android上运行，但它的速度不会那么快，除非它运行在高通Snapdragon平台上，特别是Snapdragon8Gen上的Hexagon数字信号处理器(DSP)上2移动处理器，例如三星GalaxyS23Ultra中的处理器。

在我看到的演示中，ControlNet能够将沉闷的办公空间图像转变为带有橙色墙壁的1970年代主题，然后将巴塞罗那的街道转变为流动的运河。办公室图像的保真度令人惊叹。巴塞罗那的那幅看起来像是狂热的梵高的作品。

ControlNet通过获取在图像中找到的基本形状和结构并围绕它们进行绘制来完成其工作，但输出的速度和质量意味着第三方硬件和软件开发人员肯定会感兴趣。特别是因为本地计算的明显好处(众所周知，苹果公司已经在其大部分人工智能工作中青睐这一点)。

ControlNet不一定需要完整的照片来生成新的或更改的图像。即使是一个粗略的草图和一个文本提示也可以产生一些有趣且可能有用的东西。在高通提供的一张演示图像中，他们展示了一只小猫变成超现实主义猫的草图，不知何故，它仍然类似于原始绘图。

通过本地人工智能生成，您的原始种子图像不会被传回云端，提示也不会与任何第三方共享或存储在遥远的服务器中。正如大多数隐私倡导者所希望的那样，这是一个闭环。

ControlNet如何在设备上运行。

Qualcomm正在向想要在Hexagon上开始编程和测试的开发人员推出ControlNetSDK。至于未来谁可能推出基于ControlNet的产品，还很难说。高通不会，因为它不直接向消费​​者销售任何产品。

不过，长期合作伙伴三星确实有可能。想象一下三星GalaxyS24或S25Ultra带有基于ControlNet的本机应用程序。或者，也许三星将其直接构建到其照片或相机应用程序中。无论如何，我看到的演示是在三星GalaxyS23Ultra上运行的。