ControlNet僅靠一張照片完成「舊房改造」 | GitHub熱榜第一

:0:0

這是同一個房間改裝前后的樣子：

一下子質感Up，從凌亂過時變成了有腔有調的現代風。
至于設計費嘛，其實是…一分錢都沒花！
因為這并不是專業設計師做的方案，而全靠一只AI完成。
—— 只用給AI一張照片，它就能搞定的那種。
還可以選擇不同風格。

如此實用的「舊房改造」AI，很快引來大波網友駐足圍觀；原帖登上了GitHub熱榜第一，目前已收獲2700+顆星。

還在HackerNews上引起熱議。
有網友稱，這個應用讓他覺得很驚喜，并表示：
如果這種AI還能添加一些功能就更好了，比如給生成圖片中各設施進行估價，這樣就有機會落地商用了。

還有網友指出：
這實際上就是一種生成式預訓練Transformer，和其他Transformer本質是一樣的。

一張圖就能搞定房間設計不管怎麼說，這個AI確實在現有技術上整出了實用且新穎的用法。量子位沒忍住也親自上手試了試。
我先找來幾張破舊房間的照片，然后開始和AI共同設計改造。
說是共同改造，但其實我要做的，就只用給AI一張圖，然后點擊兩個選項：風格和房間用途。
比如，這里選擇現代風的客廳：

幾秒鐘后，我眼前一亮。不仔細對比左右兩張圖的格局，真的很難相信這是同一個房間。

除了現代風，還有其他選擇，于是我又試了試極簡風：

雖然這似乎不太「簡」，但很精美，甚至比上面的現代風更勝一籌。（給我看得都心動了…）。
不過需要說明的是，目前此AI一個IP每天最多只能用3次——實在想多弄幾張的話，可以換台電腦。

看到這里，話說一只小小的AI，為何短短幾秒就能設計好一整個房間？
其實，這主要得益于它背后一種強大的新晉機器學習模型：ControlNet。
ControlNet，由斯坦福大學研發，是一種通過添加額外條件，來控制擴散模型的神經網絡。
這個模型，可以將神經網絡塊的不同權重，分別復制到「鎖定」副本（locked copy）和「可訓練」副本（trainable copy）中。
鎖定副本，會保留輸入信息的一些關鍵特征；可訓練副本，則會通過訓練、學習來調節其他特征。然后，這兩部分還會連接起來協同工作。

對于可訓練副本而言，其訓練的方向包括：物體的準確邊緣、語義分割、人體姿勢等等。
簡單來說，就是AI能夠判定，一張圖中各個要素是否可以改變；然后會在原圖某些核心要素不變的前提下生成新的內容，不會導致生成圖和原圖看起來毫無聯系。
另外，這個模型搭配文字「食用」效果更佳——比如剛才我選擇的房間用途和裝修風格，其實就是在給AI添加一點文字提示。
總而言之，基于這樣的原理，ControlNet不僅可以勝任室內設計，還有可以玩出別的花樣。
比如，一鍵涂色：

還有「一鍵換貓」（貓換了，但可愛的歪頭殺不變）：

「一鍵換牛」：

Emmm，那某些游戲皮膚是不是……？
值得一提的是，如果你嫌專門登陸官網（見傳送門）比較麻煩，可以通過API將這個AI應用連到你的本地應用上。
按這種用法，首先需要下載數據庫。
git clone https：//github.com/Nutlope/roomGPT
接著去Replicate網站上創建一個賬戶，并獲取 API 密鑰。注意，然后需要把將API 密鑰存儲在 .env 文件中，如 .example.env。
再安裝依賴項：
npm install
然后你就能在命令行中運行該AI了：
npm run dev
開發者簡介最后，來認識一下此AI的幕后開發者：其實一共就3個人。