·號稱全球首個AI人工智能軟件師Devin日前被網絡博主質疑造假、炒作。業內人士分析認為,該位博主質疑有理有據,Devin的“驚人效果”確實存在一些商業炒作的嫌疑。
號稱“全球首個AI人工智能軟件師”Devin,如今被網絡博主質疑造假。4月9日,一位自稱有35年軟件工程師經驗的網絡博主卡爾逐幀復現了Devin的演示視頻并提出四點質疑,包括Devin所展示的編程能力存在一定欺騙性,“它處理的任務并非隨機,而是演示者精心選擇的刻意呈現”;此外,Devin在操作過程中看似修復了許多問題,但這些問題很多都是Devin的“自導自演”。
04:12
“全球首個AI人工智能軟件師”Devin被網絡博主質疑造假。(04:12)
質疑視頻發出后,引發眾多科技愛好者評論。上海市人工智能行業協會、大模型專班負責人王逸浩日前在接受澎湃科技(www.thepaper.cn)采訪時表示,卡爾的質疑有理由據,Devin看似“驚人的效果”確實存在商業炒作、包裝的嫌疑。但不可否認,AI如今已經成為程序員的必用工具之一。
首個AI程序員被指炒作,多次“自修自建”代碼夸大實際效果
Devin是由Cognition Labs于今年3月12日發布的一項AI編程產品,并被宣傳為“全球首位AI工程師”。在Cognition官網發布的長達1分50秒的演示視頻里,Devin只需一句指令,就能實現端到端地處理整個開發項目,此外視頻顯示它具備自主學習新技術、端到端構建和部署應用、自主查找和修復代碼問題等能力;還可以按照用戶需求同時執行多步驟工作流程,程序員們可以實時觀察其進度,發現錯誤時,跳出指令就能修正。
卡爾針對上述視頻經過逐幀比對后提出質疑。他認為,在上述演示視頻的2.936秒處,屏幕左上角顯示“他們搜索過這個任務”,這意味著演示視頻中Devin處理的任務并非隨機,而是演示者選擇的??枒岩?,這有可能意味著Devin在大部分的工作中并不出色,甚至比視頻演示中的還要糟糕。
上述演示視頻的2.936秒,屏幕左上角顯示“他們搜索過這個任務”。
在運行的過程中,Devin出現了數次“自建自修”的情況,看似在做代碼修復,實際上并不是修復它在互聯網上找到的代碼,也不是客戶要求它修正的代碼,而是自己生成的錯誤代碼??栙|疑Devin的實際運行效率可能很低下,且存在很多毫無意義的操作。
此外,演示視頻的前部分顯示是3月9日下午3時25分,但后半部分的時間段卻顯示的是9日21時41分,這意味著Devin處理工作前后有6個小時20分鐘的間隔。而卡爾在自己實際操作的過程中,僅花了35分55秒就可以復現Devin的工作。
卡爾表示自己并非反對AI,但他想譴責的是Devin團隊這類“AI炒作”的行為。他希望人們對互聯網上的任何信息,尤其是人工智能相關的信息保持謹慎懷疑的態度。
業內人士認為博主質疑有理有據
澎湃科技注意到,目前Devin 還沒有開放使用,只能通過郵箱提交申請,外界對Devin的認知,基本都來自官方給出的演示視頻,以及少數第三方開發和產品人員的評價。
據外媒報道,Cognition AI背后的團隊成員共10人,核心團隊共有3人,分別是Scott Wu、Steven Hao和Walden Yan,團隊非常年輕。全體成員共擁有10枚國際信息學奧林匹克競賽(IOI)金牌,很多成員在青少年時期也參加過信息學國際奧林匹克競賽等。在發布“全球首個AI程序員Devin”這一信息后,Cognition AI備受外界關注。公開資料顯示,此前,Cognition AI已經獲得了彼得·蒂爾的Founders Fund基金領投的2100萬美元A輪融資。
眼下,AI編程究竟有沒有夸大、炒作的嫌疑?AI程序員相比人類程序員可以做哪些事?
上海市人工智能行業協會、大模型專班負責人王逸浩告訴澎湃科技,AI程序員的存在確實可以協助人們獨立完成簡單的開發工作,甚至可以脫離一名真正程序員的幫助,能減少大量不需要創新的重復勞動,例如批量修改代碼的命名風格、代碼的依賴關系等。但卡爾針對Devin的質疑目前看來也有理有據,從演示的內容來看,Devin做文書工作的時長是一位經驗豐富程序員的十二倍左右。
王逸浩認為,從其他相似業務的使用體驗效果來看,Devin的“驚人效果”確實存在一些商業炒作、包裝的嫌疑。一般諸如微軟Copilot這樣的工具都需要提供充足的上下文,而Devin明顯對程序的邏輯理解都還不到位。
不過,在王逸浩看來,盡管Devin的功能存在部分夸大的情況,但并不能否認AI編程的發展趨勢,“程序員們都在熟練地擁抱大模型帶來的便利,試用各類代碼輔助工具。程序員們離不開這些助手,類似于設計師們離不開Stable Diffusion。”