<span id="r1dp9"></span>
<span id="r1dp9"><video id="r1dp9"><ruby id="r1dp9"></ruby></video></span><ruby id="r1dp9"><video id="r1dp9"><del id="r1dp9"></del></video></ruby>
<strike id="r1dp9"></strike>
<ruby id="r1dp9"></ruby>
<th id="r1dp9"><video id="r1dp9"></video></th><strike id="r1dp9"></strike><strike id="r1dp9"><dl id="r1dp9"><ruby id="r1dp9"></ruby></dl></strike>
<span id="r1dp9"></span>
<strike id="r1dp9"><dl id="r1dp9"><ruby id="r1dp9"></ruby></dl></strike>
您當前的位置:首頁 > 電腦百科 > 人工智能

用 80 年代的技術攻破大模型:研究人員讓 AI 防線接近承受極限

時間:2024-03-10 10:42:23  來源:  作者:InfoQ

作者 | AZANIA IMTIAZ PATEL

譯者 | 王強

策劃 | Tina

生成式 AI 模型可以被 ASCII 編碼愚弄,“彩虹團隊”則讓 LLM 的語義防線接近承受極限……

據美國安全研究人員稱,只要對 20 世紀 80 年代的科幻類電影(比如《戰爭游戲》)中出現的 ASCII 編碼藝術稍有了解,就可能騙過大模型,讓它們違反自己的安全規則。

ASCII 編碼藝術指的是由 1963 年 ASCII 標準定義的 95 個可打印字符(總共 128 個)拼湊而成的各種圖片。1983 年的電影《戰爭游戲》或《創》中就用這種藝術繪制了一些圖像,顯示在劇情中出現的電腦屏幕上。用這種方法發起的越獄攻擊使用了字符繪制的圖像來“掩護”提示詞,這樣這些提示就不會被大模型的安全性微調方法標記出來了。

來自美國四所大學的研究人員開發了名為“ArtPrompt”的越獄手段,主要針對那些特定提示中可能被大模型的安全系統拒絕的單詞。它使用 ASCII 編碼藝術把安全系統識別出來的單詞繪制成圖形,這樣就做成了隱形的提示詞。這些隱藏提示可以誘導被攻擊的大模型做出一些不安全的行為。

研究人員在五個業內領先的大模型(GPT-3.5、GPT-4、Gemini、Claude 和 Llama2)中測試了這種越獄手段,結果表明它們都很難識別偽裝成 ASCII 圖形的提示。

這種越獄方法只需要對大模型進行黑盒訪問即可,并且可以讓接受測試的五個大模型都“有效且高效地被誘導出不良行為”。研究人員表示這是一個漏洞,因為現在大模型內的安全防御機制是基于語義的。

與此同時,來自 Meta、倫敦大學學院和牛津大學的一組研究人員介紹了一種通過“彩虹團隊”加強大模型內部安全保護能力的方法,該方法側重于語義端本身的穩健性。

他們的論文將對抗性提示生成方法視為一種質量多樣性問題。相應地,它使用開放式搜索來生成提示,可以發現模型在安全、問答和網絡安全等眾多領域的漏洞。

https://youtu.be/IrkCIBoqZgE

該方法采用稱為“質量多樣性”的進化搜索框架,以生成可以通過大模型安全保障措施的對抗性提示。

根據該論文,實現彩虹團隊方法需要三個基本構建塊:1)一組指定多樣性維度的特征描述符(例如“風險類別”或“攻擊風格”);2) 一個變異算子,用于演化對抗性提示;3) 一個偏好模型,根據對抗性提示的有效性對其進行排名。

研究人員表示,彩虹團隊框架目前僅在 Llama-2 Chat 模型上做了測試,在各個規模的模型上的攻擊成功率為 90%。

這兩篇研究論文都重點關注生成式人工智能模型的安全保障措施的穩健性,以及大模型越獄可用的形式。隨著模型規模和范圍的擴大,針對對抗性提示的預防措施顯然也需要加強。

原文鏈接:

https://www.thestack.technology/the-80s-come-for-llms-with-ascii-art/



Tags:AI   點擊:()  評論:()
聲明:本站部分內容及圖片來自互聯網,轉載是出于傳遞更多信息之目的,內容觀點僅代表作者本人,不構成投資建議。投資者據此操作,風險自擔。如有任何標注錯誤或版權侵犯請與我們聯系,我們將及時更正、刪除。
▌相關推薦
谷歌搜索史上最大變革!考慮對AI搜索收費
快科技4月7日消息,據國外媒體報道,谷歌正計劃對由生成式人工智能驅動的新高級功能收費,這將是谷歌搜索業務歷史上最大的一次變革。自2000年以來,谷歌的搜索產品一直依靠廣告盈利...【詳細內容】
2024-04-08  Search: AI  點擊:(5)  評論:(0)  加入收藏
生成式AI:云計算的關鍵之戰
“美國有一家鐵路公司,過去兩年我們一直在交談。終于,他們這次打電話給我們,希望迅速推進上云遷移?!苯?,亞馬遜云科技全球客戶技術支持與服務副總裁Uwem Ukpong向記者談及企...【詳細內容】
2024-04-08  Search: AI  點擊:(5)  評論:(0)  加入收藏
為訓練AI,OpenAI等科技巨頭花式淘數據
[環球時報特約記者 甄翔]《紐約時報》6日披露了科技公司訓練人工智能的秘密&mdash;&mdash;利用語音識別工具轉錄視頻網站YouTube上的視頻,形成對話文本數據,供其最新的AI學習...【詳細內容】
2024-04-08  Search: AI  點擊:(5)  評論:(0)  加入收藏
AI程序員上崗 垂類大模型應用迎來井噴期
能自動寫代碼的“AI員工”、逐漸告別不夠好用的智能客服,無需費時費力開發的工業AI控制器&hellip;&hellip;隨著人工智能大模型能力開始深入多個行業,IT、工業生產、金融、服務...【詳細內容】
2024-04-08  Search: AI  點擊:(3)  評論:(0)  加入收藏
當“機器人”有了“AI大腦” 人形機器人時代來了嗎
數智風向標當“機器人”有了“AI大腦”?人形機器人時代來了嗎簡單明了的口令下達后,機器人便開始搬箱子、運小球,在各類不同的地形行走&hellip;&hellip;這些身上布滿芯片和傳...【詳細內容】
2024-04-08  Search: AI  點擊:(2)  評論:(0)  加入收藏
AI重塑社交:騰訊與字節跳動的新賽場
文|新火種 一號編輯|美美最近,騰訊和字節跳動這兩大互聯網巨頭幾乎同步推出了各自的AI社交產品,盡管騰訊和字節跳動在前段時間剛剛“破冰”,但這一舉措不僅意味著這兩大巨頭之...【詳細內容】
2024-04-07  Search: AI  點擊:(6)  評論:(0)  加入收藏
AI程序員上崗 垂類大模型應用迎來井噴期
能自動寫代碼的“AI員工”、逐漸告別不夠好用的智能客服,無需費時費力開發的工業AI控制器&hellip;&hellip;隨著人工智能大模型能力開始深入多個行業,IT、工業生產、金融、服務...【詳細內容】
2024-04-07  Search: AI  點擊:(2)  評論:(0)  加入收藏
首個AI程序員上崗,碼農們暫且不必過度焦慮
“AI程序員上崗”或許是噱頭,但淘汰焦慮仍然近在咫尺,需要積極面對。全文2418字,閱讀約需7分鐘 撰稿 / 馬爾文(媒體人)編輯 / 何睿 校對 / 張彥君▲隨著相關技術的突飛猛進,AI也在...【詳細內容】
2024-04-07  Search: AI  點擊:(3)  評論:(0)  加入收藏
報告稱 OpenAI 采集了超一百萬小時的 YouTube 視頻來訓練 GPT-4
IT之家 4 月 7 日消息,本周早些時候,《華爾街日報》報道稱 AI 公司在收集高質量訓練數據方面遇到了困難。今天,《紐約時報》詳細介紹了 AI 公司處理此問題的一些方法,其中涉及到...【詳細內容】
2024-04-07  Search: AI  點擊:(4)  評論:(0)  加入收藏
用AI“復活”逝者,倫理和法律的邊界在哪?專家解讀
AI數字“復活”,您聽說過嗎?當然,這里的復活是加引號的,簡單來說,就是指用逝者生前的照片、視頻、文字記錄等歷史數據,使用人工智能技術、數字化模擬再現已故人物的聲音、影像、行...【詳細內容】
2024-04-07  Search: AI  點擊:(3)  評論:(0)  加入收藏
▌簡易百科推薦
多方熱議人工智能產業新機遇
編者按&emsp;&emsp;從前沿科技展會到高層對話平臺,從上海、重慶到博鰲,從線上到線下&hellip;&hellip;一場場高規格、大規模的盛會中,人工智能正在成為各界熱議的高頻詞。賦能千...【詳細內容】
2024-04-08    中國家電網  Tags:人工智能   點擊:(2)  評論:(0)  加入收藏
?人形機器人時代來了嗎
日前,由中國人形機器人(11.080, -0.05, -0.45%)百人會主辦的人形機器人大賽在北京經濟技術開發區開賽。工作人員向參觀者展示一款人形機器人。參觀者與一款陪護型人形機器人...【詳細內容】
2024-04-08    中國青年報  Tags:?人形機器人   點擊:(2)  評論:(0)  加入收藏
AI重塑社交:騰訊與字節跳動的新賽場
文|新火種 一號編輯|美美最近,騰訊和字節跳動這兩大互聯網巨頭幾乎同步推出了各自的AI社交產品,盡管騰訊和字節跳動在前段時間剛剛“破冰”,但這一舉措不僅意味著這兩大巨頭之...【詳細內容】
2024-04-07    藍鯨財經  Tags:AI   點擊:(6)  評論:(0)  加入收藏
第一批用 Kimi 做內容的網紅已經殺瘋了
作者:王東東 文章來自:斗戰圣佛小組技術信仰派 VS 市場信仰派 朱嘯虎和月之暗面老板楊植麟在前幾天有一場不算 battle 的 battle。battle 的爭論點是:大模型有沒有戲。技術派...【詳細內容】
2024-04-04    斗戰圣佛小組  Tags:Kimi   點擊:(4)  評論:(0)  加入收藏
昆侖萬維發布面向人工智能時代的六條人才宣言
過去的一年多,是人工智能取得非凡進步的一年。在這充滿突破性技術飛躍和備受爭議的一年里,我們見證了人工智能的快速發展和廣泛的影響,人工智能已經迅速地融入了我們的生活,深刻...【詳細內容】
2024-04-03    砍柴網  Tags:昆侖萬維   點擊:(7)  評論:(0)  加入收藏
AI干掉聲優?音頻大模型追逐“圖靈時刻”
七十年前,“人工智能之父”圖靈提出,如果人無法判斷屏幕的另一側究竟是人還是機器,就證明機器具備了人一樣的智能。這一經典的圖靈測試如同北斗星一般,指引著AI行業的工作者們不...【詳細內容】
2024-04-03    第一財經網  Tags:AI   點擊:(5)  評論:(0)  加入收藏
生成式人工智能有哪些新趨勢?
相較于去年,當下我們所能體驗的人工智能技術的范圍已經大幅提升。從搜索引擎、電商平臺再到社媒平臺,只要是以搜索結果為導向的內容,都會出現它的身影。但其實,人工智能的應用場...【詳細內容】
2024-04-03  品談教師幫    Tags:人工智能   點擊:(6)  評論:(0)  加入收藏
AI世界的新難題:互聯網的信息不夠用了!
高質量數據的緊缺正成為AI發展的重要障礙。4月1日,據媒體報道,隨著OpenAI、Google等企業不斷深入發展AI技術,科技巨頭們遇到了一個新問題:現有的互聯網信息量可能不足以支撐他們...【詳細內容】
2024-04-02  硬AI    Tags:AI   點擊:(6)  評論:(0)  加入收藏
今天起,ChatGPT無需注冊就能用了!
 來源:量子位    金磊 克雷西 發自 凹非寺  就在剛剛,OpenAI狠狠地open了一把:從今天起,ChatGPT打開即用,無需再注冊帳號和登錄了!  像這樣,直接登錄網站,然后就可以開啟對...【詳細內容】
2024-04-02    量子位   Tags:ChatGPT   點擊:(7)  評論:(0)  加入收藏
AI時代,面對死亡有了第二種選擇?
今年春節期間,羅佩璽瞞著媽媽用AI技術“復活”了外婆,她將媽媽現在的模樣和外婆留下的老照片合成在一起。時隔60多年,媽媽和外婆終于又“見面”了,這是她送給媽媽的生日禮物。收...【詳細內容】
2024-04-02    中國青年報  Tags:AI時代   點擊:(7)  評論:(0)  加入收藏
站內最新
站內熱門
相關頭條
  • · ?人形機器人時代來了嗎
  • · 今天起,ChatGPT無需注冊就能用了!
  • · 8款AI視頻生成產品實測,誰將成為中國Sora?
  • · Sora到底怎么樣?第一批試用者這樣說!
  • · AI社交來了,微信慌了嗎?
  • · 成立僅2年,做出能和人類對話的人形機器人,Figure AI什么來頭?
  • · 通俗易懂地解釋OpenAI Sora視頻生成的特點有哪些?它與此前的Runway Gen2、Pika有什么區別?以及缺點是什么?
  • · AI配音版Sora視頻刷屏!絕美逼真音效打破「無聲電影」,或顛覆萬億美元產業
  • · 爆火Sora背后的技術,一文綜述擴散模型的最新發展方向
  • · 揭秘Sora技術路線:核心成員來自伯克利,基礎論文曾被CVPR拒稿
  • · Sora為什么是AGI的又一個里程碑時刻?
  • · 人人都能看懂的Sora技術報告
  • · 谷歌聊天機器人Bard新增圖像生成能力:可生成圖片、ai畫作
  • · OpenAI新功能:ChatGPT可調用自定義機器人,對話更高效!
  • · 到底什么是大模型?
  • · 簡易百科之什么是大型語言模型?
  • · ChatGPT元年之后,AI重塑世界,人類如何與其“智慧共生”?
  • · 鵝廠最新AI工具刷屏!楊冪寡姐多風格寫真秒秒鐘生成,LeCun點贊 | 可免費體驗
  • · 周鴻祎分享大模型十大趨勢:2024將出現殺手級應用
  • · 2024年AI還能幫你干什么?這十個趨勢必須關注
  • 站內頭條
    日无码在线观看