近日，清華大學(xué)AI研究院孵化企業(yè)RealAI(瑞萊智慧)正式推出首個(gè)針對(duì)AI在極端和對(duì)抗環(huán)境下的算法安全性檢測(cè)與加固的工具平臺(tái)——RealSafe人工智能安全平臺(tái)。該平臺(tái)內(nèi)置領(lǐng)先的AI對(duì)抗攻防算法，提供從安全測(cè)評(píng)到防御加固整體解決方案，目前可用于發(fā)現(xiàn)包括人臉比對(duì)等在內(nèi)的常用AI算法可能出錯(cuò)的極端情形，也能預(yù)防潛在的對(duì)抗攻擊。
業(yè)界首個(gè)針對(duì)AI在極端和對(duì)抗環(huán)境下的算法安全性檢測(cè)與加固的工具平臺(tái)
“對(duì)抗樣本”成新型病毒 ， 算法安全問題亟待解決
隨著人工智能技術(shù)的高速發(fā)展，人工智能在諸多場(chǎng)景正逐漸替代或協(xié)作著人類的各種勞動(dòng)，它們可以成為人類的眼睛、耳朵、手臂甚至大腦。
其中，機(jī)器視覺作為AI時(shí)代的基礎(chǔ)技術(shù)，其背后的AI算法一直是各科技巨頭和創(chuàng)業(yè)公司共同追逐的熱點(diǎn)。然而在機(jī)器視覺諸多主流應(yīng)用場(chǎng)景的背后，往往也藏著由技術(shù)性缺陷導(dǎo)致的算法安全風(fēng)險(xiǎn)。
例如，在一些訓(xùn)練數(shù)據(jù)無法覆蓋到的極端場(chǎng)景中，自動(dòng)駕駛汽車的識(shí)別系統(tǒng)可能出現(xiàn)匪夷所思的決策，危害乘車人的人身安全。從2016年至今，Tesla、Uber等企業(yè)的輔助駕駛和自動(dòng)駕駛系統(tǒng)就都曾出現(xiàn)過類似致人死亡的嚴(yán)重事故。并且這類極端情形也可能被惡意制造并利用，發(fā)動(dòng)“對(duì)抗樣本攻擊”，去年7月，百度等研究機(jī)構(gòu)就曾經(jīng)通過3D技術(shù)打印出能讓自動(dòng)駕駛“無視”的障礙物，讓車輛面臨撞擊風(fēng)險(xiǎn)。
而以上攻擊之所以能成功，主要是機(jī)器視覺和人類視覺有著很大的差異。因此可以通過在圖像、物體等輸入信息上添加微小的擾動(dòng)改變(即上述故意干擾的“對(duì)抗樣本”)，就能導(dǎo)致很大的算法誤差。此外，隨著AI的進(jìn)一步發(fā)展，AI算法模型將運(yùn)用金融決策、醫(yī)療診斷等關(guān)鍵核心場(chǎng)景，這類AI“漏洞”的威脅將愈發(fā)凸顯出來。
近年來，包括清華大學(xué)人工智能研究院院長張鈸院士、前微軟全球執(zhí)行副總裁沈向洋等均提倡要發(fā)展安全、可靠、可信的人工智能以及負(fù)責(zé)任的人工智能，其中AI的安全應(yīng)用均是重點(diǎn)方向。
而且，AI安全作為新興領(lǐng)域，在開源社區(qū)、工具包的加持下，對(duì)抗樣本等攻擊手段日益變得復(fù)雜，相關(guān)防御手段的普及和推廣卻難以跟上。并且對(duì)抗樣本等算法漏洞檢測(cè)存在較高的技術(shù)壁壘，目前市面上缺乏自動(dòng)化檢測(cè)工具，而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來妥善應(yīng)對(duì)日益增長的惡意攻擊。
從 安全 測(cè)評(píng)到防御 加固， RealSafe 讓AI更加安全可控
就如網(wǎng)絡(luò)安全時(shí)代，網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件，RealAI團(tuán)隊(duì)希望通過RealSafe平臺(tái)打造出人工智能時(shí)代的“殺毒軟件”，幫助企業(yè)高效應(yīng)對(duì)人工智能時(shí)代下算法漏洞孕育出的“新型病毒”。
目前，RealSafe平臺(tái)主要支持兩大功能模塊：模型安全測(cè)評(píng)、防御解決方案 。
其中，模型安全評(píng)測(cè)主要為用戶提供AI模型安全性評(píng)測(cè)服務(wù)。用戶只需接入所需測(cè)評(píng)模型的SDK或API接口，選擇平臺(tái)內(nèi)置或者自行上傳的數(shù)據(jù)集，平臺(tái)將基于多種算法生成對(duì)抗樣本模擬攻擊，并綜合在不同算法、迭代次數(shù)、擾動(dòng)量大小的攻擊下模型效果的變化，給出模型安全評(píng)分及詳細(xì)的測(cè)評(píng)報(bào)告(如下圖)。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。
防御解決方案則是為用戶提供模型安全性升級(jí)服務(wù)，目前RealSafe平臺(tái)支持五種去除對(duì)抗噪聲的通用防御方法，可實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的自動(dòng)去噪處理，破壞攻擊者惡意添加的對(duì)抗噪聲。根據(jù)上述的模型安全評(píng)測(cè)結(jié)果，用戶可自行選擇合適的防御方案，一鍵提升模型安全性。另外防御效果上，根據(jù)實(shí)測(cè)來看，部分第三方的人臉比對(duì)API通過使用RealSafe平臺(tái)的防御方案加固后，安全性可提高40%以上
隨著模型攻擊手段在不斷復(fù)雜擴(kuò)張的情況下，RealSafe平臺(tái)還持續(xù)提供廣泛且深入的AI防御手段，幫助用戶獲得實(shí)時(shí)且自動(dòng)化的漏洞檢測(cè)和修復(fù)能力。
準(zhǔn)確度99.99%也難逃被 “ 惡意 干擾” ，RealSafe高效 應(yīng)對(duì)算法威脅
考慮到公眾對(duì)于對(duì)抗樣本這一概念可能比較模糊，RealSafe平臺(tái)特意選取了公眾最為熟知的人臉比對(duì)場(chǎng)景(人臉比對(duì)被廣泛用于金融遠(yuǎn)程開戶、刷臉支付、酒店入住登記等場(chǎng)景的身份認(rèn)證環(huán)節(jié))提供在線體驗(yàn)。
并且，為了深入研究“對(duì)抗樣本”對(duì)人臉比對(duì)系統(tǒng)識(shí)別效果的影響，RealAI 團(tuán)隊(duì)基于此功能在國內(nèi)外主流 AI 平臺(tái)的演示服務(wù)中進(jìn)行了測(cè)試。
實(shí)測(cè)證明，“對(duì)抗樣本”可以極大的干擾人臉比對(duì)系統(tǒng)的識(shí)別結(jié)果，而測(cè)試的這幾家互聯(lián)網(wǎng)公司平臺(tái)開放的人臉比對(duì)API或SDK，幾乎覆蓋了目前市面上很多中小型企業(yè)在落地人臉識(shí)別應(yīng)用時(shí)的選擇，如果他們的人臉比對(duì)技術(shù)存在明顯的安全漏洞，意味著更廣泛的應(yīng)用場(chǎng)景將存在安全隱患。
因此，為了幫助更大范圍內(nèi)的企業(yè)高效應(yīng)對(duì)算法威脅，RealSafe平臺(tái)具備以下兩大優(yōu)勢(shì)：
· 組件化、零編碼的在線測(cè)評(píng)： 相較于ART、Foolbox等開源工具需要自行部署、編寫代碼，RealSafe平臺(tái)采用組件化、零編碼的功能設(shè)置，免去了重復(fù)造輪子的精力與時(shí)間消耗，用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評(píng)估，學(xué)習(xí)成本低，無需擁有專業(yè)算法能力也可以上手操作。
·可視化、可量化的評(píng)測(cè)結(jié)果： 為了幫助用戶提高對(duì)模型安全性的概念，RealSafe平臺(tái)采用可量化的形式對(duì)安全評(píng)測(cè)結(jié)果進(jìn)行展示，根據(jù)模型在對(duì)抗樣本攻擊下的表現(xiàn)進(jìn)行評(píng)分，評(píng)分越高則模型安全性越高。此外，RealSafe平臺(tái)提供安全性變化展示，經(jīng)過防御處理后的安全評(píng)分變化以及模型效果變化一目了然。
從數(shù)字世界到物理世界 RealAI 落地更多安全周邊產(chǎn)品
隨著機(jī)器學(xué)習(xí)模型不斷的升級(jí)演化，“對(duì)抗樣本”已經(jīng)演變成一種新型攻擊手段，并且逐漸從數(shù)字世界蔓延到物理世界：在路面上粘貼對(duì)抗樣本貼紙模仿合并條帶誤導(dǎo)自動(dòng)駕駛汽車拐進(jìn)逆行車道、胸前張貼一張對(duì)抗樣本貼紙?jiān)诒O(jiān)控設(shè)備下實(shí)現(xiàn)隱身……
因此，除了針對(duì)數(shù)字世界的算法模型推出安全評(píng)測(cè)平臺(tái)，RealAI團(tuán)隊(duì)也聯(lián)合清華大學(xué)AI研究院圍繞多年來積累的領(lǐng)先世界的研究成果落地了一系列AI攻防安全產(chǎn)品，為更多場(chǎng)景保駕護(hù)航。
比如通過佩戴帶有對(duì)抗樣本圖案的“眼鏡”，黑客可以輕易破解商用手機(jī)的面部解鎖，通過在胸前張貼特制花紋實(shí)現(xiàn)在AI監(jiān)控下的“隱身”，以及通過在車輛上涂裝特殊花紋躲避AI對(duì)車輛的檢測(cè)。發(fā)現(xiàn)類似新型漏洞的同時(shí)，RealAI也推出相應(yīng)的防御技術(shù)，支持對(duì)主流AI算法中的安全漏洞進(jìn)行檢測(cè)，并提供AI安全防火墻對(duì)攻擊AI模型的行為進(jìn)行有效攔截。
人工智能的大潮滾滾而來，隨之而來的安全風(fēng)險(xiǎn)也將越來越多樣化，尤其近年來因AI技術(shù)不成熟導(dǎo)致的侵害風(fēng)險(xiǎn)也頻頻發(fā)生，可以說，算法漏洞已逐漸成為繼網(wǎng)絡(luò)安全、數(shù)據(jù)安全后又一大安全難題。
所幸的是，以RealAI為代表的這些頂尖AI團(tuán)隊(duì)早已開始了AI安全領(lǐng)域的征程，并開始以標(biāo)準(zhǔn)化的產(chǎn)品助力行業(yè)降低應(yīng)對(duì)安全風(fēng)險(xiǎn)的門檻與成本。此次上線RealSafe人工智能安全平臺(tái)是RealAI的一小步嘗試，但對(duì)于整個(gè)行業(yè)而言，這將是人工智能產(chǎn)業(yè)邁向健康可控發(fā)展之路的一大步。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
2023年7月6日,第六屆世界人工智能大會(huì)(WAIC2023)在上海開幕,“人工智能大模型”是本屆大會(huì)的備受矚目的話題,據(jù)悉,在昇騰AI大模型的創(chuàng)新研發(fā)中,華為聯(lián)手26家行業(yè)領(lǐng)軍企業(yè),組建了一支協(xié)同創(chuàng)新的“AI明星隊(duì)”,云天勵(lì)飛作為中國人工智能企業(yè)的杰出代表,和互聯(lián)網(wǎng)大廠、運(yùn)營商、科研院所等優(yōu)秀團(tuán)隊(duì)
這幾個(gè)月來，以ChatGPT為代表的生成式AI展現(xiàn)出的能力令世界驚嘆。自從2016年AlphaGo戰(zhàn)勝李世石掀起了一波AI浪潮后，AI仿佛已經(jīng)沉寂了很久，ChatGPT的橫空出世就如同一束耀眼的光芒，讓AI這個(gè)名詞重回C位。過去在AI1.0時(shí)代，主要通過訓(xùn)練模型來實(shí)現(xiàn)圖像識(shí)別、聲音識(shí)別、語言處理等特
文：互聯(lián)網(wǎng)江湖作者：志剛2023年的IoT需要一個(gè)新故事。6月29日，涂鴉智能在開發(fā)者大會(huì)上，發(fā)布了企業(yè)級(jí)戰(zhàn)略PaaS2.0，希望通過一個(gè)平臺(tái)+四大開發(fā)服務(wù)，建立起IoT生態(tài)。對(duì)于這場(chǎng)發(fā)布會(huì)，市場(chǎng)的態(tài)度是積極的。美東時(shí)間6月29日收盤，涂鴉智能美股股價(jià)上漲5.6%，來到1.87美元/股。近日股價(jià)穩(wěn)定
美團(tuán)曾經(jīng)的二號(hào)人物王慧文對(duì)標(biāo)OpenAI的創(chuàng)業(yè)項(xiàng)目光年之外，以20億賣給美團(tuán)，再度引發(fā)市場(chǎng)對(duì)大模型的熱議。
2020年底，王慧文在朋友圈寫下這句話時(shí)，外界本以為這位伴隨中國互聯(lián)網(wǎng)發(fā)展而持續(xù)創(chuàng)業(yè)20年的人物即將告別創(chuàng)業(yè)舞臺(tái)。但是，一個(gè)曾經(jīng)多次創(chuàng)業(yè)，正值壯年的互聯(lián)網(wǎng)老將心中的創(chuàng)業(yè)熱情是難以熄滅的。
我覺得我們AI的目標(biāo)是：從芯片設(shè)計(jì)到軟件生態(tài)，全鏈路自主開發(fā)，建立可控的世界級(jí)AI體系。所以這是俺對(duì)未來5年中國AI圈的展望和判斷。(1)2026年，英偉達(dá)造車、國產(chǎn)開車26年國產(chǎn)芯片會(huì)在推理和垂直場(chǎng)景上發(fā)力。以DeepSeek為代表，大多數(shù)AI大模型會(huì)以軟件彌補(bǔ)硬件不足，所以訓(xùn)練和推理分開，訓(xùn)練就
文/道哥在深陷“后門”風(fēng)波、接受網(wǎng)信辦問詢之后，英偉達(dá)的“特供版”H20芯片，又有了新消息。近日，美國科技媒體《TheInformation》援引知情人士消息稱，英偉達(dá)已悄然向其關(guān)鍵供應(yīng)商——包括負(fù)責(zé)封裝的安靠科技、供應(yīng)高帶寬內(nèi)存的三星電子、以及承擔(dān)后端處理的富士康發(fā)出指令，要求暫停所有與H20AI
文/二風(fēng)來源/節(jié)點(diǎn)財(cái)經(jīng)一場(chǎng)關(guān)于“中國芯”的IPO審議，正把投資者們的目光鎖定在上交所。根據(jù)上交所發(fā)布的公告，上市審核委員會(huì)已定于9月26日審議摩爾線程的科創(chuàng)板首發(fā)申請(qǐng)。作為中國半導(dǎo)體自主化浪潮中最受矚目的“考生”之一，包括其創(chuàng)始人顯赫的英偉達(dá)背景、高達(dá)80億元人民幣的募資雄心，以及在國產(chǎn)GPU領(lǐng)域取
技術(shù)的進(jìn)步永無止境，繼創(chuàng)下TPC-C性能&性價(jià)比雙冠之后，阿里云PolarDB云原生數(shù)據(jù)庫再度實(shí)現(xiàn)關(guān)鍵突破。9月24日杭州云棲大會(huì)上，阿里云宣布推出全球首款基于CXL（ComputeExpressLink）2.0Switch技術(shù)的PolarDB數(shù)據(jù)庫專用服務(wù)器。在原有RDMA網(wǎng)絡(luò)的基礎(chǔ)上，Polar
2025年9月24日，在杭州舉辦的云棲大會(huì)上，阿里云正式發(fā)布全新一代服務(wù)器操作系統(tǒng)AlibabaCloudLinux4（簡稱Alinux4）。Alinux4基于Linux6.6內(nèi)核打造，是首個(gè)全面遵循龍蜥社區(qū)“開源生態(tài)合作倡議”規(guī)范的商業(yè)發(fā)行版。它不僅兼容主流開源社區(qū)生態(tài)，更針對(duì)阿里云最新9代ECS
9月24日，杭州云棲大會(huì)技術(shù)主論壇上，阿里云重磅發(fā)布AI安全護(hù)欄，提供五項(xiàng)核心安全能力，護(hù)航AI安全。一方面為客戶提供融入AIAgent開發(fā)全鏈路的原生安全防護(hù)，另一方面持續(xù)用AI賦能安全產(chǎn)品智能化升級(jí)，打造Agentic-SOC安全運(yùn)營，提升安全威脅檢測(cè)和響應(yīng)效率。在過去的一年，AIAgent正在
9月24日，魔搭社區(qū)舉辦了“全球協(xié)作?科學(xué)突破?創(chuàng)意無限”的專題論壇，并發(fā)布魔搭社區(qū)國際版、科學(xué)智能專區(qū)與AIGC創(chuàng)作引擎FlowBench，旨在連接全球開發(fā)者、加速科研范式創(chuàng)新、賦能創(chuàng)意表達(dá)。自2022年11月初成立至今，魔搭社區(qū)已成長為中國最大AI開源社區(qū)，其模型數(shù)量已突破10萬，服務(wù)了全球20
9月24日，2025云棲大會(huì)現(xiàn)場(chǎng)，阿里云CTO周靖人接連發(fā)布了七款大模型技術(shù)產(chǎn)品。七款技術(shù)產(chǎn)品覆蓋語言、語音、視覺、多模態(tài)、代碼等模型領(lǐng)域，在模型智能水平、Agent工具調(diào)用以及Coding能力、深度推理、多模態(tài)等方面均實(shí)現(xiàn)突破。在大語言模型中，阿里通義旗艦?zāi)Ｐ蚎wen3-Max全新亮相，性能超過G
9月24日，阿里云在云棲大會(huì)上宣布新一輪全球基礎(chǔ)設(shè)施擴(kuò)建計(jì)劃：將在巴西、法國和荷蘭首次設(shè)立云計(jì)算地域節(jié)點(diǎn)（region），并將擴(kuò)建墨西哥、日本、韓國、馬來西亞和迪拜的數(shù)據(jù)中心，以便更好服務(wù)全球客戶日益增長的AI和云計(jì)算需求。目前，阿里云在全球29個(gè)地區(qū)運(yùn)營91個(gè)可用區(qū)，是中國最大、亞太第一的云服務(wù)商
