大數(shù)據(jù)浪潮推動(dòng)科技發(fā)展，從大數(shù)據(jù)1.0的BI/Datawarehouse時(shí)代，經(jīng)歷過(guò)大數(shù)據(jù)2.0的Web/APP時(shí)代，屬于IOT的大數(shù)據(jù)3.0時(shí)代已然來(lái)臨。近日，Analysys易觀發(fā)布IOTA整體技術(shù)架構(gòu)，為企業(yè)進(jìn)行數(shù)字用戶分析和營(yíng)銷貢獻(xiàn)了新工具。
早期大數(shù)據(jù)平臺(tái)利用Lambda數(shù)據(jù)架構(gòu)，將收集來(lái)的數(shù)據(jù)在流式計(jì)算平臺(tái)和批量數(shù)據(jù)處理離線平臺(tái)進(jìn)行計(jì)算，主要解決實(shí)時(shí)數(shù)據(jù)處理需求和批量離線處理需求。穩(wěn)定性高、成本可控且便于晚間閑時(shí)錯(cuò)峰計(jì)算的Lambda架構(gòu)支撐了起步時(shí)期的數(shù)據(jù)行業(yè)，但由于實(shí)時(shí)與批量計(jì)算結(jié)果不一致引起的數(shù)據(jù)口徑問(wèn)題、ETL批量計(jì)算在計(jì)算窗口內(nèi)無(wú)法完成、數(shù)據(jù)源變化后修改開(kāi)發(fā)周期長(zhǎng)、服務(wù)器存儲(chǔ)大等缺陷，后期的Lambda數(shù)據(jù)架構(gòu)越來(lái)越無(wú)法適應(yīng)飛速擴(kuò)增的數(shù)據(jù)處理需求。
Lambda典型架構(gòu)
在Lambda之后，Kappa架構(gòu)成為主流，核心思想是通過(guò)改進(jìn)流計(jì)算系統(tǒng)來(lái)解決數(shù)據(jù)全量處理的問(wèn)題，使得實(shí)時(shí)計(jì)算和批處理過(guò)程使用同一套代碼，并且只有在必要的時(shí)候才會(huì)對(duì)歷史數(shù)據(jù)進(jìn)行重復(fù)計(jì)算。雖然比起Lambda，Kappa結(jié)構(gòu)能夠?qū)?shí)時(shí)和離線代碼統(tǒng)一起來(lái)，既方便維護(hù)又解決了數(shù)據(jù)口徑不一致問(wèn)題，但其缺點(diǎn)也很明顯：流式處理對(duì)于歷史數(shù)據(jù)的高吞吐量力不從心，開(kāi)發(fā)周期長(zhǎng)，服務(wù)器成本浪費(fèi)嚴(yán)重。
而在IOT大潮下，智能手機(jī)、PC、智能硬件設(shè)備的計(jì)算能力越來(lái)越強(qiáng)，而業(yè)務(wù)需求要求數(shù)據(jù)實(shí)時(shí)響應(yīng)需求能力也越來(lái)越強(qiáng)，過(guò)去傳統(tǒng)的中心化、非實(shí)時(shí)化數(shù)據(jù)處理的思路已經(jīng)不適應(yīng)現(xiàn)在的大數(shù)據(jù)分析需求，Analysys易觀提出新一代的大數(shù)據(jù)IOTA架構(gòu)來(lái)解決上述問(wèn)題，整體思路是設(shè)定標(biāo)準(zhǔn)數(shù)據(jù)模型，通過(guò)邊緣計(jì)算技術(shù)把所有的計(jì)算過(guò)程分散在數(shù)據(jù)產(chǎn)生、“去ETL化”、計(jì)算和查詢過(guò)程當(dāng)中，以統(tǒng)一的數(shù)據(jù)模型貫穿始終，從而提高整體的預(yù)算效率，同時(shí)滿足即時(shí)計(jì)算的需要，可以使用各種Ad-hoc Query來(lái)查詢底層數(shù)據(jù)：
凝聚了Analysys易觀團(tuán)隊(duì)多年心血的IOTA架構(gòu)，解決了傳統(tǒng)技術(shù)中ETL和相關(guān)開(kāi)發(fā)的痛點(diǎn)，提高了整體數(shù)據(jù)分析效率;Ad-hoc即時(shí)查詢功能使用戶無(wú)需多等就能直接查詢到前幾秒發(fā)生的事件;邊緣計(jì)算技術(shù)解除了中央端集中處理的限制，將計(jì)算過(guò)程分散到數(shù)據(jù)產(chǎn)生、存儲(chǔ)和查詢端，同時(shí)確保客戶端傳送數(shù)據(jù)時(shí)能馬上進(jìn)行反饋。
為了驗(yàn)證IOTA架構(gòu)，Analysys易觀也自主設(shè)計(jì)并實(shí)現(xiàn)了“秒算”引擎，目前支持易觀內(nèi)部月活5.5億設(shè)備端同時(shí)進(jìn)行計(jì)算。此外基于“秒算”引擎，Analysys易觀研發(fā)出了可以獨(dú)立部署在企業(yè)客戶內(nèi)、進(jìn)行數(shù)字用戶分析和營(yíng)銷的“易觀方舟”精細(xì)化運(yùn)營(yíng)產(chǎn)品。
Analysys易觀認(rèn)為，在大數(shù)據(jù)3.0時(shí)代，Lambda大數(shù)據(jù)架構(gòu)已經(jīng)無(wú)法滿足企業(yè)用戶日常大數(shù)據(jù)分析和精益運(yùn)營(yíng)的需要，去ETL化的IOTA大數(shù)據(jù)架構(gòu)才是未來(lái)。Lambda大數(shù)據(jù)架構(gòu)為大數(shù)據(jù)分析行業(yè)提供了創(chuàng)新思維和技術(shù)基礎(chǔ)，Analysys易觀以此為基礎(chǔ)，將繼續(xù)致力于互聯(lián)網(wǎng)企業(yè)的用戶與產(chǎn)品運(yùn)營(yíng)。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
日前,北京佳格天地科技有限公司與農(nóng)業(yè)農(nóng)村部大數(shù)據(jù)發(fā)展中心簽訂聯(lián)合實(shí)驗(yàn)室協(xié)議。雙方將充分利用遙感、AI等技術(shù),以及人才隊(duì)伍、技術(shù)產(chǎn)品等優(yōu)質(zhì)資源,開(kāi)展農(nóng)業(yè)農(nóng)村領(lǐng)域相關(guān)基礎(chǔ)模型、作物農(nóng)情遙感監(jiān)測(cè)產(chǎn)品及農(nóng)業(yè)氣象服務(wù)等方面的合作研究。
日前,2022世界數(shù)字農(nóng)業(yè)大會(huì)舉行。大會(huì)以“種鑄強(qiáng)芯,數(shù)領(lǐng)未來(lái)”為主題,開(kāi)設(shè)多場(chǎng)數(shù)字農(nóng)業(yè)云端專題論壇,北京佳格天地科技有限公司受邀出席”農(nóng)業(yè)農(nóng)村大數(shù)據(jù)應(yīng)用論壇“,同與會(huì)嘉賓分享了農(nóng)業(yè)大數(shù)據(jù)的創(chuàng)新應(yīng)用。
毫無(wú)疑問(wèn)，隨著以Kubernetes為代表的云原生技術(shù)得到廣泛應(yīng)用和普及，云原生數(shù)據(jù)量和重要性不斷提高，使得企業(yè)對(duì)云原生數(shù)據(jù)庫(kù)服務(wù)的需求日漸增長(zhǎng)。
近期，由中國(guó)工業(yè)設(shè)計(jì)協(xié)會(huì)、中國(guó)技術(shù)交易所雙重指導(dǎo)，UXPA中國(guó)主辦的2022年第六屆GXA好體驗(yàn)獎(jiǎng)評(píng)選結(jié)果揭曉，元年科技憑借元年數(shù)據(jù)智能管理平臺(tái)榮獲“最佳企業(yè)賦能獎(jiǎng)”，該獎(jiǎng)項(xiàng)旨在挖掘當(dāng)代杰出用戶體驗(yàn)作品，表彰利用創(chuàng)新思維、堅(jiān)持以用戶體驗(yàn)為中心的企業(yè)，填補(bǔ)了國(guó)內(nèi)專業(yè)級(jí)別用戶體驗(yàn)社會(huì)化獎(jiǎng)項(xiàng)的空白。
8月19日,第二屆中國(guó)移動(dòng)“梧桐杯”大數(shù)據(jù)應(yīng)用創(chuàng)新大賽暨大數(shù)據(jù)創(chuàng)客馬拉松大賽浙江賽區(qū)數(shù)智鄉(xiāng)村賽道復(fù)賽在杭州圓滿落幕。中國(guó)移動(dòng)浙江公司副總經(jīng)理王頂在會(huì)上致辭,來(lái)自浙江省農(nóng)業(yè)農(nóng)村廳、文化和旅游廳、中國(guó)移動(dòng)互聯(lián)網(wǎng)公司相關(guān)負(fù)責(zé)人出席了會(huì)議。
把脈中國(guó)數(shù)據(jù)智能化
2023年，幾乎可以被定義為中國(guó)互聯(lián)網(wǎng)公司的“大模型元年”。ChatGPT的全球爆紅，徹底點(diǎn)燃國(guó)內(nèi)的大模型賽道，曾經(jīng)的“創(chuàng)業(yè)英雄”、如今的商業(yè)領(lǐng)袖們親自下場(chǎng)，接連發(fā)布生成式人工智能產(chǎn)品與大模型布局。大模型火了，沉寂許久的互聯(lián)網(wǎng)行業(yè)又有了新的“戰(zhàn)事”。同時(shí)，大模型的快速發(fā)展也改變了云市場(chǎng)的現(xiàn)狀，企業(yè)對(duì)
近日，數(shù)字化市場(chǎng)研究咨詢機(jī)構(gòu)愛(ài)分析發(fā)布了《2022愛(ài)分析·數(shù)據(jù)智能廠商全景報(bào)告》，愛(ài)分析從技術(shù)研發(fā)能力、服務(wù)客戶數(shù)量、收入規(guī)模等維度對(duì)廠商進(jìn)行了全面專業(yè)的評(píng)估
2022年11月18日,首個(gè)國(guó)家級(jí)大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新賽事——2022第一屆中國(guó)大數(shù)據(jù)大賽圓滿落幕。工業(yè)和信息化部信息技術(shù)發(fā)展司數(shù)字經(jīng)濟(jì)推進(jìn)處處長(zhǎng)張建倫,中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院副院長(zhǎng)孫文龍出席頒獎(jiǎng)典禮并致辭
2022年11月17日，在廈門市工業(yè)和信息化局的指導(dǎo)下，以“數(shù)據(jù)確權(quán)”為主題的2022數(shù)據(jù)資產(chǎn)(廈門)論壇在廈門成功舉辦。本次論壇以“數(shù)據(jù)確權(quán)”為主題，由廈門市互聯(lián)網(wǎng)域名應(yīng)用服務(wù)產(chǎn)業(yè)協(xié)會(huì)和構(gòu)信網(wǎng)(公信.中國(guó))聯(lián)合主辦
近日，國(guó)內(nèi)知名數(shù)字化市場(chǎng)研究咨詢機(jī)構(gòu)愛(ài)分析正式發(fā)布《2022愛(ài)分析·信創(chuàng)廠商全景報(bào)告》(以下簡(jiǎn)稱“報(bào)告”)。報(bào)告綜合考慮企業(yè)關(guān)注度、行業(yè)落地進(jìn)展等因素，遴選出在信創(chuàng)市場(chǎng)中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數(shù)博會(huì)執(zhí)委會(huì)主辦、數(shù)據(jù)觀(北京)傳媒科技有限公司承辦、貴陽(yáng)大數(shù)據(jù)交易所協(xié)辦的第四期數(shù)博思享會(huì)“實(shí)踐先行觀公共數(shù)據(jù)價(jià)值與應(yīng)用”活動(dòng)成功舉辦。
近日，由中國(guó)國(guó)際數(shù)字經(jīng)濟(jì)博覽會(huì)組委會(huì)主辦，中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國(guó)大數(shù)據(jù)大賽”(簡(jiǎn)稱大數(shù)據(jù)大賽)正式啟動(dòng)。
廣州光點(diǎn)信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺(tái)產(chǎn)品GI大數(shù)據(jù)中臺(tái)V2.0產(chǎn)品是國(guó)內(nèi)率先推出符合新創(chuàng)標(biāo)準(zhǔn)的中臺(tái)產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺(tái)。
廣州光點(diǎn)信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺(tái)產(chǎn)品GI大數(shù)據(jù)中臺(tái)V2.0產(chǎn)品是國(guó)內(nèi)率先推出符合新創(chuàng)標(biāo)準(zhǔn)的中臺(tái)產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺(tái)
