一直以來(lái)，Smartbi回饋用戶的最好方式是提供更好的產(chǎn)品和更好的服務(wù)。V9作為Smartbi最新發(fā)布的版本，眾多實(shí)用功能就是從用戶的實(shí)際情況出發(fā)，急用戶之所急，想用戶之所想。從今天開(kāi)始，小麥會(huì)用系列文章和大家一起分享。本期介紹V9在【數(shù)據(jù)準(zhǔn)備】方面的一些新功能亮點(diǎn)。
分批次和多線程并發(fā)，提高數(shù)據(jù)抽取效率
之前的Smartbi版本，數(shù)據(jù)抽取存在以下兩種情況：
1、一次性將所有數(shù)據(jù)從數(shù)據(jù)庫(kù)寫入到緩存庫(kù)中，在數(shù)據(jù)量較大的情況下，會(huì)出現(xiàn)占用內(nèi)存太大的問(wèn)題。V9支持分批次將數(shù)據(jù)寫入到緩存庫(kù)中，既能保證查詢速度又避免占用太大內(nèi)存，達(dá)到最高效率;
2、當(dāng)抽取億級(jí)數(shù)據(jù)量時(shí)，如果為單線程抽取，容易出現(xiàn)抽取緩慢，抽取不成功甚至環(huán)境崩潰的情況。V9增加多線程并發(fā)抽取，在用戶抽取較大數(shù)據(jù)量時(shí)，可設(shè)置多線程并發(fā)抽取。以Smartbi從MPP抽取1億條數(shù)據(jù)為例，單線程抽取需要耗時(shí)2.5小時(shí)，設(shè)置10個(gè)線程進(jìn)行抽取時(shí)，僅需48分鐘，速度提升了3倍。
支持各種數(shù)據(jù)集的增量抽取，避免資源浪費(fèi)
之前的版本，只有自助數(shù)據(jù)集支持增量抽取。V9除了自助數(shù)據(jù)集，對(duì)可視化數(shù)據(jù)集、原生SQL數(shù)據(jù)集、SQL數(shù)據(jù)集、存儲(chǔ)過(guò)程數(shù)據(jù)集、Java數(shù)據(jù)集等也支持增量抽取。在“抽取設(shè)置界面”中的“增量抽取按時(shí)間戳”選項(xiàng)可進(jìn)行設(shè)置。
支持MPP集群抽取，適用性進(jìn)一步增強(qiáng)
當(dāng)高速緩存庫(kù)連接的驅(qū)動(dòng)程序類型是“SmartbiMPP”時(shí)，V9支持集群抽取。在“抽取設(shè)置”界面增加“高級(jí)設(shè)置”，對(duì)“分區(qū)字段”和“分區(qū)類型”進(jìn)行設(shè)置。其中，分區(qū)字段要求為日期類型。
支持自定義表名，查找更加直觀
之前的版本，數(shù)據(jù)集和即席查詢抽取保存在高速緩存庫(kù)的表，默認(rèn)以“數(shù)據(jù)集ID”作為表名稱，“數(shù)據(jù)集名稱”作為表別名，在數(shù)據(jù)庫(kù)查看表時(shí)，以數(shù)據(jù)集ID作為表名稱，不利于用戶直觀查找需要的表。V9支持?jǐn)?shù)據(jù)集和即席查詢抽取保存在高速緩存庫(kù)的表自定義表名。
時(shí)間管理增加維度，滿足各種統(tǒng)計(jì)周期
業(yè)務(wù)人員經(jīng)常需要做統(tǒng)計(jì)分析報(bào)表，如月匯報(bào)、周匯報(bào)等。為了滿足更多維度的統(tǒng)計(jì)分析，V9維度管理增加支持“半年”“旬”“周”。 其中，“半年”的顯示格式為：上半年、下半年;“旬”為：上、中、下;“周”為：Www(W不變，就是一個(gè)字母，ww標(biāo)識(shí)第幾周，如2019年第一周為：2019-W01。
提供標(biāo)準(zhǔn)函數(shù)檢驗(yàn)，減少數(shù)據(jù)抽取報(bào)錯(cuò)
之前的版本自助數(shù)據(jù)集計(jì)算字段支持的函數(shù)是根據(jù)其所屬數(shù)據(jù)庫(kù)類型決定的，這種方式會(huì)存在函數(shù)不兼容的問(wèn)題，導(dǎo)致在抽取時(shí)報(bào)SQL錯(cuò)誤。針對(duì)這一弊端，也結(jié)合產(chǎn)品的使用，V9基于SQL92為標(biāo)準(zhǔn)，封裝一套Smartbi自身的函數(shù)語(yǔ)法，用于適配Smartbi所支持的數(shù)據(jù)庫(kù)，校驗(yàn)輸入的函數(shù)是否在提供的函數(shù)列表中。如果函數(shù)不在函數(shù)列表中，則會(huì)提示該函數(shù)不是標(biāo)準(zhǔn)函數(shù)庫(kù)語(yǔ)法，在其他數(shù)據(jù)庫(kù)可能無(wú)法使用。
除了以上介紹的新功能點(diǎn)，Smartbi V9在【數(shù)據(jù)準(zhǔn)備】方面還有很多小優(yōu)化。如自助數(shù)據(jù)集的數(shù)據(jù)來(lái)源為“hana數(shù)據(jù)源”時(shí)，自助數(shù)據(jù)集支持其所帶參數(shù);增加“多維數(shù)據(jù)集”作為自助數(shù)據(jù)集的數(shù)據(jù)來(lái)源;數(shù)據(jù)集的抽取日志采取分頁(yè)加載等等，大家有興趣可以登錄V9體驗(yàn)中心進(jìn)行試用，親自感受V9的全新UI、全新功能。
V9體驗(yàn)中心：PC登錄官網(wǎng)->體驗(yàn)中心
概括如下：
1、 分批次讀數(shù)據(jù)和多線程并發(fā)抽取
2、 支持各種數(shù)據(jù)集的增量抽取
3、 支持MPP集群抽取
4、 抽取支持自定義表名
5、 時(shí)間維度管理增加“半年”“旬”“周”
6、 提供標(biāo)準(zhǔn)函數(shù)檢驗(yàn)
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
又是新的一年開(kāi)始?；厥滓荒昵暗拇藭r(shí)，在大家千呼萬(wàn)喚地期待中，數(shù)據(jù)基礎(chǔ)制度體系的綱領(lǐng)性文件正式發(fā)布。時(shí)隔一年之后，數(shù)據(jù)資源入表如約而至。2024年1月1日《企業(yè)數(shù)據(jù)資源相關(guān)會(huì)計(jì)處理暫行規(guī)定》正式施行，各行各業(yè)海量數(shù)據(jù)巨大的商業(yè)價(jià)值開(kāi)始被量化兌現(xiàn)，數(shù)據(jù)產(chǎn)業(yè)正式開(kāi)啟巨大變革。恰逢此時(shí)，作為數(shù)據(jù)資產(chǎn)實(shí)現(xiàn)的必
2020年全國(guó)兩會(huì)期間，合肥工業(yè)大學(xué)應(yīng)用數(shù)學(xué)研究所所長(zhǎng)檀結(jié)慶在媒體采訪中提到：“國(guó)產(chǎn)數(shù)據(jù)庫(kù)只占據(jù)不到7%的市場(chǎng)份額，尤其在數(shù)據(jù)庫(kù)最核心的交易業(yè)務(wù)中，鮮有能跟甲骨文同臺(tái)競(jìng)爭(zhēng)并實(shí)現(xiàn)替換的產(chǎn)品?！北藭r(shí)“去IOE”浪潮已經(jīng)興起十多年的時(shí)間，但囿于性能、穩(wěn)定性等客觀因素，銀行、能源、電信等傳統(tǒng)業(yè)務(wù)，對(duì)國(guó)產(chǎn)數(shù)據(jù)
第六屆進(jìn)博會(huì)期間，全球數(shù)據(jù)和分析驅(qū)動(dòng)的決策賦能機(jī)構(gòu)鄧白氏（Dun&Bradstreet）以“共創(chuàng)可持續(xù)發(fā)展的未來(lái)”為主題亮相服務(wù)貿(mào)易展區(qū)。作為連續(xù)四年參加進(jìn)博會(huì)的“老朋友”，鄧白氏于此次參展期間，在中國(guó)首發(fā)“供應(yīng)鏈ESG解決方案”，并展示一系列數(shù)字化解決方案，賦能中國(guó)企業(yè)構(gòu)建可持續(xù)發(fā)展的韌性供應(yīng)鏈。
近日,神策數(shù)據(jù)發(fā)布了全新的神策分析2.5版本,該版本以經(jīng)營(yíng)分析為主題,支持分析模型與外部數(shù)據(jù)的融合性接入,構(gòu)建全域數(shù)據(jù)融合模型,并提供統(tǒng)一、便捷的指標(biāo)及可視化能力,實(shí)現(xiàn)從用戶到經(jīng)營(yíng)的全鏈路、全場(chǎng)景分析。經(jīng)營(yíng)分析可以幫助企業(yè)更深入了解用戶的需求,構(gòu)建從用戶到經(jīng)營(yíng)的業(yè)務(wù)指標(biāo)體系,尤其針對(duì)需要加強(qiáng)數(shù)據(jù)融合
近日，高性能、分布式的物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)平臺(tái)TDengine在精心籌備后進(jìn)行了官網(wǎng)的全新改版升級(jí)（https://www.taosdata.com/）。新官網(wǎng)進(jìn)行了非常全面的改造，板塊劃分更加具象、功能分區(qū)也更加明確、整體視覺(jué)顯著提升，伴隨著這些改進(jìn)，使用者能夠更便捷、清晰地了解TDengine的產(chǎn)
把脈中國(guó)數(shù)據(jù)智能化
2023年，幾乎可以被定義為中國(guó)互聯(lián)網(wǎng)公司的“大模型元年”。ChatGPT的全球爆紅，徹底點(diǎn)燃國(guó)內(nèi)的大模型賽道，曾經(jīng)的“創(chuàng)業(yè)英雄”、如今的商業(yè)領(lǐng)袖們親自下場(chǎng)，接連發(fā)布生成式人工智能產(chǎn)品與大模型布局。大模型火了，沉寂許久的互聯(lián)網(wǎng)行業(yè)又有了新的“戰(zhàn)事”。同時(shí)，大模型的快速發(fā)展也改變了云市場(chǎng)的現(xiàn)狀，企業(yè)對(duì)
近日，數(shù)字化市場(chǎng)研究咨詢機(jī)構(gòu)愛(ài)分析發(fā)布了《2022愛(ài)分析·數(shù)據(jù)智能廠商全景報(bào)告》，愛(ài)分析從技術(shù)研發(fā)能力、服務(wù)客戶數(shù)量、收入規(guī)模等維度對(duì)廠商進(jìn)行了全面專業(yè)的評(píng)估
2022年11月18日,首個(gè)國(guó)家級(jí)大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新賽事——2022第一屆中國(guó)大數(shù)據(jù)大賽圓滿落幕。工業(yè)和信息化部信息技術(shù)發(fā)展司數(shù)字經(jīng)濟(jì)推進(jìn)處處長(zhǎng)張建倫,中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院副院長(zhǎng)孫文龍出席頒獎(jiǎng)典禮并致辭
2022年11月17日，在廈門市工業(yè)和信息化局的指導(dǎo)下，以“數(shù)據(jù)確權(quán)”為主題的2022數(shù)據(jù)資產(chǎn)(廈門)論壇在廈門成功舉辦。本次論壇以“數(shù)據(jù)確權(quán)”為主題，由廈門市互聯(lián)網(wǎng)域名應(yīng)用服務(wù)產(chǎn)業(yè)協(xié)會(huì)和構(gòu)信網(wǎng)(公信.中國(guó))聯(lián)合主辦
近日，國(guó)內(nèi)知名數(shù)字化市場(chǎng)研究咨詢機(jī)構(gòu)愛(ài)分析正式發(fā)布《2022愛(ài)分析·信創(chuàng)廠商全景報(bào)告》(以下簡(jiǎn)稱“報(bào)告”)。報(bào)告綜合考慮企業(yè)關(guān)注度、行業(yè)落地進(jìn)展等因素，遴選出在信創(chuàng)市場(chǎng)中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數(shù)博會(huì)執(zhí)委會(huì)主辦、數(shù)據(jù)觀(北京)傳媒科技有限公司承辦、貴陽(yáng)大數(shù)據(jù)交易所協(xié)辦的第四期數(shù)博思享會(huì)“實(shí)踐先行觀公共數(shù)據(jù)價(jià)值與應(yīng)用”活動(dòng)成功舉辦。
近日，由中國(guó)國(guó)際數(shù)字經(jīng)濟(jì)博覽會(huì)組委會(huì)主辦，中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國(guó)大數(shù)據(jù)大賽”(簡(jiǎn)稱大數(shù)據(jù)大賽)正式啟動(dòng)。
廣州光點(diǎn)信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺(tái)產(chǎn)品GI大數(shù)據(jù)中臺(tái)V2.0產(chǎn)品是國(guó)內(nèi)率先推出符合新創(chuàng)標(biāo)準(zhǔn)的中臺(tái)產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺(tái)。
廣州光點(diǎn)信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺(tái)產(chǎn)品GI大數(shù)據(jù)中臺(tái)V2.0產(chǎn)品是國(guó)內(nèi)率先推出符合新創(chuàng)標(biāo)準(zhǔn)的中臺(tái)產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺(tái)
