隨著業(yè)務的飛速發(fā)展,依托創(chuàng)新數據處理技術來為眾多企業(yè)提供云原生湖倉解決方案的數變科技 Databend,面臨著用戶日益增長的復雜數據處理需求。從 2023 年起便開始探索將大模型能力引入湖倉,對算力和 API 穩(wěn)定性提出了近乎苛刻的要求,基石智算CoresHub 提供 DeepSeek 穩(wěn)定的 API 調用服務,為 Databend 的能力創(chuàng)新筑牢了堅實基礎。
業(yè)務創(chuàng)新必然擁抱 DeepSeek
Databend 是一款基于 Rust 開發(fā),開源的新一代云原生數據湖倉,圍繞著大規(guī)模數據提供實時分析、復雜查詢以及數據湖倉的高效管理,處理的數據類型豐富多樣,涵蓋了結構化、半結構化和非結構化數據,數據量動輒以 PB 級別計算,需要對海量的實時數據進行快速處理,為企業(yè)提供即時的決策支持。
DeepSeek-V3 作為一個通用 NLP 模型,適用于廣泛的應用場景,能夠高效處理各種文本生成、摘要和對話任務,671B 滿血版本能提供更強大的功能和更準確的結果,真正為 Databend 業(yè)務創(chuàng)新提供有效支持。Databend 通過 SQL 調用模式,將自身的數據處理能力與 DeepSeek 強大的自然語言處理和數據理解能力相結合,幫助用戶高效處理數據,挖掘數據價值。
基石智算提供的 DeepSeek 服務目前已經在內部質量保證系統(tǒng)、AI 函數服務、非結構化數據處理等國內場景中,成功替代海外的 OpenAI 服務,在數據處理與分析、智能查詢與交互優(yōu)化、自動化與智能化工作流等方面受益,減少了人工分析的時間和工作量。
>內部質量保障系統(tǒng)
為確保企業(yè)用戶在升級過程中受到的影響最小化,Databend 基于 DeepSeek 的 SQL 模式生成了一套冒煙測試(Smoke Test)集合。測試數據生成引擎的核心技術依賴于 DeepSeek 的強大數據處理能力,能夠根據 SQL 模式生成更接近用戶真實業(yè)務場景的數據分布,尤其是容易觸發(fā)邊界問題的測試數據。該方式不僅提高了測試覆蓋率,還能更有效地發(fā)現(xiàn)潛在系統(tǒng)風險,為企業(yè)用戶提供更加可靠的質量保障。
>AI 函數服務
Databend 為用戶提供了一系列 AI 函數(AI Functions)服務實現(xiàn) ETL,用戶可以直接在 SQL 中調用函數,利用 AI 能力從數據中挖掘更大價值。此前,Databend 全球服務均基于 OpenAI 的 API 支撐。但由于其僅支持海外用戶場景,在 DeepSeek-V3 發(fā)布后,Databend 將國內場景替換為 DeepSeek,以更好滿足國內用戶需求。
>非結構化數據處理
Databend 的很多用戶在實際業(yè)務場景中,常常需要從非結構化數據中提取實體信息并轉化為結構化數據,挖掘其數據價值。Databend 利用 DeepSeek 的數據處理與分析能力,可以更高效地提取數據信息,并以 JSON 格式輸出。
基石智算CoresHub 提供的 DeepSeek- V3 671B 模型服務,不僅提供了兼容 OpenAI 接口規(guī)范的使用方式,而且支持 API 調用、一鍵云端部署和私有化部署方式。用戶僅需創(chuàng)建 API 密鑰,即可通過 AI 應用或第三方客戶端完成對特定模型的調用訪問。
API 穩(wěn)定是數據交互的生命線
目前,Databend 在游戲、社交、金融、廣告、電商等多個行業(yè)領域中的企業(yè)級生產環(huán)境得到應用,每天處理超過 1 億次查詢,管理超過 800PB 的分析數據,某些核心生產業(yè)務單表超過 PB 級。一旦 API 出現(xiàn)故障或不穩(wěn)定,就會影響 Databend 的對內對外服務。特別是在對外服務中,無法為用戶提供 AI 函數,將影響用戶的業(yè)務連續(xù)性。因此,保證 API 服務的穩(wěn)定可靠,對 Databend 尤為重要。
基石智算深刻理解 Databend 對于 API 穩(wěn)定的需求,底層采用分布式架構,能夠有效避免單點故障,并通過動態(tài)流量調整,保障 API 始終以最優(yōu)性能運行;監(jiān)控系統(tǒng)會對 API 關鍵性能指標進行實時跟蹤,一旦監(jiān)測到異常,專業(yè)運維團隊就會及時響應。更重要的是,根據用戶反饋和業(yè)務發(fā)展需求,基石智算也會持續(xù)改進 API 的功能和服務質量。
此次基石智算與 Databend 的密切合作創(chuàng)新,必將為雙方的深度協(xié)作與業(yè)務拓展奠定堅實基礎,共同引領數據處理行業(yè)邁向新的高度。