當前位置:學問君>實用文案>會議紀要>

數據採集設計會議紀要

學問君 人氣:6.04K

 主要思路

數據採集設計會議紀要

1. 數據的分析整理主要放在客戶端實現,以減少服務端的壓力;

2. 服務端主要以組裝和轉存實現爲主。

 服務端:

1. 處理步驟

(1)Socket監聽端口

(2)接收數據

(3)處理數據

2. 主要問題

(1)多線程

每個數據傳輸啓動一個線程,做好線程管理;

要考慮穩定性,避免內存泄露。

(2)大數據量數據庫更新

透過塊提交提高數據庫轉存性能,縮短轉存時間;

考慮如何避免庫鎖。

客戶端:

1. 設備數據傳輸

(1)設備數據檔案內容變化判斷

設備數據的分析處理很費時間,每次傳輸數據時都要對設備數據檔案進行分析壓力很大。考慮到設備數據變化的.概率很小,但有的廠家不管設備數據變沒變,都要生成新的設備數據檔案,所以要開發一個檔案變化快速比較功能;

方法有:一是特徵碼比較;二是轉換成ASCII比較;三是轉換成二進制或十六進制比較;四是轉換成MD5碼比較。

2. 實時數據傳輸

(1)字典表

客戶端取得字典表,進行數據分析。

(2)數據比較

透過數據庫臨時表,比較得出新增和修改的數據。

3. 數據傳輸過程中,數據丟失驗證

 下一步計劃

1. 數採開發週期一個半月;

2. 進行設計評審;

3. 數採客戶端DotNet實現,xxx負責;

4. 數採服務端Java實現,xxx負責。

TAGS:會議紀要