時間：2023-03-22 17:34:16
導語：在數據統計論文的撰寫旅程中，學習并吸收他人佳作的精髓是一條寶貴的路徑，好期刊匯集了九篇優秀范文，愿這些內容能夠啟發您的創作靈感，引領您探索更多的創作可能。
【關鍵詞】網絡數據 系統
1 醫院學術論文管理情況現狀
隨著計算機的廣泛應用，絕大多數醫院管理論文的方法已經從手工登記轉變為使用計算機軟件管理，其中最為普及的是使用Excel軟件制作電子表格登記論文資料。這種方法可以較好地幫助工作人員解決查找和數據統計的問題。但是，數據的收集需要做大量的前期工作，由論文作者上報至科教科，再由科教科工作人員進行手工錄入制成Excel表格，需要生成報表和統計數據的時候也必須手動操作。
大量繁瑣枯燥的手工錄入工作制成的Excel的本地文件，卻并不能較好的實現數據共享。因此，隨著網絡的普及，部分醫院建立了基于Web的論文管理系統。依靠B/S架構的Web論文管理系統，可以很好的解決數據共享的問題。相比于使用Excel文件記錄論文數據，網絡論文管理系統的優點在于只要有可用的網絡，無論何時何地都可以通過手機或個人計算機進入系統，進行論文上報、登記、查詢操作，使論文管理工作不僅限于辦公室。并且依靠計算機技術也可以一定程度的簡化手工工作，以鼠標點選、自動生成等方式優化錄入、統計分析的過程。
2 基于網絡數據抓取的醫院論文管理系統
基于網絡數據抓取的醫院論文管理系統保留了普通網絡論文管理系統的優點，著力優化和完善最為繁瑣的數據錄入過程，從國內權威的論文數據庫中直接抓取需要的數據存入自己的數據庫。
據了解，國內絕大部分正規期刊上發表的文獻在見刊1-2個月后就會被知網、萬方、維普等專業的文獻數據庫收錄。普通用戶通過檢索，可以獲取到論文的題目、發表刊物、見刊時間、作者姓名、單位、關鍵詞、摘要等數據，足以滿足醫院論文管理系統的需求。只要實現并使用抓取功能獲得需要的數據，就能大大簡化手工錄入的工作，同時能有效的避免論文漏報、錯報。
2.1 系統的體系結構
目前基于網絡的系統體系結構主要是C/S（客戶端/服務器）架構與B/S（瀏覽器/服務器）架構。C/S架構將大部分的運算放在客戶端處理，要求進入系統的計算機安裝相應的客戶端程序，對計算機操作系統等條件有特定的要求，限制了用戶群，具有較高的安全性，但是靈活性不強，不便于后期維護和系統升級。B/S架構基于HTTP和TCP/IP協議，運用服務器完成大量的運算，將運算結果傳輸給瀏覽器顯示，用戶只需要使用瀏覽器就可以在個人計算機或智能手機上進行操作，不受局域網、軟件和運行平臺的限制，可以實現跨平臺的使用，并且后期維護成本低，更新方便。
為了系統后期的維護及功能完善，本系統采用B/S架構，也更能適應目前信息系統的發展趨勢。
2.2 系統的功能模塊
如圖1所示，本系統分為五個功能模塊，分別為：部門管理模塊、職工管理模塊、論文抓取模塊、論文錄入模塊、查詢統計模塊。
2.2.1 部門管理模塊
部門管理模塊的主要功能是通過添加、修改、刪除操作設置醫院部門信息，構建一個完整的部門樹形結構，以便在查詢統計時可以實現按照部門查詢統計，有助于分析和比較各科室部門的情況。
2.2.2 職工管理模塊
職工管理模塊同樣通過數據庫的操作建立職工的花名冊，并且將每個職工按照實際情況分配到科室和部門，如此便建立了論文、作者、部門的關系。
2.2.3 論文數據抓取模塊
論文數據抓取模塊使用網絡數據抓取的方法，通過請求URL、對返回數據進行分析、提取論文相關數據，將其存入論文信息表，并與醫院職工進行關聯。
2.2.4 論文數據錄入模塊
本模塊的主要功能是手工維護論文數據，以對論文數據的添加、修改、刪除操作，提供是一個查缺補漏渠道，對數據抓取過程中出現的不完善數據進行人工修改。
2.2.5 統計查詢模塊
模塊提供作者姓名查詢、關鍵詞查詢、期刊查詢、發表時間查詢、科室查詢等豐富的查詢方法。統計各科室數量、各種期刊上的數量、關鍵詞相關論文數量、任意時間段數量等以供比較分析。
2.3 網絡數據抓取模塊設計
數據抓取功能是本系統的特色和亮點，其設計原理類似于簡化的網絡爬蟲，抓取數據更具針對性，抓取范圍僅限于較權威的論文期刊數據庫。以下介紹設計思路。
2.3.1 抓取模塊涉及的數據庫設計
為了能在網絡上抓取數據，需要一個表存放URL信息，其中包括的主要字段有URL、URL的MD5編碼、訪問狀態、請求的頁面類型等。
另外需要一個存放論文信息的表存放抓取到的數據，包含題目、刊名、發表時間、作者、關鍵詞、摘要等字段。
2.3.2 抓取數據的主要步驟
首先程序從URL表中取出一條訪問狀態為未訪問的數據，請求此URL并接收返回數據，根據URL請求的頁面類型做提取論數據或者提取URL數據的操作。
對于返回的是論文頁面，需要提取論文詳細信息，然后到論文信息表中查找，判斷是否為已經抓取過的論文數據，若已抓取，則標記請求的URL為已訪問，然后進行下一個URL的請求。否則將論文數據整理并入庫，將作者與職工關聯，之后請求下一個URL。
若非論文詳情頁面，則需分離提取頁面中的URL，將提取到的URL逐個進行MD5編碼后到URL表中，將非重數據標記為未訪問然后入庫。
3 實現本系統的意義
基于網絡數據抓取的醫院論文管理系統可以有效地減少論文管理過程中的繁瑣工作，簡化管理流程，為管理人員減負。同時，得益于系統采用B/S架構，可以實現跨平臺、跨區域的管理。抓取來自論文數據庫的數據相對全面，以此數據做出的分析統計能夠更加有效的指導醫院科研的發展方向和重心。設計并實現本系統，有效地提高了科教管理工作效率。
1.1 色散
在光纖信號的傳輸過程中，不同成分的光源群在傳輸速度上存在一定的差異，這種差異會產生一定的時間延遲，從而形成色散。色散主要包括模式色散、色度色散以及偏振色散三種類型，其中色度色散又可以分為材料色散和波導色散兩種，色散問題在超長距離光纖通信中表現得尤為明顯。目前，傳統的方法是通過利用具有負色散系數性質的DCF進行色散補償，但是該方法存在十分顯著的非線性效應，會產生較大的損耗，而且這種損耗隨補償距離的增加而增大，在超長距離通信系統中采用該方案會產生極高的成本。針對傳統色散補償方法成本過高的問題，已經有廠家開發出了FBG色散補償模塊，該模塊能夠利用光柵對不同波長的發射特性實現對色散的補償，其損耗值與補償距離無關，有效彌補了傳統補償方法的缺點。
1.2 信噪比
在長距離通信系統中，光放大器在放大光信號的同時，會產生一定程度的自發輻射放大噪聲，由于線路的長度較長，因此會產生較大的損耗，信號衰減十分嚴重，在經過放大器放大之后，這種放大噪聲很可能與信號能量非常接近，導致接收端無法正常的分辨信號，影響系統的正常運行。針對這類問題，一般在前置放大器中加裝濾波器，這樣能夠過濾掉信號光周邊的部分噪聲信號，從而提高信噪比。
1.3 功率
在超長距離通信系統中，光纖信號在傳輸時，由于光波與傳播媒介之間的相互作用會導致光能發生一定程度的衰減，當能量衰減到一定程度之后，接收端無法從噪聲中正確的辨識出光信號，限制正常的光通信。針對這些問題，一般通過功率補償的方式來降低信號衰減所產生的損耗。目前在超長距離通信系統中采用的最主要手段是EDFA。EDFA分為功率放大器和前置放大器，其中功率放大器通常配置在傳輸系統的發射端后，以最大限度提升發射功率，前置放大器通常配置在接收端前，主要作用是提高接收靈敏度。當通信線路的長度達到一定距離后，僅僅采用功率放大器和前置放大器很難保證接收端正常的接收信號，此時需要在該方法的基礎上對光源進行附加調制或采用外接調制器進行附加調相，從而增大入射光的譜寬。目前，該方法在國家電網以及南方電網的超高壓輸電公司中得到了較好的應用。
二、超長距離通信技術在電力系統中的應用方案
我國的超長距離通信從2007年開始試驗，最初是由光迅科技與南方電網超高壓輸電公司進行合作所進行的長度為345km的2.5Gbit/s的超長距離無中繼通信工程，該段線路中配置了FEC、EDFA、RFA及光柵型DCM，系統保持了3個月的試運行，其整個運行過程的測試結果均十分良好。南方電網在“十一五”黔電送粵施秉——賢令山500kV輸電工程中，對上述技術進行了廣泛的使用，在該輸電工程中，采用超長距離通信技術的線路跨度長達318km。系統從2008年7月開始運行以來，一直保持十分穩定的工作狀態，此系統也是我國到目前為止唯一沒有設置中繼站而傳輸距離超過300km的實際工程。根據設計中的預算，相對于實際已建成的系統而言，采用中繼站將會增加約200萬元的成本。由此也可以看出，通過超長距無中繼通信技術在電力系統中的運用，能夠使電力通信系統的經濟性及運行可靠性大大提升，同時也使得通信系統的維護難度大幅度降低。此后，該技術在多項電力通信工程中得到廣泛應用。
三、結論
1.1異步轉換技術
這種技術是一種面向連接寬帶的交換技術,是傳統分組交換技術和電路交換技術的延伸和發展。該技術是使用定長分組把語音和圖像等信息分解成固定長度53b的信息,定長分組就是信元。作用機制是將信元作為單位進行復接、傳輸、交換,獲得了空信元就可以插入信息,且插入的位置可以是隨意的,然后進行信息傳輸。這種技術的優點是能進行無連接傳輸,有助于寬帶高速交換,簡化了網絡協議和功能等。主要業務有互聯局域網、虛擬局域網組建、支持無連接數據通信業務、支持幀中繼業務等。
1.2光交換技術
這是建立在光纖介質上的交換技術,可以分為波分光交換技術、時分光交換技術和空分光交換技術。波分光交換技術的基礎是波分復用技術,能開展超大容量的數據傳輸,采用的方法是波長變換和波長選擇。該技術分別有N條輸入和輸出管線,且每條光纖都是借助波分復用技術有n個波長的載波信號,并在每個復用器之間實現N路光纖的n個波長信號交換的。時分光交換技術的基礎上時分復用技術,原理是時隙互換。時分復用技術是將時間化成好多幀,將每個幀劃分成N個長度一樣的時隙,并將時隙分別分給N個信號,最后將N個信號復接到一條光纖上的傳輸技術。空分光交換技術的基礎是光開關技術,通過光開關技術把光信號的傳送通路進行變化,達到傳輸的目的。此外,光交換技術還有一種是對上述三個技術的組合,形成組合光交換技術。組合光交換技術主要是由光開關陣列和波分復用器組成的。
2強化交換技術在現代數據通信中作用的建議
在現代數據通信中,選擇并使用合適的交換技術是至關重要的,尤其是對提高數據通信質量有直接影響。要想充分發揮交換技術在現代數據通信中的作用,很重要的一個衡量指標是要確保數據通信的可靠性和有效性,即保障數據通信質量。為了強化換技術在現代數據通信中的作用,提高數據通信質量,必須做到以下幾點。
(1)制定科學合理的通信協議。即要盡量減少數據包的長度,可以使用長度字節來對數據包長度進行標志;已經制定好的通信協議要經過多次驗證,提高有效性;可以采用合理的幀進行同步標志。
(2)最大程度的降低波特率相對誤差。
(3)合理使用軟件抗干擾技術。軟件抗干擾技術是一種單片機系統的自身防御,系統中控制程序代碼必須要不被損壞是該技術的使用前提。
3結語
網絡通信有一定的風險性，對數據加密技術的需求比較大，結合網絡通信的實踐應用，通過例舉網絡通信中的風險表現，分析其對數據加密技術的需求。網絡通信的安全風險有：①網絡通信的過程中，面臨著攻擊者的監聽、竊取破壞，很容易丟失傳輸中的數據信息；②攻擊者隨意更改網絡通信中的信息，冒充管理者截取傳輸信息，導致網絡通信的數據丟失；③網絡通信中的數據信息被惡意復制，引起了系統癱瘓、信息不準確的問題。由此可見：網絡通信中，必須強化數據加密技術的應用，采取數據加密技術，保護網絡通信的整個過程，預防攻擊行為，提高網絡通信的安全水平，避免出現惡意攻擊的現象，保障網絡通信的安全性和積極性，表明數據加密技術的重要性，進而完善網絡通信的環境。
2數據加密技術在網絡通信中的應用
數據加密技術提升了網絡通信的安全性，規范了網絡通信的運營環境，規避了潛在的風險因素。網絡通信中的數據加密，主要分為方法和技術兩部分，對其做如下分析：
2.1網絡通信中的數據加密方法
2.1.1對稱加密
對稱加密方法在網絡通信中比較常用，利用相同的密鑰，完成通信數據加密到解密的過程，降低了數據加密的難度。對稱加密中，比較有代表性的方法是DES加密，屬于標準對稱加密的方法。例如：DES在網絡通信中的應用，使用了固定的加密框架，DES通過密鑰，迭代子密鑰，將56bit密鑰分解成16組48bit，迭代的過程中進行加密，而解密的過程與加密流程相似，使用的密鑰也完全相同，加密與解密密鑰的使用正好相反，根據網絡通信的數據類型，完成對稱加密。
2.1.2非對稱加密
非對稱加密方法的難度稍高，加密與解密的過程，采用了不同的密鑰，以公鑰、私鑰的方式，對網絡通信實行非對稱加密。公鑰和私鑰配對后，才能打開非對稱加密的網絡通信數據，其私鑰由網絡通信的管理者保管，不能公開使用。非對稱加密方法在網絡通信中的應用，解密時僅需要管理者主動輸入密鑰的數據即可，操作方法非常簡單，而且具有較高的安全水平，提高了加密解密的時間效率。
2.2網絡通信中的數據加密技術
2.2.1鏈路加密
網絡通信中的鏈路加密，實際是一種在線加密技術，按照網絡通信的鏈路分配，提供可行的加密方法。網絡通信的數據信息在傳輸前，已經進入了加密的狀態，鏈路節點先進行解密，在下一鏈路環境中，重新進入加密狀態，整個網絡通信鏈路傳輸的過程中，都是按照先解密在加密的方式進行，鏈路上的數據信息，均處于密文保護狀態，隱藏了數據信息的各項屬性，避免數據信息被攻擊竊取。
2.2.2節點加密
節點加密技術確保了網絡通信節點位置數據信息的安全性，通過節點處的數據信息，都不會是明文形式，均表現為密文，促使節點加密成為具有安全保護功能的模塊，安全的連接了網絡通信中的信息。加點加密技術在網絡通信中的應用，依賴于密碼裝置，用于完成節點信息的加密、解密，但是此類應用也存在一個明顯的缺陷，即：報頭、路由信息為明文方式，由此增加了節點加密的難度，很容易為攻擊者提供竊取條件，是節點加密技術應用中需要重點考慮的問題。
2.2.3端到端加密
網絡通信的端到端加密，是指出發點到接收點，整個過程不能出現明文狀態的數據信息。端到端加密的過程中，不會出現解密行為，數據信息進入到接收點后，接收人借助密鑰加密信息，提高網絡通信的安全性，即使網絡通信的節點發生安全破壞，也不會造成數據信息的攻擊丟失，起到優質的加密作用。端到端加密時，應該做好出發點、接收點位置的網絡通信加密，以便確保整個網絡通信過程的安全性。
3結束語
為避免MPU和HCU同時對雙口RAM的同一個內存單元進行訪問，本設計沒有采用雙口RAM的中斷或者信號量等機制，而是采用一種基于角色的環形緩沖收發機制，將雙口RAM劃分為兩個獨立環形緩沖區：發送環形緩沖區和接收環形緩沖區。發送環形緩沖區負責將MPU數據傳遞給HCU，最終發送給外部設備；HCU從外部設備接收到數據，放到接收環形緩沖區，并傳遞給MPU。
1．1數據處理
三取二安全計算機邏輯運算模塊的運行周期為600ms，該模塊按照周期進行數據接收、數據處理、數據輸出。在第n個周期，MPU上的控制邏輯運算模塊從雙口RAM接收到數據后，放到邏輯接收緩沖區；從邏輯接收緩沖區取出n－1個周期的數據并進行邏輯處理；將n－2個周期的邏輯處理結果，從邏輯發送緩沖區中取出，放到雙口RAM中。MPU上的控制邏輯運算模塊對安全數據進行邏輯處理的時間不超過300ms，如果超過，就會影響MPU接收或者發送數據。同樣，MPU上的控制邏輯運算模塊接收、發送數據超過300ms，也會影響邏輯處理功能。在接收發送處理階段，300ms中的280ms被分為20個發送接收子周期，每一個子周期的時間為14ms。在HCU中，也是按照同樣的運行節拍從雙口RAM中寫入或讀出數據。MPU與HCU之間交互的數據，按照預先定義的雙口RAM交換數據幀進行。數據幀定義略———編者注。
1．2數據接收
HCU通過網絡接口接收到數據后，對數據進行預處理，按照交換數據幀進行數據組包。根據當前周期號設置“cycle”，同時確定該數據包需要被放到D、E、F三個區塊中寫入區塊角色標志“role”，將“flag”設置為1（即為輸入），并交換數據幀的其他字段，按照源網絡數據包中的信息進行設置。HCU根據當前周期號確定在接收環形緩沖區中的寫入區塊后，將組包之后的交換數據幀放到寫入區塊中。MPU根據當前周期號確定在接收環形緩沖區中的讀出區塊后，從讀出區塊中獲取交換數據幀，然后對數據幀進行解包，并通過“cycle”、“role”、“flag”、“safety”、“crc”等信息來驗證數據幀的唯一性和正確性，正常的數據幀被放到邏輯接收緩沖區，異常的數據幀被丟棄。同時MPU根據當前周期號，確定在接收環形緩沖區中的測試區塊，利用內存檢測算法對測試區塊進行雙口RAM內存區塊檢測。
1．3數據發送
在當前周期的600ms內，MPU進行邏輯運算處理在300ms內完成后，MPU從邏輯發送緩沖區中讀取上個周期的邏輯處理結果數據，并對結果數據進行預處理，按照交換數據幀進行數據組包。根據當前周期號設置“cycle”，同時確定該數據包需要被放到A、B、C三個區塊中寫入區塊角色標志“role”，將“flag”設置為1（即為輸入），并交換數據幀的其他字段，按照源網絡數據包中的信息進行設置。MPU根據當前周期號，確定在發送環形緩沖區中的寫入區塊后，將組包之后的交換數據幀放到寫入區塊中。HCU根據當前周期號，確定在接收環形緩沖區中的讀出區塊后，從讀出區塊中獲取交換數據幀，然后對數據幀進行解包，并通過“cycle”、“role”、“flag”、“safety”、“crc”等信息來驗證數據幀的唯一性和正確性，驗證數據幀的正確性。異常的數據幀被丟棄，正常的數據幀按照網絡數據幀進行組包，并通過網絡發送給軌旁設備或者車載控制器。同時HCU根據當前周期號，確定在發送環形緩沖區中的測試區塊，利用內存檢測算法對測試區塊進行雙口RAM內存區塊檢測。
1．4區塊角色輪換
雙口RAM的發送與接收環形緩沖區的3個區塊，在任意一個周期都只能處于讀出、寫入、測試3種中的某一種角色，而且這3個角色進行周期輪換，區塊角色輪換表略———編者注。MPU與HCU通過雙口RAM區塊角色進行數據交互的步驟略———編者注。MPU與HCU通過相同的外部時鐘中斷來驅動數據處理軟件模塊的運行，MPU與HCU在對雙口RAM進行訪問時可以做到同步、流水線作業。在同一個處理周期內，發送環形緩沖區或者接收環形緩沖區中任何一個區塊都有明確固定的角色，MPU板和HCU板不會同時訪問操作相同區塊，只有一個板卡對特定區塊進行訪問，從而解決了雙口RAM的訪問沖突問題，不需要另外采取硬件仲裁、軟件仲裁或者信號量交互等手段。
1．5雙口RAM檢測
應用在三取二安全計算機中雙口RAM可能存在一些功能性缺陷。無論門級電子元件的制造缺陷，還是板卡電路級的設計錯誤，都可能導致雙口RAM的存儲功能性故障，從而降低其功能完整性和可靠性。雙口RAM存儲單元具有多種類型的故障略———編者注。實際項目應用中，開發人員需要關注雙口RAM存儲功能的完整性和可靠性，可以通過存儲器檢測算法來對其進行檢測和診斷，能夠及時地發現和定位雙口RAM的存儲功能故障，并及時采取相應的措施，避免因雙口RAM存儲單元的數據錯誤導致的嚴重后果。本文采用硬件BIST架構（HBIST），在硬件電路中設計專門的硬件邏輯部件來對內存進行測試，其圖形測試向量有專門的硬件電路模塊生成，自動對內存的各種功能故障進行測試，硬件架構內建測試的內存故障測試覆蓋率高，而且測試速度快，設計選取的圖形測試向量主要用于覆蓋高層次的內存故障，如NPSF、CF、DRF。HBIST利用March－TB內存測試算法對系統的內存進行測試，使用硬件HBIST電路來生成圖形測試向量，并由硬件HBIST電路來進行測試，HBIST測試電路模型略———編者注。在硬件BIST處于非工作狀態時，會拉低BIST的時鐘信號，BIST電路進入休眠狀態。當系統在夜間進入非繁忙狀態，會產生BIST＿MODE信號，來激活BIST電路的BIST模式控制器，并拉高時鐘信號，BIST模式控制器發出控制信號，會接管對整個RAM的訪問控制，并對RAM開始進行測試。BIST模式控制器控制測試向量產生器、地址與數據生成邏輯工作，產生相應的測試向量對RAM進行測試。同時，并將測試結果在BIST結果比較器中進行比較，如果發現異常，退出BIST＿MODE模式，通知MPU測試異常，MPU產生相應的告警和錯誤處理。HBIST在進行內存檢測時一共具有4種狀態：idle、test、error、wait。idle表示處于等待測試數據進行測試的空閑狀態；test表示獲得測試向量對相應內存單元進行測試；error表示檢測到內存單元出錯；wait表示處于休眠狀態，等待CPU模塊激活HBIST。HBIST狀態機的狀態轉移圖略———編者注。HBIST狀態機的VHDL程序略———編者注。在測試的過程中，通過植入內存故障，并用邏輯分析儀獲取出錯信號，硬件BIST模塊檢測內存出錯圖如圖3所示。圓圈里面的測試結果與期望結果不一致，內存檢測出錯。
1．6數據交互軟硬件設計
雙口RAM是雙端口SRAM芯片，本設計采用CY7C028V－15AXI，讀寫速度最高為15ns，數據容量為64K×16位。雙口RAM連接HCU板的一端為MPC8247的LO－CALBUS總線，連接MPU板的一端為CPCI總線橋接芯片的LOCALBUS總線，HCU可以直接通過LOCALBUS總線訪問雙口RAM，而MPU板通過PCI總線訪問，其中還有控制信號，如片選、讀寫、中斷、BUSY信號等。雙口RAM交互電路圖略———編者注。在MPU和HCU中，通過設計的軟件模塊，來完成雙口RAM的訪問操作。雙口RAM的MPU上軟件交互關鍵代碼略———編者注。
2結語
現代經濟正步入以世界統一市場為標志的世界經濟一體化軌道，企業的成敗，取決于信息獲取、識別、處理、轉換、傳遞的準確性、效率與速度。因此，信息在企業經營管理中的重要作用也將愈來愈顯著。隨著我國改革開放，確立市場經濟體制，和加入WTO，企業要能在國際國內激烈的市場競爭中求得生存與此同時發展，一個重要的條件就是——必須要有一個健全的高效的信息系統，以滿足企業經營管理決策所需的各種內外信息。因此，作為提供信息的企業統計必將在其中扮演重要角色，發揮重要作用。特別是對我們**系統來說，隨著“大企業、大市場、大品牌”的形成，以行政區劃為單一的卷煙市場割據將很快被打破，搬掉門檻推倒墻是大勢所趨。再下一步就有可能是**專賣法的取消，所有這些都告訴我們，**行業也將馬上面臨著國際國內激烈的市場競爭。想在這種激烈的競爭中生存發展，必須要有一支能夠為企業的決策和管理者提供準確數據的素質過硬的統計隊伍。
近年來，我國統計工作取得了比較顯著的成績。從總體上來看，我國現有的統計數據，基本上還是能夠反映客觀實際的。但是，隨著社會主義市場經濟的不斷發展，經濟結構復雜化，利益主體多元化，再加上體制轉化過程中經濟秩序混亂，人為干擾增多，因而搞準統計數據的難度也就日益增大，統計失實的潛在危險性也就日漸嚴重，并將逐步暴露。對此，我們必須要有清醒的認識，要始終不渝地把提高統計數據質量問題，擺到統計工作的首要位置，并采取綜合治理措施，切實抓緊抓好。下面就統計數據質量問題談談自己一些粗淺的看法。
一、統計數據質量控制的意義
企業統計的目的是為企業經營決策管理提供統計信息。在市場經濟條件下，企業經營決策極具風險性，風險產生于不確定性并由不確定性程度決定風險的大小，而不確定性又與信息的準確和及時程度直接相關，信息愈準確及時，不確定性愈低，反之，亦然。所以，準確性和及時性是對統計資料的兩項基本要求。其中，準確性的要求是第一位的，是統計工作的生命。它確定著統計資料是否有效和價值的高低，是衡量統計數據質量的根本標志。準確可靠的統計數據，便于決策和管理者正確地把握形勢，客觀地剖析問題，從而作出科學的決策。反之，有水分的、失實的統計數據，相互矛盾的統計數據，給決策者以錯誤的信號，將會誤導決策和調控，對企業的發展將會造成重大損失。因此，統計工作者必須以對本職工作高度負責的精神，以統計數據為對象，以消除統計數據的差錯為目標，千方百計搞準統計數據，達到強化統計數據質量控制的目的。
二、常見的統計數據質量問題及分析
（一）數據虛假
這是最常見的統計數據質量問題，也是危害最為嚴重的數據質量問題。這類統計數據完全是虛構的杜撰的，毫無事實根據。造成統計數據虛假的因素多種多樣，比如，有意虛報，瞞報統計數據資料，指標制定不嚴密，統計制度不完善，不配套等。
（二）拼湊的數據
這種數據是把不同地點，不同條件，不同性質的數據在收集、加工、傳遞過程中，人為地拼湊成同一時間、地點、條件和性質下的同一數據。這種東拼西湊的數據，雖然分別有事實根據，但是從整體上看數據是不符合事實的，其性質與數據虛構相同。
（三）指標數值背離指標原意
這是由于對指標的理解不準確，或者是因為指標含義模糊，指標計算的隨意性大等原因造成的數據質量問題，表現為收集整理的統計數據不是所要求的統計內容，數據與指標原意出現走樣，面目全非。
（四）數據的邏輯性錯誤
這是指統計資料的排列不合邏輯，各個數據、項目之間相互矛盾。例如，企業卷煙庫存商品中主要的組成部分是省產煙、省外煙、國外煙，如果企業報送的統計資料中，卷煙庫存商品總金額顯著下降，而省產煙庫存金額大幅度上升，省外煙和國外煙庫存金額只是持平或只有小幅度的下降，這就存在矛盾，表明數據有邏輯性錯誤。
（五）數據的非同一性
它是指同一個指標在不同時期的統計范圍、口徑、內容、方法、單位和價格上有差別而造成的數據的不可比性。例如，2003年的統計資料中不含稅價在30元以上的卷煙為一類卷煙，而在2004年的統計資料中，不含稅價50元以上的卷煙為一類卷煙，如果在此基礎上來比較兩年的一類卷煙的銷售量，而得出一類卷煙銷售量大幅度下降的結論顯然是不合理的。
（六）數據不完整
這里指調查單位出現遺漏，所列項目的資料沒有搜集齊全，不符合統計資料完整性的要求。數據不完整，就不可能反映研究對象的全貌和正確認識現象總體特征，最終也就難以對現象變化的規律性做出明確的判斷，甚至會得出錯誤的結論。
（七）統計手段和統計分析落后
目前許多企業統計工作仍處于手工狀態，很原始！即使采用計算機也僅僅是減少工作量去做一些匯總、指標計算，并沒真正引用先進的計算機技術和網絡技術。所做的統計分析也局限于事后分析，即對統計數據進行單純的講解說明；不能利用網絡技術實行信息共享等方式進行事前分析和預測。換句話說，“統計預測”這一職能根本沒有發揮作用，缺乏對信息的收集、綜合和系統化。
此外，常見的統計數據問題還有計算錯誤、筆誤等。
可見，統計數據質量問題既可能是來自于設計階段，也可能是來自于統計資料的整理階段。
三、統計數據質量控制方法
（一）、統計數據質量控制的原則應當是全過程的、全員參加的、以預防為主的數據質量控制。
首先，統計數據質量控制要貫穿于統計工作的全過程。每進行一步，都要對已完成的工作進行檢查、對已發生的差錯及時進行糾正，做到層層把關，防止差錯流入下一個工作環節，以保證統計數據的質量。其次，參加統計數據質量管理和控制的人員應當是全面的。全體統計工作者都要樹立數據質量意識，各個主要的工作環節都要落實專人負責。統計數據質量的好壞，是許多工作和許多統計工作環節質量的綜合反映，牽涉到統計工作的所有部門和人員，因此，提高數據質量需要依靠所有統計工作者的共同努力，決不是單純靠某一個部門或少數人所能搞得好、抓得了的。只有人人關心數據質量，大家都對數據質量高度負責，產生優質的統計數據才有堅實的群眾基礎。因而，統計數據質量控制要求把差錯消滅在它的形成過程中，做到防檢結合，以防為主。這就要求有關人員在質量控制中具有超前意識，拋棄那種出現了統計數據問題才想辦法解決問題的被動的局面。
實行全員性的質量控制，就要把統計數據質量目標及其關鍵交給廣大統計工作者，落實到每個工作崗位，使每個崗位都有明確的工作質量標準，做到合理分工、職責明確，職責越明確，數據質量控制就越有保證。
（二）、統計設計階段的質量控制
統計設計是統計工作的首要環節，統計數據質量的好壞，首先決定于這個過程，它是提高統計數據質量的前提。如果設計過程的工作質量不好，就會給統計數據質量留下許多后遺癥。設計過程的質量控制需要抓好以下幾項工作：
1、正確規定統計數據質量標準。數據質量標準是指根據不同的統計目的對統計數據精度所提出的要求。滿足統計目的精度的統計數據就是準確的，高質量的統計數據。首先要作充分的調查，系統地收集市場和用戶對統計數據的反映和實際使用效果的情況；其次要分析研究過去統計數據的主要質量問題，找準統計數據質量控制的主攻方向；最后要進行反復論證，考慮到統計工作中實際能夠達到的水平。
2、合理設計統計指標體系及其計算方法。
統計指標設計得是否合理，也是影響統計數據質量的因素之一。采用統計報表搜集資料，首先要實行標準化管理，制定的指標要符合統計制度的規定，范圍要全，分組要準，指標涵義的解釋和計算方法要精確；其次要對統計報表的設計、頒發、填制、匯總的全過程實行全面質量管理。
（三）、資料整理鑒別階段的質量控制
統計資料整理鑒別階段出現的差錯是統計數據質量問題的重要方面。如果資料不準確，就會影響結論的正確。因此，要特別注意審查資料的可靠性和適用性，要弄清楚統計指標的口徑范圍、計算方法和時期時點。對于口徑不一致或不完整的資料，需要進行調整、補充；對于相互比較的資料，必須要注意有無可比性；一旦發現數據有嚴重的質量問題，應進行核實，避免有質量問題的資料進入匯總處理階段。總之，對搜集到的資料，經過鑒別推敲、核實審定、使之準確無誤，才能使統計數據的質量得到保證。
（四）、人為錯誤的質量控制
1、盡可能采用計算機處理統計資料，同時提高統計分析水平。
計算機作為當今社會不可缺少的高科技產物已滲透到我們生活、工作中的各個環節。運用計算機整理、匯總統計資料，速度快、效果好，其優越性是手工整理無可比擬的。現在國內大部分著名企業基本上實行網絡化、全球化，利用網絡資源了解世界先進行業信息，采用科學先進的統計分析方法和手段，進行橫向、縱向對比，找差距挖潛力，努力趕超世界先進企業。要能夠寫出有一定深度的統計分析預測報告，系統、全面、科學地去挖掘利用網絡資源和從市場取得的第一手資料，完善整個分析、預測手段方法和過程。但是，也應重視計算機處理數據的質量問題，提高計算機數據處理的關鍵在于提高錄入數據的可靠性。
2、統計工作者本身應提高自身素質。
統計人員沒有深厚的專業知識和豐富的實際工作經驗，沒有跟上時代及時進行知識更新，不善于統計調查獲取第一手資料，寫不出有一定深度關于本企業某一方面對決策層有參考價值的統計分析報告。因此，對統計人員應該加強培訓工作，企業內部應建立配套的培訓機制，對每一層次統計崗位實施針對性的培訓，必要時到企業外請有關專家學者授課，或到相關先進單位進行考察學習，做到取長補短。統計工作者本身也應該努力學習統計知識，鉆研業務，不斷提高統計業務素質和水平，杜絕因業務不熟悉而造成的數據質量問題。
3、加強對統計人員的職業道德培訓。
目前，上級部門下達計劃和各類政績考核對統計數據干擾不可低估。有些地方，以是否完成計劃和各類數據的高低作為考核地方政績的依據，導致很多下級部門所報的統計數據高于計劃數或持平，這并不是計劃部門的計劃多么精確合理，而是說明某些統計對象或統計部門受某種利益的驅動而使統計數據的質量得不到保障。當然，數據不真實、不準確的原因是多方面的，其中統計人員的思想道德對統計數據的影響是很大的。這就要求我們加強對統計人員的思想品德和職業道德教育，要求每一個統計工作者必須堅持實事求是的工作作風，認真對待每一個統計數據，如實地反映情況。
4、加大統計執法力度，保證源頭數據的準確性。
關鍵詞：dbms復制聯邦數據庫
1.引言
隨著經濟的發展，企業的規模越來越大，其積累的信息也越來越多。存在著各部門所處理的信息多數只對本部門有效，僅有少數信息需給其它某些部門共享的問題。這種信息的分布性和獨立性要求對所處理的數據進行分類，使各部門既能獨立地處理本部門大多數數據，也使部門間能協調處理跨部門的事務。在這種情況下，對整個企業建立一個完全的緊密耦合的分布式數據庫是很困難的，也是沒必要的，特別是大型企業，這樣的數據庫的效率往往是很低的。
為解決這個問題，我們采用以下策略：每個部門使用一套緊密耦合的數據庫系統，而在存在跨部門事務處理的數據庫系統間用一個協調器聯起來。這樣就組成了一個橫跨整個企業，各部門高度自治的聯邦數據庫系統。
dm2是由華中理工大學數據庫多媒體技術研究所研制的數據庫管理系統。它采用客戶/服務器模型，客戶機與服務器，服務器與服務器均通過網絡互連，通過消息相互通訊，組成一個緊密耦合的分布式數據庫系統。它的工作流程如下：客戶機登錄到一臺服務器上，這臺服務器便成為它的服務器；它接收來自客戶機的消息，然后根據全局數據字典決定是自己獨立完成該操作，還是與其它服務器協作處理這條消息，處理完成之后，再由服務器將處理結果返回給客戶機。
而數據字典，作為記錄數據庫所有元數據的系統表，它向以上過程中提供各類有用的信息，引導它們向正確的方向運行，起著“指南針”的作用。它分為局部數據字典和全局數據字典。其中，局部數據字典用于記錄一個服務器站點中數據庫的控制信息，如表的模式，視圖的模式及各個數據區的的文件名等信息。全局數據字典用于記錄分布式數據庫系統中各個服務器站點上有關全局數據的控制信息，如服務器站點信息，各服務器站點的全局表名及表內碼記錄，各服務器站點上的全局數據視圖名及視圖內碼記錄，用戶名及口令記錄，用戶權限記錄等信息。各個局部數據字典可以各不相同，但為了保證在各個服務器上所看到的全局數據庫是一致的，因此，全局數據字典必須一致。我們所關心的是全局數據字典中的基表控制塊tv_ctrl_block，它的內容主要包括：全局基表總數，每個全局基表名和其對應的表內碼，該基表所在的服務器站點的編號等信息。它的功能是將各個服務器站點號與存儲在其上的表名及表內碼聯系起來。這樣，服務器從客戶消息中找到被處理的表名，然后通過查詢基表控制塊tv_ctrl_block,就能知道該表存在哪個服務器上，以便將相關消息發給該服務器。
由于dm2上各個服務器站點的全局字典完全相同，任何全局表的信息都會記入全局字典。若用它來構建一個企業的數據庫系統，則大量只對企業某部門有用的信息將會充斥在各部門所有服務器的全局字典中，增加了冗余。而且，當對全局表進行ddl操作時，為了確保全局字典的一致性，須對所有服務器的全局字典進行加鎖。dm2對全局字典的封鎖方式是采用令牌環方式，即令牌繞虛環（非實環）傳輸，某個服務器想對全局字典進行操作，必須等令牌到達該服務器才可以執行。每個部門建立的全局表絕大多數只對本部門有用，當對這些表進行ddl操作時，卻要對所有服務器的全局字典進行封鎖，通過令牌來實現對全局字典的互斥訪問。假如，兩個部門都要分別對本部門的內部表進行ddl操作，這應該是可以并行處理的操作，現在卻只能串行執行。而且，當服務器數目龐大時，每個服務器等待令牌的時間將會很長。這嚴重損害了數據庫的效率。
為彌補以上不足，在dm2的改進版本dm3中增加了協調器，用以聯接各個獨立的dm3數據庫子系統，并協調各子系統間的各種關系，使各子系統既能高度自治地工作，又能進行有效的信息共享。
2.體系結構
本系統可看作多個數據庫子系統被協調器聯起來的，高度自治的一個聯邦數據庫系統。其中，每個子系統獨立處理本系統內部的事務，而子系統間的信息共享由復制技術提供，副本間的一致性由協調器協調處理，處理所需的信息在初始化時寫入協調器的組間數據字典中。當對某子系統中的一份數據副本進行修改時，該子系統會將修改通知協調器，由協調器對該數據的其它副本進行修改，從而保證了所有副本的一致性。
由以上可知，子系統彼此并不直接接觸，而是各自都與協調器直接相聯，由協調器統一管理子系統間的通信。這樣，當子系統對副本進行修改時，不必關心相應的子系統處于何種狀態，也不必等待回應消息，以及異常處理，所有這些都由協調器進行管理。因此，既提高了系統運行的效率，也保證了子系統的獨立性。其體系結構如下圖所示。
協調器主要有三大功能，首先，它對協調器和服務器進行初始化，并將有關信息存入組間字典；其次，它管理不同子系統間的通信，維護副本的一致性；最后，它在子系統出現崩潰時，進行異常管理及恢復工作。
dm3多數據庫系統體系結構
3.主要策略
多個dm3系統間的信息共享是通過副本實現的，副本的一致性是由協調器來維持的，是一種弱一致性。通常，多數據庫系統間的一致性是通過協調器周期性地訪問服務器的日志來完成的。由于副本的更新帶有隨機性，因此，若采用這種方法，可能數據被修改多次，但其相對應的副本仍未被修改，這樣就損害了數據的一致性；也可能數據并未被修改，但協調器已多次訪問了服務器的日志了，這樣就降低了系統的效率。
所以，本系統采用的方法是當數據被修改時，由服務器通知協調器有關信息，再由協調器通知相關系統，修改相關數據。這樣，數據的修改及時（仍然是弱一致性），而協調器也不會在數據未被修改的情況下訪問服務器，提高了準確性。
為了使協調器正常工作，我們對底層數據庫管理系統dm2進行了修改。在基表控制塊tv_ctrl_block中增加一項isreplication。建表時，該項初始化為false；當為該表建立一個副本時，該項賦值為true。具體算法如下。
3.1初始化算法。
協調器：
從用戶或應用程序接收待連接的兩個系統中的服務器名，需復制的表名；
分別登錄到兩個系統的服務器上；
向存有待復制表的服務器發預復制消息；
等待服務器消息；
若失敗，發一條失敗的消息給服務器和用戶或應用程序，轉11）；
若成功，從消息中取出待復制表的有關信息，根據這些信息，發一條建表消息給另一個系統的服務器；
等待服務器消息；
若失敗，發一條失敗的消息給服務器和用戶或應用程序，轉11）；
若成功，調數據轉移程序，進行數據復制；
將有關信息寫入組間字典。
退出。
服務器：
當服務器收到預復制消息后，將基表控制塊tv_ctrl_block中的isreplication賦為true。同時，取出待復制表的有關信息，組成應答消息發給協調器。
當服務器收到失敗的消息后，將基表控制塊tv_ctrl_block中的isreplication賦為false。
3.2維護算法。
協調器：
從組間字典讀出相關信息，根據這些信息，登錄到相應系統上；
等待消息；
從某系統的服務器上收到一條修改消息后，通過查找組間字典，確定該消息的目的地，然后將它轉發過去；
若失敗，定時重發；
轉2）；
服務器：
1）等待消息；
2）當收到某客戶或應用程序的消息后，檢查它是否是修改數據的操作（如delete，update或insert等）；
若不是，轉7）；
若是，檢查基表控制塊tv_ctrl_block中的isreplication是否為true；
若不是，轉7）；
若是，向協調器發修改消息；
繼續執行服務器程序的其它部分。
3.3恢復算法。
若協調器所聯接的系統中有一個跨掉了，則對副本的修改無法及時地反映到跨掉的系統中來。這時，需要恢復算法來進行處理。
協調器：
當協調器發現有一個系統已經崩潰后，采取以下步驟。
將與該系統相關的變量open賦值為false；
打開記時器；
等待消息；
若收到的消息是其它系統發出的修改崩潰了的系統上的副本的命令，則依次將這些消息存儲起來，轉3）；
若收到的消息是記時器發出的時間到的消息，則向崩潰的系統發登錄命令；
若登錄成功，將open的值改為true；
將存儲的消息依次發送過去，轉9）；
若登錄失敗，轉3）；
退出。
4.結論
我們曾在三個dm3數據庫系統上，用兩個協調器進行聯接。結果，運行情況良好，各副本最終都能保證一致，且各副本間存在差異的時間間隔很短。另外，在出現異常的情況下，協調器也能正常工作。
主要參考文獻
1.周龍驤等，分布式數據庫管理系統實現技術，科學出版社，1998。
管理會計信息系統與會計核算系統有著很大不同。會計核算系統按照實際操作中對企業會計核算流程的要求安排設計，操作固定、內容全面。只需要按照經濟業務內容和會計相關法律要求操作即可。而管理會計信息系統更為復雜。他沒有一成不變的決策處理程序，相反在決策過程中需要運用大量的技術分析方法，對比多項數據信息才能得到所需的結果。系統龐大、操作復雜，一但結果失誤有可能對企業的發展帶來毀滅性打擊。因而該系統的建立對數據處理能力有著極高的要求。大數據時代的到來，它所提供的數據量、數據結構和數據處理方式正好貼合了管理會計信息系統的需要。它將企業決策中需要的財務因素與非財務因素結合起來，為企業管理提供可靠的數據支撐。
二、管理會計信息系統在企業中的作用
管理會計信息系統是會計信息系統的一個組成部分。長久以來企業在會計信息化的道路上一味的重視會計核算的信息化，忽視了管理會計的信息化，使得管理會計的各項職能沒有在企業發揮出來。隨著企業規模發展壯大，經濟環境紛繁復雜，管理會計越來越受到高層管理人員的重視。在企業中使用管理會計相關分析方法，建立管理會計的信息化系統可以為企業價值提升起到事半功倍的效果。1.為企業發展提供全面數據信息當前經濟形勢風云變幻，紛繁復雜，稍有不慎就可能對企業發展帶來巨大打擊。及時、準確的信息對企業決策至關重要，而建立管理會計信息系統可以對企業提供有效幫助。管理會計信息系統是以海量數據為基礎，運用分析技術優勢，結合管理需要，經營業務和會計要求，靈活運用管理會計的工具方法，為企業經營的各個方面提供服務。通過該系統的建立，搜集經營過程中的結構性數據和非結構性數據，利用專業分析技術，深度挖掘數據內含的信息，向決策者提供使用。2.對生產各環節進行精細化管理該系統的建立，可以通過存貨系統、成本計算系統、質量管理系統、價值鏈分析系統連接企業供應、生產、銷售的各環節。其核心流程涉及成本收入要素處理、成本中心分析與處理、作業類型計劃與處理、內部訂單處理、銷售與利潤計劃、成本核算與結算、成本與作業分配、一般管理費用核算、獲利性分析、全面預算與績效考核等方面。主要的業務對象包括成本要素、作業類型、收入要素、內部定單、控制文檔、成本對象、成本核算估計、獲利性分析維度、業務計劃與預算表以及績效考核等。通過對各環節的嚴格把控，降低庫存、減少成本，提高利潤。3.促進企業完成戰略實施目標管理會計信息系統中績效評價的部分針對企業員工的完成水平進行評價，是該系統的重要組成部分。平衡積分卡績效評價體系是最近幾年流行在國內外的企業績效評價體系。它分四個方面進行：企業財務業績、客戶關系、內部業務流程以及學習和成長，對企業進行評價。在系統中將企業的戰略實施目標按照這四個部分細化成不同的財務或者非財務指標，對照不同的部門逐級細化，進行考核。該績效評價系統將企業戰略與員工考核掛鉤，既可以推動戰略目標的完成又可以激勵員工成長。
三、在企業中建立管理信息系統的途徑
傳統的海洋數據服務一般是專項專建、專人專用，針對人群比較單一、數據類型比較簡單，而且在項目結束后通常建設的數據庫和應用系統由于沒有后期的經費支撐而停用。本研究提出的海洋環境數據在線服務系統（以下簡稱系統），涵蓋了多專項、多學科的數據，在原有數據庫、應用系統、專網基礎上進行系統集成、數據庫擴建，為海洋局屬各單位提供共享服務。系統是運用面向服務架構的設計思想搭建應用系統。采用并行數據庫技術實現大數據量的存儲、加載、更新、查詢等操作，利用ETL調度工具實現源數據庫到并行數據庫的數據抽取、轉換和轉載，減少重新建庫的工作量。采用虛擬化技術整合存儲、服務器、網絡資源，建設數據中心集群，提高資源利用率，采用域控管理機制實現數據安全管理，權限管理。采用VPN認證管理機制，保障系統安全正常運轉。
2系統設計
系統通過面向服務的總體架構，以數據的匯集、處理、應用為基礎主線，采用高速并行技術，結合虛擬化技術等先進IT技術，設計系統的邏輯架構、功能架構、物理架構與技術架構。
2．1邏輯架構
系統總體架框架由數據層、管理層和應用層3部分構成，數據層是指通過對歷史收集、專項調查、在線傳輸等方式收集，采用數據集、數據庫方式進行數據存儲與管理；管理層是指對使用系統的用戶進行統一認證、用戶管理、數據授權等實現用戶有效可控的管理；應用層是指為用戶提供數據的在線查詢檢索、數據時空分布檢索、產品加工處理等應用服務，滿足用戶多樣化的需求。應用層與管理層通過內網和專網訪問數據層，實現數據的管理、查詢、處理等服務。
（1）數據層。數據層主要由原始數據、基礎數據和成果數據3部分組成。原始數據是指海洋儀器現場采集的原始資料、現場匯交的紙質或者電子資料等。原始數據采用文件方式存儲，基于原始資料清單和數據庫文件目錄等方式進行管理。類型包括海洋觀測原始資料、海洋監測原始資料、專項調查匯交資料等。基礎數據是指對原始數據進行整理、排重、質量控制等處理之后形成的標準化數據。內容主要包括專項調查數據、觀測實時資料數據與國際業務化數據等，專項調查數據包括水文、氣象等9個學科，觀測實時資料數據包括海洋站、雷達、浮標等。基礎數據采用數據庫存儲方式，根據基礎數據的資料類型、資料格式、數據觀測頻率、數據傳輸頻率、數據量等設計數據庫結構。成果數據是指經過信息提取、多源數據融合、數值模型分析、統計分析等手段處理后形成的數據。成果數據由要素數據、成果專題數據、資料目錄數據組成，采用數據庫存儲方式。要素數據是以基礎數據為基礎，根據數據的專題應用保障和服務需求，按照時間、空間、專題要素等進行組織的數據。成果專題數據主要包括數值型產品和圖形產品，涵蓋海洋再分析產品、實況分析產品、潮汐預報產品和海洋專題產品等。資料目錄數據主要包括原始數據集目錄索引、標準數據集目錄索引、產品數據目錄索引等。
（2）管理層。管理層主要負責系統的用戶管理、資源管理、業務流程管理和運行監控管理等內容。用戶管理包括用戶的創建、更改和刪除、角色管理、功能授權與數據授權；資源管理包括目錄索引管理、數據導航管理、信息管理與信息資源管理；業務流程管理包括數據申請、虛擬機管理、數據審批管理等；運行監控管理包括運行環境監控、數據資源監控與用戶行為監控。
（3）應用層。應用層依托于中心內網和海洋專網，基于并行數據庫技術和虛擬化技術，實現海洋局屬單位間的數據在線服務。應用層主要包括：數據時空分布展示、數據查詢檢索服務、數據共享虛擬環境、產品制作與產品導出功能。數據時空分布展示是利用數據的經緯度、時間范圍、站次數等關鍵信息，通過統計計算數據量，依據色彩圖例，進行時空分布展示。數據查詢檢索服務包括數據庫查詢檢索和數據集查詢檢索。該服務可提供基于矢量地圖及影像地圖的地圖顯示控件的數據查詢服務，以及使用關鍵字對數據進行查詢。產品制作是指對資料進行整理、標準化處理，開展數據識別、解碼等預處理操作，利用數據統計分析工具進行產品的加工制作。產品導出是指對用戶加工制作產生的產品成果提供數據的導出功能，實現數據從虛擬機到本機的導出服務。
2．2物理架構
按照系統設計，對系統運行硬件環境進行搭建，硬件環境涵蓋原始數據文件存儲區、數據庫存儲區、數據處理區、數據服務區。按照網絡布局可化為中心內網和海洋專網，內網為中心內部用戶提供在線服務的入口，專網主要包括海洋觀測網、海洋監測網、數字海洋網；數字海洋網為海洋局屬單位提供在線服務的入口，用戶經由內網／數字海洋網通過VPN身份認證后方可進入用戶主頁，通過登錄進入個人虛擬工作環境（即用戶虛擬機），用戶可在虛擬機中對數據進行查詢、處理和產品制作。系統經由海洋觀測網和海洋監測網接收實時、延時觀測和監測的海洋數據，并發送到系統的文件存儲區和處理資料臨時存儲區，由存儲管理系統進行數據的接收、存儲和管理。利用用戶授權管理將數據分發到數據處理用戶的虛擬機中。數據處理用戶通過中心內網登錄到虛擬機后，開展數據整理、標準化處理工作后，將處理結果按照指定的路徑存放。由數據傳輸系統同步傳輸到產品制作用戶的虛擬機中，用戶可開展產品加工制作并將成果按照指定的路徑存放。最終由數據交換系統存儲到統一的資料存儲管理區。ETL處理系統經過數據抽取、清洗、轉換等處理，將數據處理結果和產品加載入庫，最終經由中心內網和海洋專網為海洋局屬單位提供數據共享服務。
3系統功能實現
系統通過用戶唯一入口登錄，保證數據安全；開發數據處理系統，完成數據格式化轉換；利用ETL處理系統，完成并行數據庫的數據處理與調度，包括數據抽取、數據轉換與清洗及數據加載；開發數據庫檢索、數據集檢索、文件輸出審批和文件導出等應用程序；開發系統運行監控管理系統，對系統的運行環境、數據狀況和用戶行為進行監控和管理。
3．1數據處理分系統
3．1．1實時數據處理子系統
根據海洋環境數據觀測的采集規范和編碼規定，對接收、收集和整合的大量海洋調查、業務化觀測／監測等資料，按照資料類型、觀測儀器、觀測手段、要素內容等特點，開展數據識別、解碼、數字化、數據項檢查、代碼檢查等預處理，按照時間、空間和觀測資料類型進行排重、排序和初步質量控制，剔除異常數據，依據數據來源、時間、地點等信息對數據文件進行挑選、過濾、分類存放，同時完善和新建相應的海洋環境數據存儲標準，對資料進行標準化格式轉換。
3．1．2歷史數據處理子系統
系統根據海洋環境數據觀測設備性能、儀器訂正參數、資料種類、觀測要素類型、觀測方式、資料時空分布、要素數據經驗范圍等特點，配置質量控制參數，采用相應的質量控制方法，對各類海洋環境數據進行精細化的計算機自動質量控制和人工審核。質量控制方法包括范圍檢驗、非法碼檢驗、相關檢驗、季節性檢驗、一致性檢驗、著陸點檢驗、梯度檢驗、尖峰檢驗、氣候學檢驗和極值檢驗等。
3．2數據庫加載分系統
數據庫加載系統包括通用數據庫加載系統與并行數據庫加載系統。通用數據庫加載系統是通過加載文件清單的方式進行數據管理，清單文件是對每類數據的特征描述，包括文件類型、文件名、調查機構、絕對路徑、備注等信息，通過一條記錄就可以確認數據類型并找到數據存儲位置。清單文件的組織結構與數據庫表結構一致，且加載系統可實現清單列名與數據庫列名對應關系的動態調整，清單配置文件設置完成后，單擊上傳，將清單的記錄入庫，加載過程中可通過狀態條查看加載進度。并行數據庫加載系統先按照數據庫結構利用ETL處理系統通過抽取數據文件的相關信息形成庫文件，將庫文件存放在規定的目錄下，并查看庫文件的文件表結構，創建相應的數據庫表，創建shell腳本并制定源文件和目標文件，最后寫入數據庫。
3．3數據查詢檢索分系統
系統主要分為兩大模塊：關鍵字查詢和圖形化檢索。系統界面左側顯示海洋資料體系結構，右側用于經緯度區域選擇地圖和查詢結果瀏覽。用戶首先在左側選擇相應的航次，然后在右側地圖圈定需求的區域，再輸入關鍵字，查詢該區域的特定信息，或查詢特定區域的所有信息，或查詢所有區域的特定信息，并能夠對查詢結果進行統計、排序、固定格式表格的導出。
3．4運行監控管理分系統
通過建立運行環境監控信息數據庫，確定數據庫中各類監控信息表、監控要素字段、監控狀態字段、表關系和數據字典等，實現運行環境監控、數據監控與用戶行為監控的實體建設。
3．4．1運行環境監控與管理子系統
運行環境監控與管理子系統包括硬件環境監控和軟件環境監控兩部分。硬件環境監控是通過對系統局域網硬件設備運行的日志信息進行提取、分析，實現對服務器、存儲陣列、交換機、路由器、防火墻等設備故障診斷、告警等功能。軟件環境監控是通過研制各商業軟件（操作系統、數據庫軟件等）與各業務系統（數據處理軟件等）運行日志讀取接口，實時讀取日志信息并加載運行環境監控信息數據庫。
3．4．2數據資源監控與管理子系統
數據資源監控與管理子系統通過對數據匯集狀態實時監控，實現信息反饋、到期告警、匯集情況季報與年報輸出等功能，實現對海洋數據處理和質量情況的實時監控和預警、數據處理任務。調度管理；通過提取用戶登錄日志、數據庫與數據集訪問日志、數據申請信息進行分析，實現數據的服務內容、服務對象、應用領域情況的實時監控。
3．4．3用戶行為監控與管理子系統
用戶行為監控與管理子分系統實時對用戶的登錄、數據資源訪問、外部設備使用、軟件安裝預警和設備接入等行為進行監控，具有終止用戶操作、告警提示、季度分析報告輸出等功能，在提供用戶方便使用的前提下保障系統的穩定運行。
4關鍵技術
根據系統總體功能定位，在已有的工作基礎之上，以數據的匯集、處理、存儲、管理、服務過程為主線，采用操作系統、數據庫、數據管理與共享3層軟件體系，集成各類自主研發功能，構建靈活、穩定的架構模式。架構主要基于虛擬化技術、并行處理技術、數據檢索并行處理技術與J2EE技術等關鍵技術。
4．1虛擬化技術
由于用戶對處理器、內存等硬件和操作系統需求不同，用戶工作使用的數據處理軟件、資料質量控制軟件和產品制作軟件不盡相同，為滿足用戶需求，同時提高服務器、存儲陣列等資源的利用率，采用服務器虛擬化技術實現滿足不同用戶需求的虛擬機，同時消除服務器與存儲陣列對應用系統的物理局限性。服務器虛擬化技術是將一個物理服務器虛擬成若干個服務器使用，使得單個物理服務器上可以運行多個虛擬服務器。
4．2并行處理技術
利用高速并行處理引擎，完成多層次海洋數據體系動態更新的ETL（抽取、轉換、加載）并行處理，實現整個系統的數據處理與調度，包括數據抽取、數據傳輸、數據轉換與清洗、數據加載以及調度監控。
4．2．1數據抽取
數據抽取的方式包括：全表刷新、時間戳增量、日志增量和時間戳比較。系統采用時間戳增量方式完成數據的抽取，時間戳增量方式是通過記錄時間將增量數據從源數據抽取出來，以附加的方式加載到高速數據存儲中，完成源數據中的記錄定期更新。時間戳增量方式是在源系統需要抽取的數據表中增加時間戳字段，用以表示數據的修改或新增時間，在數據抽取時通過它來識別和抽取增量數據。
4．2．2數據轉換
由于海洋數據通過調查、匯交、網載等多種手段獲取，每種手段來源的數據存在定義不規范、格式不統一等情況，導致系統的源數據存在重復、錯誤、格式不一等情況。數據轉換是將多來源、多調查手段、多要素和多格式的數據進行轉換，形成格式統一、實用性強的數據存儲層。
4．2．3數據加載
將業務系統和源數據庫層抽取、轉換后的數據加載、更新到目標數據庫中。根據業務數據的實際情況，對不同業務系統的數據采用不同的加載周期；根據數據的抽取策略以及業務規則確定，采用直接追加、全部覆蓋、更新追加等多種方式進行處理。
4．2．4高速并行調度
利用高速并行ETL調度，按照既定步驟完成數據抽取、轉換、加載的全部時間和流程的調度任務。調度的內容包括：從各業務系統到數據層的調度，實現多來源數據的提取、轉換和加載；從數據層到數據存儲的調度，實現了原始數據、基礎數據、產品數據的高速并行存儲；從數據存儲到應用層的調度，實現數據的并行查詢檢索。
5結束語