男人天堂日韩,中文字幕18页,天天伊人网,成人性生交大片免费视频

論文:大數(shù)據(jù)分析與應(yīng)用問題研究

時(shí)間:2021-06-11 19:28:19 論文 我要投稿
  • 相關(guān)推薦

論文:大數(shù)據(jù)分析與應(yīng)用問題研究

  【摘 要】大數(shù)據(jù)具有規(guī)模大、種類多、生成速度快、價(jià)值巨大但密度低的特點(diǎn)。大數(shù)據(jù)應(yīng)用就是利用數(shù)據(jù)分析的方法,從大數(shù)據(jù)中挖掘有效信息,為用戶提供輔助決策,實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的過(guò)程。主要介紹了大數(shù)據(jù)定義,分析方法、應(yīng)用領(lǐng)域等相關(guān)問題。

論文:大數(shù)據(jù)分析與應(yīng)用問題研究

  【關(guān)鍵詞】大數(shù)據(jù);數(shù)據(jù)分析;應(yīng)用領(lǐng)域

  1.大數(shù)據(jù)的定義

  美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院對(duì)大數(shù)據(jù)做出了定義:“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度,或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力,或需要使用重要的水平縮放技術(shù)來(lái)實(shí)現(xiàn)高效處理的數(shù)據(jù)。”我們認(rèn)為大數(shù)據(jù)價(jià)值鏈可分為:數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存以及數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值鏈的最后也是最重要的階段,是大數(shù)據(jù)價(jià)值的實(shí)現(xiàn),是大數(shù)據(jù)應(yīng)用的基礎(chǔ),其目的在于提取有用的值,提供論斷建議或支持決策,通過(guò)對(duì)不同領(lǐng)域數(shù)據(jù)集的分析可能會(huì)產(chǎn)生不同級(jí)別的潛在價(jià)值。

  雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域,但是它們?cè)谔幚硪?guī)模較大的數(shù)據(jù)集合時(shí),效率無(wú)法達(dá)到用戶預(yù)期,且難以處理復(fù)雜的數(shù)據(jù),如非結(jié)構(gòu)化數(shù)據(jù)。因此,出現(xiàn)了許多專門針對(duì)大數(shù)據(jù)的集成、管理及分析的技術(shù)和方法。

  2.大數(shù)據(jù)分析方法

  布隆過(guò)濾器:其實(shí)質(zhì)是一個(gè)位數(shù)組和一系列HASH函數(shù)。布隆過(guò)濾器的原理是利用位數(shù)組存儲(chǔ)數(shù)據(jù)的HASH值而不是數(shù)據(jù)本身,其本質(zhì)是利用HASH函數(shù)對(duì)數(shù)據(jù)進(jìn)行有損壓縮存儲(chǔ)的位圖索引。其優(yōu)點(diǎn)是具有較高的空間效率和查詢速率,缺點(diǎn)是有一定的誤識(shí)別率和刪除困難。布隆過(guò)濾器適用于允許低誤識(shí)別率的大數(shù)據(jù)場(chǎng)合。

  HASH法,其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)化為長(zhǎng)度更短的定長(zhǎng)的數(shù)值或索引值的方法。這種方法的優(yōu)點(diǎn)是具有快速的讀寫和查詢速度,缺點(diǎn)是難以找到一個(gè)良好的HASH函數(shù)。

  索引:無(wú)論是在管理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù),還是管理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的`技術(shù)中,索引都是一個(gè)減少磁盤讀寫開銷、提高增刪改查速率的有效方法。索引的缺陷在于需要額外的開銷存儲(chǔ)索引文件,且需要根據(jù)數(shù)據(jù)的更新而動(dòng)態(tài)維護(hù)。

  TRIE樹:又稱為字典樹,是HASH樹的變種形式,多被用于快速檢索,和詞頻統(tǒng)計(jì)。TRIE樹的思想是利用字符串的公共前綴,最大限度地減少字符串的比較,提高查詢效率。

  并行計(jì)算:相對(duì)于傳統(tǒng)的串行計(jì)算,并行計(jì)算是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問題進(jìn)行分解,由若干個(gè)獨(dú)立的處理器完成各自的任務(wù),以達(dá)到協(xié)同處理的目的。

  傳統(tǒng)數(shù)據(jù)分析方法,大多數(shù)都是通過(guò)對(duì)原始數(shù)據(jù)集進(jìn)行抽樣或者過(guò)濾,然后對(duì)數(shù)據(jù)樣本進(jìn)行分析,尋找特征和規(guī)律,其最大的特點(diǎn)是通過(guò)復(fù)雜的算法從有限的樣本空間中獲取盡可能多的信息。隨著計(jì)算能力和存儲(chǔ)能力的提升,大數(shù)據(jù)分析方法與傳統(tǒng)分析方法的最大區(qū)別在于分析的對(duì)象是全體數(shù)據(jù),而不是數(shù)據(jù)樣本,其最大的特點(diǎn)在于不追求算法的復(fù)雜性和精確性,而追求可以高效地對(duì)整個(gè)數(shù)據(jù)集的分析?傊,傳統(tǒng)數(shù)據(jù)方法力求通過(guò)復(fù)雜算法從有限的數(shù)據(jù)集中獲取信息,其更加追求準(zhǔn)確性;大數(shù)據(jù)分析方法則是通過(guò)高效的算法、模式,對(duì)全體數(shù)據(jù)進(jìn)行分析。

  3.大數(shù)據(jù)應(yīng)用領(lǐng)域

  4.結(jié)束語(yǔ)

  大數(shù)據(jù)引發(fā)思維變革。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)的收集、獲取和分析都更加快捷,這些海量的數(shù)據(jù)將對(duì)我們的思考方式產(chǎn)生深遠(yuǎn)的影響。分析數(shù)據(jù)時(shí)要盡可能地利用所有數(shù)據(jù),而不只是分析少量的樣本數(shù)據(jù)。相比于精確的數(shù)據(jù),我們更樂于接受紛繁復(fù)雜的數(shù)據(jù)。我們應(yīng)該更為關(guān)注事物之間的相關(guān)關(guān)系,而不是探索因果關(guān)系。大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更為有效。大數(shù)據(jù)的分析結(jié)果將減少?zèng)Q策中的草率和主觀因素,數(shù)據(jù)科學(xué)家將取代“專家”。 [科]

  【參考文獻(xiàn)】

  [2]黃曉斌,鐘輝新.基于大數(shù)據(jù)的企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)模型構(gòu)建[J].情報(bào)雜志,2013(03).