Ⅰ. 介紹 現(xiàn)如今，人們越來越多地使用互聯(lián)網(wǎng)與他人進行溝通，發(fā)表他/她們的關(guān)于某些話題的看法和表達他/她們的關(guān)于某些事的怨言（我們把所有這些相關(guān)的話題和人們的觀點叫做網(wǎng)絡(luò)輿情，簡稱IPO）。互聯(lián)網(wǎng)可能會被攻擊者或敵人用作破壞互聯(lián)網(wǎng)穩(wěn)定和威脅網(wǎng)絡(luò)社會安全的工具[1]。然而，網(wǎng)絡(luò)輿情可能會對真實世界的社會安全產(chǎn)生巨大的沖擊[2]。當前對網(wǎng)絡(luò)輿情的研究主要是研究它對真實世界的社會或政府的影響，并且從心理學或社會學的角度分析它的活動方式[3]。文本分類在大量的信息管理和檢索任務(wù)扮演一個根本角色。但是網(wǎng)頁分類比純文本分類困難在于網(wǎng)頁中存在著大量的嘈雜信息。網(wǎng)頁是不同于一般的的文本文檔集合。文本文檔可以被認為是一個詞語的匯集，而網(wǎng)頁則含有附加的結(jié)構(gòu)信息。 在本文，我們設(shè)法顯示我們的網(wǎng)絡(luò)輿情分析系統(tǒng)（IPOAS）的模型。 我們的主要工作如下： 1）參考各種各樣的相關(guān)技術(shù)，我們提出一種改進的網(wǎng)絡(luò)語請分析模型，它可以更加有效地處理和探求網(wǎng)絡(luò)輿情的特征。 2）在這個系統(tǒng)中，有二個重要的核心模塊：信息預處理模塊和網(wǎng)絡(luò)輿情語義分析模塊。 我們分析了他們的實現(xiàn)方法。 3） 我們通過在摘要中應(yīng)用網(wǎng)頁分類法來提取網(wǎng)頁中最為相關(guān)的內(nèi)容，然后再將他們傳遞到標準文本分類算法（NB或SVM）中。根據(jù)實驗結(jié)果，我們證明了系統(tǒng)結(jié)構(gòu)在系統(tǒng)設(shè)計中的重要性。 本文的其他部分結(jié)構(gòu)如下。在第2部分，我們將回顧有關(guān)網(wǎng)絡(luò)輿情最新的工作成果和有關(guān)傳統(tǒng)網(wǎng)絡(luò)輿情分析方法的研究，然后將提出我們的IPOAS模型。我們的方法將在第3部分和第4部分詳述。在第5部分，實驗結(jié)果和一些相關(guān)的討論將會被列出。最后，在第6部分，我們將總結(jié)我們的工作。 Ⅱ. 相關(guān)著作 網(wǎng)絡(luò)輿情是一個寬泛的題目。從網(wǎng)絡(luò)中獲取情感傾向是一個困難的語義問題。與文本文檔比較，網(wǎng)頁有一些額外特點，例如HTML標簽，URL，超鏈接和錨文本，他們都被證明在獲取情感傾向時是有用的。最近許多有關(guān)利用這些特性進行情感傾向提取的網(wǎng)頁摘要研究[4,5]都完成了。 Dou[4]指出用于在網(wǎng)頁分類中預處理的網(wǎng)絡(luò)摘要技術(shù)是一個可行的且有效的技術(shù)。證據(jù)顯示考慮到上下文信息的摘要比僅僅從目標文檔提取的內(nèi)容相關(guān)性更強。同樣，我們在摘要過程中利用網(wǎng)頁分類去從網(wǎng)頁中提取最相關(guān)的內(nèi)容。我們系統(tǒng)的網(wǎng)絡(luò)輿情信息預處理模塊也使用了這些特點。 這個模塊由二個方法構(gòu)成：數(shù)學算法或神經(jīng)網(wǎng)絡(luò)和文本分類/聚類。 有許多根據(jù)數(shù)學算法中的方法構(gòu)建的模塊。網(wǎng)絡(luò)公共會話的的增長使得網(wǎng)絡(luò)通信成為了一個潛在的富有的數(shù)據(jù)來源。P.D. Turney[6]介紹了一種從龐大的語料庫中對語義傾向進行無監(jiān)督學習的簡單算法。這種方法涉及了向搜索引擎進行請求和利用逐點交互信息來分析結(jié)果。 類似地，Peter Jorgensen[7]探索了競爭（IAC）的相互作用和人工神經(jīng)網(wǎng)絡(luò)（ANN）的使用來找到存在于電子郵件文本中的關(guān)系。最終，Pjianping Zeng[8]提出了隱馬爾可夫模型（HMM）來描述網(wǎng)絡(luò)輿情的活動。所有他們的研究最終形成了有關(guān)網(wǎng)絡(luò)輿情活動過程的數(shù)學模型的整合，這一整合可以利用一定的數(shù)據(jù)進行自動的分析。 其他的研究使用了文本分類或聚類的方法。文本分類當前是信息搜索和數(shù)據(jù)挖掘領(lǐng)域研究的一個熱門主題[9,10]。其在近年來有著迅速的發(fā)展，并在信息過濾，自然語言處理和信息的組織和管理方面有著廣泛的應(yīng)用。Pyanjun Li和Soon M.Chung [11]提出了二種新的文本聚類算法，名為根據(jù)頻繁詞序的聚類（CFWS）和根據(jù)頻繁詞意序列的聚類（CFWMS）。 Ⅲ. IPOAS模型概覽 IPOAS模型采用了三層結(jié)構(gòu)，分別是I/O層、服務(wù)處理層和數(shù)據(jù)層。圖1顯示了系統(tǒng)的具體結(jié)構(gòu)。每層都可以被細分。每層的具體分解見圖1。 圖1. IPOAS模型 A. I/O層 1） 數(shù)據(jù)集：數(shù)據(jù)集與用戶要求要收集的數(shù)據(jù)有關(guān)。它主要包括內(nèi)部數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)和媒體數(shù)據(jù)。 互聯(lián)網(wǎng)在日常生活中逐漸成為了公眾交換信息的一個重要平臺。例如BBS、博客、門戶網(wǎng)站和政府網(wǎng)站等等信息平臺可以作為對輿情進行監(jiān)視和疏導的一個來源。 2） 前端應(yīng)用模塊：前端應(yīng)用模塊是網(wǎng)絡(luò)輿情分析系統(tǒng)的輸出程序。在大多數(shù)情況下，它提供適應(yīng)用戶需要的功能，包括有——熱點查尋，關(guān)鍵詞檢索，自動摘要，主題詞自動推薦，輔助收集功能等等。 B. 服務(wù)加工層數(shù) 1） 網(wǎng)絡(luò)輿情信息收集模塊：網(wǎng)絡(luò)輿情信息收集模塊用來定位網(wǎng)頁資源和獲取它的源代碼。 當前基于網(wǎng)頁鏈接的信息收集技術(shù)可以自動地獲取基于的網(wǎng)頁資源和源代碼。因而收集覆蓋面便可以通過鏈接遍及整個互聯(lián)網(wǎng)。網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)可以根據(jù)用戶提供的網(wǎng)絡(luò)輿情關(guān)注點制定主體目標，然后利用手工干預和信息自動收集的聯(lián)合方法完成信息收集的任務(wù)。對于那些被定位的網(wǎng)頁資源，系統(tǒng)會判斷這些資源是否被保存進了歷史數(shù)據(jù)庫。如果是并且兩者相同，系統(tǒng)將忽略這樣的資源并繼續(xù)收集其他資源。相反，如果資源未被保存入數(shù)據(jù)庫或保存過后被改變了，系統(tǒng)將使用網(wǎng)絡(luò)爬蟲技術(shù)收集這些信息然后保存這些數(shù)據(jù)到數(shù)據(jù)庫中以便之后進行信息預處理工作。 2） 信息預處理模塊：信息預處理模塊的主要作用是通過使用諸如去雜、分詞和分類等方法將從網(wǎng)頁上收集的數(shù)據(jù)處理成格式化數(shù)據(jù)，然后將他們保存到數(shù)據(jù)庫中。這個模塊是網(wǎng)絡(luò)輿情分析系統(tǒng)中的數(shù)據(jù)準備和技術(shù)準備階段。預處理收集到的信息意味著轉(zhuǎn)換網(wǎng)頁格式并且過濾出網(wǎng)絡(luò)輿情信息。對于新聞評論，這個模塊需要過濾掉無關(guān)的信息并保留諸如新聞標題、來源、日期、內(nèi)容、點擊量、評論者、評論內(nèi)容、評論數(shù)量等等信息。類似地，對于BBS，模塊需要記錄帖子的標題、發(fā)帖人、發(fā)帖日期和時間、內(nèi)容、回復、回復的數(shù)量的標題，最后要產(chǎn)生格式化過的信息。 收集模塊和信息預處理模塊的數(shù)據(jù)交互是通過文件完成的。所以信息預處理模塊可以直接將處理后的數(shù)據(jù)結(jié)果存放到數(shù)據(jù)庫中。 3） 網(wǎng)絡(luò)輿情語義分析模塊：網(wǎng)絡(luò)輿情語義分析模塊進一步地從信息預處理模塊生成的數(shù)據(jù)中挖掘數(shù)據(jù)。所運用的關(guān)鍵技術(shù)有熱點發(fā)現(xiàn)的和跟蹤，新事件發(fā)現(xiàn)，關(guān)聯(lián)分析和趨勢分析。 這一模塊是整體系統(tǒng)的核心模塊。它有著像網(wǎng)絡(luò)輿情監(jiān)視，熱點跟蹤和事件發(fā)現(xiàn)等等功能。 在系統(tǒng)實現(xiàn)過程中，網(wǎng)頁信息分析方法基于向量空間模型，并且采用了成熟的的數(shù)據(jù)挖掘算法和技術(shù)，例如文本分類和文本聚類。與其他研究相比，這個系統(tǒng)的好處是它采用了靈活的方法對數(shù)據(jù)挖掘算法進行了整合應(yīng)用，并且這些算法可以根據(jù)文本分析和數(shù)據(jù)挖掘的需要進行定制?？梢源_信，整體系統(tǒng)可以執(zhí)行策略調(diào)整和優(yōu)化以適應(yīng)用戶和應(yīng)用的需要，因此系統(tǒng)可以在使用中達到它的設(shè)計水平。 4） 趨勢分析模塊：趨勢分析模塊用來分析公眾對一個主題在不同的時期的關(guān)心程度。因而它可以提供網(wǎng)絡(luò)輿情趨勢的預測和預警服務(wù)來幫助決策者了解網(wǎng)絡(luò)輿情的趨勢和事先發(fā)現(xiàn)熱點問題。 C.數(shù)據(jù)層 數(shù)據(jù)層主要負責保存物理數(shù)據(jù)到數(shù)據(jù)庫中，這其中會用到有關(guān)算法、網(wǎng)絡(luò)輿情收集、網(wǎng)絡(luò)輿情特征向量、語義分析等方面的知識。 Ⅳ. 網(wǎng)絡(luò)輿情信息預處理技術(shù) 網(wǎng)絡(luò)輿情信息預處理模塊是網(wǎng)絡(luò)輿情分析系統(tǒng)中最重要信息處理的模塊之一。這個模塊將進一步處理從網(wǎng)絡(luò)輿情信息收集模塊傳來的網(wǎng)頁源代碼?，F(xiàn)今有許多信息預處理技術(shù)，例如網(wǎng)頁摘要，網(wǎng)絡(luò)文本組織法，網(wǎng)頁凈化，網(wǎng)頁去重，文本分割，停用詞和功能詞刪除和詞頻統(tǒng)計。在這個部分，我們考慮如何分析嵌在網(wǎng)頁中的復雜隱晦的結(jié)構(gòu)和如何使用這些信息進行網(wǎng)頁摘要。我們的方法是從網(wǎng)頁提取最相關(guān)的內(nèi)容然后傳遞他們到一種標準文本分類算法中。 尤其是，我們將用頁面布局分析法識別出的內(nèi)容主體指導網(wǎng)頁的摘要工作。 網(wǎng)頁中結(jié)構(gòu)化的字符使網(wǎng)頁摘要與純文本摘要不同。這項任務(wù)的難點在于在網(wǎng)頁中數(shù)量眾多的“嘈雜”成分，例如導航條、廣告和版權(quán)信息。為了運用網(wǎng)頁的結(jié)構(gòu)信息，我們使用了如[12]所描述的基于功能的對象模型（FOM）的一個簡化版本。 簡言之，FOM試圖通過辨認對象的作用和類別來了解作者的意圖。在FOM中，對象被分類成一個作為最小的信息體并不可進一步被劃分的基本的對象（BO），或者是一個組合對象（CO）。組合對象是對象（BO或CO）的集合，而這些對象可以同時發(fā)揮某些作用。BO的一個例子是jpeg文件。在HTML內(nèi)容中，BO是一個在兩個標簽或一個內(nèi)嵌對象中的不可分的元素。在BO的內(nèi)容的里面沒有其他標記。根據(jù)這個標準，我們可以容易地在網(wǎng)頁里找出所有的BO。同樣，CO可以被網(wǎng)頁布局分析所查出?；舅枷胧窃谕粋€類別的對象通常有一致的視覺樣式，以便他們可以從其他類別對象中由明顯的可見邊界分離，例如表格邊界。在查出網(wǎng)頁中的所有的BO和CO后，我們可以根據(jù)一些啟發(fā)式規(guī)則辨認每個對象類別。 這些規(guī)則的詳細例子在[15]中被展示；這里我們僅提供概要。首先，對象類別包括： 1）信息對象：這個對象表示內(nèi)容信息。 2）導航對象：這個對象提供導航指南。 3）互動對象：這個對象提供用戶端互動。 4）裝飾對象：這個對象起裝飾作用。 5）特殊功能對象：這個對象執(zhí)行特殊功能例如廣告、商標、聯(lián)系方式、版權(quán)、參考等等。 為了利用這些對象，從上述的對象類型中，我們定義了一個網(wǎng)頁中包含與該頁主題有關(guān)的主要對象的內(nèi)容體（CB）；這些是表達關(guān)于網(wǎng)頁重要信息的對象。找出CB的算法如下： 1. 把每個被選擇的對象當作一個單一文檔并且為對象建立的TF*IDF索引。 2. 利用余弦相似度算法計算任意兩個對象的相似度，如果相似度大于某個閾值，就增加一個這兩個對象間的鏈接。閾值需要根據(jù)經(jīng)驗進行選擇。在處理完所有對象對之后，我們將得到一張連接不同的對象的關(guān)聯(lián)圖。 3. 在圖表中，擁有最多邊緣的對象被定義為核心對象。 4. 提取CB作為與核心對象相連接的所有對象的組合。 最后，我們將分配CB值S到每個句子。如果句子包括在“內(nèi)容體”中，則Scb= 1.0；否則， Scb= 0.0。最后，所有Scb等于1.0的句子將用來進行我們所談到的的網(wǎng)頁摘要。 Ⅴ. 網(wǎng)絡(luò)輿情信息的語義分析（IPOISA） IPOISA是系統(tǒng)的核心技術(shù)，主要用來檢測和追蹤熱點。由它來確定網(wǎng)絡(luò)輿情（IPO）信息的準確性。系統(tǒng)運用文本分類和文本聚類的算法來實施語義分析和處理被預處理過的內(nèi)容，以便建立由索引信息組成的分析數(shù)據(jù)庫。 圖2. 網(wǎng)絡(luò)輿情信息的語義分析 圖2顯示的是IPOISA的結(jié)構(gòu)。 IPOISA包括文檔特征據(jù)庫、算法庫和分析結(jié)果數(shù)據(jù)庫。 文檔特征數(shù)據(jù)庫是在預處理網(wǎng)絡(luò)輿情（IPO）信息以后生成的知識數(shù)據(jù)庫。分析結(jié)果數(shù)據(jù)庫保存IPOISA的結(jié)果。 IPOISA的主要功能是算法庫，算法調(diào)度和線程操作： A. 算法庫 算法庫包括一些可以動態(tài)地被擴展和增加的配置文件。算法庫可以為每一種類型的執(zhí)行線程生成特定的算法，并被算法調(diào)度程序所使用。系統(tǒng)根據(jù)系統(tǒng)管理員的需求保存關(guān)于算法策略的配置信息到算法庫中。 B. 算法調(diào)度 算法調(diào)度負責分配多線程的執(zhí)行和管理任務(wù)，即IPOISA的引擎。算法調(diào)度用來調(diào)度不同的算法和處理次序來分類或聚類本文的特征向量，并且控制線程的運行。系統(tǒng)掌管和控制每個用戶的不同進程，這意味著他可以在同一時間處理一個用戶的不同進程。例如，由系統(tǒng)提供的基本的處理方法是熱點事件的探測和用戶感興趣的事件的追逐，然后系統(tǒng)可以同時為用戶A創(chuàng)造兩個進程—熱點探測進程“A_Detection”和事件跟蹤進程的“A_Tracking”，用這兩個進程來分析和處理來自多方面的信息。 C. 線程處理 每個處理線程都是文本分類或聚類之一的過程，包含值向量的生成、特征選擇或者特征提取、文本分類或聚類。算法庫確定每個線程的每個部分的算法。線程根據(jù)預編程序時間頻率和處理策略從文檔特征向量庫中讀取需要的內(nèi)容，并且進行進一步的分析和處理，其結(jié)果將被保存入結(jié)果數(shù)據(jù)庫。最后，用戶可以在結(jié)果數(shù)據(jù)庫中進行查詢，所需要的結(jié)果將以適當?shù)男问匠尸F(xiàn)給用戶。 Ⅵ. 實驗 為了確定對網(wǎng)絡(luò)分類和IPOAS的摘要效果，我們進行了幾次實驗。 A. 數(shù)據(jù)集 實驗數(shù)據(jù)集由我們自己的語科庫和北京大學中文網(wǎng)頁訓練集CCT2006組成。它包含8個類別和6000個句子，其中有4000個被用作訓練集合而其他的則用作測試。共有四個類別，包括教育、商業(yè)、計算機和互聯(lián)網(wǎng)、新聞和媒體，被選中用來分析結(jié)果。 B. 分類器 因為本文的焦點是確定對網(wǎng)絡(luò)分類和IPOAS的摘要效果，在實驗中我們選擇了兩個流行的分類器。 一個是原生貝葉斯分類器，另一個是支持向量機。 1) 原生貝葉斯分類器（NB） 原生貝葉斯分類器（NB）是在實踐中被證明很好使用的一種簡單但有效的文本分類算法。NB的基本思想是使用詞匯和分類的聯(lián)合概率來估算一篇給定文檔所在分類的概率。多數(shù)研究者通過運用貝葉斯規(guī)則使用NB方法： 當P(Cj|θ)可以通過計數(shù)在訓練數(shù)據(jù)出現(xiàn)的每個類別Cj的頻率來計算；|C| 是類別的數(shù)量；p(wi|cj)代表詞wi可能在分類cj出現(xiàn)的概率在可能小在訓練數(shù)據(jù)，這種概率在訓練數(shù)據(jù)中可能會較小，因此拉普拉斯過濾被用來估算它；N(wk,di)是單詞wk出現(xiàn)在di中的次數(shù)；n是單詞在訓練數(shù)據(jù)中的數(shù)量。 2) 支持向量機（SVM） 支持向量機（SVM）是V.Vapnik最近介紹的一個強有力的學習方法。它是建立在計算型學習理論之上的，而且已被成功地用于文本分類。 SVM通過在可能的輸入空間內(nèi)發(fā)現(xiàn)超曲面來運作。超曲面試圖通過最大化最近的距離的正負面例子來從負面例子中分裂正面例子到超曲面。直觀地，這使為那些與訓練數(shù)據(jù)很近但又不相同測驗數(shù)據(jù)分類正確。有各種各樣的方式訓練SVM。一個特別簡單和快速的方法是由J.Platt開發(fā)的序列最小最優(yōu)化（SMO）。他的序列最小最優(yōu)化算法將二次規(guī)劃（QP）問題分解為一系列小的QP問題來進行分析解決。因而SMO算法有效地適用于大型的特征和訓練集。 3) 評估指標 我們使用標準指標來評估網(wǎng)頁分類的效果，即精確度、召回率和F1-measure指標。要確定這些，我們必須首先來了解一篇文檔的分類是否是真陽性(TP)，假陽性(FP)或假陰性(FN) (參見表1) 表Ⅰ 一篇文檔的分類 TP 決定于一篇文檔是否根據(jù)其相關(guān)的分類被正確地分類。 FP 決定于一篇文檔是否被說明錯誤地與分類關(guān)聯(lián)。 FN 決定于一篇文檔是否本應(yīng)關(guān)聯(lián)到一個分類卻沒有關(guān)聯(lián)上。 精確度（P）是在系統(tǒng)返回的所有被預言的正面類成員之中的系統(tǒng)返回的實際正面類成員的比例。P=TP/(TP+FP)。召回率（R）是被預言的正面成員在數(shù)據(jù)中所有實際正面類成員之中所占的比例。R= TP/(TP+FN)。F1是精確度和召回率的調(diào)和平均數(shù)，如下所示： F1 = 2* P *R/ (P + R) C. 實驗結(jié)果和分析 表Ⅱ 有關(guān)P、R和F1實驗結(jié)果 Education News and Media Computer and Internet Business P NB 95.51 97.36 94.37 92.24 SVM 93.29 97.06 95.03 91.85 R NB 90.33 96.93 91.34 93.71 SVM 90.87 96.25 91.08 93.65 F1 NB 92.85 97.14 92.83 92.96 SVM 92.06 96.65 93.01 92.74 實驗結(jié)果顯示兩種類型的成熟文本分類算法在被大量訓練集訓練后再次被聚類處理，精確率和召回率以及F1值大致相同。例如，兩種算法的結(jié)果在新聞和媒體方面令人滿意，然而NB在教育和商業(yè)類別中表現(xiàn)得要比SVM更好，而SVM比NB更擅長計算機和互聯(lián)網(wǎng)類別?？梢娨粋€適用不同的種類的文本分類算法的通用平臺由IPOAS建立。根據(jù)實際需要和用戶需求，IPOAS可以通過滿足不同算法的處理需求來運用更多更為有效的的算法。因此，這再次證明了IPOAS有良好的擴展性和多算法兼容性。 Ⅶ. 總結(jié) 以前，網(wǎng)絡(luò)輿情分析系統(tǒng)只不過是輿情信息處理的其中一環(huán)，只是文本分類或文本聚類而已。這種應(yīng)用在某種狀況下經(jīng)常被認為是差強人意的，例如，在用戶想要在某個時期把新聞歸類為教育、經(jīng)濟、文化、科學技術(shù)等等，并且想要查看每個類別中的熱點事件時。很明顯地，這些要求的實現(xiàn)需要首先對文本進行分類，再從前一階段的結(jié)果中針對每個類別的文本進行聚類操作。 本文提出了一份網(wǎng)絡(luò)輿情分析的系統(tǒng)計劃。這個建模方法是可行且有效的。我們將文本分類和聚類算法巧妙地結(jié)合了起來，并證明了這種結(jié)合比僅使用它們其中的一個要更有效率、更有效果。我們通過應(yīng)用網(wǎng)頁摘要技術(shù)可以從網(wǎng)頁中提取最相關(guān)的內(nèi)容，然后把它們傳遞給一個標準的文本分類算法。通過實驗的結(jié)果，我們證明了這一系統(tǒng)在系統(tǒng)結(jié)構(gòu)和設(shè)計上的優(yōu)越性。 致謝 這一成果是在CEEUSRO工程（No.2008B090500201）和廣東省高?？茖W技術(shù)成果轉(zhuǎn)化重點工程（No.cgzhzd0807）的支持下完成的。
