“在線產(chǎn)品評(píng)論正成為現(xiàn)代AI的戰(zhàn)場(chǎng)”。——Annie Probert/ NBC News [1]
在線評(píng)論在塑造消費(fèi)者在電子商務(wù)平臺(tái)上的行為方面繼續(xù)發(fā)揮著關(guān)鍵作用，因?yàn)橄M(fèi)者在做出購(gòu)買決策時(shí)會(huì)依賴這些評(píng)論，這一點(diǎn)在先前的研究[2]、[3]、[4]中得到了證明。值得注意的是，近90%的在線購(gòu)物者表示，真實(shí)的評(píng)論會(huì)影響他們的購(gòu)買選擇，并且他們比產(chǎn)品的價(jià)格本身更信任同行反饋。1然而，某些商家的不道德行為破壞了評(píng)論系統(tǒng)的可靠性，這些商家使用工具來(lái)抬高產(chǎn)品排名并損害競(jìng)爭(zhēng)對(duì)手的聲譽(yù)[5]，從而侵蝕了消費(fèi)者的信任，并損害了評(píng)論系統(tǒng)的完整性和效率[6]。
為了解決這一日益嚴(yán)重的問(wèn)題，平臺(tái)公司已經(jīng)部署了決策支持系統(tǒng)來(lái)檢測(cè)和過(guò)濾掉欺詐性評(píng)論[7]、[8]。這些技術(shù)干預(yù)不僅旨在遏制虛假內(nèi)容的傳播，還旨在減輕其對(duì)平臺(tái)生態(tài)系統(tǒng)的更廣泛負(fù)面影響[9]、[10]。通過(guò)增強(qiáng)用戶生成內(nèi)容的真實(shí)性，這些系統(tǒng)在維護(hù)數(shù)字市場(chǎng)的可信度和功能性方面發(fā)揮著關(guān)鍵作用。
近年來(lái)，GAI的出現(xiàn)加速了虛假評(píng)論在數(shù)字平臺(tái)上的傳播，因?yàn)樯碳铱梢岳肎AI快速生成大量虛假評(píng)論，而且?guī)缀醪毁M(fèi)吹灰之力。23與傳統(tǒng)的虛假評(píng)論不同，由GAI生成的評(píng)論往往更具說(shuō)服力，也更難以檢測(cè)。這是因?yàn)镚AI具有生成連貫、與上下文相關(guān)且類似人類語(yǔ)言的高級(jí)能力，這種語(yǔ)言緊密模仿了真實(shí)用戶反饋的語(yǔ)氣和結(jié)構(gòu)[11]、[12]。因此，這些由GAI制作的評(píng)論對(duì)消費(fèi)者信任和平臺(tái)完整性構(gòu)成了更大的威脅。GAI提供的高級(jí)語(yǔ)言特性吸引了更多惡意行為者利用GAI生成欺騙性內(nèi)容，從而加劇了電子商務(wù)平臺(tái)上虛假評(píng)論的傳播。
同時(shí)，那些真正希望分享自己的體驗(yàn)并推薦產(chǎn)品或商家的普通消費(fèi)者也開(kāi)始使用AI工具來(lái)生成他們的評(píng)論。雖然這可能簡(jiǎn)化了評(píng)論撰寫過(guò)程，但它引入了一個(gè)關(guān)鍵的限制：AI缺乏完全理解個(gè)別消費(fèi)者微妙現(xiàn)實(shí)生活經(jīng)驗(yàn)的能力。4因此，AI生成的評(píng)論可能比人類撰寫的評(píng)論表現(xiàn)出更高的偏見(jiàn)程度。圖1展示了一個(gè)在ChatGPT的幫助下生成的評(píng)論（注意：產(chǎn)品細(xì)節(jié)是虛構(gòu)的）。AI生成內(nèi)容中的這種固有偏見(jiàn)可能會(huì)削弱消費(fèi)者對(duì)產(chǎn)品和相關(guān)商家的信任。3鑒于這些挑戰(zhàn)，迫切需要提出一種專門設(shè)計(jì)用于識(shí)別AI生成的虛假評(píng)論的新檢測(cè)方法。這樣的系統(tǒng)使平臺(tái)能夠迅速標(biāo)記或過(guò)濾掉不真實(shí)的內(nèi)容，從而維護(hù)用戶反饋的完整性，并保持平臺(tái)生態(tài)系統(tǒng)內(nèi)的信任。
盡管AI生成的虛假評(píng)論可能與人類撰寫的評(píng)論難以區(qū)分，但它們通常表現(xiàn)出微妙但可識(shí)別的語(yǔ)言模式，表明它們是人工生成的[13]。值得注意的是，這些評(píng)論經(jīng)常復(fù)制企業(yè)在傳統(tǒng)欺騙性內(nèi)容中常用的風(fēng)格標(biāo)記。例如，偽造的評(píng)論往往具有夸張的情感表達(dá)，因?yàn)樗鼈兊闹饕康氖沁^(guò)度贊揚(yáng)或不公正地批評(píng)產(chǎn)品的聲譽(yù)[14]。同樣，當(dāng)商家使用AI工具時(shí)，評(píng)論通常表現(xiàn)出強(qiáng)烈的情感強(qiáng)度。這種模式強(qiáng)調(diào)了將傳統(tǒng)語(yǔ)言線索納入檢測(cè)策略的重要性。通過(guò)分析這些文本特征，平臺(tái)可以更有效地識(shí)別和標(biāo)記AI生成的虛假評(píng)論，即使這些評(píng)論與真實(shí)用戶反饋非常相似。
此外，AI生成的評(píng)論中的詞匯選擇通常是通過(guò)選擇由底層大型語(yǔ)言模型（LLM）計(jì)算出的概率最高的單詞來(lái)確定的。因此，這些評(píng)論的文本輸出與人類撰寫的文本相比，隨機(jī)性較低。這種語(yǔ)言變異性的減少可以使用兩個(gè)先進(jìn)的語(yǔ)言指標(biāo)來(lái)定量評(píng)估：困惑度和突發(fā)性[15]、[16]。這些指標(biāo)評(píng)估了文本的可預(yù)測(cè)性和分布不規(guī)則性，提供了對(duì)LLM生成行為的洞察。鑒于它們的診斷潛力，將這些新穎的語(yǔ)言特征納入AI生成的虛假評(píng)論檢測(cè)框架中是至關(guān)重要的。這樣做可以通過(guò)識(shí)別區(qū)分合成內(nèi)容和真實(shí)人類表達(dá)的微妙統(tǒng)計(jì)模式來(lái)提高檢測(cè)系統(tǒng)的精度。
除了基于語(yǔ)言的方法外，特別是利用深度學(xué)習(xí)算法的自動(dòng)化技術(shù)在檢測(cè)AI生成內(nèi)容方面也取得了進(jìn)展。一個(gè)值得注意的例子是OpenAI，它對(duì)LLM進(jìn)行了微調(diào)，開(kāi)發(fā)了一種能夠識(shí)別高達(dá)95%由GPT-2生成的文本的檢測(cè)器。5盡管這種性能很有前景，但這些模型面臨兩個(gè)關(guān)鍵限制：缺乏可解釋性以及在應(yīng)用于在線評(píng)論等短文本時(shí)的有效性降低。這些限制阻礙了它們?cè)诂F(xiàn)實(shí)世界中的實(shí)際應(yīng)用。
先前的研究通過(guò)將非典型的評(píng)論者行為建模為識(shí)別偽造評(píng)論的手段來(lái)探索異常值檢測(cè)方法[6]、[9]。例如，Kumar等人提出了一種技術(shù)，該技術(shù)構(gòu)建了代表各種評(píng)論者行為特征的最優(yōu)子分布，然后將它們匯總成一個(gè)復(fù)合分布來(lái)檢測(cè)異常評(píng)論者[17]。同樣，Li等人引入了一種基于累積概率密度的方法，將異常值識(shí)別為位于分布尾部的罕見(jiàn)事件[18]。然而，這些方法的一個(gè)持續(xù)挑戰(zhàn)在于確定一個(gè)適當(dāng)?shù)母怕书撝祦?lái)區(qū)分異常值和正常行為。如果沒(méi)有明確的界限，這些模型的準(zhǔn)確性仍然受到限制。因此，迫切需要開(kāi)發(fā)一種創(chuàng)新的異常值檢測(cè)方法，特別是通過(guò)改進(jìn)閾值校準(zhǔn)和可解釋性，以實(shí)現(xiàn)更精確地識(shí)別AI生成的虛假評(píng)論。
為了解決這些限制，我們提出了一個(gè)多方面的方法論框架。首先，我們構(gòu)建了一組綜合變量，整合了傳統(tǒng)的語(yǔ)言特征和新型的語(yǔ)言指標(biāo)。這一豐富的特征集使得對(duì)評(píng)論真實(shí)性的分析更加細(xì)致。接下來(lái)，我們引入了一種基于累積概率密度（CPD）的創(chuàng)新技術(shù)來(lái)估計(jì)給定評(píng)論由AI生成的可能性。這種概率度量作為后續(xù)分類階段的基礎(chǔ)輸入。最后，我們使用計(jì)算出的CPD值來(lái)訓(xùn)練一系列已建立的分類模型。然后使用這些模型來(lái)開(kāi)發(fā)能夠準(zhǔn)確識(shí)別AI生成的虛假評(píng)論的分類器。據(jù)我們所知，這項(xiàng)研究是首次嘗試開(kāi)發(fā)專門用于檢測(cè)AI生成的虛假評(píng)論的可解釋機(jī)器學(xué)習(xí)方法之一。通過(guò)提供透明有效的檢測(cè)機(jī)制，我們的方法為平臺(tái)運(yùn)營(yíng)商提供了關(guān)鍵的決策支持，以標(biāo)記不真實(shí)的內(nèi)容。這一貢獻(xiàn)對(duì)于電子商務(wù)平臺(tái)的聲譽(yù)至關(guān)重要。
本研究的其余部分組織如下。首先，我們回顧了現(xiàn)有的關(guān)于檢測(cè)AI生成的虛假評(píng)論的方法的文獻(xiàn)。其次，我們介紹了本研究中構(gòu)建的兩種變量類別——傳統(tǒng)語(yǔ)言特征和新型語(yǔ)言特征。第三，我們介紹了基于累積概率密度的異常檢測(cè)方法。接下來(lái)，我們使用三個(gè)真實(shí)世界數(shù)據(jù)集評(píng)估了所提出方法的性能。最后，我們討論了研究結(jié)果，并總結(jié)了啟示和未來(lái)的研究方向。
