跳转至

罗马乌尔都语仇恨言论分类：参数高效微调与提示工程的比较研究

文章背景与核心概要

随着互联网和社交媒体的普及，网络上的有毒及仇恨内容呈指数级增长，对社会造成了严重的负面影响。罗马乌尔都语（Roman Urdu）作为巴基斯坦及全球乌尔都语社区广泛使用的低资源语言，因其非正式的语法、不一致的句式结构以及多变的拼写方式，在自然语言处理任务中面临巨大挑战。

本研究旨在探索在资源受限环境下进行仇恨言论分类的最优技术路径。通过设计四项结构化实验，研究对比了零样本大语言模型推理、基于LoRA的参数高效微调（PEFT）、提示微调（Prompt Tuning）以及基于指令的提示工程（Prompt Engineering）在罗马乌尔都语分类任务中的表现，为低资源语言的治理提供了重要的技术参考。

📖 摘要

随着互联网和社交媒体的广泛普及，有毒和仇恨内容呈指数级增长，造成了严重的困扰和负面的社会影响。罗马乌尔都语是一种在巴基斯坦和全球乌尔都语社区中使用的低资源语言，由于其非正式的语法、不一致的句式结构以及多变的词汇拼写，带来了额外的挑战。本研究旨在确定在数据有限的低资源环境下，进行仇恨言论分类的最有效技术。为了解决这一问题，本研究在多种实验配置下，调查并比较了最新的方法，包括提示微调、使用LoRA的参数高效微调（PEFT）以及提示工程。

Due to the widespread accessibility of the internet and social media, toxic and hateful content has grown exponentially, causing significant distress and negative societal impacts. Roman Urdu, a low-resource language used in Pakistan and among Urdu-speaking communities worldwide, presents additional challenges because of its informal grammar, inconsistent sentence structures, and multiple variations in word spellings. This research aims to identify the most effective techniques for hate speech classification in such low-resource settings with limited data. To address this, the study investigates and compares the latest approaches, including prompt tuning, parameter-efficient fine-tuning (PEFT) using LoRA, and prompt engineering, under various experimental configurations.

为了实现这一目标，研究设计了四项实验： 1. 直接推理： 在零样本设置下评估未经微调的大语言模型，以衡量在数据有限的情况下模型对罗马乌尔都语的基准理解能力。 2. 基于LoRA的PEFT： 仅更新模型参数的一小部分，以降低计算开销。 3. 提示微调： 使用相对于整个语料库极小的训练子集，探索混合及人工设计的提示词。 4. 提示工程： 纯粹依赖精心构建的指令提示，在不进行额外训练的情况下应用零样本和少样本学习。

To achieve this objective, four experiments were designed: 1. Direct Inferencing: Evaluated LLMs without fine-tuning in a zero-shot setting to gauge baseline Roman Urdu comprehension given limited data. 2. PEFT with LoRA: Updated only a small subset of model parameters to reduce computational overhead. 3. Prompt Tuning: Explored mixed and manually crafted prompts using minimal training subsets relative to the entire corpus. 4. Prompt Engineering: Applied zero-shot and few-shot learning relying purely on carefully structured instructional prompts without further training.

🧪 实验设置

本研究通过四种不同的实验路径测试了各种配置：

  1. 零样本直接推理： 评估现成的大语言模型在未经预先适配的情况下对罗马乌尔都语文本的理解能力。
  2. 参数高效微调（PEFT - LoRA）： 选择性地适配部分模型权重，在保持低计算成本的同时优化性能。
  3. 提示微调： 利用混合和人工策划的提示，并保持极小的训练足迹。
  4. 基于指令的提示工程： 利用结构化的零样本和少样本提示模板，直接引导分类任务。

The study tests various configurations through four distinct experimental pathways:

  1. Zero-Shot Direct Inferencing: Assessing off-the-shelf Large Language Models on Roman Urdu text understanding without prior adaptation.
  2. Parameter-Efficient Fine-Tuning (PEFT - LoRA): Selectively adapting a fraction of model weights to optimize performance while maintaining low computational costs.
  3. Prompt Tuning: Utilizing mixed and manually curated prompts with minimal training footprints.
  4. Instruction-Based Prompt Engineering: Leveraging structured zero-shot and few-shot prompt templates to guide classification tasks directly.

🔗 资源与链接