使用图神经网络进行设备上内容蒸馏

ditihekhatun15

在当今的数字时代智能手机和桌面网络浏览器是访问新闻和信息的主要工具。然而网站混乱的激增——包括复杂的布局导航元素和无关的链接——严重损害了阅读体验和文章导航。对于有无障碍要求的个人来说这个问题尤其严重。为了改善用户体验并使阅读更容易和用户可以利用阅读模式功能该功能通过处理网页以允许自定义对比度可调整文本大小更清晰的字体以及启用文本转语音实用程序来增强可访问性。此外的阅读模式还可以从应用程序中提取内容。扩展阅读模式以涵盖广泛的内容并提高其性能同时仍然在用户设备上本地运行而不向外部传输数据提出了独特的挑战。为了在不损害隐私的情况下扩大阅读模式功能我们开发了一种新颖的设备上内容蒸馏模型。与使用一种仅限于新闻文章的启发式方法的早期尝试不同我们的模型在各种类型内容的质量和多功能性方面都表现出色。

我们确保文章内容不会脱离当地环境的限制。我们的设备上内容蒸馏模型可以将长篇内容顺利地转换为简单且可定制的布局以提供更愉快的阅读之旅同时也优于  沙特阿拉伯手机号码列表 领先的替代方法。在这里我们探讨了这项研究的细节重点介绍了我们的方法方法和结果。图神经网络我们不依赖于难以维护和扩展到各种文章布局的复杂启发式方法而是将此任务视为完全监督的学习问题。这种数据驱动的方法使模型能够更好地跨不同布局进行泛化而不受启发式方法的约束和脆弱性。以前优化阅读体验的工作依赖于或文档对象模型的解析过滤和建模是用户的浏览器从站点自动生成的编程接口它表示文档的结构并允许其被操纵。新的阅读模式模型依赖于可访问性树它提供了简化且更易于访问的表示。辅助功能树是从树自动生成的并由辅助技术利用以允许残障人士与内容进行交互。这些可以在浏览器和上通过对象获得这些对象是为和本机应用程序内容提供的。我们首先手动收集和注释可访问性树。该项目使用的数据集包含大约个标记示例而数据集包含大约个标记示例。





我们开发了一种新颖的工具它使用图神经网络通过多类监督学习方法从可访问性树中提取基本内容。数据集由从网络上采样的长篇文章组成并标有标题段落图像发布日期等类别。是处理树状数据结构的自然选择因为与通常需要详细的手工制作的特征来理解此类树内的布局和链接的传统模型不同自然地学习这些连接。为了说明这一点请考虑家谱的类比。在这样的树中每个节点代表一个家庭成员连接表示家庭关系。如果要使用传统模型预测某些特征可能需要具有某种特征的直系亲属数量等特征。然而对于这种手动特征设计就变得多余了。通过直接将树结构输入模型利用消息传递机制每个节点与其邻居进行通信。随着时间的推移信息在网络上共享和积累使模型能够自然地辨别复杂的关系。回到可访问性树的背景这意味着可以通过理解和利用树内的固有结构和关系来有效地提取内容。此功能使他们能够根据树内的信息流识别并可能省略非必要部分从而确保更准确的内容提炼。我们的架构很大程度上遵循编码处理解码范例使用消息传递神经网络对文本节点进行分类。整体设计如下图所示。文章的树表示是模型的输入。我们根据边界框信息文本信息和可访问性角色计算轻量级特征。