米乐M6

公司新闻

FCS 前沿研究:自动化 GUI 控件分类米乐M6 M6米乐

  米乐 M6米乐 M6图形用户界面 (GUI)的控件在移动应用程序 (apps) 中是必不可少的。它们被用于与用户交互并帮助用户在活动之间导航。由于大多数应用程序通过 GUI与其用户交互,因此应用程序开发过程的几个方面(例如 GUI 设计和测试)成为关键任务。这些任务通常需要自动化识别这些控件的类型(例如 CheckBox 和 EditText)。因此,能否获得更好的控件分类性能成为这些任务成功的关键之一。近年来,研究人员提出了许多提高控件分类性能的技术。然而,先前的工作在很大程度上依赖于模型架构的手动设计。这涉及许多手动工作来设计精美的模型架构,并且通常需要专业技能。它需要经历多次试验和错误,而且试验既费时又昂贵。此外,GUI控件的类内差异大和跨类相似等特点,对准确检测和分类控件类型提出了一些挑战。因此,一种可以使架构设计自动化的方法会很有帮助。研究人员和从业者可以利用这种方法来减少设计良好训练模型架构的时间。此外,在数据集上生成模型架构将有助于提高性能。

  本文提出了NASW方法来自动搜索良好架构,并基于标记的控件数据集生成分类模型。NASW 利用神经架构搜索 (NAS) 的能力来减少设计良好架构的时间消耗并提高性能。为了达到上述目标,我们首先设计了一个基于单元的搜索空间,其中包含了多种架构。其次,我们使用连续松弛技术,将我们的搜索空间转换为连续搜索空间。然后,我们使用梯度下降算法,从该搜索空间中搜索一个最好的单元格作为架构的核心元素。被搜索出的最好单元被堆叠以创建候选架构。而后,根据搜索后的验证性能选择性能最佳的候选架构。最后,我们在大型训练集上,对该架构重新训练,以获得用于控件分类的 NASWm 模型。

  我们的实验结果表明:(i)本文提出的方法 NASW 可以在不到1小时的时间内,获得用于控件分类的最佳模型架构,(ii)NASW的性能优于使用手动设计的模型架构。该模型将能在GUI代码生成和测试等任务中,发挥重要作用。