工作流录制器 WorkflowLearner

项目概述 Summary

本项目旨在通过使用PSR.exe录制的MHT文件，让大语言模型（LLM）学习工作流。PSR.exe是Windows操作系统中的问题步骤记录器，可以记录用户操作并生成MHT文件。通过解析这些MHT文件，LLM可以学习和理解用户的工作流程。

在线演示demo： https://deepnote.com/app/skedge-d0bd/-9355fadf-b8e7-4dfb-acf1-7c56103d1360?utm_source=app-settings&utm_medium=product-shared-content&utm_campaign=data-app&utm_content=9355fadf-b8e7-4dfb-acf1-7c56103d1360

功能 Functions

• 使用PSR.exe录制用户操作并生成MHT文件。
• 解析MHT文件并提取工作流信息。
• 使用LLM学习和理解工作流。

安装 installment

前提条件 Requirements

• Windows操作系统 Windows operating system
• Python 3.x
• PSR.exe（问题步骤记录器，Windows自带;Problem Steps Recorder, included with Windows）

安装步骤 Install Steps

克隆仓库/Clone the repository:

git clone https://github.com/u3588064/WorkflowLearner
cd llm-workflow-learning

安装依赖/Install dependencies:

pip install -r requirements.txt

使用方法 Methods

使用PSR.exe录制用户操作 Recording actions with PSR.exe

1. 打开PSR.exe（问题步骤记录器），可通过Win7/Win8/Win10的搜索栏搜索找到。
2. 点击“开始记录”按钮，然后开始你的工作。PSR.exe会自动记录鼠标动作（如点击、拖动、滚动等）以及键盘动作（仅是动作，不会记录键入的内容）。
3. 完成操作后，点击“停止记录”按钮。软件会自动弹出保存窗口。
4. 结果会以一个Zip压缩包存在，压缩包内是MHT格式的网页，内含分步步骤以及屏幕截图。

解析MHT文件 Parse MHT files:

python parse_mht.py path/to/your/file.mht

使用LLM学习工作流 Use LLM to learn workflows:

python learn_workflow.py path/to/parsed/data.json

文件结构 File Structure:

llm-workflow-learning/
│
├── parse_mht.py          # 解析MHT文件的脚本
├── learn_workflow.py     # 使用LLM学习工作流的脚本
├── requirements.txt      # 项目依赖
├── README.md             # 项目说明文档
└── data/                 # 存放解析后的数据文件

贡献 Contributing

欢迎贡献！请提交Issue或Pull Request。

许可证 License

本项目采用MIT许可证，详见LICENSE文件。

联系方式 Contact

如果您有任何问题或需要进一步的信息，请联系项目维护者：u3588064@connect.hku.hk。