Vinted-Scraper

这是一个从 Vinted & Depop 下载图片并抓取数据，然后将其存储在 SQLite 数据库中的工具。

-- 目前正在开发 2.0 版本 (WIP) --

如何使用

1. 下载/克隆此仓库
2. 使用 pip install -r requirements.txt 下载依赖项
3. 运行脚本 python scraper.py

Vinted

将帐户的用户 ID 放入 users.txt 文件中并运行脚本。 该脚本将下载所有图片并将其放入 downloads 文件夹中。 数据将存储在 SQLite 数据库中。

Depop

将帐户的用户名放入 users.txt 文件中，并使用 -d 运行脚本。 该脚本将下载所有图片和视频并将其放入 downloads 文件夹中。 数据将存储在 SQLite 数据库中。

参数

-p [Vinted] 抓取来自您的私信的所有图片。（需要 -s 登录和 -u 设置您的用户 ID） -s "your_vinted_fr_session" [Vinted] 登录到您的帐户。如何获取 sessionid？ -u [Vinted] 设置您的用户 ID -i [Vinted] 定义要下载的最大图片数量。最少 1 张图片。（例如：-i 1 将仅下载产品的第一个图片） -n [Depop] 禁用文件下载（仅抓取产品信息） -g [Depop] 同时下载已售出的商品 -b [Depop] 从特定商品开始。（例如：python3 scraper.py -d -n -b "coose-navy-lee-sweatshirt-amazing-lee"）

示例：

下载来自您的 Vinted 帐户的私信中的所有图片

python scraper.py -p -u 123456789 -s "RS9KcmE1THMxV3NlclRsbEVRdU52ZVp4UG.......ASFe26"

将被抓取的数据

用户的产品的所有图片将被下载。用户的头像也将被下载。

所有信息将存储在 sqlite 数据库中的以下表中：

Vinted 用户

Username User_id Gender Given_item_count Taken_item_count Followers_count Following_count Positive_feedback_count Negative_feedback_count Feedback_reputation Avatar Created_at Last_loged_on_ts City_id City Country_title Verification_email Verification_facebook Verification_google Verification_phone

Vinted 产品

ID User_id Url Favourite Gender Category Size State Brand Colors Price Images Description Title Platform

Depop 用户

Username User_id Bio first_name followers following initials items_sold last_name last_seen Avatar reviews_rating reviews_total verified website

Depop 产品

ID Sold User_id Gender Category Size State Brand Colors Price Image Description Title Platform Address discountedPriceAmount dateUpdated

如果您有任何功能请求，请随时提出 issue :)

免责声明

此脚本仅用于教育目的。 旨在演示网络抓取技术，不应用于任何商业或个人利益。 请注意，使用此软件可能会违反 Vinted 和 Depop 网站的服务条款，您将承担因使用该软件而可能产生的任何后果的全部责任。 此脚本的创建者不对使用该软件时发生的任何损害、伤害或损失负责。 使用风险自负。