科研之友
微信
新浪微博
Facebook
分享链接
摘要
电商网站上蕴藏着大量有价值的信息，同时中国的纺织服装产业消费市场非常大，因此，对电商网站上服装数据的爬取、分析非常有意义。为及时准确地获取当前服装产品的流行趋势、消费热点，以便于商家精准投放产品、消费者更理性消费，提出了针对电商网站服装数据的爬取算法fashionDataScrape。该算法将服装商品文字描述信息与图片信息的爬取相分离，具有一定的灵活性，同时能基于关键词爬取服装信息。给出了算法的详细设计类图。采用Python语言实现了该算法，其中主要使用了Requests和Beautiful Soup库，并用lxml作为HTML解析器。以“连衣裙女装新品”、“女装t恤”和“旗袍年轻版”为关键词分别爬取了相应的服装信息，对爬取结果和实际页面进行了人工对比，验证了算法的可行性和有效性。通过对爬取结果的商品描述分析、价格分析和图片的t-SNE聚类可视化分析，进一步验证了电商网站服装数据爬取的意义。
- 单位
