全球人工智能:专注为AI开发者提供全球最新AI技术动态和社群交流。用户来源包括:北大、清华、中科院、复旦、麻省理工、卡内基梅隆、斯坦福、哈佛、牛津、剑桥等世界名校的AI技术硕士、博士和教授;以及谷歌、腾讯、百度、脸谱、微软、华为、阿里、海康威视、滴滴、英伟达等全球名企的AI开发者和AI科学家。
文章来源:Techug 作者:程序师视野
PornHubBot源代码介绍:
PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
项目爬的是PornHub.com,结构简单,速度飞快
爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。
10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]
所需的环境和架构:
开发语言: Python2.7
开发环境: MacOS系统、4G内存
数据库: MongoDB:
启动前配置:
安装MongoDB,并启动,不需要配置
安装Scrapy
安装Python的依赖模块:pymongo、json、requests
根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置
启动指令:python PornHub/quickstart.py
运行截图:
数据库说明:数据库中保存数据的表是 PhRes。以下是PhRes表字段说明:
展开全文
GitHub资源:https://github.com/xiyouMc/WebHubBot
GitHub资源:https://github.com/xiyouMc/WebHubBot
声明:本文内容仅供AI技术研究使用,严禁传播色情内容!
热门文章推荐
重磅|中国医疗机器人行业图谱:2家上市,12家获融资,近1/3的团队来自哈工大
重磅|这家只上了中小板的AI公司市值或将超万亿!!!!!
重磅|佩奇致股东公开信:除了谷歌,Alphabet还做了啥?
重磅|滴滴宣布融资380亿(估值约3500亿):重点布局AI业务!
最新|霍金称世界正迈入“新科学复兴”,李开复微博点赞
资源|杜克大学计算机统计学(Python)全部内容中文翻译
重磅|马斯克的第四次惊天创举:这一次,他将拿人脑开刀!
重磅|15种排序算法动画演示(附视频)
2、本站永久网址:https://www.yuanmacun.com
3、本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长进行删除处理。
4、本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
6、本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
源码村资源网 » 视频打赏源码(视频打赏源码搭建)
1 评论