1. 首页内容整理-网易公开课 17-09-28

找到之前收藏的数据, 只有手机端才有.

  var arr = [];
  $(".category_item").forEach(function(item,index){
    //console.log(item) ;
    var obj = {}

### 时间日志
- [x] **05:45** ** [![](https://img.shields.io/badge/--72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?wakeup "") 
- [x] **06:00** *起床* [![](https://img.shields.io/badge/-退步-red.svg "-7天时间清单")](http://tlog.7dtime.com?bad "") [![](https://img.shields.io/badge/-起床-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?getup "") 
- [x] **06:17** *洗漱1* [![](https://img.shields.io/badge/-洗漱1-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?wash1 "") 
- [x] **06:21** *洗澡* [![](https://img.shields.io/badge/-洗澡-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?bath "") 
- [x] **06:53** *卡通* [![](https://img.shields.io/badge/-卡通-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?cartoon "") 
- [x] **07:12** *厕所* [![厕所](https://img.shields.io/badge/厕所-10-72c7ff.svg "厕所-7天时间清单")](http://tlog.7dtime.com?wc "厕所") 
- [x] **08:43** 下楼拿早餐 [![](https://img.shields.io/badge/-杂事-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?minor "") 
- [x] **08:57** *早饭* [![](https://img.shields.io/badge/-早饭-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?breakfast "") 
- [x] **09:14** 爬虫关键词WebCrawler的搜索了解-元收缩 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
- [x] **09:24** 新闻-藏獒被人炒到被锅炒 [![](https://img.shields.io/badge/-杂事-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?minor "") 
- [x] **10:10** 午饭下单明天早餐下单 [![](https://img.shields.io/badge/-杂事-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?minor "") 
- [x] **11:54** *午饭* [![](https://img.shields.io/badge/-午饭-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?lunch "") 
- [x] **11:54** *卡通* [![](https://img.shields.io/badge/-卡通-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?cartoon "") 
- [x] **12:06** *厕所* [![厕所](https://img.shields.io/badge/厕所-10-72c7ff.svg "厕所-7天时间清单")](http://tlog.7dtime.com?wc "厕所") 
- [x] **15:59** 首页内容整理-网易公开课 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") [![](https://img.shields.io/badge/-标题-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?title "") [![](https://img.shields.io/badge/-第一次-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?first "") 
      08:30应该先查看官网API
      10:36shenjianshou.cn相关产品查看注册
      15:47网易公开课个人收藏数据爬取
      15:51导出采集的数据
- [x] **16:36** 钟q-客户问卷调查咨询 [![](https://img.shields.io/badge/-重要-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?high "") 
- [x] **16:53** 对当日有效利用施加的计算构思 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
- [x] **17:20** *厕所* [![厕所](https://img.shields.io/badge/厕所-10-72c7ff.svg "厕所-7天时间清单")](http://tlog.7dtime.com?wc "厕所") 
- [x] **17:30** *晚饭* [![](https://img.shields.io/badge/-晚饭-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?dinner "") 
- [x] **19:18** *卡通* [![](https://img.shields.io/badge/-卡通-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?cartoon "") 
- [x] **19:34** 微信中点击链接进入appstore下载页 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
- [x] **19:48** *卡通* [![](https://img.shields.io/badge/-卡通-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?cartoon "") 
- [x] **20:00** *厕所* [![厕所](https://img.shields.io/badge/厕所-10-72c7ff.svg "厕所-7天时间清单")](http://tlog.7dtime.com?wc "厕所") 
- [x] **20:09** *洗漱2* [![](https://img.shields.io/badge/-洗漱2-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?wash2 "") 
- [x] **21:00** 按照正常流程应该怎样展开工作 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
- [ ] 爬取github作者信息 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
      模拟登录代码
      列表爬取
      内容爬取
      作者信息爬取
- [ ] 开发发布的APP闪退无法再次进入 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
- [ ] 愿景-节约大家上班路上的无效时间 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
- [ ] 收集系统对用户所在行业帮助 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") [![](https://img.shields.io/badge/-运营-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?operate "") 
- [ ] 默认数据-相关操作 [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
      默认数据展示
      服务器登录验证判断与错误提示

### 总结
1.应该先查看官网API[![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") [![](https://img.shields.io/badge/-总结-1ba4ff.svg "-7天时间清单")](http://tlog.7dtime.com?summary "") 
   自己做法反了. 先百度查看文章,看别人是如何使用. 官网上的API使用方法更为简单. 可以快速的知道使用方法和便捷性. 


### 观点及其他
1.对可合作兼职人员时间的利用思考[![](https://img.shields.io/badge/-观点-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?view "") 
   1、了解大家每天空闲时间 2、他们的能力  3、整理现有需求并分工 4、提前构思相关需求
5、彼此间有什么需求,相互帮助. 
情况:零碎的外包工作沟通时间甚至多余自己完成,然后就自己一直1个人.
如果公司有1k人如何分工, 复杂的事情简单化. 先按照项目任务分部门, 1、收集意见归到部门。 2、部门主管判断汇总后开会. 3、好的意见直接排期执行. 
难点是:不协调,部分人忙于闲. 忙的人是执行当前需求,闲的人构思创新服务. 21:12
回到主题如何利用时间?1、自己需求 2、大家需求 3、达成一致先后执行.  有空闲时间的就帮忙减轻自己的负担. 解放自己的双手,自己好些时间在看动画.有解放的价值吗?他人恐怕看着不爽也不愿意.所以自己必须调整. 
需要遵循“补漏”原则,合作一个人就长久保持合作. 最麻烦的是自己的需求难以支撑起大家合作.其次是兼职好些时间没空,加班或者杂事. 他们的时间我无法控制,那就更多考虑如何做好自己,安排好相关事情. 从我出发就是1、我的需求 2、兼职空闲时间 . 3、兼职需求 4、大家兴趣 5、有什么我能帮忙(建立软件聚到整合劳动力)



### 任务详情
#### [x]钟q-客户问卷调查咨询
[![创建](https://img.shields.io/badge/创建-16:30-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![耗时](https://img.shields.io/badge/耗时-16m-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-16:20-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-16:36-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-重要-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?high "") 
     7-12k ,维护+1k. 
 H5页面。需求
 1、首先要求注册登录,注册登录方式可以微信授权。注册以后,再次登录即可直接登录,不再需要注册。
 2、登录以后的页面类似于问卷表格,需要填写:单位、姓名、电话、邮箱。然后是问询需求:以点击选择形式进行。
 3、微信用户提交以后,后台系统要根据用户的填写结果,自动归类,比如A用户需要了解汽车、B用户需要了解电子产品等等,大概有5个左右的类别。
 4、归类以后,将用户需求直接发送到对应的客服邮箱。
 相关要求
 1、问题之间有关联性,不会多,肯定不超过10个;
 2、就是按照5个左右的大类分布即可,因为是涉及到这么几个产品品类;
 3、至少一年;
 4、实时发送

#### [x]午饭下单明天早餐下单
[![创建](https://img.shields.io/badge/创建-10:09-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![完成](https://img.shields.io/badge/完成-10:10-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-杂事-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?minor "") 
#### [x]新闻-藏獒被人炒到被锅炒
[![创建](https://img.shields.io/badge/创建-17/09/28-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![耗时](https://img.shields.io/badge/耗时-10m-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-09:14-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-09:24-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-杂事-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?minor "") 
#### [x]下楼拿早餐
[![创建](https://img.shields.io/badge/创建-17/09/28-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![耗时](https://img.shields.io/badge/耗时-13m-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-08:30-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-08:43-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-杂事-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?minor "") 
#### [ ]爬取github作者信息
[![创建](https://img.shields.io/badge/创建-22:00-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-1h-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![开始](https://img.shields.io/badge/开始-22:01-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
##### [ ]模拟登录代码
[![创建](https://img.shields.io/badge/创建-22:00-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-15m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![开始](https://img.shields.io/badge/开始-22:01-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![取消](https://img.shields.io/badge/取消-22:23-orange.svg "取消-7天时间清单")](http://tlog.7dtime.com?cancelled "取消") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
      b10 验证码识别+模拟登录API Deme 查看.
需要找到163的登录接口, 网页登录后立刻刷新了. 需要抓包才能找到接口. [![7天时间清单](https://img.shields.io/badge/时间-22:08-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "22:08")
当下需要抓取的是github, 查询并登录163只是联系程序技术,从结果看是浪费时间. demo中只有一个data和post很简单. 但实际使用难以判断. 
下载其他人做的爬取github想要查找别人做的工作和接口.我在下载搜索登录接口协议,搜索时间管理不需要登录也能调用. 浏览器隐私模式进入网站没有登录情况下直接使用搜索正常. 爬取作者不需要登录.

##### [ ]列表爬取
[![创建](https://img.shields.io/badge/创建-22:01-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-15m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
##### [ ]内容爬取
[![创建](https://img.shields.io/badge/创建-22:01-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-15m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
##### [ ]作者信息爬取
[![创建](https://img.shields.io/badge/创建-22:01-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-15m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
#### [x]微信中点击链接进入appstore下载页
[![创建](https://img.shields.io/badge/创建-19:22-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-15m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![耗时](https://img.shields.io/badge/耗时-12m-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-19:22-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-19:34-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
     微信跳转appstore 微信浏览器内打开App Store链接,并跳转到对应的app页面
JS实现点击网页判断是否安装app并打开否则跳转app store
跳转到APP指定页面  http://www.jianshu.com/p/738ac2b8865d
打开App Store链接,并跳转到对应的app页面  http://blog.csdn.net/qq_24892029/article/details/53064054
微信跳转appstore的困扰?  https://www.zhihu.com/question/24029212
关键词 Universal Links, URL Scheme,meta ,Openinstall,微下载

#### [x]按照正常流程应该怎样展开工作
[![创建](https://img.shields.io/badge/创建-20:35-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-20m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![完成](https://img.shields.io/badge/完成-21:00-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![暂停](https://img.shields.io/badge/暂停--orange.svg "暂停-7天时间清单")](http://tlog.7dtime.com?toggle "暂停") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
     产品需求、手稿图、原型图、设计图、前端、后端、测试.
现在1个人+外包如何执行?手稿图、视频需求、[原型图]、找兼职 前端、后端 说明需求、建组讨论. 确定接口文档, 执行编码, 测试. [![7天时间清单](https://img.shields.io/badge/时间-20:46-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "20:46")
现在总感觉没有展开工作,基本自己1人完成,原因在什么地方? 需求不明,找到他人沟通失败.觉得多次失败浪费时间导致自己放弃找兼职. 寻找熊x做助理工作总是长时间没出结果,最后放弃并让我自己解决. 兼职基本不太顺利. [![7天时间清单](https://img.shields.io/badge/时间-20:50-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "20:50")
理想状态是兼职系统完成,但这个属于APP最后面功能系统。没必要先做好系统在找兼职开发. 如果做好了还有什么事情需要兼职参与呢? 需要重新理清工作,并做长远规划构思. 
1、需要兼职主动 2、期望兼职能发现不完善的功能 3、前后端配套 4、确定兼职原则,怎样是做的好与不好. 5、重新评估系统(查漏补缺) 6、测试兼职 7、市场人员体验反馈 8、后台压力测试 9、产品优化 10、专业测试报告 11、客服
需要理清近期版本. 测试后并罗列出当前版本bug或遗漏功能. [![7天时间清单](https://img.shields.io/badge/时间-21:01-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "21:01")

#### [ ]开发发布的APP闪退无法再次进入
[![创建](https://img.shields.io/badge/创建-18:58-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![开始](https://img.shields.io/badge/开始-20:12-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![暂停](https://img.shields.io/badge/暂停--orange.svg "暂停-7天时间清单")](http://tlog.7dtime.com?toggle "暂停") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
     百度搜索出来的资料感觉想关心不大。卸载APP后无论在PP助手还是itunes中都无法安装. itunes中安装失败:显示图标是灰色,点击后提示无法安装此应用. 手机连接电脑后,拖动ipa到itunes左下方开始了直接安装.
昨天还能安装,今天怎么不行了. 升级ios系统在试试吧. [![7天时间清单](https://img.shields.io/badge/时间-20:30-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "20:30")
替换启动图片后,重新打包APP在测试下.等待手机系统更新完毕  [![7天时间清单](https://img.shields.io/badge/时间-20:42-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "20:42")
2.47gb,下载20分钟后速度变成了100kb/s. 尝试暂停后又重新开始下载. [![7天时间清单](https://img.shields.io/badge/时间-20:53-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "20:53")
下载完成后系统更新失败. 要是需要重新加载就尴尬了. [![7天时间清单](https://img.shields.io/badge/时间-21:24-ff69b4.svg "7天时间清单")](http://tlog.7dtime.com?time "21:24") 
没有重新下载2.5gb的新系统,系统更新后.app依然安装依然和上面一样黑logo异常.dcloud生成新的app失败,无法下载. 等到明天在打包尝试一下.

#### [x]对当日有效利用施加的计算构思
[![创建](https://img.shields.io/badge/创建-10:10-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-20m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![耗时](https://img.shields.io/badge/耗时-09m-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-16:44-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-16:53-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
     一旦任务中涉及跨日任务,时间计算就变得麻烦. 如何计算当日有效时间?
1、通过当日toggle提取有效时间. 2、新增字段专门记录日有效时间.(需新建表和字段保存)
方式2更可行,简便. 
新字段记录在每次暂停或者完成时触发. 如果忘记标记"完成"状态会导致数据异常(丢失),创建新单独因为1个字段创建表也感觉很奇怪. 现在只能新建表. 和数据统一放到一起. z39base=id uid day used done created undo toggle timeout  

#### [ ]愿景-节约大家上班路上的无效时间
[![创建](https://img.shields.io/badge/创建-09:32-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
#### [x]爬虫关键词WebCrawler的搜索了解-元收缩
[![创建](https://img.shields.io/badge/创建-17/09/28-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![耗时](https://img.shields.io/badge/耗时-14m-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-09:00-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-09:14-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") 
#### [ ]收集系统对用户所在行业帮助
[![创建](https://img.shields.io/badge/创建-17/09/27%2021:22-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") [![](https://img.shields.io/badge/-运营-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?operate "") 
#### [x]首页内容整理-网易公开课
[![创建](https://img.shields.io/badge/创建-17/09/27%2011:41-orange.svg "创建-7天时间清单")](http://tlog.7dtime.com?created "创建") [![预计](https://img.shields.io/badge/预计-30m-orange.svg "预计-7天时间清单")](http://tlog.7dtime.com?need "预计") [![耗时](https://img.shields.io/badge/耗时-NaNm-orange.svg "耗时-7天时间清单")](http://tlog.7dtime.com?used "耗时") [![开始](https://img.shields.io/badge/开始-10:10 17/09/27%2011:32-orange.svg "开始-7天时间清单")](http://tlog.7dtime.com?started "开始") [![完成](https://img.shields.io/badge/完成-15:59-orange.svg "完成-7天时间清单")](http://tlog.7dtime.com?done "完成") [![暂停](https://img.shields.io/badge/暂停--orange.svg "暂停-7天时间清单")](http://tlog.7dtime.com?toggle "暂停") [![继续](https://img.shields.io/badge/继续--orange.svg "继续-7天时间清单")](http://tlog.7dtime.com?toggle "继续") [![暂停](https://img.shields.io/badge/暂停--orange.svg "暂停-7天时间清单")](http://tlog.7dtime.com?toggle "暂停") [![继续](https://img.shields.io/badge/继续--orange.svg "继续-7天时间清单")](http://tlog.7dtime.com?toggle "继续") [![暂停](https://img.shields.io/badge/暂停--orange.svg "暂停-7天时间清单")](http://tlog.7dtime.com?toggle "暂停") [![](https://img.shields.io/badge/-紧重-yellowgreen.svg "-7天时间清单")](http://tlog.7dtime.com?critical "") [![](https://img.shields.io/badge/-标题-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?title "") [![](https://img.shields.io/badge/-第一次-72c7ff.svg "-7天时间清单")](http://tlog.7dtime.com?first "") 
     找到之前收藏的数据, 只有手机端才有. 
```javascript
  var arr = [];
  $(".category_item").forEach(function(item,index){
    //console.log(item) ;
    var obj = {} ;
    obj.url = $(item).find("a").attr("href") ;
    obj.img = $(item).find("img").attr("src") ;
    obj.title = $(item).find(".category_title").text() ;
    arr.push(obj);
  })
  JSON.stringify(arr)

基本页面数据有了,缺少视频文件链接.页面里的内容js就无法获取到了.还是需要专业强大的采集系统程序. 7天时间清单 x 评估40m s7天时间清单 scrapoxy.io 7天时间清单 结论不适合. 爬虫代理小记与aiohttp代理尝试 http://www.jianshu.com/p/1cd6d34407e2 有没有这样的爬虫代码范例 https://neue.v2ex.com/t/392367 PhantomJs-->chrome headless (puppeteer Headless Chrome Node API) 7天时间清单 Scrapoxy 文档查看,他不是一个爬虫. 是一个代理,猜测类似ip池作用. 7天时间清单 Node Crawler 基于Node.js的爬虫工具 – Node Crawler http://www.cnblogs.com/aibo/p/5445164.html 如何使用nodejs做爬虫程序 https://www.zhihu.com/question/31679802 使用node-crawler和jsdom完成爬虫 https://cnodejs.org/topic/57c529cf9b447b634391c814 文档查看学习,已了解基本功能和用法. 7天时间清单

[x]应该先查看官网API

创建 完成 自己做法反了. 先百度查看文章,看别人是如何使用. 官网上的API使用方法更为简单. 可以快速的知道使用方法和便捷性.

[x]shenjianshou.cn相关产品查看注册

开始 完成 shenjianshou 也使用Crawler,借助他可以帮我省去很多功夫. 刚好打算使用Crawler来进行采集工作.

[x]网易公开课个人收藏数据爬取

创建 预计 开始 完成 暂停 继续 暂停 网址 https://m.open.163.com/collection#!/movie 规则熟悉 selector: "抽取规则", //默认使用XPath xpath语法了解 http://www.w3school.com.cn/xpath/xpath_syntax.asp 7天时间清单 爬取失败,需要用户先登录.想办法设置修改header UserAgent.(最快的学习是以实例为参考看他人实现过程) 7天时间清单 页面采用了接口的方式获取数据,不是系统中的url分页. 7天时间清单 提供了configs.beforeCrawl 模拟登陆, 以后测试学习此功能. 7天时间清单 shenjian 官网demo查看完毕,比对demo中的网址.查看实际数据接口更清晰掌握使用方法. 7天时间清单 api中返回的接口需要 ASCII转为native(utf8)格式. 1、登陆 2、获取分页数据 3、从分页数据获取页面内容. 4、解析页面内容数据. 之前已经直接通过页面js获取到了页面的数据. 可以省去1、2、3的工作. 需要根据js数组获取页面内容详情数据. 直接使用node-crawler更合适 7天时间清单 测试中总是犯错,控制台显示正常.运作在返回的数据中发现 页面是框架,只有少数内容,判断是后期获取数据后渲染的dom. 7天时间清单 搜索 puppeteer spider 查找 puppeteer的实际用法. 7天时间清单 https://github.com/lhang/front-end-hard/blob/master/src/try-puppeter/spider.js x 为什么我也开始自己写代码来爬取数据,因为我任务shenjianshou可以完成任务, 采用的技术也是自己写部分代码.实际过程不能满足需求就自然的演变成自己写代码. 7天时间清单 继续查看神箭手的示例,似乎可以完成自动渲染. 可以用它完成我的需求.demo中说只需添加1个参数enableJS: true, 系统会自动爬取新发现的网页.我只需要指定网页数据. 163网页会自动判断不是手机就自动跳转. 可能在爬虫程序中也需要对应编程 7天时间清单 单属性采集成功.但内容页面缺少列表页面的img属性, 需要数据合并. 第一层做数据字典,采集完成后进入afterExtractField从字典中找到数据后合并. video中更有poster属性包含图片. 选择需要从video标签的属性中获取数据,加群后等待申请通过. 先继续查看官网api. 看到可以用正则表达式替换xpath 7天时间清单 selector: "//div[contains(@class,'video-wrapper')]/video", -->selector: "\<video .?src=\"(.?mp4)", 7天时间清单

[x]导出采集的数据

创建 预计 开始 完成 系统直接提供发布到服务器系统,现在我是需要导出本地js数据. 项目还没上线正是服务器. 仔细一看可以导出到文件 excel,csv,mysql 7天时间清单

0.0.1. [ ]默认数据-相关操作

创建 预计

[ ]默认数据展示

创建 预计 开始 暂停 需要按照逻辑模拟数据库数据,便于进入已有的逻辑. 否则需要写逻辑解析数据. 参考usertask中的数据格式 tasks.tags =[{taskid,key,value},{...},...] 编辑了基本数据格式. 7天时间清单 +博客默认文件. 解析&修改默认数据. +项目的数据按部门分类.

[ ]服务器登录验证判断与错误提示

创建 预计

Copyright & copy www.7dtime.com 2014-2017 all right reserved,powered by Gitbook该文件修订时间: 2017-12-24 15:03:44

results matching ""

    No results matching ""