`
Jarymin
  • 浏览: 66791 次
  • 性别: Icon_minigender_1
  • 来自: Mars
社区版块
存档分类
最新评论

工作杂记

阅读更多

今天接到一个任务,实现一个Spider,来方便团队的资讯和内容编辑人员,提高团队的开发效率.说实话,这个东西经常看见别人提起,但是实际动手发现一个问题是,简单的功能好做但是普遍的适应性就很差:比如可以在Sina体育版的新闻实现我的需求可是在时政版就不行-_-!

还有一些专题带了Video的,这个就得做一大堆的条件预判断,OMG,网易和Sohu偶还没有考虑呢!

不过我也发现Google的爬虫也是Python的,呵呵,貌似做的好的爬虫至少需要考虑

1.频繁的小文件读取

2.网站的普遍适应性(采集的命中率)

3.高可靠性

暂时就这么多了,经过昨天12小时的coding大概除了一个单页面的alpha版本,效率还有待提高啊:)

Technorati 标签: Python,Spider
分享到:
评论
2 楼 Jarymin 2008-01-18  
确实很难做到通用,不过我的想法是做成独立的API然后调用
1 楼 imjl 2008-01-18  
通用难哦。

相关推荐

    工作杂记-YUV的dump和read

    工作杂记-YUV的dump和read

    详解element-ui中form验证杂记

    主要介绍了详解element-ui中form验证杂记,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

    git使用杂记

    作为一个开发者,如果现在还不知道git或者还不会使用git,那么你应该好好的反省。自己去好好看一遍的入门介绍吧。今天只是对自己在日常中使用git的一些常用命令的介绍与自己认为不错且...工作区(workingdirectory) 暂存

    bootstrap-dark:黑暗模式和Bootstrap 4权威指南-概念验证

    黑暗模式和引导程序的权威¹4 概念证明/长格式白皮书[深色纸] 此工作内容与。 如果您要进行的相同工作,请访问库。 跳到: 关于我和引领这里的历史首先,我想指出我不是...我患有阅读障碍,并且相对较低-因此这些杂记可

    C语言入门经典

    C语言入门经典,51 单片机 C 语言入门教程(磁动力工作室) 51 单片机 C 语言学习杂记 学习单片机实在不是件易事,一来要购买高价格的编程器,仿真器,二来要学习编程语 言,还有众多种类的单片机选择真是件让人头痛的事....

    信息技术挑战:信息技术的挑战问题

    杂记 这花了多长时间? 是的,我花的时间超过了估计的时间。 部分原因是我将其视为尝试使用grid的机会,而我从来没有机会在此级别上使用过。 而且,我通常没有时间去真正地探讨有关语义选择的琐事。 另一部分是我...

    markdown:前端学习笔记

    前端杂记 策略模式 发布订阅者模式 责任链模式(todo) 0.1+0.2 为什么不等于 0.3 == 和 === 的区别 ... 浏览器 HTTP 的缓存机制 Event Loop 预编译 进阶 前端性能初探-h5 工作笔记 百度地图换高德地图中遇到的坑 ...

    sysadmin-reading-list:幼虫期系统管理员和SRE的阅读清单

    sysadmin阅读列表 幼虫期sysadmin的阅读列表。...这样您便拥有了第一个sysadmin / sre工作或实习机会。 恭喜,这将是一个有趣的旅程。 阅读文章和书籍 我们几乎都学到了一些艰辛的教训-行动中的每个人

    任正非 文集 华为 牛

    13、资源是会枯竭的,唯有文化才能生生不息——在春节慰问团及用服中心工作汇报会上的讲话 14、悼念杨琳 15、自强不息,荣辱与共,促进管理的进步——在机关干部下基层,走与生产实践相结合道路欢送会上的讲话 16、...

    asp.net知识库

    技术基础 New Folder 多样式星期名字转换 [Design, C#] .NET关于string转换的一个小Bug Regular Expressions 完整的在.net后台执行javascript脚本集合 ASP.NET 中的正则表达式 常用的匹配正则表达式和实例 ...

    精美元宵节快乐PPT模板

    到了元代大部分假期都被取消,元朝统治者认为生命在于运动,工作就是休息,全年假期只有16天。 明朝的灯节持续的时间更长,自正月初八到十七整整十天,以显示歌舞升平。 清朝,满族入主中原,宫廷不再办灯会,民间的...

Global site tag (gtag.js) - Google Analytics