Spider技术:设计Spider时要解决的几个问题

spider是整个搜索引擎系统中很重要的一个组成部分,可以说是搜索引擎的基础。它不仅仅是为搜索引擎提供了搜索对象——海量数据,更重要的是它使搜索引擎从一个检索工具上升为一个信息整合的平台。搜索引擎的本质就是信息的整合,通过信息的整合构建了一个用户平台。这样就使得搜索引擎成为一个很好的且很有利润的商业化对象。 好的搜索引擎必须配一个好的spider,好的spider需要设计人员优雅的去设计。 设计时spider重点要解决以下几个问题:1. 抓取的效率             抓取的效率和计算机硬件的性能、硬件的多少、网络的带宽有关系,但为了提高抓取效率不能一味地增加硬件,而是要利用有限的硬件资源在一定的时间内抓取最多的的网页。            常见的提高抓取效率的策略有:            (1)采用多线程并发抓取            (2)采用单线程、非阻塞I/O抓取            (3)分布式抓取,把抓取工作分布到多台服务器完成,对于Google这样的搜索引擎还包括地理上的分布式,把抓取服务器机群分布到全球各个国家的主干网上抓取。            [...]

By |2024-01-19T15:07:14-08:00March 13, 2008|Archive|0 Comments

用户求助信

这是某IT公司售后服务部接到的一封用户求助信: 亲爱的技术支持:        我急需您的帮助.我最近将"女朋友7.0"升级到"妻子1.0",发现这个新程序意外地启动了孩子生产程序,占用了大量的空间和珍贵的资源.这是产品使用手册中没有提到的.        此外,"妻子1.0"自动将自己安装到其它的所有的程序中.它随系统同时启动.监控整个系统的状态."男人夜出狂欢2.5"和"传奇魔兽奋战江湖1.8"无法再运行,一旦运行了,那"妻子1.0"程序系统即将崩溃...试图运行"周末懒虫6.3"也经常失败,而"周末购物7.1"却取为代之运行,看来我无法保留"妻子1.0",因为它和我喜欢运行的任何程序都不相容.我打算回到"女朋友7.0",可是这个程序又无法卸载.        请您帮帮我吧~!                                                                                               用户:QXQ售后服务部给QXQ的回信: [...]

By |2024-01-19T15:06:23-08:00March 12, 2008|Archive|0 Comments

脚扭伤后护理办法简介

扭伤是生活中难免发生的问题,尤其是脚踝关节是最容易扭伤的部位,一旦扭到,最直接的反应就是「痛」,然后才会依扭伤的程度,看看是否会有肿胀或是瘀血的情形。对于这种伤害,许多人常不以为然,而常常旧疾未愈,新伤复发,成为习惯性反复扭伤,影响运动机能与日常生活。脚踝扭伤,轻者只是局部轻微疼痛,重者可出现整个足面瘀青、肿胀,甚至寸步难行。急性发作时,应立即休息,停止运动、比赛。   一、脚踝扭伤后要先分清伤势的轻重。如果脚扭伤后能持重站立,勉强走路,说明扭伤为轻度,可自己处置;如果脚扭伤后足踝活动时有剧痛,不能持重站立或挪步,按着疼的地方在骨头上,并逐渐肿起来,说明可能扭伤到骨头,应立即去医院摄片诊治。二、不要再转动已受伤的关节是护理的第一课,因为还没有分清是不是有骨折。   三、正确使用冷敷和热敷。   扭伤初期,破裂的小血管在流血,此时可用冷敷,使血管收缩凝血,控制伤势发展。   冰敷;可用塑料袋装一些冰块后,再加点水敷在受伤的地方,每敷十五分钟后,休息五分钟,这样的动作可以重复一、二小时左右(约三天时间)。   [...]

By |2024-01-19T15:05:20-08:00March 12, 2008|Archive|0 Comments

JSP Framework

Action Servlet                                    http://actionframework.org/                         构建Web应用的MVC框架Barracuda                                         http://barracudamvc.org/Barracuda/           Web表示框架BSF                                                   http://jakarta.apache.org/bsf/                       Bean脚本框架Coco Base                                        http://thoughtinc.com/cber_index.html         [...]

By |2024-01-19T15:04:32-08:00March 10, 2008|Archive|0 Comments

洗脸四注意

1 洁面时水温以 30℃ 为宜。   洗脸用热水、温水还是凉水,因人而异。简单地说,非油性皮肤和混合肤质的人,最好用高于30℃ 的温水洗脸,但要低于体温,用手试有温热感,不觉得烫即可。这种温水不仅可以轻松洗去面部浮尘,还可使毛孔张开,利于皮肤的深层清洁。注意水温不宜过热, 超过人体正常体温时,面部血管壁的活力就会减弱,皮肤容易变得松弛无力、发干,出现皱纹。   2 洁面后用冷水洗脸   洗脸时,先用温水将洁面用品揉出泡沫,敷于面部,轻柔地按摩1分钟,T形部位着重按摩。彻底冲净泡 [...]

By |2024-01-19T15:03:23-08:00March 10, 2008|Archive|0 Comments

冷热水洗脸的利与弊

热水还是冷水洗脸的确还是有点讲究的。简单的说,油性和混合肤质最好用温热水洗脸,热水使毛孔张开,更利于深层清洁。冷水洗脸最大的好处是骤然收紧毛孔, 对皮肤健康是很好的。长期用冷水洗脸你就会发现自己不是很怕冷。博士年轻的时候坚持洗冷水澡,冬天穿的很少也不生病的。缺点是不利于清洁毛孔。 如果脸部出油不是很厉害,肤质还算正常的话,最健康的洗法是:用温热水将洁面用品揉开起沫,柔和的按摩1分钟,t形部位着重按摩。 彻底冲净泡沫后,最后用冷水拍拍脸。 根据皮肤性质 油性皮肤:洗脸时在“温热水”中滴白醋,能有效地清洁皮肤上过多的皮脂、脱屑和尘埃,使皮肤光洁美观,并减轻毛孔阻塞。 干性皮肤:玫瑰浸泡的水中加几滴蜂蜜,蘸湿整个面部,用手拍至干燥。这样每晚反复2-3次,能使面部滋润、光滑、细腻。 中性皮肤:晚上用冷水洗脸后,再用热一点的水蒸汽蒸脸片刻,然后轻轻抹干。 衰老皮肤:早晨用冷水洗脸,可加些食盐,最好是海盐;也可用冷的浓茶洗脸或在洗脸水中加入鲜果汁。 注意事项 [...]

By |2024-01-19T15:02:35-08:00March 10, 2008|Archive|0 Comments

眼前飞蚊症和闪光

什么是飞蚊症? 眼前有小飞蚊或黑影飘动,称为飞蚊症。 玻璃体是眼球内果冻样的液体,其中的漂浮物或细胞可引起飞蚊症。 虽然这些物体好象在您的眼前,实际上她们是在眼内飘来飘去,您所看到的是她们在视网膜上的投影。 飞蚊症状可有多种形状:小点状、环状、线条形、云彩样或是蜘蛛网样。 飞蚊症的原因 进入中午后,玻璃体开始变浓、皱缩、变性,牵引眼球壁,引起玻璃体后脱离,是飞蚊症最常见的原因。 玻璃体后脱离常见于以下患者: ●近视眼; ●既往进行过白内障手术者; [...]

By |2024-01-19T14:58:50-08:00March 8, 2008|Archive|0 Comments

白内障

什么是白内障? 白内障是指眼球内的晶状体发生浑浊。 以下观点希望能消除您的一些误解: 1、 白内障不是位于眼球上的一层薄膜。 2、 过度用眼不会引起白内障。 3、 不是一种癌症。 4、 [...]

By |2024-01-19T14:57:42-08:00March 8, 2008|Archive|0 Comments

结膜炎

什么是结膜炎 结膜炎是覆盖在眼睑内面,眼球前部眼白表面的一层透明薄膜,结膜为就是发生在结膜的炎症或感染,当结膜受到各种刺激后,将出现水肿、眼红,因此结膜炎又称为“红眼病”,可累及单眼或双眼。 症状和体征: ·眼红; ·眼睑红肿; ·眼痒、眼烧灼感; ·流泪或溢泪; ·晨起时轩分泌物多而难以睁眼。 诊断 结膜炎一般病情较轻,但一旦发病,就立即治疗,以避免引起并发症。医生将询问病史、症状和治疗用药情况,并进行裂隙灯显微镜检查。 [...]

By |2024-01-19T14:56:50-08:00March 8, 2008|Archive|0 Comments

干眼症

什么是干眼? 您的眼睛是否刺痛、烧灼感、或有异物感?眼睛信赖泪液湿润其表面或洗眼,才会感觉舒适。正常情况下,眼睛表面有一层“泪膜”,如果泪液分泌不足,眼球表面就会变得干燥,这就是“干眼症”。 泪液不足 当我们哭泣时,眼睛会分泌大量的泪液,每次眨眼之后,泪液将布满整个眼球表面,它能保持眼球湿润和舒适,我们几乎感觉不到它的存在,但如果失去泪液的保护,眼球就会变得干燥,此时刺痛、烧灼感、异物感就出现了。 干眼症的病因 很多的原因可能引起干眼症,包括: ·年龄; ·高温环境; ·风尘、烟雾以及天气干燥; ·过敏原如枯草热; [...]

By |2024-01-19T14:55:48-08:00March 8, 2008|Archive|0 Comments
Go to Top