基于Groovy的分布式网络爬虫系统的设计与实现



基于Groovy的分布式网络爬虫系统的设计与实现

分类：教育论文网→工业技术论文→自动化技术、计算机技术论文→计算技术、计算机技术论文→计算机的应用论文→信息处理（信息加工）论文→检索机论文

基于Groovy的分布式网络爬虫系统的设计与实现

论文目录
摘要	第1-7页
Abstract	第7-11页
第1章绪论	第11-15页
· 研究背景与意义	第11页
· 国内外研究现状	第11-13页
· 本论文研究内容及章节安排	第13-15页
· 研究内容	第13-14页
· 章节安排	第14-15页
第2章相关技术基础	第15-20页
· 网络爬虫系统简介	第15页
· 主题页面分布特征	第15-16页
· HTTP通信协议	第16-18页
· HTTP协议简介	第16-17页
· HTTP请求方式	第17页
· HTTP响应状态	第17-18页
· 脚本语言介绍	第18-19页
· 本章小结	第19-20页
第3章网络爬虫系统CTCS的需求分析	第20-24页
· 项目概述	第20页
· 系统目标及功能需求	第20-22页
· 系统目标	第20页
· 系统功能需求	第20-22页
· 运行环境需求	第22-24页
· 系统运行平台需求	第22-23页
· 系统运行环境分析	第23-24页
第4章网络爬虫系统CTCS的设计	第24-42页
· 系统结构设计	第24-26页
· 系统体系结构	第24-25页
· 系统拓扑结构	第25-26页
· 各子系统的模块划分与设计	第26-34页
· 爬虫终端子系统	第26-29页
· 调度中心子系统	第29-30页
· 数据中心子系统	第30-32页
· 日志及监控子系统	第32-34页
· 各子系统内部工作流程	第34-40页
· 爬虫终端子系统工作流程	第35-36页
· 调度中心子系统工作流程	第36-38页
· 数据中心子系统工作流程	第38-39页
· 日志及监控子系统工作流程	第39-40页
· 各子系统间通信接口设计	第40-41页
· 本章小结	第41-42页
第5章网络爬虫系统CTCS的详细设计与实现	第42-68页
· 开发平台与工具	第42-43页
· 爬虫终端子系统的实现	第43-53页
· HTTP通信模块的实现	第43-49页
· HTML解析模块的实现	第49页
· Groovy脚本驱动模块的实现	第49-50页
· 多线程控制模块的实现	第50页
· XML构造解析模块的实现	第50-51页
· 内部通信模块的实现	第51-52页
· 系统日志模块的实现	第52-53页
· 调度中心子系统的实现	第53-65页
· 配置信息管理模块	第53页
· RMI交互模块	第53-64页
· 任务负载平衡管理模块	第64-65页
· 爬虫终端进程管理模块	第65页
· 运行状态管理模块	第65页
· 日志及监控子系统的实现	第65-67页
· 日志Web接口模块的实现	第65-66页
· 日志报告生成模块的实现	第66页
· 预警监测模块的实现	第66-67页
· 邮件处理模块的实现	第67页
· 本章小结	第67-68页
第6章系统运行及效果	第68-76页
· 系统运行环境	第68页
· 系统运行效果	第68-76页
· 调度中心子系统的运行效果	第69-72页
· 爬虫终端子系统的运行效果	第72-73页
· 数据中心子系统的运行效果	第73-74页
· 日志及监控子系统的运行效果	第74-76页
总结与展望	第76-78页
总结	第76页
工作展望	第76-78页
致谢	第78-79页
参考文献	第79-83页
攻读硕士学位期间发表的论文及科研成果	第83 页

本篇论文共83页，点击这进入下载页面。

更多论文
基于Groovy的分布式网络爬虫系统的
外籍教师管理信息系统的设计与实现
建国以来中国消费者行为变迁研究
剖宫产术对母婴健康影响的前瞻性研
内容相关性驱动的Web资源离群点挖掘
基于SOR模式的口碑效应研究
中国城乡贫困动态演化的理论与实证
实时场景下的运动目标检测技术研究
我国商业银行产业组织结构与产业竞
基于自组织映射的文本聚类研究
市场影响力对企业创新绩效的影响研
基于Qt的地震数据可视化软件的研究
商务智能在汽车产业链协作平台中的
基于标签的内容管理系统设计
数据挖掘在优化课程设置中的应用
智能停车场VLPR研究与方案设计
决策树分类优化算法的研究
基于SOA的项目信息管理系统的设计与
基于正负项目及多支持度的关联规则
Web资源质量元数据的获取与管理技术
基于IPDR的网络管理系统研究
一种基于云计算的应用集市平台架构
P2P网络信任模型的研究
基于支持向量机的多分类方法研究及
依托咪酯对大鼠大脑皮层突触体内钙
三网融合下北京市有线电视发展战略
糖化终末产物受体参与糖尿病视网膜
文轩传媒品牌战略研究
散发性结直肠癌高频杂合缺失精细定
转C₄基因（PEPC&PPDK）
四川县域经济发展中的金融支持研究
腾讯地方门户网站研究
金属硫蛋白保护肾脏缺血/再灌注损伤
国家经济伦理与银行改革
开放性语境中阅兵仪式对建构国家形
EAN大鼠神经轴膜与淋巴细胞离子通道
经济发展方式转变与科技创新研究
交互环境中电子杂志的生存发展探析
神经突触前膜胞内蛋白（Munc18）抗
成渝经济区协调发展机制研究
TOD模式与大城市郊区开发--以郫县为
水和离子通道在胸膜和肺部液体转运
基于社会定位认识的公益性非营利组
人口流动与重庆经济增长极的形成和
脑内催乳素释放肽在电针调整去卵巢
网络社群行为与社群互动关系研究--
鼻中隔软骨细胞与神经肽关系的实验
基于中国人口转变视野的农村劳动力
噬菌体文库体内展示筛选肝癌肿瘤血
我国农村公共产品供求及制度创新研
传出前庭神经的传入纤维来源及降钙
比较优势、规模化经营与中国粮食优
胼胝体切断对健侧颈7移位术后跨大脑
基于安全与效率的中国粮食流通体制
视网膜细胞分布特征及自适应光学系
中国农民专业合作经济组织发展研究
银屑病单核细胞及其来源的朗格汉斯
我国农村地区公共品的需求表达机制
城市第一代独生子女父母养老担心问
急性坏死性胰腺炎脑损伤的发病机制
专卖体制下卷烟工业集团财务战略研
Bi掺杂TiO₂的醇热法制备
资源枯竭型城市失业问题研究--以濮
补肾益气方对正常早孕期人滋养层细
国有企业高级管理人员财务行为研究
R县义务教育资源配置的公正性研究-
中小企业海外融资研究
NF-κB调控氧化LDL激活系膜细胞TGF
西南交通大学校园网站传播效果探析
虚拟企业财务制度安排研究
环境与人：江南传染病史研究（1820
开放式创新性实验教学平台的分析与
虚拟整合：理论维度与整合绩效研究
Ⅰ型糖尿病的基因治疗研究
私营企业家社会关系网络研究
病毒性心脏病心肌纤维化的发生机制
跨国创业投资在中国的发展研究--基
CYP1A1 MspⅠ、ER PvuⅡ、ER XbaⅠ

网络爬虫论文主题爬虫论文 RMI论文 Groovy论文分布式软件论文
版权申明：目录由用户t**提供，www.51papers.com仅收录目录，作者需要删除这篇论文目录请点击这里。
\| 设为首页\|\|加入收藏\|\|站内搜索引擎\|\|站点地图\|\|在线购卡\|
版权所有教育论文网 Copyright(C) All Rights Reserved