*本系统功能模块、字段参数,均可结合用户实际业务需求调整,可增可减,以达到最佳业务管理流程的体验!
编号 | 模块名称 | 字段参数 |
1 | 用户管理 | 用户名、密码、邮箱、权限、注册时间、上次登录时间、用户状态、个人简介、头像、联系方式等 |
2 | 爬虫任务管理 | 任务名称、任务描述、发布时间、截止时间、任务状态、目标网站、爬取频率、爬取深度、结果存储方式、代理设置、爬虫日志等 |
3 | 数据抓取 | URL、标题、作者、关键词、摘要、正文内容、发布时间、数据来源、页面链接、网站名称、抓取时间等 |
4 | 数据清洗 | 清洗规则、重复数据筛选、数据格式化、数据分词、数据去重、数据合并、数据转换、数据筛选、数据归一化、异常数据处理等 |
5 | 数据存储 | 数据库连接、表格结构、字段映射、存储位置、数据备份、数据恢复、数据导入、数据导出、数据加密、数据压缩等 |
6 | 数据分析 | 统计分析、关联分析、分类分析、聚类分析、时间序列分析、文本分析、情感分析、问答系统、图表展示、结果导出等 |
7 | 数据可视化 | 图表类型、图表标题、数据源、数据字段、坐标轴设置、图例设置、标签设置、背景设置、颜色设置、交互操作等 |
8 | 查询检索 | 关键词搜索、字段搜索、高级检索、模糊搜索、范围搜索、排序设置、结果数量控制、结果展示方式、查询历史、保存搜索等 |
9 | 数据挖掘 | 关联规则挖掘、分类算法、聚类算法、预测算法、评估算法、特征选择、模型训练、模型评估、模型保存、模型应用等 |
10 | 系统日志 | 操作日志、登录日志、异常日志、日志级别、日志格式、日志分析、日志清理、日志备份、日志查看、日志导出等 |
11 | 数据采集 | 采集规则、采集源、采集时间、采集状态、采集参数、数据处理方式、数据过滤条件、代理设置、采集速度控制、错误处理等 |
12 | 任务调度 | 任务列表、定时执行、执行频率、依赖关系、执行顺序、执行结果、错误处理、任务暂停、任务删除、任务统计等 |
13 | 邮件通知 | 收件人列表、邮件标题、邮件正文、附件、发送时间、发送状态、邮件模板、邮件设置、批量发送、邮件提醒等 |
14 | 配置管理 | 系统设置、爬虫设置、数据库设置、存储设置、分析设置、查询设置、挖掘设置、日志设置、采集设置、任务设置等 |
15 | 安全管理 | 身份验证、权限控制、异常监测、数据加密、防火墙设置、访问控制、IP过滤、安全日志、账号锁定、敏感信息脱敏等 |
16 | 分布式部署 | 节点管理、任务分发、任务监控、运行状态、节点负载、节点配置、节点连接、任务合并、任务拆分、节点故障处理等 |
17 | 功能管理 | 功能列表、功能描述、权限设置、开关设置、版本号、功能日志、功能统计、功能启用、功能禁用、功能更新等 |
18 | 授权管理 | 授权用户、授权时间、授权操作、授权状态、授权方式、授权权限、授权限制、授权日志、授权码、授权设置等 |
19 | 统计报表 | 报表类型、报表名称、数据源、数据字段、图表设置、日期选择、报表导出、报表保存、报表分享、报表权限等 |
20 | 用户反馈 | 反馈类型、反馈内容、反馈时间、处理状态、处理人员、处理结果、反馈回复、反馈评价、反馈附件、反馈删除等 |