四川中烟2021年企业级数据中台建设项目——数字中台基线版本相关基础能力建设补遗公告
致各投标人：
四川中烟2021年企业级数据中台建设项目——数字中台基线版本相关基础能力建设（项目编号：SCZDZB-2022467），招标文件第五章招标项目要求中，“一标段：数字中台能力建设（二）数据中台组件采购”补遗以下内容：
本次所采购的数据中台组件须满足可原生（非资源虚拟化方式）部署在四川中烟现有专有云平台（阿里云）上，且与当前阿里云平台各组件原生兼容。数据中台组件主要需包括大数据计算服务、数据管理开发平台两大部分主要技术能力，其中大数据计算服务需包括基础计算功能组件及相关大数据管理平台功能组件；数据管理开发平台包括基础组件、数据安全管理、数据资产治理、数据开发、数据质量管理、报表系统、调度引擎等相关功能。

产品	容量规划	技术要求
大数据计算服务	★提供至少900个处理单元、700TB存储容量的结构化的大数据存储和离线计算能力。	1)  提供完整RESTful API的方式提供离线数据处理服务，提供JAVA SDK， Python SDK，等编程接口，支持JDBC接口等系列用户开发工具和接口。 2)  提供离线任务管理、监控告警的功能，任务运维管理支持两种模式可供用户选择，包括列表模式和DAG模式。监控告警是调度任务的监控保障系统，支持基线告警和自定义告警两种方式。当任务出现错误或者延迟产出的时候，系统会通过预定义的方式告知用户任务状态。用户可以按照自己定义的规则来配置告警规则。 3)  支持MapReduce类型的分布式计算任务，支持DAG模式的作业处理方式。 4)  支持作业优先级设置功能，可支持9级优先级设置，在作业任务资源分配优先级上进行细粒度控制。 5)  支持多种计算框架如SQL， MapReduce， Spark ，Graph。 6)  ▲支持超大规模的MapReduce计算，可支持最大Mapper个数为10万，最大Reduce个数为1000，最大Join个数1万，需提供权威机构测评报告。 7)  ▲单集群可支持项目空间不少于300PB数据量；单表可支持不少于10PB数据量, 单表可支持超过50000个分区。需提供权威机构测评报告。 8)  ▲最高可支持单表万亿条记录的多表关联分析；单个项目空间可支持不少于 40000张表，需提供权威机构测评报告。 9)  ▲用户服务实例和资源管理基于项目空间隔离，可支持不少于10000个用户项目空间。需提供权威机构测评报告。 10) ▲超大规模节点调度能力，具备30000节点以上调度能力。为保证大数据集群具有高可扩展性。需提供权威机构测评报告。 11) 支持原生Apache Spark编程接口，用户可以使用Spark接口进行编程处理存储在大数据计算服务中的数据。 12) 遵循SQL92规范并做了优化与提升，做到SQL可编程化，编程模型的扩展和增强。 13) ▲采用分布式计算框架提供大规模数据存储与计算，可按需扩容。大数据计算平台能力单集群可达到10000台物理服务器并行作业，同一套服务支持调度多集群，需提供权威机构测评报告。 14) ▲支持高效数据压缩存储，压缩效率和数据格式相关，最低压缩比为3，对冷数据支持归档操作，可节约存储约50%。 15) 支持分区级别的数据生命周期管理功能，过期数据系统自动清理。 16) 具备完善的权限认证与隔离机制，保障用户数据的私密性，支持多粒度的数据授权访问；针对高敏感数据可设置数据保护模式避免数据流出，限制用户项目空间project内数据流出。 17)支持标准加密算法AES、国密算法SM4的加密能力，支持服务自动生成加密密钥方式和用户自定义加密密钥方式。
数据管理开发平台		1)  ▲能够基于元数据构建数据图谱，实现数据表及数据简单且快速的智能检索。 2)  ▲能够系统化构建业务数据资产大图，数据视角还原业务系统、提取业务数据知识，并快速提炼业务关键环节及数据，让数据资产以全景图的方式清晰易读地呈现。 3)  能够高效且自动化实现元数据抽取，结合规范定义与数据建模的前置研发动作，自动化、标准化、系统地构建规范可读的业务化数据目录，形成详细的数据地图，方便业务查找及应用。 4)  自动语义优化：支持针对可以复用的语义进行生产代码自动优化；如某字段类目变化，语义优化功能会将数据自动统计到对应类目中。 5)  自动进行数据倾斜优化：支持自动数据倾斜优化功能，在任务执行中支持触发异常判定功能、同步调度数据探查，可定位到出现问题的数据。支持自动对执行中的任务代码进行重构、规避数据倾斜且平台会完成记录为后续发生数据倾斜提供判断。 6)  ▲产品能提供SDK和Restful API 调用方式方便调用和数据集成。 7)  产品集成数据服务功能，能够提供定义即服务的方式，使研发构建的业务主题式数据逻辑表可被直接、快速地查询和访问；提供图形化配置界面满足主题式查询功能，产品必须提供有效的全链路企业内API生命周期托管，能通过配置化设置提供数据的对外服务。 8)  ▲产品支持以业务视角进行逻辑建模，并在逻辑模型发布后，根据逻辑表定义信息实现最终的代码自动化生成，降低对大数据开发人员的专业技术门槛。 9)  基于数据建模研发沉淀的数据，提供以目标对象为中心的数据打通和深度挖掘，并生成代码与调度任务，完成实体对象识别、连接及标签生产，可快速应用于各类业务。 10) 提供通用的数据萃取功能，提供标签可视化配置工作台，可自动化生成标签，并对配置中、生产中的标签任务进行修改、优化和下线等管理操作。 11) 数据研发支持实时计算任务，产品能支持实时计算引擎Flink并创建Flink_SQL、FLINK_TEMPLATE_SQL类型的实时计算任务，支持实时计算模板和实时计算任务。 12) ▲满足数据安全管理需求，面向数据从产生到销毁的全生命周期，提供数据访问控制与隔离，保障数据安全。 13) 能够基于组件化理念，对指标的统计逻辑进行组件化定义，用户可通过自由组装实现统计指标研发、系统代码自动生成。 14) 能够基于维度建模理论，对维度、业务过程、指标等进行严格的标准化、规范化定义，提升数据业务语义，保障数据质量，降低数据二义性。 15) 除自动化生成代码外，还应提供编码研发、自由编码的能力。提供编码编辑器，满足代码研发的需求。 16) 可以对数据计算及存储资源的消耗进行分析，全局把控计算与存储成本。数据治理包括资源管理、治理概述、治理工作台、治理项管理、回收站。面向当前登录用户，根据其所参与和所负责的项目提供健康分。 17) 能够在字段粒度数据上进行查询权限控制，满足常见精细化数据权限控制需求。 18) 提供业务板块及数据域定义维护及权限控制、公共定义的全局性统计周期设置与管理。产品能提供图形化交互方式对数据中台业务板块及数据域设置，实现业务板块和项目及数据域的关联。 19) 能够提供多数据源的接入与管理，提供数据同步功能，能够完成不同数据存储结构/协议之间的转换。

 
现将本项目开标时间延期至2022年12月22日10：30分（北京时间），本项目保证金缴纳时间延期至2022年12月21日12：00分之前，其余内容不变。
 
 
招标人：四川中烟工业有限责任公司
 
招标代理机构：四川重德招标有限责任公司