武 伟 金浩 焦书梅 唐伟媛 杜杰
（自动化部）
摘 要：为了积极探索大数据在钢铁企业的发展和应用，充分挖掘现有的信息化系统效益和顺应实际业务需求，研发了一个数据统计管理平台，对生产管理系统中的有关数据进行了二次处理，形成相应的数据统计分析报表，供业务使用。这是在钢企现有条件下，对大数据应用一次有益探索。
关键字：大数据；平台
1 前言
近年来大数据发展和应用越来也广泛，它的价值和效用在各个领域得到体现。作为一家大型综合型钢铁企业，河钢邯钢也在对大数据的应用上进行积极的探索和实践。
大数据具备以下特点：数据规模大；数据快速增长和及时处理，时效性强；数据的多样性，有不同的表现形式和格式，数据来源多；数据的价值密度低，单条数据并无太多价值，但庞大的数据量蕴含巨大财富。钢铁企业在实际生产经营过程中，恰恰具备上述数据量庞大、数据快速增长、数据多样等特点，使得对大数据的发展和应用具有现实条件与实际需要，从而能从大数据应用上获取效益和价值。河钢邯钢在发展和应用大数据上一方面根据生产经营的实际需要出发，另一方面是从按照现有信息化系统实际情况，制定大数据发展方向和计划，从基础做起，进行积极探索和尝试。数据统计管理平台就是在上述要求上对大数据应用进行的一次探索，平台系统主要功能目标是对生产经营管理系统中的数据进行二次处理，形成数据统计分析报表，作为指导生产经营的参考和决策的依据。
2 项目简介
本项目的主要内容是开发和建设数据统计管理平台网站，实现自动生成生产、质量、库存等数据报表。业务部门使用该平台后，可以按照时间点或者时间段，根据业务规则快速统计出生产、质量、库存数据，不在手工出具报表。本项目从开始立项至全部完成并上线共耗时2个月。系统投入使用后，业务人员在做统计分析报表时，不再需要从各个管理系统查询所需数据，并将这些数据手工计算形成规范化的数据分析报表文件，只需要使用分配用户权限登陆本平台，按照时间和业务类型查询相关数据报表，优化了生产部门的工作流程，大大提高了管理水平和工作效率。
3 系统设计与功能介绍
数据统计管理平台主要功能是实现了对各个系统中的有关数据进行统一管理，按照业务规则，自动生成数据报表，供业务人员使用。数据统计管理平台首先从各个MES系统、一体化经营系统统计或抽取相关数据，然后根据业务规则对这些数据进行二次处理，并按照一定格式保存到平台数据库。用户使用分配的用户名和密码登陆到网站系统，即可按照时间、产线、业务类型等维度查询到报表数据，从而形成报表文件供业务下载使用。
3.1 设计原则
根据系统的实际情况，充分考虑互联网应用的安全性、与内部系统的数据通讯，整体方案设计将遵循以下设计原则：
3.1.1 安全性
由于系统具有一定特殊性和复杂性，网络的基本安全在整个网络的设计中尤为重要。如何有效地实现互联网、生产网络、办公网络之间的网络隔离将是一个涉及系统安全性的重要问题。有效的安全控制将为网络的正常运行，提供良好的支撑。
3.1.2 可靠性
应从系统结构、设计方案、设备选择等方面综合考虑，保证网络正常运行，尽量减少因局部故障引起整个系统瘫痪。
3.1.3 高可用性
包括应用服务的可用性、网络的可用性、网络设备的可用性，网络设备的可用性是基础，在此基础上，网络的设计和网络的性能优化决定网络的可用性。
3.1.4 高性能
性能的好坏是评价一个网络的重要标准。只有一个高性能的网络才能提供不间断地、高质量的服务。网络的高性能通过设备高性能的交换和网络的优化来实现。
3.1.5 维护管理
网络管理是网络正常运行的核心，因此必须有一个强大的、统一的网管系统支持，提供预警、配置、统计等强大的工具，以便提高解决故障的时效及为网络优化提供数据。网管系统应当直观统一，操作简单化。
3.2 系统功能模块
质保书管理系统包括通讯模块、数据抽取模块、业务模块、权限管理模块、日志模块。
3.2.1 通讯模块
平台数据来自多个系统，比如MES系统、一体化经营管理平台等，为从这些系统中获得数据，就需要与这些系统通讯。为了保证这些系统的安全性并及时获取数据，开发出WEBSERVICE、DB_LINK、SCOKET等不同方式的通讯程序实现数据传输。
3.2.2 数据抽取模块
平台从各个系统采集数据时，既要考虑抽取到的数据准确完整性，又要考虑各个平台安全性。从数据准确完整性角度考虑，抽取数据进行全数据抽取，即将各个系统中的数据定时全部抽取到本平台，但是数据抽取时间过长，经常达到数小时，长时间占用各系统资源会影响系统的稳定运行。所以经过综合分析，决定采取精确抽取和全数据抽取相结合的方法来采集数据。精确抽取就是按照业务提供的数据项来采集数据，并定时完成数据的增量和变更；全数据抽取主要针对数据变化频繁而数据量又较小的系统。采用这种抽取数据规则，最大程度上满足业务需求和保证系统稳定。
3.2.3 业务模块
业务人员通过内网来访问数据统计管理平台的网站，使用分配给客户的用户名和密码登陆系统，客户可按照时间、产线、业务类型查询出各自授权后的报表数据，随后将其以PDF、EXCEL等格式下载到本地使用。图1、图2、图3、和图4为操作过程。
图1操作界面
图2报表数据界面
图3报表下载界面
图4下载后的报表文件
3.2.4 权限管理模块
对于业务用户，根据其业务流程、业务功能的不同来分配其权限，防止各种误操作；对于用户，根据其分配的权限，用户只能通过系统看到自己的数据报表信息，保证数据的安全性。
3.2.5 日志模块
每个用户在系统中的任何操作，比如数据抽取、删除、下载等操作，系统都将这些操作记录下来，方便系统管理员对用户的监控管理。
4 应用效果
优化流程，提高效率。业务人员在做统计分析报表时，不再需要从各个管理系统查询所需数据，并将这些数据手工计算形成规范化的数据分析报表文件，只需要使用分配用户权限登陆本平台，按照时间和业务类型查询相关数据报表，优化了生产部门的工作流程，大大提高了管理水平和工作效率。
充分利用信息技术优势，进行大数据应用方面探索。利用通讯技术、网联网等技术，引进大数据概念，有效的从各个系统采集数据、管理数据，提高了数据利用率，在大数据应用上进行了有益探索。
5 结语
大数据的发展和应用将是信息化发展的一个重要方面，如何利用大数据，挖掘大数据的功能和价值，进而创造效益，这将是重大课题，也是一个漫长过程。作为钢企，大数据的发展和应用应该从大处着眼，小处着手，从实际需要出发，利用现有信息化平台完善基础，储备知识，积累经验，从而形成适用于企业特点的大数据平台，实现信息化的长足发展，为企业创在效益。