客户为一家全球领先的锂离子电池研发制造独角兽公司，专注于新能源汽车动力电池系统、储能系统的研发、生产和销售,致力于为全球新能源应用提供一流解决方案

大数据分析业务调度系统

客户背景

  •        客户希望通过源数据分析、多特征耦合探索、指标数据实时展示、车辆综合信息排序等方式，既可以实时观察到车辆电池相关信息，又能够整体看到在未来一段时间最有可能出现车辆故障的车辆状态信息；为确保项目能够高质量的按时交付，明思团队采用基于Lambda架构的大数据平台，搭建专业化报表展示平台，并结合机器学习先知平台，完美实现客户需求

  • 1. 业务场景：

    原始表数据本身一张表（主要是电池相关的信息），根据工况对电池数据进行划分，工况区分四大类：充电过程、放点过程、静置过程、回充过程；通过一系列的特征加工处理，一部分数据用于报表展示，一部分数据用于模型训练，最后展示出车辆的评分信息

    2. 数据规模：PB级数据

        （1）正常每辆车每十秒产生一条数据，通过电池内部传感器进行收集数据发送到服务器

        （2）车企相对较多，单表每日增量数据在50~200G之间，视车辆多少而定

    3. 数据处理方案设计

    由于原始表数据量比较大，已经无法通过传统的数据处理方式处理，我们这里存储采用HDFS、计算采用SparkSQL，资源调度采用yarn，脚本采用精简的python脚本，任务调度采用airflaw；即能够解决大规模数据的计算，又能够稳定的、高性能的运行；同时采用CHD作为集群管理监控的工具，报表展示工具采用业界流行的Tableau进行开发，完美解决遇到的问题；报表展示工具采用业界流行的Tableau进行开发，很好的解决遇到的问题；

  • ●按照计划完成项目及人才需求供应，提早原计划启动项目开发；

    ●在系统开发中的专业表现，有效地提高了开发效率，缩短了开发周期；

    ●累计完成交付600 人/天的总量；

    ●在开发人员的输送、培养等科学有效地管理赢得了客户的认可并达成了长期合作的共识。

       明思软件基于通用标准的互联网应用技术，遵循国际认证的CMMI软件交付流程学原理，提供贯穿全IT服务流程的各类服务内容。主要包括有软件开发，测试，运维以及IT运营服务。

 

       软件开发 - 行业应用开发（SaaS、PaaS、CRM、HCM、银行核心系统、保险理赔平台、系统搭建、人工智能助理）、大数据平台开发、商业智能、App开发、ERP、云平台、智能终端、产品化解决方案。

 

       测试 - 软件产品测试、应用软件测试、测试平台及产品、测试解决方案。

 

       运维 - 数据库维护（SQL Server 、Oracal、MySQL）、 操作系统维护（Windows、Linux、Unix等常用系统）、 服务器硬件设备维护、网络设备维护、 运维管理平台。

 

       IT运营服务 - IT咨询 、IT服务、业务流程外包（BPO）、云/基础设施的管理、线上营销、数据采集与标注、内容管理和营销、设计服务、本地化及大数据分析。

互联网及人工智能