1、基于软件框架的数据处理主要内容 背景介绍 离线数据处理及软件 软件框架 框架实例：Gaudi&SNiPER 代码示范 总结和展望基于软件框架的数据处理2基于大科学装置的实验 科学技术的发展对实验探测技术的促进 实验规模，大型国际合作组改变了科学实验组织模式 实验设备规模 人力、物力等资源耗费规模 数据规模，PB量级数据已经很常见 大亚湾中微子实验原始数据约100TB/年 建设中的江门中微子实验原始数据约2PB/年基于软件框架的数据处理3现代高能物理实验的要素基于软件框架的数据处理4事例源探测器电子学触发、DAQ原始数据刻度、重建物理分析成果模拟探测目标的来源，如对撞机、核反应堆、自然界的宇宙线
2、感知探测目标探测器中反应的数字化信号数据（过滤和）记录还原事例的基本物理信息，如末态粒子飞行方向、能量等还原事例的完整反应过程，如初始粒子的衰变模式等；并通过统计学等分析方法，从大量事例中寻找规律预研阶段：优化探测器设计、对离线软件进行检验等取数阶段：帮助我们理解探测器性能和软件性能等离线软件在数据处理中的作用基于软件框架的数据处理5照相照相（镜头（镜头/快门）快门）看相看相洗相洗相（暗室（暗室/显影显影/定影）定影）数据获取硬件设备和物理学家之间的桥梁，从数据到物理成果转化中的关键和重要环节刻度、重建 洗相物理分析 看相主要内容 背景介绍 离线数据处理及软件 软件框架 框架实例：Gaudi&
3、SNiPER 代码示范 总结和展望基于软件框架的数据处理6离线数据处理示意图基于软件框架的数据处理7other sites分布式分布式站点站点数据中心数据中心实验数据实验数据元数据元数据实验数据实验数据元数据元数据刻度刻度Keep-Up Production（准实时）（准实时）Physics Production（定期）（定期）元数据库元数据库Bookkeeping磁盘磁盘磁带磁带backup数据存储数据存储/管理管理条件数据库条件数据库数据质量检查数据质量检查/监控监控成果发布成果发布 latest condition data full reconstruction algorithms
4、preliminary data quality validated and frozen condition data official released and validated s/w data quality file by file track run by run track实验现场实验现场Physics Analysis（持续）（持续）数据处理软件（一）模拟 在实验预研和建设阶段 优化探测器的设计，验证其性能指标 为离线数据处理系统的开发提供基础，验证离线软件性能 在实验运行期间 帮助物理学家理解探测器性能 获取物理分析软件的性能、误差等 在整个实验周期内都具有重要作用刻度 探
5、测器校准 微小的位移 自然老化造成的响应变化 等等 刻度数据（条件数据）的管理 不同条件数据有不同的更新周期 条件数据库 为重建算法的精确度提供保障基于软件框架的数据处理8数据处理软件（二）重建物理分析 从海量数据中寻找感兴趣的信号 统计学+物理学其他 事例显示 数据质量检查 软件validation 基于软件框架的数据处理9原始数据：电子学信号，如探测单元、信号（脉冲）幅度和时间重建数据：如微观粒子的能量、电荷、空间位置和运动方向等重建结果的质量，对物理分析有直接影响数据处理软件的开发周期10实验预研探测设施建造探测器运行取数探测器寿命到期模拟软件数据重建软件 探测器刻度软件 物理分析软件基
6、于软件框架的数据处理高能物理数据处理软件的特点 探测器通常是独一无二的高成本定制设备，非批量生产的工业化产品 数据处理软件：自主开发+开源软件和工具 实验设备越来越复杂，参与人员越来越多 更细的分工、团队合作 数据处理软件开发面临的挑战 数据处理过程纷繁复杂，需求多种多样 从原始数据到最终物理成果经过多个环节，前后步骤需要紧密衔接 人员组织相对分散（世界各地）、流动性强（学生毕业），物理学家软件背景不一 实验生命周期内的长期发展和维护基于软件框架的数据处理11基于框架的离线软件系统12国内离线软件系统u BESIII实验的BOSSu DYB实验的NuWau JUNO实验的SNiPERu。流水线
7、思维，离线软件为流水线，数据为产品 问题分解：模块化设计和开发，方便成员间的分工和合作 有机整体：通过框架实现不同模块的组合或替换，保证前后步骤的正确衔接团队协作 较复杂的功能由有经验的人员实现，物理学家不必接触软件技术细节 长周期内，稳定的软件接口、统一的开发规范基于软件框架的数据处理主要内容 背景介绍 离线数据处理及软件 软件框架 框架实例：Gaudi&SNiPER 代码示范 总结和展望基于软件框架的数据处理13离线软件的构成 基础软件库和工具 软件开发通用库和工具 高能物理领域通用的流行软件：Geant4,ROOT等 框架软件 狭义上指通用的离线软件框架，与实验无关，如Gaudi、SNi
8、PER等 通常也包括与实验相关的通用功能模块，如数据模型及其I/O、数据库接口等 数据处理和分析软件 与实验紧密相关，需要有物理背景人员开发 专注于对数据的计算（算法），不用关心底层软件技术细节基于软件框架的数据处理14软件框架基于软件框架的数据处理15软件框架（Software framework），通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。-百度百科面向领域，一般不能跨领域使用p WEB开发领域：如Struts、Springp 高能物理领域：Gaudi、SNiPER等软件框架 VS.软件库定位 软件库
9、着眼于处理某一个/一类问题，软件框架着眼于处理某一领域问题使用方式 软件库（函数）由用户调用，是用户搭建自己软件大厦的砖块 软件框架反向调用用户代码软件框架中不包含具体功能，但抽象化了软件的主体执行逻辑用户定义软件执行的具体细节软件框架代表了软件复用的新高度 介于传统软件库与完整软件产品之间的“半成品”高度模块化，易扩展 用户能够更专注于具体问题（如数据处理算法），以插件形式将自己的代码嵌入框架执行基于软件框架的数据处理16高能物理实验数据的组织方式17事例1离线软件一般以事例循环方式线性处理事例之间相对独立，或仅时间邻近的事例之间存在关联事例2事例3事例4事例5事例6事例：微观粒子在探测器中
10、的一次可观测反应，如e+、e-的一次对撞数据文件：若干事例按时间顺序依次保存到文件Run：探测器一个运行周期（简单理解为一次开、关机）期间的数据，包含若干文件对撞机中粒子束流不断衰减，BESIII每隔1-2小时需要重新注束大亚湾实验探测器每2-3天需要做一次刻度基于软件框架的数据处理最简单的软件框架什么样？18beginendmore eventsYNexecute基于事例循环的数据处理伪代码：最基本要素：反向调用用户代码 readEvent()、process(evt)、writeResult(evt)提供事例循环的顶层执行逻辑基于软件框架的数据处理完备的软件框架主要功能核心功能核心功能 数
11、据管理 数据格式及其存取 内存数据管理 任务执行的流程控制 模块的加载、决定执行次序 公共服务功能模块 如条件数据库查询等 用户编程和运行参数配置接口统一计算环境和软件平台统一计算环境和软件平台19软件框架决定着整个离线软件系统的设计理念、实现和使用方式、性能和可靠性等 用户规范 编程语言及接口，编码风格 统一的运行方式 一致的开发和编译环境 Cmake、gcc 开发管理和版本控制 Git、CVS、SVN 统一的版本发布和安装基于软件框架的数据处理软件框架的模块化和层次化20功能分解和模块化设计一个模块专注于完成某项特定功能由相互关联紧密的类组成灵活性与复杂度的平衡决定模块粒度划分模块间通过接
12、口交互模块内部高内聚，模块之间弱耦合模块整体可替换为不同实现插件式开发和使用在不影响原有模块情况下，向框架骨架中添加新功能层次间相互关系稳定，通过协议约定降低耦合对比MVC（Model-View-Controller）模型，个人给高能物理离线软件中常见的层次模型起名为 M3CModel-Controller-Calculation-Configure 基于软件框架的数据处理主要内容 背景介绍 离线数据处理及软件 软件框架 框架实例：Gaudi&SNiPER 代码示范 总结和展望基于软件框架的数据处理21GaudiGaudi 由CERN为LHCb开发，非常适合对撞机实验使用 国内主要应用 BES
13、III实验：完美使用 大亚湾中微子实验：可用，但遇到一些困难SNiPERSNiPER 最初为应对江门中微子实验（JUNO）的需求而自主开发 吸取了Gaudi的有益经验和在大亚湾实验上的教训 针对非对撞机实验（特别是中微子实验）做了针对性设计 被国内JUNO、LHAASO以及美国的nEXO等实验采用基于软件框架的数据处理22Gaudi软件框架架构示意图基于软件框架的数据处理23算法(多变)与数据(稳定)分离瞬态数据(内存)与持久数据(磁盘)分离Gaudi中的主要组件及其管理 算法，对事例数据进行计算处理的功能单元 一般由框架按规则调用执行，事例循环过程中执行的计算 模拟、刻度、重建和分析都主要以
14、算法的形式实现 服务，提供公共的辅助性功能，一般由有经验的人员开发 由用户按需调用执行 如探测器几何信息、条件数据库查询等 组件以插件形式开发，框架通过接口访问组件 新组件的开发不影响框架和原有组件 用户根据具体任务目标选择加载组件，执行不同的应用功能基于软件框架的数据处理24框架：舞台服务：灯光、音乐、布景算法：用户的表演在Gaudi中开发一个新算法基于软件框架的数据处理25设计的复用ConcreteAlgorithmAlgorithminitialize()execute()finalize()initialize()execute()finalize()从Algorithm基类派生，完成
15、接口的具体实现不必考虑应用整体的设计与其它组件通过框架交互没有面向对象编程经验的用户也能快速开发；用户能更专注于科学计算本身基于软件框架的数据处理26Gaudi应用运行时序图结构的复用初始化事例循环收尾工作SNiPER软件框架 沿袭Gaudi中的算法、服务概念 新增任务（Task）组件 Task负责事例循环 Task可以嵌套子Task，即事例循环的嵌套 事例内存管理 基于时间窗的事例缓存，支持邻近事例的关联处理和分析 轻量，核心模块仅依赖C+标准库和准标准库Boost 框架关键功能完备基于软件框架的数据处理27继续前面对舞台的类比在SNiPER中，用户可以表演剧中剧，对数据处理实现更为复杂的逻
16、辑控制主要内容 背景介绍 离线数据处理及软件 软件框架 框架实例：Gaudi&SNiPER 代码示范 总结和展望基于软件框架的数据处理28实现一个算法（C+伪代码）基于软件框架的数据处理29使用接口访问数据：与数据读取模块、其它算法解耦和。调用公共服务：以条件数据库服务为例，服务根据事例上下文自动查找正确的数据，用户不必自己写SQL语句。注册后的数据可被其它模块访问，或保存到输出文件。用户能更专注于解决物理/数学问题。运行时作业配置（Python伪代码）基于软件框架的数据处理30模块替换，读取不同格式数据算法组合，执行不同功能按需加载公共服务Gaudi和SNiPER均支持（一定程度上的）C+和
17、Python混合编程 C+开发算法/服务模块，能够保证运行速度 Python主要用于作业配置，灵活性强、调整参数方便，还可避免反复编译等麻烦主要内容 背景介绍 离线数据处理及软件 软件框架 框架实例：Gaudi&SNiPER 代码示范 总结和展望基于软件框架的数据处理31基于软件框架的数据处理系统基于软件框架的数据处理32ROOTGeant4CLHEPBOOSTPythonBOSSNuWa 展望未来 信息技术仍在快速发展中 并行计算、异构计算、大数据技术、机器学习等 数据处理软件在科学实验中的应用展望 数据爆炸的时代，科学实验对数据处理技术越来越依赖 软件开发技术+专业知识=专业化 数据处理软
18、件的发展方向 高层应用（算法）开发简单化 底层软件专业化，向高层用户隐藏技术复杂性基于软件框架的数据处理33 谢谢！基于软件框架的数据处理34软件复用技术的发展35结构化软件开发（FORTRAN）面向对象软件开发（C+/Java）面向组件和接口的开发（软件框架）代码复用，函数库类库组件复用，设计复用，结构复用代码片段的复用，用户仍需考虑应用的所有细节源代码复用的高级形式，相对完整的软件子功能复用比类库粒度更大的子功能复用；按接口规范开发用户代码，复用框架的组件设计和骨架结构随着软件规模的增长：开发难度、维护开销等因素愈发重要基于软件框架的数据处理36摘自黄性涛教授（山东大学）报告系统和框架系统和框架基于软件框架的数据处理
