数据格式的转换和其他工具的使用课件.ppt

1、数据格式的转换和其他工具的使用1第十一课：数据格式的转换和其他第十一课：数据格式的转换和其他工具的使用工具的使用234范例说明以渭河电厂的实时采集为例，将渭河电厂的实时数据采集到集团公司。渭河电厂的数据库类型sqlserver2000，表结构数据表名称 数据项名称 数据类型长度备注Yc_table Yc_name Char 32实时数据名称 Yc_no Small 2实时数据编码 Yc_val Real 4 实时数据的值目前表中的数据：，yc_no为2时表示1号机组，3时表示2号机组5范例说明集团公司的表结构RT_J_POWERNUMRTDATACURR POWER_PLANT_CODE VA

2、RCHAR2(20)电厂编码 MACHINE_NO NUMBER(10)机组编号 GROUP_RT_DATA_CODE NUMBER(10)指标编码 POWER_NUM_VALUE NUMBER(15,4)指标值 VALUE_TYPE INTEGER 数据类型 VALUE_DATE DATE 数据时间6建立组件间的联系7建立组件间的联系在下面的窗口中选择Funclet分页。在Funclet分页的左边选择相应的函数，将其拖到右边的工作区域，并配置。下图是配置好的电厂编码。使用的是String函数中的Constant函数。8建立组件间的联系下图是机组编号的配置，Machine_no=Yc_no-1

3、。9Mapper中的函数Fiorano在数据整合中的功能之所以这么强大，是与提供了丰富的函数有关。Fiorano提供的函数很多，不可能详细介绍，对于大部分函数的使用还需要通过查看帮助文件。Fiorano中的函数大体分为：算术函数：Arithmetic字符函数：String逻辑函数：Boolean控制函数：Control时间函数：Date-Time数学函数：Math10Mapper其他功能Mapper工具可以将连接线配置通过另存保存成为一个文件。这可以成为备份连接线配置的一种方法。Mapper提供一个按钮进行语法检查。通过这个按钮可以检查语法是否存在问题，但是这种检查并不会查看连接线与组件间的连

4、接参数是否匹配。如果连接线与DB组件间的参数不匹配，Mapper会出现相应的提示信息，对于这种情况就需要重新配置连接线,一般这只会在刚打开Mapper时检查。11上周范例回顾上周范例回顾12范例回顾上周的范例中的数据的转换即可以通过连接线配置进行，也可以通过通过SQL语句进行。下面的SQL语句在sqlserver中执行，得到的数据将直接转换为我们需要的类型。select 0910007 as POWER_PLANT_CODE,t.Yc_no-1 as MACHINE_NO,20047 as GROUP_RT_DATA_CODE,t.Yc_val as POWER_NUM_VALUE,1 as

5、VALUE_TYPE,getdate()as VALUE_DATEfrom dbo.yc_table t13范例回顾执行的结果。14使用上面的SQL配置使用上面的SQL语句配置DB3。15连接线配置通过SQL已经将DB3出口参数转换成DB2入口需要的形式。16新的程序DB1是上课中所编写的取数据组件，取数据时按照源数据存储的类型直接将数据取出来。DB2是利用SQL将数据转换后取出来。17拦截的数据从拦截到的数据来看，传往后面组件的数据是相同的。18说明这两种方法都可以得到我们需要的数据，但是是有区别的。对于在连接线中完成转换的情况，这种转换工作，是由前面的组件所在的节点服务器（FPS）完成。对

6、于后面的通过SQL转换的情况来说，转换的工作并不是fiorano完成，而是数据库完成。也就是说上面的两种情况，转换的工作放在不同的地方进行，在工作量较小的时候，这种差别并不是很明显，但工作量很大时，就需要权衡数据库服务器和节点服务器的情况综合考虑。19第三个例子：数据格式的简单转换第三个例子：数据格式的简单转换20范例说明以户县二厂为例。渭河电厂的数据还是以编码的方式储存，Yc_no为2时表示1号机组的有功，yc_no为3时表示2号机组的有功。户二的有功和开关量是以字段的方式储存的。表名RT_ZC，以下为一些字段的说明。数据表名称数据项名称数据类型单位备注RT_ZCTIMESTAMPDATE时

7、间DCS110001NUMBER单位：MW1号机组有功DCS210001NUMBER单位：MW2号机组有功DCS17753NUMBER单位：Mvar无功DCS27753NUMBER单位：Mvar无功NCS1001NUMBER0表示“合”开关量1NCS1032NUMBER0表示“合”开关量221范例说明户二电厂表RT_Z字段的定义。源数据库使用的是99上面的数据库，而不是户二的数据库。22程序设计取表中DCS110001为#1机组有功。取表中DCS210001为#2机组有功。还是使用前面说过的双组件结构，第一个组件用于取数据，第二个组件用于存数据。取数据时不进行转换，所有的转换工作在线上进行。2

8、3配置第一个组件配置第一个组件24配置第一个组件连接的是10.81.12.99上面的oracle。25配置第一个组件SQL语句，选中所有的字段。26配置第一个组件只执行一次：27配置第一个组件配置第一个组件28配置第二个组件第二个组件，写数据组件在范例2中已经配置。可以直接将范例2中的DB2组件复制过来。另一种方法是在这个程序中引入一个外部的也就是范例2中的组件DB2，这种方式引入的组件物理上并不是独立，数据将会被传往被引入的DB2组件。在工作面板上使用鼠标右键。29配置第二个组件在弹出的窗口中选择程序范例2，按NEXT到下一步30配置第二个组件在程序范例2中选择组件DB2，按Finish结束

9、。31配置第二个组件导入的其他程序中的组件，它的图标是不一样的。导入后的图示：32配置连接配置连接33未配置的连接线34连接线说明上面的连接线中，对于前面的组件有很多的出口属性，我们需要的是DCS110001#1机组有功；DCS210001#2机组有功。这样的配置，会将一条记录拆分成多条记录。35配置#1机组电厂编码：power_plant_code赋以户二的电厂编码（02911）。机组编号：#1机组，Machine_no为1。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS110001。数据类型：Valu

10、e_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。36配置#1机组配置完的连接线：37配置#2机组电厂编码：power_plant_code赋以户二的电厂编码（02911）。机组编号：#1机组，Machine_no为2。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS210001。数据类型：Value_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。38配置#2机组将sel出来，再次拖到ins上面的ZERO MANY。按下弹出的按钮D

11、uplicate this node，就可以在后面的组件新增加一组入口参数。这组入口参数事实上也是传往后面组件名为ins的SQL语句的39配置#2机组双击ZERO MANY展开：40配置#2机组配置完的连接线：41发布运行发布运行42发布和运行将DB1发布到fps99后设置断点然后运行。DB2事实上是范例2中的组件DB2，已在范例2中发布。本例中引用了范例2中的组件，所以这个程序要正常运行的话，范例2必须处于运行状态，否则会出问题。43察看数据通过察看拦截到的记录可以发现，数据已经转化成了需要的方式。44用用SQL解决转换的问题解决转换的问题45用SQL转换select 02911 as PO

12、WER_PLANT_CODE,1 as MACHINE_NO,20047 as GROUP_RT_DATA_CODE,t.dcs110001 as POWER_NUM_VALUE,1 as VALUE_TYPE,t.timestamp as VALUE_DATE from rt_zc tunionselect 02911 as POWER_PLANT_CODE,2 as MACHINE_NO,20047 as GROUP_RT_DATA_CODE,t.dcs210001 as POWER_NUM_VALUE,1 as VALUE_TYPE,t.timestamp as VALUE_DATE f

13、rom rt_zc t46工具工具FLM的使用的使用47工具的启动可以通过开始所有程序来启动。FLM启动时不需要输入用户名，密码。48启动后的页面49启动后的页面左侧部分是现有的许可证文件，和该文件分别对servers（FES、FPS、FMQ）、Adapters（组件）、Tools（工具）的权限。50启动后的页面右侧部分是具体的授权信息。两条红线分别是开始时间和结束时间。51导入许可证文件FLM察看的文件是本地的Fiorano上的许可证文件，导入的许可证文件的位置也是本地的Fiorano。52导入许可证文件选择需要的文件导入。53工具工具FSSM的使用的使用54FSSM介绍FSSM的作用有两个

14、，一个是前面介绍的对组件的管理。另一个是对权限的管理。55修改用户的密码修改admin的密码，右键-Change Password56工具工具Studio的使用的使用57Studio介绍前面提到的修改Fiorano节点名和连接地址的方法都是使用修改配置文件的方式，Fiorano提供了Studio对FPS和FES的属性作简单的修改。Studio可以连接到运行着的FES和FPS修改相应的程序，也可以在FES、FPS不运行时修改本地的配置文件。58Studio启动可以通过开始，所有程序来启动。59Studio启动正在启动60Studio启动启动后的页面61修改节点名当本地的节点不在线时，可以通过导入

15、配置文件，修改节点的节点名和连接的FES的IP地址。打开配置文件，在Profiles manager中按右键。62修改节点名选择配置文件的文件夹后打开：C:Program FilesFioranoSOA2006SP2esbfpsprofilesFPS63修改节点名已打开的配置文件64修改节点名Profile Name即为节点名，将其修改为lchen65修改节点名保存修改信息66修改节点名关闭配置文件67修改节点名启动FPS，节点名已修改68修改连接的FESFiorano-esb-peer-Transport-enterprisebus-enterpriseserver将连接地址修改为10.81.12.9969修改连接的FES保存后，启动FPS。70