1、物端计算机物端计算机边缘计算的智能物端系统研究边缘计算的智能物端系统研究Ecosystem of Things in Edge ComputingIT Ecosystems EvolutionWindows、Linuxdesktop、laptopDesktop Internet Era1981-Now1994-NowPhone、PadMobile Internet Era2007-NowIoE Era?ARM：迎接计算基础设施的第五次浪潮：迎接计算基础设施的第五次浪潮lll第一波：大型机；第二波：PC 与软件；第三波：互联网第四波：智能手机与云计算l 2017 年，年，ARM 占全球处理器晶元
2、的占全球处理器晶元的 95%产出产出第五波：万亿物端设备的新世界（第五波：万亿物端设备的新世界（Fifth Wave:Trillion-Device World）2017 年全球半导体电路产量：1 亿个晶元（总计亿个晶元（总计 113 亿平方英寸）亿平方英寸）数据来源：SEMI,IHS,Siltronic 2017物端计算机：一种新形态计算机物端计算机：一种新形态计算机lNano-Server：轻量级机群具象服务器（针对物体的微纳服务器）ll1.PC2.智能手机3.嵌入式系统4.HPC5.云服务器6.物端计算机提升“3+5 融合”重点是轻量级机群Things as a Service(TaaS
3、)Cluster on a ChipSaaSPaaSIaaS物端计算机是服务器物端计算机是服务器外部：功能呈现为服务内部：是轻量级机群GestureWebletVoiceSmart IoT DeviceT-T-RESTT-T-RESTT-T-RESTSmart Web of Things(SWoT)F F ZoneT-RESTRESTF PortSWoT=Smart Webof ThingsZhiwei Xu,Xiaohui Peng,Lei Zhang,Dong Li,and Ninghui Sun.2017.The -Stack for Smart Web ofThings.In Proc
4、eedings of SmartIoT17,San Jose,CA,USA,October 14,2017人端设备人端设备lPCBF PUSensorsActuatorsWebletCommunicationStorage硬件硬件F F-Stack Main ComponentsSupport smart web of thingsF DK软件软件F OS四种物端设备四种物端设备lSimple thing vs.rich thinglD:device,G:gateway,R:remotes计算迁移场景计算迁移场景l云端人脸识别场景云服务器智能摄像头云服务器智能摄像头返回识别结果手机/智能门锁手
5、机/智能门锁返回识别结果“张三”上传视频帧图片l边缘端人脸识别场景“张三”“张三”“张三”图片上传识别结果 上传视频帧边缘服务器，嵌入式节点（资源宽松），（资源受限）Python代码Vgg19已加载模型（570MB未加载时）Tensorflow框架Python运行时l现状（开发阶段）现状（开发阶段）移植及重写：适配目标设备的异构系统和软硬件接口l移植及重写移植及重写进程内存工作集：进程内存工作集：934 MB12 KB835 MB95.6 MB3.3 MB无法执行于无法执行于人脸识别任务人脸识别任务Raspberry Pi Zero(SDRAM 512 MB)Onion OMEGA2(SDRA
6、M 128 MB)Espduino(SRAM 520 KB)Arduino UNO Rev3(SRAM 2 KB)异构框架PyTorchTensorflowCaffeMXNet异构软硬件平台异构软硬件平台异构 OS 异构协议I2CLinuxWindowsMQTTRTOSHTTPContikiSPI异构硬件X86 CPUGPUMIPS CPUARM MCU10 余种余种 *100 余种余种*100 余种余种 *10 余种余种 100 万种可能的重写工作万种可能的重写工作资源受限：进程驻留工作集尺寸超过目标设备内存容量现状（部署阶段）现状（部署阶段）l独立程序部署1.2.由控制节点向目标节点传输计
7、算任务(OTA、下载等)在目标节点按计划加载及执行计算任务(常驻/计划任务)l不足：难以支持多用户按需部署、执行和分享难以支持多用户按需部署、执行和分享人脸识别(摄像头摄像头)部署部署返回结果传输代码(OTA,安装)执行和分享执行和分享main()frame=read_frame()r=face_recognize(frame)send(r,cloud_address)主函数入口主函数入口 硬编码地址硬编码地址手机无设备控制权无设备控制权厂商云服务器有设备控制权有设备控制权PC无设备控制权无设备控制权不同用户不同用户目标设备目标设备现状（使用阶段）现状（使用阶段）MQTT/TCPMQTT/TC
8、P客户端客户端手机手机/PC/PCl通过中心服务节点交互访问的使用模式l中心节点需存在较强的计算、存储、通信资源l不足：不支持物端设备间的不支持物端设备间的RESTfulRESTful WebWeb访问访问服务端服务端厂商云厂商云/边缘边缘服务器服务器视频帧11客户端客户端 客户端客户端RESTfulRESTful WebWeb访问访问智能摄像头智能摄像头 智能门锁智能门锁目标、理念目标、理念l目标：lll开发阶段：开发阶段：1.拟迁移任务的代码通过较少修改便可执行于异构软硬件设备上；2.拟迁移任务的资源消耗情况需与资源受限环境相匹配部署阶段：多方参与及共享的按需任务部署部署阶段：多方参与及共
9、享的按需任务部署使用阶段：端到端的使用阶段：端到端的 Web 直接交互能力l客户端客户端手机手机/PC/PC服务端服务端智能摄像头智能摄像头客户端客户端服务端服务端智能门锁智能门锁理念：理念：让设备直接提供让设备直接提供 Web 资源及服务资源及服务TaaS:Things as a Service读取视频帧：读取视频帧：http:/camera/frames进行人脸识别：进行人脸识别：http:/camera/recognized_frames厂商云厂商云/12边缘服务器边缘服务器客户端客户端服务端服务端物理资源和物理资源和 Web 资源的区别是什么？资源的区别是什么？l物理资源llWeb 资
10、源Web 资源限制接口、通信方式ll例如 RESTful API、HTTP(s)/ws/CoAP 等lWeb 资源同时也是服务资源同时也是服务，能够处理外界请求、返回响应物理资源视频采集丢弃数据库屏幕显示物理资源视频采集物理资源不限制数据流向、表述方式文件 文件系统记录帧数据http:/camera/framesWeb 资源资源现有的现有的 Web 服务所使用的服务所使用的 REST 架构架构是否适合计算迁移？是否适合计算迁移？l计算迁移需要 Web 服务端支持动态的资源扩展机制l REST 不支持从客户端到服务端的服务侧按需代码server-side code on demand服务端服务端
11、厂商云服务厂商云服务RESTREST支持支持客户侧按需代码客户侧按需代码服务端服务端智能摄像头智能摄像头客户端客户端手机手机(JavaScript(JavaScript界面逻辑界面逻辑)HTTPHTTPHTTPHTTP请求请求小程序小程序RESTREST不支持不支持服务侧按需代码服务侧按需代码(人脸识别代码人脸识别代码)T-REST 架构架构llT-REST 架构：基于 REST 扩展、提供物端 Web 资源多方部署及访问能力的 Web 架构超任务（hypertasking,hypertask）：分布式的计算迁移任务代码及必要执行配置“out_func”:recognize:,“data_ty
12、pe”:INT,“variable”:“video_frames”:“http:/C/video_frams/0”,“nn_param”:“http:/G/nn_param/0”“code”:“”T-RESTT-REST 超任务表述形式超任务表述形式(cHT(cHT inin JSON)JSON)超 任务超任务超任务资源存储资源存储EveryLite物端脚本语言虚拟机异构物端硬件(如传感器)ChromeAPP物端设备RESTfulRESTful 请求请求(例如例如HTTP)HTTP)RESTful 访问接口GET/POST/PUT/DELETEGET/POST/PUT/DELETET-REST
13、 资源存储架构架构识别任务Python代码MNIST已加载模型（4.7MB未加载时）Tensorflow框架Python运行时超任务超任务+EveryLite代码代码MNIST压缩模型神经网络硬件支持T-REST+EveryLiteT-REST 的开发模式的开发模式:ll效果：脚本式超任务编程，部分任务百效果：脚本式超任务编程，部分任务百 KB 级运行时工作集尺寸。针对 MNIST，可大幅降低工作集尺寸：124.4 MB 188 KB应用价值：将原本执行于亿级强资源设备应用价值：将原本执行于亿级强资源设备(如服务器)的任务，通过超任务表述方式推向 万亿级资源受限设备万亿级资源受限设备(如传感器
14、、控制器、边缘设备)3.3 MB12 KB25.5 MB95.6 MB（可外置）去除 GC、减少库依赖等进程内存工作集：进程内存工作集：124.4 MB13.2 KB173.8 KB测试环境：测试环境：1.Python 2.7.15，Tensorflow 1.13.1,应用负载 MNIST(512x10 MLP)。2.T-REST+EveryLite 物端脚本语言原型任务内存工作集：任务内存工作集：188 KB(神经网络外置神经网络外置)1020 KB1 KB832 KBT-REST 的部署及使用模式的部署及使用模式l效果：效果：ll服务侧按需代码能力，支持计算迁移。支持任意客户端(例如 Ch
15、rome 浏览器)通过 RESTful 请求感知、控制物理资源，以及处理计算迁移任务l客户端客户端服务侧服务侧按需代码按需代码价值：将万亿独立的物端计算机资源及其超任务表示的物价值：将万亿独立的物端计算机资源及其超任务表示的物理功能 自动生成自动生成 为全球可访问的 Web 资源及资源及 RESTful 服务服务客户端客户端厂商云服务厂商云服务HTTPHTTPHTTPHTTPT-RESTT-REST的部署和使用模式的部署和使用模式http:/camera/recognized_frames自动生成自动生成WebWeb服务服务服务端服务端智能摄像头智能摄像头人脸识别任务人脸识别任务人脸识别任务人
16、脸识别任务HTTPHTTP客户端客户端T-REST ResourceResourceConfigurationhttp:/camera/framesHyperTask2GET RequestInitial GET Requesthttp:/gateway/recognized_framesHyperTask1“frames”:“http:/camera/frames”T-REST ResourceResourceConfiguration创新创新 1:利用超任务表述物端资源及功能利用超任务表述物端资源及功能l可计算超文本原则(computational HyperText,cHT)ll超任务表
17、述：将单节点独立代码链式拆解为部分与位置无超任务表述：将单节点独立代码链式拆解为部分与位置无关的多节点超任务关的多节点超任务诀窍：诀窍：将单一代码内的变量读写转化为与执行位置无关的将单一代码内的变量读写转化为与执行位置无关的Web 资源读写资源读写传统计算迁移任务代码传统计算迁移任务代码(单一节点单一节点)超任务代码及配置超任务代码及配置(多节点多节点)Task Codefunction capture(t)write_to_spi(SETUP_ADDRESS,resolution)raw_frame_data=read_from_spi(CEMERA_ADDRESS)converted_fr
18、ame_data=convert(raw_frame_data)frames t)=converted_frame_dataend（不可调度代码）驱动指定异构设备驱动指定异构设备Task Codefunction recognize(t)frame=frames tnn_engine=load_nn(nn_param)recognized t=eval_nn(frame_data,nn_engine)end（可调度代码）支持任意异构设备支持任意异构设备链式拆解链式拆解function recognize()function capture()write_to_spi(SETUP_ADDRESS
19、,resolution)raw_frame_data=read_from_spi(CEMERA_ADDRESS)converted_frame_data=convert(raw_frame_data)return converted_frame_dataendframe=capture()nn_engine=load_nn(nn_param)return eval_nn(frame_data,nn_engine)end(作为整体进行迁移)只能运行于具备相同软硬件接口的单一设备capture_framehttp:/camera/frames-GETreturnClienthttp:/camera
20、/frames?t=1532365399Clienthttp:/camera/framesPUTl创新创新 2：物端资源及功能的自动服务化：物端资源及功能的自动服务化可复用远端执行原则(Reusable Remote Evaluation，RREV)ll自动服务化：自动服务化：将超任务与 T-REST 资源自动绑定，确保前端T-REST 资源是唯一的 Web 访问出入口诀窍：诀窍：将超任务的部署和执行问题转化为将超任务的部署和执行问题转化为 Web 资源的创建和资源的创建和读写问题读写问题自动创建自动创建 frames资源和资源和 Web 服务服务执行结果复用执行结果复用初步测试结果初步测试结
21、果l计算迁移场景：云(S)-网关(G)，云(S)-摄像头(C)llll实验环境Cloudlet：虚拟机实现Paradrop：Docker 实现MNIST 识别负载lT-REST 相对于传统边缘计算框架 Cloudlet 和 Paradrop：ll百 KB 级引擎大小、毫秒级启动2-3 个数量级的迁移负载大小和传输延迟优化Setup TimeOffloading Time with WiFiQuery Time of a New Query with WiFiQuery Time of a Repeated Query with WiFiQuery Time of a New Query wit
22、h 802.15.4Query Time of a Repeated Query with 802.15.4Time/ms1010 810 76Size/Byte1k10 510 410 310 210 110 01T1G1MCloudlet(S-G)Paradrop(S-G)T-REST(S-G)T-REST(S-C)Paradrop(S-G)十十 MB 级级Cloudlet(S-G)GB 级级百秒级百秒级十秒级十秒级毫秒级毫秒级T-REST(S-G)Framework SizeMemory Footprint SizeOffloaded Size百百 KB 级级毫秒级毫秒级T-REST(S
23、-C)Transmission Size of a New QueryTransmission Size of a Repeated Query百百 KB 级级工作工作特色特色不足不足CREST在REST基础上新增远端执行能力(RemoteEvaluation)新增crest协议，spawn方法传输代码，remote执行远端代码破坏原有REST原则引入新应用协议crest不支持数据和功能资源复用WebofThings(WoT)鼓励每个设备(物端、网关)提供Web服务不支持动态的计算迁移需求AWSGreengrass利用无服务计算(ServerlessComputing)支持计算迁移不支持物端设
24、备的直接服务访问能力CalvinIoT/Kappa将独立计算任务拆解为一组Actor模型支持无服务计算编程Firework将独立计算任务拆解为一组数据视图模型支持通过数据触发的计算流Cloudlet基于主机虚拟机技术迁移代码平台及迁移负载过于庞大21Paradrop基于容器技术迁移代码T-REST 相关工作相关工作 T-REST 相关领域包括：REST Web、WoT、边缘计算、物联网、云计算、服务计算 具体的相关工作包括：T-REST 解决了上述相关工作存在的问题解决了上述相关工作存在的问题T-REST 在在 Web 上带来的进步上带来的进步lllHypertask&HypermediaRE
25、STCREST/COAST物体即服务(Things as a Service,TaaS)超任务即服务引擎(Hypertask As The Engine Of Services,HATEOS)服务侧按需代码(Server-Side Code-on-Demand,SSCoD)Medium of informationHyperlinkEarlyDocumentsHypermediaHypertextScopeGlobally accessibleTwo-sides(C/S)extensibleLocally accessibleNot extensibleGlobally accessibleN
26、ot extensibleGlobally accessibleClient-side extensiblecodlinT-RESTek ed +cHT+RREVcod-opennessek edlin +CODEarlyWeb+REVstandalonecodeaccessibleextensible&accessibleserver-nodeclient-nodeontCloud/Big datacomputingckedlinentl小结小结一种新的计算机形态正在涌现：物端计算机ll针对物理世界融合了 Web 服务器+嵌入式系统的优点l需要研究新的系统结构与软硬件技术栈ll支持物端、支持 Web、支持智能（SWoT）支持“云-边缘”协同计算lT-REST 体系结构风格将 Web 拓展到物端ll可计算超文本：computational HyperText,cHTl 以及 EveryLite 脚本语言的可复用远端执行：Reusable Remote Evaluation，RREV
