1、认知计算与深度学习基 于 物 联 网 云 平 台 的 智 能 应 用 深度学习和社交分析应用目录CONTENT1深度学习系统和社交媒体行业2使用ANN和CNN算法的文本和图像识别3深度增强学习的应用4社交媒体应用程序的数据分析5本章小结深度学习系统和社交媒体行业机器学习(ML)和深度学习(DL)相关的软件库和平台是由工业界和学术界为其研发相关应用程序开发的。正如前面章节所学习到的那样,深度学习是机器学习方法的更广泛的一部分。不同之处在于对数据不同的学习方式。例如:X射线图像的检查以多种方式表示,例如矢量,矩阵或张量。这些便是受到神经科学进步的启发。深度学习系统和社交媒体行业我们已经对机器学习算
2、法和深度学习算法有了一定了解.。深度学习作为机器学习的一个分支。在大量训练数据“喂养”模型来达到最优效果的情况下,云提供了有效的资源来完成实时的学习。表9-1 从平台、接口、性能、建模能力等方面对五个当今较为流行的深度学习软件库进行了比较,其中建模能力是评估软件库在深度学习应用中的实用性的关键指标。1.深度学习系统和软件支持深度学习系统和社交媒体行业2.增强学习原则 增强学习的学习目标是在深度学习过程中实现最大的奖励。增强学习是无监督机器学习的子类,因为增强学习中给定的数据没有标签。增强学习被认为是人工智能的通用框架。在数学上,其学习环境被认为是马尔可夫决策过程(MDP)。深度学习系统和社交媒
3、体行业增强学习模型由以下5 个部分构成:以一组状态为特征的学习环境。RL 智能体可以采取的一组行动。其中每个行动都会影响智能体的未来状态,智能体具有评估其行动的长期后果的能力。RL 状态之间的转换规则。确定状态转移的立即回报规则。指定代理可以观察的内容的规则。深度学习系统和社交媒体行业 RL 算法鼓励使用样本来优化性能和使用函数近似来处理大型环境。有两种方法使得RL在处理以下三种机器学习环境时特别有吸引力:一个缺乏解决方案的已知模型环境;基于模拟的优化环境;通过与环境交互来收集有关环境的信息。强化学习环境的基本假设包括:所有事件都作为一系列剧集的情节。当达到一些终端状态时,情节结束。无论智能体
4、可能采取什么样的行动,终止都是不可避免的。对于任何决策和状态的初始分配,总报酬的期望是明确的。深度学习系统和社交媒体行业 智能算法必须能够制定RL 算法来找到一个具有最大预期收益的决策。该算法需要搜索最优策略以获得最大奖励。通常,我们使用确定的固定策略,仅基于所访问的当前或最后状态来确定性地选择动作。设计强化学习算法有许多方法。一个粗暴的方法是选择具有最大预期回报的政策,这种方法的主要困难是决策选择集可能非常大甚至是无穷的。价值函数方法试图找到一个策略,能够通过保留一些策略的预计回报估计值来寻找最大的回报。其他RL方案包括时间差方法,其允许在回报估计值确定之前改变策略。直接策略搜索方法通过直接
5、从策略空间中搜索找到良好的策略,基于梯度和基于无梯度的方法都属于这种方法。基于渐变的方法从有限维(参数)空间到策略空间的映射开始。策略搜索方法通常太慢而无法收敛到最佳选择。深度学习系统和社交媒体行业3.社交媒体行业和全球影响 社交媒体行业正在远离平面媒体,如报纸、杂志或电视节目。另一方面,电子书、移动支付、Uber汽车、在线购物和社交网络正在逐渐成为主流,其核心是在理想地点的最佳时机去捕捉或定位用户,且最终目的是服务或传达符合消费者心态的消息或内容。深度学习系统和社交媒体行业社交媒体服务体现在我们的日常生活活动的以下4个领域:社交媒体服务Web 2.0是 Web服务应用程序的一部分 用户生成的
6、内容是社交媒体的命脉 用户为社交媒体和网站针对不同的服务创建特定的配置文件 社交媒体促进社交和商业活动中的在线社交网络的发展使用ANN和CNN算法的文本和图像识别 手写数字识别是一个分类问题。如图9-1 所示,输入是手写数字图像,输出为由图像表示的数字。为了让读者易于学习和练习,我们使用经典的手写数字集Mnist 作为应用程序数据集。Mnist 包括60000 个手写数字的图像,并且每个图像都是2828 像素。使用ANN和CNN算法的文本和图像识别1.在ANN中使用TensorFlow进行数字识别 以下示例显示如何在编写人工神经网络(ANN)的过程中中使用TensorFlow,将其称为Mnis
7、t分类器。我们考虑一个4层ANN的构造,称为Mnist分类器。由4个步骤来构造他们的ANN。Step 1:收集数据:我们使用从Yann LeCun(http:/ 2:建造ANN模型:我们选择一个4层神经网络来构造分类器,它包含1个输入层,2个隐藏层和1个输出层。使用ANN和CNN算法的文本和图像识别Step 4:网络测试:算法将会比较测试数据的输出及其相应的标签并且计算其精度。Step 3:训练模型:通过比较训练数据的输出及其标签,算法将调整网络的参数。图 9 2 基于一个人工神经网络编程的TensorFlow的结果使用ANN和CNN算法的文本和图像识别2.使用卷积神经网络进行数字识别 深度学
8、习使用卷积神经网络进行特征提取和分类。图 9 3所示包括5层的卷积深神经网络结构,其中包括2个卷积层,每一个卷积层后是一个池化层,连接一个全连接层,最后进行分类输出。图 9 3 手写数字识别卷积神经网络结构使用ANN和CNN算法的文本和图像识别Step 1:读入数据集首先,读入数据集,预处理训练集train_x和标签集train_y。Step 2:初始化CNN初始化卷积层和池化层结构。Step 3:训练CNN在训练过程中,首先输入手写数字图像。前向传播算法得到输入图像的分类结果。然后,使用后向传播算法计算输出类别和标注类别的误差。最后,调整每一层的参数。训练结束后,固定网络的参数,得到训练好的
9、CNN。Step 4:测试CNN使用ANN和CNN算法的文本和图像识别3.利用卷积神经网络进行人脸识别 人脸识别是计算机视觉领域一个非常重要的研究方向,目前深度学习在人脸识别领域已经达到或超过人类水平,在LFW数据集上达到99.47%的识别率,超过人眼在此数据集上的识别率99.25%。图 9 4 Deep ID人脸识别系统结构使用ANN和CNN算法的文本和图像识别Deep ID算法如下:Input:输入层输入LFW数据集中人脸图像,3931像素 Convolution1:卷积核大小设置为44,共使用20个卷积核。这层需要设置20个44的权重矩阵,卷积步长设置为1。卷积之后获得20个特征图,每个
10、特征图大小为(39-4)+1)(28-4)+1)=3628。激活函数使用RELU(x)=max(0,x)函数。Pooling1:对上层Convolution1输出的20个特征图操作,每个不重叠的2*2区域进行最大Pooling,得到20个特征图,每个特征图大小为(36/2)(28/2)=1814。使用ANN和CNN算法的文本和图像识别 Convolution2:以上层Pooling1的输出作为输入,卷积核大小33,共使用40个卷积核(40个33的权重矩阵),卷积步长设置为1。同样使用RELU函数作为激活函数,卷积之后得到40个特征图,每个特征图大小为(18-3)+1)(14-3)+1)=161
11、2。Pooling2:对上层Convoluation2输出的40个特征图操作,每个不重叠的2*2区域进行最大Pooling,得到40个特征图,每个特征图大小为(16/2)(12/2)=86。Convolution3:使用上层Pooling2的输出作为输入,卷积核大小33,共使用60个卷积核(设置60个3*3的权重矩阵),卷积步长与Convolution2和Convolution3相同设置为1。卷积之后获得60个特征图,每个特征图大小为(8-3)+1)(6-3)+1)=64。激活函数使用RELU函数。使用ANN和CNN算法的文本和图像识别 Pooling3:对上层Convolution3输出的6
12、0个特征图进行池化操作。对每个不重叠的2*2区域进行最大Pooling,得到60个特征图,每个特征图大小为(6/2)(14/2)=32。Convolution4:以上层Pooling3的输出作为输入,卷积核大小22,共使用80个卷积核(80个2*2的权重矩阵)。卷积步长设置为1,卷积操作得到80个特征图,每个特征图大小为(3-2)+1)(2-2)+1)=21。激活函数使用RELU函数。DeepID:算法中,Deep ID层是全连接层,包含160个隐藏神经元,与Convolution4和Pooling3的输出进行全连接。softmax(输出层):使用softmax全连接的分类器,输出识别结果(所
13、有的n个类别)。使用ANN和CNN算法的文本和图像识别4.卷积神经网络医疗文本分析 使用深度学习方法进行文本的分析时,首先需要对文本进行数字化的表示,然后使用深度学习算法进行文本的特征学习和提取及相应的理解。图9-5 所示为深度学习文本理解的示意图。使用ANN和CNN算法的文本和图像识别(1)文本表示法 自然语言理解要转化为深度学习问题,首先要将文本中的每一个词用数字化的方法表示,通常使用词向量(word embedding)的方法表示。词向量文本表示方法就是建立一个词汇表,每一个词在词汇表中对应一个向量。词向量的表示方法有两种:一元表示法(one-hot representation)和分布
14、式表示法(distributed representation)。使用ANN和CNN算法的文本和图像识别(2)医疗文本理解模型建立基于卷积神经网络的医疗文本理解模型,主要包括三部分:学习词向量。训练 CNN 学习医疗文本特征。测试和应用。使用ANN和CNN算法的文本和图像识别3.卷积神经网络 对于输入文本的词向量表示xw(xw1,xw2,xwN),依次计算xw 中的每个词的卷积向量。第n 个词的卷积向量计算如图9-9 所示。(1)卷积层使用ANN和CNN算法的文本和图像识别(2)池化层 池化操作分为最大池化操作和平均池化操作,这里将进行最大池化操作。选择最大池化操作的原因是文本中每一个词的作用
15、并不是完全相等的,也就是通过最大池化选择出文本中能起到关键作用的元素。(3)输出层池化层后连接一个神经网络的全连接层,使用softmax 分类器输出分类结果。(4)CNN 训练使用随机梯度下降法进行参数的训练,参数的修改使用下式,其中 是学习率。深度增强学习的应用1.DeepMind 利用深度增强学习玩游戏 谷歌DeepMind 在一些创新的智能应用上,结合深度学习和增强算法来实现人类水平的性能,这种新的算法称为深度增强学习(DRL)。DRL 采用一组智能体来选择最优的行动。第一个DRL 方法称为Deep Q-network(DQN),由DeepMind 的David Silver 提出,他是
16、AlphaGo 的作者之一。DQN 结合了CNN 和Q-network 算法。Q-network 用来评估智能体执行一个特定动作后的奖励。图9-12 显示了谷歌的一个通用增强学习架构,称为Gorila。深度增强学习的应用2.深度增强学习算法 深度增强学习是将深度学习和增强学习结合起来的算法。其中增强是一个序列决策的问题,通过不断地选择行动来最大化未来总奖励。它和监督学习不一样,它没有监督值,但是有奖励值,而这个奖励值是执行一系列行动之后的奖励累计值。图9-13 是增强学习的简单示意图。深度增强学习的应用增强学习的目的是寻找最优策略,使之最大化累积奖励值:策略是状态到动作的映射,也就是根据当前状
17、态智能体要怎么做。有两种典型的策略:一种是决定性策略,在特定状态下明确执行一些动作,即 a=(s);另一种是随机策略,即(a|s)=Pa|s,它表示在某种状态 s 下执行某个动作 a 的概率。深度增强学习的应用 策略通常是通常价值函数来确定,预测未来奖励,体现了当前状态或状态行动的好坏。价值函数分为状态价值函数v(s)和行动价值函数q(s,a)。状态价值函数v(s)是从状态s起,执行策略能得到的期望奖励值。立即奖励值指在状态s时选择行动a瞬间得到的奖励值深度增强学习的应用通过迭代,可以得到状态价值函数和行动价值函数的关系:对于任意的马尔可夫决策过程,总能找到最优策略,所有的最优策略都对应最优状
18、态价值函数v*(s)和行动价值函数q*(s,a),二者关系为:深度增强学习的应用(1)由对组成回放池(replay memory),每次从回放池中随机取样。回放池打破了数据之间的相关性,使数据独立相等地分布。(2)固定目标Q-network来避免波动,打破Q-network和目标之间的相关性。(3)将奖励或网络标准调整到一个合理的范围,这需要一个强大的梯度方法。状态作为输入对每个可能的行动输出一个Q值。经过一次神经网络的正向传播,更新所有行动的Q值。DQN有几个显著的特点:深度增强学习的应用1.对当前的状态s执行前向传播,获得对所有行动的预测Q值2.对下一状态s 执行前向传播,计算网络输出的最
19、大Q值:3.设置行动的目标Q值为,这里的max值在第二步已经算出。预测值为第一步计算出的 4.使用后向传播算法更新权重。损失函数为:给定转移,Q值表更新规则变动如下:2arg),(),(max21 predictionettasQasQrL深度增强学习的应用3.深度增强学习训练平台OpenAI Gym 2016年4月28日,人工智能公司Open AI对外发布了一款用于研发和比较深度强化学习算法的工具包OpenAI Gym(https:/ Gym的使用。深度增强学习的应用4.AlphaGo原理解析 AlphaGo程序由以下4部分组成:策略网络(Policy Network)、快速走棋(Fast
20、rollout)、估值网络(Value Network)、蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)。(1)AlphaGo的卷积神经网络构建和它的训练过程如图 9 16所示,构建一个卷积神经网络,选择成功率较大的位置落子。图 9 16 围棋棋盘的卷积神经网络构建深度增强学习的应用图 9 17解释了监督学习和增强学习。图 9 17 策略网络和价值网络之间的自我对弈深度增强学习的应用(2)AlphaGo程序中的深度增强学习系统架构步骤1:最左边框图是线下深度学习的过程。一个有监督的深度学习方法通过输入专业玩家的棋谱训练实现,目的是并行执行下面两项任务:(1)使用线性
21、模型提取特征值,产生快速走棋网络用于蒙特卡洛树搜索。(2)使用特征图更新策略网络。为接下来的两个步骤程作准备。步骤2:该步骤通过增强学习更新之前的策略网络,为步骤3做准备。根据自我对弈的棋谱,在步骤3随机选择行动。步骤3:该步骤使用自我对弈棋谱随机走U步,然后进行三个并行的任务判断胜负,提取有用特征,提取当前玩家棋子的颜色。这三个任务的输出合并起来,输入深度logistic回归模型,以训练价值网络。更新的快速走子,策略网络和价值网络应用到图 9 18线上学习过程的5个步骤。深度增强学习的应用(3)AlphaGo和人类玩家对弈的线上学习过程在图 9 19,我们展示了AlphaGo线上学习的5个步
22、骤步骤1;基于当前棋盘提取特征。步骤2:使用策略网络估计每个可能落子位置落子的概率。步骤3:根据落子概率计算往下发展的权重。图 9 18 AlphaGo的线下学习过程 深度增强学习的应用(3)AlphaGo和人类玩家对弈的线上学习过程步骤4:使用价值网络和快速走子网络更新奖励。步骤5:选择权重最大的位置落子。权重的更新可以并行。当估算某位置的时间超过一定值,下一步就使用蒙特卡洛树搜索。图 9 18 AlphaGo的线下学习过程 深度增强学习的应用图 9 19 AlphaGo的线上学习过程蒙特卡洛树同时使用价值网络和策略网络:(1)根据当前棋局,选择对手可能的落子策略。(2)根据对手的落子,选择
23、对我们最有利的行动,展开至胜率最大的落子模式。(3)选择下一步最优行动有两种方法。一种需要估值网络估计的胜率,另一种是使用蒙特卡洛树做更深层的预测。AlphaGo使用混合系数将两种方法的结果进行整合得出新的结果。(4)决定了最优行动之后,我们估计对手可能的下一步行动,基于最优行动的位置使用策略网络估计对手相应的策略。社交媒体应用程序的数据分析 传统的在线社区是以群体为导向的,而现代社交网站则与其完全不同。社交网络的建立基于个人友谊、亲属关系、专业、共同兴趣、经济交流、社区或种族群体、宗教或政治信仰、知识或声望以及粉丝等。在社交网络中,节点代表个人,节点之间的纽带表示友谊、亲属关系和同事之间的关
24、系等。在线社交网络服务旨在反映人们之间的社会关系。这些服务作为通信工具出现在人们的生活中。社交媒体应用程序的数据分析1.社交媒体应用中的大数据需求 目前有许多组织在使用企业社交网络。移动社交媒体会收集用户的地点和时间等敏感特征的大数据。他们的目标是管理客户关系,促进销售和制定激励计划,我们将分别在如下4 个领域对其进行评估。市场调查。社交媒体交流中的通信。促销和折扣。电子商务。社交媒体应用程序的数据分析2.社交网络和图表分析 一般来说,社交网络是自发组织的且紧急而复杂的,这使得构成系统的本地元素在交互中出现了全局一致的模式。随着网络规模的增加,这些模式变得更加明显。然而,对世界上所有人际关系进
25、行网络分析是不可行的。其中主要的限制条件是出于对道德、参与者的招聘以及经济方面的考虑。(1)社交媒体网络的等级网络可能落入三类水平:微观水平、中等水平和宏观水平。社交媒体应用程序的数据分析(2)社交图特征 社交图中的节点对应于用户或角色,图形边缘或链接指的是节点之间的联系或关系。图可以是复杂的或是有层次的结构,以反映所有级别的关系。社交网络在解决问题、组织运营以及个人成功实现其目标方面发挥着关键作用。(3)社交网络图属性:社交媒体应用程序的数据分析节点度数,距离,路径长度和间隔:节点度数是与一个节点直接相邻的节点数量,用来定义网络中的一个节点可以到达网络中的其他节点的数量。亲密度和凝聚力:它表
26、示网络中的一个节点与所有其他节点(直接或间接)的耦合程度。中心性和集中性:中心性表示基于节点连接网络的社交能力。社交圈或集群:这是指一些结构化群体。集中式与分散式网络:中心性基于其“连接”网络的程度,给出了节点的社交能力的粗略指示。社交媒体应用程序的数据分析桥和本地桥:如果删除一条边会导致其端点位于图的不同群集或组件中,则这条边便是桥。声望和径向:在社交图中,声望描述节点的中心性。“声望度”、“声望接近”和“声望状态”都是描述声望的。径向是网络达到的程度,它提供新的信息和影响。结构内聚,等价和孔:结构内聚是指代最小数量的成员,这些成员如果被从组中删除,将会使组断开。结构等价是指节点具有到其他节
27、点的共同链接集合的程度,这些节点彼此没有任何关系。社交媒体应用程序的数据分析(4)社交图分析例子通过身份、对话、分享、远程视频、关系、联系等方式可以将在线社交网络服务组合在一起。下面我们将针对提供在线社交网络服务提出一点想法:1.通过社交关系链接的每个用户的个人页面或个人资料2.沿着特定的社交链接或网络遍历的社交图3.参与者或注册用户之间的通信工具社交媒体应用程序的数据分析4.与朋友或专业群体分享特殊信息,如音乐,照片,视频等5.在特殊小众主题领域(如医疗健康、运动、爱好等)中建立一个圈子6.可能需要特定的软件工具或数据库来建立社交网络服务7.强大的客户忠诚度和疯狂的会员成长是社交网络社区的典
28、型特征8.社交网络通过销售高级会员和访问高级内容的资格来获得收入社交媒体应用程序的数据分析(5)过滤技术和推荐系统 我们需要为电影,旅游,餐馆建立推荐系统,使我们的日常生活活动更有条理、方便且轻松。通过搜寻群众的意见,根据评级结果做出决定,来对不想要的数据进行社交或协作过滤。基于产品的特征和用户的评价来推荐项目时需要基于内容的过滤。(6)推进针对云/网络安全实施的数据分析 这是一个将大数据用于网络安全执法的热门研究领域。网络安全、企业事件分析、网络流监视迫切需要大数据分析,用来识别僵尸网络、监测持续威胁,同时信誉系统的信任管理也需要数据共享、找到数据来源、管理技术。社交媒体应用程序的数据分析(
29、7)物联网和社交网络应用程序中的云支持(8)在线社交网络架构 在信息物理系统(CPS)中,分析算法可以在系统配置、物理知识和工作原理方面更准确地执行。使用云存储和分析系统极大地改进了人与机器之间的耦合模型。这涉及到感测、存储、同步、合成和服务等具体操作。智能和普及的云应用受到个人、家庭、社区、公司和政府等的高度需求。在云环境中非常需要传统集群部署、网格、P2P、社交网络等应用。需要定制OSN以维持该领域的竞争。社交网络提供商应选择具有自己的API接口和配置文件变量的品牌,所选择的论坛类别必须与足够大的用户群体相关。OSN平台必须具有使用户容易加入且易于享受服务的特点。此外,提供商必须遵循在线营
30、销概念来允许会员自由加入和离开。社交媒体应用程序的数据分析3.预测分析软件工具 下面介绍一些商业预测分析工具,这些工具在大数据资源的社交媒体和业务应用中是不可或缺的,它们可以应用于许多重要的实际应用程序中。这些应用程序使用数据挖掘、机器学习和统计技术从业务或政府数据集中提取信息,目的是揭示隐藏的模式和趋势,并预测未来的结果。开源的商业分析工具可以从大型或小型软件公司或研究机构,如IBM,SAP,Oracle,MATHLAB,SAS,Predixion等获得。社交媒体应用程序的数据分析(1)预测分析应用程序回归和机器学习技术经常应用于以下应用程序。客户关系分析管理(CRM)。临床决策支持和疾病预
31、测。欺诈检测、贷款审批和收集分析。儿童保护、医疗健康和老人护理。客户保留和直接营销。投资组合、产品或经济预测。承保和风险管理。社交媒体应用程序的数据分析(2)预测分析商业软件在表9-4 中,我们总结了五个代表性的预测分析软件包的功能和应用领域。社交媒体应用程序的数据分析4.社交网络中的社区检测 在社会科学中,社区(或集群)由一群具有某种有限关系的人形成。在社会学、生物学和计算机科学中,发现社会关系是非常重要的。社区结构通常由社交图表示。良好社区的每个社交图都由一些具有连接社区的内部节点和一些连接到原始全局图中的外部节点构成。社区可以是不相交的或重叠的,不相交的社区不共享节点,而重叠的社区共享一
32、些节点。如图 9 25所示,这六个图形的操作可以改变图形拓扑。如同人类社区一样,社交图也可以在其生命周期中发生变化。图 9 25 通过连接,消亡,增长,生成,拆分和收缩形成社区图社交媒体应用程序的数据分析 为了检测社交图中的社区联系,我们认识到非重叠社区比重叠社区更容易检测。因此我们列出三种方法来检测社交图中的社区。这些方法通过应用成员关系规则来区分。这些结果的产生基于spin-spin模型相互作用,随机游走和同步这三种方法。spin-spin 模型:旋转系统用于在 q 个可能状态之间转换。相互作用是磁性相吸的,它有利于自旋对齐,所以在零度下所有自旋处于相同的状态。如果还存在互斥作用,则系统的
33、基态可能不是所有自旋对准的基态,而是同质簇中不同自旋值共存的状态。随机游走:随机游走对于寻找社区非常有用。如果图具有很强的社区结构,则随机游走者在社区内将花费很长时间,这是由于内部边的高密度以及随后可以跟随的路径的数目较多。同步:在同步状态下,系统的单元每次处于相同或相似的状态。同步也已应用于在图中查找社区。社交媒体应用程序的数据分析 聚类算法的最终目标是试图推断出顶点之间的属性和关系,并旨在理解实际系统的应用程序。我们还提到了一些应用程序和其他类型的网络。其他社交媒体网络也存在于当今的IT 世界中,这些网络在做出分析决策时还可以生成向云平台反馈的双向数据集,下面简要介绍下它们。协作网络:在这
34、样的社交网络中,个人链接在一起以交流共同兴趣或进行商业合作。通过隐含的客观的认识概念进行协作。引文网络:用于了解作者的引文模式,并揭示学科之间的关系。立法网络:它使人们能够通过议会活动推断政治家之间的联系,这可能与党派关系有关,也可能无关。通过使用美国国会图书馆数据中的数据,人们对这一主题进行了大量研究。本章小结 许多有趣的认知功能可以通过各种类型的人工神经网络的深度学习工具来构建。特别是,我们展示了通过使用TensorFlow在今天的云端上实现认知智能系统,并研究了强化学习方法。特别地,我们研究深度学习和重新融合训练的结合使用,已经在围棋游戏比赛中成功应用。预测分析被认为是具有强力潜能的,以支持社交网络中的大数据应用,例如社区检测和筛选朋友圈。THANKS FOR WATCHING