多维数据分析系统

计算机学术语

多维数据分析是以数据库或数据仓库为基础的,其最终数据来自底层的数据库系统,多维数据分析更适合以数据仓库为基础的数据分析处理。这里结合生产领域中重要效率评价指标 OEE,研究如何用多维的思路和方法来分析。

系统简介
20世纪90年代后,随着全员生产维护的开展,设备综合效率(Overall Equipment Effectiveness,OEE)作为全员生产维护衡量设备效能的标准得到广泛应用,并取得显著成效。Factorytalk、OEE、Toolkit等OEE分析软件已经被广泛使用,另外在国内外的各种MES系统中也相应引入了OEE分析模块。
然而,不管是OEE分析专用软件还是带有OEE分析模块的 MES,都存在如下弊端:1)费用高昂;2)开发要求较高;3)在使用中会存在一定问题。 另外用常规通用的统计分析软件,虽然可以降低成本,但是对于海量的OEE数据,要高效准确得出结果却存在很大的难度。
另外在当前的数据分析领域中,多维数据分析作为一项新兴技术,受到广泛重视。利用多维数据分析以OLAP(联机分析处理)作为平台,并且延伸到数据挖掘领域的综合分析数据系统,在人口信息、石油生产、医院信息等多个方面的数据分析都起到了积极作用。然而,针对生产领域中具体对于OEE的数据分析上,还鲜见多维数据分应用的实例。
在结合现有OEE分析系统特点的基础和基于多维数据分析的基本思想,本文提出了一种开发更简单 、使用更便捷的基于 OEE 的多维数据分析系统。
对海量 OEE数据进行多维处理的必要性
OEE基本计算方法
OEE是用来说明实际的生产能力与理论产能的比例,它准确地告诉管理者:设备的效率如何,在生产的哪个环节有多少损失,以及可以进行哪些有针对性的改善工作。
OEE的计算公式为:OEE = 时间开动率×性能开动率×合格品率×100%。
其中,时间开动率=实际工作时间 /计划工作时间;性能开动率 =理想周期时间 / (工作时间 /总产量 ) = (总产量 /工作时间 ) /生产速率;合格品率 =合格品 /总产量。
海量生产数据分析中存在的问题
企业在生产运营活动中会产生大量数据,可以对企业的生产活动提供有效的指导信息,然而这些数据在一定程度上也会对其自身的分析造成难度。对于包含大量信息的数据,用常规方法通常不能取得理想的效果。 大量数据对其自身分析的阻碍作用。主要在以下3个方面。
1)生产在时间序列上产生的大量数据需要处理的时间长。
2)多种数据产生的大量信息在多个方面用常规方法分析的灵活性不理想。
3)生产系统中不确定因素的负面影响。
多维数据处理对 OEE分析的基本思路
多维数据处理方法基本思路:多维数据分析是对数据进行分析的新方法 。该方法对数据从多个角度即多个维度进行观察和分析,多维的分析操作是指通过对多维形式组织起来的数据进行切片 、切块、聚合、钻取 、旋转等分析操作,以求剖析数据,使用户能够从多种维度、多个侧面 、多种数据综合度查看数据,从而深入地了解包在数据中的信息和内涵。
针对生产数据的多维处理方法:对生产中总量大、信息维度多的各种数据而言,用多维数据处理的思想进行分析和整理有助于提高分析的效率和质量。
在生产记录数据表单中,包含了多种类型的数据,这类数据可以归结为:时间数据、产品数据、生产组织数据、工艺数据 、生产信息数据以及衍生数据这6个大类,其中前 5个数据是报表中包含的数据,而衍生数据是已有数据在经过计算后所得出的数据。
根据这六大类数据,可以把报表中数据划分为 6个维度,在各个维度的基础上,根据实际记录数据再划分为不同层次上的子维度。
在维度划分和层次划分的基础上可以就数据进行多维度及多层次子维度的分析,根据多维数据分析的基本思想和对 OEE数据分析的基本要求,对操作进行如下定义。
1)切割:切割是对传统多维数据中切块和切片的整合操作,在对 OEE进行数据分析中,选取包含OEE信息子维度的数据和其他维度上数据进行分析。其中选取的数据必然至少在 2个或 2个以上子维度数目,更多的是在3个或3个以上。
2)钻取:钻取操作主要应用在输出上,分为上钻和下钻。当切割完成并输出分析数据后,需要对数据再在宏观分析,就采取上钻的方式,即由下到上地进行汇总整理。 而下钻就正好相反,是在细节上对数据进行分析。
3)旋转:旋转是在选取的维度上,改变其位置,让在输出过程中,在不同角度上对数据进行分析。
OEE多维数据分析系统设计思想
OEE多维数据分析系统的基本结构
在 OEE多维数据分析系统中,分为 2个基本结构:一个是数据空间体系;另外一个是处理流程体系。
对数据空间体系而言,当数据从系统外部输入后,就保存在数据空间体系中。 在需要的时候,数据在空间体系中被调用,并且数据空间体系为调用的数据提供储存和计算的场所,数据从输入到输出都是在数据空间体系中进行的。数据输出是把所需数据在处理后由数据空间体系输出到系统外部 。
对处理流程体系而言,所有数据处理的操作规则都在其内部定义。 在处理流程体系中,规定了对数据如何输入、如何分析、如何输出的规则 。 对 OEE分析系统的多维数据处理,处理流程体系也制定了严格的流程来保证数据分析各个环节的顺利进行。
数据空间体系结构
在数据空间体系中,分为 3个层级来作为数据的储存和操作场所。从下到上分别是原始层、标准层以及应用层。
原始层作为原始数据输入到系统后储存的场所,当外部数据输入到系统中后,所有数据都作为原始数据储存在输入层中,而且对于原始数据,系统不会在输入层中对其进行定义和改动。
标准层是提取原始层中与分析有关的数据,在进行整理和按维度划分后的数据储存的场所,也是储存对各种数据定位的场所。 标准层有 3个子层 :储存子层、定位子层 、映射子层。 储存子层是储存从原始层中导入的数据。 在储存子层中,所有数据在相应类别上都按前面提到的各个维度以及其内部的各个子维度进行定义。 定位子层是针对数据的定义信息,按照不同维度以及其下的子维度,分别储存子层中各种数据的位置。 当有数据要被提取的时候,通过定位信息查找并提取所需数据。映射子层是根据每次数据提取需求,整理出所需数据的维度和相应子维度,并且在其内部列出这些维度以及相应子维度。它的功能是通过在查找定位子层中这些子维度的定位,把所需维度的数据,映射到应用层中。
应用层是接受映射数据和进行分析处理的场所。当接受从标准层传输的数据后,其按输出要求对数据进行分析和处理,并且在完成分析处理后,把结果从OEE多维数据分析系统中输出。
OEE分析系统的多维数据处理流程
根据 OEE数据分析的特点和在数据输出时便捷直观的要求,把整个 OEE的数据处理全程划分为 4个主要处理环节,分别是输入环节 、处理环节、输出准备环节以及输出环节。
1.环节及输出环节工作模式
输入环节是数据从外部导入系统数据原始层的通道。 输出环节是将在数据应用层中的数据分析结果,以表格或者图表的形式,直观地向用户呈现出OEE以及相关数据的表现形式。 除此之外,在输出环节把结果输出后,用户也可以根据具体需要,对系统提出钻取和旋转要求,让输出准备环节根据反馈要求对数据进行钻取和旋转后,再次进行数据输出 。
2.处理环节工作模式
处理层的功能是提取数据原始层中输入的数据,并对其进行预处理,并且把预处理后数据导入到数据标准层中,以便高效无误地进行后面环节的工作。 预处理分为 3个步骤:数据预计算、异常去除、维度整理 。
数据预计算是将由原始层提取的数据,按照OEE计算公式以及其它计算规则,计算出衍生数据。错误去除是指在完成预计算后,结合计算结果和导入的原始数据,筛除对后期数据分析会有影响的个别点位上的异常数据。
维度整理是根据去除异常数据后系统内数据所表达的各种信息,按照前面对生产数据划分规则,对现有数据中反映这些信息的数据按各个维度以及其下面各个层级子维度的关系进行标记。 还要把标记的数据,按标准的维度层次顺序分别依次导入到数据标准层中 。
处理环节有 2个目的,一是为后期进行切割和钻取工作提供来源数据;是避免一些无用的数据进入到后期的分析活动中,加大分析复杂程度。
3.输出准备环节工作模式
输出准备环节是对最终结果的输出做好数据上的准备,是连接标准层数据、应用层数据以及输出数据的桥梁。在输出准备环节主要起 3个作用,分别是抽取、整理和反馈处理。
抽取实际是把标准层中划分好维度的数据,按照输出要求用多维数据处理中切割的方式选取,并且导入到应用层中。整理是对应用层中的数据,按照输出要求进行统计和分析处理其它数据,以便输出直观的数据资料。
反馈是在输出完成后,再按照用户的要求,对输出数据进行重新处理。反馈处理包含 2个方面:一个是多维数据分析中的旋转;另外一个是多维数据分析中的钻取。
输出准备环节在整个系统中有 3个作用,一是把需要的维度数据用切割的方式抽出,供后面的分析使用;二是对抽出的数据,进行相应的统计计算,以便后面分析;三是实施输出层的反馈要求,对维度数据进行钻取。
全国各地天气预报查询

上海市

  • 市辖区
  • 云南省

  • 临沧市
  • 云南省

  • 丽江市
  • 云南省

  • 保山市
  • 云南省

  • 大理白族自治州
  • 云南省

  • 德宏傣族景颇族自治州
  • 云南省

  • 怒江傈僳族自治州
  • 云南省

  • 文山壮族苗族自治州
  • 云南省

  • 昆明市
  • 云南省

  • 昭通市
  • 云南省

  • 普洱市
  • 云南省

  • 曲靖市
  • 云南省

  • 楚雄彝族自治州
  • 云南省

  • 玉溪市
  • 云南省

  • 红河哈尼族彝族自治州
  • 云南省

  • 西双版纳傣族自治州
  • 云南省

  • 迪庆藏族自治州
  • 内蒙古自治区

  • 乌兰察布市
  • 内蒙古自治区

  • 乌海市
  • 内蒙古自治区

  • 兴安盟
  • 内蒙古自治区

  • 包头市
  • 内蒙古自治区

  • 呼伦贝尔市
  • 内蒙古自治区

  • 呼和浩特市
  • 内蒙古自治区

  • 巴彦淖尔市
  • 内蒙古自治区

  • 赤峰市
  • 内蒙古自治区

  • 通辽市
  • 内蒙古自治区

  • 鄂尔多斯市
  • 内蒙古自治区

  • 锡林郭勒盟
  • 内蒙古自治区

  • 阿拉善盟
  • 北京市

  • 市辖区
  • 吉林省

  • 吉林市
  • 吉林省

  • 四平市
  • 吉林省

  • 延边朝鲜族自治州
  • 吉林省

  • 松原市
  • 吉林省

  • 白城市
  • 吉林省

  • 白山市
  • 吉林省

  • 辽源市
  • 吉林省

  • 通化市
  • 吉林省

  • 长春市
  • 四川省

  • 乐山市
  • 四川省

  • 内江市
  • 四川省

  • 凉山彝族自治州
  • 四川省

  • 南充市
  • 四川省

  • 宜宾市
  • 四川省

  • 巴中市
  • 四川省

  • 广元市
  • 四川省

  • 广安市
  • 四川省

  • 德阳市
  • 四川省

  • 成都市
  • 四川省

  • 攀枝花市
  • 四川省

  • 泸州市
  • 四川省

  • 甘孜藏族自治州
  • 四川省

  • 眉山市
  • 四川省

  • 绵阳市
  • 四川省

  • 自贡市
  • 四川省

  • 资阳市
  • 四川省

  • 达州市
  • 四川省

  • 遂宁市
  • 四川省

  • 阿坝藏族羌族自治州
  • 四川省

  • 雅安市
  • 天津市

  • 市辖区
  • 宁夏回族自治区

  • 中卫市
  • 宁夏回族自治区

  • 吴忠市
  • 宁夏回族自治区

  • 固原市
  • 宁夏回族自治区

  • 石嘴山市
  • 宁夏回族自治区

  • 银川市
  • 安徽省

  • 亳州市
  • 安徽省

  • 六安市
  • 安徽省

  • 合肥市
  • 安徽省

  • 安庆市
  • 安徽省

  • 宣城市
  • 安徽省

  • 宿州市
  • 安徽省

  • 池州市
  • 安徽省

  • 淮北市
  • 安徽省

  • 淮南市
  • 安徽省

  • 滁州市
  • 安徽省

  • 芜湖市
  • 安徽省

  • 蚌埠市
  • 安徽省

  • 铜陵市
  • 安徽省

  • 阜阳市
  • 安徽省

  • 马鞍山市
  • 安徽省

  • 黄山市
  • 山东省

  • 东营市
  • 山东省

  • 临沂市
  • 山东省

  • 威海市
  • 山东省

  • 德州市
  • 山东省

  • 日照市
  • 山东省

  • 枣庄市
  • 山东省

  • 泰安市
  • 山东省

  • 济南市
  • 山东省

  • 济宁市
  • 山东省

  • 淄博市
  • 山东省

  • 滨州市
  • 山东省

  • 潍坊市
  • 山东省

  • 烟台市
  • 山东省

  • 聊城市
  • 山东省

  • 菏泽市
  • 山东省

  • 青岛市
  • 山西省

  • 临汾市
  • 山西省

  • 吕梁市
  • 山西省

  • 大同市
  • 山西省

  • 太原市
  • 山西省

  • 忻州市
  • 山西省

  • 晋中市
  • 山西省

  • 晋城市
  • 山西省

  • 朔州市
  • 山西省

  • 运城市
  • 山西省

  • 长治市
  • 山西省

  • 阳泉市
  • 广东省

  • 东莞市
  • 广东省

  • 中山市
  • 广东省

  • 云浮市
  • 广东省

  • 佛山市
  • 广东省

  • 广州市
  • 广东省

  • 惠州市
  • 广东省

  • 揭阳市
  • 广东省

  • 梅州市
  • 广东省

  • 汕头市
  • 广东省

  • 汕尾市
  • 广东省

  • 江门市
  • 广东省

  • 河源市
  • 广东省

  • 深圳市
  • 广东省

  • 清远市
  • 广东省

  • 湛江市
  • 广东省

  • 潮州市
  • 广东省

  • 珠海市
  • 广东省

  • 肇庆市
  • 广东省

  • 茂名市
  • 广东省

  • 阳江市
  • 广东省

  • 韶关市
  • 广西壮族自治区

  • 北海市
  • 广西壮族自治区

  • 南宁市
  • 广西壮族自治区

  • 崇左市
  • 广西壮族自治区

  • 来宾市
  • 广西壮族自治区

  • 柳州市
  • 广西壮族自治区

  • 桂林市
  • 广西壮族自治区

  • 梧州市
  • 广西壮族自治区

  • 河池市
  • 广西壮族自治区

  • 玉林市
  • 广西壮族自治区

  • 百色市
  • 广西壮族自治区

  • 贵港市
  • 广西壮族自治区

  • 贺州市
  • 广西壮族自治区

  • 钦州市
  • 广西壮族自治区

  • 防城港市
  • 新疆维吾尔自治区

  • 乌鲁木齐市
  • 新疆维吾尔自治区

  • 伊犁哈萨克自治州
  • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州
  • 新疆维吾尔自治区

  • 克拉玛依市
  • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州
  • 新疆维吾尔自治区

  • 吐鲁番市
  • 新疆维吾尔自治区

  • 和田地区
  • 新疆维吾尔自治区

  • 哈密市
  • 新疆维吾尔自治区

  • 喀什地区
  • 新疆维吾尔自治区

  • 塔城地区
  • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州
  • 新疆维吾尔自治区

  • 昌吉回族自治州
  • 新疆维吾尔自治区

  • 自治区直辖县级行政区划
  • 新疆维吾尔自治区

  • 阿克苏地区
  • 新疆维吾尔自治区

  • 阿勒泰地区
  • 江苏省

  • 南京市
  • 江苏省

  • 南通市
  • 江苏省

  • 宿迁市
  • 江苏省

  • 常州市
  • 江苏省

  • 徐州市
  • 江苏省

  • 扬州市
  • 江苏省

  • 无锡市
  • 江苏省

  • 泰州市
  • 江苏省

  • 淮安市
  • 江苏省

  • 盐城市
  • 江苏省

  • 苏州市
  • 江苏省

  • 连云港市
  • 江苏省

  • 镇江市
  • 江西省

  • 上饶市
  • 江西省

  • 九江市
  • 江西省

  • 南昌市
  • 江西省

  • 吉安市
  • 江西省

  • 宜春市
  • 江西省

  • 抚州市
  • 江西省

  • 新余市
  • 江西省

  • 景德镇市
  • 江西省

  • 萍乡市
  • 江西省

  • 赣州市
  • 江西省

  • 鹰潭市
  • 河北省

  • 保定市
  • 河北省

  • 唐山市
  • 河北省

  • 廊坊市
  • 河北省

  • 张家口市
  • 河北省

  • 承德市
  • 河北省

  • 沧州市
  • 河北省

  • 石家庄市
  • 河北省

  • 秦皇岛市
  • 河北省

  • 衡水市
  • 河北省

  • 邢台市
  • 河北省

  • 邯郸市
  • 河南省

  • 三门峡市
  • 河南省

  • 信阳市
  • 河南省

  • 南阳市
  • 河南省

  • 周口市
  • 河南省

  • 商丘市
  • 河南省

  • 安阳市
  • 河南省

  • 平顶山市
  • 河南省

  • 开封市
  • 河南省

  • 新乡市
  • 河南省

  • 洛阳市
  • 河南省

  • 漯河市
  • 河南省

  • 濮阳市
  • 河南省

  • 焦作市
  • 河南省

  • 省直辖县级行政区划
  • 河南省

  • 许昌市
  • 河南省

  • 郑州市
  • 河南省

  • 驻马店市
  • 河南省

  • 鹤壁市
  • 浙江省

  • 丽水市
  • 浙江省

  • 台州市
  • 浙江省

  • 嘉兴市
  • 浙江省

  • 宁波市
  • 浙江省

  • 杭州市
  • 浙江省

  • 温州市
  • 浙江省

  • 湖州市
  • 浙江省

  • 绍兴市
  • 浙江省

  • 舟山市
  • 浙江省

  • 衢州市
  • 浙江省

  • 金华市
  • 海南省

  • 三亚市
  • 海南省

  • 三沙市
  • 海南省

  • 儋州市
  • 海南省

  • 海口市
  • 海南省

  • 省直辖县级行政区划
  • 湖北省

  • 十堰市
  • 湖北省

  • 咸宁市
  • 湖北省

  • 孝感市
  • 湖北省

  • 宜昌市
  • 湖北省

  • 恩施土家族苗族自治州
  • 湖北省

  • 武汉市
  • 湖北省

  • 省直辖县级行政区划
  • 湖北省

  • 荆州市
  • 湖北省

  • 荆门市
  • 湖北省

  • 襄阳市
  • 湖北省

  • 鄂州市
  • 湖北省

  • 随州市
  • 湖北省

  • 黄冈市
  • 湖北省

  • 黄石市
  • 湖南省

  • 娄底市
  • 湖南省

  • 岳阳市
  • 湖南省

  • 常德市
  • 湖南省

  • 张家界市
  • 湖南省

  • 怀化市
  • 湖南省

  • 株洲市
  • 湖南省

  • 永州市
  • 湖南省

  • 湘潭市
  • 湖南省

  • 湘西土家族苗族自治州
  • 湖南省

  • 益阳市
  • 湖南省

  • 衡阳市
  • 湖南省

  • 邵阳市
  • 湖南省

  • 郴州市
  • 湖南省

  • 长沙市
  • 甘肃省

  • 临夏回族自治州
  • 甘肃省

  • 兰州市
  • 甘肃省

  • 嘉峪关市
  • 甘肃省

  • 天水市
  • 甘肃省

  • 定西市
  • 甘肃省

  • 平凉市
  • 甘肃省

  • 庆阳市
  • 甘肃省

  • 张掖市
  • 甘肃省

  • 武威市
  • 甘肃省

  • 甘南藏族自治州
  • 甘肃省

  • 白银市
  • 甘肃省

  • 酒泉市
  • 甘肃省

  • 金昌市
  • 甘肃省

  • 陇南市
  • 福建省

  • 三明市
  • 福建省

  • 南平市
  • 福建省

  • 厦门市
  • 福建省

  • 宁德市
  • 福建省

  • 泉州市
  • 福建省

  • 漳州市
  • 福建省

  • 福州市
  • 福建省

  • 莆田市
  • 福建省

  • 龙岩市
  • 西藏自治区

  • 山南市
  • 西藏自治区

  • 拉萨市
  • 西藏自治区

  • 日喀则市
  • 西藏自治区

  • 昌都市
  • 西藏自治区

  • 林芝市
  • 西藏自治区

  • 那曲市
  • 西藏自治区

  • 阿里地区
  • 贵州省

  • 六盘水市
  • 贵州省

  • 安顺市
  • 贵州省

  • 毕节市
  • 贵州省

  • 贵阳市
  • 贵州省

  • 遵义市
  • 贵州省

  • 铜仁市
  • 贵州省

  • 黔东南苗族侗族自治州
  • 贵州省

  • 黔南布依族苗族自治州
  • 贵州省

  • 黔西南布依族苗族自治州
  • 辽宁省

  • 丹东市
  • 辽宁省

  • 大连市
  • 辽宁省

  • 抚顺市
  • 辽宁省

  • 朝阳市
  • 辽宁省

  • 本溪市
  • 辽宁省

  • 沈阳市
  • 辽宁省

  • 盘锦市
  • 辽宁省

  • 营口市
  • 辽宁省

  • 葫芦岛市
  • 辽宁省

  • 辽阳市
  • 辽宁省

  • 铁岭市
  • 辽宁省

  • 锦州市
  • 辽宁省

  • 阜新市
  • 辽宁省

  • 鞍山市
  • 重庆市

  • 重庆市

  • 市辖区
  • 陕西省

  • 咸阳市
  • 陕西省

  • 商洛市
  • 陕西省

  • 安康市
  • 陕西省

  • 宝鸡市
  • 陕西省

  • 延安市
  • 陕西省

  • 榆林市
  • 陕西省

  • 汉中市
  • 陕西省

  • 渭南市
  • 陕西省

  • 西安市
  • 陕西省

  • 铜川市
  • 青海省

  • 果洛藏族自治州
  • 青海省

  • 海东市
  • 青海省

  • 海北藏族自治州
  • 青海省

  • 海南藏族自治州
  • 青海省

  • 海西蒙古族藏族自治州
  • 青海省

  • 玉树藏族自治州
  • 青海省

  • 西宁市
  • 青海省

  • 黄南藏族自治州
  • 黑龙江省

  • 七台河市
  • 黑龙江省

  • 伊春市
  • 黑龙江省

  • 佳木斯市
  • 黑龙江省

  • 双鸭山市
  • 黑龙江省

  • 哈尔滨市
  • 黑龙江省

  • 大兴安岭地区
  • 黑龙江省

  • 大庆市
  • 黑龙江省

  • 牡丹江市
  • 黑龙江省

  • 绥化市
  • 黑龙江省

  • 鸡西市
  • 黑龙江省

  • 鹤岗市
  • 黑龙江省

  • 黑河市
  • 黑龙江省

  • 齐齐哈尔市