【程序设计】11.4 [大数据] 大游标
发布时间：2022-11-17 10:43:43 所属栏目：大数据 来源：
导读： 我们还不会做大数据的排序。
排序运算很不一样，它的计算结果和源数据一样大，如果源数据在内存中装不下，结果必然也装不下，但它又不像select、new这些，可以一边遍历一边计算。
大数据的排序，
排序运算很不一样，它的计算结果和源数据一样大，如果源数据在内存中装不下，结果必然也装不下，但它又不像select、new这些，可以一边遍历一边计算。
大数据的排序，
|
我们还不会做大数据的排序。 排序运算很不一样，它的计算结果和源数据一样大，如果源数据在内存中装不下，结果必然也装不下，但它又不像select、new这些，可以一边遍历一边计算。 大数据的排序，必须利用外存来做缓冲才能解决，大体步骤是这样：读入一部分数据，在内存中排序，把结果写出去；然后再去下一部分，排序，再写出；…；最后会得到一批排过序的中间结果，然后再使用归并算法把这些中间结果串起来。这个过程比较复杂，超出了本书的设计范围，这里就不再讲详细原理了。 SPL提供了sortx函数用来执行大数据排序，这个函数把上述一系列过程都实现了。因为排序结果仍然是个大数据，所以sortx也会返回一个游标，但是它却不是延迟游标。sortx将会立即计算，返回的游标是基于上述那些中间结果的。 比如我们要把订单数据按平均单价从大到小排列，然后写到另一个文件中： 因为是从大到小排序，所以sortx用了负数作为参数。计算完之后的A2是个游标，它不能直接查看，可以用fetch取出数据，也可以像A3这样写入另一个文件。 sortx是立即计算的，它执行完返回时，游标A1已经被遍历完了，这时候即使把data.txt删掉，也不会影响A3的动作。这和select那些函数是完全不同的，select这些函数返回的延迟游标，将来会和其基础游标同步遍历。 要提醒一下，sortx可能速度比较慢，运行后需要稍等一些时间。它还会占用一些硬盘空间（用于存储中间结果），集算器缺省会使用操作系统临时目录，也可以在选项中自行设置临时目录。 其实，针对大数据的排序本身并不常用，我们通常不会关心很多数据的全排序结果，而只会关心前N名。但是，排序却常常是其它大数据运算的基础，没有一个有序的结果大数据排序，其它运算就很难做。 比如大分组。 我们之前用的groups，返回结果都是一个序表，也就是小数据。但是，还存在某种分组汇总运算，它的返回结果也会很巨大，以至于内存装不下了。这种时候就没办法用groups来做就会导致机器的内存溢出。 但是，像我们前面说过的，如果数据针对分组键值有序，那就可以用group函数的办法，在遍历过程中同时汇总，就不会发生溢出现象了，无论返回的分组结果有多大都可以正常计算出来。 比如我们想针对订单和金额和数量这两个字段分组，看看每组不同的金额和数量情况下有多少个订单。这个分组结果可能会有100万行（其实也不算大，但姑且认为大，假定用groups做不了）。 这样就可以计算出大分组了，不过因为结果是大的，也只能fetch出一部分来查看，或者再写入另一个文件。 还可以基于它再计算，比如我们想针对同样金额和数量的订单数超过5的分组（也就是A3中那个汇总字段C>5）再统计出总金额和数量来。 group函数返回的是延迟游标，可以再附加select运算，最后再用total去遍历它。 因为大分组还比较常用，所以SPL提供了一个groupx函数，同时把排序和分组一起做了。上面的代码可以简化写成： groupx的参数规则和groups一样，但它会假定返回结果集很大，从而会先做排序（实际上会更复杂）再做有序分组，最后返回的也是个游标。和sortx类似，这也不是延迟游标。两个动作一起执行，不仅写法更简单，执行速度也更好，不过和sortx一样，也会临时占用硬盘空间。 除了大分组，还有大归并计算。 类似前面讲归并计算时的例子，如果我们手头有两个这样的订单大文件，需要做合并（或者求交集），也要求数据必须事先有序才可以做到。 我们假定数据是按id有序的，就可以直接使用mergex来计算并集，这里的参数和merge解释相同，但一般我们不会在游标上建立主键，所以要把归并运算用到的关联键写上。 因为结果集可能很大，mergex也是返回一个游标，但它是一个延迟游标，不会主动遍历。与select这些函数不同，mergex可能针对多个基础游标生成延迟游标，把它遍历完之后也会把这多个基础游标都遍历完。而前面讲过的select等函数只会有一个基础游标。 T函数用@c选项表示生成一个游标，它会根据文件的扩展名自动选择打开方式。也可以用于写出，@c表示写出游标，同样会根据文件扩展名选择写出的方式。 和内存的merge函数不同，mergex要求游标数据必须有序才能工作，没有@o选项。 排序之后，就能把本来要随机访问才能实现的运算变成只要顺序访问就可以了。类似的情况还有连接运算，用关联键值去找关联记录，本来是需要随机访问的（在数据表中寻找），但如果数据都对关联键有序，那么只要顺序访问也就能实现了。 SPL同样提供了一个带x的joinx函数用来解决大连接。 joinx可以支持同维关联和主子关联的情况，它返回的也是延迟游标，从中fetch出来的序表和内存中join的形式类似，每个字段的取值分别是关联的每个游标中的记录，然后也可以继续用new函数来实现进一步的引用计算。 同样地，joinx也支持用@1和@f实现左连接和全连接。我们这里就不再举详细例子，有兴趣的读者可以自己生成两个不同结构的数据表来尝试做一下大连接运算，要确保关联键有序，不然要先用sortx排序。 细心的读者可能会发现，还有一种情况我们没有讲到。就是外键关联时如果维表也很巨大而不能装入内存的情况，前面举例讲游标上外键相关的switch和join时，事实表数据来自游标，但维表仍然是个内存的序表。 这种情况，目前只能把外键也理解为连接运算再用joinx来实现，如果数据事先对事实表外键和维表主键无序，则需要先排序。而且每次joinx只能解析一个外键关联，有多个外键还要做多次joinx，而针对内存维表的switch和join可以在一次遍历过程中解析多个外键。 和select,groupx等函数只针对一个游标的情况不同，mergex和joinx都会针对多个游标工作。那么，是不是存在可能大数据和小数据一起做归并和连接的情况呢？ 确实是存在的，大数据和小数据的归并、连接运算也是大数据的，要使用大数据的办法。这时候要把内存小数据，也就是序表，转换成游标，然后使用游标的方法来运算。SPL提供了cursor()函数把序表、排列转换成游标，这样就可以把内存小数据模拟成大数据和文件游标一起运算了。这里也不再举例了，需要用到时再去查阅相关帮助材料就可以了。 我们现在学会了使用游标实现大数据运算，但仅仅是会做、能做对。大数据运算还有个重要目标是要做得快，这也是非常复杂的任务，甚至可以说是更复杂的任务，象前面提到的遍历复用技术一样，这些内容远远超出了本书的设计范围。在这里只给读者留一个印象即可，如何提高大数据运算性能的内容，足够再写一本同样厚度的书，许多计算方法都要重新设计，特别是要想办法避免实质性的排序，因为排序是非常慢的动作。 用于结构化数据处理的常规程序语言中，SQL是可以应对大数据的。SQL甚至做到了大小数据透明，就是使用者不需要关心数据的大小，这显然让人省了很多事，这是SQL的一个巨大优势。不过使用SQL通常要把数据装入数据库，这一步又太复杂了，超出了大部分非专业程序员的能力。 集算器提供了针对文件使用基本SQL的功能，能够支持大部分大数据运算，这样可以避免把数据装入数据库的麻烦。 Python也经常会用来做结构化数据计算，但它没有游标对象，处理大数据时非常麻烦，相当于要自己实现游标的动作，对于非专业人员来讲基本上是个不可能完成的任务。 （编辑：天瑞地安资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐