SAS9.3/9.4统计分析安装使用教程自学资料完整模块最新SID 作者(李子健)
Sample一数据取样
当进行数据挖掘时,首先要从企业大量数据中取出一个与你要探索问题相关
的样板数据子集,而不是动用全部企业数据。这就象在对开采出来矿石首先要进行选矿一样。通过数据样本的精选,不仅能减少数据处理量,节省系统资源,而且能通过数据的筛选,使你想要它反映的规律性更加凸现出来。
通过数据取样,要把好数据的质量关。在任何时候都不要忽视数据的质量,,即使你是从一个数据仓库中进行数t解
取样, 也不要忘记检査其质量如何 。 因为通过数据挖掘是要探索企业运作的规律性的, 原始数据有误,
还谈什么从中探索规律性。若你真的从中还探索出来了什么“规律性”,再依此去指导工作,则很可能是在进行误导。若你是从正在运行着的系统中进行数据取样,则更要注意数据的完整性和有效性
。 再次提醒你在任何时候都不要忽视数据的质量, 慎之又慎!
从Ei大的企业数据母体中取出哪些数据作为样本数据呢?
这要依你所要达到的目标来区分采用不同的办法: 如果你是要进行过程的观察、 控制, 这时你可进行随机取样,
然后根t解样本数t料对企.、1“.或其中某个过程的状况作出估计 。 sAs 不仅支持这一取样过程, 面」i 可对所取出的
本f本数拥进行各种例行的检验 。
若你想通过数据挖掘得出企业或其某个过程的全面规律性时,必须获得在足够广泛范围变化的数据,以使其有代表性。你还应当从实验设计的要求来考察所取样数据的代表性
。 唯此, 才能通过此后的分析研究得出反映本质规律性的结果 。
利用它支持你进行决策才是真正有效的,并能使企业进一步获得技术、经济效益。
ExpIor一数据特征探索、 分析和予处理
前面所叙述的数据取样, 多少是带着人们对如何达到数据挖掘目的的先验的认识进行操作的 。
当我们拿到了一个样本数据集后, 它是否达到我们原来设想的要求; 其中有没有什么明显的规律和趋势; 有没有出现你所从未设想过的数据状态;
因素之间有什么相关性; 它们可区分成怎样一些类别……这都是要首先探索的内容。进行数据特征的探索、分析,最好是能进行可视化的操作。
SAS有:sAs/INsIGHT和 sAs/sPEcTRAvIEw两个产品给你提供了可视化数据操作的最强有力的工具、 方法和图形 。
它们不仅能做各种不同类型统计分析显示, 而且可做多维、动态、甚至旋转的显示。这里的数据探索, 就是我们通常所进行的深入调査的过程。
你最终要达到的目的可能是要搞清多因素相互影响的, 十分复杂的关系 。 但是, 这种复杂的关系不可能一下子建立起来。 一开始,
可以先观察众多因素之间的相关性,
再按其相关的程度,以了解它们之间相互作用的情况。这些探索、分析,并没有一成不变操作规律性,相反,是要有耐心的反复的试探,仔细的观察。在此过程中,你原来的专业技术知识是.非常有用的,
它会帮助你进行有效的观察 。 但是, 你也要注意, 不要让你的专业知识束缚一「你对数据特征观察的敏锐性 。
可能实际存在着你的先验知识认为不存在的关系。假如你的数据是真实可靠的活,那末你绝对不要整易地否定数据呈f現给你的新关系 。
很可能这里就是发现的新知识! 有了它, 也许会导引你在此后的分析中, 得出比你原有的认识更加符合实际的规律性知识 。
假如在你的操作中出现了这种情况,应当说,你的数据挖掘己挖到了有效的矿脉。
在这里要提醒你的是要有耐心, 做几种分析, 就发现重大成果是不大可能的 。 所幸的是
SAS向你提供
J强有力的工具,它可是長随你的思维,可视化、快速的作出反应。免除了数学的复杂运算过程和编制结果展現程序的烦恼和对你思维的干扰。
这就使你数据分析过程集聚子你.、l“_务领域的同題, 并使你的思维保持了一个集中的较高级的活动状态, 从而加速了你的思维过程,
提高了你的思维能力 。
Modify一问题明确化、数据调整和技术选择
通过上述两个步⊠聚的操作, 你对数据的状态和趋势可能有了进一步的了解 。
对你原来要解决的问题可能会有了进一步的明确;这时要尽可能对问题解决的要求能进一步的量化 。 问題越明确, 越能进一步量化,
问题就向它的解决更前进了一步。这是十分重要的。因为原来的问题很可能是诸如质量不好、生产率低等模糊的问题, 投有问题的进一步明确,
你简直就无法进行有效的数据挖掘操作 。
在问题进一步明确化的基础上, 你就可以按照问题的具体要求来审视你的数据集了,
看它是否适应你的同題的需要。 Gartner 9rouP在评论当前一些数据挖掘产品时特别强调指出: 在数据挖掘的各个阶段中,
数据挖掘的产品都要使所使用的数据和所将建立模型处于十分易于调整、 修改和变动的状态,
这才能保证数据挖掘有效的进行。
针对同題的需要可能要对数据进行增删;
也可能按照你对整个数据挖掘过程的新认识,要组合或者生成一些新的变量, 以体现对状态的有效的描述。 SAS对数据强有力的存取、
管理和操作的能力保证了对数拥的调整、 修改和变动的可能性。若使用了 sAs的数据仓库产品技术时就更进一步保证了有效、方便的进行这些操作
。
在问题进一步明确; 数据结构和内容进一步调整的基础上,
下一步数据挖掘应采用的技术手段就更加清晰、 明确「 。
Model一模型的研发、知识的发现
这一步是数据挖掘工作的核心环节。量然数据挖掘模型化工作涉及了非常广阔的技术领域,但对sAs研究所来说并不是一件新鲜事。自从SAS问世以来,就一直是统计模型市场领域的领头羊,
而且年年提供新产品, 并以这些产品体现业界技术的最新发展。
按照
SAS提出的 SEMMA方法论走到这一步时, 你对应采用的技术已有了较明确的方向;你的数辦结构和内容也有 「充分的111iJ、1f:性
。 sAs在这时也向你提供了充分的可选择的技术手段:回⊠;1
分析方法等广泛的数理统计方法;关联分析方法;分类及聚类分析方法;人工神经元网络;决策本对…一等。
在你的数据挖掘中使用哪一种方法,用 SAS软件包中什么方法来实现,
这主要取决于你的数据集的特征和你要实现的日标。实际上这种选择也不一定是唯一 的。好在
SAS软件运行效率十分高,你不妨多试几种方法,从实践中选出最适合于你的方法。
Assess一模型和知识的综合解释和评价
从上述过程中将会得出一系列的分析结果、 模式或模型 。
同一个数据源可以利用多种数据分析方法和模型进行分析, AssEss
的目的之一就是从这些模型中自动找出一个最好的模型出来,另外就是要对模型进行针对业务的解释和应用。
若能从模型中得出一个直接的结论当然很好 。 但更多的时候会得出对目标问
题多側面的描述。这时就要能很好的综合它们的影响规律性提供合理的决策支持信息 。 所.谓合理,
实际上往往是要你在所付出的代价和达到预期目标的可靠性的平衡上作出选择。假如在你的数据挖掘过程中,就预见到最后要进行这样的选择的话,那末你最好把这些平衡的指标尽可能的量化,以利你综合抉择。
你提供的决策支持信息适用性如何, 这显然是十分重要的问题。 除了在数据处理过程中 sAs
软件提供给你的许多检验参数外,
评价的办法之一是直接使用你原来建立模型的样板数据来进行检验。假如这一关就通不过的话,那末你的决策支持信息的价值就不太大了 。
一般来说, 在这一步应得到较好的评价。这说明你确实从这批数据样本中挖掘出了符合实际的规律性。
另一种办法是另外找一批数据,已知这些数据是反映客观实际的规律性的。
这次的检验效果要注意的。若是差到你所不能容忍程度, 那就要考應第一一次构建的样本数据是否具有充分的代表性; 或是模型本身不够完善 。
这时候可能要对前面的工作进行反思了 。 若这一一步也得到了肯定的结果时, 那你的数描·空主1田成得到很好的评价了
。
深层统计分析与预测套件
SAS
“深层统计分析与预测套件”主要是应用
SAs国际标准的经典统计分析工具对数据进行深层次的分析、加工和预测,进而再生成作为决策支持用的图形和报表。
SAS既可以采用客户机/服务器方式, 也可以采用浏览器/服务器方式运行。下面首先介绍此分析套件的功能,之后再介绍
sAs的产品配置方案及其工作模式。
功能SAS系统最主要的一个数据集成策略就是:将任意数据,不论其数据来源及数据结构,转换为整理后的、可用的数据资源。
SAS/ACCESS提供了 SAS 系统对多种数据库的直接、透明访问,同时还支持0DBC, OLE
DB等标准,在sAs可以访问的50多种数据源中包括 Informix和Redbrick, DB2、 ORACLE、ADABAS、
SYBASE等。而 sAs BAs等产品提供了强大的数据清理和转换功能。在 SAS系统中, 既支持标准
sQL,并加入了适当的增强语法,形成基于 SAS的 SQL超集,又支持各种 DBMs sQL。但是,众所周知,
SQL语言是面向集合的描述性语言, 对于复杂的数据处理操作, 存在一定的局限性 。 SAS 语言是更加适应复杂数据处理操作的一种选择。
_sAs 语言可以针对库、 表、 行、 列、 甚至是字节或_位进行操作, 极大地提高 「数据处理的灵活性; 在实际应用中,
SAS语言可以直接实现将静态 GIF图形文件组织成动态 GIF文件。同时,
SAS语言提供了丰富的函数和例程,提高了代石马效率,简化了代码编写;例如,分析应用中经常需要的数据表
的行一列转置操作, 调用一个标准 SAS例程(Transpose) 即可完成;又如,使用SAS
Format例程,可以缩短主一码表拼合的耗时,使总耗时与复制一个主表的时间相当 。 另外, _SAS
语言中提供了大量统计分析_功能,可以提高数据清理的效率;例如,使用
SAS频数过程,可以迅速考査主键重复及空键情况,将完整主键与不完整主键分隔,然后剔除重复主键及空键的数据行,效率远高于 SQL中的
SELECT DISTINCT。
这样,
经过清理和整合过、 高质量的数据为成功的深层次统计分析合和数据控掘奠定了良好的基础。
2.全方位的统计分析功能
在
“深层统计分析与预测套件”
中覆盖几乎所有实用数理统计分析方法,,并同时在不断地进行更新。包括几十中过程,上千种分析方法。这些方法包括多指标之间的关联分析及影响目标指标的因素重要性分析;
用于客户群体分类的各种聚类分析; 用于预测客户行为、
效益和风险的各种描述和预测模型;用于市场分析的各种模型,如关联分析、对应分析、多维标度分析、和研究消费者和客户的多维偏好分析等;用于风险防范的各种预警分析方法等。
深层统计分析与预测套件”提供的各种功能, 既可以用简单的编程,
也可以用各种GuI菜单系统来实现。生成的图形和分析都是动态的,用户可以通过3D旋转图形来探索数据,
和建立模型。“深层统计分析与预测套件”
提供的方法广泛用于应用于客户关系管理、金融风险防范、供应关系管理、数据库营销、企业均衡记分卡、
e一智能化及竞争优势分析等方面
3.丰富的预测分析
sAs/ETs提供了丰富的计量经济学和时间序列分析方法,包含方便的各种模型设定手段,
多样的参数估计方法, 是研究复杂系统和进行预测的有利工具。 ETS表示Econometric& Time
Series,提供了用于进行预测,规划及商
业模型 (建模) 的分析工具,
提供了日前所有实用的用于预测的数学模型
。主要应用同时间相关的指标的复杂分析、模拟、季节性调整、预测等,帮助人们对未来有充分的评估和预测,辅助决策者进行正确决策。这些预测,
可以利用简単的编程来实现, 也可以利用窗口菜单驱动环境进行 。 用户可按完全自动的方式使用系统, 也可交互式地使用系统诊断功能
时间序列建模工具生成能最佳预测用户时间序列的预测模型。对于每个序列系统提供图形和统计参数都助用户选择最佳预测方法。
