新書推薦:
《
《日本文学史序说》讲演录
》
售價:HK$
72.8
《
无尽的海洋:美国海事探险与大众文化(1815—1860)
》
售價:HK$
99.7
《
治盗之道:清代盗律的古今之辨
》
售價:HK$
122.1
《
甲骨文丛书·剑桥世界暴力史(第一卷):史前和古代世界(套装全2册)
》
售價:HK$
210.6
《
甲骨文丛书·中华早期帝国:秦汉史的重估
》
售價:HK$
300.2
《
欲望与家庭小说
》
售價:HK$
98.6
《
惜华年(全两册)
》
售價:HK$
70.3
《
甲骨文丛书·古代中国的军事文化
》
售價:HK$
99.7
|
編輯推薦: |
《大数据应用分析技术与方法》一书是适应越来越多的与数据分析有关的人员,迫切需要从大数据中挖掘有用的信息,提升工作水平和工作效率的需求而推出的,着力突出实用性、可操作性和指导性。
|
內容簡介: |
本书强调了大数据的宝贵价值,介绍了常用的数据分析技术与方法,论述了大数据分析的思维特征,紧扣大数据的特点演示了可视化分析与可视化挖掘的方法,详细讨论了数据清洗与元数据管理,对大数据的风险予以充分揭示,同时提出了大数据风险管理的对策,对大数据治理作了简介。本书具有很强的实用性、可操作性和指导性,对于企业管理人员、企业数据分析人员、业务分析人员和市场营销人员,政府监管机构如证监会、银监局、保监会的监管人员,审计师、注册会计师,纪检监察和司法机关执纪执法人员有参考价值,同时可供高等院校相关专业的师生阅。
|
目錄:
|
第1章大数据是信息社会的宝贵资源1
1.1大数据产生的背景和概念1
1.2大数据的特征3
1.3大数据与传统数据的区别4
1.4大数据的价值和开发应用5
1.5大数据时代的新机遇和新挑战8
1.5.1依据大数据进行决策成为一种新的决策方式8
1.5.2大数据与各行业深度融合带来层出不穷的新应用8
1.5.3大数据推动新技术的不断涌现9
1.6本书的特定视野10
参考文献11第2章大数据应用分析12
2.1大数据的处理流程12
2.2大数据分析的概念14
2.3大数据分析的关键技术15
2.3.1云计算15
2.3.2数据分析方法16
2.3.3数据可视化17
2.4大数据分析工具介绍17
2.4.1Hadoop18
2.4.2R19
2.4.3Python19
2.4.4RapidMiner20
2.4.5Tableau20
2.5大数据分析示例查处虚假出口贸易22
2.5.1案例概述22
2.5.2查询分析23
2.5.3可视化分析25
2.5.4分析小结27
参考文献30第3章常用数据分析与预测方法31
3.1方差分析31
3.1.1分析方法31
3.1.2示例介绍31
3.1.3示例分析33
3.1.4结果分析与总结35
3.2相关分析35
3.2.1分析方法35
3.2.2示例介绍36
3.2.3示例分析37
3.2.4结果分析与总结40
3.3回归分析40
3.3.1分析方法40
3.3.2示例介绍41
3.3.3示例分析41
3.3.4结果分析与总结42
3.4时间序列分析44
3.4.1平稳性检验44
3.4.2纯随机性检验44
3.4.3适用性检测44
3.5聚类分析45
3.6可视化数据分析46
3.6.1常用的可视化数据展示方法47
3.6.2可视化分析示例51
3.7环境准备61
参考文献62第4章大数据分析的思维特征63
4.1大数据应用分析的实务框架63
4.1.1大数据应用分析的四个层面63
4.1.2四个层面的关系65
4.2大数据分析的特征发现65
4.2.1特征发现的案例66
4.2.2特征发现的概念73
4.3对数据的分类73
4.4特征发现的一般过程79
参考文献81第5章大数据的可视化分析82
5.1不良贷款分析82
5.1.1数据准备82
5.1.2各银行的不良贷款情况分析86
5.1.3各经济类型的企业的不良贷款情况分析95
5.1.4各类贷款的不良贷款情况分析99
5.2保险公司客户索赔分析103
5.2.1数据准备103
5.2.2数据分析104
参考文献119第6章可视化挖掘分析120
6.1挖掘分析在审计线索特征发现中的应用120
6.1.1案例背景120
6.1.2数据准备120
6.1.3聚类分析122
6.2挖掘分析在推荐系统中的应用131
6.2.1案例背景131
6.2.2数据准备131
6.2.3构建推荐系统132第7章大数据资源的元数据管理140
7.1元数据简介140
7.1.1元数据和对象数据140
7.1.2应用元数据管理技术的意义140
7.2著录对象分析142
7.2.1审计中间表142
7.2.2审计分析模型142
7.2.3审计专家经验143
7.2.4审计情景案例144
7.2.5被审计单位资料144
7.3元数据结构设计145
7.3.1审计中间表的元数据结构145
7.3.2审计分析模型的元数据结构146
7.3.3审计专家经验的元数据结构147
7.3.4审计情景案例的元数据结构149
7.3.5被审计单位资料的元数据结构150
7.4应用大数据审计分析数字信息元数据规范的扩展规则151
参考文献152第8章大数据分析的数据清洗153
8.1大数据清洗的基本概念153
8.1.1大数据清洗的基本架构153
8.1.2数据清洗的基本步骤154
8.2数据清洗157
8.2.1数据清洗的一些注意事项157
8.2.2常见的数据清洗158
参考文献163第9章大数据分析的风险与对策164
9.1大数据分析的风险及产生原因164
9.2大数据采集的风险165
9.3大数据处理与集成的风险167
9.4大数据分析的风险168
9.5大数据解释的风险168
9.6大数据的隐私和安全风险及其对策169
9.6.1大数据处理流程的隐私风险170
9.6.2大数据处理平台带来的安全和隐私风险172
9.6.3保护大数据隐私和安全的对策173
参考文献175第10章大数据治理简介177
10.1大数据治理的必要性177
10.2大数据治理的概念178
10.3大数据治理的核心内容180
10.4案例181
10.4.1工作思路182
10.4.2数据真实性的验证方法182
10.4.3数据完整性的验证186
参考文献187附录ATableau 10.0简介188
A.1Tableau工作区188
A.1.1工作表工作区189
A.1.2仪表板工作区190
A.1.3故事工作区191
A.2Tableau的文件管理192附录BRapidMiner使用方法简介194
B.1RapidMiner的主界面194
B.2使用RapidMiner分析数据的方法195
|
內容試閱:
|
序言
在现代社会,科学作为关于自然、社会和思维的客观规律的知识体系,与技术已经高度融合,而技术则是人类在认识与改造自然和社会的活动中反复实践的经验积累,它反映了人类认识与改造自然和社会的能力。如今,科学与技术融合十分紧密,以至于人们已经惯称其为科学技术。
不但如此,现代科学技术与人文社会科学的关系也日益紧密。当代人类社会所面临的问题,大多靠单学科是很难解决的,它们经常具有高度的综合性。这就需要融合多学科的知识,特别是需要融合现代科学技术与人文社会科学的知识,使之成为新的、能解决综合性问题的知识体系。
计算机审计(尽管这个概念的内涵和外延都还需要进一步研究)就是这样一种知识体系。这个知识体系不仅涉及应用科学,而且涉及基础科学;不仅涉及科学技术,而且涉及管理技术。计算机审计的产生既是审计对象活动高度综合化的要求,又是审计活动高度综合化的结果。
但我们知道,计算机审计这样一个综合性很强的知识体系仍处在襁褓之中,其中多学科的融合程度尚在初级阶段,体系中的未知领域和知识断层还很多。显然,要想使其上升为一门严谨的学科,尚需业内专业人士的不懈努力。令人鼓舞的是,在我国国家审计领域,有许多人正在做着这种努力,本书的几位作者便是其中的一些佼佼者。他们确实具有较高的科学和专业素养,丰富的审计和审计管理经验,良好的科学研究习惯和能力。他们的努力也确实产生了令人鼓舞的成果。本书就是很好的例证,作者在计算机审计领域做了大胆探索,在多学科的边缘层面上找到了技术发明和科学创作的新天地。
本书系统地研究了计算机审计的质量控制问题,实际上也是在研究计算机审计管理问题,这在国内尚不多见。我们应该承认,在计算机、网络和通信技术刚刚运用于审计领域之初,人们往往更关注审计,而忽视审计管理。然而,当审计工作运用了高技术手段时,审计和审计管理实际上是高度一体化的,在操作上稍加转换角度,两个过程是可以一次完成的。本书的思路恰好扭转了这种错误观念,弥补了这一缺陷。这是应当引起读者关注的。
可贵的是,本书的写作消除了国内一些人的误解,即认为计算机审计就是数据处理;也冲破了以往国内计算机审计教材只讲数据处理的老传统。开篇就首先建立了计算机审计的全过程框架,提出了审计实施过程实际上包括两类主要技术的观点,即一是系统审计技术,一是数据审计技术。这种系统基础审计的思想是符合科学审计思路的,也是符合国际惯例的,是计算机审计应该坚持的优良实务。
本书还有另一个特点,即系统地、详尽地介绍了各项业务操作的具体技术,具有相当的成熟性和可借鉴意义,是实际工作者很好的参考书。
本书的写作是否还有更深层的意义?
人类的全部知识应该有两类: 一类是显性的,已经经过提炼和总结,构成现有科学技术体系的知识;另一类则是隐性的,只停留在人们的经验中,尚未进入人类现有的任何科学技术知识体系。这后一类知识并不是可有可无的,它具有相当重要的意义。因为人类的实践活动永远不会终结,新的实践活动总要产生新的经验,而新的经验总要经过相当的积累才能最终变为科学技术,因此这一部分隐性的知识总要以一定的规模存在,而且对人类各种活动产生着巨大的影响,此其一。其二,它是科学技术体系的铺垫,条件成熟时,当中的一些知识即可上升到科学技术体系之内。
当前,在国家审计领域,隐性的知识正随着计算机手段的运用,随着审计方式因计算机、网络和通信技术的运用而产生的变化,而逐渐增加。这些知识如不及时加以提炼和总结,将其提升到科学技术层次,纳入显性知识体系,就有可能随着时间的推移而消逝,只被个别人运用在个别领域,从而失去普遍意义。
面对着稍纵即逝但又颇具价值的隐性知识,本书作者欲将其显性化,将其上升为真正的审计技术,最终使更多的审计人员受益。我认为,这才是本书写作的深层意义。无论是有意识还是无意识,本书的写作确实发挥了这样的作用。
当人们发出正弦波信号时,发出的不再是正弦波的波形,而是正弦波中的一系列脉冲;当计算机的功能不再只是识别人工符号,而是能够进入形象思维领域;当网络已由四节点互联发展到国际互联,一场数字化、智能化和网络化的革命已经悄悄开始。这场革命将把我们由已知领域带入更大的未知领域。通过努力,我们将由更大的未知领域再次进入扩大的已知领域,并如此往复循环,将知识体系推向没有极尽的未来。我衷心希望本书的作者们在初获成功的基础上,继续在未知与已知的转换环节上,在多学科交叉的边缘层面上,在建立科学严谨的计算机审计学科的道路上耕耘不辍,再结新果。
蒙汝焯、智玉邀请,为如此专业的著述做开篇之言,诚惶诚恐。才疏学浅,心智鲁钝,对此领域茫茫然如学童,实属力所不能及。然囿于友情,职责所致,勉强为序。
石爱中2004年12月31日前言
随着大数据的迅猛发展和日益普及,越来越多的与数据分析有关的人员,如企业管理人员、企业数据分析人员、业务分析人员、市场营销人员,政府监管机构如证监会、银监局、保监会的监管人员,审计师、注册会计师,纪检监察和司法机关执纪执法人员等需要掌握大数据应用分析技术与方法,迫切需要从大数据中挖掘有用的信息,提升工作水平和工作效率。这是信息化发展提出的必然要求,尤其是在业务与信息技术密切融合的形势下,这种需求越来越强劲。适应这种需求,我们在编著这本书时,着力突出实用性、可操作性和指导性。
实用性。贴近大数据发展的现状和趋势,全书共安排了10章内容,强调了大数据的宝贵价值,介绍了常用的数据分析技术与方法,紧扣大数据的特点演示了可视化分析与可视化挖掘的方法,详细讨论了数据清洗与元数据管理,对大数据的风险予以充分揭示,同时提出了大数据风险管理的对策,对大数据治理作了简介。
可操作性。在介绍大数据应用分析技术和方法时,由浅入深,逐步引导,屏蔽技术细节,让读者直接进入业务应用的层面,熟练掌握操作。尤其是全书从大数据分析的应用实践中精选了大量案例,进行了生动讲解。这些案例是大数据分析实践中的可贵探索和经验总结。通过案例的操作可以更好地引导读者加深对理论部分的理解,掌握分析技术与方法。
指导性。本书创新性地把大数据应用分析划分为器、技、道和美四个层面。器,指大数据分析的硬件和软件;技,指大数据分析的技术和方法;道,指大数据分析的思维方式;美,指审美体验、感觉和想象力。在开展大数据分析时需要硬件和软件、需要技术方法,这是毋庸讳言的。但大数据数量巨大、类型繁多、来源复杂,而且很多过去从来没有遇到过,单靠工具和技术方法是不能胜任大数据分析的多变情况的,清晰的分析思路、科学的思维方式显得更为重要,具有更强的更普遍的指导性。本书详细介绍了特征发现的思维方式,通过案例介绍了特征枚举、特征捕捉、特征分析的实际应用,同时对大数据分析中如何结合审美体验,张开想象的翅膀,激发分析的灵感,打开分析的思路给予了必要强调。
为天天和大数据打交道的人尽快掌握大数据分析的实用技能助一臂之力,为天天使用大数据的人通过最简单的路径掌握大数据分析的技能提供支持和帮助,这是我们的初衷。为了这个初衷我们确实努力了。大数据在发展中,加之编著者的水平和经验有限,书中有些问题的研究还不透彻,有些内容还有待于在实践中检验和完善,还有些可能本身就是存在问题的,这也是在所难免的。真诚希望广大读者批评指正!
参加本书撰写的有刘汝焯、戴佳筑、何玉洁。刘汝焯设计了全书的章节,撰写了其中第2、4、7章,对全书进行了统稿。戴佳筑撰写了第1、3、6、10章和附录B。何玉洁撰写了第5、8、9章和附录A,对全书的书稿进行了统一修订。
|
|