2014年9月 的存档
2014九月25

wget使用

sql server 评论关闭

想用sqlserver发短信,做法是做一CLR打到sqlserver中,感觉有些硬,可以用xp_cmdshell+wget来实现。
wget下载:http://www.interlog.com/~tcharron/wgetwin.html

应用:
1,下载网站或文件,支持断点续传
2,get url,比如上面的短信调用或者测试网站是否可以访问,或不能发送短信。
3,post数据。

2014九月22

数据仓库SSAS+SSIS+SSRS

sql server 评论关闭

数据仓库SSAS+SSIS+SSRS

—————————–SSAS————————————-

1,用ssas生成多维度,然后利用excel的data功能可以自组各种维度的报表

2,可设置是否可见,在维度结构 子项-属性-AttributeHierarchyVisible=false

在维度结构 -属性-AttributeMemberName=myname

3,先增加维度,再在此基础上增加多维数据集.多维数据集用来对多个维度指定聚合方式,求和或者计数或者其它.

多维数据集提前聚合生成一次聚合数据,与sqlserver db分开,不用每次再进行数据查询,而关系数据库是每次都要聚合,性能很低

并且建立维度后,大家可共用,防止自己写sql不同的结果

4,多维数据集启用excel,也查以使用excel连接多维数据表

5,加载数据是在sqlserver 维度右键处理进行数据的加载或studiio中点击处理,

或者在多维数据集中的分区页设置更新时间,或者用ssis建立一个analysis services处理任务,用job来定时刷新

BI笔记之—Cube增量处理的一个场景的处理方案

6,Tableau不错,不过服务端收费

7,在多维数据集中的透视中可对度量值进行分组,然后给不同的用户看

8,kimball university:the 10 essential rules of dimensional modeling

9,权限:关系型数据库用视图,分角色

cube:建立多个角色 SQL Server分析服务的权限配置 http://www.cnblogs.com/aspnetx/p/3703335.html

—————————–SSIS——————————-

分区.用switch可以转到其他服务器上,这不费时间,很快

复制-并行数据仓库系统-大数据 规模

并行数据仓库pDw,可让数据库分到多个服务器上 Teradata做的最好

1,lession2:循环文件,连接管理器中的连接属性expression的constring用变量

2,日志事件一般选择onerror on warning,onpostexcute,ontaskfailed

若使用sqlserver记录日志,日志表为sysssislog

3,包部署模型:配置,增加变量,转换为包部署模型,ssis-包配置

好处:统一的日志管理,集中处理,有缓存,速度快

4,资源管理器打开文件夹,bin下面有个ispac文件,可以用来做部署

大表做分区,放到不同的filegroup中,表建立时启用页yasuo,能压缩一半以上,读快,不过写慢一些,用在很少更新的大表上

,然后到一定量时做switchr

alter table sss switch to eee

自己做:动态生成job,动态生成包,完全.net写取数据

解决并行问题,写sql是硬编码,并且不能并发,动态生成job就能解决这个问题

sqlserver到来60t时单台db会到pingjing

//*部署到服务器上*//
1,将SSIS的项目属性-通用属性-项目中的ProtectionLevel修改为用户加密
2,包的属性也做以上修改
3,重新生成后将bin下的ispac文件copy到服务器上
4,服务器连接到数据库引擎在Integration services目录下添加项目及文件夹,然后部署找到ispac文件,录入密码即可。

 

—————————–SSRS————————————–

列存储,对表进行分区,更新时只要drop对应分区即可,不用drop掉整个表

PowerView制作动态图表,PowerView已经可以成为一个强大的BI工具,可以做出功能非常丰富的动态交互图表甚至DashBoard

BISM是一种更加轻量级的模型,它不像CUBE那样复杂,建立的周期和其相比也要短得多,也不需要使用复杂的MDX语句(但也支持MDX),BISM支持使用DAX进行查询,总而言之,BISM是一个更加简单的能够快速提供给业务人员使用

PowerPivot:大数据级的excel,解决大数据量的存储问题

数据量在1000万以内用ssis,以上ETL层自定义框架

前端利用第三方组件自行开发

优点,ETL和UI自己开发

2014九月22

SSDT:数据库部署方案

sql server 评论关闭

1,sqlserver解决方案 ssdt:sqlserver data tools
好处:每次发布的脚本是动态生成的,可以多次发布,即使中间出错,下次也会从新的开始

2,发布-高级可以设置选项
表-属性: 生成操作. 无指不参与生成,也不会部署

3,添加-脚本
后期部署脚本,指在生成脚本后执行
预先部署脚本,指在生成脚本前执行

4,已有数据库,生成源码操作
右键sqlserver项目,导入-数据库

5,真正发布时,会用脚本来执行,命令行执行sqlpackage
可以点生成,资源管理器打开,在bin下有一个dac文件,可用sqlpackage.exe来调用这个文件来部署
这种部署是最佳实践,因为可以部署到多台服务器上,并且可以版本控制,可对checkin的脚本进行发布
redgate是用事务的,会锁住对象,并且不能插入脚本
在项目中生成文件后,将dac文件copy出来,用sqlpackage.exe发布,在进行发布时会自动比较生成脚本
如:
@echo off
set sqlpackage=”C:\Program Files (x86)\Microsoft SQL Server\110\DAC\bin\SqlPackage.exe”
%sqlpackage% /Action:Publish /SourceFile:E:\mydb\bin\Debug\BRM.sqlproj.dacpac /Profile:E:\Db.publish.xml

6,调用脚本
:r .\Script.sql

script.sql是用添加-脚本-不在内部版本中类型的脚本

7,对于有复制分发的数据库,可以在发布-高级里面指定不更改复制对象
做法是:在其中一台db中指定更改复制对象,其他DB不更改