EF架构~数据分批批量提交-低调大师

EF架构~数据分批批量提交

2017-12-04 537

对于大数据量提交，包括插入，更新和删除，我始终不建议用ＥＦ自带的方法，因为它会增加与数据库的交互次数，一般地，ＥＦ的一个上下文在提交时会打开一个数据连接，然后把转换成的ＳＱＬ语句一条一条的发到数据库端，然后去提交，试想，如果你的数据量达到万级别（更不用说百万，千万数据了），那对数据库的压力是很大的，所以，我将ＥＦ批量操作语句进行了改版，并起名为BulkInsert,BulkUpdate和BulkDelete，事实上，在我之前的版本中并没有涉及到批次提交的概念，直到遇到了实际的问题，当你使用BulkInsert时，如果数据达到４万之前，那在SQL的解释时，也是很有压力的，有多情况下会超时，当然这与你的数据库服务器有关，但为了性能与安全，我还是决定将Bulk操作变为分批提交，即将４Ｗ进行分解，分用１Ｗ数据量提交一次，这样，对数据库的压力就小一些。看看我的改版吧。

  　　 public void BulkInsert(IEnumerable<TEntity> item)
        {
            DataPageProcess(item, (currentItems) =>
            {
                ((IObjectContextAdapter)_Db).ObjectContext.CommandTimeout = 0;//永不超时
                _Db.Database.ExecuteSqlCommand(DoSQL(currentItems, SQLType.Insert));
            });
        }

        public void BulkDelete(IEnumerable<TEntity> item)
        {
            DataPageProcess(item, (currentItems) =>
            {
                ((IObjectContextAdapter)_Db).ObjectContext.CommandTimeout = 0;//永不超时
                _Db.Database.ExecuteSqlCommand(DoSQL(currentItems, SQLType.Delete));
            });
        }
 　　　 public void BulkUpdate(IEnumerable<TEntity> item)
        {
            DataPageProcess(item, (currentItems) =>
            {
                ((IObjectContextAdapter)_Db).ObjectContext.CommandTimeout = 0;//永不超时
                _Db.Database.ExecuteSqlCommand(DoSQL(currentItems, SQLType.Update));
            });
        }

        /// <summary>
        /// 分页进行数据提交的逻辑
        /// </summary>
        /// <param name="item">原列表</param>
        /// <param name="method">处理方法</param>
        /// <param name="currentItem">要进行处理的新列表</param>
        private void DataPageProcess(IEnumerable<TEntity> item, Action<IEnumerable<TEntity>> method)
        {
            if (item != null && item.Count() > 0)
            {
                DataTotalCount = item.Count();
                this.DataTotalPages = item.Count() / DataPageSize;
                if (DataTotalCount % DataPageSize > 0)
                    DataTotalPages += 1;
                for (int pageIndex = 1; pageIndex <= DataTotalPages; pageIndex++)
                {
                    var currentItems = item.Skip((pageIndex - 1) * DataPageSize).Take(DataPageSize).ToList();
                    method(currentItems);
                }
            }
        }

我们可以看到，改版后的方法，没有直接把集合item传递给方法ExecuteSqlCommand去执行，而去调用了一个方法，这个方法然后传入一个委托，然这个委托的

输入参数是一个分页的数据集合，这时你的ExecuteSqlCommand方法接入的集合参数将是一个分了页之后的小集合，呵呵。

对于一次提交的数量，你可以在类中去定义，它类似于分页，所以，我通常叫这个方法为数据分页提交！

　　　　#region Fields
        /// <summary>
        /// 数据总数
        /// </summary>
        int DataTotalCount = 0;

        /// <summary>
        /// 数据总页数
        /// </summary>
        int DataTotalPages = 0;

        /// <summary>
        /// 数据页面大小（每次向数据库提交的记录数）
        /// </summary>
        int DataPageSize = 10000;
        #endregion

如果你希望得到BlukInsert的完整方法，请关注本人的EF架构系列

本文转自博客园张占岭（仓储大叔）的博客，原文链接：EF架构~数据分批批量提交，如需转载请自行联系原博主。

微信关注我们

原文链接：https://yq.aliyun.com/articles/336118

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

项目中的通用查询参数类,它体现了项目架构的大局观

/// <summary> /// 自定义谓词 /// </summary> public class VPredication : IEnumerable<KeyValuePair<string, object>> { Dictionary<string, object> dicv = null; SpacePredication spacePredication = null; /// <summary> /// 区间谓词 /// </summary> public SpacePredication SpacePredication { get { return this.spacePredication; } } /// <summary> /// 自定义区间构造函数 /// </summary> public VPredication() { spacePredication = new SpacePredication(); dicv = new Dictionar...

2017-12-05

489

概念中的ＤＤＤＤＤＤ：　领域驱动设计，它是对面向对象的的分析和设计（ＯＯＡＤ，Object Orient Analysis Design）的一个补充，对技术框架进行了分层规划，同时对每个类进行了策略和类型划分。领域模型是领域驱动的核心　，采用ＤＤＤ的设计思想，业务逻辑不再集中在几个大型的类上，而是在大量相对小的领域对象上，这些类具有自己的状态和行为，每个类都是完成的独立的，并与现实领域的业务对象形成一种映射。基于ＤＤＤ的架构设计，保证了系统的可维护性，扩展性和敏捷性，在处理复杂业务逻辑方面有着明显的优势！编程世界观的改变以下信息是从http://www.jdon.com/ddd.html上拷贝的，写的很好，这确实是一种编程世界观的改变，而传传统编程观念完全不同过去需求分析和系统设计都是分离的，正如我们国家“系统分析师” 和“系统设计师” 两种职称考试一样，这样割裂的结果导致，需求分析的结果无法直接进行设计编程，而能够进行编程运行的代码却扭曲需求，导致客户运行软件后才发现很多功能不是自己想要的，而且软件不能快速跟随需求变化。 DDD则打破了这种隔阂，提出了领域模型概念，统一了分析...

2017-12-05

515

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。