前几天公司内部有人搞了一个关于多线程及其同步问题的讲座,内容很丰富,覆盖面很广,让人听了大呼过瘾。他采取了横向铺陈的方法讲的,罗列了C#下异步编程方法和模式及各种同步机制,这种讲述方式对于熟悉这块的人来说总结一下,帮助很大,但对于新手有可能就云里雾里了。虽然我研究不深,但纵向讲一下这一块内容,对新手入门有可能会有所帮助,也算是自己对这块内容的一种总结。只讨论技术,不涉及细节和Demo。
本篇文章涵盖一下几部分内容:
1. 什么是异步编程,为什么会需要异步编程
2. .NET下的异步编程及其发展
3. .NET线程同步机制及线程间数据封送
4. 异步模式
5. 线程安全及异常处理
6. 线程取消
什么是异步编程,为什么会需要异步编程
这个世界上资源是受限的。但资源限制和懒惰一样促进了工业和科技的发展。在计算机方面举个例子,计算机非得是二进制吗?对计算机来说二进制最好吗?不是,这是由于当时工业水平限制,把电压分成两份表示0和1比分成三份更加方便且可靠;虚拟内存管理,Cache等技术都是由当时硬件条件所限逼出来的技术,同样异步编程和分布式编程也是。生活中的好多事物都不是线性的,拿学生时代的一个常见的例子说一下,明天开学,海量作业一点没写,于是找个同学作业抄一下,但在短时间内一个人很难抄得完,于是我花钱请了几个同学一起抄,把一份工作分给几个人去做,这就是异步了。但除去笔迹不同这么做没有一个人抄安全,有可能哥几个把一份内容重复抄了好几遍(线程安全),这期间万一笔,纸,橡皮没准备充分还得有一个资源争用,死锁的问题(同步的问题),哥几个抄得时候还会相互报一下各自进度(线程间数据封送),所以说这么干是有风险的我们就得有个机制避免这种风险的发生,异步编程和这个类似。
那在编程中异步会用在什么地方呢?一个简单情形,图形界面程序,后台如果要连接数据库查询或写入海量数据或者进行I/O操作,界面会“假死”。之所以发生这种情况是这些处理都在UI线程中,这些操作占用UI线程时,任何拖动UI,点击按钮等操作都得不到及时响应。解决的方法是将这些需要长时间的操作放入一个新的线程异步操作,把UI线程解放出来。其它的应用比如海量数据计算,服务器响应客户端请求等等。
.NET下的异步编程及其发展
首先说明一点,线程可以分为前台线程和后台线程。前台线程和吸血鬼差不多很恐怖,要想干死进程,就必须把所有的前台进程都干掉,UI线程就是前台线程。而后台线程就是二房生的儿子了,进程消亡后紧跟着死掉了,很明显的后台线程就是Word的拼写检查,或者outlook负责跟服务器同步更新邮件的线程。
任何平台和编程语言都会有多线程的实现机制和方法。对于C#来讲Thread类就是创建线程,管理线程的一种最初始的手段。但是创建和销毁一个线程是很耗费资源的,而且创建的线程越多,线程间切换就越频繁(计算机CPU个数受限),线程切换也要耗费资源和时间,再加上线程管理是一件很费心的事,所以微软就引入了线程池的概念。线程池是一个先进先出FIFO的队列,程序员只需要把操作或者任务丢给线程池,让.NET framework替程序员管理线程,线程复用等,极大的简化了开发。这里就有一个控制线程池内线程数量的问题。线程池内的线程肯定得根据需要动态变化,但适应这种需要的算法是什么呢?
一个简单的算法:往线程池中增加一些线程,观察线程池的吞吐量,如果增加后吞吐量增加,说明线程不够,需要增加线程。但这存在一个问题,对于一个很大的任务需要长时间占用线程,增加线程并不能增加吞吐量,此时如果增加线程会加重负担。所以在CLR v4时引入了本地队列(Local Queue)的概念,如果一个线程内创建了另一个线程,新创建的线程不再丢给全局队列,而是给本地队列排队等候调用。这就又有个问题,如果一个队列内任务执行完了,而另一个队列还有好多怎么办?那就让执行完任务的本地队列从该队列上“偷“一个线程执行。这样达到负载均衡。当然线程池的算法会随着CLR版本升级而不断演进,更加智能的管理线程。对普通开发者而言可以不用考虑这些细节,无缝的体验线程池带来的便利和效率就行了。
线程池如此方便,我们怎么使用线程池呢?可以通过以下几种方式:
- 通过类方法ThreadPool.QueueUserWorkItem直接调用。
- 通过.net Framework 4.0 引入的TPL(Task Parallel Library)任务并行库。
TPL中最主要的两个类是Task和Parallel。而新版C++标准中也引入了类似的概念parallel_for, parallel_foreach, parallel_invoke等。
详细信息见以下链接。
- 通过异步委托(BeginInvoke/EndInvoke)调用。
- 通过BackgroundWorker, BackgroundWorker是WinForm, WPF下的一个控件,主要用于提供UI控件下的协作式取消,进度报告等。
这里我还要讲一下PFX(Parallel FrameWork)。PFX从概念上可以分为数据并行和任务并行。
上层的由两个结构化数据并行APIs组成:PLINQ和Parallel类。而底层的任务并行包含了Task 类和一系列的附属结构用于帮助并行编程。注意PFX是建立在线程池之上的,是更好使用线程池的一种途径,有说法说是用TPL比直接使用线程池效率更高。关于PLINQ,Task,Parallel类及上图所列结构的使用请参考一下链接。
NET线程同步机制及线程间数据封送
首先.Net的同步机制是干什么的?概况来讲是为了安全。同步机制的存在是因为异步操作是不安全的,会带来一系列的问题,这些问题在第一章节中已经讨论过了。而线程间数据封送和COM与.Net framework数据封送一样,是为了线程间数据和状态的传递。
那么.net的同步机制有哪些呢?概括一下:
- 简单的锁定方法:Thead类的Sleep, Join等以及Task的Wait方法。
- 基于对象的锁定:
lock(Monitor.Enter/Monitor.Exit):首先强调一下它不可以跨进程间线程同步。一般跨进间线程同步都有一个特征,就是同步对象都有名字。
Mutex和Semophore(slim):这两个都可以跨进程同步,两者的区别在于:Mutex只能有一等待资源,而Semophore可以有多个。拿厕所举例,Mutex相当于厕所中只有一个蹲位,只能一个上了才能上另一个,而Semophore可以有多个蹲位,可以让多个线程同时阻塞一个线程的执行。就是n个哥们一起蹲着,又来一哥们,然后这n个哥们就占着那啥不那啥。
Reade/Writer 锁。
3.基于信号
事件等待句柄AutoResetEvent, ManualResetEvent(Slim):注意这两个也是允许跨进程的,两者用法差不多,使一个线程释放一个信号从而使得其他线程能够执行。
CountdownEvent(4.0被引入):这个和上边用法正好相反,它使得一个线程等待收到其他线程的信号后再执行。
Barrier
Wait and pulse
4. 非阻塞的同步结构
Thread.MemoryBarrier
Thread.VolatileRead/Write
Interlocaked
关于以上同步机制具体应用和Demo代码请参考以下链接。
而关于线程间数据封送,一个很好的例子就是点击button后开始在新线程中执行某个操作,但执行过程需要在一个label上显示出来,这时候就需要把新线程内表示执行状态的数据对象封送回UI线程。这部分内容可以参考我以前写的一篇帖子:http://www.cnblogs.com/salomon/archive/2012/06/28/2567339.html。
异步模式
什么需要异步模式?所谓模式,其实是一种方法,就跟上篇博客里所讲的,是从工程实践中总结出来的解决相似或特定问题的一种惯用手段。常见的异步模式包括:
APM模式: BeginXXX/EndXXX, IAsyncResult
EAP模式(基于事件的异步模式)
Windows Form
MethodNameAsync
Event
TAP(基于任务的异步模式)
MethodNameAsync
Task/Task<Result>
这部分内容以下链接讲得很好了,感兴趣可以看一下。更详尽的介绍去MSDN或者官方网站上去找相似的文档。
线程安全及异常处理
新线程中抛出的异常会不会自动封送到主线程中?如何处理新线程中抛出的异常?什么是线程安全?怎样做到线程安全?
线程取消
正在执行的线程怎么能不能取消,怎么取消合适?暴力取消?协作式取消?
C#5.0新的异步模式Async和await关键字
请参考我以前的博客:http://www.cnblogs.com/salomon/archive/2012/06/27/2565862.html
后几章内容实在写不下去了,先提出问题,以后再补上吧。另外关于讲座PPT视频的内容,不知道原作者是否乐意分享,征得他本人同意后我会附上链接。
References:
http://www.albahari.com/threading/(详尽的C#线程介绍)
http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx(线程池介绍)
http://www.codeproject.com/Articles/152765/Task-Parallel-Library-1-of-n(TPL的介绍)
http://www.cnblogs.com/scy251147/archive/2012/03/03/2378477.html(异步模式介绍)
http://www.codeproject.com/Articles/80825/Concurrency-Runtime-in-Visual-C-2010(C++中的并行库)
http://www.cnblogs.com/yuyijq/archive/2011/02/20/1958925.html
http://www.cnblogs.com/yuyijq/archive/2011/02/22/1960273.html
http://www.cnblogs.com/Zhouyongh/archive/2009/08/31/1557126.html
http://www.cnblogs.com/zhouyongh/archive/2011/01/12/1933414.html
http://www.cnblogs.com/salomon/archive/2012/07/26/2610548.html