年归档：2016年

PPTP/L2TP over PPPoE的準確MTU/MRU值

发表于2016年9月2日由kaisin
Ethernet MinSize = 512bit = 64 Byte
Ethernet MaxSize = 1518 Byte
so Ethernet IP MTU = 1518 - 18 ( 6 SRCMAC+ 6 DSTMAC+ 2 TYPE+ 4 CRC) = 1500 B
so Ethernet IP TCP MSS = 1500 - 40 ( 20 IP_HEADER + 20 TCP_HEADER) = 1460 B
so Ethernet IP UDP MTU/MRU = 1500 - 28 ( 20 IP_HEADER + 8 UDP_HEADER ) = 1472 B
so PPPoE MTU/MRU = 1500 - 8 ( 6 PPPoE_SESSION + 2 PPP_HEADER ) = 1492 B
so TCP over PPPoE MSS = 1492 ( PPPoE MTU/MRU ) - 40 ( 20 IP_HEADER + 20 TCP_HEADER) = 1452
so PPTP MTU/MRU = 1500 - 56 ( 20 IP_HEADER + 20 TCP_HEADER + 12 GRE_HEADER + 4 PPP_HEADER ) = 1444 B
so TCP over PPTP MSS = 1444 ( PPTP MTU/MRU ) -...

继续阅读 →

发表在 technologys | PPTP/L2TP over PPPoE的準確MTU/MRU值已关闭评论

(CORS)Cross-origin resource sharing

发表于2016年8月25日由kaisin

How CORS works:

https://upload.wikimedia.org/wikipedia/commons/c/ca/Flowchart_showing_Simple_and_Preflight_XHR.svg

点击查看原图

 

参考：

https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Access_control_CORS

 

 

简单请求：

简单指：

  • 只使用 GET, HEAD 或者 POST 请求方法。如果使用 POST 向服务器端传送数据，则数据类型(Content-Type)只能是 application/x-www-form-urlencoded, multipart/form-data 或 text/plain中的一种。
  • 不会使用自定义请求头（类似于 X-Modified 这种）。

 

GET /resources/public-data/ HTTP/1.1
Host: bar.other
User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.1b3pre) 
Gecko/20081130 Minefield/3.1b3pre
Accept: text/html,application/xhtml+...

继续阅读 →

发表在 http | 标签为 | (CORS)Cross-origin resource sharing已关闭评论

zookeeper

发表于2016年8月15日由kaisin

场景一

有这样一个场景：系
统中有大约100w的用户，每个用户平
均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从
多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大了。

        通过我们的讨论和以往的经验判断在这场景中可以实现并行计算，但我们还期望能对并行计算的节点进行动态的添加/删除，做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点，但是有4个问题需要解决，否则会出现一些严重的问题：

  1. 20台机器同时工作时，有一台机器down掉了，其他机器怎么进行接管计算任务，否则有些用户的业务不会被处理，造成用户服务终断。
  2. 随着用户数量增加，添加机器是可以解决计算的瓶颈，但需要重启所有计算节点，如果需要，那么将会造成整个系统的不可用。
  3. 用户数量增加或者减少，计算节点中的机器会出现有的机器资源使用率繁忙，有的却空闲，因为计算节点不知道彼此的运行负载状态。
  4. 怎么去通知每个节点彼此的负载状态，怎么保证通知每个计算节点方式的可靠性和实时性。

        先不说那么多专业名词，白话来说我们需要的是...

继续阅读 →

发表在 technologys | zookeeper已关闭评论

ZooKeeper 数据流动图

发表于2016年8月13日由kaisin


ZooKeeper的基本原理

ZooKeeper是以Fast Paxos算法为基础的，通过选举产生一个leader，只有leader才能提交propose，具体算法可见Fast Paxos 。

 

2）ZooKeeper的基本运转流程

ZooKeeper主要存在以下两个流程：

  • 选举Leader
  • 同步数据

选举Leader过程中算法有很多，但要达到的选举标准是一致的：

  • Leader要具有最高的zxid 
  • 集群中大多数的机器得到响应并follow选出的Leader

下图为ZooKeeper数据流动图，比较直观地描述了ZooKeeper是如何同步数据的：

 


点击查看原图

 

 

继续阅读 →

发表在 technologys | ZooKeeper 数据流动图已关闭评论

2016年续费的27家机构

发表于2016年8月12日由kaisin

资料备份供自身查询，资料来源：

中国人民银行公告〔2016〕第17号

http://c.m.163.com/news/a/BU9GAJHN00097U7R.html?spss=newsapp&spsw=1

 

点击查看原图点击查看原图点击查看原图

继续阅读 →

发表在 article | 2016年续费的27家机构已关闭评论

10大基础算法

发表于2016年8月12日由kaisin

一：快速排序算法

 

快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(n log n) 算法更快，因为它的内部循环（inner loop）可以在大部分的架构上很有效率地被实现出来。

快速排序使用分治法（Divide and conquer）策略来把一个串行（list）分为两个子串行（sub-lists）。

算法步骤：

1 从数列中挑出一个元素，称为 “基准”（pivot），

2 重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）。在这个分区退出之后，该基准就处于数列的中间位置。这个称为分区（partition）操作。

3 递归地（recursive）把小于基准值元素的子数列和大于基准值元素的子数列排序。

递归的最底部情形，是数列的大小是零或一，也就是永远都已经被排序好了。虽然一直递归下去，但是这个算法总会退出，因为在每次的迭代（iteration）中，它至少会把一个元素摆到它最后的位置去

点击查看原图


参考：

快速排序

https://zh.wikipedia.org...

继续阅读 →

发表在 technologys | 10大基础算法已关闭评论

OSI 模型与 TCP/IP

发表于2016年8月9日由kaisin

以下是 维基百科 中关于OSI 模型的说明：

开放式系统互联通信参考模型（英语：Open System Interconnection Reference Model，ISO/IEC 7498-1），简称为OSI模型（OSI model），一种概念模型，由国际标准化组织（ISO）提出，一个试图使各种计算机在世界范围内互连为网络的标准框架。

而 TCP/IP 协议可以看做是对 OSI 模型的一种简化（以下内容来自 维基百科）：

它将软件通信过程抽象化为四个抽象层，采取协议堆叠的方式，分别实作出不同通信协议。协议套组下的各种协议，依其功能不同，被分别归属到这四个阶层之中7，常被视为是简化的七层OSI模型。

一张图详细介绍了 TCP/IP 协议族中的各个协议在 OSI模型 中的分布，一图胜千言（下图来自 科来）：
点击查看原图

TCP/IP 协议和 OSI 模型的内容，在互联网上有很多。我没有必要再次介绍它们。在这里，我们只需要知道，HTTP、WebSocket 等协议都是处于 OSI 模型的最高层： 应用层 。而 IP 协议工作在网络层（第3层），TCP 协议工作在传输层（第4层）。

至于 OSI 模型的各个层次都有什么系统和它们对应，这里有篇很好的文章可以满足大家的求知欲：OSI七层模型详解 。
继续阅读 →

发表在 network | 标签为 , | OSI 模型与 TCP/IP已关闭评论

Authorization

发表于2016年8月2日由kaisin

授权模块代码片段:

/// <summary>
    /// HTTP模块默认授权配置
    /// </summary>
    public class Authorization
    {
        Dictionary<string, string> users;
        bool hasValidate;

        /// <summary>
        /// 获取用户总数
        /// </summary>
        public int UserCount
        {
            get
            {
                return this.users.Count;
            }
        }

        /// <summary>
        /// 是否具有验证项
        /// </summary>
        public bool HasValidate
        {
            get { return this.hasValidate; }
        }

...

继续阅读 →

发表在 C# Code | Authorization已关闭评论

CommandLine Parse Code Fragment

发表于2016年7月29日由kaisin

Command Line Parse Code Fragment

 

internal class CommandLine
    {
        /// <summary>
        /// get process command line info
        /// </summary>
        /// <param name="processId"></param>
        /// <returns>command line info, array length is 2, ex: ["C:\Windows\system32\svchost.exe","-k LocalService"]</returns>
        public static String[] GetCommandLineInfo(int processId)
        {
            String[] info = new string[2];
            info[0] = "";
            info[1] = "";
            //
            var command...

继续阅读 →

发表在 C# Code | CommandLine Parse Code Fragment已关闭评论

Quartz Misfire处理规则

发表于2016年7月27日由kaisin
调度(scheduleJob)或恢复调度(resumeTrigger,resumeJob)后不同的misfire对应的处理规则

CronTrigger

withMisfireHandlingInstructionDoNothing
——不触发立即执行
——等待下次Cron触发频率到达时刻开始按照Cron频率依次执行

withMisfireHandlingInstructionIgnoreMisfires
——以错过的第一个频率时间立刻开始执行
——重做错过的所有频率周期后
——当下一次触发频率发生时间大于当前时间后，再按照正常的Cron频率依次执行

withMisfireHandlingInstructionFireAndProceed
——以当前时间为触发频率立刻触发一次执行
——然后按照Cron频率依次执行

SimpleTrigger

withMisfireHandlingInstructionFireNow
——以当前时间为触发频率立即触发执行
——执行至FinalTIme的剩余周期次数
——以调度或恢复调度的时刻为基准的周期频率，FinalTime根据剩余次数和当前时间计算得到
——调整后的FinalTime会略大于根据starttime计算的到的FinalTime值

withMisfireHandlingInstructionIgnor...

继续阅读 →

发表在 technologys | 标签为 , | Quartz Misfire处理规则已关闭评论

Adf.Smtp

发表于2016年7月20日由kaisin

配置描述：

默认实例可通过Smtp.Config,  Global.Config, AppSetting 配置

优先级以 AppSetting->Global.Config->Smtp.Config

 

配置项：

 

SmtpEnabled：    是否启用 ，必需，值为 true/false

SmtpHost：    主机地址，例： smtp.mail.com，非必需

SmtpPort：    端口，非必需， 默认为 25

SmtpAccount:    在配置了SmtpHost时，登录主机的帐号，非必需

SmtpPassword：    在配置了SmtpHost时，登录主机的帐号，非必需

SmtpSender：    默认的邮件发送者地址，与SmtpSenderRandomDomain互斥，非必需

SmtpName：    默认的发送者显示名称，非必需

SmtpSSLEnabled:    是否启用SSL登录，默认false，非必需

SmtpSenderRandomDomain:    默认随...

继续阅读 →

发表在 adf | 标签为 | Adf.Smtp已关闭评论

MySQL大数据场景的优化和运维之道

发表于2016年7月14日由kaisin

前言

MySQL数据库大家应该都很熟悉，而且随着前几年的阿里的去IOE，MySQL逐渐引起更多人的重视。

MySQL历史

  • 1979年，Monty Widenius写了最初的版本，96年发布1.0

  • 1995-2000年，MySQL AB成立，引入BDB

  • 2000年4月，集成MyISAM和replication

  • 2001年，Heikki Tuuri向MySQL建议集成InnoDB

  • 2003发布5.0，提供了视图、存储过程等功能

  • 2008年，MySQL AB被Sun收购，09年推出5.1

  • 2009年4月，Oracle收购Sun，2010年12月推出5.5

  • 2013年2月推出5.6 GA，5.7开发中

MySQL的优点

  • 使用简单

  • 开源免费

  • 扩展性“好”，在一定阶段扩展性好

  • 社区活跃

  • 性能可以满足互联网存储和性能需求，离不开硬件支持

上面这几个因素也是大多数公司选择考虑MySQL的原因。不过MySQL本身存在的问题和限制也很多，有些问题点也经常被其他数据库吐槽或鄙视

MySQL存在的问题

  • 优化器对复杂SQL支持不好

  • 对SQL标准支持不好

  • 大规模集群方案不成熟，主要指中间件

  • ID生成器，全局自增ID

  • 异步逻辑复制，数据安全性问题

  • Online DDL

  • HA方案不完善

  • 备份和恢复方案还是比较复杂，需要依赖外部组件

  • 展现给用户信息过少，排查问题困难

  • 众多分支，让人难以选择

看
到了刚才讲的MySQL的优势和劣势，可以看到MySQL面临的问题还是远大于它...

继续阅读 →

发表在 db | 标签为 | MySQL大数据场景的优化和运维之道已关闭评论

tools

发表于2016年7月13日由kaisin

Hex To ASCII Converter:    http://www.aooshi.org/tools/hex2ascii.html

继续阅读 →

发表在 technologys | tools已关闭评论

.NET Core dotnet 命令大全

发表于2016年7月8日由kaisin

命令目录：

dotnet-new

dotnet-restore

dotnet-run

dotnet-build

dotnet-test

dotnet-pack

dotnet-publish

 

现在来详细讲解。

创建(dotnet new)

首先我们创建一个项目 ，这里我们创建控制台程序。

dotnet new

点击查看原图

 

dotnet 更多命令请参考帮助。

 

还原(dotnet restore 及 dotnet pack)

我们在创建一个 class lib  也就是类库。

dotnet new -t lib

点击查看原图

创建好以后，编写一些自己的代码然后进行打包。

点击查看原图

 

我编写了两个方法，现在来打包。

dotnet restore

dotnet pack

点击查看原图

.NET Core 怎样添加离线引用包呢？现在答案就揭晓了。

打包好以后，我们将applib 添加到 app的 project.json 。

点击查看原图

添加好以后切到app 目录，然后进行还原。

还原使用的命令是：dotnet restore -f E:\dotnet\applib\bin\Debug\

dotnet restore -f 包的路径

点击查看原图

这样我们就能直接在项目里调用applib 里面的方法。

我们在代码里编写对应的调用，然后执行程序。可以看到正确输出class lib 的结果。

点击查看原图

 

运行(dotnet build 及 dotne...

继续阅读 →

发表在 .net | .NET Core dotnet 命令大全已关闭评论

回车换行,CRLF

发表于2016年7月6日由kaisin

历史

回车”（Carriage Return）和“换行”（Line Feed）这两个概念的来历和区别。

符号        ASCII码        意义

\n               10          换行

\r                13            回车CR

在计算机还没有出现之前，有一种叫做电传打字机（Teletype Model 33，Linux/Unix下的tty概念也来自于此）的玩意，每秒钟可以打10个字符。但是它有一个问题，就是打完一行换行的时候，要用去0.2秒，正 好可以打两个字符。要是在这0.2秒里面... 继续阅读 →

发表在 article | 回车换行,CRLF已关闭评论