Github |

■ 新浪微博 ■ Facebook ■ 公众号 我的微信订阅号

avatar

最近动态

编程语言

Go语言包-archive/zip

Anthony 发表于    标签：

一天一个Golang包，慢慢学习之“archive/zip”

昨天阅读了archive包的tar包，对Go语言操作压缩包有了一定的基础，今天就继续把另外一个包“zip”也来熟悉一下。

阅读文档：

官方pkg地址：https://golang.org/pkg/archive/zip/

今天同样从官方的包文档中提取几个主要的内容出来分享一下：

常量

1
2
3
4
const (
        Store   uint16 = 0 // no compression
        Deflate uint16 = 8 // DEFLATE compressed
)

变量

1
2
3
4
5
var (
        ErrFormat    = errors.New("zip: not a valid zip file")				// 不合法的zip文件
        ErrAlgorithm = errors.New("zip: unsupported compression algorithm")	// 不支持的压缩算法
        ErrChecksum  = errors.New("zip: checksum error")					//校验错误
)

FileHeader结构体

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
type FileHeader struct {
        Name string	// 文件名，必须是相对路径，不能以设备或斜杠开始，分隔符用'/'表示

        Comment string

        NonUTF8 bool // Go 1.10

        CreatorVersion uint16
        ReaderVersion  uint16
        Flags          uint16

        Method uint16

        Modified     time.Time // Go 1.10
        ModifiedTime uint16 // Deprecated: Legacy MS-DOS date; use Modified instead.
        ModifiedDate uint16 // Deprecated: Legacy MS-DOS time; use Modified instead.

        CRC32              uint32
        CompressedSize     uint32 // Deprecated: Use CompressedSize64 instead.
        UncompressedSize   uint32 // Deprecated: Use UncompressedSize64 instead.
        CompressedSize64   uint64 // Go 1.1
        UncompressedSize64 uint64 // Go 1.1
        Extra              []byte
        ExternalAttrs      uint32 // Meaning depends on CreatorVersion
}

FileHeader相关的方法：

func FileInfoHeader(fi os.FileInfo) (*FileHeader, error) // 通过传入的fi填充一个FileHeader并返回，由于os.FileInfo的Name方法只返回文件描述的Name，所以实际使用有可能需要自行修改为完整的全路径

func (h *FileHeader) FileInfo() os.FileInfo // 返回一个os.FileInfo

func (h *FileHeader) ModTime() time.Time // 修改时间

func (h *FileHeader) Mode() (mode os.FileMode) // 权限和模式位

func (h *FileHeader) SetModTime(t time.Time) // 设置修改时间

func (h *FileHeader) SetMode(mode os.FileMode) // 设置权限

ReadCloser结构体

1
2
3
4
type ReadCloser struct {
        Reader
        // contains filtered or unexported fields
}

ReadCloser的相关方法：

func OpenReader(name string) (*ReadCloser, error) // 传入文件名(路径)，返回一个ReadCloser指针(继承了Reader)

func (rc *ReadCloser) Close() error // 关闭ReadCloser

Reader结构体

1
2
3
4
5
type Reader struct {
        File    []*File
        Comment string
        // contains filtered or unexported fields
}

Reader的相关方法：

func NewReader(r io.ReaderAt, size int64) (*Reader, error) // 从r中读取size个字节并返回一个新的Reader

func (z *Reader) RegisterDecompressor(method uint16, dcomp Decompressor)

Writer结构体

1
2
3
type Writer struct {
        // contains filtered or unexported fields
}

Writer的相关方法：

func NewWriter(w io.Writer) *Writer // 创建并返回一个将zip文件写入w的Writer

func (w *Writer) Close() error // 关闭Writer

func (w *Writer) Create(name string) (io.Writer, error) // 使用name添加一个文件到zip文件中，返回一个Writer。name必须是相对路径，不能以设备或斜杠开头，用’/‘作为分隔符。新增文件内容必须在下一次调用CreateHeader、Create或Close方法前全部写入。

func (w *Writer) CreateHeader(fh *FileHeader) (io.Writer, error) // 使用fh所描述的元数据添加一个文件到zip文件中，并返回一个用于写入数据的io.Writer。

func (w *Writer) Flush() error // 将缓存写入底层IO

等等..

实现一个跟昨天一样的需求：简单的创建和读取压缩包，传送门

代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
package zip

import (
	"archive/zip"
	"fmt"
	"io"
	"log"
	"os"
	"time"
)

var(
	filePath = "/tmp/go/learn/data/zipArchive.zip"
)

func CreateArchive(){
	fmt.Println("This is function CreateArchive called")
	var files = []struct{
		Name, Body string
	}{
		{"Readme.md", "## Hello World\n1. line 1\n2. line 2\n3. line 3"},
		{"gopher.txt", "Gopher names:\nGorge\nGeoffrey\nGonzo"},
		{"todo.txt", "Get animal handling licence.\nWrite more examples"},
		{"myDir/file.txt", "This is a sub dir's file"},
	}
	fi, err := os.Create(filePath)
	defer fi.Close()
	if err != nil {
		log.Fatal(err)
	}
	zw := zip.NewWriter(fi)
	for _, file := range files {
		fh := &zip.FileHeader{
			Name: file.Name,
			Modified: time.Now(),
		}
		//	这里也可以使用 f, err := zw.Create(file.Name); 快速创建文件
		if f, err := zw.CreateHeader(fh); err != nil{
			log.Fatal(err)
		}else{
			if _, err := f.Write([]byte(file.Body));err != nil {
				log.Fatal(err)
			}
		}
	}
	if err = zw.Close(); err != nil {
		log.Fatal(err)
	}
	fmt.Println("Created Archive file is stored in:", filePath)
}

func ReadArchive(){
	fmt.Println("This is function ReadeArchive called")
	zr, err := zip.OpenReader(filePath)
	if err != nil {
		log.Fatal(err)
	}
	defer zr.Close()
	for _, f := range zr.File {
		fmt.Printf("\tContents of %s:\n",f.Name)
		if rc, err := f.Open();err != nil {
			log.Fatal(err)
		}else{
			if _, err := io.Copy(os.Stdout, rc, ); err != nil {
				log.Fatal(err)
			}
			rc.Close()
			fmt.Println()
		}
	}
}

通过今天的学习，突然发现了昨天的tar并没有涉及到压缩，所以它应该就是个普通的归档，而zip中带有了压缩算法，所以它可以被称为压缩包。不过我今天也悄悄的看了一下tar.gz的相关内容，非常简单！这里就不多说，感兴趣的自行移步官方文档。

阅读剩下更多

默认配图
编程语言

Go语言包-archive/tar

Anthony 发表于    标签：

一天一个Golang包，慢慢学习之“archive/tar”

今天了解一下归档（压缩包）中的tar包，我们对压缩包其实并不陌生，像是”某某.tar”，自然能想到应该用压缩包工具打开并解压出来使用。

阅读文档：

官方pkg地址：https://golang.org/pkg/archive/tar/

从官方的包文档中，我提取几个主要的内容出来分享一下：

常量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
const (
        // Type '0' indicates a regular file.(普通文件)
        TypeReg  = '0'
        TypeRegA = '\x00' // Deprecated: Use TypeReg instead.

        // Type '1' to '6' are header-only flags and may not have a data body.
        TypeLink    = '1' // Hard link(硬链接)
        TypeSymlink = '2' // Symbolic link(软链接/符号链接)
        TypeChar    = '3' // Character device node(字符设备节点)
        TypeBlock   = '4' // Block device node(块设备节点)
        TypeDir     = '5' // Directory(目录)
        TypeFifo    = '6' // FIFO node

        // Type '7' is reserved.（保留项）
        TypeCont = '7'

        // Type 'x' is used by the PAX format to store key-value records that
        // are only relevant to the next file.
        // This package transparently handles these types.
        TypeXHeader = 'x'	// 可扩展头部

        // Type 'g' is used by the PAX format to store key-value records that
        // are relevant to all subsequent files.
        // This package only supports parsing and composing such headers,
        // but does not currently support persisting the global state across files.
        TypeXGlobalHeader = 'g'	// 全局扩展头部

        // Type 'S' indicates a sparse file in the GNU format.
        TypeGNUSparse = 'S'	// 稀疏文件

        // Types 'L' and 'K' are used by the GNU format for a meta file
        // used to store the path or link name for the next file.
        // This package transparently handles these types.
        TypeGNULongName = 'L'
        TypeGNULongLink = 'K'
)

变量(主要用于错误输出)

1
2
3
4
5
6
var (
        ErrHeader          = errors.New("archive/tar: invalid tar header")	// 无效的tar头部
        ErrWriteTooLong    = errors.New("archive/tar: write too long")		// 写入数据太长
        ErrFieldTooLong    = errors.New("archive/tar: header field too long")	// 头部太长
        ErrWriteAfterClose = errors.New("archive/tar: write after close")	// 关闭后写入
)

Header结构体

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
type Header struct {
        Typeflag byte // the type of header entry.(文件类型)

        Name     string // 文件名称
        Linkname string // 链接名称 (适用于硬链接和软链接)

        Size  int64  // 文件的字节大小
        Mode  int64  // 权限，如：0600
        Uid   int    // 用户ID
        Gid   int    // 组ID
        Uname string // 用户名
        Gname string // 组名

        ModTime    time.Time // 最后一次修改文件或目录的时间
        AccessTime time.Time // 最后一次访问文件或目录的时间
        ChangeTime time.Time // 最后一次改变文件或目录(改变的是原数据即:属性)的时间

        Devmajor int64 // Major device number (valid for TypeChar or TypeBlock)(字符设备或块设备的主设备号)
        Devminor int64 // Minor device number (valid for TypeChar or TypeBlock)(字符设备或块设备的次设备号)

        Xattrs map[string]string // Go 1.3
        
        PAXRecords map[string]string // Go 1.10

        Format Format // Go 1.10
}

Header的相关方法：

func FileInfoHeader(fi os.FileInfo, link string)(*Header, error) //该方法通过os.FileInfo来创建一个tar.Header，用在对已有文件打包十分方便

func (h *Header) FileInfo() os.FileInfo // 该方法获取Header的os.FileInfo信息

Reader结构体

1
2
3
4
5
6
7
8
9
10
11
type Reader struct {
	r    io.Reader
	pad  int64      // Amount of padding (ignored) after current file entry
	curr fileReader // Reader for current file entry
	blk  block      // Buffer to use as temporary local storage

	// err is a persistent error.
	// It is only the responsibility of every exported method of Reader to
	// ensure that this error is sticky.
	err error
}

Reader结构体有以下方法：
func NewReader(r io.Reader) *Reader // 用r创建新的tar.Reader

func (tr *Reader) Next() (*Header, error) // 使tr指向下一个文件实体并返回实体的Header，到最后会返回err为io.EOF

func (tr *Reader) Read(b []byte) (int, error) // 读取当前实体到b，读取到最后时返回err为io.EOF

阅读到这儿，基本就可以解析一个tar文件了，从上述的方法我们可以得知，要想获得压缩包的内容，我们可以使用tar.Reader来完成，而tar.Reader的创建可以通过使用tar.NewReader()方法，该方法需要提供一个实现了io.Reader接口的对象，此对象可以通过os包的方法如os.Open()或者os.OpenFile()等方法获得。根据这个思路，我们便可以解析获得tar文件的所有内容了。

Writer结构体

1
2
3
4
5
6
7
8
9
10
11
12
type Writer struct {
	w    io.Writer
	pad  int64      // Amount of padding to write after current file entry
	curr fileWriter // Writer for current file entry
	hdr  Header     // Shallow copy of Header that is safe for mutations
	blk  block      // Buffer to use as temporary local storage

	// err is a persistent error.
	// It is only the responsibility of every exported method of Writer to
	// ensure that this error is sticky.
	err error
}

Writer结构体有如下方法：
func NewWriter(w io.Writer) *Writer // 用w创建新的tar.Writer

func (tw *Writer) Close() error // 关闭tar文件，并将未写入的数据写入底层writer
func (tw *Writer) Flush() error // 完成当前写入

func (tw *Writer) Write(b []byte) (int, error) // 将b写入当前实体，如果写入长度大于WriteHeader所描述的Size，则会返回err为ErrWriteTooLong的报错

func (tw *Writer) WriteHeader(hdr *Header) error // 将hdr写入tar文件中并准备接受Write()方法的写入，hdr.Size决定写入的文件字节大小。如果未完全写入，则会报错。写入hdr之前会隐式调用Flash()。

下面我们假设这样一个需求：

需求描述：

  1. 创建一个压缩包文件，命名为：”tarArchive.tar”。
  2. 压缩包中存有3个文本文档，分别命名：”readme.md”、”gopher.txt”、”todo.txt”，内容随意。
  3. 压缩包中还有一个目录(命名:dir)，其中有一个文件:dirFile.txt，内容随意
  4. 将压缩包保存在”/tmp/go/learn/data”目录中。
  5. 读取压缩包内容，并打印文件(或目录)以及文件内容。

求解过程：

  1. 最终结果是要创建一个文件，所以我们先创建这个文件：这里用到f, err := os.OpenFile()方法来获取一个文件指针
  2. 然后创建一个tar的Writer对象来实现对文件的写入：tw := tar.NewWriter(f)，获得的tw对象就是一个写入器，他有Write方法。
  3. 构建一个文件列表（任何方式，为了方便用循环添加文件）。
  4. 使用tw.WriteHeader()和tw.Write()方法向压缩包写入文件。
  5. 关闭文件和写入器：f.Close()、tw.Close()，tar文件创建完毕。
  6. 读取tar文件，并使用tar.NewReader()获得Reader对象。
  7. 循环Next()方法获得hdr并打印hdr.Name以及Reader的内容
  8. 判断io.EOF结束并关闭文件。

完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
package tar

import (
	"archive/tar"
	"fmt"
	"io"
	"log"
	"os"
)
var(
	filePath = "/tmp/go/learn/data/tarArchive.tar"
)

func CreateArchive(){
	f, err := os.OpenFile(filePath, os.O_CREATE|os.O_WRONLY|os.O_TRUNC, 0666)
	if err != nil {
		log.Fatal(err)
	}
	defer f.Close()
	tw := tar.NewWriter(f)
	var files = []struct{
		Name, Body string
	}{
		{"Readme.md", "This is a readme markdown file."},
		{"gopher.txt", "Gopher names:\nGeorge\nGeoffrey\nGonzo"},
		{"todo.txt", "Get animal handling license."},
		{"dir/dirFile.txt", "it's content is in directory"},
	}
	// 创建一个名字叫做myDir2的目录，用于区分上述的dir/dirFile.txt中的目录
	if err = tw.WriteHeader(&tar.Header{Name: "myDir2",Mode: 0766,Typeflag:tar.TypeDir}); err != nil{
		log.Fatal(err)
	}
	for _, file := range files {
		hdr := &tar.Header{
			Name: file.Name,
			Mode: 0600,
			Size: int64(len(file.Body)),
		}
		if err := tw.WriteHeader(hdr); err != nil {
			log.Fatal(err)
		}
		if _, err := tw.Write([]byte(file.Body)); err != nil {
			log.Fatal(err)
		}
	}
	if err := tw.Close(); err != nil {
		log.Fatal(err)
	}
}

func ReadArchive(){
	f, err := os.OpenFile(filePath, os.O_RDONLY, 0)
	if err != nil {
		log.Fatal(err)
	}
	defer f.Close()
	tr := tar.NewReader(f)
	for {
		hdr, err := tr.Next()
		if err == io.EOF {
			break
		}
		if err != nil {
			log.Fatal(err)
		}
		fmt.Printf("Contents of %s:\n",hdr.Name)
		if _, err := io.Copy(os.Stdout, tr); err != nil {
			log.Fatal(err)
		}
		fmt.Println("\n====")
	}
}

注意：代码中有关myDir目录和myDir2目录的创建方式不一样，但是效果差异不大

阅读剩下更多

默认配图
学习笔记

判断IP地址是否内网IP

Anthony 发表于    标签： Network / PHP

当你的服务同时开放于公网和内网，子服务却仅允许内网访问，那么则会涉及到IP白名单的功能。但是如果名单太多或者服务进行了迁移，那么维护起来会相当的麻烦，最简单的就是判断访问的来源IP是否内网IP地址，从而直接屏蔽掉公网IP。

首先，我们认识了3类私有地址：

A类：10.0.0.0-10.255.255.255

B类：172.16.0.0-172.31.255.255

C类：192.168.0.0-192.168.255.255

还有一个本机地址：127.0.0.1

他们就是我们平时所谓的内网IP地址。

方法一： PHP自带函数

filter_var($IP, FILTER_VALIDATE_IP, FILTER_FLAG_NO_PRIV_RANGE | FILTER_FLAG_NO_RES_RANGE)

如果$IP是内网IP则会返回false，否则返回ip字符串。

1
2
3
4
5
6
7
$IP = get_client_ip(); //该方法自己实现，返回客户端的IP地址
$is_publicIP = filter_var($IP, FILTER_VALIDATE_IP, FILTER_FLAG_NO_PRIV_RANGE | FILTER_FLAG_NO_RES_RANGE);
if($is_publicIP){
	echo '公网IP';
}else{
	echo '内网IP';
}

方法二： 适合有网络基础的胖友阅读

关于IP地址的知识，这里就不讲太多了，下面的方法就是根据IP地址的定义和网段的划分等专业知识进行判定的。懂的就自然懂啦！

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<?php
function isLocal($ip){
        $long=ip2long($ip);
        $data=array(
                24=>'10.255.255.255',
                20=>'172.31.255.255',
                16=>'192.168.255.255'
        );
        foreach($data as $k=>$v){
                if($long >> $k === ip2long($v)>>$k){
                        return true;
                }
        }
        return false;
}

方法三：正则匹配

更加不用解释了。

1
2
3
4
<?php
function isLocal($ip){        
    return preg_match('%^127\.|10\.|192\.168|172\.(1[6-9]|2|3[01])%',$ip);
}

参考：

  1. http://php.net/manual/zh/function.filter-var.php
  2. https://www.51-n.com/t-4360-1-1.html
  3. https://blog.csdn.net/z_qifa/article/details/75497577

阅读剩下更多

默认配图
学习笔记

更新升级MacOSX到10.14 Mojave (MacBook Air 13-inch early 2014)

Anthony 发表于    标签： MacOS

写在前面的话：

如果不是真的很需要，其实最好是不去更新系统，以免带来更多的麻烦。如果新的系统对你真的很重要，我也建议你备份现有数据，然后全新安装新的系统版本。我就是那个单纯的升级系统，导致原有的软件无法正常运行的傻逼，下面虽然记录了我的问题，但我最终的解决方案还是把软件卸载后重新安装和配置。

既然App Store推送了本次更新，我也就傻傻的更新了，谁知道会发生什么呢？

很不开心的是，第二天上班来发现系统更新好了，直接登录！一切安好。然鹅！！！发现了好几个惊喜：

  1. svn和git命令无法执行，提示xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun
  2. Apache和PHP配置全部恢复成初始状态，所有已安装的扩展没了
  3. OSSRS(Simple-RTMP-Server)无法运行了，提示:illegal hardware instruction，目前没找到解决方案，提了Issue看怎么说。

解决第一个问题网上给了答案，安装XCode开发者工具就好了：
xcode-select --install

Apache和PHP的配置的恢复，主要是指httpd.conf的覆盖和php.ini的丢失，以及PHP扩展丢失，这样我就不得不重新编写配置文件和编译安装开发所需要的全部扩展了。

这里记录一下我的操作过程，因为之前更新系统也遇到这种问题，但是没有做笔记，导致现在又遇到问题时又花了很多时间去找资料。

安装Memcache扩展

从Github直接clone下来：https://github.com/websupport-sk/pecl-memcache

执行phpize出现问题：

1
2
3
4
5
6
7
grep: /usr/include/php/main/php.h: No such file or directory
grep: /usr/include/php/Zend/zend_modules.h: No such file or directory
grep: /usr/include/php/Zend/zend_extensions.h: No such file or directory
Configuring for:
PHP Api Version:        
Zend Module Api No:     
Zend Extension Api No:

百度出来的解决方案：

1
sudo ln -s /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk/usr/include/ /usr/include

好的，遇到了就算使用sudo还是提示权限不足的情况。 不怕，之前有经验，需要关掉系统的保护机制。操作方法就是重启电脑，按住command+R直到进入新界面，通过实用工具打开终端，输入csrutil disable关闭保护，然后reboot重启

重启完打开终端，傻傻的执行ln命令后发现还是不行！phpize依旧报错， 怪我有点笨，然后才去读这行命令的意思，发现MacOSX10.11.sdk这个目录不存在，只有一个MacOSX10.14.sdk的目录。很傻，根据自己的系统来嘛！

所以下面的完整命令解决phpize的问题

1
sudo ln -s /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.14.sdk/usr/include/ /usr/include

然后是./configure 接着make && sudo make install

执行完后再修改/etc/php.ini增加extension=memcache.so。然后重启apache:sudo apachectl -k restart

安装mcrypt扩展

这个我是直接去php官网下载系统当前版本的PHP源码（php-7.1.19.tar.gz），然后解压进入ext/mcrypt目录，如上所述的执行phpize和./configure以及make && sudo make install，修改php.ini增加extension=mcrypt.so。重启apache搞定。

重启打开安全策略csrutil enable

电脑重启后发现memcache和mcrypt扩展无法加载，提示了文件签名的问题。无解！

所以，重点强调！！！ 直接舍弃系统自带的PHP和Apache吧，用brew全新安装一个，管理起来也非常的方便，系统更新后也不会导致软件丢失！

不过，遇到了新的问题，brew在安装cmake的时候出现了错误，提示如下：

1
2
3
4
Error: You are using macOS 10.14.
We do not provide support for this pre-release version.
You may encounter build failures or other breakages.
Please create pull-requests instead of filing issues.

很明显，说当前系统版本时预发布版本，他们不支持，不支持！！？？

百度了，无解，无奈就去问了Google，然后说要去下载Command Line Tools (macOS 10.14) for Xcode 10，原文：https://intellij-support.jetbrains.com/hc/en-us/community/posts/360000898980-CMake-not-compiling-after-macOS-10-14-Mojave-update

写在最后

官宣，作为一个需要稳定开发环境的开发人员和开发机器来说，不是闲的蛋疼就别随便的更新系统了吧，一个上午就折腾这事儿去了，真是满脸的不愉快，晚上8点还在重装软件，今儿可是1024啊，过节啊！！

阅读剩下更多

默认配图
学习笔记

Linux下的安装Ngrok服务器的故事

Anthony 发表于    标签： Ngrok

使用场景

公司A是一家服务提供商，公司B是一家知名企业。
现在公司B中的一个软件服务出现了故障，需要公司A的专业人员来排查。由于两家公司相隔甚远，他们采用了远程排查方案。但是公司B的这个软件部署在内网环境的机器C上，层层网关以及种种原因（和谐部分）导致无法将机器C映射到公司B的公网端口。为了解决这种需要打通从一个局域网到另外一个局域网的网络通路，我们叫它‘内网穿透’。

总所周知，处在同一个局域网的所有机器是可以互通的，而不同局域网中的机器是无法跨域访问的。解决这种问题，我能想到的有：

  1. 交换机和路由
  2. 使用公网VPN服务器
  3. 使用内网穿透服务器

配置交换机和路由往往非常复杂，遇到复杂的组网环境，还是杀了我吧！

公网VPN服务器我也试过了，使用简单，但是稳定性得不到保证。

所以我最终尝试了内网穿透服务器：Ngrok。（当然还有别的比如：frp）

Ngrok简介

Ngrok是一款使用GO语言开发的开源软件（仅针对1.x，2.x不开源），是一个反向代理软件。它可以在你本地运行的服务和公网服务器端点建立一条安全的隧道，这样任何一个和公网连通的客户端都可以访问和使用你的本地服务。Ngrok还可以捕获和分析所有通道上的流量，对后期的分析和处理也有相当好的支持。

Ngrok的git仓库地址：https://github.com/inconshreveable/ngrok

需要的宝贝

云服务器（有公网IP的服务器）

提供这种服务的像阿里云/腾讯云/百度云等等，随便挑

域名

随便什么域名，只要是你的域名，你能对其配置解析（最好能泛解析）。

我的域名解析

环境要求

Linux服务器：CentOS、Ubuntu

1
2
3
4
5
#centos
yum -y install zlib-devel openssl-devel perl hg cpio expat-devel gettext-devel curl curl-devel perl-ExtUtils-MakeMaker hg wget gcc gcc-c++ git golang

#ubuntu
#自行对应缺啥用'apt-get'补啥，openssl golang make 等等的都得有

安装服务器

克隆Ngrok到本地

1
git clone https://github.com/inconshreveable/ngrok.git

制作和生成证书

1
2
3
4
5
6
7
8
9
cd ngrok
mkdir cert
cd cert
NGROK_DOMAIN="ngrok.imsry.cn"
openssl genrsa -out base.key 2048
openssl req -new -x509 -nodes -key base.key -days 10000 -subj "/CN=$NGROK_DOMAIN" -out base.pem
openssl genrsa -out server.key 2048
openssl req -new -key server.key -subj "/CN=$NGROK_DOMAIN" -out server.csr
openssl x509 -req -in server.csr -CA base.pem -CAkey base.key -CAcreateserial -days 10000 -out server.crt

覆盖证书到Ngrok中

1
2
3
cp base.pem ../ngrok/assets/client/tls/ngrokroot.crt
cp server.crt ../ngrok/assets/server/tls/snakeoil.crt
cp server.key ../ngrok/assets/server/tls/snakeoil.key

编译生成Ngrok服务端

1
2
cd ../ngrok
GOOS=linux GOARCH=amd64 make release-server

启动和运行服务端(可以写成bash脚本)

1
2
3
4
5
6
7
./bin/ngrokd -tlsKey="assets/server/tls/snakeoil.key" -tlsCrt="assets/server/tls/snakeoil.crt" -domain="ngrok.imsry.cn"  -httpAddr=":8081" -httpsAddr=":8082" -tunnelAddr=":8083"

#参数说明：
#-domain 访问ngrok是所设置的服务地址生成证书时那个
#-httpAddr http协议端口 默认为80
#-httpsAddr https协议端口 默认为443 （可配置https证书）
#-tunnelAddr 通道端口 默认4443

客户端的编译和使用

1
2
3
4
5
6
7
8
9
10
11
#window-64bit如下：
GOOS=windows GOARCH=amd64 make release-client
#编译成功后会在ngrok/bin/下面生成一个windows_amd64目录下面有ngrok.exe

#Linux 平台 32 位系统：GOOS=linux GOARCH=386
#Linux 平台 64 位系统：GOOS=linux GOARCH=amd64
#Windows 平台 32 位系统：GOOS=windows GOARCH=386
#Windows 平台 64 位系统：GOOS=windows GOARCH=amd64
#MAC 平台 32 位系统：GOOS=darwin GOARCH=386
#MAC 平台 64 位系统：GOOS=darwin GOARCH=amd64
#ARM 平台：GOOS=linux GOARCH=arm

编写配置文件ngrok.cfg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
server_addr: "ngrok.imsry.cn:8083"
trust_host_root_certs: false

tunnels:
  http:
    subdomain: "test"
    proto:
      http: "80"
      
  https:
    subdomain: "test"
    proto:
      https: "443"

  tcp:
    remote_port: 5555
    proto:
      tcp: "8001"
 
  ssh:
    remote_port: 2222
    proto:
      tcp: "22"

启动客户端

1
2
3
4
./ngrok -config=ngrok.cfg start-all #启动所有服务

./ngrok -config=ngrok.cfg start ssh #启动SSH服务
./ngrok -config=ngrok.cfg start ssh http #启动SSH和HTTP服务

出现下面内容，表示链接成功：

1
2
3
4
5
6
7
8
9
10
11
ngrok

Tunnel Status                 online
Version                       1.7/1.7
Forwarding                    http://test.ngrok.imsry.cn8081 -> 127.0.0.1:80
Forwarding                    https://test.ngrok.imsry.cn:8082 -> 127.0.0.1:443
Forwarding                    tcp://test.ngrok.imsry.cn:5555 -> 127.0.0.1:8001
Forwarding                    tcp://test.ngrok.imsry.cn:2222 -> 127.0.0.1:22
Web Interface                 127.0.0.1:4040
# Conn                        0
Avg Conn Time                 0.00ms

开始访问你的服务吧！

直接访问上面的地址就能取得相应的服务
如果是ssh和tcp的话，直接使用如：ssh [email protected] -p 2222

阅读剩下更多

默认配图
编程语言

不同语言下文件读取和排序测试

Anthony 发表于    标签： 性能

排序时间对比图

测试机器配置：

  • MacBook Air (13-inch, Early 2014)
  • 处理器：1.4 GHz Intel Core i5
  • 内存：4 GB 1600 MHz DDR3

PHP

1
2
3
PHP 7.1.16 (cli) (built: Mar 31 2018 02:59:59) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.1.0, Copyright (c) 1998-2018 Zend Technologies
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
<?php
$t1 = microtime(true);  

$fileName = "Data.txt";
if(($file=fopen($fileName,'r')) === false){
	echo '读取文件:'.$fileName."失败\n";
	exit;
}
if(empty($file)){
	echo "文件为空!\n";
	exit;
}
$data = array();
while(!feof($file)){
	$lineStr = fgets($file);
	array_push($data, trim($lineStr));
}
$t2 = microtime(true);
echo 'Read time:' . ($t2 - $t1)*1000 . "ms\n";  
BubbleSort($data);
var_dump($data);
fclose($file);

$t3 = microtime(true);
  
echo 'Sort time:' . ($t3 - $t2)*1000 . "ms\n";  
echo 'Finished time:' . ($t3 - $t1)*1000 . "ms\n";  

function BubbleSort(&$data){
	$len = count($data);
	for($i=0;$i<$len;$i++){
		$flag = 0;
		for($j=1;$j<($len-$i);$j++){
			if($data[$j]<$data[$j-1]) {
				$tmp = $data[$j];
				$data[$j] = $data[$j-1];
				$data[$j-1] = $tmp;
				$flag = 1;
			}
		}
		if($flag == 0){
			return;
		}
	}
}
?>

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
~/Sites/languageDiff/sort » php sort.php
Read time:20.021915435791ms
Sort time:219256.12616539ms
Finished time:219276.14808083ms
-------------------------------------------------------
~/Sites/languageDiff/sort » php sort.php
Read time:19.091129302979ms
Sort time:229677.68502235ms
Finished time:229696.77615166ms
-------------------------------------------------------
~/Sites/languageDiff/sort » php sort.php
Read time:21.70205116272ms
Sort time:228220.97086906ms
Finished time:228242.67292023ms
-------------------------------------------------------
~/Sites/languageDiff/sort » php sort.php
Read time:20.930051803589ms
Sort time:206329.57100868ms
Finished time:206350.50106049ms
-------------------------------------------------------
~/Sites/languageDiff/sort » php sort.php
Read time:18.213033676147ms
Sort time:201813.07411194ms
Finished time:201831.28714561ms

Java

1
2
3
java version "10.0.1" 2018-04-17
Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10)
Java HotSpot(TM) 64-Bit Server VM 18.3 (build 10.0.1+10, mixed mode)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;

public class sort {

	public static void main(String[] args) {
		try {
        	long t1 = System.currentTimeMillis();
        	int[] data = new int[50000];
            BufferedReader br = new BufferedReader(new FileReader("Data.txt"));

            String line = null;
            int index = 0;
            while ((line = br.readLine()) != null) {
            	data[index] = Integer.parseInt(line);
                index++;
            }
            if (br != null) {
                br.close();
            }
	        long t2 = System.currentTimeMillis();
	        System.out.println("Read time: " + String.valueOf(t2 - t1) + "ms");

	        BubbleSort(data);
	        long t3 = System.currentTimeMillis();
	        System.out.println("Sort time: " + String.valueOf(t3 - t2) + "ms");
	        System.out.println("Finished time: " + String.valueOf(t3 - t1) + "ms");
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

	public static void BubbleSort(int[] a) {
	    int j, flag;
	    int temp;
	    for (int i = 0; i < a.length; i++) {
	        flag = 0;
	        for (j = 1; j < a.length - i; j++) {
	            if (a[j] < a[j-1]) {
	                temp = a[j];
	                a[j] = a[j - 1];
	                a[j - 1] = temp;
	                flag = 1;
	            }
	        }
	        if (flag == 0) {
	            return;
	        }
	    }
	}
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
~/Sites/languageDiff/sort » java sort
Read time: 56ms
Sort time: 5286ms
Finished time: 5342ms
-------------------------------------------------------
~/Sites/languageDiff/sort » java sort
Read time: 47ms
Sort time: 4911ms
Finished time: 4958ms
-------------------------------------------------------
~/Sites/languageDiff/sort » java sort
Read time: 46ms
Sort time: 4903ms
Finished time: 4949ms
-------------------------------------------------------
~/Sites/languageDiff/sort » java sort
Read time: 47ms
Sort time: 4953ms
Finished time: 5000ms
-------------------------------------------------------
~/Sites/languageDiff/sort » java sort
Read time: 49ms
Sort time: 5335ms
Finished time: 5384ms

Go

1
go version go1.10.3 darwin/amd64
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
package main

import (
	"bufio"
	"fmt"
	"io"
	"os"
	"strconv"
	"time"
)

func main() {
	fileName := "Data.txt"
	data := make([]int, 0, 50000)
	start := time.Now()
	fi, err := os.Open(fileName)
	if err != nil {
		fmt.Printf("Error: %s\n", err)
		return
	}
	defer fi.Close()
	br := bufio.NewReader(fi)
	for {
		a, _, c := br.ReadLine()
		if c == io.EOF {
			break
		}
		num, _ := strconv.Atoi(string(a))
		data = append(data, num)
	}
	endReadTime := time.Now()
	fmt.Printf("Read time: %fs\n", endReadTime.Sub(start).Seconds())
	BubbleSort(data)
	endTime := time.Now()
	fmt.Printf("Sort time: %fs\n", endTime.Sub(endReadTime).Seconds())
	fmt.Printf("finished time: %fs\n", endTime.Sub(start).Seconds())
}

func BubbleSort(arr []int) {
	length := len(arr)
	var flag int
	var tmp int
	for i := 0; i < length; i++ {
		flag = 0
		for j := 1; j < (length - i); j++ {
			if arr[j] < arr[j-1] {
				tmp = arr[j]
				arr[j] = arr[j-1]
				arr[j-1] = tmp
				flag = 1
			}
		}
		if flag == 0 {
			return
		}
	}
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
~/Sites/languageDiff/sort » go build sort.go
~/Sites/languageDiff/sort » ./sort
Read time: 0.006603s
Sort time: 5.207361s
finished time: 5.213964s
-------------------------------------------------------
~/Sites/languageDiff/sort » ./sort
Read time: 0.005319s
Sort time: 5.167615s
finished time: 5.172934s
-------------------------------------------------------
~/Sites/languageDiff/sort » ./sort
Read time: 0.005648s
Sort time: 5.317512s
finished time: 5.323160s
-------------------------------------------------------
~/Sites/languageDiff/sort » ./sort
Read time: 0.005842s
Sort time: 5.267731s
finished time: 5.273573s
-------------------------------------------------------
~/Sites/languageDiff/sort » ./sort
Read time: 0.005585s
Sort time: 5.442154s
finished time: 5.447738s

JavaScript(NodeJS)

1
2
~/Sites » node -v
v9.11.1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
var t1 = (new Date()).getTime();  
var readline = require('readline');
var fs = require('fs');
var os = require('os');
 
var fReadName = './data.txt';
var fRead = fs.createReadStream(fReadName);
 
 
var objReadline = readline.createInterface({
	input: fRead,
});
 
 
var data = [];
objReadline.on('line', (line)=>{
	data.push(Number(line));
});
 
objReadline.on('close', ()=>{
	var t2 = (new Date()).getTime();  
    console.log("Read time：" + (t2 - t1) + "ms"); 
	var res = BubbleSort(data);
	// console.log(res);
	var t3 = (new Date()).getTime();  
    console.log("Sort time：" + (t3 - t2) + "ms");  
    console.log("finished time：" + (t3 - t1) + "ms");  
});

function BubbleSort(arr){
	for (var i = 0; i < arr.length; i++) {
		var flag = 0;
		for(var j = 1;j< arr.length-i;j++){
			if(arr[j]<arr[j-1]){
				var tmp = arr[j];
				arr[j] = arr[j-1]
				arr[j-1] = tmp
				flag = 1;
			}
		}
		if(flag == 0){
			return arr;
		}
	}
	return arr;
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
~/Sites/languageDiff/sort » node sort.js
Read time：55ms
Sort time：6067ms
finished time：6122ms
-------------------------------------------------------
~/Sites/languageDiff/sort » node sort.js
Read time：38ms
Sort time：6064ms
finished time：6102ms
-------------------------------------------------------
~/Sites/languageDiff/sort » node sort.js
Read time：37ms
Sort time：6339ms
finished time：6376ms
-------------------------------------------------------
~/Sites/languageDiff/sort » node sort.js
Read time：42ms
Sort time：6367ms
finished time：6409ms
-------------------------------------------------------
~/Sites/languageDiff/sort » node sort.js
Read time：40ms
Sort time：7110ms
finished time：7150ms

Python

1
2
~/Sites » python -V
Python 2.7.10
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import time
 
def BubbleSort(a):
	length = len(a)
	for i in range(0,length):
		flag = 0
		for j in range(1,length-i):
			if a[j] < a[j-1]:
				tmp = a[j]
				a[j] = a[j-1]
				a[j-1] = tmp
				flag = 1
		if flag == 0:
			return a
 
 
t1 = time.time()
fileName = "Data.txt"
data = []
for line in open(fileName):
	data.append(int(line.strip()))
t2 = time.time()
print 'Read time: %.02fs' % (t2 - t1)
res = BubbleSort(data)
t3 = time.time()
print 'Sort time: %.02fs' % (t3 - t2)
print 'finished time: %.02fs' % (t3 - t1)

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
-------------------------------------------------------
~/Sites/languageDiff/sort » python sort.py
Read time: 0.05s
Sort time: 282.76s
finished time: 282.82s
-------------------------------------------------------
~/Sites/languageDiff/sort » python sort.py
Read time: 0.07s
Sort time: 263.54s
finished time: 263.61s
-------------------------------------------------------
~/Sites/languageDiff/sort » python sort.py
Read time: 0.06s
Sort time: 346.26s
finished time: 346.32s
-------------------------------------------------------
~/Sites/languageDiff/sort » python sort.py
Read time: 0.06s
Sort time: 298.12s
finished time: 298.18s
-------------------------------------------------------
~/Sites/languageDiff/sort » python sort.py
Read time: 0.06s
Sort time: 251.43s
finished time: 251.49s

目前这几种编程语言看来，排序如下：IO时长,排序时长,总时长

  1. Java 平均 0.0490s 5.078s 5.127s
  2. Go 平均 0.0058s 5.281s 5.286s
  3. NodeJs 平均 0.0424s 6.389s 6.432s
  4. PHP 平均 0.0200s 217.059s 217.079s
  5. Python 平均 0.0600s 288.422s 288.484s

Ps: 如果你希望看到自己喜欢的语言也排进来，欢迎提供代码！

阅读剩下更多

不同语言下文件读取和排序测试
编程语言

不同语言对网络IO的效率对比

Anthony 发表于    标签： 性能

网络IO时间对比图

测试机器配置：

  • MacBook Air (13-inch, Early 2014)
  • 处理器：1.4 GHz Intel Core i5
  • 内存：4 GB 1600 MHz DDR3

PHP

1
2
3
PHP 7.1.16 (cli) (built: Mar 31 2018 02:59:59) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.1.0, Copyright (c) 1998-2018 Zend Technologies
1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php
$t1 = microtime(true);  
  
for($i=0; $i<20; $i++){  
    $url = "http://2018.ip138.com/ic.asp?count=".$i;
    $data = file_get_contents($url);
    // echo 'get:'.$i." ".$data."\r\n";
}  
  
$t2 = microtime(true);  
  
echo 'php time:' . ($t2 - $t1)*1000 . "ms\n";  
 
?>

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
~/Sites/languageDiff/io » php main.php
php time:2112.9629611969ms
-------------------------------------------------------
~/Sites/languageDiff/io » php main.php
php time:1960.746049881ms
-------------------------------------------------------
~/Sites/languageDiff/io » php main.php
php time:2055.7940006256ms
-------------------------------------------------------
~/Sites/languageDiff/io » php main.php
php time:2052.6430606842ms
-------------------------------------------------------
~/Sites/languageDiff/io » php main.php
php time:1990.2958869934ms

Java

1
2
3
java version "10.0.1" 2018-04-17
Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10)
Java HotSpot(TM) 64-Bit Server VM 18.3 (build 10.0.1+10, mixed mode)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
public class Main {
 
    public static void main(String[] args) {
        long t1 = System.currentTimeMillis();
          
        for(int i=0; i<20; i++){
            String s=HttpRequest.sendGet("http://2018.ip138.com/ic.asp", "count="+i);
            // System.out.println(""+i+" : "+s);
        }  
          
        long t2 = System.currentTimeMillis();
          
        System.out.println("java time: " + String.valueOf(t2 - t1) + "ms");
    }
}

HttpRequst.java CodeOrigin:https://www.cnblogs.com/guoyinli/p/7192839.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;
import java.util.Map;

public class HttpRequest {
    /**
     * 向指定URL发送GET方法的请求
     * 
     * @param url
     *            发送请求的URL
     * @param param
     *            请求参数，请求参数应该是 name1=value1&name2=value2 的形式。
     * @return URL 所代表远程资源的响应结果
     */
    public static String sendGet(String url, String param) {
        String result = "";
        BufferedReader in = null;
        try {
            String urlNameString = url + "?" + param;
            URL realUrl = new URL(urlNameString);
            // 打开和URL之间的连接
            URLConnection connection = realUrl.openConnection();
            // 设置通用的请求属性
            connection.setRequestProperty("accept", "*/*");
            connection.setRequestProperty("connection", "Keep-Alive");
            connection.setRequestProperty("user-agent",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
            // 建立实际的连接
            connection.connect();
            // 获取所有响应头字段
            Map<String, List<String>> map = connection.getHeaderFields();
            // 遍历所有的响应头字段
            /*for (String key : map.keySet()) {
                System.out.println(key + "--->" + map.get(key));
            }*/
            // 定义 BufferedReader输入流来读取URL的响应
            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream()));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            System.out.println("发送GET请求出现异常！" + e);
            e.printStackTrace();
        }
        // 使用finally块来关闭输入流
        finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
        return result;
    }

    /**
     * 向指定 URL 发送POST方法的请求
     * 
     * @param url
     *            发送请求的 URL
     * @param param
     *            请求参数，请求参数应该是 name1=value1&name2=value2 的形式。
     * @return 所代表远程资源的响应结果
     */
    public static String sendPost(String url, String param) {
        PrintWriter out = null;
        BufferedReader in = null;
        String result = "";
        try {
            URL realUrl = new URL(url);
            // 打开和URL之间的连接
            URLConnection conn = realUrl.openConnection();
            // 设置通用的请求属性
            conn.setRequestProperty("accept", "*/*");
            conn.setRequestProperty("connection", "Keep-Alive");
            conn.setRequestProperty("user-agent",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
            // 发送POST请求必须设置如下两行
            conn.setDoOutput(true);
            conn.setDoInput(true);
            // 获取URLConnection对象对应的输出流
            out = new PrintWriter(conn.getOutputStream());
            // 发送请求参数
            out.print(param);
            // flush输出流的缓冲
            out.flush();
            // 定义BufferedReader输入流来读取URL的响应
            in = new BufferedReader(
                    new InputStreamReader(conn.getInputStream()));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            System.out.println("发送 POST 请求出现异常！"+e);
            e.printStackTrace();
        }
        //使用finally块来关闭输出流、输入流
        finally{
            try{
                if(out!=null){
                    out.close();
                }
                if(in!=null){
                    in.close();
                }
            }
            catch(IOException ex){
                ex.printStackTrace();
            }
        }
        return result;
    }    
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
~/Sites/languageDiff/io » java Main
java time: 1416ms
-------------------------------------------------------
~/Sites/languageDiff/io » java Main
java time: 1472ms
-------------------------------------------------------
~/Sites/languageDiff/io » java Main
java time: 1328ms
-------------------------------------------------------
~/Sites/languageDiff/io » java Main
java time: 1348ms
-------------------------------------------------------
~/Sites/languageDiff/io » java Main
java time: 1336ms

Go

1
go version go1.10.3 darwin/amd64
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"strconv"
	"sync"
	"time"
)

func main() {
	wg := sync.WaitGroup{}
	start := time.Now()
	for k := 0; k < 2; k++ {
		wg.Add(1)
		go func(k int) {
			for i := 0; i < 10; i++ {
				HttpGet("http://2018.ip138.com/ic.asp?count=" + strconv.Itoa(i*2+k))
			}
			wg.Done()
		}(k)
	}
	wg.Wait()
	fmt.Printf("cost time: %f\n", time.Now().Sub(start).Seconds())
}

func HttpGet(url string) string {
	resp, err := http.Get(url)
	if err != nil {
		return err.Error()
	}
	defer resp.Body.Close()
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return err.Error()
	}
	return string(body)
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
~/Workspaces/go » go run main.go
cost time: 0.952737
-------------------------------------------------------
~/Workspaces/go » go run main.go
cost time: 0.983901
-------------------------------------------------------
~/Workspaces/go » go run main.go
cost time: 0.967799
-------------------------------------------------------
~/Workspaces/go » go run main.go
cost time: 0.972302
-------------------------------------------------------
~/Workspaces/go » go run main.go
cost time: 0.980509

JavaScript(NodeJS)

1
2
~/Sites » node -v
v9.11.1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
var t1 = (new Date()).getTime();  
var job = 0;
for(var i=0; i<20; i++){  
    get(i);  
}  
  
var t2 = (new Date()).getTime();  
  
console.log("nodejs time：" + (t2 - t1) + "ms");  
      

function get(i){

var http=require('http');
    //get 请求外网
    http.get('http://2018.ip138.com/ic.asp?count='+i,function(req,res){
        var html='';
        req.on('data',function(data){
            html+=data;
        });
        req.on('end',function(){
            job++
            // console.info(html);
            if(job == 20){
                var t2 = (new Date()).getTime();  
                console.log("finished time：" + (t2 - t1) + "ms");  
            }
        });
    });
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
~/Sites/languageDiff/io » node main.js
nodejs time：25ms
finished time：236ms
-------------------------------------------------------
~/Sites/languageDiff/io » node main.js
nodejs time：21ms
finished time：220ms
-------------------------------------------------------
~/Sites/languageDiff/io » node main.js
nodejs time：22ms
finished time：230ms
-------------------------------------------------------
~/Sites/languageDiff/io » node main.js
nodejs time：21ms
finished time：227ms
-------------------------------------------------------
~/Sites/languageDiff/io » node main.js
nodejs time：20ms
finished time：221ms

Python

1
2
~/Sites » python -V
Python 2.7.10
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import time,urllib2
 
def get(url):
	req = urllib2.Request(url)

	res_data = urllib2.urlopen(req)
	res = res_data.read()
	return res
 
 
t = time.time()
 
for i in xrange(0, 20):
	# print "Get("+str(i)+"):"
	data = get("http://2018.ip138.com/ic.asp?count="+str(i))
	# print data
 
print 'Python time: %.02fs' % (time.time() - t)

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
~/Sites/languageDiff/io » python main.py
Python time: 1.98s
-------------------------------------------------------
~/Sites/languageDiff/io » python main.py
Python time: 1.98s
-------------------------------------------------------
~/Sites/languageDiff/io » python main.py
Python time: 2.01s
-------------------------------------------------------
~/Sites/languageDiff/io » python main.py
Python time: 2.07s
-------------------------------------------------------
~/Sites/languageDiff/io » python main.py
Python time: 2.20s
-------------------------------------------------------
~/Sites/languageDiff/io » python main.py
Python time: 2.08s

目前这几种编程语言看来，排序如下：

  1. NodeJs 平均 0.23s
  2. Go 平均 0.97s
  3. Java 平均 1.38s
  4. PHP 平均 2.03s
  5. Python 平均 2.05s

Ps: 如果你希望看到自己喜欢的语言也排进来，欢迎提供代码！

阅读剩下更多

不同语言对网络IO的效率对比
编程语言

不同语言的基本性能测试

Anthony 发表于    标签： 性能

计算时间对比图
测试机器配置：

  • MacBook Air (13-inch, Early 2014)
  • 处理器：1.4 GHz Intel Core i5
  • 内存：4 GB 1600 MHz DDR3

PHP

1
2
3
PHP 7.1.16 (cli) (built: Mar 31 2018 02:59:59) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.1.0, Copyright (c) 1998-2018 Zend Technologies
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<?php
$t1 = microtime(true);  
  
for($i=0; $i<10000000; $i++){  
    aaa($i);  
}  
  
$t2 = microtime(true);  
  
echo 'php time:' . ($t2 - $t1)*1000 . "ms\n";  
 
function aaa($i){  
    $a = $i + 1;  
    $b = 2.3;  
    $s = "abcdefkkbghisdfdfdsfds";  
  
    if($a > $b){  
        ++$a;  
    }else{  
        $b = $b + 1;  
    }  
  
    if($a == $b){  
        $b = $b + 1;  
    }  
  
    $c = $a * $b + $a / $b - pow($a, 2);  
    $d = substr($s, 0, strpos($s, 'kkb')) . strval($c);  
}  
?>

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
~/Sites » php tes.php
php time:8196.1958408356ms
-------------------------------------------------------
~/Sites » php tes.php
php time:7649.4419574738ms
-------------------------------------------------------
~/Sites » php tes.php
php time:7908.7510108948ms
-------------------------------------------------------
~/Sites » php tes.php
php time:7708.6410522461ms
-------------------------------------------------------
~/Sites » php tes.php
php time:7515.1500701904ms
-------------------------------------------------------
~/Sites » php tes.php
php time:7468.3780670166ms

Java

1
2
3
java version "10.0.1" 2018-04-17
Java(TM) SE Runtime Environment 18.3 (build 10.0.1+10)
Java HotSpot(TM) 64-Bit Server VM 18.3 (build 10.0.1+10, mixed mode)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
public class Main {
 
    public static void main(String[] args) {
        long t1 = System.currentTimeMillis();
          
        for(int i=0; i<10000000; i++){
            aaa((float)i);
        }  
          
        long t2 = System.currentTimeMillis();
          
        System.out.println("java time: " + String.valueOf(t2 - t1) + "ms");
    }  
      
    static void aaa(float i) {
        float a = i + 1;
        float b = 2.3f;
        String s = "abcdefkkbghisdfdfdsfds";
          
        if(a > b){
            ++a;
        }else{
            b = b + 1;
        }  
  
        if(a == b){
            b = b + 1;
        }  
          
        float c = (float)(a * b  + a / b - Math.pow(a, 2));
        String d = s.substring(0, s.indexOf("kkb")) + String.valueOf(c);
    }
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
~/Sites » java Main
java time: 1537ms
-------------------------------------------------------
~/Sites » java Main
java time: 1497ms
-------------------------------------------------------
~/Sites » java Main
java time: 1466ms
-------------------------------------------------------
~/Sites » java Main
java time: 1610ms
-------------------------------------------------------
~/Sites » java Main
java time: 1488ms
-------------------------------------------------------
~/Sites » java Main
java time: 1503ms
-------------------------------------------------------
~/Sites » java Main
java time: 1475ms

Go

1
go version go1.10.3 darwin/amd64
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
package main

import (
	"fmt"
	"math"
	"strconv"
	"strings"
	"time"
)

func main() {
	t1 := time.Now()
	for i := 0; i < 10000000; i++ {
		Aaa(float64(i))
	}
	t2 := time.Now()
	fmt.Printf("Go time: %f s\n", t2.Sub(t1).Seconds())
}

func Aaa(i float64) {
	var a float64 = i + 1
	var b float64 = 2.3
	s := "abcdefkkbghisdfdfdsfds"

	if a > b {
		a++
	} else {
		b = b + 1
	}

	if a == b {
		b = b + 1
	}

	c := a*b + a/b - math.Pow(a, 2)
	d := s[0:strings.Index(s, "kkb")] + strconv.FormatFloat(c, 'E', -1, 64)
	_ = d
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
~/Workspaces/GoLand/src/Aaa » go build main.go
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 4.083166 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 4.095651 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 4.154200 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 4.175203 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 4.111375 s

Go并发版本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
package main

import (
	"fmt"
	"math"
	"strconv"
	"strings"
	"sync"
	"time"
)

func main() {
	wg := sync.WaitGroup{}
	t1 := time.Now()
	for k := 0; k < 2; k++ {
		wg.Add(1)
		go func() {
			for i := 0; i < 5000000; i++ {
				Aaa(float64(i))
			}
			wg.Done()
		}()
	}
	wg.Wait()
	t2 := time.Now()
	fmt.Printf("Go time: %f s\n", t2.Sub(t1).Seconds())
}

func Aaa(i float64) {
	var a float64 = i + 1
	var b float64 = 2.3
	s := "abcdefkkbghisdfdfdsfds"

	if a > b {
		a++
	} else {
		b = b + 1
	}

	if a == b {
		b = b + 1
	}

	c := a*b + a/b - math.Pow(a, 2)
	_ = s[0:strings.Index(s, "kkb")] + strconv.FormatFloat(c, 'E', -1, 64)
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
~/Workspaces/GoLand/src/Aaa » go build main.go
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 2.326077 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 2.270769 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 2.277345 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 2.252540 s
-------------------------------------------------------
~/Workspaces/GoLand/src/Aaa » ./main
Go time: 2.255374 s

JavaScript(NodeJS)

1
2
~/Sites » node -v
v9.11.1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
var t1 = (new Date()).getTime();  
 
for(var i=0; i<10000000; i++){  
    aaa(i);  
}  
  
var t2 = (new Date()).getTime();  
  
console.log("nodejs time：" + (t2 - t1) + "ms");  
      
  
function aaa(i){  
    var a = i + 1;  
    var b = 2.3;  
    var s = "abcdefkkbghisdfdfdsfds";  
 
    if(a > b){  
        ++a;  
    }else{  
        b = b + 1;  
    }  
 
    if(a == b){  
        b = b + 1;  
    }  
 
    var c = a  * b + a / b - Math.pow(a, 2);  
      
    var d = s.substring(0, s.indexOf("kkb")) + c.toString();  
}

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
~/Sites » node main.js
nodejs time：4898ms
-------------------------------------------------------
~/Sites » node main.js
nodejs time：5567ms
-------------------------------------------------------
~/Sites » node main.js
nodejs time：4846ms
-------------------------------------------------------
~/Sites » node main.js
nodejs time：4853ms
-------------------------------------------------------
~/Sites » node main.js
nodejs time：4955ms
-------------------------------------------------------
~/Sites » node main.js
nodejs time：5113ms

Python

1
2
~/Sites » python -V
Python 2.7.10
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import sys, time, math
 
def aaa(i):
	a = i + 1
	b = 2.3
	s = "abcdefkkbghisdfdfdsfds"
 
	if a > b:
		a = a + 1
	else:
		b = b + 1
 
	if a == b:
		b = b + 1
 
	c = a * b +a / b - math.pow(a, 2)
 
	d = s[0: s.find("kkb")] + str(c)
 
 
t = time.time()
 
for i in xrange(0, 10000000):
	aaa(i)
 
print 'Python time: %.02f s' % (time.time() - t)

测试结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
~/Sites » python main.py
Python time: 20.34
-------------------------------------------------------
~/Sites » python main.py
Python time: 19.90
-------------------------------------------------------
~/Sites » python main.py
Python time: 20.07
-------------------------------------------------------
~/Sites » python main.py
Python time: 19.88
-------------------------------------------------------
~/Sites » python main.py
Python time: 22.89

目前这几种编程语言看来，排序如下：

  1. Java 平均 1.51s (稳居第一)
  2. Go 平均 3.94s (并发2.28s)
  3. NodeJs 平均 5.03s
  4. PHP 平均 7.65s
  5. Python 平均 20.62s (差距大应该是我对这语言不熟，密集运算应该有优化方案)

Ps: 如果你希望看到自己喜欢的语言也排进来，欢迎提供代码！

阅读剩下更多

不同语言的基本性能测试
编程语言

Go语言中的切片(Slice)是引用类型还是值类型？

Anthony 发表于    标签： Golang

在最近的学习和实践中，照着别人的代码敲，仅仅只是把别人写在方法内的片段直接拿出来用，结果却出人意料，所以很纳闷！

示例代码：

1
2
3
4
5
6
7
8
func CryptBlocks(dst, src []byte) {
	// ...省略内容
	for len(src) > 0 {
		encrypt(dst, src[:16]) //类似copy
		dst = dst[16:]
		src = src[16:]
	}
}

这个分块处理切片数据的方法很巧妙，我第一次看见的时候（认定切片是传引用），认为这个方法错了，最终dst变成了空切片。

先看一个Slice的例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
package main

import(
    "fmt"
)

func main () {
    var slice []int
    slice = make([]int, 6)
    slice = []int{0,1,2,3,4,5}
    fmt.Println("Slice: ",slice)
    changeSlice(slice)
    fmt.Println("Changed Slice: ", slice)
    
}

func changeSlice(s []int) {
    s[2] = 100
}

输出：

1
2
Slice:  [0 1 2 3 4 5]
Changed Slice:  [0 1 100 3 4 5]

我们会发现，在方法changeSlice中对形参的修改即真实修改。如果这时我们将其定性为引用传值，为之过早！

我们将代码稍微修改一下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
package main

import(
    "fmt"
)

func main () {
    var slice []int
    slice = make([]int, 6)
    slice = []int{0,1,2,3,4,5}
    fmt.Printf("SliceAddr: %p , Slice: %v\r\n",&slice, slice)
    changeSlice(slice)
    fmt.Printf("Changed SliceAddr: %p , Changed Slice: %v\r\n", &slice, slice)
    
}

func changeSlice(s []int) {
    fmt.Printf("In func's sliceAddr: %p\r\n", s)
    s[2] = 100
}

输出：

1
2
3
SliceAddr: 0xc82000e0a0 , Slice: [0 1 2 3 4 5]
In func's sliceAddr: 0xc8200460c0
Changed SliceAddr: 0xc82000e0a0 , Changed Slice: [0 1 100 3 4 5]

由此可见，在方法内的那个s（地址：0xc8200460c0）并非传入的那个slice（地址：0xc82000e0a0），但是为什么它的修改能影响到原来的数据呢？

阅读剩下更多

默认配图
学习笔记

mysql中几种Log和打开方法

Anthony 发表于    标签： MySQL

Mysql中常见的log有：错误日志log_error、慢查询日志slow_query_log、二进制日志bin_log和通用查询日志general_log

错误日志（error_log）

这个日志记载mysql服务器的启动和关闭以及运行过程中发生的故障或异常情况，如果你发现mysql无法正常启动，那么你首先应该查看这个日志。

配置：

1
log_error = error.log

服务器上查询log位置：show variables like 'log_error'

慢查询日志（slow_query_log）

为了改善数据库性能，需要减少慢查询SQL的使用次数，那么哪些SQL需要改善呢？通过这个日志可以更清楚如何去改善。

配置：

1
2
3
slow_query_log = 1
lone_query_time = 10
slow_query_log_file = slow_query.log

二进制查询日志（bin_log）

Mysql的binlog日志作用是用来记录mysql内部增删改查等对mysql数据库有更新的内容的记录（对数据库的改动），对数据库的查询select或show等不会被binlog日志记录;主要用于数据库的主从复制以及增量恢复。

配置：

1
log_bin = mysql_bin.log

通用查询日志（general_log）

会记录mysql运行期间的所有sql语句

配置：

1
2
3
log_output=[none|file|table|file,table]  #通用查询日志输出格式
general_log=[on|off]                     #是否启用通用查询日志
general_log_file[=filename]              #通用查询日志位置及名字

阅读剩下更多

默认配图
返回顶部