mnesia脏读与事物读性能结果

原创文章，转载请注明： 转载自庆亮的博客-webgame架构

本文链接地址: mnesia脏读与事物读性能结果

一直知道mnesia的事务比较慢，但慢到什么程度却没有一个数值的概念，今天正好有空测试一下。

上代码：

-module(mnesia_read_test).

-export([start/0, init_data/0, start2/0]).

-record(r_test, {id, name}).

start() ->

statistics(wall_clock),

statistics(runtime),

read(),

{_, Time1} = statistics(wall_clock),

{_, Time2} = statistics(runtime),

io:format("times:~p, wall_clock ~p, runtime:~p", [100000, Time1, Time2]).

start2() ->

statistics(wall_clock),

statistics(runtime),

read2(),

{_, Time1} = statistics(wall_clock),

{_, Time2} = statistics(runtime),

io:format("times:~p, wall_clock ~p, runtime:~p", [100000, Time1, Time2]).

read() ->

dirty_read(100000).

dirty_read(0) ->

ok;

dirty_read(N) ->

mnesia:dirty_read(r_test, N),

dirty_read(N-1).

read2() ->

t_read(100000).

t_read(0) ->

ok;

t_read(N) ->

mnesia:transaction( fun() -> mnesia:read(r_test, N) end),

t_read(N-1).

init_data() ->

mnesia:stop(),

mnesia:create_schema([node()]),

mnesia:start(),

mnesia:create_table(r_test, [

{attributes, record_info(fields, r_test)},

{record_name, r_test},

{disc_copies, [node()]}

]),

mnesia:transaction(

fun() ->

t_write(10000)

end

t_write(0) ->

ok;

t_write(N) ->

Name = lists:append(["name_", N]),

R = #r_test{id=N, name=Name},

mnesia:write(R),

t_write(N-1).

两种情况都循环读了10W次，连续测试10次，机器配置为：

Intel(R) Xeon(R) CPU E5420 @ 2.50GHz 2*4核

12G内存

事务读测试结果：

times:100000, wall_clock 4168, runtime:4160ok

times:100000, wall_clock 4296, runtime:4250ok

times:100000, wall_clock 4338, runtime:4290ok

times:100000, wall_clock 4310, runtime:4260ok

times:100000, wall_clock 4330, runtime:4280ok

times:100000, wall_clock 4342, runtime:4270ok

times:100000, wall_clock 4399, runtime:4310ok

times:100000, wall_clock 4366, runtime:4310ok

times:100000, wall_clock 4378, runtime:4310ok

times:100000, wall_clock 4429, runtime:4330ok

一次读的时间大于为44us，这还是在没有分布式的情况下的测试结果，如果是在分布式环境中，由于网络IO和远程加锁，性能会更差。

脏读测试结果：

times:100000, wall_clock 128, runtime:130ok

times:100000, wall_clock 126, runtime:120ok

times:100000, wall_clock 124, runtime:120ok

times:100000, wall_clock 126, runtime:120ok

times:100000, wall_clock 127, runtime:130ok

times:100000, wall_clock 125, runtime:130ok

times:100000, wall_clock 125, runtime:120ok

times:100000, wall_clock 127, runtime:120ok

times:100000, wall_clock 128, runtime:130ok

times:100000, wall_clock 127, runtime:130ok

和ets的性能几乎一样，一次读取的消耗大约1.2us，和事务相比快了几十倍。追踪脏读源码到mnesia_lib.erl中：

db_get(Tab, Key) ->

db_get(val({Tab, storage_type}), Tab, Key).

db_get(ram_copies, Tab, Key) -> ?ets_lookup(Tab, Key);

db_get(disc_copies, Tab, Key) -> ?ets_lookup(Tab, Key);

db_get(disc_only_copies, Tab, Key) -> dets:lookup(Tab, Key).

呵呵，果然是ets直接操作。

Erlang, mnesia, 事务, 脏读

打印文章

这篇文章由庆亮于2010年05月13日 12:13 下午发表在Erlang。你可以订阅RSS 2.0 也可以发表评论或引用到你的网站。

没有评论

没有引用

erlang zlib引起的系统崩溃记录

大约3周前 - 没有评论

之前同事遇到一个问题，系统运行一段时间后有大量的port没有正常关闭而导致beam崩溃，经过定位发现是由于zlib引起的。过程很简单，没什么技术含量，记录一下。

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: Erlang OTP之terminate 深入分析作者：庆亮 (qing.liang.cn@gmail.com) 日期：2010-08-03 环境：centos 5.5 64 erlang 14A 一、terminate简述及问题产生 terminate是gen_server的一个回调函数，如果一个gen_server进程设置了trap_exit为true（process_flag(trap_exit, true)），则在该进程结束时会自动调用terminate。利用这个功能，我们可以在进程退出时进行一些善后工作，例如持久化数据、清理等等。但实际上terminate不一定有时间完成所有的任务，在此之前可能已经被系统强制结束了(如果使用init:stop形式结束beam)。二、测试terminate 一个erlang 内部 process结束有两种形式：主动结束（如玩家下线后，玩家进程会自动结束）和被动结束(init:stop)。系统停止时（init:stop/c:q/erlang:halt），会依次停止所有的进程，如果一个进程是监控树，则该监控树会先依次停止所有的子进程，然后结束自己。对于子进程也是同样的处理方法。先做测试，后分析源码。测试分为四种情况：进程主动退出 + simple_one_for_one init:stop + simple_one_for_one 进程主动退出 + one_for_one init:stop + one_for_one 源码文件： test.erl (application) test_sup.erl (supervisor) test_server.erl (gen_server) test.erl源码： -module(test). -behaviour(application). -export([start/0, start/2,

erlang init stop浅析

大约1月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: erlang init stop浅析作者：庆亮 (qing.liang.cn@gmail.com) 日期：2010-08-03 boot之后关注的自然是stop，直接打开erts-5.7.5/src/init.erl源码看了看： -spec stop() -> no_return(). stop() -> init ! {stop,stop}, ok. {stop,Reason} -> stop(Reason,State); 最终的调用： stop(Reason,State) -> BootPid = State#state.bootpid, {_,Progress} = State#state.status, State1 = State#state{status = {stopping, Progress}}, clear_system(BootPid,State1), do_stop(Reason,State1). 看看 clear_system/2： clear_system(BootPid,State)

erlang init boot 浅析

大约1月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: erlang init boot 浅析说明：遇到一个OTP的问题，疑惑了很久，也就有了这篇文章。目的：跟踪Erlang的启动过程参考这里 http://erlangdisplay.javaeye.com/blog/315497 ，直接从erts-5.7.5/src/init.erl 的boot/1函数开始（关于这个链接给出的结论以后会继续研究分析）： -spec boot([binary()]) -> no_return(). boot(BootArgs) -> register(init, self()), process_flag(trap_exit, true), start_on_load_handler_process(), {Start0,Flags,Args} = parse_boot_args(BootArgs), Start = map(fun prepare_run_args/1, Start0), Flags0 = flags_to_atoms_again(Flags), boot(Start,Flags0,Args). do_boot(Init,Flags,Start) -> process_flag(trap_exit,true), {Pgm0,Nodes,Id,Path} = prim_load_flags(Flags),

erlang shell web版

大约1月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: erlang shell web版 http://www.tryerlang.org/

R13B04的Emacs erlang-mode

大约3月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: R13B04的Emacs erlang-mode R13B04的Emacs erlang-mode在编译后少了几个文件，默认%erlang_root%/lib/tools-2.6.5.1/emacs下有如下文件： -rw-r–r– 1 root root 183741 2010-05-21 11:43 erlang.el -rw-r–r– 1 root root 10059 2010-05-21 11:43 erlang-eunit.el -rw-r–r– 1 root root 3452 2010-05-21 11:43 erlang-start.el -rw-r–r– 1 root root 1611 2010-05-21 11:43 README -rw-r–r– 1 root root 12834 2010-05-21 11:43 test.erl.indented -rw-r–r– 1 root root 11877

gen_server三两话

大约4月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: gen_server三两话 (最近挺忙，都没时间写点啥) gen_server是OTP中的一个重要组成，在开发中出现的频率相当高。弄明白这一块的，对于gen_server的使用有着相当好的帮忙。下面多数为代码。从start_link开始： gen_server.erl start_link(Name, Mod, Args, Options) -> gen:start(?MODULE, link, Name, Mod, Args, Options). 跳到gen.erl，这里的GenMod值为gen_server，LinkP为link start(GenMod, LinkP, Name, Mod, Args, Options) -> case where(Name) of undefined -> do_spawn(GenMod, LinkP, Name, Mod, Args, Options); Pid -> {error, {already_started, Pid}} end. 再跳： do_spawn(GenMod, link, Name, Mod, Args, Options) -> Time = timeout(Options), proc_lib:start_link(?MODULE, init_it, [GenMod, self(), self(), Name, Mod, Args, Options], Time, spawn_opts(Options)); 跳到proc_lib.erl文件： start_link(M,F,A,Timeout,SpawnOpts) when is_atom(M), is_atom(F), is_list(A) -> Pid = ?MODULE:spawn_opt(M, F, A, ensure_link(SpawnOpts)), sync_wait(Pid, Timeout). 注意这里有个等待返回，之后需要proc_lib:init_ack来返回消息。 spawn_opt(M, F, A, Opts) when is_atom(M), is_atom(F), is_list(A) -> Parent = get_my_name(), Ancestors = get_ancestors(), check_for_monitor(Opts), erlang:spawn_opt(?MODULE, init_p, [Parent,Ancestors,M,F,A], Opts). 这里调用proc_lib模块的init_p方法： -spec init_p(pid(), [pid()], function()) -> term(). init_p(Parent, Ancestors, Fun) when is_function(Fun) -> put('$ancestors', [Parent|Ancestors]), {module,Mod} = erlang:fun_info(Fun, module), {name,Name} = erlang:fun_info(Fun, name), {arity,Arity} = erlang:fun_info(Fun, arity), put('$initial_call', {Mod,Name,Arity}), try Fun() catch Class:Reason -> exit_p(Class, Reason) end. -spec init_p(pid(), [pid()], atom(), atom(), [term()]) -> term(). init_p(Parent, Ancestors, M, F, A) when is_atom(M), is_atom(F), is_list(A) -> put('$ancestors', [Parent|Ancestors]), put('$initial_call', trans_init(M, F, A)), init_p_do_apply(M, F, A).

Erlang中日志管理三两话

大约6月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: Erlang中日志管理三两话日志系统的重要性就不罗嗦了，直接开始吧。一、基本概念在Erlang中，通过两个概念管理错误事情：事件管理器(event manager)和事件处理句柄(event handles)。通常各种错误、警告和消息事件都会有Erlang运行时系统发送给事件管理器。在Erlang中，默认的事情管理器为error logger，其进程名注册为error_logger。默认情况下error_logger把这些事件直接输出到控制台上。在系统启动的一开始，error_logger只有一个简单的事件处理句柄，该处理句柄只是做缓冲和原始格式的打印操作。查看error_logger的源码，可以看到其启动过程如下： -spec start() -> {'ok', pid()} | {'error', any()}. start() -> case gen_event:start({local, error_logger}) of {ok, Pid} -> simple_logger(?buffer_size), {ok, Pid}; Error -> Error end. -spec start_link() -> {'ok', pid()}

list comprehensions与list map性能对比

大约6月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: list comprehensions与list map性能对比可以使用List comprehensions时不要使用map或者filter，简单的性能测试对比一下：第一组，map和list comprehensions对比，代码如下： %%map方式 -module(map_test). -export([start/1]). start(N) -> statistics(runtime), erlang:statistics(wall_clock), lists:map(fun (X) -> X*X end, lists:seq(1, N)), {_, T1} = erlang:statistics(runtime), {_, T2} = erlang:statistics(wall_clock), io:format("total times: ~p, load time: ~p (~p)", [N, T1, T2]). %%list comprehensions方式 -module(list_comp_test). -export([start/1]). start(N) -> statistics(runtime), erlang:statistics(wall_clock), [X*X || X <- lists:seq(1, N)], {_, T1} = erlang:statistics(runtime), {_, T2} = erlang:statistics(wall_clock), io:format("total times: ~p, load time: ~p (~p)", [N, T1, T2]). 测试N为1000000时结果对比：结果取得是平均值，可以很明显的看出comprehension方式性能要高。关于filter，则类似。不再作测试。

erlang tcp发包速度测试

大约7月前 - 没有评论

原创文章，转载请注明：转载自庆亮的博客-webgame架构本文链接地址: erlang tcp发包速度测试这段时间我们的项目遇到广播包的一些性能问题，想起之前看到yufeng老大提到的1s广播40K包的问题，我也想测试测试我们机器的IO能力。这次仅仅测试发包的能力，采用的是一对一的方式。测试代码： -module(socket_io_test). -export([server/0, client/1]). server() -> spawn(fun() -> do_server() end). do_server() -> case gen_tcp:listen(38888, [binary, {reuseaddr, true}, {active, false}]) of {ok, ListenSocket} -> do_server_loop(ListenSocket); {error, Reason} -> io:format("listen 38888 failed: ~p", [Reason]) end. do_server_loop(LSock) -> case gen_tcp:accept(LSock) of {ok, ClientSocket} -> do_recv(ClientSocket); {error, Reason} -> io:format("accept failed: ~p", [Reason]) end. do_recv(ClientSocket) -> gen_tcp:recv(ClientSocket, 0), do_recv(ClientSocket). client(N) -> case gen_tcp:connect("127.0.0.1", 38888, [binary]) of {ok, Socket} -> erlang:statistics(runtime), erlang:statistics(wall_clock), do_send(N, Socket), {_, T1} = erlang:statistics(runtime), {_, T2} = erlang:statistics(wall_clock), io:format("~p ~p", [T1, T2]); {error, Reason} -> io:format("connect failed: ~p", [Reason]) end. do_send(N, Socket) -> lists:foreach(fun(_) -> gen_tcp:send(Socket, <<"Hello world!">>) end, lists:seq(1, N)). 启动服务端: socket_io_test:server(). 启动发包客户端： socket_io_test:client(100000). 100000表示发包的数量，每个包的大小为12个字节，加上TCP头部，一共36字节。测试包的数量： 400000(40W) 服务器环境： Intel(R) Xeon(R) CPU E5420 @ 2.50GHz 双四核 12G内存 100M带宽独享测试结果： runtime wall_clock

导航
- Erlang资源
- 关于
最新博文
最近评论
- test 在 Javascript 修改与获得style 上的评论
- 华晨在 Javascript 修改与获得style 上的评论
- 庆亮在读《构建可扩展的Web站点》笔记上的评论
- 华晨在第一次工作月总结上的评论
- 华晨在读《构建可扩展的Web站点》笔记上的评论
标签
10061 bash currentStyle ejabberd Erlang erlang zlib failed fck fork Freebsd getComputedStyle heredoc init javascript js linux memcache memcached Mysql otp php sasl securecrt setTimeout shell style su ttd upload web wordpress 代码高亮保留字动态日志失败工作总结扩展文件上传日志编辑器联动菜单表单表单生成负载均衡驱动测试开发
文章归档
- 2010 年八月 (5)
- 2010 年七月 (1)
- 2010 年六月 (2)
- 2010 年五月 (4)
- 2010 年四月 (1)
- 2010 年三月 (3)
- 2010 年二月 (4)
- 2010 年一月 (3)
- 2009 年十二月 (1)
- 2009 年十一月 (1)
- 2009 年十月 (1)
- 2009 年八月 (3)
- 2009 年七月 (11)
- 2009 年六月 (2)
- 2009 年五月 (4)
- 2009 年四月 (2)
- 2009 年三月 (3)
- 2009 年二月 (2)
- 2008 年十二月 (1)
- 2008 年十一月 (2)
- 2008 年十月 (1)
- 2007 年四月 (5)
- 2007 年一月 (1)

分类目录
我的twiiter
- 用nif + protobuf-c替代 protobuf for erlang ，性能大概提高了10倍左右，nif方式的protobuf每秒编码40w多一点。 2010-09-05
- RT @xushiwei: ECUG Con 2010 讲师注册及 Topic 征集最后一周！欢迎投稿。http://is.gd/eMHVV 2010-08-31
- 关注 RT @acumon 9月4日13:30 Hadoop中国大会上我将作演讲介绍百度分布式编程框架DISQL，请各位帮忙RT并关注，谢谢！ http://is.gd/eMSPi CC @turingbook @Fenng 2010-08-31
- RT @laiyonghao: 哥要招个程序员，求推荐。广州天河珠江新城上班，6,000-10,000，五险一金，要求有 python&linux&(mysql|postgresql) 经验。开发过网游优先，联系邮箱：mail@laiyonghao.com 2010-08-30
- Erlang/OTP R14B is planned for release on September 15:th. This is 2 weeks later than previously announced. 2010-08-25
友情链接
功能
- 注册
- 登录
- 文章 RSS
- RSS 评论
- WordPress.org

mnesia脏读与事物读性能结果

没有评论

没有引用

导航

最新博文

最近评论

标签

文章归档

分类目录

友情链接

功能