So I talked to some people in the #zeromq channel on freenode, and have been reading through the zeromq guide. Seems like at scale, with tons of nodes, you would need pretty fast disk I/O to handle all the writes to RRD. Using ZeroMQ, you could dish out to different collectd worker machines to handle the data of certain kinds, example CPU on one worker and memory on another, which would allow you to distribute your disk i/o amongst smaller and cheaper nodes, possibly VMs. That's a bit complex for right now, but an idea worth thinking about in the future. This would involve a zeromq process that routed requests to various worker machines. <div>
<br></div><div>I think for my initial attempt at this, I will have one collectd instance set to subscribe, and each node set to publish to my subscriber's endpoint. This should allow nodes to come/go as they please, hopefully this goes well, as the flexibility in zeromq makes a great way to distribute work. </div>
<div><br></div><div>Thanks,</div><div>Allan<br><br><div class="gmail_quote">On Mon, Aug 29, 2011 at 11:58 AM, Florian Forster <span dir="ltr"><<a href="mailto:octo@collectd.org">octo@collectd.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hi Allan,<br>
<div class="im"><br>
On Sun, Aug 28, 2011 at 08:11:14PM -0400, Allan Feid wrote:<br>
> I was wondering if anyone has any experience doing this, or can<br>
> provide some guidance on what zeromq architecture would scale best.<br>
<br>
</div>I was wondering the same thing. For a normal (intra-)DC setup, I think<br>
it the best option would be a central subscriber that binds to a local<br>
address and many publishers which connect to that address. For an<br>
inter-DC setup, I'd probably go with aggregators on a DC level and<br>
repeat the same pattern, i.e. publish to a remote address and, on the<br>
global level, subscribe to a local address.<br>
<br>
Disclaimer: I hardly have any ZeroMQ experience either, so this is<br>
basically how I think stuff should work, but I might be totally wrong<br>
about it …<br>
<br>
Best regards,<br>
—octo<br>
<font color="#888888">--<br>
Florian octo Forster<br>
Hacker in training<br>
GnuPG: 0x0C705A15<br>
<a href="http://octo.it/" target="_blank">http://octo.it/</a><br>
</font><br>-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v1.4.10 (GNU/Linux)<br>
<br>
iQIcBAEBAgAGBQJOW7cQAAoJEMPSHpbi2Mmg9PAP/AtwcBZdyS7qDPZC57dodFnV<br>
Kaj3Z5k5TJqzVE7+n5JeVYrMkCUelHKI7LTovQvOZ8m/ViYz3tOugfAoRr4pU3M5<br>
GYflMXWAW5yES0+srZsTxChu22n717zwnL3DjqM4byZxL2b0S4h5I7v5pyWqqYSM<br>
LmZOOXwy/H8mWXcl1qsMgFBeV0s8jQnITq/yRjx+sQcMDk3Pj094AmLPSNh3tLrC<br>
mipOfWyXWBcsFtr7x9K+sqY6PFxmpZEJYU5JEJG+pptRdNmOvPcfGxjlkB4b1MQ3<br>
SlpCLHsWY28/e3fwQ0RVK0dc6+PqzqRLocCRxphbdqRYlZ3EJ9m4Zq+rMtrHra+r<br>
i4SpmptQQgRvp7vftv1tE3vYh7jCa7a3li7KhOA7axS1IHQh4zasN/c5/CGnXDLE<br>
RvaW4g71xOOoWe63SRABEOUiY+AHRS5+ZiY/+bprscofbd+HmE7CiFK/ZGEMnuG+<br>
eRX+L4sm7dhYckGe7AnokW5fVKOzJd9kJZ36nhEZOUFpLiGIDjoieRK9YZtVeVBF<br>
VIZV75WWElT+zFOUcG8tFulR4QrYlsRzoAs6AnvAMRZ4YjfaaIE5IS7Q+GbeQCcQ<br>
YuzsXm6E6h/ifx+gBtChpUpAEc+qanS1q1Y8RHCwP7RBEr8mxAYgS4v/YKBV62M9<br>
7Pckd9P+aN6HuHRL/PUN<br>
=6w1f<br>
-----END PGP SIGNATURE-----<br>
<br></blockquote></div><br></div>