<div dir="ltr"><div>Hi.  I'm running into an odd problem when using collectd with the</div><div>rrdcached plugin.</div><div><br></div><div>Setup:</div><div>Collectd 5.2.1, running on Debian 7, with rrdtool 1.4.7</div><div>
Hardware: HP DL360 G7 w/48 GB memory and an intel 910 SSD that</div><div>holds ~400K rrd files.</div><div><br></div><div>Plugin config info:</div><div><br></div><div><Plugin "rrdcached"></div><div>  DaemonAddress "unix:/var/run/rrdcached.sock"</div>
<div>  DataDir "/net/rrds2"</div><div>  CreateFiles true</div><div>  RRARows 12960</div><div>  RRATimespan 129600</div><div>  RRATimespan 777600</div><div>  RRATimespan 7776000</div><div>  RRATimespan 23328000</div>
<div></Plugin></div><div><br></div><div>rrdcached options:</div><div>-b /net/rrds2 -s www-data -m 664 -l /var/run/rrdcached.sock -w 300 -t 2</div><div><br></div><div>When I run collectd with the rrdcached plugin, the collectd process eventually</div>
<div>consumes all server memory and eventually gets whacked by the OOM killer.  The</div><div>rrdcached process never gets larger than a few hundred megabytes and when I look</div><div>at the statistics the queue is almost always 0 in size (it does grow a bit during</div>
<div>the write window, but goes back to zero quickly thereafter.)</div><div><br></div><div><div>I've also run rrdcached with and without a journal, and the journal files on</div><div>regular disk and on a ramdisk - it makes no real difference.  I've also tested</div>
<div>with more write threads (up to 10), but the differences are minimal, and 2 write</div><div>threads seem to perform the best.</div><div><br></div><div>If I dump the rrdcached plugin and use the rrdtool plugin - no problems.  The</div>
<div>collectd process will grow to a little over 1 GB in size and pretty much stay</div><div>that way.  This is a less than ideal solution, becuase there's no mechanism to</div><div>flush pending data to the rrds for 'live' status.</div>
<div><br></div><div>Any ideas on how I could debug this further?  Reading around a bit, some people</div><div>mentioned that collectd might not be pushing data to rrdcached fast enough, and</div><div>is holding the data in memory.  That doesn't seem to be the case to me, because</div>
<div>it looks like the rrd files are being kept current.  I'm at a bit of a loss as</div><div>to how to proceed.  Thanks in advance for any ideas.</div><div><br></div><div>EO</div></div><div><br></div></div>