This raised it&#39;s ugly head in last night&#39;s backup. Fortunately, the symptom showed up on the very last upload, so I found the timing data on the first file in the list.<div><br></div><div>I will attempt to attach a PDF of the timings page to this message. If there is a ticket for this, or a ticket this should be attached to, let me know.</div>

<div><br></div><div>jody<br clear="all">----<br>- Think carefully.<br>- coram Deo<br>- Credo ut intelligam - &quot;I believe that I may know&quot; (St. Augustin of Hippo)<br>
<br><br><div class="gmail_quote">On Mon, Mar 8, 2010 at 10:54 PM, Jody Harris <span dir="ltr">&lt;<a href="mailto:imhavoc@gmail.com">imhavoc@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<div class="gmail_quote"><div class="im">On Mon, Mar 8, 2010 at 9:35 PM, Zooko O&#39;Whielacronx <span dir="ltr">&lt;<a href="mailto:zookog@gmail.com" target="_blank">zookog@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div>On Mon, Mar 8, 2010 at 2:01 PM, Brian Warner &lt;<a href="mailto:warner@lothar.com" target="_blank">warner@lothar.com</a>&gt; wrote:<br>
&gt; I&#39;ve identified a O(n**2) CPU/string-allocation misbehavior in Foolscap<br>
&gt; when receiving large strings. This could explain the memory and CPU<br>
&gt; problems in Tahoe storage servers when you&#39;re uploading large mutable<br>
&gt; files to them (where &quot;large&quot; means segments that are more than about<br>
&gt; 10MB, which for the default 3-of-10 means filesizes above 30MB). In<br>
&gt; particular, uploading a 100MB mutable file at 3-of-10, leading to 33MB<br>
&gt; blocks, appears to take about three minutes to unpack, using 100MB in<br>
&gt; the process (on each server).<br>
<br>
</div>So this could explain Jody Harris&#39;s CPU-usage problem (reported in<br>
this thread), since he uses mutable files for his backups. Jody, was<br>
the &quot;largish&quot; file that you were uploading mutable? What was its size<br>
(order of magnitude)?<br>
<br></blockquote></div><div>Yes, the parameters are in line. Mutable files of the approximate size that the symptoms occur.</div><div class="im"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



This would also explain Stott&#39;s report of CPU-usage problem when<br>
uploading a large mutable file in the initial problem report of #962<br>
<div><br>
&gt; I still don&#39;t have an explanation for reports of slowdowns and large<br>
&gt; memory consumption for large *immutable* files.<br>
<br>
</div>What reports?<br>
<div><br>
&gt; <a href="http://foolscap.lothar.com/trac/ticket/149" target="_blank">http://foolscap.lothar.com/trac/ticket/149</a> has some more details. The<br>
&gt; fix for this will be inside Foolscap&#39;s receive-side token parser, and<br>
&gt; Tahoe won&#39;t even notice.<br>
<br>
</div>Do you think we can try to get this foolscap fix into Ubuntu Lucid?<br>
<br>
Hm, it looks like this might be related to #383. (See also #327.)<br>
<br>
Regards,<br>
<br>
Zooko </blockquote></div></div>
</blockquote></div><br></div>