With current trunk, every hour or two I get the Internal Server Error. <br><br>Can anyone please suggest what can be done to debug/fix this?<br><br>I verified that &quot;Connection was lost&quot; does not indicate loss of TCP/IP connection to <a href="http://allmydata.com">allmydata.com</a> by continuously pulling data from it, which does not get interrupted in the same time interval where this error occurs.<br>
<br>uploading /data/audio/Music/A Capella/Voice Samples 2/APcounseling.wav..<br>Traceback (most recent call last):<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/support/bin/tahoe&quot;, line 8, in &lt;module&gt;<br>
    load_entry_point(&#39;allmydata-tahoe==1.5.0-r4043&#39;, &#39;console_scripts&#39;, &#39;tahoe&#39;)()<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/runner.py&quot;, line 91, in run<br>
    rc = runner(sys.argv[1:])<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/runner.py&quot;, line 78, in runner<br>    rc = cli.dispatch[command](so)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/cli.py&quot;, line 456, in backup<br>
    rc = tahoe_backup.backup(options)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 370, in backup<br>    return bu.run()<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 212, in run<br>
    new_backup_dircap = self.process(options.from_dir, latest_backup_dircap)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 262, in process<br>    newchilddircap = self.process(childpath, oldchildcap)<br>
  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 265, in process<br>    newfilecap, metadata = self.upload(childpath)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 352, in upload<br>
    raiseHTTPError(&quot;Error during file PUT&quot;, resp)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 18, in raiseHTTPError<br>    raise HTTPError(msg)<br>
allmydata.scripts.tahoe_backup.HTTPError: Error during file PUT: 500 Internal Server Error &lt;html&gt;&lt;head&gt;&lt;title&gt;Exception&lt;/title&gt;&lt;/head&gt;&lt;body&gt;&lt;style type=&quot;text/css&quot;&gt;<br>p.error {<br>
  color: black;<br>  font-family: Verdana, Arial, helvetica, sans-serif;<br>  font-weight: bold;<br>  font-size: large;<br>  margin: 0.25em;<br>}<br><br>div {<br>  font-family: Verdana, Arial, helvetica, sans-serif;<br>}<br>
<br>strong.variableClass {<br>  font-size: small;<br>}<br><br>div.stackTrace {<br>}<br><br>div.frame {<br>  padding: 0.25em;<br>  background: white;<br>  border-bottom: thin black dotted;<br>}<br><br>div.firstFrame {<br>  padding: 0.25em;<br>
  background: white;<br>  border-top: thin black dotted;<br>  border-bottom: thin black dotted;<br>}<br><br>div.location {<br>    font-size: small;<br>}<br><br>div.snippet {<br>  background: #FFFFDD;<br>  padding: 0.25em;<br>
}<br><br>div.snippetHighlightLine {<br>  color: red;<br>}<br><br>span.lineno {<br>    font-size: small;<br>}<br><br>pre.code {<br>  margin: 0px;<br>  padding: 0px;<br>  display: inline;<br>  font-size: small;<br>  font-family: &quot;Courier New&quot;, courier, monotype;<br>
}<br><br>span.function {<br>  font-weight: bold;<br>  font-family: &quot;Courier New&quot;, courier, monotype;<br>}<br><br>table.variables {<br>  border-collapse: collapse;<br>  width: 100%;<br>}<br><br>td.varName {<br>  width: 1in;<br>
  vertical-align: top;<br>  font-style: italic;<br>  font-size: small;<br>  padding-right: 0.25em;<br>}<br><br>td.varValue {<br>  padding-left: 0.25em;<br>  padding-right: 0.25em;<br>  font-size: small;<br>}<br><br>div.variables {<br>
  margin-top: 0.5em;<br>}<br><br>div.dict {<br>  background: #cccc99;<br>  padding: 2px;<br>  float: left;<br>}<br><br>td.dictKey {<br>  background: #ffff99;<br>  font-weight: bold;<br>}<br><br>td.dictValue {<br>  background: #ffff99;<br>
}<br><br>div.list {<br>  background: #7777cc;<br>  padding: 2px;<br>  float: left;<br>}<br><br>div.listItem {<br>  background: #9999ff;<br>}<br><br>div.instance {<br>  width: 100%;<br>  background: #efefef;<br>  padding: 2px;<br>
  float: left;<br>}<br><br>span.instanceName {<br>  font-size: small;<br>  display: block;<br>}<br><br>span.instanceRepr {<br>  font-family: &quot;Courier New&quot;, courier, monotype;<br>}<br><br>div.function {<br>  background: orange;<br>
  font-weight: bold;<br>  float: left;<br>}<br>&lt;/style&gt;&lt;a href=&quot;#tracebackEnd&quot;&gt;&lt;p class=&quot;error&quot;&gt;&amp;lt;class &#39;foolscap.ipb.DeadReferenceError&#39;&amp;gt;: Connection was lost&lt;/p&gt;&lt;/a&gt;&lt;div class=&quot;stackTrace&quot;&gt;&lt;/div&gt;&lt;a name=&quot;tracebackEnd&quot;&gt;&lt;p class=&quot;error&quot;&gt;&amp;lt;class &#39;foolscap.ipb.DeadReferenceError&#39;&amp;gt;: Connection was lost&lt;/p&gt;&lt;/a&gt;&lt;/body&gt;&lt;/html&gt;<br>
<br><br><br><br><br>After the above error occurs, it seems that the Tahoe client is left in unusable state, and restarting the backup command gets stuck at the following point for maybe 20 minutes, after which the command crashes again with the followinf messages:<br>
<br><br><br><br><br><br><br> /data/audio/Music/A Capella/Acapella_Anonymous_Vol_2 changed, making new directory<br>Traceback (most recent call last):<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/support/bin/tahoe&quot;, line 8, in &lt;module&gt;<br>
    load_entry_point(&#39;allmydata-tahoe==1.5.0-r4043&#39;, &#39;console_scripts&#39;, &#39;tahoe&#39;)()<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/runner.py&quot;, line 91, in run<br>
    rc = runner(sys.argv[1:])<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/runner.py&quot;, line 78, in runner<br>    rc = cli.dispatch[command](so)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/cli.py&quot;, line 456, in backup<br>
    rc = tahoe_backup.backup(options)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 370, in backup<br>    return bu.run()<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 212, in run<br>
    new_backup_dircap = self.process(options.from_dir, latest_backup_dircap)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 262, in process<br>    newchilddircap = self.process(childpath, oldchildcap)<br>
  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 282, in process<br>    newdircap = mkdir(newdircontents, self.options)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 100, in mkdir<br>
    raiseHTTPError(&quot;error during set_children&quot;, resp)<br>  File &quot;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/scripts/tahoe_backup.py&quot;, line 18, in raiseHTTPError<br>    raise HTTPError(msg)<br>
allmydata.scripts.tahoe_backup.HTTPError: error during set_children: 500 Internal Server Error &lt;html&gt;&lt;head&gt;&lt;title&gt;Exception&lt;/title&gt;&lt;/head&gt;&lt;body&gt;&lt;style type=&quot;text/css&quot;&gt;<br>
p.error {<br>  color: black;<br>  font-family: Verdana, Arial, helvetica, sans-serif;<br>  font-weight: bold;<br>  font-size: large;<br>  margin: 0.25em;<br>}<br><br>div {<br>  font-family: Verdana, Arial, helvetica, sans-serif;<br>
}<br><br>strong.variableClass {<br>  font-size: small;<br>}<br><br>div.stackTrace {<br>}<br><br>div.frame {<br>  padding: 0.25em;<br>  background: white;<br>  border-bottom: thin black dotted;<br>}<br><br>div.firstFrame {<br>
  padding: 0.25em;<br>  background: white;<br>  border-top: thin black dotted;<br>  border-bottom: thin black dotted;<br>}<br><br>div.location {<br>    font-size: small;<br>}<br><br>div.snippet {<br>  background: #FFFFDD;<br>
  padding: 0.25em;<br>}<br><br>div.snippetHighlightLine {<br>  color: red;<br>}<br><br>span.lineno {<br>    font-size: small;<br>}<br><br>pre.code {<br>  margin: 0px;<br>  padding: 0px;<br>  display: inline;<br>  font-size: small;<br>
  font-family: &quot;Courier New&quot;, courier, monotype;<br>}<br><br>span.function {<br>  font-weight: bold;<br>  font-family: &quot;Courier New&quot;, courier, monotype;<br>}<br><br>table.variables {<br>  border-collapse: collapse;<br>
  width: 100%;<br>}<br><br>td.varName {<br>  width: 1in;<br>  vertical-align: top;<br>  font-style: italic;<br>  font-size: small;<br>  padding-right: 0.25em;<br>}<br><br>td.varValue {<br>  padding-left: 0.25em;<br>  padding-right: 0.25em;<br>
  font-size: small;<br>}<br><br>div.variables {<br>  margin-top: 0.5em;<br>}<br><br>div.dict {<br>  background: #cccc99;<br>  padding: 2px;<br>  float: left;<br>}<br><br>td.dictKey {<br>  background: #ffff99;<br>  font-weight: bold;<br>
}<br><br>td.dictValue {<br>  background: #ffff99;<br>}<br><br>div.list {<br>  background: #7777cc;<br>  padding: 2px;<br>  float: left;<br>}<br><br>div.listItem {<br>  background: #9999ff;<br>}<br><br>div.instance {<br>  width: 100%;<br>
  background: #efefef;<br>  padding: 2px;<br>  float: left;<br>}<br><br>span.instanceName {<br>  font-size: small;<br>  display: block;<br>}<br><br>span.instanceRepr {<br>  font-family: &quot;Courier New&quot;, courier, monotype;<br>
}<br><br>div.function {<br>  background: orange;<br>  font-weight: bold;<br>  float: left;<br>}<br>&lt;/style&gt;&lt;a href=&quot;#tracebackEnd&quot;&gt;&lt;p class=&quot;error&quot;&gt;&amp;lt;type &#39;exceptions.KeyError&#39;&amp;gt;: &#39;\x9b\xd0\x97R\xef\xfd\xa2\no\xb2V -\xc7KoR[\xcf=&#39;&lt;/p&gt;&lt;/a&gt;&lt;div class=&quot;stackTrace&quot;&gt;&lt;div class=&quot;firstFrame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/Twisted-8.2.0-py2.6-linux-x86_64.egg/twisted/internet/defer.py, line 328 in &lt;span class=&quot;function&quot;&gt;_runCallbacks&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;326&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;                    self._runningCallbacks = True<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;327&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;                    try:<br>&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;328&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;                        self.result = callback(self.result, *args, **kw)<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;329&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;                    finally:<br>&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Self&lt;/strong&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;_runningCallbacks&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;False&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;result&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;None&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;callback&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;function&quot;&gt;Function &amp;lt;lambda&amp;gt; in file /usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py at line 385&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;self&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;twisted.internet.defer.Deferred instance at 0x704d998&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;Deferred at 0x704d998  current result: None&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;args&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;()&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;kw&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;dict&quot;&gt;&lt;span class=&quot;heading&quot;&gt;Dictionary instance @ 0x305c640&lt;/span&gt;&lt;table class=&quot;dict&quot;&gt;&lt;/table&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;frame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py, line 387 in &lt;span class=&quot;function&quot;&gt;&amp;lt;lambda&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;385&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            d2.addCallback(lambda ignored:<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;386&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;                           self._modify_and_retry(servermap, modifier,<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;387&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;                                                  backoffer, False))<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;388&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            return d2<br>&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;servermap&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;ignored&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;None&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;self&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.filenode.MutableFileNode instance at 0x3b0f518&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;MutableFileNode 3b0f518 RW rgwnmmnj&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;modifier&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;method&quot;&gt;Method modify in file /usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/dirnode.py at line 86&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;backoffer&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;method&quot;&gt;Method delay in file /usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py at line 36&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;frame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py, line 381 in &lt;span class=&quot;function&quot;&gt;_modify_and_retry&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;379&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        return self._modify_and_retry(servermap, modifier, backoffer, True)<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;380&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;    def _modify_and_retry(self, servermap, modifier, backoffer, first_time):<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;381&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        d = self._modify_once(servermap, modifier, first_time)<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;382&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        def _retry(f):<br>&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;servermap&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;first_time&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;False&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;self&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.filenode.MutableFileNode instance at 0x3b0f518&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;MutableFileNode 3b0f518 RW rgwnmmnj&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;modifier&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;method&quot;&gt;Method modify in file /usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/dirnode.py at line 86&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;backoffer&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;method&quot;&gt;Method delay in file /usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py at line 36&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;frame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py, line 392 in &lt;span class=&quot;function&quot;&gt;_modify_once&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;390&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        return d<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;391&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;    def _modify_once(self, servermap, modifier, first_time):<br>&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;392&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        d = self._update_servermap(servermap, MODE_WRITE)<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;393&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        d.addCallback(self._once_updated_download_best_version, servermap)<br>
&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;servermap&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;self&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.filenode.MutableFileNode instance at 0x3b0f518&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;MutableFileNode 3b0f518 RW rgwnmmnj&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;modifier&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;method&quot;&gt;Method modify in file /usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/dirnode.py at line 86&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;first_time&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;False&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Globals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;MODE_WRITE&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;MODE_WRITE&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;frame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/filenode.py, line 421 in &lt;span class=&quot;function&quot;&gt;_update_servermap&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;419&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        if history:<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;420&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            history.notify_mapupdate(u.get_status())<br>&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;421&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        return u.update()<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;422&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;<br>&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;u&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServermapUpdater instance at 0x721a3f8&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServermapUpdater instance at 0x721a3f8&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;history&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.history.History instance at 0x19a35a8&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.history.History instance at 0x19a35a8&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;frame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/servermap.py, line 453 in &lt;span class=&quot;function&quot;&gt;update&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;451&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            # seen epsilon that don&#39;t have a share.<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;452&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            self.num_peers_to_query = N + self.EPSILON<br>&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;453&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            initial_peers_to_query, must_query = self._build_initial_querylist()<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;454&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            self.required_num_empty_peers = self.EPSILON<br>&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Self&lt;/strong&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;num_peers_to_query&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;6&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;EPSILON&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;3&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;self&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServermapUpdater instance at 0x721a3f8&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServermapUpdater instance at 0x721a3f8&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;N&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;3&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;frame&quot;&gt;&lt;div class=&quot;location&quot;&gt;/usr/src/tahoe/darcs/09-08-05_18-15/tahoe/src/allmydata/mutable/servermap.py, line 485 in &lt;span class=&quot;function&quot;&gt;_build_initial_querylist&lt;/span&gt;&lt;/div&gt;&lt;div class=&quot;snippet&quot;&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;483&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        must_query = set()<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;484&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;        for peerid in self._servermap.all_peers():<br>&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetHighlightLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;485&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            ss = self._servermap.connections[peerid]<br>
&lt;/pre&gt;&lt;/div&gt;&lt;div class=&quot;snippetLine&quot;&gt;&lt;span class=&quot;lineno&quot;&gt;486&lt;/span&gt;&lt;pre class=&quot;code&quot;&gt;            # we send queries to everyone who was already in the sharemap<br>
&lt;/pre&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Self&lt;/strong&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;_servermap&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServerMap instance at 0x4424200&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;div class=&quot;variables&quot;&gt;&lt;strong class=&quot;variableClass&quot;&gt;Locals&lt;/strong&gt;&lt;/div&gt;&lt;table class=&quot;variables&quot;&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;ss&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;&amp;lt;RemoteReference at 0x1f5e750 [pb://<a href="http://5trq7ywyfdwjhhh6t3bgmp4aasxpqrjg@207.7.153.150:44227">5trq7ywyfdwjhhh6t3bgmp4aasxpqrjg@207.7.153.150:44227</a>,<a href="http://127.0.0.1:44227/34xo3wwr5mja5bbza3ivlzl3qcbeh2of]&amp;gt">127.0.0.1:44227/34xo3wwr5mja5bbza3ivlzl3qcbeh2of]&amp;gt</a>;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;must_query&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;pre&gt;set([&#39;\r&amp;lt;\xbf\xbc\xf7\xad!\xe4\xd5u\xe6\xf1\x08\xd7\xbf\xd2\xda\xd6\xac\xfe&#39;, &#39;X\xb5MD\xdf\t\x8b\xce\x9dJCf\x8b*\x9c\x1ctK\xe4R&#39;, &#39;5v\x13\x06O\xf6\xca,\xd8e\xa2vx\xbc+\x8b\xcf]\x0b\xcb&#39;, &#39;\xab\x8a\xa1\xfd\xef\x86\x99\xd51|\xec\x85X*5(\x9ab\x0e\xc4&#39;, &#39;\xec\xe3\x0f\xe2\xd8(\xec\x93\x9c\xfe\x9e\xc2f?\x80\x04\xae\xf8E&amp;amp;&#39;, &#39;yAR\xb2\xbb\xe2\xda\x01\x1bpi9,\xbc\x17\x86\x85\xc5\xb9\xc8&#39;, &#39;,\x9cTrn\x12\x00\x1b\x0b$\xe27Pu\xe0D\x98\xde#\xea&#39;])&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;self&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;&lt;div class=&quot;instance&quot;&gt;&lt;span class=&quot;instanceName&quot;&gt;allmydata.mutable.servermap.ServermapUpdater instance at 0x721a3f8&lt;/span&gt;&lt;span class=&quot;instanceRepr&quot;&gt;&amp;lt;allmydata.mutable.servermap.ServermapUpdater instance at 0x721a3f8&amp;gt;&lt;/span&gt;&lt;/div&gt;&lt;/td&gt;&lt;/tr&gt;&lt;tr class=&quot;varRow&quot;&gt;&lt;td class=&quot;varName&quot;&gt;peerid&lt;/td&gt;&lt;td class=&quot;varValue&quot;&gt;�ЗR���<br>
o�V -�KoR[�=&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&lt;/div&gt;&lt;/div&gt;&lt;a name=&quot;tracebackEnd&quot;&gt;&lt;p class=&quot;error&quot;&gt;&amp;lt;type &#39;exceptions.KeyError&#39;&amp;gt;: &#39;\x9b\xd0\x97R\xef\xfd\xa2\no\xb2V -\xc7KoR[\xcf=&#39;&lt;/p&gt;&lt;/a&gt;&lt;/body&gt;&lt;/html&gt;<br>
<br><br><br><br><br>Thanks,<br>Andrej Falout<br><br><br>