<div dir="ltr">Experience suggests that such problems are *usually* in the application code, but of course there are undiscovered bugs in java.util.concurrent.<div><br><div>Since only you can reproduce the problem, only you can narrow down the possible root causes.  You could build your own openjdk9, bisect to the exact commit that is causing problems, but it would be a lot of work, and it might in the end be a change to hotspot gc, with root cause still unknown...</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 28, 2016 at 1:30 AM, Antoine Tissier <span dir="ltr"><<a href="mailto:ati@activeviam.com" target="_blank">ati@activeviam.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>We have been running benchmarks for our in-memory analytics software ActivePivot on a M6.32 machine (Solaris Sparc, 8 TB RAM, 2304 logical cores (288 physical cores)).</div><div>Our benchmarks involve high parallelism along with many queries divided in a high number of tasks (CountedCompleters) in the ForkJoinPool. With build 145 of jdk-9, some tasks are not executed, causing larger completion problems. However, with the earlier build 111, the problem does not occur.</div><div><br></div><div>On a smaller Linux machine (Linux amd 64, 64 logical cores (32 physical cores), 512 GB RAM) but with a similar setup, the problem was not reproduced. </div><div><br></div><div>The problem seems to arise when a large number of completers (>20 000) are involved: forking tasks works well but when submitting tasks to a new pool, it seems that their compute method is sometimes not called.</div><div>We indeed log every call to ForkJoinPool.submit, as well as everytime a completer enters its compute method, and clearly see that once in a while, the task is never computed after having been submitted. We let the system run for an additional hour, and there was no more progress even though the system was idle. Thread dumps did not show any suspect activity (all worker threads were idle).</div><div><br></div><div>We tried to reproduce the problem with a similar but more simple test, but it was not successful. </div><div><br></div><div>Are you aware of any concurrency/task completion problems in the more recent builds of jdk-9 ?</div><div>Are there any additional tests that we could run in order to diagnose this issue ?</div><div><br></div><div>Best regards,</div><div>Antoine</div><div><div><div><br></div><div><br></div><div><br></div>-- <br><div class="m_-5817823002726976641gmail-m_5870211716337149849m_-8738007704092982674gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><table cellspacing="0" cellpadding="12" width="auto" style="font-family:sans-serif;min-width:350px"><tbody><tr><td bgcolor="#000000" valign="top" width="190" style="background-color:rgb(0,0,0);font-family:sans-serif;text-align:center;color:white;font-size:7pt"><img src="http://activeviam.com/images/email/logo-activeviam-white.png" alt="ActiveViam" width="120" height="46" style="width:120px"><br><br>46 rue de l'Arbre Sec, 75001 Paris<br>France<br><table width="auto" cellpadding="0" cellspacing="0" valign="bottom" style="display:inline-block"><tbody><tr><td width="25%" style="font-family:sans-serif"><a href="https://twitter.com/active_viam" target="_blank"><img src="http://activeviam.com/images/email/icon-twitter.png" alt="Twitter" width="30" height="30"></a></td><td width="25%" style="font-family:sans-serif"><a href="http://activeviam.com/blog/" target="_blank"><img src="http://activeviam.com/images/email/icon-blog.png" alt="Blog" width="30" height="30"></a></td><td width="25%" style="font-family:sans-serif"><a href="https://www.linkedin.com/company/85029" target="_blank"><img src="http://activeviam.com/images/email/icon-linkedin.png" alt="Linkedin" width="30" height="30"></a></td><td width="25%" style="font-family:sans-serif"><a href="https://www.youtube.com/channel/UCGjYnbjlPamN0RvSm3eGqCw" target="_blank"><img src="http://activeviam.com/images/email/icon-youtube.png" alt="Youtube" width="30" height="30"></a></td></tr></tbody></table></td><td bgcolor="#f2f2f2" valign="middle" style="background-color:rgb(242,242,242);font-family:sans-serif"><span style="color:rgb(0,174,239);font-size:14px">Antoine Tissier</span><br><span style="font-size:13px"><b>Junior Software Engineer</b></span><br><span style="line-height:6px"> </span><br><table cellpadding="0" cellspacing="0"><tbody><tr valign="middle"><td style="font-family:sans-serif;line-height:10pt;font-size:8.5pt"><br><span style="white-space:nowrap"><img src="http://activeviam.com/images/email/icon-mobile.png" alt="Mobile" width="27" height="15"><a href="tel:+33%206%2026%2033%2035%2062" value="+33626333562" target="_blank">+33(0) 6.26.33.35.62</a></span> <br><span style="white-space:nowrap"><img src="http://activeviam.com/images/email/icon-skype.png" alt="Skype" width="27" height="15">antoine_tissier</span><br><span style="white-space:nowrap"><img src="http://activeviam.com/images/email/icon-arrow.png" alt="Website" width="27" height="14"><a href="https://activeviam.com/" title="ActiveViam website" style="color:rgb(0,0,0);text-decoration:none" target="_blank">www.activeviam.com</a><br><br></span></td></tr></tbody></table></td></tr></tbody></table></div></div></div></div></div></div>
</div></div></div>
<br>______________________________<wbr>_________________<br>
Concurrency-interest mailing list<br>
<a href="mailto:Concurrency-interest@cs.oswego.edu">Concurrency-interest@cs.<wbr>oswego.edu</a><br>
<a href="http://cs.oswego.edu/mailman/listinfo/concurrency-interest" rel="noreferrer" target="_blank">http://cs.oswego.edu/mailman/<wbr>listinfo/concurrency-interest</a><br>
<br></blockquote></div><br></div>