Hi Rob Well.. after the answer of Sam, I ran a new iozone test over my PVFS2 cluster, and in this time, following the advices from Sam about to run only the read tests without the -U option (mount/unmount volume), and the results were satisfactory; the test ended succesfuly and I was able to finish the benchamrking over pvfs2. Below I will specify the iozone command, including the options used:

<br><br># iozone -Rab /home/pvfs2/Desktop/salida-redhat04-test05.xls -g 4G -i 1 -i 2 -i 3 -i 5 -i 7 -i 10 -i 12<br><br>&nbsp; -R : print a excel type report.<br>&nbsp; -a : full automatic mode: produce tests using a wide ranging of record and file sizes.

&nbsp; -b : it create a binary file format file in Excel compatible output report. &nbsp; -g : set maximum file size for -a mode. In this case -g 4G. &nbsp; -i : it specify which test to run. In this case only the read type tests.

<br>&nbsp;&nbsp;&nbsp; 1 : read/reread.<br>&nbsp;&nbsp;&nbsp; 2 : random read/write.<br>&nbsp;&nbsp;&nbsp; 3 : read-backwards.<br>&nbsp;&nbsp;&nbsp; 5 : stride-read.<br>&nbsp;&nbsp;&nbsp; 7 : fread/Re-fread<br>&nbsp;&nbsp;&nbsp; 10 : pread/Re-pread<br>&nbsp;&nbsp;&nbsp; 12 : preadv/Re-preadv<br><br>I still don&#39;t analyze the results, but they are in a expected range.

<br>I thank the help from Sam Lang and Rob Ross, and from the entirely pvfs2 user community <br>Kind Regards<br><br>Gonzalo<br clear="all"><br><br><div class="gmail_quote">On Nov 5, 2007 10:56 AM, Rob Ross &lt;<a href="mailto:rross@mcs.anl.gov" target="_blank">

rross@mcs.anl.gov</a>&gt; wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

Thanks Gonzalo. While we&#39;re gathering this info, are you running GigE? We&#39;ll want to know, once things are working correctly, to know if performance is in-line. <div> Rob Gonzalo Soto Subiabre wrote:

<br></div><div>&gt; Hello.<br>&gt;<br>&gt; I&#39;m using:<br>&gt; - pvfs-2.6.3.<br>&gt; - kernel 2.6.9-5.EL.<br>&gt; - i686 CPU architecture and<br>&gt; - Ethernet TCP/IP.<br>&gt;<br>&gt;<br>&gt;<br>&gt; On Nov 4, 2007 7:46 PM, Rob Ross &lt; 

<a href="mailto:rross@mcs.anl.gov" target="_blank">rross@mcs.anl.gov</a><br></div><div><div></div><div>&gt; &lt;mailto:<a href="mailto:rross@mcs.anl.gov" target="_blank">rross@mcs.anl.gov</a>&gt;&gt; wrote:<br>&gt;<br>&gt; &nbsp; &nbsp; Hi,

<br>&gt;

<br>&gt; &nbsp; &nbsp; Can you tell us what version of PVFS, what kernel, what CPU<br>&gt; &nbsp; &nbsp; architecture, what network you&#39;re using?<br>&gt;<br>&gt; &nbsp; &nbsp; Thanks,<br>&gt;<br>&gt; &nbsp; &nbsp; Rob<br>&gt;<br>&gt; &nbsp; &nbsp; Gonzalo Soto Subiabre wrote:

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; Hi to everyone.<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; This is my first post and regretfully is to ask for help.<br>&gt; &nbsp; &nbsp; &nbsp;&gt; I&#39;m doing a performance evaluation of Distributed Parallel<br>&gt; &nbsp; &nbsp; Filesystems,

&gt; &nbsp; &nbsp; &nbsp;&gt; using iozone. The filesystems tested are Lustre, PVFS2 and GlusterFS. &gt; &nbsp; &nbsp; &nbsp;&gt; This evaluation has an aim: to choose a parallel filesystem for a &gt; &nbsp; &nbsp; video &gt; &nbsp; &nbsp; &nbsp;&gt; streamig system storage server.

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; But I&#39;ve a problem; when iozone test is running over pvfs2 it<br>&gt; &nbsp; &nbsp; fails at a<br>&gt; &nbsp; &nbsp; &nbsp;&gt; point where the file size is 2 GB and the Record Lenght 64 Kb.<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; My tested is this:<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; [root@redhat03 ~]# pvfs2-statfs -h -m /mnt/pvfs2/<br>&gt; &nbsp; &nbsp; &nbsp;&gt; aggregate statistics:<br>&gt; &nbsp; &nbsp; &nbsp;&gt; ---------------------------------------

<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; fs_id: 1965017224<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; total number of servers (meta and I/O): 4<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles available (meta and I/O): &nbsp; &nbsp; &nbsp; 4294967286<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles total (meta and I/O): &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4294967290

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes available: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;111.3G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes total: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 111.3G<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; NOTE: The aggregate total and available statistics are calculated

<br>&gt; &nbsp; &nbsp; based<br>&gt; &nbsp; &nbsp; &nbsp;&gt; on an algorithm that assumes data will be distributed evenly; thus<br>&gt; &nbsp; &nbsp; &nbsp;&gt; the free space is equal to the smallest I/O server capacity<br>&gt; &nbsp; &nbsp; &nbsp;&gt; multiplied by the number of I/O servers. &nbsp;If this number seems

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; unusually small, then check the individual server statistics below<br>&gt; &nbsp; &nbsp; &nbsp;&gt; to look for problematic servers.<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; meta server statistics:<br>&gt; &nbsp; &nbsp; &nbsp;&gt; ---------------------------------------

<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; server: tcp://redhat02:3334<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM total &nbsp; &nbsp; &nbsp; &nbsp;: 756.9M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM free &nbsp; &nbsp; &nbsp; &nbsp; : 372.1M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; uptime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 2 hours, 12 minutes

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; load averages &nbsp; &nbsp;: 0 0 0<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles available: 1717986912<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles total &nbsp; &nbsp;: 1717986916<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes available &nbsp;: 28.2G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes total &nbsp; &nbsp; &nbsp;: 

34.3G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; mode: serving both metadata and I/O data<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; I/O server statistics:<br>&gt; &nbsp; &nbsp; &nbsp;&gt; ---------------------------------------<br>&gt; &nbsp; &nbsp; &nbsp;&gt;

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; server: tcp://redhat02:3334<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM total &nbsp; &nbsp; &nbsp; &nbsp;: 756.9M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM free &nbsp; &nbsp; &nbsp; &nbsp; : 372.1M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; uptime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 2 hours, 12 minutes<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; load averages &nbsp; &nbsp;: 0 0 0

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles available: 1717986912<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles total &nbsp; &nbsp;: 1717986916<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes available &nbsp;: 28.2G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes total &nbsp; &nbsp; &nbsp;: 34.3G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; mode: serving both metadata and I/O data

<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; server: tcp://redhat03:3334<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM total &nbsp; &nbsp; &nbsp; &nbsp;: 488.2M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM free &nbsp; &nbsp; &nbsp; &nbsp; : 10.4M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; uptime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 2 hours, 09 minutes

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; load averages &nbsp; &nbsp;: 2784 10592 5536<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles available: 858993458<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles total &nbsp; &nbsp;: 858993458<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes available &nbsp;: 27.8G

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes total &nbsp; &nbsp; &nbsp;: 33.9G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; mode: serving only I/O data<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; server: tcp://redhat04:3334<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM total &nbsp; &nbsp; &nbsp; &nbsp;: 1003.6M

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM free &nbsp; &nbsp; &nbsp; &nbsp; : 605.3M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; uptime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 2 hours, 07 minutes<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; load averages &nbsp; &nbsp;: 4096 1312 224<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles available: 858993458

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles total &nbsp; &nbsp;: 858993458<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes available &nbsp;: 64.3G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes total &nbsp; &nbsp; &nbsp;: 70.4G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; mode: serving only I/O data<br>&gt; &nbsp; &nbsp; &nbsp;&gt;

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; server: tcp://redhat05:3334<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM total &nbsp; &nbsp; &nbsp; &nbsp;: 488.2M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; RAM free &nbsp; &nbsp; &nbsp; &nbsp; : 96.7M<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; uptime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 2 hours, 05 minutes<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; load averages &nbsp; &nbsp;: 0 0 0

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles available: 858993458<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; handles total &nbsp; &nbsp;: 858993458<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes available &nbsp;: 27.8G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; bytes total &nbsp; &nbsp; &nbsp;: 33.9G<br>&gt; &nbsp; &nbsp; &nbsp;&gt; &nbsp; &nbsp; &nbsp; &nbsp; mode: serving only I/O data

<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; ###############################################################################<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; Therefore my cluster has 1 metadata server, 4 IO servers and 1

<br>&gt; &nbsp; &nbsp; client.<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; The iozone test command is this:<br>&gt; &nbsp; &nbsp; &nbsp;&gt; [root@redhat02 ~]# iozone -Rab<br>&gt; &nbsp; &nbsp; &nbsp;&gt; /home/pvfs2/Desktop/salida-redhat02-test03.xls -g 4G -f<br>&gt; &nbsp; &nbsp; &nbsp;&gt; /mnt/pvfs2/iozone-

file.tmp -U /mnt/pvfs2<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; and the message error is this:<br>&gt; &nbsp; &nbsp; &nbsp;&gt; fsync: Bad file descriptor<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; ###############################################################################

<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt; Why I did chose IOzone? because his variety of tests and the excel<br>&gt; &nbsp; &nbsp; &nbsp;&gt; output options.<br>&gt; &nbsp; &nbsp; &nbsp;&gt; If anyone can help me telling me why i&#39;ve this message error and

&gt; &nbsp; &nbsp; how can &gt; &nbsp; &nbsp; &nbsp;&gt; i resolve this, it would be great. &gt; &nbsp; &nbsp; &nbsp;&gt; Thanks a lot, cheers. &gt; &nbsp; &nbsp; &nbsp;&gt; &gt; &nbsp; &nbsp; &nbsp;&gt; &gt; &nbsp; &nbsp; &nbsp;&gt; -- &gt; &nbsp; &nbsp; &nbsp;&gt; Gonzalo Soto Subiabre &gt; &nbsp; &nbsp; &nbsp;&gt; Computer Engineer. FVT Chile Ltda.

<br>&gt; &nbsp; &nbsp; &nbsp;&gt; <a href="mailto:gsotosubiabre@gmail.com" target="_blank">gsotosubiabre@gmail.com</a> &lt;mailto:<a href="mailto:gsotosubiabre@gmail.com" target="_blank">gsotosubiabre@gmail.com</a>&gt;<br></div></div>&gt; &nbsp; &nbsp; &lt;mailto:

<a href="mailto:gsotosubiabre@gmail.com" target="_blank">

gsotosubiabre@gmail.com</a> &lt;mailto:<a href="mailto:gsotosubiabre@gmail.com" target="_blank">gsotosubiabre@gmail.com</a>&gt;&gt;<br><div>&gt; &nbsp; &nbsp; &nbsp;&gt; msn: <a href="mailto:gonza_101@hotmail.com" target="_blank">gonza_101@hotmail.com

</a>

 &lt;mailto:<a href="mailto:gonza_101@hotmail.com" target="_blank">gonza_101@hotmail.com</a>&gt;<br></div>&gt; &nbsp; &nbsp; &lt;mailto:<a href="mailto:gonza_101@hotmail.com" target="_blank">gonza_101@hotmail.com</a> &lt;mailto:<a href="mailto:gonza_101@hotmail.com" target="_blank">

gonza_101@hotmail.com</a>&gt;&gt;<br><div>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>&gt; &nbsp; &nbsp; ------------------------------------------------------------------------<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp;&gt;<br>

&gt; &nbsp; &nbsp; &nbsp;&gt; _______________________________________________<br>&gt; &nbsp; &nbsp; &nbsp;&gt; Pvfs2-users mailing list<br>&gt; &nbsp; &nbsp; &nbsp;&gt; <a href="mailto:Pvfs2-users@beowulf-underground.org" target="_blank">Pvfs2-users@beowulf-underground.org

</a><br></div>

&gt; &nbsp; &nbsp; &lt;mailto:<a href="mailto:Pvfs2-users@beowulf-underground.org" target="_blank">Pvfs2-users@beowulf-underground.org</a>&gt;<br><div>&gt; &nbsp; &nbsp; &nbsp;&gt; <a href="http://www.beowulf-underground.org/mailman/listinfo/pvfs2-users" target="_blank">

http://www.beowulf-underground.org/mailman/listinfo/pvfs2-users</a><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; --<br>&gt; Gonzalo Soto Subiabre<br></div><div><div></div><div>&gt; <a href="mailto:gsotosubiabre@gmail.com" target="_blank">

gsotosubiabre@gmail.com</a> &lt;mailto:<a href="mailto:gsotosubiabre@gmail.com" target="_blank">gsotosubiabre@gmail.com</a>&gt;<br>&gt; msn: <a href="mailto:gonza_101@hotmail.com" target="_blank">gonza_101@hotmail.com</a>

 &lt;mailto:<a href="mailto:gonza_101@hotmail.com" target="_blank">

gonza_101@hotmail.com</a>&gt;<br></div></div></blockquote></div>