<div dir="ltr"><div dir="ltr"><div dir="ltr">Hi Martin,<div><br></div><div>Yes, they are in the same slot - also I checked </div><div>     the BIOS and the PCI speed and type is properly negotiated </div><div>     system profile ( performance)</div><div>    </div><div>note</div><div>This happened after I upgrade firmware on the servers - however they all have the same firmware </div><div><br></div><div>BAD server</div><div><div>lspci | grep -i Optane</div><div>04:00.0 Non-Volatile memory controller: Intel Corporation Optane DC P4800X Series SSD</div></div><div><br></div><div>GOOD server</div><div><div>lspci | grep -i Optane</div><div>04:00.0 Non-Volatile memory controller: Intel Corporation Optane DC P4800X Series SSD</div></div><div><br></div><div><br></div></div></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, 25 Oct 2018 at 11:59, Martin Verges <<a href="mailto:martin.verges@croit.io">martin.verges@croit.io</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello Steven,<br>
<br>
are you sure that the systems are exact the same? Sometimes vendors<br>
place extension cards into different PCIe slots.<br>
<br>
--<br>
Martin Verges<br>
Managing director<br>
<br>
Mobile: +49 174 9335695<br>
E-Mail: <a href="mailto:martin.verges@croit.io" target="_blank">martin.verges@croit.io</a><br>
Chat: <a href="https://t.me/MartinVerges" rel="noreferrer" target="_blank">https://t.me/MartinVerges</a><br>
<br>
croit GmbH, Freseniusstr. 31h, 81247 Munich<br>
CEO: Martin Verges - VAT-ID: DE310638492<br>
Com. register: Amtsgericht Munich HRB 231263<br>
<br>
Web: <a href="https://croit.io" rel="noreferrer" target="_blank">https://croit.io</a><br>
YouTube: <a href="https://goo.gl/PGE1Bx" rel="noreferrer" target="_blank">https://goo.gl/PGE1Bx</a><br>
<br>
<br>
2018-10-25 17:46 GMT+02:00 Steven Vacaroaia <<a href="mailto:stef97@gmail.com" target="_blank">stef97@gmail.com</a>>:<br>
> Hi,<br>
> I have 4 x DELL R630 servers with exact same specs<br>
> I installed Intel Optane SSDPED1K375GA in all<br>
><br>
> When comparing fio performance ( both read and write), when is lower than<br>
> the other 3<br>
> ( see below - just read)<br>
><br>
> Any suggestions as to what to check/fix ?<br>
><br>
> BAD server<br>
> [root@osd04 ~]# fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=read<br>
> --bs=4k --numjobs=100 --iodepth=1 --runtime=60 --time_based<br>
> --group_reporting --name=journal-test<br>
> journal-test: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T)<br>
> 4096B-4096B, ioengine=psync, iodepth=1<br>
> ...<br>
> fio-3.1<br>
> Starting 100 processes<br>
> Jobs: 100 (f=100): [R(100)][100.0%][r=2166MiB/s,w=0KiB/s][r=554k,w=0<br>
> IOPS][eta 00m:00s]<br>
><br>
><br>
> GOOD server<br>
> [root@osd02 ~]# fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=read<br>
> --bs=4k --numjobs=100 --iodepth=1 --runtime=60 --time_based<br>
> --group_reporting --name=journal-test<br>
> journal-test: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T)<br>
> 4096B-4096B, ioengine=psync, iodepth=1<br>
> ...<br>
> fio-3.1<br>
> Starting 100 processes<br>
> Jobs: 100 (f=100): [R(100)][100.0%][r=2278MiB/s,w=0KiB/s][r=583k,w=0<br>
> IOPS][eta 00m:00s]<br>
><br>
><br>
> many thanks<br>
> steven<br>
><br>
> _______________________________________________<br>
> ceph-users mailing list<br>
> <a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
> <a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
><br>
</blockquote></div>