<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    <p>Hi Jody,</p>
    <p>yes, this is a known issue.<br>
    </p>
    <p>Indeed, currently 'ceph df detail' reports raw space usage in
      GLOBAL section and 'logical' in the POOLS one. While logical one
      has some flaws.<br>
    </p>
    <p>There is a pending PR targeted to Nautilus to fix that:</p>
    <p><a class="moz-txt-link-freetext" href="https://github.com/ceph/ceph/pull/19454">https://github.com/ceph/ceph/pull/19454</a></p>
    <p>If you want to do an analysis at exactly per-pool level this PR
      is the only mean AFAIK.</p>
    <p><br>
    </p>
    <p>If per-cluster stats are fine then you can also inspect
      corresponding OSD performance counters and sum over all OSDs to
      get per-cluster info.</p>
    <p>This is the most precise but quite inconvenient method for
      low-level per-osd space analysis.<br>
    </p>
    <p> "bluestore": {<br>
      ...</p>
    <p>       "bluestore_allocated": 655360, # space allocated at
      BlueStore for the specific OSD<br>
              "bluestore_stored": 34768,  # amount of data stored at
      BlueStore for the specific OSD<br>
      ...</p>
    <p>Please note, that aggregate numbers built from these parameters
      include all the replication/EC overhead.  And bluestore_stored vs.
      bluestore_allocated difference is due to allocation overhead
      and/or applied compression.<br>
    </p>
    <p><br>
    </p>
    Thanks,
    <p>Igor<br>
    </p>
    <br>
    <div class="moz-cite-prefix">On 11/29/2018 12:27 AM, Glider, Jody
      wrote:<br>
    </div>
    <blockquote type="cite"
      cite="mid:A8E1F5A0-0E8E-46C3-8715-C8DFF4EF2D20@sap.com">
      <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
      <meta name="Generator" content="Microsoft Word 15 (filtered
        medium)">
      <style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
      <div class="WordSection1">
        <p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">Hello,</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">I’m trying
            to find a way to determine real/physical/raw storage
            capacity usage when storing a similar set of objects in
            different pools, for example a 3-way replicated pool vs. a
            4+2 erasure coded pool, and in particular how this ratio
            changes from small (where Bluestore block size matters more)
            to large object sizes.</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">I find that
            <i>ceph df detail</i> and
            <i>rados df</i> don’t report on really-raw storage, I guess
            because they’re perceiving ‘raw’ storage from their
            perspective only. If I write a set of objects to each pool,
            rados df shows the space used as the summation of the
            logical size of the objects, while ceph df detail shows the
            raw used storage as the object size * the redundancy factor
            (e.g. 3 for 3-way replication and 1.5 for 4+2 erasure code).</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">Any
            suggestions?</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">Jody Glider,
            Principal Storage Architect</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">Cloud
            Architecture and Engineering, SAP Labs LLC</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">3412
            Hillview Ave (PAL 02 23.357), Palo Alto, CA 94304</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">E   <a
              href="mailto:j.glider@sap.com" moz-do-not-send="true">j.glider@sap.com</a>,
            T   +1 650-320-3306, M   +1 650-441-0241</span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
        <p class="MsoNormal"> <o:p></o:p></p>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
ceph-users mailing list
<a class="moz-txt-link-abbreviated" href="mailto:ceph-users@lists.ceph.com">ceph-users@lists.ceph.com</a>
<a class="moz-txt-link-freetext" href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a>
</pre>
    </blockquote>
    <br>
  </body>
</html>