<div dir="ltr"><div><div>村上です。 なるほど、そういう事情があってgrn_raは8byteまでとされていたのですね。 8byte以上のgrn_raを許可してしまうと、参照ロックフリー下では例外的になっ てしまい、あまりよろしくないですね。 理解しました。他への影響もあるかもしれませんし、変更なくても大丈夫です。 とりあえず、8byte以上の固定長カラムを使えない前提で、私の用途でgrn_jaを 使った場合の性能や精度を検証したいと思います。 64ビットでも次元数がでかすぎなければ、そこそこの精度がでるっぽいので、 64ビットまででもいいかなぁと思ったりもしてます。 （あとは欲しい高類似度部分だけminhashじゃなくて真の類似度を再計算したり するとかでもいいかも） </div>どうもありがとうございました。 今年もよろしくお願いします。 </div></div><div class="gmail_extra"> <div class="gmail_quote">2016年1月5日 13:52 Susumu Yata <<a href="mailto:yata****@razil*****" target="_blank">yata****@razil*****</a>>: <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">矢田です． 村上さんの指摘通り， grn_ra は 8 bytes より大きな要素に対応しています． しかし，要素が 8 bytes より大きくなると，アトミックに更新できなくなるため， 更新中の参照で不完全なデータが見える可能性があります． たとえば， 16 bytes の要素について，前半は更新前，後半は更新後というように， 中途半端なデータを取り出してしまうケースが考えられます． grn_ja については，新しいデータは新しい領域に配置し，位置情報をアトミックに 書き換えることで上述の問題を回避しています． 固定長の要素を保存するカラムなのに grn_ja を使っている理由は以上で， 参照ロックフリーを維持するため， grn_ra を使うわけにはいかないのです． そういうわけで，使い方がシングルスレッド限定だったり，多少の誤りは気に しなかったりするのであれば， grn_ra を使えるようにするのもありかもしれません． ただ，「参照ロックフリーです，ただし○○は除く」的な存在になるのが気になります． 後は，ほかのところで問題が出るかもしれないのが少し怖いところです． 今年もよろしくお願いいたします． 2016年1月5日 0:16 Naoya Murakami <<a href="mailto:visio****@gmail*****">visio****@gmail*****</a>>: <div><div class="h5">> 村上です。 > > 現在、grn_column_createではsizeof(int64_t)=8バイトを超えるものは > 可変長カラムのgrn_ja_createが利用されるようになっています。 > <a href="https://github.com/groonga/groonga/blob/v5.1.1/lib/db.c#L4518" rel="noreferrer" target="_blank">https://github.com/groonga/groonga/blob/v5.1.1/lib/db.c#L4518</a> > > 一方、固定長カラムのgrn_ra_createはもっと大きいサイズでも入るように > デザインされていると思います。 > <a href="https://github.com/groonga/groonga/blob/v5.1.1/lib/store.c#L36-L39" rel="noreferrer" target="_blank">https://github.com/groonga/groonga/blob/v5.1.1/lib/store.c#L36-L39</a> > > ビルトイン型だけの場合、固定長カラムはINT64まででいいと思うのですが、 > C-APIのgrn_type_createを使って、UINT128,256とかもう少し大きいものを > 保存したいと考えています。 > > 具体的な私のユースケースとしてはカラムのminhash値の最下位ビットk個を > 保持しておいて高速に類似計算することを実験しています。 > <a href="https://github.com/naoa/groonga-minhash" rel="noreferrer" target="_blank">https://github.com/naoa/groonga-minhash</a> > kが多いほど精度を上げられるため、64ビット以上のビット列を保持したいと > 思っています。 > > SHORT_TEXTと区別するだけでいいなら、たとえば、以下のように4096以上 > の場合のみgrn_ja_createにするようにしてもらえないでしょうか？ > > if ((flags & GRN_OBJ_KEY_VAR_SIZE) || value_size >= 4096) { > > 以上、ご検討よろしくお願いします。 > > </div></div>> _______________________________________________ > groonga-dev mailing list > <a href="mailto:groon****@lists*****">groon****@lists*****</a> > <a href="http://lists.osdn.me/mailman/listinfo/groonga-dev" rel="noreferrer" target="_blank">http://lists.osdn.me/mailman/listinfo/groonga-dev</a> > -- Susumu Yata <<a href="mailto:yata****@razil*****">yata****@razil*****</a>> _______________________________________________ groonga-dev mailing list <a href="mailto:groon****@lists*****">groon****@lists*****</a> <a href="http://lists.osdn.me/mailman/listinfo/groonga-dev" rel="noreferrer" target="_blank">http://lists.osdn.me/mailman/listinfo/groonga-dev</a> </blockquote></div> </div>