[ Elasticsearch ] Query DSL 緩慢更新中..


Query and filter context

Elasticsearch 提供一個以JSON定義查詢式Query DSL
你可以將Query DSL想成是一個AST (abstract syntax tree) queries
Query DSL 由兩種型態的查詢子句所組成

  • Leaf 查詢子句
    • 用來查詢某個欄位的某個特定值
    • 例如:  match, term 或 range
  • Compound 查詢子句
Query的行為視此Query使用的是query context或著是filter context

  • Query context
    • 傾向於更準確的搜尋
    • 此query子句會產生 _score 來顯示match
  • Filter context
    • 比較像是全文搜索
    • 比較像是回答 "這個文件是否符合此query子句"
    • 常被用來過濾結構化的資料
      • 例如: 這個文件的狀態是否被設定成已發布
    • 常用filter搜尋的資料會自動被cache起來用以加速
    • Reference: 對岸好文
下列的例子在search api中使用了query與filter context
此query將會符合以下的條件
  • title 欄位包含search這個字串
  • content 欄位包含elasticsearch這個字串
  • status欄位等於published這個值
  • publish_date欄位包含日期大於等於 1 Jan 2015

GET _search
{ 
    "query": {  
    "bool": {
        "must": [ 
             { "match": { "title": "Search" }},  
             { "match": { "content": "Elasticsearch" }}
         ], 
         "filter": [  
             { "term": { "status": "published" }},  
             { "range": { "publish_date": { "gte": "2015-01-01" }}}  
          ] 
    } 
  }
}

query 參數代表query context
  
bool 和 兩個被用在query context match 子句 
代表被用來評分每個document的match程度
filter 參數代表 filter context
 
term 和 range 子句 被用在 filter context.
他們將會篩選出沒有符合但不影響符合資料評分的資料
也就是說 filter篩選出的資料中比較不精準,但還是會符合條件

Math All Query
  • 找出所有的documents, 所有的documents的_score都會是1.0
  • 例如:  {  "match_all":  {  }  }
  • _score可以藉由boost改變值
    • {  "match_all":  {  "boost":  1.2  }  }
Full text queries








留言

張貼留言

這個網誌中的熱門文章

[MySQL] schema 與資料類型優化

圖片
選擇優化的資料類型 原則: 越小越好 因為會佔用最小的磁碟、記憶體與CPU快取。 越簡單越好 操作整數比操作字串代價低，因為字串排序規則 ex: 儲存ip應該用 unsigned int - 4 bytes, 用 varchar 會用到 15 bytes 儲存時間應該用 mysql 內建的時間類型 DATETIME, TIMESTAMP可以儲存相同資料：時間日期，精確到秒 TIMESTAMP 只用 DATETIME 一半的儲存空間，根據時區自動變化 TIMESTAMP 允許的時間範圍比 DATETIME 小很多 避免 NULL 在 innodb 上有單獨的 bit 儲存 null 值，但在 myisam，但還是盡量避免 整數類型 tinyint - 8 bits smallint - 16 bits mediumint - 24 bits int - 32 bits bigint - 64 bits 如果是有正負數的，會因為 1 bits 會用來記錄正負，故範圍為 -2^(n-1) ~ 2^(n-1) unsigned 的範圍則是 -2^n ~ 2^n MySQL 可以為整數指定寬度，例如 INT(11)，其實沒什麼意義，11只是表示與 MySQL 相關工具(client 端的 cli) 用來顯示的長度，對於儲存與計算來說，INT(1)與INT(20)是一樣的。 實數類型 decimal(M,N) - M: 最大位數, N: 小數點後有幾位 ex: decimal(18, 9) => 9位數字.9位數字，總共使用 9 個 bytes float => 4 bytes double => 8 bytes decimal的計算雖然比較精確，但需要額外，但需要額外的空間與計算開銷，資料量較大時，可以用 bigint 代替 decimal，假設需要精準到萬分之一，則可以將數字*1百萬，將結果存在 bigint 內，可以同時避免福點數計算不精準與 decimal 計算代價太高。 字串類型 VARCHAR row_format=fix，這樣就都會固定長度，沒意義 varchar會需要額外1~2 bytes記錄長度, 假設用 latin1 charset, varchar(10) => 11 bytes, varchar(1000) => 1002
閱讀完整內容

[翻譯] 介紹現代網路負載平衡與代理伺服器

圖片
原文(Source): https://blog.envoyproxy.io/introduction-to-modern-network-load-balancing-and-proxying-a57f6ff80236 什麼是網路負載平衡 (network load balancing) 與 代理伺服器的代理行為 (proxying)? 維基百科是這樣定義負載平衡的 > 負載平衡藉由工作量分配到多台運算資源, 例如: 主機, 主機叢集, 網路連結, CPU,  硬碟等. > 負載平衡盡量最佳化資源的使用, 最大化每個最大化每個資源的吞吐量(生產能力), 最小化反應時間, 避免單一資源工作量過重 > 使用多個資源來當負載平衡來提升可靠與高可用而不是單一個資源 > 負載平衡總是使用獨立的軟體或硬體, 例如獨立的 multilayer switch, 或是 DNS主機的程式 上面的定義用於各資訊領域的各方面, 不單單只有網路而已. 作業系統使用負載平衡在實體處理器去分配運算任務, 容器編排服務像是K8S使用負載平衡在不同的主機叢集中去分配任務, 而網路負載平衡器則是將網路上進來的任務分配給可用的後端主機們. 剩下的文章主要都是講解關於網路負載平衡. 圖1 圖1展示了從應用層來看網路負載平衡. 許多的用戶端(Client)透過只需要向 load balancer 請求, load balancer就會將這些request, 也就是上述提到的任務分配給可用的後端服務. Load balancer位於Client 與後端之間執行幾個重要的任務: 服務發現 (Service discovery) 後端的服務在系統的哪裡, 他們的IP(位置)是什麼? (也就是load balancer該如何與後端主機溝通) 服務的狀態檢查 (Health checking) 現在的服務是否是可接受請求的 負載平衡 (Load Balancing) 該用什麼樣的演算法去平均將request分配給可用的服務 在分散式系統使用負載平衡主要有幾個好處: 主機抽象 (Naming abstraction): 每個client 不需要知道每個後端服務在哪, 只需要利用預先定義好的機制向負載平衡器發出請求
閱讀完整內容