《SQL的書寫規(guī)范及高級(jí)進(jìn)階優(yōu)化技巧分享》由會(huì)員分享,可在線閱讀,更多相關(guān)《SQL的書寫規(guī)范及高級(jí)進(jìn)階優(yōu)化技巧分享(13頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、SQL的書寫規(guī)范及高級(jí)進(jìn)階優(yōu)化技巧由于工作需要,最近做了很多 BI 取數(shù)的工作,需要用到一些比較高級(jí)的 SQL 技巧,總結(jié)了一下工作中用到的一些比較騷的進(jìn)階技巧,特此記錄一下,以方便自己查閱,主要目錄如下: SQL 的書寫規(guī)范 SQL 的一些進(jìn)階使用技巧 SQL 的優(yōu)化方法SQL 的書寫規(guī)范在介紹一些技巧之前,有必要強(qiáng)調(diào)一下規(guī)范,這一點(diǎn)我發(fā)現(xiàn)工作中經(jīng)常被人忽略,其實(shí)遵循好的規(guī)范可讀性會(huì)好很多,應(yīng)該遵循哪些規(guī)范呢1、 表名要有意義,且標(biāo)準(zhǔn) SQL 中規(guī)定表名的第一個(gè)字符應(yīng)該是字母。2、注釋,有單行注釋和多行注釋,如下-單行注釋-從SomeTable中查詢col_1SELECTcol_1FROMS
2、omeTable;/*多行注釋從SomeTable中查詢col_1*/SELECTcol_1FROMSomeTable;多行注釋很多人不知道,這種寫法不僅可以用來(lái)添加真正的注釋,也可以用來(lái)注釋代碼,非常方便3、縮進(jìn)就像寫 Java,Python 等編程語(yǔ)言一樣 ,SQL 也應(yīng)該有縮進(jìn),良好的縮進(jìn)對(duì)提升代碼的可讀性幫助很大,以下分別是好的縮進(jìn)與壞的縮進(jìn)示例-好的縮進(jìn)SELECTcol_1,col_2,col_3,COUNT(*)FROMtbl_AWHEREcol_1=aANDcol_2=(SELECTMAX(col_2)FROMtbl_BWHEREcol_3=100)GROUPBYcol_1,c
3、ol_2,col_3-壞的示例SELECTcol1_1,col_2,col_3,COUNT(*)FROMtbl_AWHEREcol1_1=aANDcol1_2=(SELECTMAX(col_2)FROMtbl_BWHEREcol_3=100)GROUPBYcol_1,col_2,col_34、空格代碼中應(yīng)該適當(dāng)留有一些空格,如果一點(diǎn)不留,代碼都湊到一起, 邏輯單元不明確,閱讀的人也會(huì)產(chǎn)生額外的壓力,以下分別是是好的與壞的示例-好的示例SELECTcol_1FROMtbl_AA,tbl_BBWHERE(A.col_1=100ORA.col_2IN(a,b)ANDA.col_3=B.col_3;-
4、壞的示例SELECTcol_1FROMtbl_AA,tbl_BBWHERE(A.col_1=100ORA.col_2IN(a,b)ANDA.col_3=B.col_3;4、大小寫關(guān)鍵字使用大小寫,表名列名使用小寫,如下SELECTcol_1,col_2,col_3,COUNT(*)FROMtbl_AWHEREcol_1=aANDcol_2=(SELECTMAX(col_2)FROMtbl_BWHEREcol_3=100)GROUPBYcol_1,col_2,col_3花了這么多時(shí)間強(qiáng)調(diào)規(guī)范,有必要嗎,有!好的規(guī)范讓代碼的可讀性更好,更有利于團(tuán)隊(duì)合作,之后的 SQL 示例都會(huì)遵循這些規(guī)范。SQL
5、 的一些進(jìn)階使用技巧一、巧用 CASE WHEN 進(jìn)行統(tǒng)計(jì)來(lái)看看如何巧用 CASE WHEN 進(jìn)行定制化統(tǒng)計(jì),假設(shè)我們有如下的需求,希望根據(jù)左邊各個(gè)市的人口統(tǒng)計(jì)每個(gè)省的人口使用 CASE WHEN 如下SELECTCASEpref_nameWHEN長(zhǎng)沙THEN湖南WHEN衡陽(yáng)THEN湖南WHEN海口THEN海南WHEN三亞THEN海南ELSE其他ENDASdistrict,SUM(population)FROMPopTblGROUPBYdistrict;二、巧用 CASE WHEN 進(jìn)行更新現(xiàn)在某公司員人工資信息表如下:現(xiàn)在公司出臺(tái)了一個(gè)奇葩的規(guī)定1. 對(duì)當(dāng)前工資為 1 萬(wàn)以上的員工,降薪 1
6、0%。2. 對(duì)當(dāng)前工資低于 1 萬(wàn)的員工,加薪 20%。一些人不假思索可能寫出了以下的 SQL:-條件1UPDATESalariesSETsalary=salary*0.9WHEREsalary=10000;-條件2UPDATESalariesSETsalary=salary*1.2WHEREsalary=10000THENsalary*0.9WHENsalary10000THENsalary*1.2ELSEsalaryEND;三、巧用 HAVING 子句一般 HAVING 是與 GROUP BY 結(jié)合使用的,但其實(shí)它是可以獨(dú)立使用的, 假設(shè)有如下表,第一列 seq 叫連續(xù)編號(hào),但其實(shí)有些編號(hào)
7、是缺失的,怎么知道編號(hào)是否缺失呢,用 HAVING 表示如下:SELECT存在缺失的編號(hào)ASgapFROMSeqTblHAVINGCOUNT(*)MAX(seq);四、自連接針對(duì)相同的表進(jìn)行的連接被稱為“自連接”(self join),這個(gè)技巧常常被人們忽視,其實(shí)是有挺多妙用的1、刪除重復(fù)行上圖中有三個(gè)橘子,需要把這些重復(fù)的行給刪掉,用如下自連接可以解決:DELETEFROMProductsP1WHEREidP1.price)+1ASrank_1FROMProductsP1ORDERBYrank_1;結(jié)果如下:namepricerank-橘子1001西瓜802蘋果503葡萄503香蕉503檸檬
8、306五、巧用 COALESCE 函數(shù)此函數(shù)作用返回參數(shù)中的第一個(gè)非空表達(dá)式,假設(shè)有如下商品,我們重新格式化一樣,如果 city 為 null,代表商品不在此城市發(fā)行,但我們?cè)谡故窘Y(jié)果的時(shí)候不想展示 null,而想展示 N/A, 可以這么做:SELECTCOALESCE(city,N/A)FROMcustomers;SQL 性能優(yōu)化技巧一、參數(shù)是子查詢時(shí),使用 EXISTS 代替 IN如果 IN 的參數(shù)是(1,2,3)這樣的值列表時(shí),沒(méi)啥問(wèn)題,但如果參數(shù)是子查詢時(shí),就需要注意了。比如,現(xiàn)在有如下兩個(gè)表:現(xiàn)在我們要查出同時(shí)存在于兩個(gè)表的員工,即田中和鈴木,則以下用 IN 和 EXISTS 返回的
9、結(jié)果是一樣,但是用 EXISTS 的 SQL 會(huì)更快:-慢SELECT*FROMClass_AWHEREidIN(SELECTidFROMCLASS_B);-快SELECT*FROMClass_AAWHEREEXISTS(SELECT*FROMClass_BBWHEREA.id=B.id);為啥使用 EXISTS 的 SQL 運(yùn)行更快呢,有兩個(gè)原因1. 可以用到索引,如果連接列 (id) 上建立了索引,那么查詢 Class_B 時(shí)不用查實(shí)際的表,只需查索引就可以了。2. 如果使用 EXISTS,那么只要查到一行數(shù)據(jù)滿足條件就會(huì)終止查詢, 不用像使用 IN 時(shí)一樣掃描全表。在這一點(diǎn)上 NOT E
10、XISTS 也一樣另外如果 IN 后面如果跟著的是子查詢,由于 SQL 會(huì)先執(zhí)行 IN 后面的子查詢,會(huì)將子查詢的結(jié)果保存在一張臨時(shí)的工作表里(內(nèi)聯(lián)視圖),然后掃描整個(gè)視圖,顯然掃描整個(gè)視圖這個(gè)工作很多時(shí)候是非常耗時(shí)的,而用 EXISTS 不會(huì)生成臨時(shí)表。當(dāng)然了,如果 IN 的參數(shù)是子查詢時(shí),也可以用連接來(lái)代替,如下:-使用連接代替INSELECTA.id,A.nameFROMClass_AAINNERJOINClass_BBONA.id=B.id;用到了 id列上的索引,而且由于沒(méi)有子查詢,也不會(huì)生成臨時(shí)表二、避免排序SQL 是聲明式語(yǔ)言,即對(duì)用戶來(lái)說(shuō),只關(guān)心它能做什么,不用關(guān)心它怎么做。這
11、樣可能會(huì)產(chǎn)生潛在的性能問(wèn)題:排序,會(huì)產(chǎn)生排序的代表性運(yùn)算有下面這些 GROUP BY 子句 ORDER BY 子句 聚合函數(shù)(SUM、COUNT、AVG、MAX、MIN) DISTINCT 集合運(yùn)算符(UNION、INTERSECT、EXCEPT) 窗口函數(shù)(RANK、ROW_NUMBER 等)如果在內(nèi)存中排序還好,但如果內(nèi)存不夠?qū)е滦枰谟脖P上排序上的話,性能就會(huì)急劇下降,所以我們需要減少不必要的排序。怎樣做可以減少排序呢。1、 使用集合運(yùn)算符的 ALL 可選項(xiàng)SQL 中有 UNION,INTERSECT,EXCEPT 三個(gè)集合運(yùn)算符,默認(rèn)情況下,這些運(yùn)算符會(huì)為了避免重復(fù)數(shù)據(jù)而進(jìn)行排序,對(duì)比
12、一下使用 UNION 運(yùn)算符加和不加 ALL 的情況:注意:加 ALL 是優(yōu)化性能非常有效的手段,不過(guò)前提是不在乎結(jié)果是否有重復(fù)數(shù)據(jù)。2、使用 EXISTS 代表 DISTINCT為了排除重復(fù)數(shù)據(jù), DISTINCT 也會(huì)對(duì)結(jié)果進(jìn)行排序,如果需要對(duì)兩張表的連接結(jié)果進(jìn)行去重,可以考慮用 EXISTS 代替 DISTINCT,這樣可以避免排序。如何找出有銷售記錄的商品,使用如下 DISTINCT 可以:SELECTDISTINCTI.item_noFROMItemsIINNERJOINSalesHistorySHONI.item_no=SH.item_no;不過(guò)更好的方式是使用 EXISTS:SE
13、LECTitem_noFROMItemsIWHEREEXISTS(SELECT*FROMSalesHistorySHWHEREI.item_no=SH.item_no);既用到了索引,又避免了排序?qū)π阅艿膿p耗。二、在極值函數(shù)中使用索引(MAX/MIN)使用 MAX/ MIN 都會(huì)對(duì)進(jìn)行排序,如果參數(shù)字段上沒(méi)加索引會(huì)導(dǎo)致全表掃描,如果建有索引,則只需要掃描索引即可,對(duì)比如下-這樣寫需要掃描全表SELECTMAX(item)FROMItems;-這樣寫能用到索引SELECTMAX(item_no)FROMItems;注意:極值函數(shù)參數(shù)推薦為索引列中并不是不需要排序,而是優(yōu)化了排序前的查找速度(畢竟
14、索引本身就是有序排列的)。三、能寫在 WHERE 子句里的條件不要寫在 HAVING 子句里下列 SQL 語(yǔ)句返回的結(jié)果是一樣的:-聚合后使用HAVING子句過(guò)濾SELECTsale_date,SUM(quantity)FROMSalesHistoryGROUPBYsale_dateHAVINGsale_date=2007-10-01;-聚合前使用WHERE子句過(guò)濾SELECTsale_date,SUM(quantity)FROMSalesHistoryWHEREsale_date=2007-10-01GROUPBYsale_date;使用第二條語(yǔ)句效率更高,原因主要有兩點(diǎn)1. 使用 GROU
15、P BY 子句進(jìn)行聚合時(shí)會(huì)進(jìn)行排序,如果事先通過(guò) WHERE 子句能篩選出一部分行,能減輕排序的負(fù)擔(dān)2. 在 WHERE 子句中可以使用索引,而 HAVING 子句是針對(duì)聚合后生成的視頻進(jìn)行篩選的,但很多時(shí)候聚合后生成的視圖并沒(méi)有保留原表的索引結(jié)構(gòu)四、在 GROUP BY 子句和 ORDER BY 子句中使用索引GROUP BY 子句和 ORDER BY 子句一般都會(huì)進(jìn)行排序,以對(duì)行進(jìn)行排列和替換,不過(guò)如果指定帶有索引的列作為這兩者的參數(shù)列,由于用到了索引,可以實(shí)現(xiàn)高速查詢,由于索引是有序的,排序本身都會(huì)被省略掉五、使用索引時(shí),條件表達(dá)式的左側(cè)應(yīng)該是原始字段假設(shè)我們?cè)?col 列上建立了索引,
16、則下面這些 SQL 語(yǔ)句無(wú)法用到索引SELECT*FROMSomeTableWHEREcol*1.1100;SELECT*FROMSomeTableWHERESUBSTR(col,1,1)=a;以上第一個(gè) SQL 在索引列上進(jìn)行了運(yùn)算, 第二個(gè) SQL 對(duì)索引列使用了函數(shù),均無(wú)法用到索引,正確方式是把列單獨(dú)放在左側(cè),如下:SELECT*FROMSomeTableWHEREcol_1100/1.1;當(dāng)然如果需要對(duì)此列使用函數(shù),則無(wú)法避免在左側(cè)運(yùn)算,可以考慮使用函數(shù)索引,不過(guò)一般不推薦隨意這么做。六、盡量避免使用否定形式如下的幾種否定形式不能用到索引: != NOT IN所以以下 了SQL 語(yǔ)句會(huì)
17、導(dǎo)致全表掃描SELECT*FROMSomeTableWHEREcol_1100;可以改成以下形式SELECT*FROMSomeTableWHEREcol_1100orcol_1=10;雖然上面這樣的寫法能達(dá)到目的,但會(huì)生成 TMP 這張臨時(shí)表,所以應(yīng)該使用下面這樣的寫法:SELECTsale_date,MAX(quantity)FROMSalesHistoryGROUPBYsale_dateHAVINGMAX(quantity)=10;HAVING 子句和聚合操作是同時(shí)執(zhí)行的,所以比起生成中間表后再執(zhí)行 HAVING 子句,效率會(huì)更高,代碼也更簡(jiǎn)潔10、需要對(duì)多個(gè)字段使用 IN 謂詞時(shí),將它們
18、匯總到一處一個(gè)表的多個(gè)字段可能都使用了 IN 謂詞,如下:SELECTid,state,cityFROMAddresses1A1WHEREstateIN(SELECTstateFROMAddresses2A2WHEREA1.id=A2.id)ANDcityIN(SELECTcityFROMAddresses2A2WHEREA1.id=A2.id);這段代碼用到了兩個(gè)子查詢,也就產(chǎn)生了兩個(gè)中間表,可以像下面這樣寫SELECT*FROMAddresses1A1WHEREid|state|cityIN(SELECTid|state|city FROMAddresses2A2);這樣子查詢不用考慮關(guān)聯(lián)性,沒(méi)有中間表產(chǎn)生,而且只執(zhí)行一次即可??偨Y(jié)本文一開始花了挺大的篇幅來(lái)講解 SQL 的規(guī)范,請(qǐng)大家務(wù)必重視這部分內(nèi)部,良好的規(guī)范有利于團(tuán)隊(duì)協(xié)作,對(duì)于代碼的閱讀也比較友好。之后介紹了一些 SQL 的比較高級(jí)的用法,巧用這些技巧確實(shí)能達(dá)到事半功倍的效果,由于本文篇幅有限只是介紹了一部分,下篇我們會(huì)再介紹一些其他的技巧,敬請(qǐng)期待哦