淺談數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的發(fā)展【Fabic含義】
《淺談數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的發(fā)展【Fabic含義】》由會員分享,可在線閱讀,更多相關(guān)《淺談數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的發(fā)展【Fabic含義】(9頁珍藏版)》請?jiān)谘b配圖網(wǎng)上搜索。
1、淺談數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的發(fā)展 一、傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu) 數(shù)據(jù)中心前端計(jì)算網(wǎng)絡(luò)主要由大量的二層接入設(shè)備及少量的三層設(shè)備組成,傳統(tǒng)上是標(biāo)準(zhǔn)的三層結(jié)構(gòu)(如圖1所示): 圖1傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)三層架構(gòu) 傳統(tǒng)的網(wǎng)絡(luò)模型在很長一段時(shí)間內(nèi),支撐了各種類型的數(shù)據(jù)中心,但隨著互聯(lián)網(wǎng)的發(fā)展以及企業(yè)IT信息化水平的提高,新的應(yīng)用類型及數(shù)量急劇增長。隨著數(shù)據(jù)中心規(guī)模的不斷膨脹,以及虛擬化、云計(jì)算等新技術(shù)的不斷發(fā)展,僅僅使用傳統(tǒng)的網(wǎng)絡(luò)技術(shù)越來越無法適應(yīng)業(yè)務(wù)發(fā)展的需要。在互聯(lián)網(wǎng)領(lǐng)域,這一點(diǎn)表現(xiàn)的尤為明顯。 二、數(shù)據(jù)中心網(wǎng)絡(luò)的新變化 截至2013年12月,中國網(wǎng)民規(guī)模達(dá)6.18億,全年共計(jì)新
2、增網(wǎng)民5358萬人,互聯(lián)網(wǎng)普及率為45.8%。大量網(wǎng)民的涌入必然帶來網(wǎng)絡(luò)流量的急劇膨脹。對于互聯(lián)網(wǎng)企業(yè),承載具體應(yīng)用的數(shù)據(jù)中心的計(jì)算資源及網(wǎng)絡(luò)節(jié)點(diǎn)常常滿負(fù)荷運(yùn)轉(zhuǎn);而對于傳統(tǒng)企業(yè),隨著自身業(yè)務(wù)量的增加,以及各類業(yè)務(wù)互聯(lián)網(wǎng)化的需求,對數(shù)據(jù)中心的整體的吞吐量也提出了新的要求。 服務(wù)器萬兆網(wǎng)絡(luò)接入漸成主流 受成本、以及技術(shù)成熟度制約,傳統(tǒng)數(shù)據(jù)中心以千兆接入為主。隨著CPU計(jì)算能力的不斷提高,目前主流的服務(wù)器處理性能,已經(jīng)超出了千兆網(wǎng)卡的輸出能力。同時(shí),F(xiàn)C存儲網(wǎng)絡(luò)與IP網(wǎng)絡(luò)的融合,也要求IP網(wǎng)絡(luò)的接入速率達(dá)到FC的性能要求。當(dāng)僅僅通過鏈路聚合、增加等價(jià)路徑等技術(shù)手段已經(jīng)無法滿足業(yè)務(wù)對網(wǎng)絡(luò)性
3、能的需求時(shí),提高網(wǎng)絡(luò)端口速率成為必然之選。 萬兆以太網(wǎng)從起步到目前逐漸成為應(yīng)用主流,延續(xù)了以太網(wǎng)技術(shù)發(fā)展的主基調(diào),憑借其技術(shù)優(yōu)勢,替代其他網(wǎng)絡(luò)接入技術(shù),成為高性能網(wǎng)絡(luò)的不二選擇。目前新的數(shù)據(jù)中心,萬兆網(wǎng)絡(luò)接入已成為事實(shí)上的標(biāo)準(zhǔn)。 數(shù)據(jù)中心流量模型發(fā)生顯著變化 傳統(tǒng)的數(shù)據(jù)中心內(nèi),服務(wù)器主要用于對外提供業(yè)務(wù)訪問,不同的業(yè)務(wù)通過安全分區(qū)及VLAN隔離。一個(gè)分區(qū)通常集中了該業(yè)務(wù)所需的計(jì)算、網(wǎng)絡(luò)及存儲資源,不同的分區(qū)之間或者禁止互訪,或者經(jīng)由核心交換通過三層網(wǎng)絡(luò)交互,數(shù)據(jù)中心的網(wǎng)絡(luò)流量大部分集中于南北向。 在這種設(shè)計(jì)下,不同分區(qū)間計(jì)算資源無法共享,資源利用率低下的問題越來越突出。
4、通過虛擬化技術(shù)、云計(jì)算管理技術(shù)等,將各個(gè)分區(qū)間的資源進(jìn)行池化,實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)資源的有效利用。而隨著這些新技術(shù)的興起和應(yīng)用,新的業(yè)務(wù)需求如虛擬機(jī)遷移、數(shù)據(jù)同步、數(shù)據(jù)備份、協(xié)同計(jì)算等在數(shù)據(jù)中心內(nèi)開始實(shí)現(xiàn)部署,數(shù)據(jù)中心內(nèi)部東西向流量開始大幅度增加。 物理二層向邏輯二層轉(zhuǎn)變 在虛擬化初期,虛擬機(jī)管理及遷移主要依靠物理的網(wǎng)絡(luò),由于遷移本身要求二層網(wǎng)絡(luò),因此數(shù)據(jù)中心內(nèi)部東西向流量主要是二層流量。為增加二層物理網(wǎng)絡(luò)的規(guī)模,并提高鏈路利用率,出現(xiàn)了TRILL、SPB等大二層網(wǎng)絡(luò)技術(shù)。 隨著虛擬化數(shù)據(jù)中心規(guī)模的擴(kuò)大,以及云化管理的深入,物理網(wǎng)絡(luò)的種種限制越來越不適應(yīng)虛擬化的要求,由此提出了VX
5、LAN、NVGRE等網(wǎng)絡(luò)Overlay方案,在這一方案下,物理網(wǎng)絡(luò)中的東西向流量類型也逐漸由二層向三層轉(zhuǎn)變,通過增加封裝,將網(wǎng)絡(luò)拓?fù)溆晌锢矶幼優(yōu)檫壿嫸?,同時(shí)提供邏輯二層的劃分管理,更好的滿足了多租戶的需求。 VXLAN、NVGRE等Overlay技術(shù)都是通過將MAC封裝在IP之上,實(shí)現(xiàn)對物理網(wǎng)絡(luò)的屏蔽,解決了物理網(wǎng)絡(luò)VLAN數(shù)量限制、接入交換機(jī)MAC表項(xiàng)有限等問題。同時(shí)通過提供統(tǒng)一的邏輯網(wǎng)絡(luò)管理工具,方便的實(shí)現(xiàn)了虛擬機(jī)HA遷移時(shí)網(wǎng)絡(luò)策略跟隨的問題,大大降低了虛擬化對網(wǎng)絡(luò)的依賴,成為了目前網(wǎng)絡(luò)虛擬化的主要發(fā)展方向。 越來越多的網(wǎng)絡(luò)扁平化需求 隨著虛擬化技術(shù)的進(jìn)步,每臺物理服
6、務(wù)器的虛擬機(jī)數(shù)量由8臺提升至16臺、32臺甚至更多,這使得低延遲的服務(wù)器間通信和更高的雙向帶寬需求變得更加迫切。然而傳統(tǒng)的網(wǎng)絡(luò)核心、匯聚和接入的三層結(jié)構(gòu),服務(wù)器虛擬化后還有一個(gè)虛擬交換機(jī)層,而隨著刀片服務(wù)器的廣泛應(yīng)用,刀片式交換機(jī)也給網(wǎng)絡(luò)添加了一層交換。如此之多的網(wǎng)絡(luò)層次,使得數(shù)據(jù)中心計(jì)算節(jié)點(diǎn)間通信延時(shí)大幅增加,這就需要網(wǎng)絡(luò)化架構(gòu)向扁平化方向發(fā)展,最終的目標(biāo)是在任意兩點(diǎn)之間盡量減少網(wǎng)絡(luò)架構(gòu)的數(shù)目。 伴隨著業(yè)務(wù)訪問量的增長,所需的服務(wù)器數(shù)量也需要持續(xù)增長。比如國內(nèi)騰訊、百度、阿里三家互聯(lián)網(wǎng)公司,為滿足用戶訪問,平均每兩周就有1000臺以上服務(wù)器上線。這樣的上線速度和數(shù)量,對整個(gè)數(shù)據(jù)中心的自
7、動化運(yùn)維提出了極高的要求,基礎(chǔ)的網(wǎng)絡(luò)同樣需要適應(yīng)這種需求。 網(wǎng)絡(luò)扁平化后(如圖2所示),減少了中間層次,對核心設(shè)備交換能力要求降低,對于數(shù)據(jù)中心而言,后續(xù)擴(kuò)容只需要以標(biāo)準(zhǔn)的機(jī)柜(包含服務(wù)器及柜頂交換單元)為單位增加即可,這樣既滿足了數(shù)據(jù)中心收斂比的要求,又能滿足服務(wù)器快速上線需要。扁平化成為互聯(lián)網(wǎng)企業(yè)網(wǎng)絡(luò)設(shè)計(jì)不斷追求的目標(biāo)。 圖2騰訊數(shù)據(jù)中心網(wǎng)絡(luò)采用的二層扁平結(jié)構(gòu) 數(shù)據(jù)中心的這些變化,對網(wǎng)絡(luò)提出了更高的要求。Fabric物理網(wǎng)絡(luò)架構(gòu)成為解決上述難題的一個(gè)重要手段。Fabric英文原意為"織物、布、結(jié)構(gòu)、建筑物、構(gòu)造","Fabric網(wǎng)絡(luò)架構(gòu)"則因其內(nèi)部縱橫互聯(lián)類似紡織
8、結(jié)構(gòu)而得名。簡單的說,就是通過骨干網(wǎng)絡(luò)節(jié)點(diǎn)間分層互聯(lián)(或全互聯(lián))的方式,提供所有接入網(wǎng)絡(luò)的各類節(jié)點(diǎn)間的無差異互訪。 在Fabric架構(gòu)下(如圖3所示),所有節(jié)點(diǎn)可以全互聯(lián),也可以分層互聯(lián)。分層結(jié)構(gòu)下,節(jié)點(diǎn)類型分為骨干節(jié)點(diǎn)(Spine)和葉子節(jié)點(diǎn)(Leaf),骨干節(jié)點(diǎn)與葉子節(jié)點(diǎn)間全連接,骨干節(jié)點(diǎn)僅用作轉(zhuǎn)發(fā),葉子節(jié)點(diǎn)作為二三層的邊界。在這種架構(gòu)下,網(wǎng)絡(luò)全互聯(lián)形成的大量等價(jià)路徑既保證了鏈路的冗余可靠,又提高了整個(gè)Fabric網(wǎng)絡(luò)的吞吐量;扁平的網(wǎng)絡(luò)結(jié)構(gòu)保證了任意節(jié)點(diǎn)間較高的連接速率,同時(shí)對任意類型流量均擁有極低的時(shí)延。 圖3Fabric網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) Fabric架構(gòu)給數(shù)據(jù)中心網(wǎng)
9、絡(luò)部署帶來以下好處: 可以大幅降低服務(wù)器萬兆接入的建設(shè)成本。當(dāng)前100GE設(shè)備及布線成本都十分高昂,服務(wù)器采用10GE接入后,傳統(tǒng)結(jié)構(gòu)下,匯聚及核心層設(shè)備必須具備100GE的轉(zhuǎn)發(fā)能力才能保證盡量低的收斂比。在新的網(wǎng)絡(luò)結(jié)構(gòu)下,骨干節(jié)點(diǎn)只做交換,網(wǎng)關(guān)直接部署在葉子節(jié)點(diǎn),F(xiàn)abric內(nèi)部采用40GE速率即可滿足萬兆接入需求,大幅降低了網(wǎng)絡(luò)建設(shè)成本。 可以支持更大的數(shù)據(jù)中心。由于這種結(jié)構(gòu)的扁平化特點(diǎn),在較低的收斂比下,可以通過簡單的增加接入設(shè)備,方便的接入幾千個(gè)計(jì)算節(jié)點(diǎn),通過Fabric間互聯(lián),可以很容易的增加至上萬個(gè)計(jì)算節(jié)點(diǎn),滿足了現(xiàn)代大型數(shù)據(jù)中心規(guī)模建設(shè)的需求。 可以滿足云計(jì)算的
10、網(wǎng)絡(luò)需要。云計(jì)算將計(jì)算資源做成了一個(gè)資源池,而Fabric結(jié)構(gòu)將網(wǎng)絡(luò)做成了一個(gè)大的資源池。這種結(jié)構(gòu)不再區(qū)分南北流量和東西流量,使得計(jì)算節(jié)點(diǎn)與任意方向通信均無阻塞;對服務(wù)器的接入位置沒有要求,無論采用VLAN、VXLAN、NVGRE等何種技術(shù),任意節(jié)點(diǎn)間可以實(shí)現(xiàn)高速、低時(shí)延的互聯(lián),大幅提高了整網(wǎng)性能。 但是,F(xiàn)abric架構(gòu)并非完美。葉子節(jié)點(diǎn)網(wǎng)絡(luò)設(shè)備無論是性能要求還是功能要求,均高于傳統(tǒng)架構(gòu)下的接入設(shè)備,其作為各種類型的網(wǎng)關(guān)(二三層間、VLAN/VXLAN間、VXLAN/NVGRE間、FC/IP間等等),芯片處理能力要求較高,目前尚無滿足所有協(xié)議間互通的商用芯片;由于不存在相關(guān)的標(biāo)準(zhǔn),為了
11、實(shí)現(xiàn)各種類型網(wǎng)絡(luò)的接入,其骨干節(jié)點(diǎn)與葉子節(jié)點(diǎn)間的轉(zhuǎn)發(fā)各個(gè)廠商均采用了私有封裝,這也為將來的互通設(shè)置了難題。 Fabric網(wǎng)絡(luò)架構(gòu)這一全新的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)(現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)),在規(guī)模、性能和簡單性方面實(shí)現(xiàn)質(zhì)的飛躍,同時(shí)還降低了建設(shè)成本,獲得了更大的敏捷性和效率,雖然各個(gè)廠商在實(shí)現(xiàn)這一架構(gòu)時(shí)存在一些自己私有的處理,但目前的確已成為未來數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的一個(gè)公認(rèn)的發(fā)展方向。 三、未來彈性、自適應(yīng)的數(shù)據(jù)中心網(wǎng)絡(luò) 我們同樣看到,物理網(wǎng)絡(luò)架構(gòu)改變后一些問題仍然存在,僅僅依靠對傳統(tǒng)技術(shù)的修修補(bǔ)補(bǔ)已經(jīng)無法滿足未來數(shù)據(jù)中心網(wǎng)絡(luò)的需求。 數(shù)據(jù)中心規(guī)模越來越大,給運(yùn)維管理帶來壓力?,F(xiàn)代(特
12、別是大型互聯(lián)網(wǎng)企業(yè))的數(shù)據(jù)中心,規(guī)模越來越大(如騰訊天津?yàn)I海數(shù)據(jù)中心,一期規(guī)模8萬臺服務(wù)器,規(guī)劃規(guī)模達(dá)到20萬臺),所需要的網(wǎng)絡(luò)設(shè)備數(shù)量相當(dāng)驚人。除了各個(gè)層次大量的交換機(jī)外,可能還需要部署防火墻、防攻擊設(shè)備、負(fù)載均衡、流量清洗等等網(wǎng)絡(luò)安全設(shè)備,設(shè)備類型也會越來越豐富。同時(shí),這些網(wǎng)絡(luò)設(shè)備來自不同的廠家,擁有不一樣的操作方式。這些對運(yùn)維人員的能力提出了更高的要求。 版本更新、業(yè)務(wù)變更越來越困難。網(wǎng)絡(luò)需要變更以適應(yīng)用戶業(yè)務(wù)發(fā)展的需要,同時(shí)設(shè)備廠家會根據(jù)需要不定期發(fā)布軟件修正版本。但當(dāng)數(shù)據(jù)中心發(fā)展到一定規(guī)模后,無論是業(yè)務(wù)變更還是版本更新,都變得非常困難,這既有設(shè)備規(guī)模過大帶來的巨大工作量的問題,
13、也有如何保證業(yè)務(wù)連續(xù)不中斷的考慮。 精確的流量控制越來越難。當(dāng)前流量控制主要是基于ACL及QoS,通過識別特定的流量、對其應(yīng)用特定的策略,來實(shí)現(xiàn)對業(yè)務(wù)流量的管控。由于流量策略都是基于管理員對流量運(yùn)行的假設(shè),在各個(gè)設(shè)備預(yù)先配置來實(shí)現(xiàn),且策略類型較少,而實(shí)際網(wǎng)絡(luò)上業(yè)務(wù)流量瞬息萬變,預(yù)先設(shè)置的策略往往不能很好的匹配,無法實(shí)現(xiàn)復(fù)雜的管理控制邏輯,使得QoS實(shí)施效果不佳。 歸結(jié)以上問題,實(shí)際上是網(wǎng)絡(luò)缺乏統(tǒng)一的"大腦"。一直以來,網(wǎng)絡(luò)的工作方式是:網(wǎng)絡(luò)節(jié)點(diǎn)之間通過各種交互機(jī)制,獨(dú)立的學(xué)習(xí)整個(gè)網(wǎng)絡(luò)拓?fù)洌孕袥Q定與其他節(jié)點(diǎn)的交互方式;當(dāng)流量過來時(shí),根據(jù)節(jié)點(diǎn)間交互做出的決策,獨(dú)立的轉(zhuǎn)發(fā)相應(yīng)報(bào)文;當(dāng)網(wǎng)
14、絡(luò)中節(jié)點(diǎn)發(fā)生變化時(shí),其他節(jié)點(diǎn)感知變化重新計(jì)算路徑。網(wǎng)絡(luò)設(shè)備的這種分散決策的特點(diǎn),在此前很長一段時(shí)間內(nèi)滿足了互聯(lián)互通的需要,但由于這種分散決策機(jī)制缺少全局掌控,在需要流量精細(xì)化控制管理的今天,表現(xiàn)出越來越多的問題。 經(jīng)過多年的發(fā)展,SDN為解決這些難題提供了可行的解決方案(如圖4所示)。它通過集中的控制器來實(shí)現(xiàn)對整網(wǎng)設(shè)備的監(jiān)控和管理,利用軟件的靈活、動態(tài)可擴(kuò)展,提供豐富的管理控制策略,通過開放相關(guān)API,可以集成第三方APP,實(shí)現(xiàn)更多的個(gè)性化的網(wǎng)絡(luò)控制。 圖4ONF典型SDN控制器架構(gòu) SDN網(wǎng)絡(luò)是一種全新的網(wǎng)絡(luò)。在這樣的網(wǎng)絡(luò)中,控制器就是大腦,它掌控全局,學(xué)習(xí)整網(wǎng)的拓?fù)洌?/p>
15、管理網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)。網(wǎng)絡(luò)中的其他節(jié)點(diǎn),只需要向"大腦"上報(bào)網(wǎng)絡(luò)變化,并按照"大腦"的指揮,完成自己的工作即可。隨著網(wǎng)絡(luò)的規(guī)模的增加,網(wǎng)絡(luò)中"大腦"的數(shù)量、功能也隨之增加。比如,每臺控制器所管理的節(jié)點(diǎn)數(shù)量有限,可以組成控制器集群管理整個(gè)網(wǎng)絡(luò);有的控制器控制流量轉(zhuǎn)發(fā),有的控制器控制安全策略,還有的控制器控制虛擬網(wǎng)絡(luò)的管理等等。 SDN的發(fā)展也同樣存在相當(dāng)?shù)牟淮_定性。傳統(tǒng)的南向接口OpenFlow會越來越復(fù)雜,現(xiàn)有網(wǎng)絡(luò)設(shè)備無法簡單升級支持;同時(shí)滿足大流表的需求將大幅提高芯片成本;控制器發(fā)展不統(tǒng)一,各個(gè)廠家都在爭奪自己在未來SDN網(wǎng)絡(luò)的話語權(quán),標(biāo)準(zhǔn)化進(jìn)程緩慢,各種私有的協(xié)議加入將導(dǎo)致未來網(wǎng)絡(luò)成為少數(shù)玩家的地盤。但我們同樣相信,無論具體實(shí)現(xiàn)形式如何,SDN這種集中管控、靈活動態(tài)的網(wǎng)絡(luò)部署必將成為未來的發(fā)展趨勢。 四、結(jié)束語 我們很快就會看到,新的數(shù)據(jù)中心采用云計(jì)算技術(shù)對所有虛擬計(jì)算資源集中管理,F(xiàn)abric架構(gòu)的網(wǎng)絡(luò)無縫實(shí)現(xiàn)了數(shù)據(jù)中心各個(gè)區(qū)域的互聯(lián),基于Overlay的二層網(wǎng)絡(luò)實(shí)現(xiàn)了虛擬機(jī)的流暢遷移,集中化的SDN網(wǎng)絡(luò)控制器提供對數(shù)據(jù)中心整網(wǎng)的監(jiān)控,各種流量根據(jù)數(shù)據(jù)中心當(dāng)前網(wǎng)絡(luò)狀況實(shí)時(shí)切換經(jīng)由路徑,偌大的數(shù)據(jù)中心內(nèi),寥寥數(shù)人便完成了全部的運(yùn)維管理。我們相信,這就是將來的數(shù)據(jù)中心的工作情景。
- 溫馨提示:
1: 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
2: 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
3.本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
5. 裝配圖網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2023年六年級數(shù)學(xué)下冊6整理和復(fù)習(xí)2圖形與幾何第7課時(shí)圖形的位置練習(xí)課件新人教版
- 2023年六年級數(shù)學(xué)下冊6整理和復(fù)習(xí)2圖形與幾何第1課時(shí)圖形的認(rèn)識與測量1平面圖形的認(rèn)識練習(xí)課件新人教版
- 2023年六年級數(shù)學(xué)下冊6整理和復(fù)習(xí)1數(shù)與代數(shù)第10課時(shí)比和比例2作業(yè)課件新人教版
- 2023年六年級數(shù)學(xué)下冊4比例1比例的意義和基本性質(zhì)第3課時(shí)解比例練習(xí)課件新人教版
- 2023年六年級數(shù)學(xué)下冊3圓柱與圓錐1圓柱第7課時(shí)圓柱的體積3作業(yè)課件新人教版
- 2023年六年級數(shù)學(xué)下冊3圓柱與圓錐1圓柱第1節(jié)圓柱的認(rèn)識作業(yè)課件新人教版
- 2023年六年級數(shù)學(xué)下冊2百分?jǐn)?shù)(二)第1節(jié)折扣和成數(shù)作業(yè)課件新人教版
- 2023年六年級數(shù)學(xué)下冊1負(fù)數(shù)第1課時(shí)負(fù)數(shù)的初步認(rèn)識作業(yè)課件新人教版
- 2023年六年級數(shù)學(xué)上冊期末復(fù)習(xí)考前模擬期末模擬訓(xùn)練二作業(yè)課件蘇教版
- 2023年六年級數(shù)學(xué)上冊期末豐收園作業(yè)課件蘇教版
- 2023年六年級數(shù)學(xué)上冊易錯(cuò)清單十二課件新人教版
- 標(biāo)準(zhǔn)工時(shí)講義
- 2021年一年級語文上冊第六單元知識要點(diǎn)習(xí)題課件新人教版
- 2022春一年級語文下冊課文5識字測評習(xí)題課件新人教版
- 2023年六年級數(shù)學(xué)下冊6整理和復(fù)習(xí)4數(shù)學(xué)思考第1課時(shí)數(shù)學(xué)思考1練習(xí)課件新人教版