在質量管理組織建設方面，如何建立有效的QA組織應該是最難的。由於缺乏經驗和指導，很多企業只能摸着石頭過河，先從各個部門抽調一些新人和“閒人”成立一個QA部門，按照規範要求試試再說。這樣嘗試的結果，往往是走了彎路，一切回到原點。還有一些企業已經成立了QA部門，QA的職責就是保證過程體系一板一眼地得到嚴格執行。而業務人員卻認爲QA只會站在業務環節之外指手畫腳，像警察一般指責業務人員的不是。而QA人員對此也相當委屈，“我是照章辦事啊”，得罪了人不說，還可能對自己的工作內容感到迷惘。這樣的QA部門，在其它部門的眼中“可有可無”，在老闆的眼中是“白白增加了管理成本”。
根據企業的實際情況，QA組織按照其歸屬，一般分爲職能型和矩陣型兩種。在職能型QA組織中，各業務職能部門可能會設立自己的QA崗位，QA獨立於項目組或分部門，直接向部門主管報告，這種QA組織的優點是：因爲同屬於一個部門，QA人員容易深入具體工作，容易發現項目的實際問題，對問題的處理也更快捷。缺點是各職能部門相對獨立，部門之間缺乏經驗的交流和共享，不同部門還可能重複進行過程、方法和工具的研究。而且，企業中普遍存在“重業務，輕過程”的現象，QA的工作與業務工作相比顯得無足輕重，QA人員的職業發展更容易受到忽視，很難接受應有的培訓和提升。
在矩陣型QA組織中，QA直屬於質量管理部，QA人員由質管部指派到各個項目組和業務部門，在管理上向QA經理報告，業務上向項目經理和部門主管報告。圖2是QA與研發部門的組織關係圖，QA人員直接參與項目的工作，項目經理對QA的工作績效有建議權，但由QA部經理對QA進行直接考評，這既有利於保證QA工作的獨立性和評價的客觀性，也可以保證QA組織的長期利益與項目的短期利益之間的平衡。QA經理根據項目的進度計劃、工作量和優先級對QA資源進行動態調配，通常一個軟件QA通常可以負責5個左右的軟件項目的質量保證工作，硬件QA可以負責2至3個項目的工作。
這種結構的優點比較突出。由於QA人員直接參與項目工作，非常瞭解過程執行的情況，更容易發現過程改進的“短板”，QA是改進過程實施的重要推動力量，QA組織甚至還可以擔負起組織級質量體系的優化、過程資產庫和度量數據庫的建立、維護和使用的職能。而質管部成爲QA人員的資源池，一方面負責爲項目輸送QA人員，另一方面可以關注培養QA人員，可以有效避免職能型QS組織中不同部門重複投資於質量體系、忽視QA職業發展的問題。
但也有一個問題，由於QA和項目組分別向不同的領導負責，因此相對而言，QA較難融入項目組，對於一些問題，包括一個問題是否成爲問題，在QA與項目經理之間往往都難以達成共識，產生扯皮現象。對於這種情況，一般透過問題的“上報”機制來解決，即QA可以直接報告職能部門主管和質管部經理，透過上級主管協商來尋求解決方案。
那麼，QA的角色和職責應該如何界定?以研發QA(包括PQA、HQA、SQA等)爲例，一個合格的QA在項目中會充當三種角色：警察、老師、醫生，典型的職責包括過程指導、過程評審、產品審計、過程改進、過程度量。作爲警察的角色，QA以業務流程爲依據，需要及時發現和報告項目的問題，有選擇性地參加項目的技術評審，定期對項目的工作產品和過程進行審計和評審。作爲老師的角色，QA輔助項目經理制定項目計劃，包括根據質量體系中的標準過程裁剪得到項目定義的過程，幫助項目進行估算，設定質量目標等;對項目成員進行過程和規範的培訓以及在過程中進行指導等。作爲醫生的角色，QA可以承擔收集、統計、分析度量數據的.工作，對項目過程進行診斷，幫助分析原因，開處方。
QA人員可以來自於企業的各個部門，既可以由專職人員擔任，也可兼職。但很多企業的經驗證明，選擇一些新人和“閒人”組成的QA部門往往只能構成形式上的QA組織，卻不能勝任企業對質量體系寄予的重任。在選擇合適的QA人選時，企業應首先考慮他們的知識、技能和素質能否滿足組織和崗位的要求。具體而言，可以從綜合素質、項目管理經驗、軟件工程經驗、項目業務知識，以及對過程體系的熟悉程度等方面來考察。QA人員如果沒有實際參與過項目/產品的開發，沒有從事過項目管理工作，或是從有些部門抽調來的工作相對比較“輕鬆”的人員，即便他們熟讀背誦了整個過程體系，仍然很難成爲企業真正需要的合格的QA。