arm/arm/pmap-v6.c

779 	pt2_entry_t *pte2p;
835 	pte2p = kern_pt2tab_entry(KERNBASE);
837 		pt2tab_store(pte2p++, PTE2_KPT(pa));
868 	pte2p = kern_pt2tab_entry((vm_offset_t)PT2MAP);
870 		pt2tab_store(pte2p++, PTE2_KPT_NG(pa));
883 	pte2p = kern_pt2tab_entry((vm_offset_t)kern_pt1);
884 	pt2pg_va = KERNEL_P2V(pte2_pa(pte2_load(pte2p)));
886 	pte2p = page_pt2(pt2pg_va, pte1_index((vm_offset_t)kern_pt1));
890 		pte2_store(pte2p++, PTE2_KPT(pa));
894 		pte2_store(pte2p++, PTE2_KPT(pa));
918 	pt2_entry_t *pte2p, pte2;
922 	pte2p = kern_pt2tab_entry(va);
925 	pte2 = pt2tab_load(pte2p);
937 	pt2tab_store(pte2p, PTE2_KPT(pt2pg_pa));
989 	pt2_entry_t *pte2p;
993 		pte2p = pmap_preboot_vtopte2(va);
994 		pte2_store(pte2p, PTE2_KRW(pa));
1008 	pt2_entry_t *pte2p;
1016 		pte2p = pmap_preboot_vtopte2(va);
1017 		pte2_store(pte2p, 0);
1057 	pt2_entry_t *pte2p;
1075 			pte2p = pmap_preboot_vtopte2(va);
1076 			pte2_store(pte2p, PTE2_KERN(pa, l2_prot, l2_attr));
1126 pmap_dump_kextract(vm_offset_t va, pt2_entry_t *pte2p)
1143 	if (pte2p != NULL)
1144 		*pte2p = pte2;
1294 	pt2_entry_t *pte2p;
1310 	pte2p = pt2map_entry(va);
1311 	pte2_store(pte2p, PTE2_KERN(pa, prot, attr));
1329 	pt2_entry_t *pte2p;
1335 		pte2p = pt2map_entry(va);
1336 		pte2_clear(pte2p);
1348 	pt2_entry_t *pte2p;
1352 		pte2p = pmap_pt2tab_entry(pmap, va);
1353 		pt2tab_store(pte2p, npte2);
1504 	pt2_entry_t *pte2p;
1510 	pte2p = pt2map_entry(va);
1511 	*head = *pte2p;
1514 	*pte2p = 0;
1521 	pt2_entry_t *pte2p;
1525 	pte2p = pt2map_entry(va);
1526 	*pte2p = *head;		/* virtual! PTE2_V is 0 though */
1686 	pt2_entry_t *pte2p;
1703 		pte2p = pmap_pt2tab_entry(pmap, va);
1704 		pt2tab_store(pte2p, PTE2_KPT_NG(pa));
1719 	pt2_entry_t *pte2p, pte2;
1729 	pte2p = kern_pt2tab_entry(KERNBASE - PT2MAP_SIZE);
1730 	for (i = 0; i < nkpt2pg + NPG_IN_PT2TAB; i++, pte2p++) {
1734 		pte2 = pte2_load(pte2p);
1807 	pt2_entry_t *epte2p, *pte2p, pte2;
1812 	pte2p = pt2map_entry(sva);
1813 	epte2p = pte2p + count;
1814 	while (pte2p < epte2p) {
1817 		pte2 = pte2_load(pte2p);
1821 			pte2_store(pte2p, PTE2_KERN(pa, PTE2_AP_KRW,
1824 		pte2p++;
1890  *  Be prepared for the pte2p being NULL.
1893 pmap_pte2_release(pt2_entry_t *pte2p)
1896 	if ((pt2_entry_t *)(trunc_page((vm_offset_t)pte2p)) == PADDR2) {
1961 	pt2_entry_t *pte2p;
1968 		pte2p = pmap_pte2(pmap, va);
1969 		pa = pte2_pa(pte2_load(pte2p)) | (va & PTE2_OFFSET);
1970 		pmap_pte2_release(pte2p);
1989 	pt2_entry_t pte2, *pte2p;
2006 		pte2p = pmap_pte2(pmap, va);
2007 		pte2 = pte2_load(pte2p);
2008 		pmap_pte2_release(pte2p);
2191 	pt2_entry_t *pte2p;
2279 	pte2p = pmap_pt2tab_entry(pmap, (vm_offset_t)PT2MAP);
2281 		pt2tab_store(pte2p++, PTE2_KPT_NG(pa));
2599 	pt2_entry_t *pte2p;
2636 	pte2p = pmap_pt2tab_entry(pmap, va);
2637 	(void)pt2tab_load_clear(pte2p);
2835 	pt2_entry_t *pte2p, tpte2;
2880 				pte2p = pmap_pte2(pmap, va);
2881 				tpte2 = pte2_load(pte2p);
2883 					tpte2 = pte2_load_clear(pte2p);
2884 				pmap_pte2_release(pte2p);
3443 	pt2_entry_t *pte2p, pte2;
3488 	for (pte2p = fpte2p + NPTE2_IN_PT2 - 1; pte2p > fpte2p; pte2p--) {
3489 		pte2 = pte2_load(pte2p);
3502 			pte2_store(pte2p, pte2);
3561 	pt2_entry_t *pte2p;
3563 	for (pte2p = fpte2p; pte2p < fpte2p + NPTE2_IN_PT2; pte2p++)
3564 		pte2_clear(pte2p);
3678 	pt2_entry_t *pte2p;
3680 	for (pte2p = fpte2p; pte2p < fpte2p + NPTE2_IN_PT2; pte2p++) {
3681 		pte2_store(pte2p, npte2);
3867 	pt2_entry_t *pte2p;
3933 	pte2p = pmap_pte2_quick(pmap, va);
3934 	if (pte2p == NULL)
3938 	opte2 = pte2_load(pte2p);
4056 			opte2 = pte2_load_clear(pte2p);
4058 			pte2_store(pte2p, npte2);
4072 			pte2_store(pte2p, npte2);
4110 pmap_remove_pte2(pmap_t pmap, pt2_entry_t *pte2p, vm_offset_t va,
4120 	opte2 = pte2_load_clear(pte2p);
4146 	pt2_entry_t *pte2p;
4152 	if ((pte2p = pmap_pte2_quick(pmap, va)) == NULL ||
4153 	    !pte2_is_valid(pte2_load(pte2p)))
4155 	pmap_remove_pte2(pmap, pte2p, va, free);
4169 	pt2_entry_t *pte2p, pte2;
4247 		for (pte2p = pmap_pte2_quick(pmap, sva); sva != nextva;
4248 		    pte2p++, sva += PAGE_SIZE) {
4249 			pte2 = pte2_load(pte2p);
4252 			if (pmap_remove_pte2(pmap, pte2p, sva, &free))
4282 	pt2_entry_t *pte2p, opte2;
4311 		pte2p = pmap_pte2_quick(pmap, pv->pv_va);
4312 		opte2 = pte2_load_clear(pte2p);
4421 	pt2_entry_t *pte2p, pte2;
4482 					pte2p = pt2map_entry(pv->pv_va);
4483 					pte2 = pte2_load(pte2p);
4496 					pte2_clear(pte2p);
4536 	pt2_entry_t *pte2p, pte2;
4608 	pte2p = pt2map_entry(va);
4609 	pte2 = pte2_load(pte2p);
4659 	pte2_store(pte2p, PTE2(pa, l2prot, vm_page_pte2_attr(m)));
4714 	pt2_entry_t pte2, *pte2p;
4742 			for (cur = va, pte2p = pmap_pte2_quick(pmap, va);
4743 			    cur != end; cur += PAGE_SIZE, pte2p++) {
4744 				pte2 = pte2_load(pte2p);
4747 				if (pmap_remove_pte2(pmap, pte2p, cur, &free))
4964 	pt2_entry_t *pte2p, opte2, npte2;
5048 		for (pte2p = pmap_pte2_quick(pmap, sva); sva != nextva; pte2p++,
5052 			opte2 = npte2 = pte2_load(pte2p);
5075 				pte2_store(pte2p, npte2);
5316 	pt2_entry_t *pte2p, opte2;
5390 		pte2p = pmap_pte2_quick(pmap, pv->pv_va);
5391 		opte2 = pte2_load(pte2p);
5395 			pte2_clear_bit(pte2p, PTE2_A);
5427 	pt2_entry_t *pte2p, pte2;
5499 		for (pte2p = pmap_pte2_quick(pmap, sva); sva != nextva; pte2p++,
5501 			pte2 = pte2_load(pte2p);
5513 			pte2_clear_bit(pte2p, PTE2_W);
5534 	pt2_entry_t *pte2p, opte2;
5569 		pte2p = pmap_pte2_quick(pmap, pv->pv_va);
5570 		opte2 = pte2_load(pte2p);
5572 			pte2_store(pte2p, opte2 | PTE2_RO | PTE2_NM);
5593 	pt2_entry_t *pte2p, pte2;
5643 				pte2p = pmap_pte2_quick(pmap, sva);
5644 				KASSERT(pte2_is_valid(pte2_load(pte2p)),
5646 				pmap_remove_pte2(pmap, pte2p, sva, NULL);
5651 		for (pte2p = pmap_pte2_quick(pmap, sva); sva != pdnxt; pte2p++,
5653 			pte2 = pte2_load(pte2p);
5666 				pte2_set_bit(pte2p, PTE2_NM);
5667 				pte2_clear_bit(pte2p, PTE2_A);
5669 				pte2_clear_bit(pte2p, PTE2_A);
5692 	pt2_entry_t *pte2p, opte2;
5729 				pte2p = pmap_pte2_quick(pmap, va);
5730 				opte2 = pte2_load(pte2p);
5732 					pte2_set_bit(pte2p, PTE2_NM | PTE2_RO);
5747 		pte2p = pmap_pte2_quick(pmap, pv->pv_va);
5748 		if (pte2_is_dirty(pte2_load(pte2p))) {
5749 			pte2_set_bit(pte2p, PTE2_NM);
6020 	pt2_entry_t *pte2p;
6024 	pte2p = pc->pc_qmap_pte2p;
6026 	KASSERT(pte2_load(pte2p) == 0, ("%s: PTE2 busy", __func__));
6028 	pte2_store(pte2p, PTE2_KERN_NG(VM_PAGE_TO_PHYS(m), PTE2_AP_KRW,
6037 	pt2_entry_t *pte2p;
6040 	pte2p = pc->pc_qmap_pte2p;
6043 	KASSERT(pte2_load(pte2p) != 0, ("%s: PTE2 not in use", __func__));
6045 	pte2_clear(pte2p);
6245 	pt2_entry_t *pte2p, pte2;
6263 		pte2p = pmap_pte2(pmap, addr);
6264 		pte2 = pte2_load(pte2p);
6265 		pmap_pte2_release(pte2p);
6431 	pt2_entry_t *pte2p, pte2;
6534 			pte2p = pt2map_entry(far);
6535 			pte2 = pte2_load(pte2p);
6537 				pte2_store(pte2p, pte2 | PTE2_A);
6583 			pte2p = pt2map_entry(far);
6584 			pte2 = pte2_load(pte2p);
6587 				pte2_store(pte2p, pte2 & ~PTE2_NM);
6680 			pt2_entry_t *pte2p, pte2;
6703 					pte2p = pmap_pte2(pmap, va);
6704 					pte2 = pte2_load(pte2p);
6705 					pmap_pte2_release(pte2p);
6804 	pt2_entry_t *pte2p, pte2;
6808 	pte2p = pmap_pte2_ddb(pmap, va);
6809 	for (i = 0; i < NPTE2_IN_PT2; i++, pte2p++, va += PAGE_SIZE) {
6810 		pte2 = pte2_load(pte2p);